Google DeepMind onthult het AI-model Genie 3 voor het met prompts genereren van speelbare 3d-werelden. Het nieuwe model kan in een 720p-resolutie speelbare wereld genereren. Gebruikers kunnen in real time in die omgevingen bewegen.
De AI-onderzoekstak van Google laat in verschillende demo's zien hoe Genie 3 speelbare 3d-werelden kan genereren, die door de gebruiker in real time begaanbaar zijn. Dat kan het model voor het eerst in 720p, waar de maximale resolutie tot voor kort 360p was. Daarnaast is er geen vertraging meer; de handelingen van de gebruiker worden in real time verwerkt.
Voor de ondersteuning van real time-inputs is het volgens de onderzoekers belangrijk dat de 3d-wereld consistent blijft. Genie 3 zou een spelwereld 'meerdere minuten' fysiek consistent kunnen houden. Daarna stapelen onjuistheden zich volgens DeepMind op en ontstaat er als het ware onbedoeld een nieuwe spelwereld.
De onderzoekers stellen dat Genie 3 in tegenstelling tot vergelijkbare modellen lang kan 'onthouden' wat er in eerdere frames gegenereerd werd, bijvoorbeeld zodat een plek bij het opnieuw bezoeken nog hetzelfde is of zodat bomen consistent op dezelfde plek in een omgeving staan, ook als deze tijdelijk niet in beeld zijn. Tot voor kort konden Genie 2 en het vergelijkbare GameNGen, dat ook in samenwerking met DeepMind ontwikkeld werd, spelwerelden tot 20 seconden consistent houden.
Naast navigatie-inputs ondersteunt Genie 3 ook promptinputs die de gegenereerde wereld mogelijk beïnvloeden. DeepMind noemt dit 'promptable world events'. Als voorbeeld tonen de onderzoekers een kanaal, met als optionele worldevents een persoon in een kippenkostuum, een draak en een jetski, die ieder op een andere manier interacteren met de gegenereerde wereld. De speleragent kan op deze manier ook 'geprogrammeerd' worden om bepaalde handelingen te doen, wat contextueel gebeurt op basis van de gegenereerde spelwereld.
Vooralsnog is Genie 3 niet voor consumenten beschikbaar. Volgens het onderzoeksbedrijf is het nog niet duidelijk waar het model precies voor gebruikt zou moeten worden. Een 'kleine groep academici en creators' krijgt toegang tot de technologie om de werking ervan te testen.