Google DeepMind toont AI-model dat speelbare 3d-werelden kan genereren

DeepMind, de AI-onderzoekstak van Google, heeft Genie 2 aangekondigd. Het is een AI-model dat volgens het bedrijf een 'eindeloze variëteit' aan speelbare 3d-werelden kan genereren. DeepMind toont verschillende voorbeelden, die doen denken aan games.

Genie 2 is volgens DeepMind een AI-wereldmodel dat 3d-omgevingen kan simuleren op basis van een afbeelding en een tekstbeschrijving. In de voorbeelden die DeepMind toont, gebruikte het onderzoeksbedrijf afbeeldingen die gegenereerd zijn door Imagen 3, gecombineerd met beschrijvingen als 'een humanoïde robot in het oude Egypte'. Het model ondersteunt daarbij verschillende weergaven, zoals isometrische weergave en first- en thirdpersonperspectief.

Een Genie 2-spelwereld gemaakt met de tekstprompt: 'een humanoïde robot in het oude Egypte'. Beeld: DeepMind

Het model genereert vervolgens verschillende opties, waarvan de gebruiker er een kan selecteren. Daarna kunnen ze personages in die wereld besturen met een toetsenbord en muis. Het is mogelijk om in de gemaakte 3d-omgevingen te lopen, rennen, springen, zwemmen en meer. Bij iedere actie die de gebruiker uitvoert, simuleert Genie 2 hoe de omgeving daarop reageert. Het is ook mogelijk om het personage te laten besturen door een AI-agent, bijvoorbeeld met tekstcommando's als 'open de rode deur' of 'loop de trap op'. Verder kan het model objecten genereren, inclusief bepaalde interacties zoals het kapotmaken van een ballon, npc's simuleren en visuele effecten als waterbewegingen en rook weergeven.

Volgens de makers kan Genie 2 'tot een minuut lang' werelden met een consistent uiterlijk genereren, hoewel de meeste voorbeelden 'tien tot twintig seconden duurden'. Het model is daarnaast in staat om delen van de spelwereld te 'onthouden' als die niet langer in beeld zijn, zodat die later op de juiste manier gerenderd kunnen worden als ze weer in beeld verschijnen. Genie 2 is volgens de makers getraind op 'een grote videodataset', maar DeepMind meldt niet waar die dataset vandaan komt. Tweakers heeft daarover vragen uitstaan bij het researchbedrijf.

DeepMind zegt verder dat het model onder meer gebruikt kunnen worden om sneller prototypes van 3d-omgevingen te kunnen ontwikkelen, bijvoorbeeld door conceptart voor een game te gebruiken als input. Genie 2 is echter nog niet beschikbaar en het is niet bekend of en wanneer het model daadwerkelijk uitkomt.

Beeld: DeepMind

Reacties (45)

[DeTeraarist]

Hier kun je al spelen met een volledig door AI gegenereerde Minecraft. Zal licentie technisch niet door de bocht kunnen, getraint op honderden uren aan Minecraft footage van Youtube, maar het is wel leuk speelgoed.

[DLSS]

Er zijn nog wel veel issues met persistence zeg. Het lijkt haast een rare droom of zo waar de wereld ineens anders is zodra je je hoofd draait 😅

[Accretion]

Ja, dat bedacht ik mij laatst ook.
AI werkt op een vergelijkbare manier als het brein, door synapsen te simuleren.

De AI videos/fotos (en blijkbaar games) lijken vaak op een soort droom.

Wellicht dat AI nog niet een sterk korte termijn geheugen heeft, maar het resultaat is i.i.g interessant.

[Nees]

damn, niet spelen als je wat gedronken hebt... Je moet eens naar een muur lopen tot je niet meer kan, dan beginnen draaien.... of naar de vloer beginnen kijken en dan weer draaien damn...

[Alxndr]

Alleen bruikbaar op Chrome... Kan iemand vertellen wat Chrome heeft dat Firefox niet heeft?

Grappig, interessant en knap, maar onspeelbaar. Het laat precies het probleem zien wat in het artikel genoemd lijkt te worden: draai je na een paar seconden weer om en de hele wereld is anders.

En dan de kritische noot: met alle berichten dat een enkele tekst prompt/output 'een halve liter water kost' (later we die discussie maar achterwege laten) vraag ik me af wat dit dan wel niet moet 'kosten' per minuut?

[isene]

Net even die door AI gegenereerde Minecraft gedaan, pffff wat bizar. Denk dat ik het 5 minuten voorhield, toen waren mijn ogen er klaar mee.

[sdziscool]

Ah, als ik zo eens de aankondiging lees is het een video model met input. Het genereert dus niet echt 3d werelden maar videos van werelden. Die distinctie is heel belangrijk want dat betekent dat dit niet heel nuttig is voor game development bijvoorbeeld, je kan niet een wereld genereren en dan erop voortbouwen, of bijvoorbeeld dingen garanderen in de wereld. Het is net zoals de AI Minecraft waarbij het een leuke interpretatie is van wat de/een game hoort te zijn, maar elke keer als je rondkijkt verandert je hele omgeving omdat die ter plekke op je 2d beeld wordt gegenereert en niet in 3d.

[Alxndr]

Ik vroeg me al af waarom dat wat gecreëerd is niet wordt opgeslagen, zoals chunks in Minecraft. Een minuut klinkt alsof het in het actieve geheugen gehouden moet worden wat dan vol zit.

Het artikelen gebruikt helaas de termen 'genereren' en 'simuleren' door elkaar. Zoals jij het zegt lijkt het idd een simulatie wat de titel misleidend (of gewoon fout?) maakt? Leuk een proof of concept maar met welk doel als het niet echt 3D is?

[Lodd]

Als dit een soort tool wordt om laagdrempelig een game-wereld te ontwerpen dan zal enerzijds de kwaliteit van triple-A games verder afnemen. Anderzijds zal bijvoorbeeld steam nog meer dan nu overspoeld worden met goedkope rommel met een paar achievements (wat nu gebeurt met de zogenaamde asset-flips).

Soms is vakmanschap gewoon heel erg wenselijk.

[hanskroll]

Anderzijds zal bijvoorbeeld steam nog meer dan nu overspoeld worden met goedkope rommel

AI Content on Steam
Generative AI Disclosure tagging on GOG

[Eusebius]

Vanmiddag zat dochterlief "helemaal niet op Tsjad-Tjie-Pie-Tie" Sinterklaasgedichten te schrijven. Tja, kwam er te laat achter, maar dat soort skills moet ze eigenlijk zelf leren. Is ze creatief genoeg voor.

[-tom-562]

Ach 15 jaar geleden gebruikte je Mick rijmwoordenboek..

[Eusebius]

Nog steeds maar dat is op het randje

[jpsch]

Daar schreef Hazes zijn liedjes mee.

[PCG2020]

En daarbij is die Chad helemaal geen goede hulp bij het schrijven van gedichten, aldus een reportage van RTL Nieuws.

[iddbbi]

De beste game jaren zijn al lang voorbij.

[Cerberus_tm]

Nee, hoor; alleen komen die niet van de grootste commerciële bedrijven.

[Honytawk]

Er worden op dit moment zo veel games gemaakt dat we tegelijkertijd meer goede en meer slechte games hebben.
Of zullen we eens vergelijken met het NES tijdperk?

[kabelmannetje]

Dit is voor het genereren van video, niet een 3d-wereld. Na een paar seconden is de AI al kwijt wat er "achter je is". Dus het is als rondlopen in een wereld met zware insomnia.

[CamelKnight]

Het model is daarnaast in staat om delen van de spelwereld te 'onthouden' als die niet langer in beeld zijn, zodat die later op de juiste manier gerenderd kunnen worden als ze weer in beeld verschijnen.

Valt dus wel mee.

[kabelmannetje]

Nee dat valt niet mee. Een spelwereld die elke paar seconden totaal veranderd als het eenmaal uit beeld is, is onbruikbaar voor een game.

[CamelKnight]

In het artikel staat aangegeven, zoals ik al quote, dat het model delen van de wereld kan onthouden. Het valt dus wel mee met jouw opmerking dat de AI het na een paar seconden al weer kwijt is.
Dus ja, valt wel mee.

[kabelmannetje]

Nee dat valt niet mee. Als je na een paar seconden weer naar iets terug gaat, dan bestaat die wereld niet meer. Het is geen 3d-omgeving, maar zeer randomized. Check de filmpjes om het te zien.

[Skit3000]

Ik zou nu niet meer aan een opleiding tot gameontwerper beginnen. Dit model kan nu al tot een minuut in real time (waarschijnlijk op enorm zware hardware, maar toch) beelden genereren. Zodra een soortgelijk model beschikbaar komt dat content van onbeperkte duur kan maken én de benodigde hardware omlaag gaat naar iets dat op dat moment consumergrade is, speelt ieder zijn eigen gepersonaliseerde spel (of kijkt zijn eigen film, want dat lijkt me technisch gezien niks anders).

[redzebrax]

Je vergeet hierbij de hoeveelheid energie die nodig is voor dit model en waarvoor op dit moment niemand echt betaalt, financieel lijkt me dat niet interessant om servers en rekencapaciteit gratis of tegen een veel te lage prijs te blijven aanbieden, tenzij je "content-creator " je een heel zwaar abo kan verkopen.
Ze zeggen dus ook dat het eerder is om "het model onder meer gebruikt kunnen worden om sneller prototypes van 3d-omgevingen te kunnen ontwikkelen" Dan dat dit echt een speelbaar B- game is. Ik zie hier niet een probleem voor "game ontwerpers" alleen een extra tool.

[Mellow Jack]

T is een beetje het verschil in horizon. Als je 50 bent en goed bent in het ontwikkelen van games hoef je jezelf niet druk te maken. Het zijn voorlopig tools die in de praktijk toch niet zo breed inzetbaar zijn als de marketing je wilt laten geloven.

Voor mijn zoontje (nu 5) gaat het wel anders worden. Beetje in dezelfde situatie als mijn ouders zaten. Je geeft je kind adviezen terwijl de wereld drastisch veranderd. In de tijd van mijn ouders was het werken bij een bank een job 4 life. Tegenwoordig is het werken bij een bank veel minder aantrekkelijk (zowel qua inhoud als qua toekomstperspectief)

Maar net als de vorige keer eindig je niet in een situatie met te weinig werk. Wel met ander werk.

[redzebrax]

Klopt inderdaad, maar je zoontje zoals wij of jij toen, gaat zich ook snel aanpassen en zelf ook opportuniteiten zien waar wijzelf nog geen idee van hebben. Nu bij AI, als de hype voorbij is en werkelijke kosten gaan doorgerekend worden (ook eventueel rechten op "de dataset") gaat zich weer een ander evenwicht vormen. Een game ontwerper zal er volgens mij in de toekomst ook nog zijn, misschien op een totaal andere manier als nu.

[Wolfos]

Het zijn voorlopig tools die in de praktijk toch niet zo breed inzetbaar zijn als de marketing je wilt laten geloven.

Ik denk dat we niet moeten onderschatten hoe goed bedrijven zijn in zichzelf saboteren. De technologie is er nog niet klaar voor, maar dat weerhield Coca Cola niet om een aantal vreemd ogende advertenties te lanceren.

De kwaliteit van games zal ongetwijfeld achteruit gaan door AI gebruik, en de weerstand zal groot zijn, maar dat betekent niet dat het niet alsnog geprobeert gaat worden.

Maar net als de vorige keer eindig je niet in een situatie met te weinig werk. Wel met ander werk.

Toch gaan er mensen behoorlijk buiten de boot vallen. Je wisselt niet zomaar van carriëre. Tegenwoordig is alles behoorlijk gespecialiseerd, en je gaat ook niet even terug naar school als er een hypotheek betaald moet worden.

[Skit3000]

Alle grote partijen die aan AI werken zijn er ondertussen wel uit dat de huidige manier waarop we het gebruiken niet schaalbaar is. Bedenk dat de meeste dingen die we nu met AI zien, pas in de laatste drie jaar écht goed ontwikkeld zijn. Kijk nog eens drie jaar verder (zowel qua verbeteringen in software en hardware) en de kans is groot dat we betere modellen dan nu krijgen, tegen lagere kosten.

Dat deze tool nu neergezet wordt als "een model dat onder meer gebruikt kan worden om sneller prototypes van 3d-omgevingen te kunnen ontwikkelen" is dan ook prima, maar eigenlijk is het natuurlijk gewoon een tussentijds onderzoeksresultaat waar ze vast en zeker op door zullen gaan (want; wie als eerst een model heeft dat al het denkbare beeldmateriaal in meer dan realtime kan genereren kan Hollywood overnemen).

[redzebrax]

Alle grote partijen zijn inderdaad overtuigd dat de huidige manier van werken niet gaat, we zien geen baanbrekende nieuwe modellen wel interessante nieuwe manieren van werken, bv "agents" om huidige modellen te optimaliseren. De snelheid van ontwikkeling in modellen is abrupt gestopt, je hebt onnoemelijk veel meer data nodig om een nog beter model te maken, regelgeving wordt ook strenger, dus ook meer kosten en ergens gaan investeerders toch een return verwachten.

[Skit3000]

Het is nu inderdaad een zoektocht naar nieuwe algoritmes. Het verschil met de afgelopen vijftig jaar is alleen dat er nu zó veel geld in zit dat er daardoor ook veel onderzoek gedaan kan worden, wat de kans op een doorbraak in de komende paar jaar groter maakt dan wanneer ChatGPT slechts een gesloten onderzoeksproject zou zijn gebleven. Het is dus jammer dat er nu enorm veel energie en hardware tegenaan gegooid wordt zonder dat dit ooit terugverdiend kan worden, maar het opent dus wel de deuren naar verdere verbeteringen.

[thehighnotes]

Dit gaat er uiteraard aankomen. Vraag is binnen welke termijn - er zijn nog flinke stappen nodig voor dat plaatje. Maar we zien de beginselen al wel.

Als hallucinaties, architectuur optimalisaties, efficient and betrouwbaar geheugen met hoge capaciteit zijn gefixed, kom je aardig in de buurt. Dan is het nog de vraag hoe beleid hierop inspeelt, ongetwijfeld te laat, en hoe de marktwerking hiermee omgaat (moet rendabel zijn)

[adje123]

Als ik Lightroom "denoise" gebruik dan begint mijn PC te zweten, en ik heb een aardige config. Het duurt nog wel even voordat dit echt mainstream wordt.

[Comp_Lex]

Dat zal wel meevallen. AI is niet in staat om met iets origineels te komen. Levels maken is één ding. Levels maken die een speler interessant vindt en origineel wordt gevonden is iets anders.

[bloedsmoel]

Die AI heeft precies veel geleerd van Serious Sam 😜

[Polydeukes]

En zo komen we stapje voor stapje dichterbij een echt 'holodeck' zoals in Star Trek. Werkelijk fascinerend hoe snel de ontwikkelingen gaan. HoloTiles op de vloer, VR-bril op met een VR-suit aan en een door AI live gegenereerde wereld en karakters en je bent er al bijna.

[BRBoom]

Persoonlijk hoop ik dat dit een stille dood sterft, maar ik ben er zeker niet gerust op.

[Exirion]

Ik niet, want is dit is onvermijdelijk. In de jaren ‘90 was ik veel bezig met raytracing en gefascineerd geraakt door het idee dat computers ooit snel genoeg zouden zijn om real-time fotorealistisch te renderen. De bottleneck is op een gegeven moment de benodigde content, oftewel de input voor de engine. Ondersteuning door AI kan dit enorm versnellen zodat er veel meer haalbaar wordt, en goedkoper.

[Zeror]

Nee, dit is prima. AI is goed voor monnikenwerk in de gameindustrie. De creativiteit moet echter nog steeds komen van de ingame-environment designers de juiste parameters en bronmaterialen indienen bij de AI.

[Alxndr]

... maar je wil niet met ons delen waarom?

[mjtdevries]

Omdat het verleden getoond heeft dat dit niet leuk is om in te spelen?

Denk bv aan Daggerfall. Een gigantische speelwereld ter grootte van een echt land.
Met procedureeel gegenereerde content. En uiteindelijk ontzettend saai.
De opvolger Morrowind was veel leuker, omdat de lokaties waar je kwam veel mooier afwisselender en interessanter waren omdat een developer er aandacht had gegeven.

Een AI gaat een zelfde wereld opleveren als die procedureeel gegenereerde content. Eventjes leuk, en daarna repeterend en saai.

[Alxndr]

Ik vind dat nogal een aanname die je doet. En als je Daggerfall zegt, heb je het dan over The Elder Scrolls II uit 1996 (!!!) ? Ik dacht zelf aan een 'iets' recenter voorbeeld, Starfield

Maar waarom zou AI op procedurele generatie niet net zo'n effect hebben als dat het bijvoorbeeld op chatbots heeft (gehad). Vergelijk een ChatGPT bot van nu eens met een chatbot van 5 jaar geleden, laat staan 25.

Het is mijn aanname, als leek, dat er wel een soort of groter geheugen ingebouwd gaat worden zodat niet alles opnieuw gegenereerd hoeft te worden zodra je je omdraait (zoals in die AI minecraft die elders gelinkt is). Dat lijkt me de het probleem van 'tot [slechts] een minuut lang' ook te verhelpen?

[Reactie gewijzigd door Alxndr op 5 december 2024 15:03]

[Llopigat]

Hier zit ik enorm op te wachten. 3D wereld bouwen is momenteel extreem veel werk.

[Marctraider]

En hoe er weer eens met de term AI gegooid wordt, terwijl hier letterlijk nul.nul sprake is van intelligentie.

[telenut]

Waarom ziet iedereen dit zo negatief? We gebruiken steeds meer automatisatie om zaken te doen waardoor de games er nu zo veel beter uit zien.
Voor een lager budget zal men in de toekomst dus betere grafische games kunnen maken...
En wie denkt: er komt veel rommel: dat is er nu ook al... Daar zijn gelukkig nog reviews door, en zolang die door echte mensen gemaakt zijn is er nog hoop :-)