DeepMind geeft generator 3d-'spelwerelden' met Genie 4 dynamische audio

Google DeepMind brengt de nieuwste versie van de generator van interactieve 3d-werelden genaamd Genie 4 onder een beperkt aantal testers. Het nieuwe model kan onder meer audio genereren bij de 'spelwerelden'. Later moet het model beschikbaar komen voor Google AI Ultra-abonnees.

Gebruikers kunnen met het Genie 4-project interactieve werelden genereren en ermee interacteren. Voor het eerst gebeurt dat met dynamische audio. Volgens DeepMind genereert het model omgevingsgeluid en menselijke spraak. Een gebruiker kan citaten in de prompt zetten, waarna het model zowel het beeld als de audio hierbij moet genereren.

Verder claimen de onderzoekers dat de wereldgeneratie en bijbehorende physics beter werken dan voorheen. Waaruit die verbetering precies bestaat, is niet duidelijk. De organisatie verduidelijkt wel dat Genie 4 verschillende modellen gebruikt voor het eindresultaat.

Zo is het taalmodel Gemini 3.8 Flash een soort manager, een 'guiding agent', van het generatieproces. Het taalmodel controleert de beelden die Genie 4 genereert. Per stap gaat Gemini na of die logisch voortbouwen op de vorige stap. Bij voorgaande versies van Genie vermeldde DeepMind ook nadrukkelijk dat de videotool Nano Banana aan de beeldgeneratie bijdraagt, maar daar staat nu niets over in de blogpost.

Genie voor gaming?

Vooralsnog was het onduidelijk wat precies de toepassing van het Genie-project was. DeepMind liet veel gameachtige toepassingen zien. Nu verduidelijkt het AI-onderzoeksteam van Alphabet dat dit inderdaad een van de toepassingen is. Ook zouden filmmakers de tool voor previsualisatie kunnen gebruikenen historici zouden er historische reconstructies mee kunnen maken. Daarnaast zou de tool trainingsomgevingen voor robots moeten simuleren.

Klik voor een .gif. Afbeelding: Google DeepMind

Reacties (21)

[satoer]

Ja het is zeker knap wat ze hier laten zien, maar dit is echt weer zo zonde van de rekenkracht. Snap niet dat ze zulke bull-shit dingen introduceren terwijl ik met Argon regelmatig moet zitten wachten in Antigravity omdat de servers te druk zijn. En dan heb ik het nog niet eens over de lachwekkende limiten die ze op een "Pro" abonnement zetten. Ze zouden moeten leren van Open AI's Sora waar de stekker uitgetrokken is omdat ze niet genoeg rekenkracht ervoor hadden.

[Stukfruit]

Ze zouden moeten leren van Open AI's Sora waar de stekker uitgetrokken is omdat ze niet genoeg rekenkracht ervoor hadden.

OpenAI heeft daarentegen geen diensten zoals YouTube waarop dit eventueel zou kunnen worden uitgerold in één of andere vorm

[NEO256]

Eerslijk gezegd weet ik niet wat ik hier van moet vinden.

Liggend naar hoe je er naar kijkt is het niet nieuw, Minecraft generate chunks, No Mans Sky genereert planeten aan de hand van een complexe formule.

Er zijn meer vormen van het vullen van een level en het selecteren van audio.

Wat ik hier zie, is een templating tool waarmee een niet technische persoon een wereld naar zijn hand kan generen zonder elk ding met de hand te plaatsen of te hoeven tekenen...

En dat kun je gerust taloze keren herhalen tot je tevreden bent...

Dit maakt echt ongelovelijke dingen mogelijk.

[LootersV]

Over GTAVI wordt geschreven dat het overall de beste graphics tot nu toe zijn (zie DF), ook al is dat spel ontworpen voor apparaten van meer dan 6 jaar oud.

Ik moet heel eerlijk zijn; deze Google beelden zien er behoorlijk beter uit. In de juiste handen zal deze technologie tot nog mooiere spellen leiden verwacht ik

[RSilience]

Ik zie even niet de link die je met GTA maakt. De A.I. hier geeft generatief beelden zover ik kan begrijpen. Het is niet alsof hij assets maakt voor een game. Hij verzint het allemaal ter plekke met uiteraarad flashy uncanny graphics.

[LootersV]

GTA wordt overall gezien als de beste graphics tot nu toe. Dat is misschien een miljard aan ontwikkelkosten (niet alleen de graphics uiteraard) echter ziet het wat Google toont er veel indrukwekkender uit. Dat is mijn link

De PS6 wordt de laatste generatie met “rasterized graphics” verwacht ik.

[Stiello]

Het is (voor nu) wel appels met peren vergelijken.

[RSilience]

Ja ok, en films hebben ook betere graphics aangezien ze vaak echte opnames maken.
Het is een beetje appels met peren vergelijken als je het mij vraagt.

Generatieve A.I. is wel grappig maar voor nu is het toch echt allemaal erg uncanney valley wat mij betreft. Leuk voor memes en persivlages dat wel.

[LootersV]

Max Payne in 2001 gebruikte foto’s als textures. Voor velen werd dit als valsspelen gezien immers is een foto altijd realistischer dan wat een game developer in MS paint tekent. In wireframe echter zag dat spel er redelijk simpel uit en het aantal polygonen voor de karakters was schrikbarend laag, echter was het spel nog steeds grafisch overweldigend

[RSilience]

Foto textures gebruiken in een game is heel wat anders dan generatief een korte film of "speelbare" demo die iedere keer weer anders is. De vergelijking gaat niet op.

Maar het voelt een beetje alsof mijn punt niet begrepen wordt en er omheen gewurmd wordt.
Dit was nooit waar het om ging in mijn reactie.

[jerisson]

Besef wel dat dit geen modellen zijn die je op je lokale GPU zal uitvoeren. Een bijkomend probleem bij dit soort modellen is de beperkte context: kijk naar rechts en je ziet een muur, de camera draait naar links waardoor de muur uit beeld gaat, en zodra de camera terug naar rechts draait is de muur weg. Als je goed oplet zie je dit ook gebeuren in de video met de draak en het kasteel: plots is er een muur weg, hangen er twee extra draken in de lucht en staat een stuk van de berg een stuk dichterbij dan wat je zou verwachten rekening houdend met de afgelegde afstand.

Het ziet er goed uit, maar is dus (vooralsnog) niet geschikt voor een game. Dit is meer bedoeld voor eenvoudige simulaties en trainingsdata. Of om inspiratie op te doen/concepten te testen.

[LootersV]

Een oplossing zou zijn om het achter de schermen te ‘bufferen’ als ps1 graphics desnoods, positie van alles in de spel wereld als referentie. Waarschijnlijk een uurtje vibecoden voor een echte ontwikkelaar

[UnanyMoose]

En deze techniek van Google kost een veelvoud daarvan, en heeft doorlopende kosten per 'speler'. In deze vorm zit hier weinig toekomst in anders dan leuke demo's.

Je zal altijd iets van een 'omgeving context' moeten aanleveren om dit lokaal te draaien zonder speciale AI hardware in huis te halen. DLSS 5 met zijn AI look is een eerste stap naar minder van te voren ontwikkelen en meer ter plekke genereren, maar genie 4 is niet voor thuisgebruik. En om nou een duur abonnement te moeten nemen zodat je de nieuwste prompt kan spelen gaat hem voorlopig niet worden denk ik.

[LootersV]

Ray tracing kostte niet heel lang geleden ook complete renderfarms aan rekenkracht; en nu kan zelfs de simpelste spelcomputer van 6 jaar geleden het. De technologie blijft altijd verbeteren dat is gewoon onvermijdelijk.

[jerisson]

Omdat bij raytracing een gigantische shortcut genomen wordt: namelijk denoising. Zonder denoising had je nog steeds renderfarms nodig. En de kwaliteit ervan is bij real-time ray-tracing ook nog altijd slechter dan bij een volledige physical-based ray-tracer simpelweg omdat je ook shortcuts moet nemen in de gerenderde effecten.

[LootersV]

En toch is het met al die shortcuts nog steeds beter dan het niet hebben, toch?

Dus wellicht dat men ook de Google methode lokaal op fatsoenlijke framerates heeft ooit (dat hebben we overigens deels al met DLSS5 in principe)

[Silentek]

Iets wat GTA VI heeft als doel: een spel zijn, met een eigen stijl en uiterlijk.
Ze zoeken niet perse realisme, maar een stijl die past bij het verhaal en spel.

Deze "realistische" graphics zijn interessant, maar niet het doel van veel game developers.
Dus het een vergelijking die ik lastig vind: Hoe moet ik een artistieke visie van een game zoals GTA VI, en dit naast elkaar zien en zeggen "die is beter".
Als ik een gaaf spel zie, dan is het vaak ook een gedeelte door onderscheidende visuals, niet realistisch. Minecraft is niet populair door realistische graphics, noch Skyrim. Toch zijn dat heel goed verkopende spellen.
Een identiteit is wat een spel verkoopt aan consumenten.
Dit soort demo's is om een product aan bedrijven te verkopen.

[SomerenV]

Appels en peren. GTA is een game die bestaat uit 3D modellen, textures, geluidsbestanden, shaders, particles en noem maar op. Wat Deepmind doet is dat alles genereren. Het 'bestaat' niet, en er is immens veel rekenkracht nodig om het op je scherm te toveren. Een foto ziet er ook beter uit dan een render, maar zeggen dat de foto de render gaat vervangen slaat nergens op.

[Polderviking]

Dan is "realisme" wel je enige ijkpunt denk ik?

Voor Cyberpunk heb je ook een paar mods die dat spel er wild realistisch uit laten zien.
(hetzij wel alleen specifiek bij een bewolkte middag)

Als dat je ding is is dat allicht tof, maar wat dat ook doet is de hele "art direction" van zo'n game naar de gallemiezen helpen.
Cyberpunk vind ik door die mods behoorlijk zielloos worden.

[XiliX]

Wat ik me vooral afvraag is wat er gebeurd als ik morgen weer naar die locatie ga. Is die dan hetzelfde of genereert 'ie dan iets dat er op lijkt?

[Timfonie]

Hoogstwaarschijnlijk dat laatste. Misschien worden de belangrijkste kenmerken vastgelegd, maar het is erg onpraktisch, zoniet onmogelijk om alle fijne details voortdurend op te slaan. Ons eigen brein doet dat trouwens ook niet. Dat genereert steeds opnieuw een werkelijkheid op basis van patronen die we eerder hebben geleerd en zintuigelijke prikkels. Het belangrijkste verschil: het geval van gegeneerde spelwerelden ontbreekt de feedback van zintuigen.

In het perfecte geval zou de spelwereld alle details die wij hebben onthouden (van die spelwereld) zelf ook moeten onthouden. Daarmee wordt een mismatch tussen wat we zien en wat we ons ervan kunnen herinneren voorkomen. Dit is echter geen zwartwit-kwestie. We kunnen te maken hebben met veranderingsblindheid, als veranderingen niet in ons verwachtingspatroon passen.

De vraag is hoe storend het is als een omgeving slechts lijkt op hoe we hem eerder hebben ervaren. Dat zou je kunnen zien als een variabele waarop een spel geoptimaliseerd kan worden, totdat het niet meer hinderlijk is. Dat zal wel van persoon tot persoon verschillen. En belangrijker: zoveel opslaggeheugen vergen dat het oneconomisch wordt.