Google DeepMind toont AI-tool die videogames kan spelen

Google DeepMind heeft SIMA gepresenteerd: een AI-tool die op basis van tekstinstructies handelingen in een videogame kan stellen. SIMA kan op dit moment meer dan 600 eenvoudige in-game handelingen uitvoeren en moet op langere termijn complexere taken kunnen doen.

Het team van Google DeepMind legt in een blogpost uit dat SIMA staat voor Scalable Instructable Multiworld Agent. Het team heeft tijdens de ontwikkeling van de tool met acht game-ontwikkelaars samengewerkt en de tool getraind op negen verschillende games, waaronder No Man’s Sky van Hello Games en Valheim van Iron Gate. Er werden ook virtuele testomgevingen ontwikkeld waarmee het team de AI kon trainen. Het team schrijft dat SIMA de relatie tussen natuurlijke taal en in-gamehandelingen begrijpt. Dat komt doordat de AI-tool speelsessies van menselijke spelers heeft kunnen analyseren waarbij niet enkel taalinstructies, maar ook invoer van knoppen en muishandelingen werden geregistreerd.

Dankzij de interactieve en open speelwerelden van de videogames kon SIMA bepaalde in-game vaardigheden leren, zoals bijvoorbeeld een menu bedienen, grondstoffen delven en het besturen van een ruimteschip. Google DeepMind zegt dat SIMA momenteel 600 van dergelijke in-game handelingen kan uitvoeren, maar dat de AI-tool op termijn ook complexere in-game taken zal moeten kunnen stellen.

SIMA heeft volgens Google DeepMind geen toegang tot de source code van een game en ook niet tot de api’s. De AI heeft volgens het team maar twee soorten inputs nodig: tekstinstructies en een beeld van de game. De AI-tool vertaalt de in-game handelingen op zijn beurt dan naar toetsaanslagen en muisbewegingen. SIMA zou volgens de redactie van The Verge niet ingezet worden als een npc, maar wel kunnen dienst doen als een extra virtuele speler in de game.

Scalable Instructable Multiworld Agent - Bron: Google DeepMind

Reacties (73)

[cariolive23]

Voor het spelen van games zie ik, als non-gamer, hier het nut niet van. Want om nou een bot aan het werk te zetten om voor mij te gaan spelen, omdat ik niet van gamen hou, what's the point?

Waar ik wel kansen zie, is in Ukraine: Laat een bot de drones vliegen waarmee Ukraine zich mee verdedigd. Die bots vliegen vast beter, kennen geen emoties en zijn schaalbaar.

[BadRespawn]

Voor het spelen van games zie ik, als non-gamer, hier het nut niet van.

Het nut is niet om de AI games te laren spelen, dat is een opstapje naar AI/robot die in de echte wereld kan functioneren.

[Xxana]

je kan hem in een survival game bijvoorbeeld gedurende je werkdag materials laten verzamelen zodat je je na het werk kan bezig houden met bouwen. Of in een MMO farmen zodat je materials kan verkopen...

[skunkopaat]

Dan kan je beter console commands gebruiken; geen onnodig energieverbruik en het zelfde resultaat

[Gubbel]

Nou, in een game als wow kan een bot anders heel handig zijn Vroeger ten tijde van WotLK nog flink geld aan verdiend

[Myri]

Absoluut, en ik hoop dat eenieder die dit doet er een dikke ban bovenop krijgt voor het verpesten van het spel voor mensen die het spel wel eerlijk willen spelen en gewoon een leuke game/tijd willen hebben.

[Anoniem: 1974312]

Waar slaat dat op? Het kan toch als toevoeging worden gezien en als iedereen deze tool gebruikt word het deel van de gameplay.

In een single player game zijn resources farmen niet altijd leuk als dat hiermee kan graag.

In een MMO de tool aanzetten om bijv je wapenskill of rep te trainen tijdens me werk als legale toevoeging van de game is daar toch niets mis mee.

[domiges]

Resources farmen en levelen zijn (doorgaans) mechanismes om een game het gevoel van progressie te geven: je levelt, unlockt dingen, je mannetje wordt wat sterker, je kan meer bazen verslaan etc… dit is het principe van toch wel het grootste deel van alle games. The journey is more important than the destination enzo.

Als iedereen een AI-bot kan laten draaien om met een level 99-personage met volle inventaris te spelen, kan je net zo goed de speler vanaf het begin die krachten geven.

[Enai]

Resources farmen en levelen zijn (doorgaans) mechanismes om een game het gevoel van progressie te geven

Farmen en levelen zijn tijdverspilling. Die games bevatten niet voldoende fun en draaien dus om een saaie grind waarbij de fun als wortel aan een stok gebruikt wordt om de speler aan te moedigen zijn tijd te verspillen. En men trapt er nog in ook want "progressie".

Kijk maar naar Path of Exile. Dat spel draait om maps (en delve, enz) maar volgens de developers is dit "post-game content". Dus mag je aan het begin van elke league 10 uur investeren in een oersaaie en zinloze grind tot max level. Geen wonder dat hapklare ARPGs als Vampire Survivors zo'n succes kennen.

Als iedereen een AI-bot kan laten draaien om met een level 99-personage met volle inventaris te spelen, kan je net zo goed de speler vanaf het begin die krachten geven.

Ja. En? De enige spellen waarbij levelling de moeite waard is, zijn roguelites waarbij je van bij de eerste stap voor uitdagingen komt te staan en je domweg niet verder geraakt als je niet goed genoeg bent.

Bij pakweg WoW is er niks aan: je kunt niet verliezen, je kunt er alleen langer over doen als het je aan skill ontbreekt. Met andere woorden: zelfs de developers weten dat levelling niet leuk is, en als je niet vaardig genoeg bent, word je dus afgestraft met meer levelling. LOL

[kozue]

Als een game niet fun is, misschien moet je m dan niet spelen (ipv een bot dat voor je laten doen)? Games zijn voor entertainment, er is geen noodzaak om games te spelen, en dus ook geen noodzaak voor een bot die dat doet.

[watercoolertje]

Je opmerking is imo te kort door de bocht.

Wat als een bepaalde (herhalende) taak in een game niet leuk is?
Dat spreekt toch niet voor de hele game? Enkel voor die specifieke taak...

[Zoop]

Wellicht, maar ik zou het absoluut terecht vinden dat je daar een dikke ban voor krijgt.

[watercoolertje]

Online wel inderdaad!

[Finraziel]

Vampire Survivors is best een grindy game... Slecht voorbeeld?

[Anoniem: 1974312]

Ik werk 40 uur daarnaast sporten de kinderen 4 dagen ik ook 2/3 heb vrienden en familie wat ik graag wil onderhouden.

Toch game ik 2-3 uur per dag lijkt me fijn als ik dan mee kan doen met de mensen die 16 uur kunnen spelen.

Ik hoef niet helemaal hetzelfde te zijn maar als je een beetje idle kan bijblijven lijkt me dat ideaal.

[Myri]

Nee, je hebt keuzes gemaakt in je leven. Je hebt kinderen, je hebt vrienden en familie en je wil dat allemaal onderhouden. Goed.. maar dus moet je prioriteiten stellen. Als je niet de tijd wil investeren in een game zoals werklozen en studenten dat kunnen, dan moet je kiezen: ofwel speel je het niet, ofwel geniet je van het spel op jou eigen manier.

Maar bon, de FOMO is strong in this thread...

[Zoop]

en @Anoniem: 1974312 Dit is dezelfde uitleg die je steeds ziet om pay2win achtige microtransacties goed te praten "ik ben een zielige pappa die geen tijd voor games heeft, dus ik koop/cheat mn progress". Ik snap dat echt niet, zou je dan niet wellicht wat laagdrempeligers gaan spelen? Bedoel, het is hun geld, als ze graag die uitgevers lopen te spekken moeten ze zelf weten.
Maar cheaten dmv bots kan echt niet door de beugel en ik hoop dat die maar snel en hard gebanned zullen worden.

Lijkt mij duidelijk dat deze bots hier ook helemaal niet voor bedoelt zullen zijn.

[pox]

Ik zie het nut eigenlijk ook niet in van games. Wat ik wel zie is dat ze dit misschien door ontwikkelen voor gebruik van remotely operated machinery. Want wat is uiteindelijk het verschil tussen in een game spelen (farming simulator) of een remote bestuurbare tractor met camera’s. Misschien is dat een mogelijk einddoel? Een game lijkt voor veel situaties natuurlijk op een simulatie van iets, oneindig veel mogelijkheden om dit soort natural language prompts te testen voordat het op echte hardware toegepast zou kunnen worden.

[L2GX]

Testers...

[Enai]

Volgens mij is dit gewoon een drone-AI vermomd als civiele AI. Als het mineralen kan herkennen en deze in stukjes breken met een mining beam, kan het ook tanks herkennen en in stukjes breken met een Vulcan.

[Sinester]

Voor het spelen van games zie ik, als non-gamer, hier het nut niet van.

Ik wel, bijvoorbeeld AI companions die hopelijk een stuk slimmer zijn dan je nu vaak ziet

Nu willen ze vaak ergens achter blijven hangen, in je weg gaan staan enz, enz

[m4ikel]

Aan de voorkant zijn we enorm aan het verduurzamen, maar aan de achterkant komen er nu technieken vrij, die bakken met energie slurpen. En dan glashard verklaren dat ze '100% klimaat neutraal' zijn. Ik denk dat we de nieuwe atoombom hebben uitgevonden, qua kennisvernietiging en energieverbruik.

[HelloJed]

Maar wat als DeepMind erin slaagt om de ontwikkeling van kernfusie te versnellen?

[Ryunoru]

Huidige AI-modellen zijn geen werkelijke intelligentie die zelf nieuwe dingen kan bedenken. Alles wat geproduceerd wordt door deze modellen is gebaseerd op bestaande kennis.

[k995]

Nee ze kunnen wel degelijk zelf al denken en redeneren. Je kan die een probleem of vraag stellen die ze nog nooit tegenkomen zijn en ze kunnen correct daarop antwoorden.

[MJLHThomassen]

Heb je een voorbeeld of een bron? Ik kan je namelijk met vrij grote zekerheid zeggen dat alles dat jij als indovidu kan bedenken om hem te vragen, al zeker een keer eerder door iemand is bedacht en ook in de trainingsdata zit.

Of was je de sarcasm tags vergeten toevallig

[VanStino]

"Move 37" is het eerste voorbeeld dat ik kan bedenken. AlphaGo speelt een move in het spelletje tegen Lee Sedol, alle experts snappen er niks van en uiteindelijk bleek het een breekpunt in dat spel.

https://www.youtube.com/watch?v=HT-UZkiOLv8

[Thom3]

Het hele idee van deep learning (en machine learning in het algemeen) is juist dat een model wordt getraind op trainings data en vervolgens wordt getest op data die voorheen nog niet is gezien. Over het algemeen zou een goed model generaliseerbaar zijn en dus ook goed werken op de test data.
Een betere vraag zou zijn of dit model dan ook echt een correct antwoord kan geven en hoe jij als gebruiker dit kan bevestigen. Dit is dan ook waarschijnlijk waar Explainable AI een grote rol gaat spelen.

[k995]

https://youtu.be/qbIk7-JPB2c?si=9VXFHQhEgJSssLo3

Heel goede uitleg daarover

[Zoop]

Wellicht niet zo zeer echt nieuwe dingen bedenken waar creativiteit voor nodig zou zijn, maar zeker wel nieuwe configuraties en vormen. Dat is een kwestie van mogelijkheden bruteforcen en dat te testen tegen z'n eigen learning model. Zo kan hij op combinaties komen die letterlijk nog nooit eerder gezien zijn. Dat is juist de kracht en nut van zo'n bot, het herkennen en produceren van patronen die anders onzichtbaar zijn, of over het hoofd gezien worden. De kennis om die patronen te kunnen zien en maken structureert hij namelijk zelf. Ja, het is afhankelijk van de data die hij gevoed wordt, maar het punt is dus juist dat zo'n bot zelf de links en relevanties tussen die data legt. Wat vrijwel altijd op een manier zal gaan zoals een mens dat nooit zou doen. Er wordt dus van een andere kant naar data gekeken en dat produceert wel degelijk allerlei nieuwe dingen.

[svane]

Mensen baseren ook alles op bestaande kennis, en toch komt er regelmatig iets nieuws uit de mensheid.

Zelfde geldt voor AI .Op z'n minst helpt AI om het menselijk werk te versnellen. Zoals hier, waar materialen om batterijen mee te maken tig keer sneller geanalyseerd worden dan een mens dat ooit zou kunnen.

The researchers queried AQE for battery materials that use less lithium, and it quickly suggested 32 million different candidates. From there, the AI system had to discern which of those materials would be stable enough to use — which wound up being around 500,000. They used more filters to deduce how well each material might conduct energy, simulate how atoms and molecules move within each material, and suss out how practical each candidate would be when it comes to cost and availability.

Eventually just 23 candidates were left, of which five were already known materials. All the whittling down took just 80 hours — a feat so speedy it would have been virtually impossible without AI and AQE.

[BadRespawn]

Mensen baseren ook alles op bestaande kennis, en toch komt er regelmatig iets nieuws uit de mensheid.

Zelfde geldt voor AI .
[...]

AI die diepe kennis heeft van fysica is nog ver weg.

[Reactie gewijzigd door BadRespawn op 23 juli 2024 10:49]

[PCG2020]

Met andere woorden, de onderzoekers hebben AI feitelijk ingezet als hulpmiddel om heel snel heel veel data door te spitten. En daarvoor is het uitermate geschikt, mits je al weet welke richting je query moet hebben. Hadden ze érgens in die query iets anders geformuleerd, dan waren er heel andere antwoorden uitgekomen.

Nu neem ik aan dat ze er niet één query ingestopt hebben, maar meerdere en ook aan verificatie hebben gedaan om de uitkomsten te controleren.

[svane]

Het originele argument waar ik op reageerde was:

Huidige AI-modellen zijn geen werkelijke intelligentie die zelf nieuwe dingen kan bedenken.

Dit artikel toont juist aan dat deze AI wel degelijk nieuwe dingen heeft ontdekt. Die 32 miljoen kandidaten zijn niet door mensen verzonnen, maar door AI.

Of je dit nou intelligentie noemt of niet vind ik niet zo interessant. Het resultaat (nieuwe materialen / kernfusie) is belangrijk. Iets als 'een ziel', 'intelligentie', 'zelfbewustzijn' zijn simpelweg niet te meten.

Zoals Alan Turing ook zei:

Since we can only observe the behavior of the machine, it does not matter if it is "actually" thinking or literally has a "mind". Turing notes that we can not determine these things about other people[z] but "it is usual to have a polite convention that everyone thinks"[278]

[PCG2020]

Nee, de AI heeft geen nieuwe dingen ontdekt, de query heeft ervoor gezorgd dat er 32 miljoen suggesties gedaan zijn voor combinaties van materialen met hypothetisch de voor accu's gewenste eigenschappen.

Daarvan bleken er na een nieuwe analyse op basis van een nieuwe query 500.000 (iets meer dan 1,5%) hypothetisch natuurkundig stabiel te zijn, maar niet per se geschikt voor het gebruik in accu's. 98,5% van de voorgestelde combinaties van materialen waren dus in principe willekeurige combinaties die in de praktijk nergens op slaan.

Nieuwe query met een nieuwe analyse: 23 geschikte en stabiele combinaties van materialen die ook daadwerkelijk de gewenste eigenschappen hebben. Daarvan bestaan er al 5 en díe zijn beschikbaar om accu's van te maken.

Dat de AI een heel goed hulpmiddel is geweest om tot die conclusie te komen is evident, want heel snel heel veel data combineren en analyseren, daar is AI heel geschikt voor. Maar dat het programma zelf materialen heeft ontdekt, is natuurlijk de grootst mogelijke onzin.

[p0p0]

Maar, zoals je vaak ziet, als je alle beschikbare bestaande kennis zou koppelen, kun je wel degelijk iets nieuws vinden. Dit is bijvoorbeeld waarom China lang achter bleef in ontwikkeling, de kennis was er wel, maar de mensen praatten niet meer elkaar, waardoor toch telkens net wat miste.
Dus dan maar kopiëren.
Met de hoeveelheid kennis die inmiddels beschikbaar is, lukt het de mens gewoon niet om alles lang genoeg te onthouden, om verbanden te ontdekken.
En daar kan zo'n AI dan natuurlijk wel helpen.

[DigitalExorcist]

Alles wat mensen doen, van hun reacties tot handelingen, is aangeleerd gedrag en dus op basis van bestaande kennis. Dat is prima terug te herleiden naar algoritmes.

[Reactie gewijzigd door DigitalExorcist op 23 juli 2024 10:49]

[HelloJed]

En toch is DeepMind er al eerder in geslaagd om iets te doen waar wij al jaren mee sukkelen: protein folding.

[Dark Angel 58]

Nee, daar zijn ze veel te dom voor omdat ze geen bewustzijn hebben, daarom noem ik ze domme AI's!
Precies net als netwerk hub en switch

[oef!]

Als een AI een set relatief complexe regels efficiënt kan uitvoeren kan het ook heel wat banen vervangen.

Eerlijk gezegd denk ik dat dit extreem energiezuinig is tov uitvoer door mensen die naar een kantoor reizen, daar verblijven, etc.

[latka]

Een mensenhoofd heeft aan 40w genoeg dacht ik. Daar zit een ai zeker nog niet.

[oef!]

Het is een totaalplaatje, de reis van en naar kantoor, de energiekosten die nodig zijn om het kantoor en de werkplek comfortabel draaiende te houden en zelfs het eten en drinken dat geconsumeerd wordt.
Daarnaast kan compute door de tijd efficiënter worden.

Een bak aannames van mijn kant maar ik zou het niet vreemd vinden als het (in de toekomst) wel uit kon.

[p0p0]

Zeker, en waarom de AI niet gebruiken om efficiënter met de energie om te gaan, of net die verbetering in de opwekking vinden, waardoor bijvoorbeeld zonnepanelen veel meer energie opwekken, of de opslag veel beter kunnen maken, want inmiddels hebben redelijk wat landen in de zomer overcapaciteit, en in de winter bijna te weinig

[k995]

We worden dan ook al miljoenen jaren geselecteerd op efficiëntie

[Pompidompi]

Een mensenhoofd heeft aan 40 W genoeg dacht ik. Daar zit een ai zeker nog niet.

Als je daarbij meeneemt, dat een mens zo'n twintig jaar nodig heeft om een redelijk complete `skill set' tot stand te brengen, dan brengt dat het totaal ook op een behoorlijke hoeveelheid energie die nodig is voor de `training'. Het is namelijk niet zo, dat een baby'tje meteen al partiële differentiaalvergelijkingen analytische kan oplossen.

[latka]

Een AI trainen kost wel iets meer dan die kosten van je videokaart. En voor partiele differentiaalvergelijkingen zou ik alles en iedereen bevragen behalve een AI: probeer het eens met ChatGPT en wees verbaast ;-)

[Pompidompi]

voor partiele differentiaalvergelijkingen zou ik alles en iedereen bevragen behalve een AI: probeer het eens met ChatGPT

Nu is een large language model misschien ook niet de geëigende weg voor het oplossen van een dergelijk probleem. De wereld van AI is gelukkig dan ook meeromvattend dan alleen ChatGPT.

Overigens is "iedereen" ook wel een heel ruim bemeten begrip. Ik dank je, namens mijn moeder, voor het in haar gestelde vertrouwen, maar haar kun je overslaan, als het gaat om het oplossen van een partiële differentiaalvergelijking.

[latka]

Voor een partiele differentiaal vergelijking zou ik Derive of Mathematica pakken.. beide niet AI en beide al een aantal decenia oud ;-)

[Pompidompi]

Dat kan inderdaad ook. Misschien was mijn keuze van een relevante vaardigheid die je na twintig jaar zou kunnen kunnen een beetje ongelukkig gekozen. Mijn punt was eigenlijk dat, om dat punt te bereiken, reeds behoorlijk wat energie gevergd heeft. Het genoemde voorbeeld was meer ter illustratie.

[Jarune]

Gelukkig zullen we dit energie verbruik veel meer centraliseren, de voorkant is veel groter dan de achterkant. Als daar de besparingen plaats gaan vinden is het een grote winst.

[fuse.core]

Dit lijkt fantastisch voor mij als indie game developer, het testen van games is cruciaal en vaak heel moeilijk tenzij je een QA team tot je beschikking hebt.

[skunkopaat]

Dan is een bèta test toch beter? Dan krijg je geen klinische input van een AI maar veel meer waardevollere data van echte spelers

[fuse.core]

Absoluut, maar ik ben een spel aan het maken. Ik heb geen tijd om ook spelers te ronselen en managen voor te playtesten. Plus veel "gamers" zijn vreselijke testers, vaak snappen ze de context niet omdat ze een "early access" volledig speelbaar spel verwachten ipv iets wat crashed omdat ze hun kleine teen aanraken met hun neus.

[Zeuske]

Wat voor spel is het?

PM mij maar

[Autisme_tech]

Je kan het toch gewoon alvast releasen op steam terwijl het in development is? Dan krijg je genoeg testers. Mensen kopen tegenwoordig games die nog in ontwikkeling zijn en niet af zijn

[Pirate_Pete]

wie had 6 jaar geleden gedacht dat de 1 aprilgrap niet zo heel ver van de werkelijkheid vandaan zat.
Nvidia G-assist
https://www.youtube.com/watch?v=smM-Wdk2RLQ

[Er!k]

Leuk als tool om games te testen, maar in de praktijk zal die tool wel ingezet worden om massaal te farmen... En dan dat geld/materialen verkopen voor echt geld.

[LuisjeNL]

AI tegenstander in games kan wel wat mooi's bieden

[latka]

Dan worden spellen wellicht gewoon weer moeilijk.

[kikashi]

Zo, het gevaar van AI netjes geneutraliseerd. Vanaf nu gaat het z'n tijd verdoen met te gamen ipv de wereld over te nemen.

[Autisme_tech]

Of het leert stiekem allerlei tactieken om het straks in de echte wereld te gaan toepassen om alles over te nemen

[mwa]

Dan wordt een aimbot wel heel letterlijk..

[Finraziel]

Bedoel je een AImbot?

[SirLenncelot]

Ah mooi dan ben ik daar ook geen tijd meer mee kwijt.

[DanielChopin]

Inderdaad, ik heb graag dat AI al onze hobby's overneemt zodat we daar niet meer onnodig tijd aan kwijt zijn. Dan kunnen we gewoon niks doen. En hopelijk word dat op termijn ook vervangen door AI.

[JustlikeNiko]

Goh, dat is wel handig. Dan kan ik eindelijk die enorme backlog eens (laten)wegwerken. 😂