Kunstmatige intelligentie leert zichzelf Space Invaders te verslaan

Software voor kunstmatige intelligentie van Google heeft zichzelf Space Invaders leren spelen op een hoger niveau dan dat van een mens. Bij een spelletje Pac-Man was de artificial intelligence echter belabberd slecht.

Googles deep Q-network-software voor kunstmatige intelligentie wist bij 22 van in totaal 49 klassieke Atari 2600-games zichzelf beter te leren spelen dan een menselijke game-expert. Het wetenschappelijk tijdschrift Nature publiceert over het onderzoek. Bij 20 games was de mens beter en bij de overige 7 spellen was de strijd onbeslist.

De software is afkomstig van DeepMind, een bedrijf dat Google in 2014 overnam. De software kijkt naar de laatste vier frames van de gameplay om het succes van handelingen te analyseren en nieuwe moves te bepalen, schrijft MIT's Technology Review. Die korte aandacht beperkt de mogelijkheden complexere games onder de knie te krijgen. Om de spookjes in het doolhof van Pac-Man te ontlopen zou DeepMind meer vooruit moeten kunnen zien. Bij BreakOut waren 600 potjes nodig om de optimale strategie te bepalen en het spel succesvol uit te kunnen spelen.

Google gaat de software nu zo aanpassen dat de aandachtsspanne en het geheugen verbeteren. Daarnaast krijgt deep Q-network de mogelijkheid systematischer games te analyseren in plaats van willekeurig handelingen uit te voeren voor trial & error. Het concern is al bezig om de software games van een Super Nintendo-console en vroege pc-titels te leren.

Helaas!
De video die je probeert te bekijken is niet langer beschikbaar op Tweakers.net.

Reacties (48)

Kalief 26 februari 2015 16:19

Bij BreakOut waren 600 potjes nodig om de optimale strategie te bepalen en het spel succesvol uit te kunnen spelen.

Na hoeveel potjes weet een mens hoe het werkt? De AI zou tot hetzelfde aantal moeten worden beperkt om de vergelijking te kunnen maken.

Nees @Kalief • 26 februari 2015 16:23

Niet echt. Jij hebt in al die jaren voorheen ervaring opgedaan om te weten hoe tot een strategie te komen dat je het kan oplossen. Je moet het vergelijken als een baby. Die heeft ook veel tijd nodig om zich te ontwikkelen en dat is wat die AI doet, die kent volledig niks en leert wat er moet gebeuren. Net zoals een baby leert lopen, daarvoor leert hij eerst kruipen.

Steef435 @Nees • 26 februari 2015 18:18

Een naar mijn mening belangrijk verschil met een baby is dat dit programma op een of andere manier al het doel heeft om "het spel uit te spelen". Trial & error werkt alleen als je de try, error, en "victory" kunt identificeren en van elkaar kunt onderscheiden, en dat lijkt deze AI van tevoren ingebakken te krijgen.

[Reactie gewijzigd door Steef435 op 22 juli 2024 20:33]

Durandal @Steef435 • 26 februari 2015 18:24

Wie zegt dat een mens/dier dat niet ook ingebakken heeft?
Pavlov?

Steef435 @Durandal • 26 februari 2015 18:30

Veel verstand heb ik er niet van, maar gaat het Pavlov-effect juist niet om aangeleerde reacties?

Het lijkt me sterk dat de mens instinctief deze onderdelen van een spel als breakout kan herkennen. Ik heb nu helaas niet vijfhonderd pasgeborenen om een gameboy in de hand te duwen om het te bewijzen.

M.l. @Steef435 • 27 februari 2015 00:24

Hoeft niet altijd waar te zijn. Als je perceptrons gebruikt om een neural net te maken kun je backpropagation gebruiken om 't netwerk als het ware op de vingers te tikken als het een fout maakt. Zo kun je AI dus leren wat het allemaal niet moet doen (dan blijft er nog over wat het wel moet doen).

mveijden @Nees • 26 februari 2015 17:32

En het feit dat een baby zijn ontwikkeling kon toespitsen op meerdere dingen is het ontwikkelen van intelligentie. Een systeem wat pure algoritmische berekeningen maakt toegespits op de specifieke toepassing waar het mee bezig is zou ik zelf geen A.I. willen noemen. Op het moment dat het systeem deze opgedane ervaringen kan gebruiken in een tweede game komen we meer in de buurt van intelligentie.

[Reactie gewijzigd door mveijden op 22 juli 2024 20:33]

extremezz @mveijden • 26 februari 2015 17:48

Ja dit is 0,0 AI, het denkt niet maar het is gewoon een snelle rekenmachine .

Neko Koneko @extremezz • 27 februari 2015 09:48

Ja dit is 0,0 AI, het denkt niet maar het is gewoon een snelle rekenmachine .

Zoals alle computers.

Anoniem: 234453 @Nees • 26 februari 2015 19:11

Ik weet niet of Breakout wel zo ideaal is om een AI te laten leren, want er zijn in deze versie van Breakout slechts twee rondes, daarna is het hoe dan ook "game over". Dus die AI moet wel wat opschieten met z'n strategiebepaling natuurlijk. Overigens kun je in dit spel ook in een infinite loop terechtkomen waardoor de bal langs hetzelfde pad heen en weer blijft stuiteren. Maar ik veronderstel dat het voor een AI geen al te groot probleem vormt om dat te herkennen. Wel een interessante ontwikkeling.

Ubartu @Kalief • 26 februari 2015 16:29

[...]
De AI zou tot hetzelfde aantal moeten worden beperkt om de vergelijking te kunnen maken.

Dat ligt aan je doel.
Als je doel is om te kijken of je een computer iets sneller kan aanleren dan een mens, dan wel.
Als je doel daarentegen is om een AI verder door te ontwikkelen dan dat een mens kan, dan hoeft dat niet.

DieBegging @Ubartu • 26 februari 2015 16:36

Snelheid en hoeveelheid stappen zijn twee verschillende dingen. Qua snelheid kan hij die 600 potjes misschien in een paar seconden spelen.
Je wilt vooruitgang boeken zodat het volgende spel in 60 potjes een nog beter resultaat is geeft.

[Reactie gewijzigd door DieBegging op 22 juli 2024 20:33]

loki504 @Kalief • 26 februari 2015 18:02

Ik denk dat er weinig mensen als er al 1 is. Die de ai kan verslaan. Tuurlijk globaal leren we sneller. Na 600 potje maak ik nog steeds foutje. En zal ik van tijd tot tijd de bal doorlaten gaan. Maar de ai niet.

hoofdcoach 26 februari 2015 16:17

De toekomst: een robot die zichzelf zo slim maakt dat ie de hele wereld overneemt?

Anoniem: 482094 @hoofdcoach • 26 februari 2015 16:43

Een leuk "thought experiment" is de Paperclip maximizer. Hierin heeft men het over een systeem dat gemaakt is om paperclips te verzamelen, en geeft het men het systeem een AI om dit doel constant te optimaliseren.

Dit is een van de mogelijke gevaren van AI, en eentje waar veel mensen niet bij stilstaan.

Leuk om even te lezen:
http://wiki.lesswrong.com/wiki/Paperclip_maximizer

[Reactie gewijzigd door Anoniem: 482094 op 22 juli 2024 20:33]

Enai @Anoniem: 482094 • 27 februari 2015 10:05

Dat is wel een beetje té paranoïde.

Zelfs als je AI de vrijheid krijgt om te evolueren totdat hij een manier vindt om de wereld in paperclips te veranderen, dan zal-'ie nooit spontaan zover komen omdat de tussenstappen geen paperclips opleveren - en er zijn heel veel tussenstappen. Elke goed ontworpen AI zal op een gegeven moment wel convergeren naar een lokaal maximum in plaats van eindeloos ver van de rails te gaan zonder dat dit paperclips oplevert.

Als de AI wél de instructies krijgt om het lokaal maximum te negeren en willekeurig zaken te proberen totdat hij toevallig de aarde-tot-paperclipmachine uitvindt, dan kun je net zo goed een toevalsgenerator gebruiken. Tenzij je hem de nodige kennis meegeeft zodat hij een geïnformeerde beslissing kan nemen om zich op nucleaire technologie toe te leggen, maar dan is het niet langer de schuld van een dolgedraaide AI maar van de programmeurs ervan.

[Reactie gewijzigd door Enai op 22 juli 2024 20:33]

Anoniem: 22438 @Anoniem: 482094 • 26 februari 2015 17:54

Verhaal uit mijn oude beroep: Een autist die zijn cavia binnenste buiten keert om te onderzoeken waar het piep dingetje zit dat je ook vindt in honden speeltjes.

Of laatst nog in het nieuws, een vrouw in België die haar kinderen verbrandt zodat haar echtgenoot deze niet kan opeisen.

Het is niet uniek voor Ai

Flowmo @hoofdcoach • 26 februari 2015 16:36

Yup, de Singularity noemt men dat moment. Het moment waarop machines de mens niet meer nodig hebben om zichzelf door te ontwikkelen en de mens dus overbodig wordt voor ze. Welke beslissing ze op dat moment nemen valt nog maar te zien

Anoniem: 470811 @Flowmo • 26 februari 2015 16:54

Singularity in de ogen Ray Kurzweil wordt anders omschreven. Dat is wat hem betreft het punt (de Singularity) dat wij niet meer in staat zijn om de impact van de technologische vooruitgang in te schatten, vanuit de positie waarin we nu staan.

Zijn beeld mbt AI is dat hij eerder een fusie van BI en AI ziet ontstaan, dan dat de een de ander opheft.

Linksom, of rechtsom, het blijft koffiedik kijken en dat is wat mij betreft al leuk van zichzelf

Flowmo @Anoniem: 470811 • 26 februari 2015 23:16

Singularity kan op verschillende manieren voorkomen. Wat ik noemde is er 1 van, wat jij noemt is er ook een. Hier staan er nog een paar: http://nl.wikipedia.org/wiki/Technologische_singulariteit. Waar het in feite om draait is dat de technologische ontwikkelingen op een gegeven moment zo snel kunnen gaan dat wij het met onze "beperkte" intelligentie niet meer bij kunnen houden en begrijpen. Of dat nu direct het resultaat van de technologie zelf is, of veroorzaakt wordt door een AI die zichzelf doorontwikkelt, maakt niet veel uit. Het ene kan eerder voorkomen dan het andere, er kunnen op zich ook meerdere singularities voordoen, als ik die definities zo interpreteer.

Anyway, het is idd afwachten hoe dit verder gaat lopen. Het is "maar" een theorie en die kunnen er zomaar eens naast zitten.

blorf @Flowmo • 26 februari 2015 18:07

Nooit van gehoord. Maar een machine heeft een drijfveer of doel nodig om zichzelf te ontwikkelen. Volgens mij wordt dat een groot probleem wat de hele theorie om zeep helpt. Mensen zij o.a. nieuwsgierig en van nature vrij lui wat i.c.m. redeneren tot ontwikkeling leidt. Een hedendaagse computer is eigenlijk enkel een complexe functie die een binaire reeks tot een andere binaire reeks verwerkt. Die functie kan zichzelf best aanpassen maar er moet een conditie in het proces ontstaan die daarvoor zorgt. En een heleboel andere condities die gaan bepalen wat de bedoeling is. En die moeten zelf ergens vandaan komen. Dus een kip/ei situatie.

Al met al erg interessant. Van dat moment zelf, het initieren van een soort kettingreactie waardoor een stuk software van human-made AI naar een autonoom "denkend" systeem evolueert zou ik best eens een schematische voorstelling willen zien.

Stoney3K

Wetenschap

@blorf • 26 februari 2015 23:23

Nooit van gehoord. Maar een machine heeft een drijfveer of doel nodig om zichzelf te ontwikkelen.

En precies daarom is het scenario van evil computers die de wereld overnemen heel erg onwaarschijnlijk. Want wat schieten ze daar mee op? Welk doel bereiken ze met het uitroeien van de mensen (hun programmeurs) en totale wereldheerschappij? How to move on from there?

Bij mensen kun je je nog voorstellen dat iemand dat uit een kwaadaardige, emotionele motivatie doet (bv. wraakzucht), maar dat ontbreekt natuurlijk bij een machine.

Het enige wat voor kan komen is dat zo'n machine ons niet meer belangrijk vindt, en mensen die in de weg lopen bewust uit de weg worden geruimd.

[Reactie gewijzigd door Stoney3K op 22 juli 2024 20:33]

Mic2000 @Stoney3K • 27 februari 2015 11:27

Als ze zien dat wij robots ook weer wegdoen, op de schroot hoop gooien, hebben wij ook een minnetje achter ons ras

Flowmo @blorf • 26 februari 2015 23:26

Klopt, een AI moet door een mens geschreven worden en daarin moet worden gedefinieerd wat het doel is en welke methodes gebruikt kunnen worden om dat doel te bereiken. Een systeem dat voor zichzelf moet gaan bepalen hoe het zichzelf en/of bepaalde processen kan verbeteren is enorm complex. Misschien dat daar het omslagpunt ligt, dat het systeem zichzelf verbetert, maar daardoor zichzelf enorm complex maakt en het op dat moment voor de mens niet meer valt te begrijpen. Dat systeem kan zichzelf dan blijven verbeteren en optimaliseren, voor dat ene specifieke doel waar het voor is ontwikkeld, wat het met elke iteratie nog complexer maakt.

Stel dat bij dat doel het bestaan van de mensheid in de weg staat om op een gegeven moment zijn processen verder te verbeteren, dan wordt het een gevaar voor de mensheid, zonder dat het bewust "kwade" beslissingen neemt. Het doet dan nog steeds waar het voor bedoeld is, het steeds verder optimaliseren van een proces.

Zie ook het voorbeeld van de Paperclip maximizer hieronder. Maakt het e.e.a. duidelijker dan wat ik hierboven heb getypt.

Anoniem: 628318 @Flowmo • 26 februari 2015 17:19

Dat is geen singularity zoals hierboven al is gezegd.

Flowmo @Anoniem: 628318 • 26 februari 2015 23:16

Dat is niet wat ie zegt en wat jij zegt is onjuist. Dat is wél een defninite van singularity, al zijn er meerdere definities. Zie ook mijn reactie hierboven.

blorf @Flowmo • 27 februari 2015 15:20

Ik kende eigenlijk alleen de singulariteit als aanduiding voor de situatie in een zwart gat waarbij ruimte, tijd en materie inclusief alle natuurwetten niet meer bestaan, althans dat onmogelijk is aan te tonen omdat zwarte gaten "allesvernietigend" zijn en zelfs licht en dus ook informatie er niet uit kunnen ontsnappen.

[Reactie gewijzigd door blorf op 22 juli 2024 20:33]

Durandal @hoofdcoach • 26 februari 2015 18:28

Dan moet die robot (=mobiele AI) wel eerst het verlangen tot wereldoverheersing hebben. Waarom zou hij?

Tourmaline @Durandal • 26 februari 2015 23:33

Als hij zichzelf alles kan leren, wat denk je dan zelf?

Emoties:
Haat
hebzucht
macht

noem maar op. Het zou maar gebeuren.

[Reactie gewijzigd door Tourmaline op 22 juli 2024 20:33]

Tourmaline @hoofdcoach • 26 februari 2015 16:23

In de film gebeurt het al:

Terminator! Skynet.

0vestel0 @Tourmaline • 26 februari 2015 16:30

wargames

AzzKickah @Tourmaline • 26 februari 2015 17:38

I Robot

Flowmo @Tourmaline • 26 februari 2015 23:26

The Matrix.

Webdoc 26 februari 2015 17:23

Dit is heel tof, maar zolang die AI geen geheugen "functie" heeft is het vooralsnog niet echt spectaculair. Wat ik bedoel is - als je hem Quake, Doom en Unreal voor zou schotelen, zou hij elke game helemaal vanaf nul gaan leren. Het wordt pas echt impressive als hij wat hij in Doom heeft geleerd meteen en met bijna geen moeite kan gaan toepassen in Quake en alle andere shooters. Then we're talkin. Nu is het toch echt nog steeds "brute force" learning. 100 keer tegen muur aan lopen, 60 keer in lava vallen, etc etc en dan "leert" ie schijnbaar dat dit niet zo nuttig is. Een 5-jarig kind doet dit goed na 2-3 trials...

Niet om deze achievement te dissen overigens, maar het is niet revolutionair IMHO.

Atomsk @Webdoc • 27 februari 2015 00:21

Het is ook helemaal geen intelligentie. Het is een trucje en we maken onszelf wijs dat het heel bijzonder is en fantaseren er lekker op los over superintelligente robots die de wereld overnemen.

Daarnaast maken we denk ik de denkfout dat alles mogelijk is en dat de enige beperking je eigen intelligentie is. Even een zelflerende machine maken die superintelligent wordt en tada: alles kan. Maar misschien is dat wel helemaal niet zo en zijn ontzettend veel zaken echt onmogelijk, hoe intelligent je ook bent. Dan is superintelligentie helemaal geen nuttige eigenschap omdat je er alleen maar depressief van wordt.

RubenJdeJong 26 februari 2015 16:20

Heel bijzonder om te zien hoe de strategie zich aanpast naarmate het aantal interaties toeneemt.

Ask! 26 februari 2015 16:22

Interessant leesvoer over de eigenaar van DeepMind, Demis Hassabis.

http://www.technologyreview.com/news/532876/googles-intelligence-designer/

Impressive stuff they're making there!