Intelligente software leert Ms Pac-Man spelen

Medewerkers van een Hongaarse universiteit zijn er in geslaagd om zelfdenkende software agents te maken die het klassieke Ms. Pac-Man kunnen spelen.

Twee medewerkers van de Hongaarse Eotvos University zijn er in geslaagd zelfdenkende software agents te maken die succesvol gebruikmaken van reinforcement learning tijdens het spelen van Ms. Pac-Man, een klassieke game van Atari uit 1986.

De keuze voor Ms. Pac-Man was bewust. In deze versie volgen de spoken namelijk geen vaste route, zoals bij de eerste versie uit 1979 nog wel het geval was. De ai-agents kunnen hierdoor niet vooraf voorspellen welke actie ze moeten ondernemen. Dat betekent dat de software steeds in de gaten moet houden wat de spoken doen en beslissingen moet nemen op basis van die observaties.

Onderzoekers Istvan Szita en Andras Lorincz gebruikten voor hun agents reinforcement learning in combinatie met een aantal vaste regels. De onderzoekers lieten de software vijftig potjes spelen en vergeleken de resultaten met die van menselijke spelers. Het gemiddelde van de ai-agents lag net iets hoger dan dat van de menselijke spelers. In een vergelijkbaar experiment, waarin de agents niet van hun acties konden leren, viel de score van de agents beduidend lager uit dan dat van de menselijke spelers.

Ondanks het positieve resultaat waren er opvallende verschillen in speelstijl tussen de zelflerende agents en de menselijke spelers. Zo probeerden de menselijke spelers te voorspellen waar spoken zouden opduiken en probeerden ze te berekenen hoe groot de kans was dat ze een spook konden bereiken. Dat was voor de agents nog te hoog gegrepen.

Reacties (66)

[engelbertus]

iRobot, here we come! ;P

of zullen we nostalgisch doen, en het binnen nederland houden? de lift was ook een goeie film!

dat die robots het over wilden nemen van de mens, en dus niet meer als single unit, drie regels naleefden, samen in de gaten kregen dat de mensheid( ipv individuen) zichzelf aan het vernietigen was, als ze zo door zouden gaan als nu op basis van de huidige kennis (gas etc is over 25 jaar op, oorlog, etc.) en dat er tegen die mensheid moest worden opgetreden door eigen regels op te stellen met een avondklok etc. dat kwam van 1 intelligente "moeder" computer, en al die andere robots waren verder vrij simpel. niks geen AI maar vaste regels. die kunnen in real life niet worden hergeprogrammeerd. op dit moment is het zelfs nog uitgesloten dat er ooit een robot is die zo slim is als zo'n robot uit irobot.

het is niet ongepast of zo dit hier te vermelden, want dit gaat wel precies over irobot natuurlijk. al zijn dit de beginstapjes. en dan niet van die robot,s maar voor de mensen om t eleren begrijpen hoe men ooit een robot kan maken de wel zelf kan leren. dat betekent niet meteen een probleem want je hebt meer nodig dankunnen denken en leren om een oorlog te beginnen. een menselijk brein en menselijke reacties zijn veel minder goed te voorspellen dan je zou denken.

het is denk ik nog te ver voor AI om een groep individuen als een groep leert herkennen. misschien wel dat bepaalde aantallen individuen die bepaalde handelingend doen, als een bepaalde situatie herkennen, maar daarna, die zelfde individuen niet als deel van een bepaalde situatie herkent, als deze in zijn eentje is.

de mense beschermen is heel iets anders dan de mensheid beschermen. dan zou er gebeuren wat sommige mensen zouden kunnen denken ( laat ze elkaar daar in afganistan maar afmaken, dan hoeven wij dat niet te doen, scheelt geld en ons eigen mensen)

het idee van gps en zo is niet zo raar, en wer wordt al geexperimenteerd met systemen die op basis van gps en communicatie tussen voertuigen onderling de mens kan waarschuwen voor gevaarlijke situaties. bijvoorbeeld als twee autos die een kruising naderen en elkaar moeten kruisen, geen vaart minderen, gewoon op basis van wifi netwerken.

dat is natuurlijk een stapje , maar ik zelf zou meer zien in systemen die op een kruispunt horen, en het kruispunt centraal beheren, aan de hand van de signalen uit navigatiesystemen in de auto, zodat een centrale computer weet welke autos de kruising gaan paseren en willen afslaan, en hoe laat ze bij het kruispunt zijn, zodat de verkeerslichten zo efficient mogelijk worden geregeld.
want laten we eerlijk zijn, met dat andere systeem, zodra die beide autos worden gewaarschuwd, en op de rem trappen heb je een nieuw probleem, dat zou je moeten voorkomen. dat kan alleen als een centrale of decentral regelsysteem het verkeer inplanned.zo kan de ideale snelheid worden bepaald van een file etc, en op kruisingen het kruisend verkeer efficient worden geritst, zodat je nergen stilstand of ophoping krijgt. medewerking van de weggebruiker is dan wel noodzakelijk in de vorm van accepteren dat ej niet zelf bepaalt hoe hard je rijdt

[Reactie gewijzigd door engelbertus op 2 augustus 2024 13:12]

[leadpumper]

Computers die computerspelletjes spelen... Apart idee!

[Verwijderd]

Ik moet er niet aan denken dat mijn pc een wow-addict wordt =/

OT: Is het niet zo dat een 'normale' (in dit geval de spookjes) ook al zelf denkend is en anticipeert op de situatie (zoals ene schaakcomputer dat ook doet).. Dan is dit toch in principe niets anders dan een npc opstellen tegen andere npc's?..

[Bram S]

niet helemaal

de AI die wij kennen in computerspellen is geen echte AI, maar een lijstje met regels die gevolgd moeten worden door de npc (computer speler). Dit lijstje is opgesteld door de programeur (denk aan "IF kogel is coming towards head: IF DIFFICULTY=HARD:strafe+shootback;IF DIFFICULTY=NORMAL:duck;IF DIFFICULTY=EASY:do nothing")*

Echte AI houdt in feite in dat de computer zelf z'n lijstje opstelt (en aanpast!)

_{*Dit is natuurlijk een hele erge versimpeling van hoe het zit, ik weet nog dat Red Alert zo'n 1200 regels "AI" had (die je zelf kon tweaken), kun je nagaan hoe het zit met iets als Crysis}

[Verwijderd]

Zo'n gevoel had ik dus ook al. Dit is toch helemaal niet revolutionair? AI die zich aanpast aan AI. Dat is nogsteeds AI. Mis ik iets belangrijks?

[donotwant]

Oppeens krijg ik een flashback van een Russische meesterschaker die wordt verslagen door een computer van IBM.

Wel mooi dat een AI nu kan leren van zijn "tegenstanders". Dit zou ook niet verkeerd zijn in FPS of RTS games

[CAPSLOCK2000]

Dat deed die schaakcomputer ook al.
Sterker nog, voor het Deep Blue lukte om Kasparov te verslaan (want daar gaat het om), hebben ze Deep Blue uitgebreid getrained met oude wedstrijden van Kasparov.

Zonder die heel specifieke training had het waarschijnlijk nog jaren langer geduurd. Als Deep Blue had gespeeld tegen een andere, even sterke grootmeester was de wedstrijd ongetwijfeld verloren.

Kasparov heeft trouwens gezegd dat hij zelf ook z'n speelstijl had aangepast aan Deep Blue (zoals hij z'n stijl aanpast aan iedere tegenstander).

[YopY]

Was DW niet gewoon een computer die alle mogelijke zetten / partijen uitprobeerde en de meest efficiente zet zo uitrekende?

[XephireUK]

Dat is het probleem met schaken, er zijn teveel mogelijk zetten om uit te rekenen. Het gaat redelijk expantioneel, dus je kunt maar een paar zetten vooruit kijken. Daarbij kun je als menselijke speler anticiperen dat de computer anticipeert dat jij de meest efficiente zet zult spelen (net als de computer zal doen), Door een minder efficiente zet te doen krijgt de computer het moeilijk(er).

[Snake]

AI leerde al in Quake 3.

Ik schoot in de lucht met een railgun altijd een manneke uit de lucht. Na de 3de keer ontweek ie wel!

[Verwijderd]

Toevallig heb ik wat zitten spelen met de Quake 3 AI code en het leert dus absoluut niet. Het is, net als bijna alle games, gewoon scripted. Een soort van Finite State Machine met een team leader die opdrachten kan geven.

[Verwijderd]

Dat je iets kunt terugrederneren naar basis elementen betekend nog niet dat iets simpel is cq niet kan leren. Als je naar je hersens gaat kijken dan is het in principe ook niets meer dan koolstof. Sterker nog als je je hoofd maar hard genoeg samendrukt dan wordt het vanzelf een brokje diamant (nah .. wat luguber idee)

[MAX3400]

Misschien dat ik Q3 niet voldoende heb gespeeld maar een knap mannetje wat in mid-air even links of rechts kan afslaan om jouw railgun te ontwijken.

[hackerhater]

Het irritante aan spellen als Quake 3 is als jij net 1 af het maken bent een andere jouw van achter neerknald

[RoBBS]

Ah, Deep Blue vs Kasparov, 10 jaar terug alweer, ter vergelijking. m'n Q6600 heden ten dage heeft meer processing power in vergelijking met Deep Blue (in MIPS dan)

Goed te weten dat we zover zijn gekomen, alleen blijft het eeuwige probleem,.. Wat als de AI de kennis van mensen overstijgt. Ervan uitgaande dat computers logisch nadenken is een uitkomst a'la Terminator niet ondenkelijk.
Maargoed, desalnietteplus een goede ontwikkeling en zeker een stap vooruit. in de nabije toekomst beschadigde hersengedeelten vervangen bijvoorbeeld

[bbr]

Jah, aan een kant is het menselijk om zoiets te willen creeeren.
Het is iets wat onmogelijk kan uitblijven gezien de aard van de mens.

Laten we hopen dat tegen die tijd computers niet de beslissing nemen om mensen als overbodig te zien. Of ons gebruikt als energie source.
ala matrix / dune.

China is ook hard aan het werk om menselijke robots te maken.
Hoewel iets als Armitage of Chobits wel vet zou zijn op den duur.
Blijft het eng om te bedenken hoeveel macht robots / cyborgs zouden kunnen krijgen als ze zelf gaan denken.

[Reactie gewijzigd door bbr op 2 augustus 2024 13:12]

[Verwijderd]

zat meer te denken aan I, robot
Heb hier trouwens ook nog een filosofisch betoog over geschreven in plato stijl

[ReCreator]

Aparte stelling.
Mijn moeder zei altijd:"Wie niet waagt, wie niet wint." en "Niet geschoten is altijd mis."
Beetje tegenstrijdig, maar niet minder waar

Het is trouwens wel mooi om te zien dat computers leren te denken als een mens. Het is nu maar een spelletje Ms. Pac-Man, maar hoeveel handelingen/denkwerk een mens daarvoor wel niet (on)bewust moet uitvoeren is gigantisch. Het lijkt me een goede stap naar betere AI.

[Bliksem B]

ik denk dat je hier niet alleen moet kijken naar de toepassing op games... Dit is simpelweg als voorbeeld genomen, omdat dit makkelijk te testen valt!
Ik persoonlijk denk dat dit een veel grotere toekomst heeft bij het toepassen van robots e.d.! Want deze ontwikkeling dat AI zeg maar leerd is nog beetje basic. Voorheen werden robot's uitgerust met jarenlange programmeercodes. Maar dit kun je natuurlijk versimpelen door een robot alleen te programeren met basics en de rest moet hij zichzelf leren! Dit scheeld natuurlijk weer heel veel tijd! en een robot kan zo een heel stuk beter functioneren.

[mawashigeri]

... waarbij je dan wel even moet nadenken dat zo'n robot ook verkeerde dingen kan leren! De robot heeft echt geen last van z'n geweten als de meest efficiente route door een fabriek toevallig over een medewerker heen gaat.

[Verwijderd]

En als je hem dan uitschelden en op het matje roept, is het minder efficient en laat hij het. Moet je hem natuurlijk wel communicatie leren...

[reinouts]

Het is trouwens wel mooi om te zien dat computers leren te denken als een mens.

Alsof we precies weten hoe menselijke denkprocessen werken. Daar kunnen we hooguit een educated guess naar doen. En dan nog zijn de machine learning-technieken die hier gebruikt zijn misschien wel redelijk effectief op een beperkt domein (Ms Pac-Man), maar laat het getrainde systeem los op een spelletje Space Invaders en het bakt er niets meer van. Dat komt in de verste verte nog niet in de buurt van hoe mensen dat aankunnen.

[Tjeerd]

Vraag me af in hoeverre dit nou zo ingewikkeld was/is. In de jaren 80 konden de Pac-Man monsters al achter jou aanzitten. Dat was toentertijd dan eigenlijk ook al een soort van intelligentie. Nu is het alleen andersom, zorgen dat Pac-Man niet door de monsters wordt gepakt

[Distael]

De monsters toen hadden geen AI, ze volgenden gewoon een willekeurig patroon en als de mens niet snel genoeg was of pech had was je af. Dat is niet te vergelijken met kijken naar de tegenstander en beoordelen welke kant je op gaat om te zorgen dat je niet gepakt kan worden.

[airell]

Willekeurig was de eerste Pac Man echt niet... Ze volgden een vast patroon en ieder spookje had daarbij nog zijn eigen patroon ook! Links om, rechts om, horizontaal/verticaal, zelfde richting etc.

Het was juist in Ms. Pac Man dat er meer 'willekeurigheid' ingebakken was om de patronen minder goed te herkennen!

[Reactie gewijzigd door airell op 2 augustus 2024 13:12]

[willemd]

Het verschil is dat de spoken in Pac-Man eigenlijk alleen twee vaste regels hadden voor alles wat ze deden. Ze mogen alleen van richting veranderen bij een afslag, en gaan dan altijd richting de kortste route naar jou toe, waardoor ze uiteindelijk (hopelijk) jou verslaan.

Dit onderzoek heeft, voor zover ik het begrijp, de AI alleen het einddoel gegeven: versla de spoken, en zoek zelf maar uit hoe je het doet. De AI moet zelf de regels verzinnen, zonder dat verdere aanwijzingen gegeven worden.

[Verwijderd]

dit doet me denken aan i Robot http://nl.wikipedia.org/wiki/I,_Robot_(film)
dat en computer systeem zo slim wordt dat hij de mensen gaat aanvalen
maar gelukkig zijn het nu nog maar spookjes

[MAX3400]

Ach, "Terminator" zegt je niks? Geproduceerd 20 jaar voor "I Robot" met dezelfde gedachtengang... Een robot-ras heeft het wel gehad met de mensheid en gaat op pad om daar dus wat slachtoffers te maken.

http://nl.wikipedia.org/wiki/The_Terminator

[Maghiel]

I Robot komt van een boek van Isaac Asimov wat een stuk ouder is dan Terminator

[blobber]

En robots van Asimov vallen geen mensen aan omdat ze gebonden zijn aan de 3 grondregels die Asimov bedacht heeft en waaraan alle robots uit zijn verhalen zich houden.

[Maghiel]

ah ok is ook wel erg lang geleden dat ik het gelezen heb en toen was ik eigenlijk nog te jong om Asimov te begrijpen

[Vyo]

het boek I, Robot van Asimov is inderdaan een stuk ouder is dan Terminator. De film heeft geen hol te maken met het boek, dat bestond uit negen losse verhalen van Asimov.

Sterker nog, de naam van Asimov is later pas eraan verbonden tegen zijn wil in, en in de film is daarna pas het 3-laws-of-robotics systeem aan toegevoegd.

De grap is ook dat in boeken-sci-fi geweld praktisch niet voorkomt, terwijl op het witte doek science-fiction een TOTAAL andere doelgroep heeft, die geweld wel aanspreekt. Net als Transformers enzo zeg maar...

[YopY]

dit doet me denken aan i Robot http://nl.wikipedia.org/wiki/I,_Robot_(film)
dat en computer systeem zo slim wordt dat hij de mensen gaat aanvalen

Het computersysteem werdt in die film niet zodanig slim dat hij mensen aan ging vallen. Het berekende echter de optimale manier om de drie regels die hardwarematig ingevoerd waren uit te voeren. Een van die regels was om mensen te beschermen. Echter, de optimale manier om die regel uit te voeren, was om mensen tegen hun wil op te sluiten, zodanig dat de robots de controle hadden over wat de mensen deden en dergelijke.

[Verwijderd]

AI gaat naar "a whole new level"
Knap gedaan van deze jongens! hopen dat ze er later hun centen mee kunnen verdienen.

[Verwijderd]

Reply @ Neglacio,

lijkt mij niet... als ze zelfs qua menselijk redeneren niet zo slim zijn als een mens ( qua redenering en niet qua resultaat) zullen ze nooit bij een complex spel als een mmo niet te onderscheiden zijn van de mens

[Reactie gewijzigd door Verwijderd op 2 augustus 2024 13:12]

[wiels]

Zit ik hier nu de laatste paar dagen Artificial Intelligence te leren voor mijn examen, kom ik eventjes ontspannen op tweakers.net en lees ik dit! Net nu ik dacht er vanaf te zijn...
Nu eventjes serieus, AI blijft zichzelf ontwikkelen. Agents die mensen verslagen bij het schaken zijn eerder regel dan uitzondering. Echter zijn er nog altijd spelletjes waar het heel moeilijk is voor een agent om de mensen te verslaan doordat er te veel mogelijke zetten zijn die onderzocht moeten worden. (vb. Othello of Go)
Dit zal met de ontwikkelingen in het computerlandschap wel verbeteren met de tijd.

[Reactie gewijzigd door wiels op 2 augustus 2024 13:12]

[AYCE]

Kleinigheidje maar Ms Pacman is van 1982

[wiels]

Als we wikipedia mogen geloven heb je gelijk.

It was released in North America in 1982

wiki

[Reactie gewijzigd door wiels op 2 augustus 2024 13:12]

[AYCE]

Ikzelf ben nogal into retro en wist al dat 1986 het zeker niet kon zijn. Maar ik heb het na kunnen trekken op andere sites dus denk dat het in combinatie met Wiki wel staat als een huis.

[BCC]

Heeft dit nieuwswaarde? Had 3 jaar geleden bijna eenzelfde opdracht voor het vak Artificial Intelligence aan de Universiteit Twente (en met mij vele anderen). Ze hebben nu alleen de resultaten gereferenced met menselijke testpersonen...

[Reactie gewijzigd door BCC op 2 augustus 2024 13:12]

[MAX3400]

Tja, want zonder referentie is elke conclusie van een onderzoek "waar" of "onwaar".

Onderzoeker: "mijn programma is beter!"
Toeschouwer: "beter dan welk programma?"
Onderzoeker: "dat is niet onderzocht maar mijn programma is beter!"