Ai van team van Nederlandse wetenschapper krijgt highscore in Ms. Pac-Man

Kunstmatige intelligentie van een team van een Nederlandse wetenschapper heeft in het spel Ms. Pac-Man de vrijwel onmogelijke score van 999.990 punten gehaald. Dat is tot nu toe geen enkele menselijke of kunstmatige speler gelukt.

Het team van de Nederlandse Harm van Seijen is van Maluuba, een in ai gespecialiseerd bedrijf dat onlangs door Microsoft is overgenomen. Van Seijen werkte en studeerde tot enkele jaren geleden in Nederland, en zit sinds juli vorig jaar bij het Canadese Maluuba. Hij heeft een paper gepubliceerd over de bevindingen in Ms. Pac-Man.

De onderzoekers konden volgens Microsoft die highscore neerzetten door het spel voor de ai te verdelen in meer dan 160 'agents', die elk in hun eigen belang moesten handelen. Elk blokje, elke geest en Ms. Pac-Man zelf waren zo'n agent. Een gewogen gemiddelde van al die voorkeuren van agents bepaalde de richting van Ms. Pac-Man in het spel.

Ms. Pac-Man is vaker onderdeel geweest van onderzoek naar kunstmatige intelligentie, omdat de tegenstanders in het spel notoir onvoorspelbaar zijn en het dus moeilijk is om hoge scores neer te zetten.

Helaas!
De video die je probeert te bekijken is niet langer beschikbaar op Tweakers.net.

IT-banen

Reacties (37)

Biertje. 15 juni 2017 14:43

Gave ontwikkeling! We weten wat we kunnen verwachten van AI, de vraag is hoe(snel) dit zich ontwikkeld.

Als je alleen al ziet wat er de afgelopen 3 jaar is gebeurt dan is het hek nog lang niet van de dam.

Zou alleen leuk zijn als er eens een stand-alone AI kan worden ontwikkeld (liefst open source) voor op je eigen server. Lijkt mij erg interessant om mee te hobbyen.

dbram @Biertje. • 15 juni 2017 15:09

Met een beetje python en wat vrije tijd kom je er wel :-)
https://courses.edx.org/c...yX/CS188.1x-4/1T2015/info

Biertje. @dbram • 15 juni 2017 16:01

Oke, Ik heb weer lees voer

Thanks!

ATS @Biertje. • 21 juni 2017 17:21

Ok, nog wat leesvoer dan

bbob @Biertje. • 15 juni 2017 16:43

Het zal zich snel gaan ontwikkelen en steeds sneller worden.

Kijk naar techniek de laatste 100 jaar, 50 jaar 25 jaar 10 jaar 5 jaar 2 jaar en je ziet dat alles steeds sneller en sneller gaat. Het is ieder keer een verdubbeling op vele gebieden en de tijd tussen die verdubbeling wordt steeds korter.

qunatum computers staan pas aan het begin en voorspellen een gigantische boost. Hierdoor zal ai nog sneller kunnen leren met nog meer variabelen en daardoor tot een nog betere uitkomst komen.

Je kunt deze hele ontwikkeling ook zien als een wiskundig chaos model, steeds verdubbeling, verdubbeling tot het punt van chaos. Dat is het punt waarop de mensheid een probleem heeft en dit helemaal uit de hand gaat lopen.

Tourmaline @bbob • 15 juni 2017 17:39

Hierdoor wordt het gevaar ook steeds groter! Ik hoop dat ze een goede kill-switch inbouwen in Ai apparaten straks anders krijg ik toch weer een terminator gevoel.

bbob @Tourmaline • 15 juni 2017 19:00

Kill switch kijk westworld (serie) gaat over ai en je krijgt je antwoord (d.w.z kill switch is season 2).

Maar heb niet de illusie dat een kill switch werkt, dat is in films zo. ai zal samengaan met dna modificatie en combinatie van biotech, ai en elektronica. Half mens hal machine zal ooit mogelijk zijn, we zien nu al eenvoudige vormen daarvan. Kunsthanden die hersensignalen kunnen uitlezen, ook maar het begin.

Tourmaline @bbob • 15 juni 2017 19:40

Klopt en er komt een tijd dat deze AI machines efficiënter en sneller zijn dan mensen kwa denken en handelen. Dan wordt het gevaarlijk.

[Reactie gewijzigd door Tourmaline op 23 juli 2024 12:52]

familyman @bbob • 16 juni 2017 06:15

Als het echt ai is en echte handelingen in de echte wereld kan doen, dan zal zo'n systeem er zelf voor zorgen dat een killswitch al heel snel niet een optie is om te gebruiken.

Denk aan: tuurlijk kan je een killswitch gebruiken om te voorkomen dat ik rusland nuke, maar dan werkt ook alle electriciteitsvoorziening in jouw land niet meer, omdat ik ook de powergrid manage.

bbob @familyman • 16 juni 2017 09:16

Gaf al aan dat killswitch een illusie is en alleen in films bestaat.

Als ai evolueert naar bewustzijn dan kan het zichzelf verder ontwikkelen. De kennis van ai zal die van de mens overstijgen en bij een volgende generatie is de killswitch niet meer aanwezig.

De enige manier om een ai die bestaat uit hardware (niet biologisch) is bijv een emp die op een paar km kan werken en alle elektronica vernietigd. Dat past perfect in het choas idee (zie boven)

De volgende stap van ai zal dan integratie met biotechnologie zijn waardoor je dus eigenlijk gewoon een gemodificeerde geprogrammeerde mens c.q levend wezen kan maken.

familyman @bbob • 16 juni 2017 09:24

.... Escape from LA

Hoppa! 15 juni 2017 14:40

Vandaag Pacman, morgen Manhattan, volgende week: de wereld.

Leuke prestatie natuurlijk, maar in hoeverre is dit nou echt AI?

[Reactie gewijzigd door Hoppa! op 23 juli 2024 12:52]

gold_dust @Hoppa! • 15 juni 2017 14:46

Ik heb me niet in de technologie achter het spelen van Pacman verdiept maar ik doe wel veel met machine learning en gebruik nu ook deep learning in een project. Het hele machine learning inclusief deep learning heeft weinig met intelligentie te maken, ik vind de benaming 'toegepaste statistiek' veel treffender.

jpsch @gold_dust • 15 juni 2017 15:11

Inderdaad, dit is toch gewoon heel veel mensen/agents een inschatting te vragen en daar het gewogen gemiddelde van nemen.

walteij @jpsch • 15 juni 2017 15:20

Maar doe jij dit (in je hoofd) ook niet stiekem continue?
Je zit net onder Rotterdam in de auto en hoort dat er 8 km file op de A13 staat en dat de A4 is afgesloten. Je navigatiesysteem ben je vergeten.
Dan ga je toch ook in je hoofd zitten bedenken hoe je sneller in Den Haag bent?

Over de A20/A12, binnendoor via Zoetermeer en Pijnacker, via de A20 en Kijkduin?

Ook het menselijk brein doet uiteindelijk (als het om beslissingen nemen gaat) niet veel anders dan risico's en beloningen vergelijken, precise zoals dit programma (en AlphaGo) doet. Ik denk ook dat als het om beslissingen nemen gaat, dit een van snelste wegen naar AI is.
Als het om nieuwe ideeën, theoriën en ontwikkellingen gaat, heeft AI nog een heel lange weg te gaan.

jpsch @walteij • 15 juni 2017 15:38

Zelf kan ik bedenken dat iedereen dat doet en ik misschien beter eerst wat kan gaan eten.

Niet dat dit soort statistiek niet nuttig is, geloof best dat dit een betere score haalt voor het 'handelsreizigersprobleem' dan ik kan bedenken.

Thunderhawk @jpsch • 16 juni 2017 00:08

Wat heeft het handelsreizigers probleem hier met AI te maken? Dat is een wiskundig probleem wat vooralsnog alleen door quantum computers (theoretisch) gedaan kan worden.

Tenzij de AI on the fly het probleem mathematisch oplost (P = NP, yay!), of zichzelf tot volwaardig quantum computer herprogrammeert, heeft dit probleem geen enkele betrekking op AI.

CEx @gold_dust • 15 juni 2017 14:48

Hoe zou jij A.I. willen omschrijven?
Is het leren van situaties en het leggen van verbanden niet exact wat ons intelligent maakt?

Tourmaline @CEx • 15 juni 2017 17:40

Zodra AI dit sneller kan, is de mens in gevaar.

Hoppa! @gold_dust • 15 juni 2017 14:59

Nou ja, voor mijn gevoel is er een dunne lijn tussen een ingewikkelde 'what if' instructieset en daadwerkelijke A.I.

Ik ben absoluut geen expert op dit gebied, dus reageer hier op basis van boerenverstand, opleiding in sociale wetenschappen en redelijke technische inzicht. Mij lijkt een true A.I. niet specifiek geprogrammeerd op 1 taak, zoals hier duidelijk wel het geval is.

Het is een dun lijntje, maar dit lijkt me een instructieset die zichzelf hooguit verbeterd binnen een zeer beperkte opdracht en kader. Als er al sprake is van verbeteren, want mij is niet helemaal duidelijk in hoeverre deze 'A.I.' gaandeweg dit spel (zelf) heeft geleerd, of dat er meer sprake is van geschreven software.

Een gewogen gemiddelde van al die voorkeuren van agents bepaalde de richting van Ms. Pac-Man in het spel.

Deze tekst impliceert voor mij dat er geen sprake is geweest van 'leren' maar van toepassing van software.

walteij @Hoppa! • 15 juni 2017 15:14

Daadwerkelijke AI zoals jij die omschrijft (zelf dingen verzinnen en ontwikkelen) is nog wel een eind verwijderd.
Zie dit meer als stap 1 in intelligentie (vergelijkbaar met de mens in het jager-verzamelaar tijdperk).
Ga je die aardbeien plukken? Ook als ze tussen de giftige planten in groeien en je geen beschermende kleding aan hebt? Wat doe je als je een roofdier op je pad tegen komt?
Dat is de AI zoals deze nu in Ms Pac Man is ontwikkeld. Overigens is AlphaGo ook 'gewoon' een risico analyse (als in: welke zetten zijn er mogelijk als ik dit doe en wat win of verlies ik hiermee in X aantal zetten), dus ook geen AI zoals jij die omschrijft.

Dit zijn de (toch al behoorlijke) kinderstapjes in AI, maar deze zijn zeker noodzakelijk om in de toekomst de AI zoals jij (en ook ik) die graag ziet mogelijk te maken.
Hoe mooi zou het zijn om AI uit te laten vogelen hoe quantum fysica nu eigenlijk samen met de gewone fysica samen werkt, of uit te laten rekenen of (en hoeveel) andere dimensies er eigenlijk zijn?

martward02 @Hoppa! • 15 juni 2017 15:38

Dit is het verschil tussen hard AI en soft AI. Dit onderzoek is een voorbeeld van soft AI, waar een intelligend (in dit geval waarschijnlijk zelf lerend) algoritme een oplossing vind voor een specifiek probleem.

bigbadbull @Hoppa! • 15 juni 2017 15:48

Maar mijn beste, dit is toch AI ?

we hebben nu de agent voor Go, packman & schaken.
ook nog verschillende voor fabricage processen.
elke aparte AI hoeft nu nog op 1 hop gesmeten te worden + nog talloze die we moeten ontwikkelen, en we hebben de uiteindelijke AI.

himlims_ 15 juni 2017 14:48

die score kan door mens ook bijna niet behaald worden; omdat de game UI/crashed bij zon hoge score (ivm mem overload??) waardoor beeld niet meer correct weergegeven wordt

vdws @himlims_ • 15 juni 2017 17:23

Dat betreft de arcade versie van pac man. Hier gaat het over de Atari versie van ms. pac man

Paultje3181 15 juni 2017 14:49

Erg tof. Het klinkt natuurlijk wel heel erg geprogrammeerd inderdaad, maar uiteindelijk moet hier wel een algoritme aan ten grondslag liggen. Alleen moet volgens mij wel voor echt AI de sterkte van de voorkeur zelfstandig aangepast worden op basis van het spelen. Dit mis ik wel een beetje in het filmpje. Wellicht dat het er wel in zit.

Maar wel heel tof om dit te zien.

dbram 15 juni 2017 15:05

Zijn er meer details bekend van het algoritme (van de agents) ?
Me dunkt dat een klassiek spelletje pac man reeds met eenvoudige informed search (A* en heuristics) en/of reinforcement learning kan worden gespeeld, zelfs met tegenstanders.

De combinatie van de agents blijkt hier ervoor gezorgd te hebben dat ze een dermate hoge score hebben behaald. Interessante details over reinforcement learning kan je vinden in de mooc bij EDX CS188.1x (BerkeleyX). Een groot deel van de (huis)taken houden in agents te schrijven, te gebruiken en te tunen om een spelletje PacMan te spelen.

https://courses.edx.org/c...yX/CS188.1x-4/1T2015/info

een van de deelnemers heeft zijn video's online gezet: https://www.youtube.com/watch?v=yXDUXGG4cGE

Edit: ter info: video werd in 2012 online gezet... dus bestaat al eventjes.

[Reactie gewijzigd door dbram op 23 juli 2024 12:52]

Marctraider 15 juni 2017 14:50

We weten amper tot niet hoe een brein werkt. Ja leuk, we kunnen 'hotspots' detecteren en deze dan linken aan bepaalde functies in een brein, nou nou...

Zo lang we niet weten hoe een brein echt werkt en kunnen uitlezen, blijft AI maar een voor-geprogrammeerd zooitje. Laat je niet voor de gek houden.

Dat iets ergens op 'lijkt' wil nog lang niet zeggen dat het ook op een zelfde manier werkt.

thomas1907 @Marctraider • 15 juni 2017 14:59

Dus elk zelfstandig "denkend" ding moet dat precies hetzelfde doen als wij, de mens? Ik gok dat er nog vele andere manieren zijn om dat te doen.

Tourmaline @thomas1907 • 15 juni 2017 17:42

Efficiëntere manieren waarschijnlijk.

MeMoRy 15 juni 2017 15:36

Flimpje eindigt natuurlijk -zoals veel dit soort dingen- met een sales-pitch. Het draait uiteindelijk allemaal om geld binnenharken. Het wordt zelfs gepromoot voor kapitaalinvesteerders: degene die onze economische markt continu op het randje van de afgrond duwen.

Als iemand in de wetenschap heb ik dit over de laatste 20 jaar zien veranderen, maar het is al langer bezig: onderzoek moet voor inkomsten zorgen, of het wordt afgeschoten. De huidige liberaal-kapitalistische regering stimuleert het alleen maar. Voorbeeld. Voorbeeld 2

Dit gaat mijns inziens ten koste van het fundamenteel onderzoek. De meeste grote uitvindingen uit het verleden zijn helemaal niet doelgericht ontwikkeld, maar zijn vaak toevallig ontdekt vanuit veel abstractere onderzoek.

Daarnaast werkt het ook niet altijd goed: wetenschappers zijn nou eenmaal geen managers/marketeers/onderhandelaars (anders zouden ze wel in het bedrijfsleven werken). Ik heb hier al regelmatig projecten met bedrijven op de klippen zien lopen, mijns inziens te wijten aan onkunde. Dan mag de legal afdeling het weer op proberen te lossen. Intussen is de onderzoeker maanden kwijt aan administratief werk. Tijd en geld dat de afvoer in verdwijnt.

[Reactie gewijzigd door MeMoRy op 23 juli 2024 12:52]

Anoniem: 382343 @MeMoRy • 15 juni 2017 16:49

Dat wordt ook wel ambitie genoemd. En ja veel wetenschappers zijn inderdaad absoluut geen geboren ondernemers maar ze zitten er zeker tussen. Voor mij is de wil om dingen te onderzoeken een drijfveer voor het ondernemerschap, ik vind het enorm zonde als ik gelimiteerd ben door geld om te onderzoeken wat ik interessant vind. Daar heb ik best flink wat extra uren voor over en het risico dat een onderneming faalt daar kan ik ook mee leven.

En daarnaast; door investeerders te moeten zoeken is er tenminste een zekerheid dat er vanuit de maatschappij vraag is naar wat je aan het ontwikkelen bent. Als je het hebt over factoren die onze economische markt kunnen doen laten instorten dan kun je het beter hebben over de geldverkwisting die plaats vindt wanneer onderzoek niet doelgericht wordt gefinancierd.

Stijn Weijters 15 juni 2017 15:50

En nu de 1.000.000! Of is dat niet mogelijk?

Anoniem: 120539 @Stijn Weijters • 16 juni 2017 11:46

In het filmpje kun je zien dat het spel na deze hoogste score weer door gaat bij 0.
Dus: nee, niet mogelijk.

Stijn Weijters @Anoniem: 120539 • 16 juni 2017 14:26

Oh oke sorry. Ik lees tweakers altijd op mijn telefoon en toen laadde hij het filmpje niet. Maar bedankt!

Tourmaline 15 juni 2017 17:48

In principe kijken ze nu gewoon welk stukje software efficiënter is en zich beter aan een bepaalde situatie kan aanpassen. Pacman vs de AI speler. Je kunt toch op basis van de verouderde software en algoitmen toch wel verwachten dat de nieuwste AI uiteindelijk zal gaan winnen?!

Anoniem: 120539 16 juni 2017 11:50

Alhoewel knap, (want kennelijk nooit eerder gedaan) is dit natuurlijk meer vergelijkbaar met hoe een schaakcomputer zijn werk doet dan dat er sprake is van intelligentie.
Ook daar worden de verschillende mogelijke zetten (=bewegingen) afgewogen tegen de mogelijke gevolgen, waarbij alle stukken (64 'agents') een 'mening' kunnen hebben bij de volgende zet.
Op basis van de berekening met het meest gunstige resultaat wordt een beslissing genomen.

Wellicht dat het uitvoeren van deze berekeningen ondanks het grote aantal agents in real-time nog het meest indrukwekkende is aan dit verhaal.
Maar goed, daardoor niet minder leuk om te zien, en zeker een interessant experiment!

Op dit item kan niet meer gereageerd worden.

Ai van team van Nederlandse wetenschapper krijgt highscore in Ms. Pac-Man

Lees meer

IT-banen

Reacties (37)

Sorteer op:

Weergave: