Unreal Tournament 2004-bots doorstaan Turing-test

Computerwetenschappers hebben Unreal Tournament 2004-bots ontwikkeld die in potjes deathmatch de Turing-test doorstaan. In 52 procent van de gevallen werden de bots UT^2 en MirrorBot dankzij hun realistische gedrag als mens aangemerkt.

Wetenschappers hebben bots ontwikkeld voor Unreal Tournament 2004 die de Turing-test doorstaan, schrijft Phys.org. De bots speelden samen met een even grote hoeveelheid menselijke gamers potjes deathmatch. De menselijke spelers konden met een speciaal wapen tegenstanders markeren om aan te geven of ze dachten dat deze een bot of een mens was. De bots UT^2 en MirrorBot werden gemiddeld in 52 procent van de gevallen als mens aangemerkt, tegen 40 procent voor de daadwerkelijk menselijke spelers.

Volgens Jacob Schrum, een doctoraalstudent aan de Universiteit van Texas en medeontwikkelaar van UT^2, speelt het imiteren van irrationeel gedrag dat mensen vertonen een sleutelrol. "Menselijke spelers jagen een tegenstander op als ze wrok koesteren, ook al is dat niet in hun eigenbelang", aldus Schrum. "Dergelijk gedrag kunnen we nabootsen." Zo maken de bots ook fouten en schieten ze mis.

Schrum zegt dat er vijf jaar is gewerkt om de bots op het niveau te krijgen dat mensen niet meer het onderscheid kunnen maken of ze tegen een door een computer of mens gestuurde tegenstander spelen. Om de bots het juiste gedrag aan te leren, is een gedeelte van het gedrag gemodelleerd op basis van geobserveerd gedrag door menselijke gamers.

Het gedrag in gevechtssituaties is de bots aangeleerd met een proces dat neuro-evolutie heet. Hierbij wordt een kunstmatig neuraal netwerk steeds een klein beetje aangepast en getest, waarbij de goed presterende varianten worden behouden en verder worden aangepast. Deze vorm van evolutie werd net zolang herhaald tot de bots het gewenste gedrag vertonen. Schrum legt uit dat er hierbij grenzen zijn gesteld om menselijk gedrag te imiteren, omdat er anders een ongeloofwaardig goede bot zou ontstaan.

De twee winnende teams zullen de prijzenpot van 7000 dollar voor de eerste plek moeten delen. Volgens Risto Miikkulainen, een professor die ook deel uitmaakt van het UT^2-team, moeten de onderzoeksresultaten niet alleen betere tegenstanders in games en simulaties opleveren, maar ook zouden robots op betere wijze met mensen kunnen samenwerken dankzij de voor het onderzoek ontwikkelde technieken.

Reacties (92)

Cool! een van de grootste ergernissen is toch wel dat een bot zich gedraagt alsof zijn hersenen werken op een muizenrad.

Wat ik nu mis is een filmpje wat ingame beelden laat zien van de bots, of mag dit niet omdat het nog een project is?

De link die in het artikel staat heeft 2 filmpjes.
http://phys.org/news/2012...ent-game-bots-turing.html

The winning bots both achieved a humanness rating of 52 percent. Human players received an average humanness rating of only 40 percent.

Read more at: http://phys.org/news/2012...game-bots-turing.html#jCp

apart...

Jeumig, wat een slechte spelers. Je zou inderdaad denken dat het domme bots zijn.. Niet strafen of dodgen in UT... dat is vragen om afgemaakt te worden.

Echt sneu dit, de Turing test gaat over een ander soort bots, dat ze hier uberhaupt de naam turing test aan hebben gehangen is best bespottelijk, lekkere manier om die nobelprijs winnaar belachelijk te maken jongens.

De turing test gaat over interactie met de mens, communicatie, dus niet een of andere sneue bot... jezus.

Mag ik weten hoe dit semi-onderzoek Turing belachelijk maakt?

De turing test gaat over interactie met de mens

En een potje gamen creeërt geen interactie tussen spelers?

dus niet een of andere sneue bot

Hoe zijn deze bots sneu? Ze zijn amper te onderscheiden van een mens, dus ik zou ze niet sneu noemen!

Als je goed bent in de game zul je een stuk sneller zien wie bots zijn en wie niet, met name de looppatronen bij het 'vluchten' zijn zeer snel herkenbaar voor een ervaren speler. Deze test is dus sterk afhankelijk van hoe goed de spelers zijn in ut2k4 en hoe vaak ze al met elkaar hebben gespeeld.

Mensen die nog nooit ut2k4 hebben gespeeld zullen geen flauw idee hebben wie een bot is en wie niet.

Ben ik het mee eens.

Als je bijv. kijkt naar de Turk, dan zouden mensen daar ook snel van kunnen denken dat het een mens is. Of Deep Blue. Als het enkel om interactie op DAT specifieke veld is, in dit geval schaken.

Maar de Turing test wordt hier wel degelijk misbruikt. Alan Turing heeft heel duidelijk aangegeven dat zijn test gaat om sociale interactie via tele-typing, oftewel chatten zoals het nu heet.

Een potje UT2K4 heeft geen barst met de Turing test te maken.

Precies

Tenzij de bots ook deden chatten en schelden en op die manier niet van echte spelers te onderscheiden waren, heeft dit niets met de Turing test te maken.

Echt heel vet dit. Offline multiplayer wordt er een stuk toffer door.

Oftewel singeplayer.

offline multiplayer is niet hetzelfde als singleplayer...

Ik vind dat gamestudios dit soort onderzoeken zouden moeten steunen!
Misschien had het dan minder tijd gekost?

zoiets heet skrimish game mode je speelt dan tegen bots

Skirmish modes are found mainly in strategy games. They involve playing multiplayer game modes against AI opponents.

[Reactie gewijzigd door firest0rm op 28 september 2012 16:35]

En waarom zou je persé een team van mensen tegen een team van bots moeten doen en niet de boel mixen?

Ik speelde een "skirmish" nochtans altijd tegen echte mensen. Het zijn potjes multiplayer zonder ranking. Zoals PCW's eigenlijk.

nee hoor niet per se, met single player word vaak een campaign bedoeld; een soort verhaaltje dat je moet doorlopen. in UT kan je ook offline multiplayer doen door bots ipv tegenstanders in te stellen.

als je heel letterlijk wil gaan kijken is het dan nog steeds singleplayer inderdaad maar offline multiplayer beschrijft wel beter wat je dan aan het doen bent.

Euhm, ik zou net met offline multiplayer het zien als "potje met de vrienden over een LAN". Anders heb je het over Singleplayer, ongeacht of dat in Campaign of game modes zoals DM/CTF of whatever is...

Was ik niet van op de hoogte, sorry.
Het is dan ook al 8 jaar of langer geleden dat ik voor het laatst ut gespeeld heb.

Inderdaad, ook heel goed dat ze 'wrok' imiteren.

Als beetje speler weet je toch wel dat wrok niet in je voordeel is en dat je dat beter kunt laten als je ook nog als doelstelling hebt te winnen. Ik vraag me dan ook af hoe goed die bots daadwerkelijk menselijke spelers benaderen, zeker in 'duels'.

Deze bots zijn bedoeld om gemiddelde spelers te benaderen. Daarom schoten ze ook met opzet mis, zeker nadat ze een snelle beweging hadden gemaakt. Aimbots vallen snel door de mand.

Met opzet mis... Ik beweeg wellicht wat beter dan dat ik aim, krijg vaak genoeg van zogenaamde top spelers te horen "ik mis nooit".

1x een killcam en je weet gelijk of het een bot is of niet. Net zoals je in 2 seconden kunt zien of een spel op een console is gespeeld of op de PC (door de houterige bewegingen).

maar het is toch soms oo zo leuk.

Iemand vermeld mijn moeder op counterstrike:global offensive.

Dan jaag ik hem op, zo simpel is het

Met andere woorden, je doet niks anders ...

En dan ff flink tea baggen zoals in bf3. Geweldig is dat ook. En dat dan een paar keer achter elkaar doen bij dezelfde persoon. 9 van de 10 keer dat deze persoon je probeert te achtervolgen.

Zoals gisteren in Oman bij het vliegveld staan met een unlimited ammo box en alle vliegtuigen en heli gelijk neerhalen. Kreeg een hele clan achter me aan. Geweldig

Dacht dat vooral amerikanen in die bait trapten.. Makkelijkste manier om je kill score op te schroeven, your mom uitspraken.

Jep, Amerikanen zijn de ergste gamers. Zeker met spellen zoals BF, CS en CoD zijn deze makkelijkst te trollen. Verder in de jaren dat ik admin ben geweest voor verschillende server en nu headadmin voor één "community" kan ik zeggen dat Amerikanen het meest vervelend zijn.

Ze denken altijd dat ze grappig zijn, vloeken en schelden op de mic is ook niets vreemds. Oh en hun denken dat ze kunnen trollen, het is zo slecht dat die arrogantie van Amerikanen best vervelend kan zijn:)

Hoewel Russische kinderen ook best vervelend op de mic kunnen zijn

Zijn ze vervelend of gewoon slecht? Als je kunt winnen door alleen maar te trollen zie ik het probleem niet. Als dat soort volk alleen maar loopt te kutten omdat ze verliezen is het wel irritant.

Het gaat er dan ook niet om de bots zo goed te maken als ze kunnen zijn, maar om ze zoveel mogelijk op een mens te laten lijken.

En dan horen "emoties" er toch echt wel bij hoor.

ja want zo goed mogelijke bots bestaan al. die worden aim bots genoemd

Bij gamen is het gevoel dat je bij de game hebt belangrijk en is het dus vaak wel in je voordeel om wrok te koesteren.
Vaak tijdelijk maar toch plezierig

Definition of multiplayer:

adjective
denoting a computer game designed for or involving several players.

Zegt niet of deze spelers mensen of AI moeten zijn

Volgens mij is een player per definitie geen AI, NPCs ofwel Non-Player Characters zijn in principe altijd AI's .

"Menselijke spelers jagen een tegenstander op als ze wrok koesteren, ook al is dat niet in hun eigenbelang", aldus Schrum. "Dergelijk gedrag kunnen we nabootsen." Zo maken de bots ook fouten en schieten ze mis.

De bots zijn maw slechter in het spelen van het spel als standaard "bots". Langs de andere kant, levert het "irrationele" van de beslissingen wel een minder voorspelbaar spelbeeld op. En dat is wel goed, aangezien de meeste FPS-bots supervoorspelbaar handelen. Door dat ze niet ideaal spelen, zou het dus best wel eens moeilijker kunnen zijn om tegen die bots te spelen.

Ik speelde vroeger altijd tegen 1 bot op godlike, reuze spannend was. Maar na 100 potjes zag ik inderdaad patronen ontstaan, zelfs plekken waar ze soms even wachten.

Heb je wel eens een UT2004 bot bekeken met spectator modus? Ze weten altijd waar je uithangt en hebben flinke aimbots die soms even mis schieten. Al zijn ze qua beweging een stuk langzamer dan jij, ze schieten heel erg goed (hangt natuurlijk af van welk niveau ze je instelt).

Grappig, die 'wrok'. Dit gedrag hebben ze bijvoorbeeld in Team Fortress 2 enorm versterkt door "Revenge" te kunnen verkrijgen op een speler wanneer deze je een paar keer heeft gedood. Hierna staat er een icoontje boven het hoofd van die speler. Ik betrap mezelf hier ook vaak op dat ik dan gelijk op die speler begin te schieten terwijl dat vaak lang niet zo effectief is

In de originele UT kon ik me nog weren tegen 3 godlike bots. In 2004 was een godlike bot al nagenoeg onmogelijk te verslaan.

Deze test ging blijkbaar niet om een zo goed mogelijke bot te maken , maar om er één in te zetten die niet van een mens te onderscheiden is . Een mooie ontwikkeling lijkt mij , want super goede technische bots zijn niet zo leuk om tegen te spelen.

Good times, sniper only Deck16][ op UT99 tegen 1 of 2 gemodificeerde godlike bots (99% accuracy). Dat kon ik destijds nog prima winnen, maar ik ben bang dat ik daar nu te weinig voor speel

Ik ben overigens wel geheel te porren voor onvoorspelbare bots, want als er iets jammer is aan bots is het de voorspelbaarheid wel. 99% accuracy of niet, je weet na een halfuurtje echt exact hoe ze lopen, bewegen en reageren.

Ik ben eigenlijk wel benieuwd wat voor screening is gedaan bij de mensen die ze voor de test hebben gevraagd. Een 'veteran' speler zal inderdaad naar mate van tijd naar mijn idee toch door krijgen dat het niet om een mens gaat maar een bot.

Overigens ben ik altijd verwonderd hoe AI van spellen in elkaar zit ondanks dat het vaak in spel opzicht nog wel eens kan falen

Beetje flauwe test. Er is weinig menselijks aan het drukken van knopjes die beweging in gang zet in een spel. Dit is prima te simuleren, dus weet je nooit zeker of het wel of geen mens is die het poppetje bestuurt. De turing test slaagt hier dus relatief makkelijk , naar mijn idee.
In het geval van een open vragen lijst is het al een stuk lastiger om dat te simuleren, wat het makkelijker maakt om te denken of een reactie van een computer is of van een mens.

dus weet je nooit zeker of het wel of geen mens is die het poppetje bestuurt.

Speel maar eens een game dat multiplayer en AI in dezelfde speelwereld biedt. Er is wel degelijk groot verschil, spelen tegen game AI wordt doorgaans als nogal saai ervaren vergeleken met spelen tegen een mens achter de knoppen.
Zo makkelijk is het dus niet om het zo te simuleren dat het niet van menselijk gedrag te onderscheiden is. Natuurlijk is dit beperkt tot alleen maar een gamewereld, er wordt niet geclaimd dat een compleet mens wordt gesimuleerd.

Maargoed.. wat is 'menselijk'?

-At random mis/draaien
-hunten van je gehate tegenstander
-random gangen inrennen/random routes
-reload/duck/reload/schiet/duck
-bunnyhoppen!

Dat is toch niet zo bijzonder om na te bootsen? Alles wat afwijkt van het standaard 'bot' gedrag, zou dus al als mens worden aangemerkt?

Hoe zou zo'n bot in teamplay werken? Cover geven, support, revive/healen, dat zou pas interessant zijn.

[Reactie gewijzigd door SinergyX op 28 september 2012 17:27]

Mee eens. Een UT-level is ten opzichte van een fysiek "level" (gebouw, gangenstelsel etc.) niet erg complex. De spelers kunnen schijnbaar veel maar in de realiteit zouden dezelfde mogelijkheden erg beperkt zijn.
Eigenlijk is het niet helemaal eerlijk om te zeggen dat iets aan de Turing-test voldoet alleen omdat het op menselijk gedrag lijkt in een omgeving waar gedrag op zich beperkt is, ook voor de menselijke aanwezigen. Misschien is de test een beetje achterhaald omdat computers tegenwoordig zoveel rekenkracht hebben dat bij een willekeurig test-scenario alle zichtbare factoren waar de AI op moet anticiperen meegenomen kunnen worden zodat het vrijwel altijd werkt. Het is eigenlijk gewoon een kwestie van zoveel mogelijk handelingen die een bot kunnen verraden handmatig elimineren en wat randomized gedrag invoeren om een bot niet feilloos te laten zijn.

Hoe zou zo'n bot in teamplay werken?

Niet erg goed. In elk geval niet als we hem op de standaard "teamplayer" moeten laten lijken. In de meeste games die ik gespeeld heb was het teamplayen aardig ver te zoeken

- Random gangen inrennen/random routes

Zo menselijk is dit niet. Het zal je verbazen hoevaak mensen dezelfde routes (of patronen hierin) gaan ontwikkelen. Vooral in een spel als UT, waar je powerups hebt komt dit nog vaker terug.

haha, de omschrijving van wat een menselijke speler karakteriseerd, is wel erg van toepassing op mijzelf.
Inderdaad het koesteren van wrok wanneer iemand je gekilled heeft. Achter die persoon aanjagen, ongeacht of dat een strategisch juiste actie is.
En helaas het 'mis schieten' is ook van toepassing...

Nou is Unreal Tournament ook wel een makkelijke FPS om bots voor de ontwikkelen. Bij een spel als Battlefield gaat dat een stuk lastiger. Je hebt daar meer factoren en vooral cover, dat laatste speelt bij Unreal Tournament bijna geen rol.

Bots in schietspellen vallen vaak door de mand door het niet zoeken van cover. Ze blijven er óf alleen maar achter zitten, óf ze gebruiken cover niet.

Nou is Unreal Tournament ook wel een makkelijke FPS om bots voor de ontwikkelen.

Wat heet makkelijk; ik zie het jou of mezelf zo snel niet doen.
Bovendien gaat het nu eenmaal met ontwikkeling, ook van techniek: eenvoudig beginnen.

Bots in schietspellen vallen vaak door de mand door het niet zoeken van cover. Ze blijven er óf alleen maar achter zitten, óf ze gebruiken cover niet.

Deze bots dus niet.

Wat voor jou en mij makkelijk is doet er niet toe. Het ging mij om het type spel en hoe ingewikkeld het speelveld is.

Individuele skill ligt hoger bij UT, groep skill ligt hoger bij BF.

Dus, laat ze nu eerst eens bots ontwikkelen die individueel lijken op mensen qua gedrag, dan kan daarna het groepsgedeelte wel komen.

Ik ben eigenlijk wel nieuwsgierig hoe ze dat zouden doen met CS:GO. Al die micro-beslissingen

Heel cool, weet nog wel met Quake3Arena dat het bijna onmogelijk was om Xaero in Q3dm17 te verslaan zodra hij de Railgun in handen had.

Maar fijn dat dit in FPS zo ver ontwikkeld is. Nu nog in race games. Weet van NFS dat in het laatste rondje de tegenstander van mijlenver je ineens inhaalde

NFS heeft dan ook op geen enkel gebied iets met realisme te maken. Een goede bot voor een racegame lijkt me lang zo lastig niet als voor een shooter. De regels zijn namelijk veel simpeler.