Dota 2-bots van OpenAI verliezen eerste wedstrijd tegen professioneel team

Een team van vijf OpenAI-bots die zijn getraind voor de game Dota 2, moesten het in een wedstrijd afleggen tegen een professioneel team van menselijke tegenstanders. In de komende dagen volgen nog twee wedstrijden tegen andere professionele teams.

Het Braziliaanse team genaamd paiN Gaming wist de bots van OpenAI Five in een wedstrijd van 51 minuten te verslaan. De bots deden het goed op het vlak van het neerhalen van tegenstanders; door gecoördineerde aanvallen wisten ze aardig wat kills te scoren. De bots hadden aan het einde van de wedstrijd ook meer tegenstanders uitgeschakeld dan de winnaars.

Het team van de professionals bleek echter op strategisch vlak beter en wist mede daardoor de wedstrijd te winnen. Een ai-onderzoeker van de Britse Universiteit van Falmouth zei in een kort commentaar op Twitter dat de bots erg goed zijn in de handelingen van moment tot moment, maar volgens hem zijn ze nog vrij slecht op het gebied van macro-beslissingen.

Net zoals bij voorgaande, recente optredens van de OpenAI-bots, waarbij ze onder meer wonnen van semiprofessionals en een team dat grotendeels uit professionals bestond, was de wedstrijd tegen paiN Gaming onderhevig aan een aantal beperkingen. Dat is nog nodig, omdat in de game Dota 2 nog te veel combinaties en mogelijkheden zijn voor de kunstmatige intelligentie.

Een van de beperkingen is dat de reactietijd van de bots is ingesteld op 200ms, wat met name is gedaan om de menselijke spelers meer kans te geven. Ook kon er slechts uit achttien van de meer dan honderd heroes worden gekozen. Bovendien zijn de technici achter de OpenAI-bots met paiN Gaming overeengekomen dat de gekozen teams gebalanceerd moesten zijn; de heroes werden al voor de wedstrijd gekozen.

De strijd van OpenAI tegen paiN Gaming was een enkelvoudige wedstrijd die onderdeel is van een best of three. In de komende dagen moeten de bots het nogmaals opnemen tegen twee andere professionele Dota 2-teams. De wedstrijden van OpenAI Five vinden plaats in het kader van The International, het jaarlijkse Dota 2-toernooi.

OpenAI Five bestaat in feite uit vijf neurale netwerken. De bots zijn gedurende enkele maanden getraind door elke dag tegen zichzelf te spelen; op een versnelde wijze was dat goed voor dagelijks 180 jaar aan speeltijd.

Reacties (37)

[Zebby]

"Een van de beperkingen is dat de reactietijd van de bots is ingesteld op 200ms, wat met name is gedaan om de menselijke spelers meer kans te geven" Dacht al, met instant reacties ontwijken ze alle skillshots en raken ze er ook bovengemiddeld veel. Vraag me af of ze wel de map volledig zien of ook moeten werken met wat hun karakter ziet.

Macro strategie is toch vaak iets wat vooraf wordt ingeprogrammeerd. Ben benieuwd of ze van dit extreem klein aantal games nog iets kunnen leren op dat vlak.

[Foodie88]

De bots zijn zo ingesteld dat ze alleen kunnen zien wat een menselijke speler ook ziet, dus ze moeten puur afgaan op hetgeen dat op het scherm te zien is. Dat is ook het grote verschil met klassieke bots/"AI", die alle kennis uit het spel hebben en dus ook weten waar tegenstanders lopen hoewel ze die niet kunnen zien.

Ik denk dat de bots op dit moment vooral goed zijn in autonoom beslissingen nemen, vandaar ook de vijf afzonderlijke neurale netwerken. Wellicht zou er nog één neuraal netwerk moeten zijn die de strategie van het 'team' aanstuurt, wat in een normaal menselijk team ook gebeurt - je hebt een teamleider die de grotere lijnen van de strategie bepaalt en van tijd tot tijd aanpast en daarnaast heeft elke speler zijn persoonlijke vaardigheden en maakt zijn eigen beslissingen op kleinere schaal.

[Reactie gewijzigd door Foodie88 op 28 juli 2024 21:30]

[V1ncam]

Een deel van de nodes in het netwerk is shared. Dus daar kunnen ze handelen als 'team'.

[Brontosaurus1]

Hebben de bots toegang tot de posities en snelheden etc van de spelers op het scherm (hooks), of moeten ze eerst het scherm analyseren met herkenningssoftware om dat uit te vogelen?

[flotje]

Ze maken gebruik van de bot API. 'Zien' wordt hier figuurlijk bedoelt: de informatie die ze hebben is gelijk aan die van menselijke spelers maar de manier is anders.

[Cergorach]

ingesteld op 200ms

Wat zijn de reactietijden van de spelers van het andere team?

[Renzzie]

De gemiddelde reactietijd van een mens is 200ms, vandaar waarschijnlijk de instelling (bron)

Het valt echter te betwisten of hierdoor het menselijk team geen voordeel heeft gehad. Het lijkt me sterk dat een professioneel Dota team geen gemiddelde lagere reactietijd heeft. Ze trainen hier immers dagelijks voor.

[xvisuals]

De reactietijd van de bots is gelijkaardig aan die van professionele spelers. Ik heb de game bekeken en het kwam een aantal keer voor dat een van de spelers naast de bots sprong (blink) om het gevecht te starten, waarop de bots meteen reageerden door zelf weg te blinken of door de speler te onderbreken voordat die iets kon doen. Dit zie je ook wel eens in normale matches maar er zijn weinig professionele spelers die consistent zo snel kunnen reageren.

[Creeping Death]

Het voordeel van de bots is dan weer dat alles via command line gebeurt en dat geeft een (licht) voordeel.
Een menselijke speler moet immer zijn muis nog naar de juiste plek op het scherm bewegen.

Dus all in all is 200ms vrij fair.

[BananaHeadz]

Gemiddelde menselijke reactiesnelheid is 0,2s.
Ik gok dat het rond de 0,15 zal liggen, misschien wat eronder, maar niet veel.

[KoploperMau]

Nu wordt de AI nog verslagen... Een paar generaties en trainingen met mensen verder en dan kunnen de professionele teams het wel schudden, tenzij ze met een compleet andere strategie komen welke de AI nog niet kent, maar zelfs dan is het maar de vraag hoe de AI reageert.

[BLACKfm]

De AI is verslagen in deze situatie, er zijn blijkbaar beperkingen opgelegd en ook de reactietijd is vertraagd.

Het zijn juist die 'remmen' en kaders waarbinnen het moet blijven die de AI een beetje in toom houden.
Het potje zal er vast anders uit hebben gezien als die limieten er niet op hadden gezeten.

[wiseger]

Zonder remmingen is het interface verschil te groot. Menselijke ogen hebben tijd nodig om licht om te zetten naar zenuw signalen. De hersenen hebben tijd nodig deze signalen te interpreteren en om te zetten naar beeld. De beslissing die de hersenen nemen naar aanleiding van het nieuwe beeld, moeten omgezet worden naar zenuwsignalen naar de arm spieren die de muis bedienen om zo de beslissing te vertalen naar een actie in het spel.

Dit is een menselijke beperking die bots in veel mindere mate hebben. Hun reactie snelheid is daardoor veel hoger dan die van mensen. Ze zullen inderdaad altijd winnen want je kan ze zonder reactie snelheid begrensing nauwelijks raken terwijl zij bijna altijd raak schieten. Echter dit heeft niets met Ai te maken.

Een industriele robot zal ook altijd van een mens winnen wanneer die repetieve handelingen uit moet voeren. Maar dat maakt hem nog niet intelligent.

[flotje]

De onderzoekers zien het winnen van een potje DOTA niet als doel, maar meer als middel om te kijken hoe ze 'AI'/bots complex gedrag kunnen laten leren. Denk aan het afwegen van lange versus korte-termijn doelen en het samenwerken in een team (afwegen individueel belang v.s. groepsbelang). Het weghalen van de 'remmen' en kaders zal juist zorgen voor bots die meer gebruik maken van mechanische voordelen zoals reactietijd en aim en zullen zich daardoor 'netto' minder interessant gaan gedragen.

[Zer0]

maar meer als middel om te kijken hoe ze 'AI'/bots complex gedrag kunnen laten leren.

Het lijkt me dat dat voornamelijk de motivatie is die gebruikt wordt om het onderzoek te verantwoorden, maar dat men stiekem toch graag gewoon een potje DOTA wil winnen...

[Qws]

Mensen zijn ook geremd.

[Deurges]

Als ze deze bots nog fijner afstellen, is het al oneerlijk. Als ze de hele kaart kunnen mappen en gebruiken + een snellere reactie tijd, kun je het shaken als "normale" speler. De AI heeft geen beperking qua moe zijn of te druk aan de kop (niet letterlijk) dus ze kunnen bijna oneindige scenario's programmeren. Net als bij schaakcomputers.

[Navi]

De AI ziet niet meer dan de menselijke spelers. Het is gewoon een feit dat we straks gewoon ondergeschikt zijn aan de AI.

Overigens worden de scenario's niet voorgeprogrammeerd, dan zou het geen AI meer zijn.

[wiseger]

Het is maar afwachten of dat een 'feit' is. Ik programmeer al heel lang en lees elke keer weer fantastische verhalen over doorbraken in de Ai. Maar een spelletje zoals Civ fatsoenlijk uitspelen zonder vals te spelen, ik heb het nog nooit gezien. Ik hoop het ooit nog mee te maken, maar ik begin er echt aan te twijfelen of die grote doorbraak er de komende decennia nog komt.

[Reactie gewijzigd door wiseger op 28 juli 2024 21:30]

[Tikkels]

Hangt ervan af wat je bedoelt met die grote doorbraak. Kan er een AI gemaakt worden die Civ fatsoenlijk kan worden in de komende decennia. Hoogstwaarschijnlijk ja, hangt er puur vanaf of iemand de moeite gaat doen om dat voor elkaar te spelen. Een AI creeëren is namelijk nogal een dingetje, daar gaat veel tijd en moeite in. AI is op het moment nog steeds stiekem aardig dom, puur omdat er zoveel menselijke input nodig is, en het zo specifiek is. Ja, wanneer het eenmaal gebouwt is kan het zichzelf dingen leren, maar alles moet wel vooraf aangegeven worden. En het andere probleem, dat het zo specifiek is, dat is de reden dat we niet ondergeschikt zijn aan AI. Het gebrek aan general intelligence. Dit AI systeem, en hypotetisch die van Civ in de toekomst, kunnen niets naast datgene.

Navi is niet helemaal handig met de woordkeuze: straks. Wat AI tegenwoordig kan is zeer indrukwekkend, en het heeft gigantische stappen gemaakt, maar het is nog steeds een tool voor mensen. (Ja, AI vervangt menselijke werkers, maar ook de AI, net als de werkers, is ondergeschikt aan de baas ) .Wij zijn niet ondergeschikt, en de vraag is of dat uberhaupt ooit zal gebeuren. Wellicht zal het ons niet lukken om uiteindelijk een general intelligence te creeëren (die kans acht ik overigens klein)
Maar ik kan mij geen manier verzinnen om een general intelligence te maken, naast een zelforganiserend embodied AI, net zoals hoe elke vorm van general intelligence die we kennen ontstaat. Straks is dus niet echt aan de orde; zonder een general intelligence kan de mens niet ondergeschikt zijn aan AI, en een general intelligence AI creeëren ligt nog ver van ons vandaan.

[Neko Koneko]

Goed verhaal, lekker kort.

[Lemodile]

Wat ik me dan afvraag is wanneer dit soort technieken daadwerkelijk in bij een spel meegeleverde AI teruggevonden gaan worden. Ik vermoed dat dat niet het voornaamste doel van de ontwikkelaars hier is, maar ook nu worden er nog grote games uitgebracht met belabberde AI (civ vi iemand?). Daar valt nog veel winst te behalen.

[BananaHeadz]

Is het niet zo dat deze AI nogal zwaar is om te draaien? Vooral in CIV heb je bijvoorbeeld soms wel eens 10/15 andere beschavingen.

Daarnaast, volgensmij draait het hele neurale netwerk gebeuren om dat de omgeving niet veel veranderd. Je leert de AI goed zijn in de huidige omgeving, maar games veranderen veel. Dan moet de AI dus steeds zichzelf updaten voor de nieuwe omgeving.

Maar hier heb je natuurlijk ook weer een weerwoord voor, namelijk dat zichzelf beter maken een belangrijk onderdeel is.

[Reactie gewijzigd door BananaHeadz op 28 juli 2024 21:30]

[phamoen]

Lijkt me dat hier wel een of andere supercomputer achter zit en dat er niet 5 standaard desktop pc tjes draaien.
Zal vast terug te vinden zijn ergens.

En enkel getraind door tegen zichzelf te trainen. Mogen de ai's wel leren van deze wedstrijd..

[Reactie gewijzigd door phamoen op 28 juli 2024 21:30]

[Pouja]

https://blog.openai.com/openai-five/ Hier kan je meer informatie vinden daar over. Als ik het goed lees gebruikt het ongeveer 128k cpu cores.

[Barsonax]

Dat is voor het trainen.

Eenmaal getraind zal je waarschijnlijk maar een fractie daarvan nodig hebben.

[Verwijderd]

Ja maar als ze allemaal zo sterk worden als dit team liever niet

[wiseger]

AI in spelletjes is altijd zeer belabberd. Bijna elk spel speelt dan ook gewoon vals om te voorkomen dat de AI te slecht lijkt. Afgezien van relatief eenvoudige spellen zoals schaken en go waar men met rekenkracht heel veel scenario;s kan doorrekenen, ken ik geen enkel spel waar de AI ook maar iets van intelligentie laat zien anders dan vals te spelen.

In dit voorbeeld met Dota2 zit de winst voornamelijk in zeer snel en accuraat schieten en bovennatuurlijk snel weg springen uit gevaarlijke situaties. Het is niet zo dat de bots ineens een geweldige strategie uitdokteren.

Tot nu toe van Ai nou eenmaal heel zwaar tegen. En dat zal de komende jaren echt niet veramderen. Tot die tijd is Civ spelen tegen menselijke tegenstanders een heel ander spel dan tegen computer spelers.

[Reactie gewijzigd door wiseger op 28 juli 2024 21:30]

[mdgf]

Bij mijn weten zijn er geen (mainstream) games met ai bots, je bent dus appelen met peren aan het vergelijken (ai vs voorgeprogrammeerd).

En deze openai bots zijn veel beter dan wat voor bots er te vinden zijn in dota (zowel valve als community made), en dat komt niet van sneller en accurater zijn, want dat kun je nu eenmaal het gemakkelijkst voorprogrammeren (zonder 200ms delay).

Ook heeft de ai een alternatieve speelstijl ontwikkeld, er is veel minder sprake van farm en level prioriteit dan bij gewone spelers en bots. Ze verkiezen gelijker verdelen van de resources.

[Reactie gewijzigd door mdgf op 28 juli 2024 21:30]

[Verwijderd]

Zou grappig zijn als de AI flamed op zijn eigen AI teamleden die te vaak dood gaan in game. Dan krijg je echt een realistische beeld van een MOBA.

[aaradorn]

Als ze elkaar ook waardeloze bots zouden noemen of zeggen dat het weer een team met bots is zou het echt prachtig zijn.

[Honytawk]

Zou nog grappiger zijn als ze elkaar gaan reporten voor botten.

[Mukeize]

Komen nog 2 games aan tegen een professioneel team deze week. Ik ben benieuwd hoe (snel) de AI zich kan aanpassen.

[Harm_H]

Ik kan me voorstellen dat "macro beslissingen" meer ervaring kosten.

Oftewel, het komt wel na meer games. En natuurlijk fatsoenlijke programmatuur zodat het netwerk met elkaar kan communiceren.

In 2 jaar zijn ze misschien wereldkampioen?

[Flaat]

Die bots kunnen me een potje ganken, vind het echt enorm knap dat ze de pot zo lang hebben kunnen rekken.

[dasiro]

het komt er uiteindelijk op neer dat een botnet niets kan vergeten en enkel maar bijleren. Dat is voor elk organisme onmogelijk vol te houden. Het is niet omdat wij onszelf als superieus organisme beschouwen, omdat we er nog geen beter zijn tegen gekomen, dat dit ook geldt tov machines.

Het heeft gewoon relatief lang geduurd vooraleer we een machine bouwden dat slimmer is dan ons ipv bvb een graafmachine die sterker is of een auto die sneller is.