OpenAI Five-bots verslaan Dota 2-topteam

OpenAI Five, het Dota 2-team aangedreven door de ai van onderzoeksgroep OpenAI, heeft een team van professionals verslagen. De ai gebruikte agressieve tactieken die gericht waren op kortetermijnvoordelen, maar dat legde de ai geen windeieren.

OpenAI Five speelde in de San Francisco Open AI Five Finals tegen het professionele team OG in een best-of-3. De mode was Captain's Draft, waarbij teams mogen bedingen dat bepaalde heroes niet gebruikt mogen worden en teams om beurten heroes mogen kiezen. OpenAI Five schakelde ook summoning en illusions uit, omdat dit variabelen met zich meebrengt waar de ai nog niet mee om kan gaan, maar voor de menselijke spelers versimpelt het de game ook. De ai kan ook maar overweg met achttien van de 115 heroes.

Ondanks dat de spelmodus de game versimpelde, is Dota 2 ingewikkeld. Het spel kent naast meer dan honderd heroes ook variabelen als abilities, mobs, gebouwen, lanes, items en een hele ingame-economie op basis van de prestaties van een speler. Professioneel Dota 2 spelen is een serieuze zaak; op The International, het officiële Dota 2-toernooi, werd in 2018 meer dan 25 miljoen dollar aan prijzengeld weggegeven.

OpenAI Five ging agressief te werk. Het is bekend van de kunstmatige intelligentie dat het geen voorkeur heeft voor strategieën die pas op de langere termijn resultaat opleveren. Zo verkoos OpenAI Five ervoor om gestorven heroes tegen betaling onmiddellijk te laten terugkeren, ondanks dat menselijke spelers er vrijwel altijd voor kiezen om hun geld vroeg in een match aan andere dingen te besteden. De tactiek gaf OpenAI Five de overhand en hoewel de eerste wedstrijd een half uur duurde, pakte de ai de overwinning. In de tweede wedstrijd was OpenAI Five nog agressiever en wist het in twintig minuten te winnen. Daarmee had het ai-team afgetekend gewonnen.

De vijf bots van OpenAI worden allemaal aangestuurd door lagen van de ai, op basis van zijn reinforcement learning-systeem. Dat wil zeggen dat de ai niet geleerd is om de game te spelen, maar dat het door trial & error, wat het tot op heden 45.000 jaar lang heeft gedaan, heeft geleerd welke handelingen leiden tot een verbetering van zijn stats. De ai kan 180 jaar aan games per dag spelen, schrijft Venturebeat in een gedetailleerde uiteenzetting.

De ai ontwikkelt zich zienderogen. OpenAI Five verloor vorig jaar nog van een professioneel Dota 2-team, maar wist tegen die tijd al wel een semiprofessioneel team te verslaan. In 1-op-1-wedstrijden weet de ai al sinds twee jaar een professionele tegenstander te verslaan. OpenAI-concurrent Alphastar versloeg eerder dit jaar overigens nog een professional in een potje StarCraft II, waarmee het dus ook behoorlijk aan de weg timmert.

Dit is voorlopig de laatste exhibition match van OpenAI Five. De ontwikkelaars nodigen het internet uit om nu online met of tegen OpenAI Five te spelen, individueel of in teamverband, in Dota 2. Daarvoor kunnen geïnteresseerden zich tot 18 april inschrijven.

Reacties (57)

[Gmount]

Zou deze Ai mij nu dan ook kunnen leren spelen? Zou toch vet zijn als je live de belangrijkste feedback kreeg, als een soort coach, en dan achteraf bij een replay automatisch kan focussen op je verbeterpunten met uitgebreide uitleg.

[m1dnigh7]

Da's nu net een van de dingen die nog niet echt duidelijk zijn. Een AI die een beslissing neemt ook laten vertellen waarom.

Nu zijn de meeste AI algoritmes (kort door de bocht) getrained op data, en dit levert dan een model op dat jou, gegeven inputs (de status van het spel), een output kan geven (welke zet moet ik doen).

Voor meer informatie kan je hier beginnen: https://en.wikipedia.org/...e_artificial_intelligence

[evilpin0]

Een AI kan je vertellen dat je beter niet naar boven kan gaan om dat kistje te pakken, want dan is er een kans van 61.33213134% dat je dood gaat. Als je naar onder gaat is de kans dat je wint hoger.

Waarom?

Omdat de AI dat uit ervaringen uit het verleden haalt, ipv tactische denken. Wat natuurlijk ook met ervaringen uit het verleden te maken heeft, maar dan met een subjectief doordenk sausje.

[Reactie gewijzigd door evilpin0 op 23 juli 2024 04:26]

[marcmeide]

Ik denk dat 'ervaring' niet helemaal van toepassing is hier, het klopt dat deze vorm van AI leert van of het kijken naar gespeelde matches en daarna (tegen zich)zelf te spelen of door alleen (tegen zich)zelf te spelen, maar dit is niet perse ervaring meer, het wordt een abstractere vorm van intuitie.

Als je bijvoorbeeld kijkt naar AlphaGoZero (AGZ) (die alleen geleerd heeft van tegen zichzelf spelen) is 'move 37' echt een vreemde eend in de bijt (google maar). Men dacht toen AGZ die zet deed dat het programma gefaald had en zou verliezen, het zou echt niet horen volgens alle experts daar, achteraf bleek dat dat de zet was waarmee het spel beslist werd. Dit is dus geen ervaring meer, dit is niet iets wat je kunt leren als mens, dit gaat verder.
Een ander voorbeeld is bijvoorbeeld Starcraft (ik weet even de naam van deze AI niet, ik geloof iets van een Starcraft achtige term en dan zero), ik heb dit spel nooit gespeeld of matches gevolgd, maar als je de commentatoren tijdens dit spel mag geloven kwam die AI ook met gekke combinaties van units, die het gebruikte, maar daarmee toch kon winnen.

Verder wil ik niemand bang maken van AI, het duurt nog zeker een tijdje (laten we hopen tot na GOT S8 klaar is) tot we per ongeluk een AI bouwen die de mensheid vernietigd

[Mr777]

Als je bijvoorbeeld kijkt naar AlphaGoZero (AGZ) (die alleen geleerd heeft van tegen zichzelf spelen) is 'move 37' echt een vreemde eend in de bijt (google maar). Men dacht toen AGZ die zet deed dat het programma gefaald had en zou verliezen, het zou echt niet horen volgens alle experts daar, achteraf bleek dat dat de zet was waarmee het spel beslist werd. Dit is dus geen ervaring meer, dit is niet iets wat je kunt leren als mens, dit gaat verder.

Voor wie het ondanks alle hype gemist heeft: de documentaire AlphaGo (2017) is echt de moeite waard. Verveelt geen moment en je maakt het allemaal mee alsof je er zelf bij bent.

[Xirt]

De Starcraft AI heette AlphaStar. Meer informatie hier.

[MSalters]

Ik snap je vraag, maar het antwoord is vrijwel zeker nee.

Van AlphaGo weten we dat het antwoord zeker nee is. Daar zijn bestaande Go-experts nog steeds aan het puzzelen waarom AlphaGo toch zo goed is.

Wat AI met menselijke intelligentie gemeen heeft is dat geen enkel identificeerbaar element kritisch is. Een node in een nuerala netwerk is net zo misbaar als een hersencel. Ja, het systeem presteert een over een breed gebied een heel klein beetje slechter als je er één verliest, maar het is nooit zo dat er een specifieke functie uitvalt wanneer er één element wegvalt.

Dat betekent dus ook dat we in de uitleg nooit dé node kunnen aanwijzen die een specifieke actie heeft gekozen.

We hebben wel andere techieken, zoals hypotheses toetsen. We kunnen 20 vergelijkbare situaties aan de AI aanbieden, en kijken welke variaties een gevolg hebben voor de uitkomst. Maar dat is dus erg situationeel, en enigzins handwerk.

[thoravatahr]

Daar ben ik het zeer mee oneens. De Go-wereld is juist getransformeerd sinds de introductie van Alpha-go en diverse imitaties. De strategieen en openingssequenties die de top-go spelers in de wereld nu spelen zijn overduidelijk beinvloed door de partijen van alpha-go. Daarnaast is er een alpha-go teaching tool, die spelers wereldwijd inzicht geeft over goede en foute openingen en ook waarom (namelijk door de foute sequenties ook te tonen). Ten slotte zijn er nu open-source programma's die de technieken van alpha-go copieren en ook behoorlijk sterk zijn. Geen enkele professional traint meer zonder het gebruik van zo'n tool.

Ook ikzelf als go-speler speel nu al mijn partijen na met LeelaZero (1 van de open source varianten) en mijn volledig trainingsprogramma is hier op gebaseerd. (ook al ben ik slechts 3D en wordt ik nooit professional, wil ik mezelf nog wel steeds verbeteren).

[Mr. Rawnar]

Zou wel een mooie uitdaging zijn voor AI ontwikkeling in de toekomst. In plaats van dat de AI zelf het spel aanstuurt, moet hij een levend persoon, die het spel speelt, verbaal coachen. Dus daarmee zou de AI de menselijke factor moeten meenemen in zijn besluit. En daarnaast zal de persoon in kwestie worden getraind in the spel.

[Gredes]

Bestaat openAi Five dan ook uit 5 verschillende AI systemen die onderling communiceren of is het 1 AI die een heel team aanstuurd?

[Daoka]

De AI kan 180 jaar per dag spelen dus ik ga er van uit dat de computer meerdere games tegelijk kan spelen waardoor ik vermoed dat het gaat om 1 AI systeem.

[marcmeide]

Er wordt niets over gedeeld in alle nieuws coverage (ook op de openAI site), ik ga er dus van uit het 1 AI zal zijn die alle 5 'bots' aanstuurt. Het is nog erg moeilijk voor AI om samen te werken namelijk.

[GalaxyMaster_P]

Het zijn 5 aparte 'agents' die elk 1 hero aansturen. Elke agent is een exacte kopie van alle anderen en denkt dus op dezelfde wijze als alle anderen op zijn team. Ze hebben geen expliciete manier van communicatie en spelen volledig op wat ze voorspellen over hun teammates en vijanden. Ze hebben teamwerk dus geleerd puur met wat ze zelf kunnen zien en de verwachting die ze hebben van de rest van het team. Verder is er nog een instelbare waarde waarmee je bestuurt hoe een agent zijn eigen belang afweegt tegenover het belang van het team. Dit is wat ik me kan herinneren van o.a. live streams en blog posts en ik ben nu te lui om bronnen te gaan vinden. Het kan dus zijn dat ik fout zit.

[AJediIAm]

De relevantie van deze overwinning kan niet onderschat worden. Dota 2 is dusdanig complex dat er creativiteit en inzicht voor nodig is om aan de top te komen. Als een zelflerend algoritme dit kan evenaren biedt dat veel potentie om mensen voorbij te streven in taken zoals auto rijden en operaties, maar ook voor economische en politieke onderhandelingen.

[MadEgg]

Er is zeker een hoop potentie. Je moet echter Reinforcement Learning niet verwarren met creativiteit of inzicht. Reinforcement Learning is opportunisme op zijn best. Het trekt zich niets aan van regels, ethiek, sportiviteit of wat dan ook, maar alleen van het korste pad naar de hoogste rewards. In een spel is dat zeker geen probleem (mits het spel zelf de spelregels bekrachtigd, vanzelfsprekend), maar in het "echte leven" ligt dat nog wel iets anders.

De "creativiteit" komt voort uit de random number generator en veelvuldig spelen van het spel. En dan wel zo vaak dat elke willekeurige strategie wel meer dan eens voorbij komt.

[Chip.]

Het trekt zich niets aan van regels, ethiek, sportiviteit of wat dan ook, maar alleen van het korste pad naar de hoogste rewards.

Niet helemaal waar natuurlijk, want je kan natuurlijk de reward afhankelijk maken aan regels, ethiek, sportiviteit, of wat dan ook.

[MadEgg]

Correct. Bij reinforcement learning verplaatst je je aandacht van het modelleren van de oplossing naar het modelleren van de reward functie om zo het gewenste gedrag te krijgen. Hoe simpeler de reward-functie, hoe meer shortcuts het algoritme zal nemen.

[SherlockHolmes]

Dat wil zeggen dat de ai niet geleerd is om de game te spelen, maar dat het door trial & error, wat het tot op heden 45.000 jaar lang heeft gedaan, heeft geleerd welke handelingen leiden tot een verbetering van zijn stats.

Vind dit niet bepaald te vergelijken met menselijke creativiteit, en het feit dat je politiek en economie erbij haalt, is naar mijn idee flink overdreven.

[Nees]

Wel moet het er "45000 jaar" ervaring voor opdoen en 180 games per dagen spelen!

In zo een game is een fout geen probleem, in echte leven wel, en een spel resetten is snel gedaan, een mensenleven resetten omdat de AI een foutje gemaakt heeft in een auto... dat werkt dan weer niet.

[MSalters]

Auto rijden valt prima te simuleren. Een dode simulatie-voetganger kun je weer tot leven brengen.

De kritische factor is dus hoe goed je simulatie is. Auto rijden? Dat is Newtonse mechanica. Die simuleren we tot 6 cijfers achter de komma, beter dan de sensoren. Politiek en economie? Het CPB heeft moeite met 2 cijfers, in simpele omstandigheden.

[marco-ruijter]

Maar als je nu eens kijkt naar het groter plaatje.

Indien de AI toch een calculatie fout maakt en een overstekend persoon dood rijdt. Hoe vaak zouden dit soort foutjes door AI gebeuren en hoe vaak door de mens zelf die over het algemeen steeds meer andere dingen aan het doen is i.p.v. het autorijden zelf.

[BlaDeKke]

Ik volg je niet helemaal.

In het artikel staat dat ze met de gebruikte hardware 180 jaar aan games per dag kunnen spelen. Nergens gaat het over hoeveel spelletjes dat zijn. Dit wil zeggen dat deze AI best wat ervaring op korte tijd kan opdoen. Ze hebben het nu al 45000 jaar aan spelletjes laten doorlopen.

Iemand legt de link naar zelfrijdende wagens en dergelijke omdat dit ook vrij complexe AI is.

En jij komt dan met dit als reactie. Waarom doe je dat? Als jou auto iemand dood rijdt doe je het liever zelf?

[klakkie.57th]

En willen we dat echt ?
AI lijkt me een echte aanwinst als het gaat om bv onderzoek naar nieuwe molecules voor medicijnen.
Vanaf het ogenblik dat het niet langer zwart/wit is, maar grijs lijkt mij een de mening van een mens of meerdere mensen toch aangewezen.

Heel dit AI gedoe wordt echt best wel griezelig.

[BlaDeKke]

Waarom zouden we het niet willen? En het hoeft toch geen probleem te zijn dat een mening van de mens de diagnose aanvult. Het kan toch gewoon als leidraad dienen om een dokter, politieker of econoom te helpen.

Er is al wat AI dat handig helpt bij het doornemen van medische foto's. Bij oogartsen is daar best wat ontwikkeling in.

Het laten liggen en er niets mee doen tot het voor kwaad gebruikt word. Dat is griezelig.

Allemaal heel kort door de bocht, maar dat was jij ook.

[Reactie gewijzigd door BlaDeKke op 23 juli 2024 04:26]

[klakkie.57th]

De reactie hierboven ging oa over politieke beslissingen, dus niks aanvulling. Een AI die autonoom over mensenlevens beslist , neen dank u

[Reactie gewijzigd door klakkie.57th op 22 juli 2024 22:37]

[BlaDeKke]

Daar volg ik je voor de 100%. Zo interpreteer ik de start van deze thread niet.

Het lijkt me sowieso niet slim om een zwarte doos over mensenlevens te laten beslissen. Maar staan politieke onderhandelingen steeds gelijk aan beslissen over mensenlevens. Of bedoel je het in de breedste zin mogelijk? Met beslissen over mensenlevens denk ik vooral aan het actief beëindigen van die levens.

[klakkie.57th]

Inderdaad, zo bedoel ik het ook !
Een AI die bv recht gaat spreken, of bepalen hoeveel procent kans een patiënt heeft om een bepaalde ziekte te overleven om mogelijks medicijnen niet langer toe te dienen, of bij de selectie van menselijke ...

De beslissing over medicijnen zou zo een politiek/economische beslissing kunnen worden.

De mogelijkheden zijn oneindig, maar de gevolgen kunnen ook desastreus zijn.

[Reactie gewijzigd door klakkie.57th op 23 juli 2024 04:26]

[SuperDre]

Alleen zijn wij zelf ook niets meer dan organische computers. Dus uiteindelijk zal AI dmv neurale netwerken etc. identieke/betere beslissingen kunnen nemen dan mensen (ook met voor de mens negatieve gevolgen).
Op steeds meer werkplekken worden mensen vervangen door AI, en dan staan we nu nog maar in de kinderschoenen. Dat is dus ook de reden waarom we 'snel' moeten kijken naar de toekomst hoe we om moeten gaan met een maatschappij waarbij er nog maar weinig banen zijn voor mensen. Het zal nog niet dit decennia zijn, maar het zal ook geen 4 decennia meer duren..

[n3z]

Zouden ze dit ook in single player games kunnen gebruiken om de AI te verbeteren? Zou het heel vet vinden om met een intelligente AI een single player Shooter te spelen.

[batjes]

De ontwikkeling hiervoor gaat wel de gescripte AI's vervangen bij veel games.

CiV en veel andere strategy games zijn een jaar of 10-15 jaar geleden tegen een roadblock aangelopen waar de AI nooit echt meer veel beter is geworden. De scripts zijn uitgebreider geworden en gefintetuned. Maar het AI concept wat we nu kennen stamt nog uit de originele CnC games. Deze ontwikkeling kan veel strategy genres nieuw leven doen inblazen.

Ik kan zelf niet wachten tot een Civ met een AI die mij het gevoel geeft online te spelen en niet duizenden scripted events met her en der een variable waar je na een tiental potjes de gehele structuur kent.

[Ainze]

Vrijwel altijd zal de AI dom moeten zijn - anders wordt het gewoon niet meer leuk voor bijna iedereen.

Er is nog een weg te gaan, want het is niet enkel om te winnen, maar ook voor de AI om zich realistisch te gedragen. Geen 5k APM waarbij elke unit 'perfect' aangestuurd wordt. Geen absurde movements die technisch gezien waarschijnlijk beter zijn, maar gewoon niet als normaal kunnen beschouwd worden.

Ik kan hier niet veel research rond vinden - vraag me af hoe je de menselijke fun-factor erin kan houden.
Waarschijnlijk is het leuker om bedrogen te worden (en in CIV termen te blijven):
* AI maakt het moeilijk maar niet onmogelijk
* AI zorgt voor heerlijke momenten. Denk aan juist winnen aan de finish, of net winnen in een CIV game etc.
* AI die grote plannen maakt. Zijn troepen eerst goed positioneert, dan pas ten oorlog trekt. Die samenwerkt met verschillende landen, die u kan baiten etc

[batjes]

Opties. Hou easy bv lekker scripted of enorm generfed.

De AI wordt in deze competities ook restricties opgelegd die menselijke gameplay moeten imiteren. Deden ze dat niet, zou het niet zo heel indrukwekkend zijn dat een AI zou winnen. Deze AI's spelen met dezelfde menselijke limieten, waaronder de hoeveelheid APM.

Grenzen opleggen zal anders moeten.

Het is nu niet anders. De AI heeft geen fog of war, ziet precies wat jij doet, weet wat jij in queue hebt etc. Krijgt nu bv ook bonus inkomen en/of grondstoffen, de productie is sneller en andere cheats om ze 'goed genoeg te maken' zodat het voor de gemiddelde speler leuk blijft om tegen te spelen.

Nu is (mijn tenminste) het probleem gewoon dat je na een paar potjes iets van strategie spelen, je de structuur leert kennen en dit al heel snel weet te manipuleren. Het zijn allemaal scripts. De voordelen geven een oneerlijk gevoel en de rest wordt voorspelbaar.

Bij CiV6 doen ze echt enorm hun best, maar op een gegeven moment gaat de AI gewoon snel vervelen. Daadwerkelijke AI bots als deze zullen een redding zijn voor de langzaam doodbloedende genres RTS en 4X. CiV is bv niet fatsoenlijk online te spelen.

Dit soort AI bots zal op een manier een enorme 'revolutie' betekenen in de game wereld, binnen vele genres. We leunen nu nog op AI bots uit de jaren 80 en 90! De laatste 'revolutie' was EPIC met UT GOTY. Online gamen is niet alleen maar populair geworden door de anti-piracy. Maar omdat een goede/gebalanceeerde AI scripten gewoon niet leuk moeilijk en tijdrovend is. Dit houdt niet alleen RTS/4X tegen, maar ook het RPG genre zit al jarenlang vast in dezelfde zinloze wandel4quest cycles. Zelfs veel FPS shooters zullen ons dan samen met de aankomende 'realtime' weergave, ook nog eens 'realtime' karakters een complete (ver)nieuwe(nde) ervaring leveren. NPC's zullen een gigantische boost krijgen. Alles is nu scripted. AI/ML is de volgende stap om hier vanaf te komen.

[Reactie gewijzigd door batjes op 23 juli 2024 04:26]

[svenM]

Ik heb ergens inderdaad eens gelezen dat een van de moeilijkste dingen is om de ai menselijk te laten reageren. En dan in verschillende moeilijkheidsgraden. Easy, normal, hard etc.
Ik ga eens zoeken of ik er een link van kan vinden.

[roark2520]

Het grootste nadeel bij AIs nu in-game is dat iedere match tegen een AI er ongeveer hetzelfde uitziet. Er is geen variatie en eens je een counter tegen de gameplay van de AI hebt, dat hij daar niets meer aan kan doen en iedere game verloopt dan ongeveer hetzelfde. Dus na enkele matches wordt dat saai.

Het leuke aan tegen een semi-intelligente menselijke speler te spelen is dat iedere match anders is.

Dus een goede AI in games moet niet superintelligent zijn, maar moet variatie bieden. Hij moet gebruik maken van verschillende tactieken en reageren op de speler.

[Reactie gewijzigd door roark2520 op 23 juli 2024 04:26]

[GF187um]

AI wordt in iteraties getrained. Bij de laatste versie hebben ze een prof team verslagen en dit kan je dan wel de hoogste moeilijksheidgraad meegeven. Maar de versies ervoor zijn allemaal net een stukje slechter maar spelen wel op een menselijke manier. Al deze iteraties kan je een moeilijkheidsgraad meegeven. Van super makkelijk tot onverslaanbaar. Het gaat er echt om hoe lang je de modellen traint.

[SgtElPotato]

Wordt het eindelijk onmogelijk om de meeste single player binnen 10-20 uur uit te spelen!

[svenM]

Het wordt onmogelijk om te winnen dus h gaat lang kunnen duren

[SuperDre]

Er wordt al langer gebruikt gemaakt van simpele AI voor single player games. maar moet eerlijk zeggen dat ik stop met single player games spelen als er AI in gebruikt wordt die zo goed is dat ik echt heel veel moeite moet doen om te kunnen winnen, ik speel een spel voor mn lol en merk nu al vaak dat bepaalde characters in het spel te moeilijk zijn wat bij mij alleen maar frustratie oplevert ipv plezier.

[n3z]

Ja lijkt mij ook erg frustrerend met single player games als AI daadwerkelijk zo goed wordt.

Aan de andere kant lijkt het mij heerlijk met bijvoorbeeld PUBG of Battlefield dat het gewoon voelt alsof je online speelt als je een keer niet perse online wilt.

[SuperDre]

Ja, met multiplayer achtige games kan ik het me ook wel voorstellen, dan zijn de bots nog niet zoo dom. Maar ook daar zou ik niet willen dat ze weer te sterk zijn, anders ga ik dadelijk nog tegen de bot schreeuwen dat die aan het cheaten is (dat is dus iets dat je heel veel bij werkelijke multiplayer games ziet, goeie spelers die voor cheaters (incorrect als 'hackers') worden uitgemaakt door de mindere spelers.

[miki112]

Misschien dat we binnenkort wedstrijden gaan krijgen waar AI's het tegen elkaar opnemen in plaats van professionele (menselijke) spelers.

[Verwijderd]

Hoe kan een AI anders 180 jaar per dag trainen?

[Robbaman]

Tegelijk spelen tegen ~65k menselijke tegenstanders? Met 7mld mensen op de planeet is het niet ondenkbaar

[Tenocticatl]

65.7k (aantal dagen in 180 jaar) keer vijf dan. Da's 328.5k. Volgens Steamstatistieken heeft Dota 2 redelijk consistent rond de 500k spelers. OpenAI hoeft natuurlijk niet tegen al die lui tegelijk te spelen, maar ik neem aan dat de meeste spelers ondertussen echt veel slechter zijn (als ie dus een pro team kan verslaan), en het ondersteunt nog niet alle spelmodi. Inderdaad niet ondenkbaar, maar ik verwacht daarom dat ie ook veel tegen zichzelf speelt, ook omdat andere succesvolle game-AI's dat nu ook doen.

[Bart Manshande]

De AI speelt op supercomputers een paar duizend keer tegelijk tegen zichzelf waardoor die van zichzelf leert. Hierdoor heeft die dus ook heel snel heel veel tijd er in zitten en dat moet ook wel omdat die het anders nooit goed zal kunnen doen

[Mr777]

Dat is al een tijdje bezig in de schaakwereld. Zie het Top Chess Engines Championship dat momenteel aan zijn 15de seizoen bezig is. Sedert een jaar of wat spelen daarin een aantal AIs mee en nemen het tegen elkaar op. Momenteel zijn LCZero (koosnaampje Leela) en Allie-Stein twee neurale netwerken die steeds slimmer worden. De slimste klassieke engine tot nu toe (Stockfish) staat nog steeds aan de top van de schaakprogramma's, maar de AIs halen hem vlug in en zullen die ongetwijfeld binnenkort van de troon stoten.

[q-enf0rcer.1]

Damn, moet je denken dat dit je tegenstander is in een RTS. Dat zou nog eens "hardcore" mode zijn Ben ook wel benieuwd of ze een goede AI kunnen maken voor shooters die wel natuurlijk oogt in de killcam.

[Daoka]

Technisch gezien zou het wel mogelijk moeten zijn mits er een definitie van "natuurlijk" is. De computer kan natuurlijk veel makkelijker zien / ziet veel sneller waar iemand verstopt zit of als er iemand aan. Die zou dus al kunnen zeggen aan 1 pixel wat anders is als normaal (bijvoorbeeld iemand die om de hoek komt lopen of vanaf een hele grote afstand iemand in de bosjes zien schuilen) dat er dus een vijand zit, waar wij mensen het nog niet / amper zien, laat staan kunnen reageren. Weet niet of de huidige AI ook let op geluiden maar daar zouden ze ook een voordeel kunnen hebben door makkelijker kunnen bepalen welke geluiden het hoort en waar het vandaan komt. Zelf het minimale geluid wat de meeste mensen niet zullen opmerken kunnen ze al gebruiken.

En dan natuurlijk ook nog hoe goed spelen is normaal. Als voorbeeld heb wel eens met een vriend online COD gespeeld dat hij al op vijanden schoot terwijl ik nog niets gezien had (ja we liepen dezelfde kant op). Hij kan wat beter richten met de controllers terwijl ik (vroeger ieder geval, heb al lang geen pc spel gespeeld als je patience op het werk niet meetelt ) iets beter was met muis en keyboard.

Welke instellingen zijn normaal? De meeste mensen zullen de richtsnelheid/camerasnelheid niet maximaal hebben staan omdat dat vaak ten koste gaat van precisie.

Voorkeuren van wapens: vaak vinden mensen verschillende wapens beter. De ene heeft liever een snelle wapen, de andere liever een sniper. Maar voor de computer maakt dit niet uit (al zou je natuurlijk wel kunnen programmeren dat ze minder vaak de ene wapen kiezen omdat ze het "minder fijn" vinden werken.

Op een PC welke computer zouden ze moeten aanhouden als standaard? Dit bepaalt natuurlijk wel de snelheid van het beeld en de grafische kwaliteit. De meeste mensen niet de beste van de beste computers hebben staan dus moeten ze keuzes maken tussen mooier (meer kans op bijvoorbeeld schokkende beelden) of soepeler. Zo een super computer zou geen problemen hebben met 5 maal snellere fps bijvoorbeeld. En dan 1 scherm of meerdere schermen.

[Unsocial Pixel]

Denk dat voor single-player games het het prettigst is voor de menselijke speler als de ai zo goed mogelijk de skills en reactie tijd van z'n opponent kan kopiëren, zo heb je ook al ben je een noob of een pro iig een tegenstander die op jouw niveau is en daarmee dus (hopelijk) altijd een goede, leuke, leerzame tegenstander is.

Immers als je uitgedaagd word ga je nieuwe tactieken bedenken en dergelijke terwijl als de ai te slap of te goed is voor de speler, dat de speler na een half uurtje afhaakt

[Daoka]

Ik ging er eigenlijk van uit dat q-enf0rcer.1 het over een multi-player had aangezien hij/zij het ook over een killcam had. Ook al wordt het wel eens gebruikt in single-player toch word het meer gezien als multi-player optie zover ik weet.

[Unsocial Pixel]

Ik vermoed dat je bij mp ook een gemiddeld reflextijd kan meten tussen spelers dus ook daarmee zou je naar mijn inziens een gebalanceerde ai voor elk niveau uit moeten kunnen halen

[SinergyX]

Ze verslaan ze, maar wel onder specifieke settings met maar een zeer beperkte player-set beschikbaar.

Maar zo lees ik ook dat 1 van de spelers niet zijn favoriete hero kon gebruiken, lees ik diverse kanten dat OG amper echt serieus speelde, plus dat het nog steeds de vraag is hoe de AI precies z'n spelletje doet. Lomp gezien, als OG (of TL, etc) een 'mastermind' mocht gebruiken voor overview en data, zoals in principe OpenAI dit eigenlijk doet, dit dan ook nog eens in 'fullblown' rules zou doen, je nog steeds ander resultaat zou hebben.

Secondair lijken ze dus amper verder dan vorig jaar, daar was de werking van de AI precies hetzelfde (hoge agressie waarbij 1 fout direct einde oefening is), al leken ze de 'berekeningen' (zoals stunlayers, kill damage en skill cooldown) inmiddels tot perfectie te hebben gekregen, dat je al snel tot het punt komt dat enkel deze berekeningen alleen al zo'n ziekelijke voorsprong op de mens geeft, zou je het bijna onder 'cheaten' wegzetten.

[bigbadbull]

ja vond dat ook een verkeerde uitleg.

is Dota 2 ingewikkeld. Het spel kent naast meer dan honderd heroes ook variabelen als abilities, mobs, gebouwen, lanes, items en een hele ingame-economie op basis van de prestaties van een speler.

Nee dus deze dota 2 kent maar 18 heroes en een beperktere set abilities.
Staat idd wel dat het een versimpelde versie is, maar dan moet je het niet weer opkrikken naar de full versie.
het was correct geweest indien de AI maar uit 18 heroes zou kiezen en de mensen uit alle, maar nee ze beperken de mensen omdat ze er niet mee overweg kunnen.
dat is zeggen dat iemand beter kan schaken als de tegenstand enkel die, en die tacktieken mag gebruiken. tjach dan kan je inderdaad een "AI" leren dit beter te doen.
een pc is nu eenmaal sneller dan personen en hierboven ook al de vraag gehoord is het 1 AI die alle heroes van z'n team bestuurd ? of zijn het 5? onafhankelijke AI's als het 1 AI is, is dan ook een heus oneerlijk voordeel voor de AI, want die kan de verschillende inputs van alle heroes combineren, waar mensen via spraak moeten overleggen.

[SuperDre]

Ja, NU is de AI nog met beperkte player-set, maar dit is wel een set die dus ook zo gekozen kan zijn door menselijke spelers. De volgende stap is natuurlijk het verbeteren en uitbreiden van de set.. Maar je moet ergens beginnen, en het is dus al heel wat dat deze AI zo simpel wint van menselijke spelers.

[A-Poc]

"OpenAI-concurrent Alphastar versloeg eerder dit jaar overigens nog een professional in een potje StarCraft II, waarmee het dus ook behoorlijk aan de weg timmert."

Dat was helaas nog wel gewoon door zijn hoge klik snelheid die voor een mens fysiek onmogelijk uit te voeren is:
https://blog.usejournal.c...-fix-for-the-1702fb8344d6

[Reactie gewijzigd door A-Poc op 23 juli 2024 04:26]

[Damonicus]

Nu is het wachten tot een andere groep nerds een AI verzint die het op kan nemen tegen deze AI en dan kunnen we met z'n alle naar een scherm turen terwijl twee AI-bots het tegen elkaar opnemen.

Geef mij maar liever de goeie oude Esports met van die jochies die 5000 uur in het spel hebben zitten en matches gewonnen worden door cruciale clutch momenten.

Alles wat AI betreft vind ik totaal niet relevant.

Zo'n AI leert uit ervaring dus uiteindelijk maakt het niet uit wat je doet, het anticipeert door ervaring exact op de juiste manier op jouw manier van spelen en hard countert alles wat je probeert. Lijkt me echt frustrerend om hiertegen te moeten spelen.

[Rob Coops]

Toch wel erg mooi om te zien dat een AI zij het in beperkte mate een spel met de complexiteit van dota2 kan leren, met "maar 250 dagen reken tijd.

Ik vraag me af wat er zou gebeuren als je de AI alle hero's zou geven om uit te kiezen zou de AI dan met een strategie komen die menselijke spelers nog niet bedacht hebben omdat het simpel weg zonder enige kennis van zaken alle mogelijke opties zal uitproberen.

Ook denk ik dat het voor een mens mogelijk zou moeten zijn om het gedrag van de AI te bestrijden omdat je weet dat de AI zeer vel geld zal besteden in het terug halen van hero's waardoor je dat zou moeten kunnen uitbuiten.
Wel vermoed ik dat de AI waarschijnlijk door voornamelijk tegen zich zelf te spelen een bepaalde bias heeft ontwikkeld om juist zeer agressief te starten. Ik vermoed dan ook dat het team nu de AI wil trainen door het tegen zo veel mogelijk mensen te laten spelen en op die manier ook nieuwe technieken aan te leren die het als het alleen tegen een zelfde AI speelt niet zou leren.