Professionele StarCraft II-speler verliest toernooi van DeepMinds ai AlphaStar

De professionele speler MaNa van Team Liquid heeft een serie StarCraft II-partijen verloren van de ai-computerspeler AlphaStar. MaNa wist geen van de vijf games tegen de kunstmatige intelligentie naar zijn hand te zetten, maar versloeg de ai wel in een live match.

Blizzard en DeepMind werkten voor het toernooi nauw samen. De game-ontwikkelaar zorgde voor een speciale versie van StarCraft, die wel dezelfde regels als het reguliere spel heeft, maar gericht is op ai-onderzoek. De wijzigingen maakten dat de games niet live aanschouwd konden worden.

Blizzard vertelde het interessant te vinden dat zijn strategiespel als benchmark ingezet wordt voor ai-onderzoek. DeepMind richt zich op het spel vanwege de complexiteit. Eerder ontwikkelde het bedrijf algoritmes voor het beheersen van schaken, Go en Atari-games, maar de hoeveelheid te verwerken informatie, omvang van het speelveld en het aantal realtime vereiste handelingen is bij StarCraft veel groter. Om deze redenen is de ai-wereld al sinds 2003 geïnteresseerd in realtime-strategiegames.

Grzegorz 'MaNa' Komincz van Team Liquid bleek bereid de handschoen op te nemen tegen de ai. Hij staat nummer 13 bij de StarCraft II World Championship Series en is gespecialiseerd in het spelen met het Protoss-ras. Het toernooi bestond dan ook uit Protoss vs Protoss-potjes.

DeepMind zorgde ervoor dat de kunstmatige intelligentie geen bovenmenselijke handelingen kon verrichten, wat betreft bijvoorbeeld de snelheid van de acties. Het bedrijf kreeg daarbij hulp van Dario 'TLO' Wunsch van Team Liquid. Hij is een Zerg-speler, maar trainde met DeepMinds AlphaStar met het Protoss-ras. Uiteindelijk kwam DeepMind uit op gemiddeld minder acties per minuut uit voor AlphaStar dan professionele spelers en ook de tijd tussen beslissen en daadwerkelijk handelen lag lager dan bij menselijke spelers, claimt het bedrijf. Hiermee zou de intelligentie van de acties de doorslag moeten geven.

Bij de eerste wedstrijd van de strijd tegen MaNa begon AlphaStar agressief, waarbij opviel dat hij met zijn stalkers niet aarzelde de ramp op weg naar de basis van MaNa te betreden. In de derde wedstrijd bediende de ai zich pas van de wall-off om zelf haar ramp te versperren. Het leek alsof zij geleerd had van MaNa, maar in feite speelde zowel TLO als MaNa elke wedstrijd tegen een andere agent, oftewel algoritme.

DeepMind heeft intern namelijk een soort eigen StarCraft-league waarbij het verschillende algoritmes tegen elkaar laat spelen die bij verschillende iteraties dankzij reinforcement learning beter worden. Uiteindelijk kiest het bedrijf de beste vijf eruit, die als agent ingezet kunnen worden.

Wat bij elke van de vijf partijen opviel, was dat AlphaStar regelmatig als ware hij een menselijke speler speelde, maar ook beslissingen nam en strategieën hanteerde die pro-spelers niet zouden toepassen. Zo had de ai een voorliefde om in een vroeg stadium heel veel workers te maken, tot wel 24, waar pro-spelers 18 al veel vinden. Met name op het gebied van micromanagement blonk AlphaStar uit, waarbij soms wel bovenmenselijk gehandeld werd. Zo wist hij met een groot aantal stalkers een groep immortals van MaNa te verslaan, waar die groep normaal gezien geen partij zou zijn voor de immortals.

MaNa verklaarde de strijd leerzaam te vinden, maar ook bevreemdend: "Ik heb nog nooit in mijn leven zulke StarCraft II-wedstrijden gespeeld." Ook TLO verklaarde geen vat te kunnen krijgen op zijn tegenstander en continu in het duister te tasten, omdat AlphaStar zich niet aan de conventionele speelstijl hield. DeepMind vond dat een mooie uitkomst, zodat pro-spelers over andere strategieën en speelwijzen leren nadenken.

Oriol Vinyals van DeepMind legt uit dat AlphaStar focust op bepaalde delen van de map, en alleen delen observeert waar hij handelingen wil verrichten. Die rauwe observaties worden gevoed aan long short-term memory units en zorgen voor neural network activations. Dit is te beschouwen als het brein van AlphaStar omdat op basis hiervan besloten wordt wat te doen, welke acties verricht worden, welke gebouwen en units gemaakt moeten worden en welke handeling waar verricht moet worden. Als laatste volgt de outcome prediction. Dit is de afweging van de ai of zij aan het winnen is of niet. Op basis daarvan beslist zij of zij bijvoorbeeld moet aanvallen of terugtrekken. AlphaStar kreeg hiervoor geen harde regels opgelegd, de ai leerde uit zichzelf.

Delen van de wedstrijden zijn terug te kijken, met commentaar, op het YouTube-kanaal van DeepMind. Daar is ook de live match te zien die MaNa tegen AlphaStar speelde. Hierbij had de agent als beperking dat deze meer als een mens naar het spelverloop kon kijken. Opnieuw startte de ai erg agressief, maar maakte wel wat micro-fouten en gaandeweg kon MaNa de ai verslaan, al gaf die zich niet gewonnen en volgde er geen 'gg'.

Reacties (143)

[.Frank]

Waanzinnig hoe snel deze ontwikkeling gegaan is. Toen de API werd vrijgegeven voor bots om StarCraft II te spelen hoorde ik regelmatig de verwachting dat 't nog 10+ jaar zou duren voor échte professionals verslagen zouden worden. Dat we er nu al zijn is echt bijzonder.

Volgens mij lukt 't ze nu ook wel om binnen een jaar alle drie de rassen te spelen en de wereldkampioen te verslaan Al ben ik ook wel benieuwd wat voor strategieën mensen gaan ontwikkelen tegen de AI - de human vs. bot meta, om 't maar zo te zeggen...

[TheGhostInc]

Al ben ik ook wel benieuwd wat voor strategieën mensen gaan ontwikkelen tegen de AI - de human vs. bot meta, om 't maar zo te zeggen...

De vraag is meer of er een dominante strategie is die niet te verslaan is. Helemaal als die strategie vooral geschikt is voor AI ben je 'klaar' en kom je als mens er gewoon niet meer aan te pas.

Daarnaast heeft een menselijke speler het nadeel van de trage interface en beperkte capaciteit. Terwijl de menselijke speler gebruik zal moeten maken van groepen, kan de AI gewoon elke unit volledig onafhankelijk aansturen. Maar ook kan de AI gebruik maken van zijn fotografische geheugen en bijbehorende analyses. Een menselijke speler zal vaker en langduriger het speelveld moeten inspecteren, terwijl de AI aan een paar keer snel rondklikken genoeg heeft. De analyse kan namelijk 'in de achtergrond' gebeuren. Dat soort voordelen zijn uiteindelijk doorslaggevend.

[Anoniem: 455617]

Daarnaast heeft een menselijke speler het nadeel van de trage interface

In deze test hebben ze voor de AI ook de beperking van de interface opgelegd zodat deze niet sneller dan een mens instructies kan uitvoeren. Dat maakt het misschien eerlijker maar geeft ook aan dat zonder die beperking de AI waarschijnlijk nog aanzienlijk beter zou hebben gepresteerd.

[cotix]

Dat klopt niet helemaal; ze hebben de gemiddelde APM gelimiteerd. DeepStar had ten alle tijden een soort uitgezoomd overzicht van de gehele map, terwijl de pro spelers maar een beperkte grote scherm heeft. Daarnaast is het 'gelimiteerde apm' ook niet alles; een mens klikt wel eens mis of doet andere onzinnig acties, terwijl bij deepstar elke actie 100% effectief is. Als je keek hoe er gemicrod werd met die stalkers was dat echt wel boven-menselijk

[Cloud]

DeepStar had ten alle tijden een soort uitgezoomd overzicht van de gehele map, terwijl de pro spelers maar een beperkte grote scherm heeft.

Nee, in de live match was dat niet meer zo. Daar speelde AlphaStar ook met een camera die hij moest leren gebruiken. DeepMind had zelf ook wel door dat de reden dat AlphaStar steeds won, die visie over de gehele kaart zou zijn.

Overigens, ook in de 10 potjes daarvoor werkte DeepMind wel degelijk lokaal. Ja het overzag de hele map maar ook dáár zat al een stuk focus in. Het was alleen niet letterlijk op die manier beperkt door het DeepMind team.

Vergeet verder ook niet dat de reactietijd van AlphaStar gemiddeld 350 ms was, wat veel trager is dan pro spelers.

[Reactie gewijzigd door Cloud op 22 juli 2024 23:38]

[nr12]

Als ik zo de potjes bekijk vind ik wel dat de 'Ai' een boven menselijke controle over zijn units heeft. De AMP en reactie tijd was dan wel menselijk, maar elke click die de 'Ai' deed was perfect. Op de map kon hij op meerder fronten tegelijkertijd aanvallen op een manier wat je bij menselijke spelers niet ziet. Persoonlijk vind ik dat wel een beetje jammer, ik had liever gezien dat het de tactiek was die won, dan bovenmenselijke unite controle.

[Cloud]

Nou ja er was 1 potje dat gewonnen is door op meerdere fronten tegelijkertijd aan te vallen; die situatie dat op twee verschillende plaatsen op de map met 3 verschillende groepen stalkers werd aangevallen. Daarom hebben ze de AI ook aangepast zodat deze met een camera view moet werken, dan is dat niet meer mogelijk. Ze voegen steeds meer limitaties toe waardoor het steeds dichter bij datgene moet komen wat ook menselijk haalbaar zou zijn.

Verder tactiek wint gewoon niet zomaar in SC2, micro is gewoon hartstikke belangrijk. Een serieus onderdeel van de game, dus ook een serieus onderdeel van de AI. Als tactiek alles kon verslaan, was dat bij mensen ook al gebeurt. En in theorie zou een mens dezelfde correcte clicks kunnen uitvoeren als de AI, vanwege de limiet op gemiddeld aantal clicks per minuut. Aan de andere kant, natuurlijk zal micro van de AI uiteindelijk beter zijn, het is niet voor niets een computerspeler hé Sowieso zeker niet alle micro van AlphaStar was goed! Die live match had AlphaStar zeker kunnen winnen als de micro aan het begin van de game, met de oracles (waren het geloof ik), beter geweest was.

[cotix]

Micro is zeker een belangerijk onderdeel, maar simpelweg niet zo interessant. Ik kan ook wel een script schrijven wat perfecte blink micro uitvoerd (sterker nog, er zijn cheaters op ladder met dit soort 'hacks'). Daar is niets moeilijks aan, en is ook niet helemaal een eerlijke vergelijking met een mens die met muis en toetsenbord en een beperkt scherm speelt.

Het is een beetje alsof je een counter-strike AI maakt, die niets anders doet dan een keiharde aimbot gebruiken en voor de rest de taktiek en finesse van een silver speler heeft.

Erg cool dat de macro goed genoeg is om met perfecte micro van pro spelers te winnen, maar de taktiek die AlphaStar heeft laten zien vond ik redelijk tegen vallen. Stalkers tegen immortals, geen pheonix maken tegen die drop in de laatste game, 5 observers met je leger mee laten gaan ipv ze op taktische locaties uit te stallen. Geen strakke all ins of andere timings, gewoon puur redelijke macro met onmenselijke micro om te compenseren.

[Cloud]

Nogmaals, de laatste game speelde AlphaStar ook met een beperkt scherm. En taktiek/finesse van een silver speler? Dat is dan jouw mening. Het is duidelijk dat jij vindt dat het tegenvalt maar dat komt door jouw verwachtingen, niet door het bereikte resultaat van DeepMind.

Het feit dat ze een AI hebben gemaakt die überhaupt kans maakt tegen een pro, is waar het hier om draait. Dat ze de AI niets van SC2 geleerd hebben maar dat hij dat zelf gedaan heeft via RI learning. Dat de AI niet hoeft te cheaten om te winnen. Dat de AI nu al draait op een normale pc. Dat de AI nu al uit te voeten kan met een beperkte view, net als een mens. Dat de AI geen 2000 APM hoeft te gebruiken om te winnen maar uit de voeten kan met minder.

Ja er valt natuurlijk genoeg te verbeteren, maar dat was vanaf het begin al duidelijk. Neem dit voor wat het is, in plaats van wat jij wou dat het was.

[timmie1989]

Mensen zijn altijd zoooooo negatief hé.
Waarom kunnen niet meer mensen zoals jou zijn. In plaats van alleen maar te zeiken over alles wat volgens hun beter kan. Dit nieuwsbericht is super vet en ik ben blij voor hun dat ze deze resultaten gehaald hebben.

Niks anders dan trots en weet zeker dat ze in de toekomst nog verder kunnen gaan met dit.

[Anoniem: 1128097]

Dat de AI nu al draait op een normale pc.

Een netwerk trainen vraagt veel resources, als die eenmaal getraind is kan je het op zeer trage hardware uitvoeren. Dat is het enige puntje die ik heb.

[nr12]

Wat ik bedoel met tactiek is dat hij units gebruikt tegen de counter units en daar als nog mee kan winnen. Hij valt namelijk met Stalkers Immortals aan en wint het, niet omdat hij een goede keuze heeft gemaakt om Stalkers te maken, maar omdat hij gewoon zo goed is met de unite controle.
SC2 is voor een groot gedeelte zo interessant omdat je voortdurend je tegenstand in de gaten moet houden om te zien wat je tegenstander aan het maken is en je daar op moet aanpassen. Precies dat vind ik jammer en vind ik dat te weinig gebeurt om van een echt goede tactiek te spreken. Iets te groot voordeel wat unite controle betreft.

[Cloud]

Wat ik bedoel met tactiek is dat hij units gebruikt tegen de counter units en daar als nog mee kan winnen. Hij valt namelijk met Stalkers Immortals aan en wint het, niet omdat hij een goede keuze heeft gemaakt om Stalkers te maken, maar omdat hij gewoon zo goed is met de unite controle.

Dat zal nog wel komen inderdaad Het is mede de reden dat AlphaStar de laatste game verloor. Er was maar één ding nodig om te winnen, namelijk een Phoenix maken zodat die Warp Prism tegengehouden kon worden.

Je wil/verwacht al teveel hiervan. En ze nu zelf, DeepMind heeft nu al een AI die kán winnen van pro spelers. Wie had dat gedacht in dit tijdsbestek? Geef het wat tijd en het komt vanzelf, dit is nog lang niet klaar.

[twizzle]

Nou is de menselijke analyse natuurlijk wel iets nauwkeuriger en kunnen de meeste profi's die ook behoorlijk snel maken.

De AI ziet misschien 1 ghost lopen en geeft deze een low risk aangezien 1 ghost niet zo sterk is en nukes nauwelijks gebruikt worden maar een mens denkt gelijk waarom loopt daar 1 ghost daar klopt wat niet.

[TheGhostInc]

Nou is de menselijke analyse natuurlijk wel iets nauwkeuriger en kunnen de meeste profi's die ook behoorlijk snel maken.

Een AI van dit niveau verslaat de nr 1 5x op rij.... hoezo is de menselijke analyse dan beter?

De AI ziet misschien 1 ghost lopen en geeft deze een low risk aangezien 1 ghost niet zo sterk is en nukes nauwelijks gebruikt worden maar een mens denkt gelijk waarom loopt daar 1 ghost daar klopt wat niet.

Jij beschrijft een bot. Een AI zal zich, net als een menselijke speler, een keer laten verrassen, maar daarna dit gewoon meenemen. En dit type AI kan daarna deze tactiek overnemen.

Sterker nog, dit soort AI leert zichzelf het spel, daar zit geen voorgeprogrammeerd stuk in.

[Thundy]

MaNa is verre van de #1 van de wereld, eigenlijk niet eens top 25.

[BrianHD]

En Liquid TLO dan?

https://www.youtube.com/watch?v=DpRPfidTjDA

[Niosus]

Zeker niet. TLO is een toffe speler, maar geen van de topper. Nooit geweest in zijn Starcraft 2 carrière. In Hij kan zeker hier en daar wel een game afsnoepen van de allerbeste spelers, maar in tournaments blijft hij systematisch er vroeg uit gaan.

En dat is met Zerg. Protoss is veruit zijn zwakste race. Hij had ongeveer 100 games gespeeld als voorbereiding. Klinkt veel, maar op een uur kan je er toch 2-4 doen. Als professionele gamer speel je toch echt wel wat op een dag. 100 games is niet meer dan enkele dagen oefening, tegenover jaren oefeningen voor "echte" Protossen. Je ziet TLO dan ook vrij grote fouten maken in zijn games tegen de AI.

Nu ja, goed. Het is nog altijd _bijna_ de top waartegen de AI makkelijk gewonnen heeft. Geef ze nog even en straks walsen ze Serral plat. Dat heeft echt de mogelijkheid van het Deep Blue vs Kasparov moment van eSports te worden...

[CAPSLOCK2000]

Zeker niet. TLO is een toffe speler, maar geen van de topper. Nooit geweest in zijn Starcraft 2 carrière. In Hij kan zeker hier en daar wel een game afsnoepen van de allerbeste spelers, maar in tournaments blijft hij systematisch er vroeg uit gaan.

TLO is een van de meeste creatieve spelers in het veld. Hij is al zo lang succesvol omdat hij keer op keer nieuwe strategieën weet te bedenken die anderen nog niet hadden voorzien. Zijn vermogen om out-of-the-box te denken is vast een groot voordeel tegen een computer getrained heeft tegen andere mensen, TLO doet dingen die anderen nooit eerder hebben gedaan.

Ik denk echter dat het ouderwets denken is, moderne AI's leren vooral van tegen zichzelf spelen. Die hebben alle gekke stijlen al lang geprobeerd.

[Niosus]

Zeker. Het was echt niet mijn bedoeling om TLO aan te vallen. Ik vind hem fantastisch om te zien spelen en wens hem alleen maar het beste toe. Maar toch, neemt niet weg dat hij nooit echt bij de beste van de beste spelers heeft behoord. Hij is heel origineel, maar niet consistent genoeg om echt op dat niveau een kans te maken. En dan zeker niet met Protoss.

[Anoniem: 315662]

Een AI van dit niveau verslaat de nr 1 5x op rij.... hoezo is de menselijke analyse dan beter?

Dat hij wordt verslagen wil natuurlijk niet zeggen dat de analyse niet beter is. Zeker op hoog niveau komt het in Starcraft gewoon heel erg aan op micro-management, daar heeft de AI een enorm voordeel. Die kan namelijk iedere unit precies laten doen wat hij moet doen en zo het nut maximaliseren, bij een mens zit daar altijd de beperking op van hoeveel acties je zelf kunt uitvoeren en veel van die APM is volgens mij ook misclicks en 'in beweging blijven'.

Dat wil dus niet zeggen dat als een mens op 1 stuk beter is dat hij de AI dan verslaat, want zoals te zien is is die AI gewoon goed genoeg om hem te verslaan.

[Kevinp]

De kans alleen dat een mens die ghost mist is alleen veel groter dan de AI.

Interpretatie is het lastigste voor een AI. Maar met learning moet je wel ver kunnen komen.

Overigens als zoals hier boven staat je één tactiek hebt welke gewoon beter is dan alle andere dan maakt dit allemaal niet zoveel uit.

[metroappelsap]

De vraag is meer of er een dominante strategie is die niet te verslaan is. Helemaal als die strategie vooral geschikt is voor AI ben je 'klaar' en kom je als mens er gewoon niet meer aan te pas.

In de presentatie zei het DeepMind personeel dat er nooit één agent met een optimale strategie kwam bovendrijven. (Ze trainden de agents door ze tegen elkaar te laten spelen.) Bij elke sterke agent was er altijd minimaal eentje die hem versloeg. Dat doet denken dat er geen optimale strategie voor StarCraft 2 is.

[PizzaMan79]

Er zal nooit één dominante strategie komen. Blizzard patcht Starcraft om daarvoor te zorgen. Dat hebben ze altijd gedaan en zullen ze altijd blijven doen. Door patches met AI te testen kunnen ze zelfs beter voorkomen dat er één dominante strategie ontstaat.

[Reactie gewijzigd door PizzaMan79 op 22 juli 2024 23:38]

[PizzaMan79]

Yes. Wat gaan de spelers van de ai leren? En wat zijn goede anti-ai strategieën? Heel gaaf en spannend dit.

[metroappelsap]

Ik vond het vooral cool dat alle AlphaStar agents enorme hoeveelheden probes produceerden. In de community is de stelregel dat je 16 probes op je minerals hebt. Sommigen zeggen 18. Maar AlphaStar had er consistent 24! Dat heeft twee voordelen: a) je kunt er een paar verliezen zonder enorme economische schade en b) als je een tweede nexus hebt, kun daar direct efficient 'minen'.
Het zou me niks verbazen als de pro spelers dit gaan overnemen.

Ik ga het in ieder geval wel proberen op de ladder.

[Anoniem: 1128097]

Ik als noob maakte er ook altijd meer dan 16 haha, toch vooruitstrevend dus

[PizzaMan79]

Ik zie bij PvP zeker de logica van extra probes: je verliest toch meestal een paar probes aan harass. Dan kun je maar beter wat extra hebben. Aan de andere kant: als je eerder die tweede Nexus maakt, kun je daarna 2x zoveel probes maken.

Maar dat weegt kennelijk niet altijd op tegen de nadelen. Je bent kwetsbaar tijdens uitbreiden, omdat het leger van je tegenstander op dat moment ook op stoom komt. Dus de ai wil op dat moment liever eerst in andere zaken investeren voor het een nieuwe nexus maakt.

Ik denk eigenlijk dat het niet veel uitmaakt. Laat ik het zo stellen: als je mij verslaat in een potje dan zal je probe saturation zeker niet een doorslaggevende factor zijn.

[Reactie gewijzigd door PizzaMan79 op 22 juli 2024 23:38]

[Anoniem: 603953]

Wat nog toffer is wellicht: Als de AI zo goed wordt, en "menselijke" spelers kunnen blijven oefenen VS zo'n onverslaanbare tegenstander, dan worden ze ook vanzelf RETE goed (AKA nog beter) in wat ze doen.

Zou de kwaliteit van een toernooi met alleen menselijke spelers naar een ziek hoog niveau tillen lijkt mij.

[fastbikkel]

Ik denk dat uiteindelijk geen enkele strategie meer voldoende zal zijn tegen AI.
Ondanks t feit dat ik ook wel veel voordelen hieraan zie, zie ik ook heel gevaarlijke ontwikkelingen.
Maar daarin zal ik vast niet de enige zijn.

[Jeffrey_KL]

Alle 3 de rassen spelen is geen probleem voor AlphaStar. De AI is zo ontwikkeld dat hij met alle rassen kan spelen alleen moet AlphaStar nog leren de andere 2 rassen te gebruiken.

Tijdens de Livestream werd er ook gesproken dat tussen de 2 wedstrijden van tlo en mana al een behoorlijk verschil zat tussen de AI kwa performance. En dit verschil was al bereikt door een enkele week leren.

[PizzaMan79]

BeastyQT is momenteel een van de beste random spelers. Alleen zijn zerg is wat minder. Hij heeft Alphastar uitgedaagd voor een wedstrijd waarbij hij random speelt. Hij zou dan ook veel originelere strategieën toepassen om de ai van de wijs te brengen, zoals schakers bvb ook doen.

[Znorkus]

Het is cruciaal in dit geval dat de mens nog niet eerder de kans had gehad om tegen deze AI bot te spelen. Een serieuze vergelijking heb je als een topspeler een aantal maandjes mag oefenen tegen de AI-speler.

Pas dan kom je echt toe aan een van de belangrijkste pijlers van intelligentie: niet vooraf-gescript creatief probleemoplossend vermogen, de denkwijze van de ander doorzien en er 1 stap op vooruit lopen.

Wat nu nog helaas meespeelt is het verassingseffect. De menselijke speler is ingespeeld op menselijke tegenstanders, en krijgt dan ineens een bizarre strategie voor z'n neus, die echter met vrijwel perfecte micro wordt uitgevoerd. Voeg hieraan toe de stress van een tournooi en duidelijk uit de comfort zone zijn, en ik snap wel dat je overrompeld wordt. Intelligentie zit hem, denk ik, juist in de stap daarop: geef deze programer nog 200 potjes tegen de AI - en wat gebeurt er dan?

[vmcsnekke]

... "een van de belangrijkste pijlers van intelligentie: niet vooraf-gescript creatief
probleemoplossend vermogen, de denkwijze van de ander doorzien en er 1 stap op vooruit lopen."

ja, maar laten we niet overdrijven.

AlphaStar doorziet niets en denkt niet. Het is gewoon een computerprogramma,
volledig bedacht en gemaakt door mensen, met een zeer vernuftig algoritme
dat de juiste beslissingen neemt en deze op de juiste manier uitvoert.

Elk computerprogramma/AI is natuurlijk gewoon een geautomatiseerd proces
van het algoritme/denkwijze van de programmeur. In weze loopt het altijd
achter de menselijke kennis aan. Je zult geen computerprogramma/AI vinden
die *echt intelligent* is en geheel nieuwe strategieen bedenkt of
b.v. een nieuw en successvol product/bedrijf bedenkt of komt met de oplossing
voor het klimaat probleem :-)

[Znorkus]

Nee, niet mee eens: wat jij omschrijft is geen kunstmatige intelligentie, en als alphastar zo werkt als je zegt, dan is het geen AI (ik weet dat verder niet).

[Cloud]

Correct. Wat @vmcsnekke beschrijft is absoluut niet wat AlphaStar is.

De programmeurs hebben AlphaStar niet geleerd wat StarCraft II is, dat deed AlphaStar zelf. Eerst door replays van mensen te bekijken ("imitation learning") en vervolgens in de genoemde StarCraft League 200 jaar aan StarCraft 2 te spelen in een week tijd ("reinforcement learning").

Ja er was creativiteit van de ontwikkelaars van deze AI voor nodig maar niet op de manier waarop hij schetst.

[vmcsnekke]

dat deed AlphaStar zelf?

en wie heeft AlphaStar dat geleerd?

Natuurlijk is het heel knap en heel vernuftig allemaal, zeker!

Maar in essentie is het een computerprogramma, die enkel
doet wat de programmeurs 'm hebben opgedragen.

Lees maar eens wat de bekende en vooraanstaande
prof. dr. Edsger W. Dijkstra daar zo'n 20 jaar geleden
over te zeggen had, zie:
https://www.cs.utexas.edu...ions/EWD10xx/EWD1056.html

Dit wordt soms nog wel eens vergeten... zeker nu de term
"AI" aan zoveel populariteit heeft gewonnen (en de kloksnelheden
van CPUs vele GHZ bedraagt)

[Cloud]

Leuk paper.

Nog een keer dan:
Een team van onderzoekers heeft deze AI gebouwd maar niet de regels, doelen, strategieën van SC2 geleerd. Die heeft het zelf 'ontdekt' door de trainingsmethodiek die ik hierboven al beschreven heb.

Eenvoudiger dan dit kan ik het niet neerzetten. Of zit je nu opzettelijk te muggenziften met de definitie van wat 'kunstmatige intelligentie' nu eigenlijk is? Zo ja, dan hoor ik dat graag want in die discussie heb ik weinig interesse.

[CEx]

Dan wordt de AI nog sterker, tot het punt dat hij de creativiteit van die speler heeft uitgeput.

Dit gebeurt ook op menselijk vlak, nu wat minder, maar vroeger had je bij e-sports soms erg afwijkende meta's over de continenten heen.

[metroappelsap]

Het is cruciaal in dit geval dat de mens nog niet eerder de kans had gehad om tegen deze AI bot te spelen. Een serieuze vergelijking heb je als een topspeler een aantal maandjes mag oefenen tegen de AI-speler.

Dat is een goed punt! In deze wedstrijd was er in elk potje een andere AlphaStar agent actief. Eigenlijk speelden LTO en Mana elk tegen 5 verschillende tegenstanders. Dus ons menselijk vermogen om te anticiperen op de tegenstander (welke favoriete strategieën heeft hij/zij, etc.) konden LTO en Mana niet gebruken.

[klakkie.57th]

Hoe werkt dit dan ? Een mens wordt toch ook gehinderd door motorische beperkingen. Of stuurde de AI een robotarm aan die met dezelfde snelheid van een mens de muis verplaatst ?

[Reactie gewijzigd door klakkie.57th op 22 juli 2024 23:38]

[Laloeka]

De AI werd gelimiteerd tot een menselijke reactiesnelheid en aantal 'acties per minuut'. Het kon dus niet binnen 1 frame reageren op nieuwe informatie, of elke frame tientallen inputs geven.

[metroappelsap]

De AI werd gelimiteerd tot een menselijke reactiesnelheid en aantal 'acties per minuut'.

Klopt, maar het was helaas wel de gemiddelde acties per minuut (APM). AlphaStar had wel degelijk APM pieken die een mens nooit zou kunnen. Zie: https://www.reddit.com/r/...r_game_vs_mana_alphastar/
Een mens kan een knop ingedrukt houden (zoek maar eens op rapid-fire warp-ins), maar nooit op deze snelheid stalkers micro-managen, terwijl de stalkers over 3 schermen verdeeld waren.

[Cloud]

Daar heb je gelijk in. Maar:

1. De gemiddelde APM was niet alleen gelimiteerd, hij was ook daadwerkelijk gemiddeld een stuk lager dan dat van de pro's. Ofwel de AI bereikte meer, met minder. Dit kan natuurlijk voortkomen uit de vele status checks die pro's doen (kijken of buildings voltooid zijn, proberen te bouwen voordat resources available zijn) die eigenlijk loos zijn en een AI makkelijk kan voorkomen.
2. De 10 matches zijn inderdaad gespeeld met een AI die actions op drie 'schermen' tegelijkertijd kon doen. De laatste versie van AlphaStar kon dat niet, die moest immers de camera ook leren verplaatsen.

[Reactie gewijzigd door Cloud op 22 juli 2024 23:38]

[PizzaMan79]

APM meet alleen kliks op toetsenbord of muis. De beweging met de muis tussendoor wordt niet gemeten. Daarom kon Alphastar op een onmenselijke manier zijn leger beheren en (met blink stalker micro) een gevecht winnen met een leger wat in menselijke handen dik zou verliezen (tegen immortals).

Als het gaat om blink stalker micro dan haalt een mens de 200 apm niet en juist op dat moment piekte alphastar naar 1500 apm. Een mens kan veel klikken maar in die situatie absoluut niet zo snel zijn muis bewegen.

Alhpastar was, toen het erop aan kwam, dus meer dan vijf keer zo snel als een mens. Behalve in het laatste live potje.

[Reactie gewijzigd door PizzaMan79 op 22 juli 2024 23:38]

[Anoniem: 1159566]

Het eenvoudigste is om allerlei soorten reactiesnelheden voor verschillende functies te programmeren, welke gebaseerd zijn op een hele reeks bewegingen van professionele spelers.

[fastbikkel]

Daarbij vraag ik me ook af hoe de AI het doet met bouwen van dingen.
Jij als mens kan 1 klik tegelijk doen, dus 1 building neerzetten, dan de volgende.
De AI kan in theorie gewoon ongelimiteerd dingen tegelijk doen, afhankelijk van wat het spel aankan uiteraard.

[klakkie.57th]

Dat was precies mijn punt, ook scrollen door de map is tijdrovend

[fastbikkel]

Ok sorry.

[twizzle]

"Daar is ook de live match te zien die MaNa tegen AlphaStar speelde. Hierbij had de agent als beperking dat deze meer als een mens naar het spelverloop kon kijken. "
Had de AI dan bij de andere games meer informatie ter beschikking dan we zelf op ons scherm zien?

[GeoBeo]

"Daar is ook de live match te zien die MaNa tegen AlphaStar speelde. Hierbij had de agent als beperking dat deze meer als een mens naar het spelverloop kon kijken. "
Had de AI dan bij de andere games meer informatie ter beschikking dan we zelf op ons scherm zien?

Nee. Het enige verschil is (volgens mij) dat AlphaStar ten alle tijde het hele speelveld bekijkt. Als het ware volledig uitgezoomed. Terwijl een mens meer bezig is met in en uitzoomen.

De beperking die AlphaStar kreeg is dus wellicht dat hij slechts door een gelimiteerd scherm naar de game mocht kijken en zelf dus ook door de map heen moest scrollen (om de hele map te kunnen overzien) met waarschijnlijk een kleine menselijk ingebouwde vertraging.

Dit is iig wat ik ervan snap na het filmpje deels bekeken te hebben.

[Reactie gewijzigd door GeoBeo op 22 juli 2024 23:38]

[twizzle]

Ah ok was niet erg duidelijk uitgelegd in de tekst nu kan je natuurlijk behoorlijk snel van camera locatie wisselen in SC2 dus hoeveel dat uitmaakt weet ik ook niet

[rickboy333]

Ja, je kan ten eerste op de minimap klikken waardoor je snel met de camera ergens kan zijn. Maar je kan ook bepaalde hotkeys gebruiken. Tab is geloof ik switchen naar alle town halls (dus CC, Nexus en Hive, voor queen inject trouwens heel handig) spatie is de camera switchen naar alle laatste gebeurtenissen en je kan naar een genummerde unitgroup gaan door 2 keer op dat nummer te drukken (dus controlgroup 1 = 2 keer op 1 drukken)

[TheSolutioner]

Je kan ook locaties op de map markeren met een hotkey zodat je daar direct naartoe kan switchen.

[cotix]

Dat werkt alleen niet zo goed als die locaties telkens veranderen zoals tijdens gevechten. Daarnaast als je op 3 flanken met blink stalkers vecht, weet je natuurlijk niet waar je een stalker moet blinken _voordat_ je er heen switched om te kijken. AlphaStar kan dat wel, die overziet alle stalkers tegelijk, en kan zonder enige moeite precies de juiste stalker op het juiste moment weg blinken.

[rickboy333]

Ah ja met de F toetsen. Helemaal vergeten.

[Thieu10]

Er wordt alleen niet verteld dat de ai de live wedstrijd heeft verloren terwijl dat de eerste keer was dat de ai speelde met hetzelfde camera perspectief als de menselijke speler. In de vijf verloren wedstrijden beschikte de ai over een uitgezoomd perspectief over de gehele map. Daarnaast beschikte de ai zeer zeker wel over onmenselijke micro skills. Tijdens gevechten ging de apm richting de 1000. Waar een menselijke speler alleen een apm van 1000 kan verkrijgen door allerlei buttons te spammen daar betroffen dit bij de ai uitsluitend effectieve acties. Zo was de ai in staat om op 3 verschillende locaties tegelijk zijn units te besturen wat voor menselijke spelers natuurlijk onmogelijk is. Er kan dan ook gesteld worden dat de ai met name uitblonk in micro management en niet in tactisch en strategisch opzicht. De ai dient dan ook zeker nog doorontwikkeld te worden alvorens de in game beslissingen op hetzelfde (of een hoger) niveau liggen als een menselijke speler.

[Olaf]

Zowel de door de ai verloren livestrijd als de onmenselijke micro staan in het artikel. Volgens DeepMind speelde de agent met beperkt camerapersectief tijdens oefenpotjes uiteindelijk zelfs beter, als ik het goed herinner. Maar bij de livegame maakte deze juist een goede start maar vervolgens een paar vreemde beslissingen, waar de stalkers maar wat in het rond leken te rennen. Het lijkt een cruciaal punt dat tweaken van de beperkingen van de ai om deze 'menselijke capaciteiten' te geven van grote invloed invloed is op de winkansen. Want waar leg je de grens? Sommige prospelers vertonen ook bijna onmenselijke skills.

[Thieu10]

Het laatste stuk binnen het artikel had ik gisteravond niet gelezen, ik weet niet of dat er later bij is gekomen of dat ik er overheen heb gekeken.. artikel is nu gelukkig wel volledig. Het is inderdaad moeilijk om te bepalen waar je de grens legt ten aanzien van de beperkingen. Puur op basis van een eerste inschatting zou ik zeggen dat het beter is de apm van de ai te begrenzen tot de maximale epm (effectieve acties per minuut) van menselijke spelers. Die ligt namelijk aanzienlijk lager. Maargoed ze zullen dit vast en zeker beter gaan afstemmen in de verdere ontwikkeling.

[Hanzio]

.

[Reactie gewijzigd door Hanzio op 22 juli 2024 23:38]

[TheBorg]

Het zou leuk zijn als dit in de toekomst daadwerkelijk in games kan worden toegepast. In ben totaal geen gamer. Een paar keer per jaar speel ik wel eens wat. Onlangs nog Age of Empires: Definitive Edition. Zelfs voor een noob als mij is dat spel in de meeste levels geen uitdaging.

[Gopher]

Wat bedoel je met daadwerkelijk worden toegepast, dat gebeurt toch ook.

Lijkt me niet perse leuk tegen een goede ai spelen is bijna niet te doen.

Bron: zie artikel

[IStealYourGun]

Probleem bij veel games is dat de AI van de computer nogal vrij beperkt en dom is. Ik zie wel een meerwaarde bij een RTS of een racegame waarbij de AI zich aanpast aan jouw strategie. De uitdaging bij artificial neural network's zal er uit bestaan dat de AI niet te slim wordt.

[Atomsk]

Ligt denk ik ook wel aan de beschikbare hoeveelheid rekenkracht. Geen idee wat ze in dit geval gebruikt hebben, maar het zullen wel een paar gespecialiseerde TPU's van Google zijn geweest. Dat is heel wat meer power dan wat een doorsnee Intel cpu kan leveren.

Als je AI tegenspeler in de cloud zit (bij een multiplayer game), is het wel te realiseren. Bij een single player game waarbij je computer de AI moet doen, gaat dat voorlopig niet lukken lijkt me.

[Ainze]

Trainen was op 16 TPU’s,
Eens getraind verliep het op een desktop dat je zelf kan kopen. Details gaven ze niet op de twitch stream gisteren

[PizzaMan79]

Ze gaven aan dat het spel op een normale consumenten pc draaide. Met de AI op de gpu. En omdat de graphics er normaal uitzagen gok ik dat er een tweede gpu in zat puur voor de AI.

Hoe interessant... Nu crossfire en sli een stille dood sterven wil zodirekt toch weer iedereen een tweede gpu in de pc voor ai.

[MSalters]

Nu kun je er bij gamers wel van uit gaan dat ze een GPU hebben, dus je kunt die AI ook gewoon naar de GPU offloaden. Dat hoeft niet eens een RTX te zijn; ook een oude 960 is al ruim sneller dan een i9.

[Nieuwevolger]

Zou een probleem voor ee race game niet zijn dat een AI altijd zo goed als perfect kan racen? Dan zou je de AI extre dom moeten laten lijken.

Zelfde zou je kunnen zeggen in shooters en actie games. De ai zou altijd beschikking hebben over auto aim.

[MN-Power]

In race games is dat vrij makkelijk op te lossen door een restrictor op de inlaat te zetten(een paar games ondersteunt dat al) of een simpele vermogensreductie in procenten, of ballast of een combinatie . Net zoveel tot je wel competitief bent. Niks vreemds aan aangezien de meeste racegames toch al een difficulty slider hebben, maar de werking daarvan meestal toch te wensen over laat.

[Horatius]

Veel race games doen nu aan 'rubberbanding'. Als je voor rijdt gaan de laatste harder en als je achter rijdt gaan de voorste langzamer. De moeilijkheidsslider is dan ook vaak een slider om dit effect te veranderen.
Net zoiets als bij veel openworld games is dat als je de moeilijkheidsgraad omhoog doet de tegenstanders alleen meer levens krijgen....

[Arator]

Ik wou net hetzelfde zeggen. Als je racegames speelt en je rijdt een flink stuk weg van de ai-tegenstander, zie je ze plots weer in je spiegel opdoemen. En als je zelf van de weg geraakt, dan zijn is de tegenstander achter de volgende bocht precies blijven stilstand.
Ik kende dus het fenomeen, maar niet de naam

[MN-Power]

Klopt, alleen doelde ik meer op sims dan race games. En die doen doorgaans niet aan rubberbanding. Had ik misschien iets duidelijker over moeten zijn. Aangezien ik eigenlijk nooit arcade racers speel staat race game voor mij gelijk aan simulator, excuses daarvoor ... De Forza Horizon serie en Wreckfest zijn mijn enige guilty pleasures.

[dakka]

Niet zo zeer een technische beperking maar een balans beperking, het is makkelijk een zwaar OP(niet cheatende) AI tegenstander te hebben, maar of het leuk is (zwerft ergens een GDC talk hierover rond)

[Reactie gewijzigd door dakka op 22 juli 2024 23:38]

[CEx]

Nou wat ik persoonlijk altijd irritant vond in RTS games was dat een 'AI' tegenstander op het moeilijkste zetten niet zorgde voor slimmere tactieken maar voor 'cheats' zoals meer start units of vision over totale map.

[Sidiox]

Dat hoeft ook niet perse zo te zijn. Waar de AI heeft geleerd, kan een mens ook weer leren van hoe de specifieke DeepMind agents spelen en het beter doen. Vooral om dat de AI nu niet conventioneel speelt denk ik dat het ook deels een soort voordeel is dat het dergelijke nieuwe tactieken toepaste.

[loki504]

Ze kunnen het aantal handelingen per minuut natuurlijk aanpassen. Zodat er een verschil in easy/medium/hard/extra hard/extreem hard/insane/immposible.

Waarbij
Immposible de huidige stand is. Al dan niet geen limitaties op reactie vermogen.

[jeroentje710]

Age of Empires heeft een grote community en er zijn een aantal mods die de AI verbeteren. (op een eerlijke manier dus geen extra recources of wat dan ook)
Deze zijn voor de casual player een grote uitdaging en in veel gevallen zelfs een stapje te hoog

Hier een van de mods
https://steamcommunity.co...ons/0/135513549089028243/

[Reactie gewijzigd door jeroentje710 op 22 juli 2024 23:38]

[Nieuwevolger]

Is het niet zo dat de AI in age of empire op hoog niveau onmenselijk snel van scherm kan switchen en daardoor 10 dingen te gelijk managen?

[jeroentje710]

Volgensmij is dit inderdaad correct. Maar zoals hier boven ook is aangegeven zijn ook mensen in staat bijna 600 acties per minuut uit te voeren. (dus bijna 10 per seconde )
Daarnaast is de ai nog niet erg goed in het micro managen van units wat ze weer een nadeel geeft tegenover de pro's

[CAPSLOCK2000]

Volgensmij is dit inderdaad correct. Maar zoals hier boven ook is aangegeven zijn ook mensen in staat bijna 600 acties per minuut uit te voeren. (dus bijna 10 per seconde )
Daarnaast is de ai nog niet erg goed in het micro managen van units wat ze weer een nadeel geeft tegenover de pro's

600 toetsaanslagen per minuut zijn nog een 600 effectieve acties per minuut.

Spelers zitten te wachten tot ze een bepaalde unit kunnen kopen rammen als een gek op hun toetsenbord zodat ze die unit onmiddellijk kopen als ze het geld hebben. Een computer hoeft dat niet te doen, die weet precies wanneer de unit gekocht kan worden en drukt dan 1 keer op de juiste knop.

[Rev-anche]

Ik dacht altijd een aardig potje schaak te kunnen leveren. Met mijn eerste ai tegenstanderwerd ik kompleet kansloos weggespeeld op easy!
Op very hard won ik met een herdersmatje?
Ben helaas de naam van de tegenstander kwijt. was ergens rond de 1995.

[SmokingSig]

Zou vooral leuk zijn in shooters lijkt me in plaats van de health e.d. van de bots te verhogen.

[PizzaMan79]

De logica in shooters is wel anders. Daar gaat het veel meer om reactievermogen dan om strategie. Ik vind het eerlijk gezegd niet zo interessant en denk dat ai teams zoals deepmind er ook zo over denken.

[metroappelsap]

Het zou leuk zijn als dit in de toekomst daadwerkelijk in games kan worden toegepast.

Je bedoelt out-of-the-box in commerciële games? Dat lijkt me voorlopig niet mogelijk, omdat AlphaStar draaide op gespecialiseerde hardware (Google Tensor Processing Units: https://cloud.google.com/tpu/).
Misschien zien we in de toekomst wel AI kaarten die je kunt kopen, naast je videokaart?

[PizzaMan79]

Alhpastar trainde daarop, maar draaide op een gewone consumenten gpu.

[Matthias87]

"Hij staat nummer 1 bij de StarCraft II World Championship Series"

Huh?

[Castor385]

Hij staat inderdaad pas op plek #13 (Korea buiten beschouwing latende)
zie: https://liquipedia.net/st...pionship_Series/Standings

[Reactie gewijzigd door Castor385 op 22 juli 2024 23:38]

[Olaf]

Ik had iets te snel gekeken naar de '#1' op de Teal Liquid-pagina: https://liquipedia.net/starcraft2/MaNa Is nu aangepast.

[Matthias87]

Ja, en er zit een behoorlijke grote skill gap tussen de top 3 v.s. een 13e plek.

[Armselig]

Dit zou misschien ook nuttige info kunnen zijn voor betere AI in skirmishes? Dat je zeg maar meer het gevoel hebt tegen een mens te spelen en/of vergeet dat je tegen een CPU tegenstander speelt. Als de AI wereld wil leren van RTS games moet daar ook wat tegenover staan toch?

Edit: Ik besef me nu pas dat ik eigenlijk herhaal wat TheBorg al zei

[Reactie gewijzigd door Armselig op 22 juli 2024 23:38]

[TweakerVincent]

Leuk nu Civ games ai trainen, kan ik eindelijk tegen de ai normale potjes spelen.

[Atmosfeer]

Dit is waar ik op wacht. Civ ai dat daadwerkelijk met interessante strategien komt om te winnen.

[TweakerVincent]

idd! Maar eigenlijk voor alle singleplayers perfect. Komende jaren gaat daar echt een enorme verandering in plaatsvinden.

[roflpantoffel]

Indrukwekkend dat de AI al redelijk slim is, maar de video geeft een vertekend beeld van hoe goed de AI eigenlijk is.
De AI heeft een aantal voordelen waardoor hij bijna altijd zal winnen.
- Het spel is beperkt tot 1 map
- De AI gebruikt Protoss en de tegenstander is verplicht dit ook te doen.
- Protoss units hebben shields die langzaam regenereren waardoor een speler die zijn units perfect kan microën altijd meer units heeft dan de tegenstander.
- De AI kan hierdoor altijd al een significant voordeel vinden in de early game waardoor de speler in de mid en late game weinig mogelijkheden heeft om geadvanceerde strategieën te kiezen, waarbij de AI echte strategie moet toepassen.

De AI heeft desondanks nog wel zwakheden.
- Op bepaalde voor de AI onbekende strategies zal hij nog geen antwoord hebben en zal de speler dus altijd kunnen winnen.
- De AI maakt veel onnodige observers en verspilt resources.
- De AI split zijn leger bijna nooit en waardoor hij vatbaar is voor drops en runbies.

Al met al is het een leuke technologische ontwikkeling alleen hebben we er weinig aan. De AI speelt nog steeds erg onmenselijk en maakt gebruik cheap wins. De potjes tegen deze AI zullen dus erg saai zijn.

[Shiverish]

En dat is ook het lastige bij game AI. Die is er niet om jou te verslaan, maar om het spel more entertaining te maken.

Volgens mij was het niet het doel een menselijke AI te maken, maar een die een complex spel kon leren en een sterke menselijke speler hierin te verslaan... mission accomplished.

Naast dat door training het letterlijk een kwestie van tijd is, blijft de "intelligentie" van de mens overschat worden. Lol, de verwachtingen zijn altijd 10, 20, 50 jaar voordat... terwijl keer op keer gebleken is dat ze er met een factor 10 naast zitten.

Oh enne.. "Op bepaalde voor de AI onbekende strategies zal hij nog geen antwoord hebben en zal de speler dus altijd kunnen winnen." Dat geld voor beide partijen, waar ook de AI weer het voordeel heeft geen jaren nodig te hebben om daar een counter voor te hebben.

[metroappelsap]

Naast dat door training het letterlijk een kwestie van tijd is, blijft de "intelligentie" van de mens overschat worden.

De mens doet zich dommer voor dat hij is, zodat de computer slimmer lijkt.

Definiëer intelligentie....

[PizzaMan79]

Tsja, met die logica kun je een ai 2000 acties per minuut laten doen en zo makkelijk ieder mens verslaan. Daar is niks aan. Voor de ai makers niet, voor de menselijke tegenstanders niet...

Wat we willen is een ai die min of meer de beperkingen heeft van een mens met toetsenbord en muis, maar die slim is. Dat is de mooie uitdaging om te maken en om tegen te spelen.

[Shiverish]

Het zelfde als wat ik zeg, toch bedankt voor je 2 cents.