Microsoft-project traint ai-agents aan de hand van tekstadventures

Microsoft heeft opensourcesoftware ontwikkeld voor het trainen en testen van ai-agents. Dat gebeurt aan de hand van het TextWorld-project, waarmee gebruikers bijvoorbeeld text-based games oftewel tekstadventures kunnen genereren.

TextWorld is een Python-bibliotheek waarmee gebruikers tekstgames kunnen genereren en kunnen spelen, aldus Microsoft. Zo is het bijvoorbeeld mogelijk om van tevoren het aantal kamers en objecten te specificeren, net als de beoogde lengte en het doel van een spel. Gebruikers kunnen kiezen uit twee thema's: house en basic. Bij het eerste thema beschrijft de gekozen tekst de game alsof deze zich afspeelt in een huis. Vervolgens genereert de software een game in Inform7, die bijvoorbeeld lijkt op het spel Zork uit 1980.

Zo moet een speler tekst lezen en begrijpen om verder te komen door verschillende commando's in te voeren. Daarbij is het niet altijd duidelijk wat het doel precies is, stellen Microsoft-onderzoekers in een bijbehorende paper. Dat maakt dit soort games een omgeving die voor het trainen van agents met behulp van reinforcement learning geschikt is, aldus het bedrijf. Het zou vooral gaan om het combineren van deze leermethode met het begrijpen van natuurlijke taal, wat meer complexiteit met zich meebrengt.

Daar komt bij dat er verschillende beperkingen zijn die het voor een kunstmatige intelligentie moeilijk maken om de game te 'leren'. Een agent kan bijvoorbeeld alleen beschikken over de informatie die op dat moment aanwezig is. Daarnaast is er een grote state space en zijn er veel mogelijke acties, maar weinig juiste.

Microsoft is niet het enige bedrijf dat spellen met kunstmatige intelligentie combineert. Een bekend voorbeeld is Googles AlphaZero-project en de game Go; de organisatie OpenAI toonde onlangs zijn voortgang op het gebied van Dota 2.

IT-banen

Reacties (14)

paoper 16 juli 2018 14:33

Een agent kan bijvoorbeeld alleen beschikken over de informatie die op dat moment aanwezig is.

Dat is interessant. Betekent dit dat de agent geen geheugen heeft om (de betekenis van) de tekst weergegeven op vorige pagina's op te slaan en terug te halen? Of gaat dit uit van een continue doorlopende display (de display wordt dus niet gewist bij het ingaan van een nieuwe kamer e.d.)?

[Reactie gewijzigd door paoper op 24 juli 2024 06:16]

Tarij @paoper • 16 juli 2018 14:40

Ik denk dat dit betekend dat de informatie waarop de AI moet handelen beperkt is tot de informatie (paar regels tekst) die het spel aanlevert. Het zal dus de situatie voor zichzelf in kaart moeten brengen op basis van de beperkte tekstuele informatie.

Het lijkt mij dat het wel kan bijhouden wat er eerder bekend is geworden in hetzelfde spel.

Xorifelse @Tarij • 16 juli 2018 15:51

Alleen wanneer de software het programma heeft afgerond word het nog een keer herhaald en kan het leren.

Dus ga er maar van uit dat het wel bewust is van elke mogelijke optie. (en bewust oppakken als niet levend)

Dit is ai learning. Het verschil in dit scenario is hoe de data word opgeslagen.

[Reactie gewijzigd door Xorifelse op 24 juli 2024 06:16]

Opi @paoper • 16 juli 2018 15:20

Uit de paper valt op te maken dat het algoritme alleen informatie meeneemt over de huidige kamer waarin de speler zich bevindt en diens inventaris. Deze informatie is de enige informatie die gebruikt lijkt te worden om een actie te selecteren, waarbij middels het gebruik van POMPD wel onderkend wordt dat deze informatie geen volledig beeld geeft van de wereld waarin de speler zich begeeft. De speler maakt zodoende geen gebruik van een expliciet geheugen.

[Reactie gewijzigd door Opi op 24 juli 2024 06:16]

Anoniem: 100505 16 juli 2018 16:29

Dus basically is Microsoft bezig met Tool Assisted Speedrunnen van Zork.

Tiny @Anoniem: 100505 • 16 juli 2018 16:38

$_/-\o_$

Stoelpoot 16 juli 2018 14:28

"Dus wat doe jij als werk?"

"Ik test AI! Hypermoderne technologie, echt geweldig."

"Oh? En hoe doe je dat dan?"

"Ja, je weet wel. Spelletjes spelen enzo..."

PierkenAas @Stoelpoot • 16 juli 2018 14:31

Als ik het artikel goed lees, is het de AI die het spelletje speelt en niet de mens.

Stoelpoot @PierkenAas • 16 juli 2018 14:45

Wat ik eruit lees genereert de tool de games. Over spelen wordt niets gezegd, behalve dat er een framework wordt gebruikt waarin de game ook kan worden gespeeld.

Vexxon @Stoelpoot • 16 juli 2018 14:52

TextWorld is een Python-bibliotheek waarmee gebruikers tekstgames kunnen genereren en kunnen spelen, aldus Microsoft.

TextWorld wordt dus gebruikt om een wereld te creeren, waarin ai agents vervolgens op worden losgelaten, deze 'spelen' dus het spel.

In vergelijking is het hetzelfde als Go wat Google gebruikte om hun ai te trainen.

Stoelpoot @Vexxon • 16 juli 2018 14:54

Oh ja, nu zie ik het. Door de focus op de functionaliteit van TextWorld las ik het alsof dat de functionaliteit van de AI was.

Anoniem: 221563 @PierkenAas • 16 juli 2018 14:54

Microsoft heeft opensourcesoftware ontwikkeld voor het trainen en testen van ai-agents. Dat gebeurt aan de hand van het TextWorld-project, waarmee gebruikers bijvoorbeeld text-based games oftewel tekstadventures kunnen genereren.

De allereerste alinea geeft al aan dat de men het spelletje speelt en de AI het spelletje schrijft