OpenAI heeft een paper gepubliceerd waarin het proces van het trainen van kunstmatige intelligentie bij het spelen van Minecraft wordt beschreven. De AI wist uiteindelijk zover in Minecraft te komen dat het een pikhouweel van diamant kon craften.
In eerste instantie verwerkte OpenAI grofweg 4500 uur aan gameplay door gamers ieder frame te laten labelen op basis waarvan de kunstmatige intelligentie de basale Minecraft-handeling kon leren, zo legt OpenAI in een blogpost uit. Hiervoor spendeerde het bedrijf ruim 150.000 euro aan freelancers die het beeldmateriaal voorbereidden. Het bedrijf noemt dit proces Video PreTraining, het vooraf alvast trainen van AI op basis van een kleine dataset gelabelde beelden.
Later werd zo'n 70.000 uur aan gameplay van over heel het internet gebruikt om de AI, een samenstelling van uiteenlopende neurale netwerken, verder toe te spitsen op het spelen van Minecraft. Hiervoor werden geen labels meer gebruikt; de kunstmatige intelligentie wist ondertussen hoe het moest spelen en leerde op basis van de nieuwe dataset wat het moest doen om een doel te bereiken.
Dat doel was het leren om een diamanten pikhouweel te maken, wat een relatief geavanceerde taak is in Minecraft. Dat lukte in zo'n 2,5 procent van alle tien minuten durende Minecraft-sessies die de Video PreTraining-AI uitvoerde. Een menselijke Minecraft-speler lukt dat binnen gemiddeld twintig minuten, al zal het slagingspercentage een stuk hoger uitvallen.
Het spelen van Minecraft is een zeer geavanceerde taak voor een neuraal netwerk omdat de game zeer open is en er een zekere mate van willekeur in de gameplay is gebakken. Het doel van OpenAI is dan ook niet zozeer om een geavanceerde Minecraft-bot te maken, maar juist om een algemeen toepasbare kunstmatige intelligentie te ontwikkelen. In de paper wijden de onderzoekers dan ook uitgebreid uit over het trainen van AI op basis van VPT. De techniek zou het mogelijk maken om een AI met een relatief kleine dataset voor te bereiden, wat volgens OpenAI op de lange termijn veel kosten moet besparen.