Gamer maakt werkend taalmodel met 5 miljoen parameters in Minecraft

Een gamer heeft een werkend taalmodel gemaakt binnen Minecraft. Het model heet CraftGPT, wordt aangestuurd door ruim 439 miljoen Redstone-blokken en kan gesprekken voeren met de gebruiker, hoewel het genereren van een antwoord enkele uren duurt.

Sammyuri heeft het CraftGPT-model gepubliceerd op GitHub. De ontwikkelaar heeft een eigen taalmodel getraind op basis van de TinyChat-dataset en die vervolgens in Minecraft laten aansturen met 1020x260x1656 Redstone-blokken. Volgens de ontwikkelaar is de chatbot vooral geschikt om korte gesprekken mee te voeren, dankzij een contextvenster van 64 tokens.

In een video demonstreert sammyuri hoe CraftGPT gebruikt kan worden. De modder bouwde daarvoor een soort computer binnen het spel, inclusief een gigantisch toetsenbord. Gebruikers kunnen prompts invoeren door op de toetsen van dat toetsenbord te gaan staan. Als dat is gebeurd, gaat het model aan de slag. De build heeft verschillende componenten, zoals tokenisers en matrixmultipliers, die de verschillende rekentaken van het taalmodel op zich nemen.

Sammyuri gebruikte daarnaast de Mchprs-mod om de tickrate van zijn Minecraft-server te verhogen. Door de tickrate met 40.000x te verhogen, kan het CraftGPT-model volgens de ontwikkelaar een vraag binnen twee uur beantwoorden. Zonder die mod zou dat 'meer dan tien jaar' duren. Zelfs dan is het advies aan gebruikers om geen hoge verwachtingen van CraftGPT te hebben: "Het model heeft een grote neiging om van het onderwerp af te dwalen, grammaticaal onjuiste antwoorden te geven of simpelweg onzin te produceren."