De term AI is niet te missen op de beursvloer van Computex 2024, de jongste aflevering van de beurs waar fabrikanten jaarlijks samenkomen om hun nieuwste componenten aan de wereld te tonen. Bedrijven zetten alles op alles om kunstmatige intelligentie in hun producten te implementeren; van Copilot+-laptops met nieuwe Windows-AI-features tot pc-componenten die specifiek bedoeld zijn voor het 'trainen van AI'. Nieuwe processors hebben npu's nodig voor AI-rekenwerk en ga zo maar verder.
In alle rumoer lijkt het soms alsof gaming, van oudsher een van de usecases voor krachtige pc's, een beetje op de achtergrond verdwijnt. Er worden tijdens Computex 2024 bijvoorbeeld helemaal geen nieuwe videokaartgeneraties gepresenteerd. Toch is de gamer vertegenwoordigd in het AI-geweld en demonstreerde Nvidia verschillende technologieën die interessant kunnen zijn voor games.
Tijdens de beurs mochten we aan de gang gaan met Nvidia's ACE-techniek, voluit Avatar Cloud Engine, waarmee generatieve AI gebruikt wordt voor npc's. Spelers kunnen zo interactieve gesprekken voeren met de npc's. We mochten ook Project G-Assist proberen, een AI-chatbot die in real time vragen over games kan beantwoorden en ook het systeem van de gebruiker kan overklokken en optimaliseren.
ACE op de Computex: generatieve AI voor npc's in games
Nvidia toonde op de Computex twee demo's van zijn eerder aangekondigde ACE-techniek, beide vooralsnog een proof of concept. ACE werkt in het kort met een combinatie van verschillende technieken, die onder meer de spraak van de speler verwerken en omzetten in tekst. Die tekst wordt vervolgens doorgevoerd naar een AI-taalmodel dat een antwoord genereert van de npc. Vervolgens wordt dat antwoord in spraak omgezet via een text-to-speechtechniek, terwijl een ander AI-model de juiste gezichtsanimaties genereert voor wanneer de npc deze uitspreekt.
Een van de demo's die Nvidia toonde, heet Covert Protocol en speelt zich af in een hotel. Voor deze korte 'missie' kropen we in de huid van spion Marcus Pierce. Het doel: het kamernummer van een corrupte zakenman, Daniel Martin, achterhalen. In het hotel zitten verschillende AI-npc's, die ieder een eigen functie dienen.
We kregen daarbij de vrijheid om te praten met deze verschillende npc's. De sleutelfiguur bleek echter Diego Menéndez, een belangrijke partner van de schurk. Toen we Menéndez benaderden en hem vriendelijk vroegen hoe het met hem ging, reageerde hij vrij bot en minachtend. Nadat we nog wat verder onderzoek deden en een conferentiepas van de receptietafel 'leende', veranderde dat echter.
Nadat ons personage zich had voorsteld als een belangrijke keynotespreker, werd Menéndez' toon een stuk zachter en uiteindelijk wisten we, na enkele vragen uit te wisselen en hem te vragen Nederlands te spreken (zijn woordenschat bleek beperkt tot 'Goedemorgen' en 'Dankjewel'), het hotelkamernummer te ontfutselen. Missie volbracht.
Voor deze demo werkte Nvidia samen met Inworld AI. De engine van dat bedrijf nam de generatieve AI-taken op zich. Met Inworld AI's software kunnen ontwikkelaars onder andere de npc's van persoonlijkheden voorzien, aan de hand waarvan het AI-model zijn antwoorden genereert. Menéndez bleek bijvoorbeeld onder de motorkap te zijn ingesteld als een kortaf en minachtend persoon, die spreekt in zinnen van maximaal vijftien woorden. Hij bleek bovendien gestrest te zijn omdat hij druk bezig was met het afronden van een presentatie en daarom absoluut niet afgeleid wilde worden.
In de backend waren ook andere karaktereigenschappen ingesteld, waaronder zijn zwaktes. Met sliders werd bepaald hoe extravert of introvert, grappig of droog enzovoort hij was. Er werd bovendien een 'mutatie' gespecificeerd. Als spelers zich identificeren als een belangrijk persoon aan de hand van de genoemde conferentiepas, wordt hij wat vriendelijker. De speler wordt dan immers niet meer gezien als een vervelende toerist, maar als een invloedrijke keynotespreker.
Delen van deze demo draaiden verder lokaal op de game-pc in plaats van in de cloud. Dat ging specifiek om de Riva ASR- en Audio2Face-technieken van Nvidia. De gpu-maker probeert de latency daarmee zoveel mogelijk te beperken. Daardoor zat er vrij weinig vertraging tussen het stellen van een vraag en het horen van het antwoord van de npc, zelfs terwijl andere delen nog gewoon in de cloud gebeuren, zoals het genereren van de npc-spraak en het Inworld AI-model.
Nvidia liet ons nog een tweede demo zien, die is ontwikkeld in samenwerking met de ontwikkelaar Perfect World. Deze demo draaide wél volledig in de cloud en liet ons praten met Yunni, de 'prinses van een stam'. Deze demo draaide volledig in de cloud en ging dan ook gepaard met de nodige latency, hoewel we niet weten in hoeverre dat lag aan de gebruikte internetverbinding. Antwoorden lieten geregeld secondenlang op zich wachten, anders dan bij de 'hybride' demo van hiervoor.
De Perfect World-demo bevatte wel een andere unieke eigenschap; de npc met wie we praatten, verstaat en spreekt verschillende talen. Behalve in het Engels kon Yunni onze vragen beantwoorden in het Chinees, wat prima werkte. We konde Yunni vragen om eerdere antwoorden in het Chinees óf Engels te herhalen, waarna ze bij toekomstige vragen zou antwoorden in diezelfde taal.
ACE komt beschikbaar als toolkit van Nvidia, dat software voor al deze stappen levert. Met Riva kunnen ontwikkelaars bijvoorbeeld de spraak van de spelers herkennen en omzetten in tekst, alsook de tekstantwoorden voor npc's omzetten in audio. De NeMo-toolkit is dan weer bedoeld om een eigen taalmodel te kunnen maken, aanpassen en optimaliseren, terwijl Audio2Face automatisch de gezichtsanimaties voor de npc's genereert, inclusief emoties. Ontwikkelaars kunnen er ook voor kiezen om slechts een deel van de toolkit te gebruiken en eigen software te implementeren voor andere stappen in het proces.
Dat wil niet zeggen dat ACE al klaar is voor gebruik in daadwerkelijke games, hoewel Nvidia de tools inmiddels beschikbaar heeft gesteld. De techdemo was indrukwekkend, maar sommige animaties waren nog wat houterig en de gegenereerde spraak klonk ook niet overal even natuurlijk. De Covert Protocol-demo was gezien de setting en het duidelijke doel natuurlijk ook vrij lineair en het is de vraag in hoeverre de techniek gereed is om ingezet te worden in meer open werelden. De Perfect World-demo, die volledig in de cloud draaide, had dan weer last van lange latency, wat logisch is gezien de opbouw.
Het is dan ook de vraag wanneer generatieve AI-npc's in de praktijk gebruikt gaan worden. Wel is duidelijk dat verschillende ontwikkelaars daar inmiddels naar kijken. Een groot voorbeeld is Ubisoft, dat eerder dit jaar een prototype van zijn NEO-npc's demonstreerde, overigens ook op basis van de Inworld AI-engine uit de Covert Protocol-demo en Nvidia's Audio2Face-techniek. Ook dat bedrijf zegt zich nog in de verkenningsfase te bevinden, dus het duurt waarschijnlijk nog even voordat we volledige games met AI-npc's in het wild tegenkomen.
De Perfect World-demo bij Nvidia
Project G-Assist: een chatbot die al je gamingvragen beantwoordt
Nvidia toonde tijdens de Computex nog een andere AI-tool voor gamers, hoewel dit écht duidelijk nog een prototype was. Project G-Assist is bedoeld als chatbot voor gebruik in games. Het kan bijvoorbeeld vragen beantwoorden over videospellen of de game-pc van de gebruiker. Het idee daarachter is dat games steeds diepgaander worden en dat veel nodige kennis zich in wiki's en elders op internet bevindt. G-Assist moet die kennis direct toegankelijk maken in de game, zodat spelers geen essentiële zaken moeten googelen, wat natuurlijk de immersie zou verbreken.
De demo die wij te zien kregen, speelde zich af in de game Ark Survival Ascended. Nvidia heeft samengewerkt met ontwikkelaar Studio Wildcard om het AI-model te trainen op deze game. Voor de demo kregen we toegang tot een zeer klein, afgekaderd gedeelte van dat spel, met daarin twee dinosaurussen. Met een chatvenster in beeld én een hotkey voor het stellen van vragen via de microfoon, konden we G-Assist vragen stellen over de game en over wat er op het scherm gebeurt.
We konden de chatbot bijvoorbeeld vragen wat de namen van de twee dinosaurussen in beeld zijn, aangezien het achterliggende AI-model in staat is om npc-modellen en andere visuele aspecten van de game te herkennen. Het kon ook vragen beantwoorden over onze inventory. Zo vertelde de chatbot ons ook welke items we konden craften met de spullen in onze inventory en of we dingen bij ons hadden die ons konden helpen bij het temmen van een van de dino's.
Tot slot kon de chatbot helpen bij het optimaliseren van de game-pc die we gebruikten. Het model was bijvoorbeeld in staat om de gpu te overklokken. Het kan ook vragen beantwoorden over het optimaliseren van de pc. Als bijvoorbeeld de framerate van het scherm lager is dan mogelijk, kan de chatbot dat volgens Nvidia opmerken. Een livedemo die een Nvidia-medewerker ons liet zien, bevatte daarbij een wat ingewikkeldere combinatie van vragen. Die ging ongeveer zo: "Optimaliseer mijn systeem voor een zo laag mogelijk stroomverbruik, maar behoud tenminste 60fps. Toon daarna een grafiek van de framerate en het stroomgebruik voor de afgelopen twee minuten." Die vragen werden prima ingevuld.
Een woordvoerder van Nvidia vertelde ons dat het model bij dit soort optimalisatievragen gebruikmaakt van andere, bestaande functies binnen de GeForce Experience-software van het bedrijf. Nvidia introduceerde bijvoorbeeld een automatische overklokfunctie in de nieuwe Nvidia-app, die vermoedelijk de basis vormt voor de overklokmogelijkheid binnen G-Assist. Een medewerker van Nvidia verzekert ons dan ook dat het AI-model niet zomaar overklokinstellingen 'gokt', en dat er safeguards in werking zijn om de stabiliteit te garanderen.
Hoewel de chatbot ons erg praktisch leek, werd snel duidelijk dat deze demo zich nog in een zeer vroeg ontwikkelstadium bevindt. Het achterliggende AI-model crashte meer dan eens, waarna het niet langer in staat was om dingen in de gamewereld op te merken. Daardoor kregen we meer dan eens te horen dat onze goed gevulde inventory leeg was of dat er geen dinosaurussen in beeld waren, terwijl er toch echt twee gigantische wezens vlak voor onze neus stonden.
Als alles werkte, werden de vragen goed beantwoord, maar veel van de vragen die we stelden, hadden diverse pogingen nodig. We verwachten dan ook niet dat Project G-Assist snel beschikbaar zal komen voor gamers. Nvidia brengt veel van zijn techdemo's op termijn wel uit, zoals het eerder bijvoorbeeld deed met Chat with RTX, maar de gpu-maker kon ons desgevraagd niet vertellen of en wanneer we G-Assist precies kunnen verwachten.
Tot slot
Met ACE en G-Assist heeft Nvidia twee interessante usecases voor AI in games laten zien, naast de gebruiksgevallen die natuurlijk al langer bestaan, zoals upscaling. De technieken zijn veelbelovend, maar ook duidelijk nog niet af. ACE werkte prima in goed afgekaderde demo's, maar de stemgeluiden en animaties zijn nog niet feilloos en in de clouddemo liet de latency nog te wensen over.
Voor de Project G-Assist-demo gold dat al helemaal; hoewel dat ons een zeer praktisch gebruik van AI leek en indrukwekkende antwoorden bood, was de techdemo op dit moment nog vrij instabiel. De demo's toonden vooral een vroege sneakpeek van hoe je in de toekomst mogelijk met je games zult interacteren, en welk plekje AI daar eventueel in kan hebben. Of en wanneer die toekomst zich precies aandient, gaan we vanzelf merken.