Nvidia toont ACE for Games-technologie met generatieve AI voor npc's

Nvidia toont tijdens Computex zijn Avatar Cloud Engine for Games-techniek met generatieve AI. Spelers moeten hiermee realistische gesprekken kunnen voeren met npc's. De techniek kan lokaal en in de cloud draaien, meldt het bedrijf.

Nvidia's ACE for Games stelt gebruikers in staat om via hun microfoon te praten met npc's in games. De techniek gebruikt een generatief AI-taalmodel dat antwoorden kan genereren. Nvidia biedt daarvoor zijn NeMo-framework, waarmee ontwikkelaars zelf taalmodellen kunnen maken, aanpassen en gebruiken in hun games. Ontwikkelaars kunnen de taalmodellen aanpassen met lore en achtergrondverhalen van personages en ongepaste antwoorden voorkomen met NeMo Guardrails.

ACE for Games omvat daarnaast Nvidia Riva, de text-to-speech- en speech-to-text-techniek van het bedrijf. Daarmee worden de vragen die spelers stellen omgezet naar tekst. Die tekst wordt ingevoerd in het taalmodel om een antwoord te genereren, waarna Riva opnieuw wordt ingezet om dat antwoord om te zetten in een verbaal antwoord.

Een Nvidia Omniverse Audio2Face-model kan op zijn beurt realistische gezichtsuitdrukkingen en -animaties genereren. Dat moet er onder meer voor zorgen dat de mondbewegingen overeenkomen met de antwoorden die de npc geeft. Die AI-techniek bestond al en wordt onder meer ingezet voor gezichtsanimaties in de komende game Stalker 2: Heart of Chernobyl, hoewel dat zonder generatieve AI is.

Het bedrijf toonde tijdens Computex een demo van ACE for Games, die het bedrijf in samenwerking met AI-bedrijf Convai maakte en is gerenderd in Unreal Engine 5. In de demo praat een speler met een npc genaamd Jin, die een noedelwinkel heeft. De speler stelt vragen via zijn microfoon en Jin geeft gepaste antwoorden. Uiteindelijk geeft Jin de speler een quest, waarin een machtige criminele baas gestopt moet worden.

Volgens Nvidia kunnen de neurale netwerken van ACE for Games geoptimaliseerd worden voor verschillende systemen, waarmee ontwikkelaars afwegingen kunnen maken op het gebied van omvang, prestaties en kwaliteit. De modellen kunnen in de cloud of lokaal op pc's gedraaid worden. De modellen zijn volgens Nvidia geoptimaliseerd voor zo min mogelijk latency.

Reacties (56)

[Ireyon]

Offtopic: NPC's die je blijven aanstaren en meedraaien met jouw bewegingen zijn creepy, zo ook deze barman. Doet me denken aan de sprites van vroeger.

Ontopic: Ubi is ook met een dergelijke AI bezig. In hoeverre dit vergelijkbaar is, weet ik niet.

Dit zou de eindeloze "I took an arrow in the knee" NPC-dialogen tot het verleden kunnen laten behoren. Ik vind dit prachtige ontwikkelingen. En mochten mensen vrezen voor hun baan door AI, zolang mensen nog moeite hebben met de requirements goed vast te leggen, hebben IT'ers en developers nog werk.

[Wolfos]

Ik zie een hoop mogelijkheden, maar ook manieren waarop dit helemaal fout kan gaan als het zonder gedachte vanwege hype in veel games geïmplementeerd gaat worden.
Velen spelen games juist om even weg te komen van sociale interactie. Het maakt dialoog ook complexer en moeilijker. Spelers zouden bijvoorbeeld vast kunnen komen te zitten omdat ze niet de juiste vragen stellen.

Ik heb dus niet zoveel behoefte om in een RPG echt met NPC's te lullen. Het aloude context menu is een stuk makkelijker en bied focus. Wat dat betreft zou een combinatie van de twee technieken beter zijn. Al is het alleen al voor toegankelijheid.

Maar het kan wel een uitkomst zijn voor games die zich echt op dialoog richten. Een genre dat door technische beperkingen nooit echt van de grond is gekomen (Event 0 is een voorbeeld).
Het zou ook uitkomst kunnen bieden voor interacties tussen willekeurige NPC's. We ergeren ons allemaal aan 30 keer "I saw a mudcrab the other day" horen, en sterke variatie daarin gaat veel ontwikkeltijd in zitten.

[Finraziel]

Ik vond een interessant punt ook wel wat aangestipt is door Luke in een wan show een tijdje terug (Linus Tech tips), over het idee dat een RPG eindeloze antwoorden zou kunnen hebben voor npc's met dit soort technologie, dat hem dat niet fijn leek omdat hij nu checkt bij npc's of hij alle content gehad heeft in die area door te checken of hij alle opties gehad heeft. In theorie is het interessant als npc's realistischer worden en gewoon door kunnen blijven kletsen, maar waarschijnlijk zul je toch vooral de door mensenhanden gemaakte content willen spelen en niet alleen maar verzanden in gegeneerd spul. Hoe indrukwekkend het ook is wat er nu allemaal uit komt, het haalt het niet bij wat een game designer maakt, je blijft toch mensen nodig hebben om iets unieks en echt interessants te maken. Dit soort gegenereerde gesprekken kan het dan lastiger maken om te weten of je al die door een mens gecreëerde content gevonden hebt of niet.

[Wolfos]

Klopt. Dit soort functionaliteit is vooral interessant voor games die ècht gebruik maken van de mogelijkheden in de kern van hun ontwerp. Anders voegt het niks toe of kan het zelfs in de weg gaan zitten.

Ik denk dat men af en toe vergeet dat games helemaal geen realistische simulatie van de wereld moeten zijn. Het is een abstractie, en de focus moet liggen op de aspecten die de gameplay ondersteunen.

[svenk91]

Mwah, een ontwikkelaar zou het kunnen aangeven als er geen pre-designed dialoog meer onontdekt is bij een NPC. Het is nu al niet ongebruikelijk om dialoog dat je al gehad hebt te markeren (lichtere grijstint of iets dergelijks).

[PjotrX]

Dat laatste hebben onderzoekers recent al geprobeerd met ChatGPT Ik zie er wel wat in. Je zou ook de dialoog van de npc's kunnen aanpassen aan recente gebeurtenissen in het spel, dit allemaal zorgt er voor immersie.

[Wolfos]

Het is inderdaad interessant, maar ik zie immersie niet als doel op zich, en "domme" NPC's niet persé als probleem om op te lossen (behalve als de aanpak dus echt niet werkt voor het spel).
Waar ik bang voor ben is dat dit soort dingen straks onachtzaam overal worden ingezet zodat marketing weer een vakje kan aanvinken, terwijl het uiteindelijk meer in de weg zit voor de gameplay.

Het blijven games, en realisme staat vaak haaks op wat leuk is om te spelen.

[Reactie gewijzigd door Wolfos op 23 juli 2024 07:14]

[derooke]

Of zo een game waarbij je iemand moet versieren en dan uitvragen om dan thuis te eindigen ik heb ooit (denk 20 of meer jaren geleden) zo een spel gespeeld. Geen AI toen maar indien je de juiste antwoorden gaf geraakte waar je wou geraken wel niet heel ver aangezien. Weet alleen de naam van het spel niet meer. (Het was een demo op een cd ROM) voor AI is dit een goed scenario

[Reactie gewijzigd door derooke op 23 juli 2024 07:14]

[svenk91]

Dat zat ook in GTA 4 zo'n systeem. Daar moest je bepaalde keuzes maken op basis van het karakter van de NPC (kleding dragen die ze leuk vinden, juiste date venue kiezen, beetje netjes auto rijden, niet te laat zijn, etc.). Maar er zat gewoon geen ontwikkeling in de voorkeuren. Met AI zou je mogelijk wat character development zien in de NPCs waar je een relatie mee hebt.

[Verwijderd]

Niet alleen dat, maar als je via de microfoon zou moeten praten (als je die al hebt) moet je ook nog eens hopen dat je geen accent of zoiets hebt welke de interpretatie onmogelijk maakt doordat de dataset waarmee voice recognition getraind wordt te veel op native Engels-sprekenden wordt gericht.

Voorbeeldje: Tom Clancy's Endwar was een aardig spel, maar ik heb zo vaak met de voice commands lopen te ruzien omdat ik wel een merkbaar accent heb en ik daardoor niet goed begrepen werd.

Voice commands zijn sindsdien wel beter getraind, maar het is nog steeds niet erg goed en te veel op de Anglosaksische landen getraind.

[StGermain]

Als het in de cloud is gaan ze het niet gratis doen, ik zie de games waarbij je voor elke sessie moet bijnetalen al aankomen, dat of de servers gaan heel snel down wanneer de populariteit van het spel daalt.

[ShadLink]

Idd, AI gaat ingezet worden voor monetization in veel games. En het kan een probleem betekenen voor veel pure single player games.

Maw. geen goede ontwikkeling.

[langestefan]

Onzin, waar baseer je dat op? Deze modellen kunnen gewoon lokaal draaien. Die cloud opties zullen voor speciale features zijn of mobiele telefoons met beperkte rekenkracht of iets dergelijks. Het werkt anders veel te beperkend.

[Sp3ci3s8472]

Ze kunnen inderdaad prima lokaal draaien. Mits je gpu snel genoeg is en je genoeg vram hebt .
Iets wat Nvidia je niet geeft tenzij je €500 of meer neerlegd.

Daarnaast moet het ook direct compatible zijn met AMD en Intel anders wordt je afzetmarkt wel heel klein; geen consoles, alleen Nvidia kaarten met genoeg vram.

[langestefan]

Klopt, logisch toch. Dat geldt voor de game zelf ook.

[Zoop]

Ze hebben het al een aantal keer geprobeerd, Sim City is denk ik het beste voorbeeld. Die zou een always-online feature hebben om bepaald rekenwerk naar servers te offloaden (na een paar weken, na een hoop geklaag, is die feature eruit er toch uitgehaald zonder noemenswaardig verschil ... en die load die door servers gehandeld moest worden dan?).

Anyway geeft dit het perfect excuus voor een always online en subscribtion model

[svenk91]

Ik zou het niet zo erg vinden als het optioneel is. Een basegame met wat pre-generated content en zonder lip-sync. Dan 1 euro per maand ofzo extra voor die extra AI powered immersie.

Maar als een spel alleen met een abbonement wordt aangeboden zal ik mij er niet snel aan wagen. Enkel ooit gedaan voor Lord of the Rings Online, en ook daar was het door meoten betalen een reden om te stoppen destijds.

[Ospo]

Zolang het maar mogelijk blijft om algoritmes lokaal te laten draaien, zonder dat van alles en nog wat aan data opgeslagen wordt in de cloud

[iOnoWLIt]

Je ziet dat bedrijven zoals Microsoft sterk inzetten op hun Azure Cloud-infrastructuur en ze proberen al jaren deze toe te passen op games (afgezien van Xbox Cloud Gaming).

Als we deze techniek eerder grootschalig in games willen zien, zal het voorlopig wel via de cloud moeten gebeuren, aangezien de huidige generatie consoles niet geschikt is voor zulke AI-toepassingen.

[Reactie gewijzigd door iOnoWLIt op 23 juli 2024 07:14]

[Probydoby]

Waar baseer je dit op? Wat is er zo intensief aan dit soort toepassingen?

Ik kan weinig bronnen vinden over de hardware die nodig is om dit te doen. En de bronnen die ik vind gaat vooral over het trainen van AI, maar dat is niet relevant. AI in games gaat om reeds getrainde modellen die enkel worden uitgevoerd.

[iOnoWLIt]

Deze technieken kunnen zeker geïmplementeerd worden op de huidige consoles (wellicht in beperkte mate). Echter, zullen ze nog verder geoptimaliseerd moeten worden […]” zoals Nvidia al aangeeft. We zullen het zien met STALKER 2!

[kmichael]

Ik vind de vragen wel heel basic, ik had graag gezien dat ze nog een paar afwijkende vragen hadden gesteld.

[iOnoWLIt]

Het is slechts een demo en ik denk dat het voornamelijk bedoeld is voor ontwikkelaars om het ontwikkelproces te stroomlijnen. Als je dit handmatig moet doen (dialogen bedenken, laten inspreken door acteurs en de gezichtsuitdrukkingen synchroniseren), zou het veel meer tijd kosten op de lange termijn. Dit zou kunnen betekenen dat games wellicht sneller uitkomen.

[Lisadr]

Werkelijke interactie vanaf ongeveer 01:07 viel tegen. Het lijk scripted en onnatuurlijk. Zie graag een gebruikers demo van dit technologie met veel potentie.

[Brilsmurfffje]

Dit zou een zeer gave techniek zijn voor een sequel van LA Noire, dat ipv scripted vragen jezelf met de verdachten kan praten.

[k995]

die dialoog is toch echt wel niet vloeiend , vlot of realistisch vind ik.
Leuke vooruitgang maar er is nog werk aan.

[Visgek82]

Not impressed.

De npc staat daar maar gewoon te staan, in het gezicht gebeurt niets.. dit had net zo goed gewoon pre-recorded audio kunnen zijn. Veel huidige games doen dit al een stuk beter zonder AI.

[RPS13]

Nice, eindelijk slaan we deze weg in. Keep it coming!