Eerste game met Nvidia's ACE-techniek voor AI-npc's komt in 2025 uit

De eerste game met Nvidia ACE, een techniek voor npc's met generatieve AI, komt volgend jaar uit. Het betreft Mecha Break, een multiplayergame die moet verschijnen voor de pc, PlayStation 5 en Xbox Series X en S.

De AI-npc's in Mecha Break draaien volgens Nvidia op een klein taalmodel, genaamd Nemotron-4 4B NIM. Dat model is door Nvidia is ontwikkeld voor gebruik in games. Doordat de omvang van het taalmodel relatief beperkt is, kan deze lokaal draaien op de pc van de gebruiker. Ook de meeste andere aspecten van de AI-npc's in Mecha Break, zoals Audio2Face voor gezichtsanimaties en OpenAI's Whisper-model voor spraakherkenning, draaien lokaal. Alleen het text-to-speech-gedeelte draait in de cloud, bevestigt de gpu-maker.

Mecha Break wordt ontwikkeld door het Chinese Amazing Seasun Games. Het wordt een onlinegame waarin spelers een mech besturen en met elkaar vechten. Gamers kunnen daarbij kiezen uit verschillende klassen, zoals assault, melee en sniper. Het spel bevat zowel grond- als luchtgevechten. Het spel bevat daarnaast dus de AI-npc-technologieën van Nvidia. In een videodemonstratie kon een gebruiker zo'n AI-npc bijvoorbeeld vragen naar de huidige missie en de skin van hun mech aanpassen.

Nvidia demonstreerde ACE eerder al. Het betreft een collectie van technieken waarmee ontwikkelaars 'AI-npc's' in hun games kunnen verwerken. Via generatieve AI kunnen dergelijke npc's in real time antwoorden geven op vragen van spelers. De techniek werd tot op heden nog niet ingezet in daadwerkelijke games, hoewel bedrijven als Ubisoft wel eerder bevestigden dit soort technieken te overwegen. Tweakers mocht Nvidia's ACE-npc's eerder dit jaar uitproberen en publiceerde daar een preview over.

Reacties (59)

[bonus]

Ik vraag me af of het gamen erdoor ook leuker wordt...

[Vagax]

Hoezo zou dat niet het geval zijn?

[Carn82]

maar waarom wel? het is een terechte vraag wat mij betreft. Een spel is 'leuk' omdat het een uitdaging moet bieden binnen bepaalde regels en grenzen. Theoretisch gezien kunnen gesprekken met een AI natuurlijk toegevoegde waarde bieden qua interactie en diepgang, maar het valt of staat bij de uitvoering en staat het niet per definitie garant voor "spelplezier". Door de jaren heen zijn er heel toffe dingen aangekondigd die in de praktijk uiteindelijk een veredelde techdemo bleken te zijn.

[Verwijderd]

Hangt van het type spel af, als de stemmen wat natuurlijker klinken zou dit bijvoorbeeld niet misstaan in een (3rd person) Sims-achtig spel.

Een beetje zoals dit:
YouTube: I Tried to Convince Intelligent AI NPCs They are Living in a Simulation

[Reactie gewijzigd door Verwijderd op 21 augustus 2024 21:57]

[Carn82]

oh natuurlijk; er heus best spelsituaties te bedenken waarbij het goed kan werken. Vooral als je de 'immersive sim' kant op gaat (niet perse de Sims ); of de wat vrijere RPGs. Maar in mijn mening is het een vaak gemaakte denkfout dat een "realistische simulatie" of "oneindige mogelijkheden" gelijk staan aan spelplezier. Even los ook van het feit dat bij AI als het binnen een spelsituatie toegepast moet worden er ongetwijfeld een beperkt / begrenst model aan ten grondslag ligt waarbij het niet heel lang duurt voordat je de beperkingen gaat herkennen).

Laat niet weg dat het ontzettend interessante ontwikkelingen zijn die ongetwijfeld (in verschillende vormen) ingezet kunnen worden in games, don't get me wrong! Maar ik blijf liever voorlopig sceptisch over de toegevoegde waarde

[DieMitchell]

Denk dat het voor vr oid veel toegevoegde waarde zal hebben als het een beetje realistisch word maar niet voor pancake gaming.

[Richardus27]

Het beste is om af te wachten tot 2025 en bij de release een oordeel te maken, het kan mijns inziens beide kanten op.

Er zal denk ik nog steeds genoeg werk voor de devs zijn, er zijn misschien minder stemacteurs en/of scriptschrijvers nodig, maar er zal vast wel een team moeten zijn dat limits/grenzen maakt wat een NPC wel/niet kan weten.

Als ik in een roleplay game een shopkeep in een klein dorp aanspreek dan verwacht ik bij bewijze van spreke niet dat die mij ineens vertelt waar de eindbaas van het spel is, zomaar kennis heeft over de helft van het plot of level 99 spreuken kan verkopen. Als een quest-related NPC mij vertelt dat er die avond een poging op z'n leven wordt gedaan dan zou het gek zijn dat hij de volgende ochtend overstuur is omdat iemand hem om het leven probeerde te brengen.

Wat Nvidia presenteert KAN een goede toevoeging worden voor games, maar het zal ook heel erg afhangen van de daadwerkelijke implementatie.

[Marzman]

Ik denk dat een scripted verhaallijn (zoals een film) altijd beter is dan een AI verhaallijn (zoals een Donald Duck )

Misschien dat het iets is voor sandbox games.

[Reactie gewijzigd door Marzman op 22 augustus 2024 13:58]

[Vagax]

Ik dacht dat het idee was? De situatie die ze origineel hadden geschapen was dat de ambiance NPC die een beetje rond lopen wat meer diepte krijgen, zo kan je dat soort NPC benaderen over informatie over de wereld, waar je bent of gewoon bij kletsen en ze kunnen dan met de informatie van de game bepalen hoe ze moeten reageren.

Ik zou persoonlijk zeker niet willen dat hoofd personages en zelfs verhaallijnen allemaal AI generated zijn, of ten minste waarschijnlijk niet voor de eerste paar iteraties.

[Robbaman]

Ik weet niet of dit in dit specifieke geval het geval zal zijn, maar ik zie op de lange termijn wel echt een enorme potentie voor de immersie van spellen als de NPC's allemaal een dynamische AI hebben.

Niet langer hoeft dan voor spellen als The Witcher elke NPC voor elke situatie helemaal uitgeschreven teksten te hebben, in plaats daarvan kan bijvoorbeeld een omschrijving van hun karakter worden gegeven welke gecombineerd wordt met de quests die ze kunnen verstrekken en de informatie over de spelwereld die tot hen gekomen is en de conversaties kunnen helemaal dynamisch geregeld worden.

Maar ook tijdens combat kan een combinatie van taal en 'combat-AI' zorgen voor een veel dynamischer spel, waarbij ook de communicatie van NPC's onderling (en met jou) veel natuurgetrouwer kan zijn en minder alles is 'yes, sir, affirmative'!

[Henk-Bakker]

Zie het als een eerste stap,
maar dit is een doorbraak.

[elmuerte]

Doorbraak van wat? Dezelfde fetch quests, maar dan met meer variatie in de "gesprekken" met de quest gevers?

[GoldenLeafBird]

Dat jij nu geen mogelijkheden ziet betekent niet dat ze er niet zijn.

[kr1z]

Ik skip conversaties altijd tenzij ik het risico loop om een sidemission of andere info waar ik wel wat aan heb te missen.
Ik zie liever een doorbraak in variatie hoe enemies doodgaan (variatie in gore en hoe gore reageerd afhangend van waar ze geraakt worden) of hoe npc`s emotioneel op hun wonden of gewonde collegae reageren.(variatie in pijnreacties of reacties op welk ledemaat er afgeschoten is,. . of pogingen om met een secundair wapen toch nog terug te vechten afhangend van waar ze geraakt zijn en waar ze daarop gebaseerd nog in staat zijn te bewegen).
Variatie op wat de gore en bloedspetters doen afhangend van als je of een npc er door heen loopt.
enz, enz, enz.
Waarom (op een paar uitzonderingen zoals TLOU2 na) word daar niet veel meer op gefocussed? (ik denk dat ik het antwoord al weet : mainstream game makers willen braaf over komen)
Het lijkt me dat techniek tegenwoordig niet een beperking meer hoeft te zijn.
ik hoop dat ze gaan kijken hoe ze ai daar voor kunnen inzetten ipv vervanging van de huidige meerkeuze antwoord conversaties.

[Reactie gewijzigd door kr1z op 22 augustus 2024 08:58]

[The Realone]

Spelontwikkelaars willen/moeten op de eerste plaats nog altijd geld verdienen en ik schat dat de doelgroep die graag geld uitgeeft aan jouw laatstgenoemde scenario nogal klein is, denk je niet?

[Henk-Bakker]

AI zal vooral het spel en de NPC' zijn. Ik zou wel lol hebben om slimme (onvoorspelbare) Creepers.

De dag dat Creepers je definitief het spel uit blazen is het idd tijd om aan de knoppen te draaien...

Reden dat ik het liefst PvP speel is om dat ik al sinds mijn eerste Philips VideoPac begin jaren
tachtig me groen en geel erger aan NPC waar je geen fluit aan hebt. Tot aan League of Legends
aan toe.

[lithiumangel]

Duidelijk het filmpje niet gezien dus. De ACE techniek voor NPC's word in Mecha Break enkel en alleen gebruikt zodat je in "free form"(dus met je stem) een mechanic in de game om advies kan vragen m.b.t je kit/loadout.

Het heeft dus 0,0 met de daadwerkelijke gameplay zelf te maken, wat overigens in deze game prima is,
(closed beta gespeeld) als je fan bent van Armored core, met name AC4/AC4A.

Daarnaast heeft Nvidia deze techniek al meerdere malen gedemonstreerd in settings waarbij je duidelijk kan zien dat het wel toegevoegde waarde heeft voor gameplay, dan wel niet development.

Voorbeeld 1: YouTube: NVIDIA ACE for Games Sparks Life Into Virtual Characters With Genera...
Voorbeeld 2: YouTube: NVIDIA ACE | NVIDIA x Inworld AI - Pushing the Boundaries of Game Ch...

[bonus]

Meerdere keren zelfs bekeken maar dat verandert mijn stelling niet. Wordt het daar leuker door ? Mijn gear kan ik zelf ook prima samenstellen. Maar goed we gaan zoals er had opgemerkt zie wat het gaat worden en hoever ze ermee gaan. Het is een begin…

[paltenburg]

"Ik hoef niet beter bereikbaar te zijn" - 1999

[BrockOlee]

"3D films zijn de toekomst en iedere nieuwe tv moet 3d brillen ondersteunen" - 2009

[Brtrnd]

Ik zag onlangs een presentatie over hoe een dialoog systeem beter maken (zonder ai) en daarvan zie je onmiddellijk dat het beter is.
https://cdn.akamai.steams...in_Elan_DynamicDialog.pdf (edit: is van 2012!)

Ik zou dus niet versteld staan dat ai gesprekken een extra dimensie brengen: afhankelijk van hoe je er uit ziet zouden personages met een ander gevoel kunnen praten, en andere info geven!

[Reactie gewijzigd door Brtrnd op 22 augustus 2024 15:02]

[jaquesparblue]

Wat ik zo kan vinden maakt ACE gebruik van RTX tech. Dus betekent dit dat we in de toekomst niet alleen GPU gebonden features (dank Nvidia) gaan zien, maar gehele GPU gebonden games (wederom, dank Nvidia)?

[glennoo]

Ik ben er bang voor… maar ik zie Nvidia er ook nog wel voor aan om een soort accelerator te ontwikkelen die in een m.2 slot past zodat je toch die rtx functionaliteit hebt. Immers zouden een boel ontwikkelaars zich in de vingers snijden als hun game ineens minder verkoopt omdat een groot gedeelte AMD GPU’s heeft.

[storchaveli]

Dit doet me denken aan die physics accelerator van vroegah die je extra erbij kon prikken op je mobo voor betere physics performance.

Volgens mij heeft Nvidia dat bedrijf later opgekocht.

Oo wat word ik oud 🤪

[Reactie gewijzigd door storchaveli op 21 augustus 2024 23:02]

[lithiumangel]

Klopt,de zogenaamde PhysX kaart. Deze kaart werd ontwikkeld door het bedrijf Ageia om gespecialiseerde hardwareversnelling voor realistische fysica in videogames mogelijk te maken. In 2008 kocht NVIDIA Ageia over en integreerde de PhysX-technologie in hun eigen GPU's, waardoor deze fysieke effecten voortaan zonder aparte kaart mogelijk werden. Hierdoor werd realistische simulatie van bijvoorbeeld botsingen en explosies standaard in veel moderne games, zonder dat aparte hardware nodig was.

Ik weet nog dat Planetside 2 erg revolutionaire physics en particle effects hadden die GPU rendered waren, maar alleen supported waren op NVIDIA kaarten. Dat werd er na 6 maanden uitgepatched omdat het niet werkte voor AMD en/of op consoles. Ze zeiden dat het terug zou komen als ze een oplossing voor hadden dat het beter draaide op AMD, maar dat was er nooit van gekomen.

Je kan zelfs sterker nog deze effecten volgens mij nooit meer terugzien, er zijn heel weinig gameplay beelden van Planetside 2 in de tijd dat het er was; het was best indrwukkend hoeveel debris en real-time volumetrics er wel niet rondvlogen.

Natuurlijk zijn er ook andere softwarematige physics engines gemaakt sindsdien, HAVOK is een grote.
En zijn er games met veel custom tech ervoor zoals Crysis en Red Faction Guerilla.

Black Myth Wukong toevallig gisteren gekocht, dat spel heeft echt zeer indrukwekkende real-time particle effecten; deed me echt denken aan de PhysX kaart tijdperk toen de demo's daarvan best "YOLO"gingen met de effecten.

[1Joshua5]

AMD heeft zijn kansen gehad.

[Jelle Brolnir]

Wijdt daar anders even over uit.

[1Joshua5]

De aankoop van Ati ging destijds compleet mis. Het teveel betaalde had in R&D gestoken kunnen worden.

Teveel van het GPU ontwikkelteam naar het Sony PSP project. Dus achterstand opgelopen op andere vlakken.

Om zomaar wat te noemen. Ze hadden beter met Nvidia kunnen fuseren want daar waren ze destijds over aan het onderhandelen. Ze hebben de fanboys mooi in de steek gelaten.

[Jelle Brolnir]

Nja, met nvidia fuseren was denk ik niet al te leuk voor de fanboys. Verder heb je gelijk. Al denk ik dat amd voorlopig mooi de underdog blijft voor de prijsbewuste afnemer, dan glimt het maar wat minder en dat dat een prima businessmodel is.

[storchaveli]

Dit vraag ik mij dus ook af… zou zonde zijn.

[DropjesLover]

Aan de andere kant, AMD zal snel genoeg een vergelijkbaar, breed beschikbaar alternatief verzinnen. Zie ook hoe het bijv. ging met G-Sync vs FreeSync.
Ook omdat (nu iig) de consoles op een AMD gpu draaien, wat een flink deel van AMD's omzet is.
Ze kunnen zich niet veroorloven die next-gen markt aan de Nvidia te verliezen.

[Mijiru]

Volgens mij is dit nog altijd llama.cpp (TensorRT-LLM), whisper.cpp en PyTorch onder de motorkap. Nemotron-4B en andere tensorflow meuk zou perfect performant kunnen draaien met AMD ROCm ipv CUDA... mits AMD er werk van zou maken om hun support uit te breiden.

[Reactie gewijzigd door Mijiru op 22 augustus 2024 20:34]

[Splorky]

Ik kan niet wachten op de videos waarin de NPC's een eigen leven gaan leiden en de meest incorrecte dingen zeggen en doen.

[Majestici]

Hier is hopen op een Microsoft Tay momentje :kekw:

[Richardus27]

"The sun's rays seem off today, is it perhaps a trick of the light? Could it be magic? Or maybe it is the result of poor illumination, which can be fixed with Nvidia Ray Reconstruction technology, available now on 3000 and 4000 series RTX Graphics cards!"

[Rickokun]

Ik vind dit wel een prachtige ontwikkeling voor Role Playing Games.

Met een zeker kader kan je de AI dan wat inperken, om te sturen op quests. Lijkt me wel dat dat nogal wat vraagt van ontwikkelaars.

Vooral met de ontwikkeling van de stemmen, zodat AI straks niet meer te onderscheiden is.

Ja, dat klinkt ook weer eng, ik weet het. Dat is het ook wel. Maar zo zijn er meer dingen die eng zijn waar ik niks aan kan doen. Laat ik hier dan maar plezier in hebben.

Zou toch vet zijn om NPC's een beetje te kunnen trollen, te romancen, te bevrienden of te agitaten? Weg je keuzemenuutjes (al worden die toch steeds kleiner. Nogal een verschil tussen fallout 1 en 2 en fallout 4).

Al moet je wel hints hebben. Vroegah (eind jaren 80) had je van die adventure games waar je dan tekst moest invoeren om je poppetje iets te laten doen, dat werd wel aardig gissen.

Hier even een voorbeeldje van kinderschoentjes AI, alleen om het idee te omvatten:
YouTube: Falsely ACCUSING AI NPCS in Skyrim.

[EnigmaNL]

Leuke gimmick maar ik praat liever niet tegen mijn games.

Ik zou vooral graag ontwikkeling zien in de AI van vijanden. De ontwikkeling daarvan staat m.i. al jaren stil, vijanden in games die vandaag uitkomen zijn nog net zo dom als de vijanden in games van meer dan tien jaar geleden. Moderne AI-technieken moeten ze daarop toepassen, misschien worden stealth games dan eindelijk echt interessant.

[DarkeasterB]

Ik durf te stellen dat ze dommer worden. Far Cry 2 had vijanden die als je ze in hun been schoot daadwerkelijk door de benen gingen, om hulp riepen en als een mede vijand de kans zag sleepte hij hem daadwerkelijk in dekking.

Tegenwoordig lijkt de enig eis dat ze niet nonstop ergens tegen een muur staan te rennen en zelfs daar falen sommige games in

[EnigmaNL]

Ik denk dat je gelijk hebt. De AI in F.E.A.R. was bijvoorbeeld ook erg goed.

[lithiumangel]

F.E.A.R is echt een uitstekende voorbeeld.

Een ander goede is Alien Isolation. Dat voelt toch echt aan alsof je gestalked word door een levende beest. Daarnaast had de PC en Xbox versies optioneel de optie dat externe geluiden (dus die je IRL maakte) de alien ook kon horen. Dus als jij in het echt super bang aan het vloeken was; kon je daardoor betrapt raken

[_Pussycat_]

Te slimme AI's vinden de meeste spelers niet leuk. Bv als ze om huizen heen gaan en je in de rug schieten.

[TVreeke]

Ja, het liefst statisch recht voor je met een omlijning als ze achter een muur staan.

[pim]

Zou leuk zijn als npcs smeken voor hun leven
"Give me one reason not to kill you"

Of dat je een npc moet bedreigen om informatie te ontfutselen..

Beetje ziek, maar dat wat het succes van gta

[rayhvh]

Ik had AI in games al lang verwacht. Maar niet op deze manier.

Ik zou liever zien dat je een AI inzet om bijvoorbeeld de computer gestuurde tegenstander in Red alert 2 of Generals of Age of empires te helpen. Op deze manier elimineer je statische combat van computers die altijd keer op keer in de zelfde val lopen *(bijvoorbeeld 5 units recht op 20 turrents af sturen)

Of een indie game developer die AI gebruikt om een story/text based game te maken die echt een replay value heeft. Denk aan minecraft toen het kwam met 'oneindig grote map'. De eerste goede oneidige AI based game zal veel success behalen.

[Vizzie]

Nou echt DIT!

Een CIV achtige of andere strategiegame met een computertegenstander die het spel daadwerkelijk kan spelen op hogere niveau's ipv dat het moeilijker gemaakt wordt door de tegenstander steeds grotere voordelen te geven.

[Oakley]

Ja inderdaad, maar ook in (sim) race games waar de AI nu vaak vreemd onrealistisch gedrag vertoond. In veel race games zou de AI toch getraind kunnen worden op het race gedrag van honderden menselijke racers op hun servers. Momenteel is de "AI" in games volgens mij nog altijd gebaseerd op een soort if this then that achtig model ipv echte intelligentie (in hoeverre dat uberhaupt mogelijk is).

[TigerXtrm]

Oh dit wordt meme central. Ben wel benieuwd hoe dit in de praktijk gaat uitpakken.

[LordMithril]

Het techniek stukje: Super cool. Geeft leuke opties voor toekomstige dingen.
Het Nvidia stukje: Gezien het ook op de consoles draait zal het ook wel moeten werken op AMD kaarten.
I hope.

[thomasv]

Ik vraag mij af hoeveel gamestudio's het zien zitten om een gedeelte van de regie over het verhaal (of dat nou main storyline of side quest storyline betreft) uit handen willen geven gedeeltelijk om dan de speelervaring uniek te maken.

Het antwoorden geven op een speler heeft z'n meerwaarde mijn insziens vooral in VR games waarbij de spraak van de speler dan ook gebruikt kan worden als extra input, maar als de NPC dan kan antwoorden op manieren die niet in lijn zijn met de atmosfeer van (een situatie in) een spel doet het juist af. Denk aan een Half Lyfe Alyx waarbij je een NPC hebt die doodleuk antwoord geeft op een vraag over appels omdat je tussen neus en lippen door een opmerking maakt over gezonde snacks, en dat terwijl je door de Combine beschoten wordt en ook de NPC eigenlijk dekking zou moeten zoeken.

Ik ben benieuwd naar welke games er met deze techniek uit komen en in hoeverre Nvidia het weer totaal exclusief houdt voor hun videokaarten c.q. in hoeverre AMD met een tegenhanger komt (if any).

[The Realone]

Het lijkt me toch geen alles-of-niks model. Ik neem aan dat men antwoorden kan laten genereren afgebakend in een bepaalde context. Of op zijn minst dat men een relevante vraag moet stellen om een relevant antwoord te krijgen.
Als jij het over het breien van een trui wilt hebben terwijl je door een heel leger beschoten wordt, lijkt het me niet onrealistisch dat de NPC suggereert om dit gesprek later op te pakken en eerst dekking te zoeken.
Het is maar net hoeveel moeite ze erin willen stoppen.

Maar dat we iets verder komen dan 5x dezelfde Grunt aanklikken die dan vervolgens enigszins gefrustreerd "Stop poking me!" roept sta ik wel voor open.