AI-npc's van Nvidia kunnen omgeving waarnemen en tactische beslissingen nemen

Nvidia heeft op techbeurs CES aangekondigd dat het zijn ACE-platform voor autonome game-npc’s uitbreidt. Waar de technologie zich eerst richtte op spraakinteractie, kunnen gamepersonages nu ook hun omgeving waarnemen en tactische beslissingen nemen.

Nvidia's ACE is een platform dat een reeks AI-technologieën combineert om npc’s in games realistischer en interactiever te maken. Het stelde ontwikkelaars eerder al in staat om npc’s te creëren die in real time vragen beantwoorden. Met de nieuwste versie kunnen die ook tactische beslissingen nemen en dynamisch reageren op hun omgeving.

Het platform gebruikt kleine taalmodellen die binnen milliseconden beslissingen kunnen nemen. Deze modellen zijn geoptimaliseerd voor de nieuwe RTX 50-serie-gpu’s, waardoor volgens Nvidia meerdere AI-modellen tegelijk kunnen draaien zonder impact op de spelkwaliteit.

De technologie wordt al toegepast in verschillende games. PUBG introduceert bijvoorbeeld een coöperatieve AI-partner die in real time tactieken aanpast. In het levenssimulatiespel InZOI passen personages hun gedrag aan op basis van hun dagelijkse activiteiten.

Nvidia introduceert ook een verbeterde versie van Audio2Face met een diffusion-based architectuur. Deze update zorgt voor nauwkeurigere lipsynchronisatie en natuurlijkere emotionele expressies bij AI-personages. Ontwikkelaars krijgen binnenkort early access tot de nieuwe ACE-modellen.

Reacties (33)

[BramVroy]

Ben benieuwd hoe het visuele aspect werkt, dat de AI "zelf kan zien". De taalmodellen zijn relatief "gemakkelijk": acties uitvoeren of reageren op input van de speler. Maar het visuele lijkt me niet echt "zien" (beeldmateriaal verwerken), als ik deze voorbeelden zie. Volgens mij is dat dus geen neutraal netwerk dat continu het POV van de AI analyseert en verwerkt. Het lijkt me eerder dat ze dit visuele aspect met taal doen. Als je zegt "ik zoek dit wapen X", dan zal de AI je zeggen dat het het gevonden heeft, niet omdat het weet hoe het eruit ziet maar wel omdat het kan "lezen" (via metadata van items bv., rechtstreeks in de game engine of gewoon het pop-up label in de inventory).

Misschien ben ik fout, maar niets in deze video zegt me dat het hier om beeldverwerking gaat (dus ik vind de marketing "AI die omgeving kan waarnemen" wat flauw). Het zou anders zijn als je bijvoorbeeld kon zeggen "ik heb de vijand gezien, 20 meter rechts van die boom" en dat de AI dan ook de boom ziet, "beseft" (verwerkt) dat dat een boom is, en dan rechts ervan zoekt naar een vijand. Of nog beter, dat het zelf kon uitleggen aan de hand van visuele markers waar een vijand zich bevindt, bv. "hij zit verstopt achter de auto".

[Reactie gewijzigd door BramVroy op 7 januari 2025 10:13]

[Limbeckx]

Goed punt. Als ze in game context kunnen verwerken dan zou dat heel tof zijn. Echter...

Zitten diezelfde identiefers als niet gewoon in de game geprogrammeert. Er kunnen ook kenmerken van het karakter uitgelezen worden zondat er dat daar iets visueels bij komt kijken. Same voor welke items je hebt en welke quests je al voltooid hebt.

[Pep7777]

Misschien dat je het eea overdenkt. In het "echt" moet visuele informatie omgezet worden (gelabeled) voordat een AI het kan gebruiken (ofwel een hele bak an "image data" moet worden terug gebracht tot een beetje informate). In een virtuele wereld is alles al gelabeled (wat voor object is het, waar is het, is het zichtbaar, wat is het andere object aan het doen), dus de AI kan die informatie direct gebruiken.

[BramVroy]

Dat is exact wat ik zeg. Dat ik vermoed dat de modellen zo werken, via wat er al aan metadata in de game engine zit, en dat er geen vision processing aan de pas komt.

[Pep7777]

Ik denk dat je gelijk hebt, en heb ik je niet helemaal begrepen, en dan klopt mijn overdenken opmerking ook niet helemaal, excuus

[Limbeckx]

Jammer dat het niet op de oudere kaarten kan. Dit betekend wss dat het maar weining gebruikt gaat worden bij het designen van games. Immers: Ontwikkelaars moeten sowieso voor de andere grafische kaarten gaan ontwikkelen en zich afvragen of het het waard is om nog speciaal voor de Nvidia 50xx serie nog een extra optie te gaan ontwikkelen.

En dat terwijl er al llm's kunnen draaien op rbp's....

En als reactie op de mensen die zeggen dat dit het startpunt is: Volgens mij kunnen llm's al contextuele antwoorden geven. Daar hebben kleine en efficiente llm's geen RTX 50xx voor nodig, zelfs geen RTX 40xx sommige modellen doen het op een Raspberry PI. Het zou volledig logisch zijn als Nvidia zegt dat ze een AI NPC model hebben en de beste prestaties met een 50 serie GPU te halen zijn maar dat in andere gevallen het model minder goed kan reageren. Omdat ze dat niet doen, denk ik eerder dat dit een differcificatie strategie is en geen technische beperking.

[Reactie gewijzigd door Limbeckx op 7 januari 2025 09:47]

[johnkessels87]

Ze moeten ergens een keer een start maken.

[sIRwa3]

precies, ik moet altijd lachen om de reacties die alleen maar uitgaan van het hier en nu; " 50Mb harde schijf, niemand heeft zoveel ruimte nodig"

edit: Ik heb de video nog niet bekeken, maar deze toepassing is waar ik op hoopte toen de ai hype losbarstte.

edit edit: oke, niet wat ik verwacht had, wel grappig. ben zelf nog niet zo van de voice commands, maar wie weet.. Ik hoop meer op meer onvoorspelbaar gedrag van npc tegenstanders. en GTA zou zich uiteraard ook goed lenen voor Ai npc 's

[Reactie gewijzigd door sIRwa3 op 7 januari 2025 09:52]

[SunnieNL]

Probleem is wel dat game developers een manier moeten hebben om dit te laten draaien op alle type machines en consoles. Afhankelijkheid hebben van nvidia techniek die het alleen doet op een bepaalde videokaart van nvidia gaat dan dus voor de komende jaren niet werken.

Als nvidia de techniek nou zo zou maken dat het werkt op ook AMD kaarten, dan wordt het een ander verhaal. Zolang dat niet het geval is moet er eerst weer iemand komen die hier een API voor gaat bouwen die dan weer de vertaling doet naar nvidia of amd versie van de techniek.

[DutchEZmoder]

Wie weet krijgen de PS6 en Xbox One Two ook zo'n AI chip, hoogst waarschijnlijk wel, zo'n beetje elk nieuw apparaat heeft een AI chip. Dan heb je dus al alle console gamers die ermee kunnen spelen en alle PC gamers die een next gen Nvidia GPU hebben. Dat is al een flink aantal. En als developer wil je ook de eerste zijn met baanbrekende tech omdat je dan gewoon meer games verkoopt. Denk dat we dit wel snel gaan meemaken.

[SunnieNL]

Dan moet daar dus nog steeds een overkoepelende API voor zijn, anders moet je als developer 2-3x andere code implementeren met alle problemen die dat met zich mee kan brengen.

Als AMD, Intel en nVidia beiden andere systemen hanteren krijg je het probleem wat je nu al met upscaling hebt en dat probleem wordt met AI NPC's nog veel groter omdat dat laatste direct gevolg heeft voor de game zelf en niet alleen de graphics die er uit komen. AI NPC's raken de core van een game.

Als je als developer alleen de nVidia techniek gaat gebruiken, dan ben je misschien wel baanbrekend bezig, maar je gaat er juist minder games mee verkopen omdat je de helft van de gamers aan de kant schuift die op een andeer merk zitten en dan nog eens een kwart eraf haalt omdat die de specifieke nieuwe nVidia kaart niet hebben.
Dan kun je natuurlijk alle technieken gaan gebruiken van AMD, nVidia en Intel, maar dan moet je dus 3x code schrijven voor hetzelfde ding, waarbij je maar hoopt dat je dezelfde uitkomst krijgt en ook nog eens 3x zo veel bugs kan introduceren die lastiger te troubleshooten zijn omdat je ook nog eens moet nagaan in welke AI code die dan weer zit. Dus ben je langer bezig met programmeren en testen, duurt het langer dat je de game uitbrengt en worden de kosten veel hoger.
Gevolg gaat dan weer zijn dat de game duurder gaat worden.

En die overkoepelende API gaat er ook echt wel komen. Microsoft zal gek zijn dat niet in DirectX te implementeren. Alleen krijg je dan wel weer het probleem dat die API alleen maar gaat doen wat de onderliggende hardware allebei aan kan.

[Reactie gewijzigd door SunnieNL op 7 januari 2025 18:09]

[DrVic]

Wellicht hoeft het niet voor alle spellen lokaal te draaien. Je stopt die blackwells in een server en streamt de spellen naar een groot beeldscherm.

[Kevinns]

Tja, wat was er eerst, de kip of het ei…

[skunkopaat]

Het dier dat het ei legde. Zonder dier geen ei.

[Jorizzz]

Sowieso waren er al eieren voordat er kippen waren, alleen van andere diersoorten
Maar het klopt zelfs niet zelfs als je zegt: 'wat was er eerst, de kip of het kippenei?' Biologisch gezien in elk geval dan. In de evolutie van een kip-voorouder naar de daadwerkelijke kip zou je zeggen dat op een gegeven moment een voorouder die nog nét geen kip was een ei legt, waar iets uit kwam dat we nét wel een kip zouden noemen.

[Lapa]

Precies! Ook al is dit natuurlijk niet helemaal hoe soortvorming werkt in de evolutie, is dit toch het enige logische antwoord. Ik heb dus ook nooit begrepen waarom dit als een filosofisch dillema wordt gezien. Het antwoord is gewoon overduidelijk het ei, hoe je het ook wendt of keert.

[Croga]

Maar is dat ei dan een kippenei? Gebruiken we de aanduiding van waar het ei uit kwam of van wat er uit het ei komt?

Ergo: In een wereld vol dualiteit is je statement geen antwoord op de vraag, slechts een aanleiding om de definitie specifieker te maken.

[watercoolertje]

Je krijgt 2 opties als antwoord. Kip of ei...

Niet 'Het dier dat het ei legde', daarmee omzeil je het hele punt van die vraag.

[Reactie gewijzigd door watercoolertje op 7 januari 2025 09:52]

[Triblade_8472]

Meestal muteren dieren niet (zichtbaar) tijdens hun leven, maar de genen die ze doorgeven. Ofwel: (in) het ei.

Maar dat is nou juist de hele discussie. We denken er allebij anders over.

Als ze het nu niet inbouwen, komt er geen vraag naar en gaat niemand de techniek (al dan niet niche) in een spel inbouwen.

Dit is gewoon een investering in de toekomst. Over 10-15 jaar heeft iedereen een graka met deze chips en kunnen spellen de techniek gebruiken.

[Luchtbakker]

Er zijn een tal van technieken in alleen de nieuwste kaarten gekomen die vandaag de dag een wereld verschil hebben gemaakt in het draaien van games. Dat iets niet naar oude kaarten komt betekend niet dat het niet zinvol is.

[sIRwa3]

je zegt jammer dat het niet op oudere kaarten draait, ik denk AI in veel verschillende vormen naar games zullen komen. maar processing zal altijd de bottleneck zijn. je kan zoals je zegt op CPU of op GPU of op NPU en de resultaten zullen daar naar zijn. Dus ook al zou het op een oude kaart kunnen, moeten we nog maar zien wat de performance is.. en de impact op FPS etc. zou leuk zijn als er een gamer NPU in PCi vorm komt voor oudere systemen..

[BlaBla1973]

Zou dan nu eindelijk de tijd komen , dat npc's niet meer midden in een vuurgevecht gaan staan of voor je schakelaar en/of puzzel ...

[ilaurensnl]

Soon bot ally that is rendered on your computer, the faster your card the faster the bot can react.

[Cowamundo]

“Dit is toch gewoon een bot” was ook mijn eerste gedachten. Hoe kan dit ooit eerlijk zijn en hoe werkt dit dan idd. Hoe sterker je kaart hoe sneller ze reageren en hoe accurater ze schieten?

[FricoRico]

Yes! Dan hoef ik ook geen vrienden meer te hebben om mee samen te spelen, scheelt mij weer tijd om een vriendschap te onderhouden Aan de andere comments te lezen zijn andere mensen wel enthousiast. Ik vond het vooral heel ongemakkelijk klinken allemaal

[Fox3214]

Geweldig!

Stel je nou voor dat je een single player story kan spelen waar je een hoop unieke situaties worden gegenereerd.

[ari3]

Dit gaat competitief online gamen veranderen. Als je geloofwaardige in-game bots kunt maken, kun je ook geloofwaardige bots maken die autonoom online competitief gamen. Het gaat er dan niet meer om wie (als mens) de beste muis/toetsenbord input geeft om te winnen, maar wie de beste AI kan programmeren, net zoals bij schaken en go gebeurd is.

[SA65]

Dat niet alleen, om een AI te kunnen gebruiken, heb je over een paar jaar een abbo voor nodig, of een 5090 zodat je het thuis kunt draaien, het wordt dus uiteindelijk pay to win!

[mac5er]

Eindelijk, hoef ik toch geen echte vrienden te maken.

[darkboy76]

Zou leuk zijn dan als de npc's op een gegeven moment kunnen leven zoals in freeguy. Ik hoop dan alleen niet dat ze dan op een gegeven moment gaan staken 😅

[Luchtbakker]

Ik denk voor de community van games als The Sims dit soort technieken heel erg interessant kunnen zijn. Nu zijn alle acties gescript, maar wat nou als handelingen echt zouden gebeuren op basis van jouw input?

Zelfde overigens bij shooters. Je wilt een kamp aanvallen maar weet stiekem al een beetje waar ze je niet zullen zoeken. Als er nu meer realisme en intelligentie in zou komen...

Ik zie hier zeker een toekomst in.