Deze week kondigde Nvidia plotseling een nieuwe functie voor gamers aan: DLSS 5. Net als voorgaande versies van die upscaler maakt ook versie 5 gebruik van AI om de ervaring in games te verbeteren. Toch is de werking fors anders dan voorheen.
Waar voorgaande DLSS-versies vooral draaiden om het aanscherpen van de graphics die er al waren en het verhogen van de framerate, doet DLSS 5 iets nieuws. Deze versie gebruikt generatieve AI om zelf nieuwe details toe te voegen. Met deze nieuwe technologie wil Nvidia naar eigen zeggen 'het gat tussen filmische beelden en games verkleinen'. Fotorealistische spellen moeten zo binnen handbereik komen, aldus de gpu-maker.
Toch werd DLSS 5 verre van positief ontvangen door gamers: online zijn gebruikers kritisch over de AI-functie, die personages volgens hen voorziet van 'Instagram-schoonheidsfilters' en afbreuk doet aan de visie die ontwikkelaars hadden voor hun graphics. Hoe werkt de nieuwe techniek en waar komt die kritiek vandaan?
'GPT-moment voor graphics'
DLSS bestaat sinds 2018 en heeft sindsdien steeds meer functionaliteit toegevoegd. In eerste instantie was het een upscalingtechniek: games werden gerenderd op een lagere resolutie en vervolgens opgeschaald met behulp van AI. Dat leverde hogere framerates op zonder al te veel kwaliteitsverlies. Later kwam daar ook DLSS Frame Generation bij kijken, waarmee AI-frames gegenereerd werden voor nóg hogere framerates.
Met versie 5 wordt die functionaliteit nog verder uitgebreid met een geheel nieuw AI-model, dat 'pixels voorziet van fotorealistische belichting en materialen'. Een game wordt op normale wijze gerenderd, al dan niet met upscaling of framegeneration. Vervolgens wordt het beeld als het ware ingekleurd met generatieve AI voor een realistischer uiterlijk.
Nvidia-baas Jensen Huang noemt DLSS 5 'het GPT-moment voor graphics'. Het bedrijf hoopt dat games op deze manier dichter in de buurt komen bij fotorealistische cgi zoals te zien in films. Zulke filmbeelden worden offline gerenderd, wat meerdere uren per frame kan duren. DLSS 5 moet dat soort frames in real time kunnen afleveren, zo claimt Nvidia.
Zorah, een techdemo die Nvidia speciaal voor DLSS 5 ontwikkelde
Hoe werkt het?
De gpu-maker zegt dit te bereiken met een nieuw AI-model, dat lokaal op een videokaart draait en de frames van een game analyseert. Dat gebeurt op basis van twee 'inputs': kleurinformatie en zogeheten motion vectors, met informatie over de bewegingen van frame tot frame.
Het DLSS 5-AI-model gebruikt die gegevens om een frame te analyseren. Volgens de gpu-maker is het model getraind om 'complexe' objecten te kunnen herkennen, zoals haar, stof of doorzichtige elementen in de game. Het AI-model houdt daarmee rekening en genereert 'fotorealistische' verlichting op een manier die logisch is voor de frame. Daarbij wordt ook de omgeving in acht genomen: als het bewolkt is, genereert het AI-model bijvoorbeeld andere verlichting dan wanneer de zon schijnt.
Het moet relatief complexe effecten mogelijk maken, zoals subsurface scattering op de huid van personages, of de glans van bepaalde stoffen. Volgens Nvidia gebeurt dit op een 'voorspelbare' manier, om te voorkomen dat het uiterlijk van personages van frame tot frame steeds verandert. Het werkt dus anders dan bij llm's, die steeds andere antwoorden op dezelfde vraag kunnen geven.
De nadruk lag in de presentatie van Nvidia vooral op personages en gezichten. Op dezelfde wijze moet het model ook de omgevingen oppoetsen, bijvoorbeeld met realistischere schaduwen en fijnmazigere details. Denk aan de bladeren van bomen, subtiele schaduwen in de kieren van een bakstenen muur en meer.
Instagram-schoonheidsfilters en artistieke intentie
De aankondiging van DLSS 5 werd verre van positief ontvangen door het publiek. Gamers uitten op sociale media en ook op Tweakers massaal hun ongenoegen over de nieuwe AI-functie. Dat gebeurde mede omdat DLSS 5 het uiterlijk van games en hun personages drastisch lijkt te veranderen ten opzichte van de originele artstyle.
De rendertechniek wordt vergeleken met de AI-gezichtsfilters van Snapchat en Instagram. DLSS 5 lijkt de gezichten van personages niet alleen realistischer te verlichten, maar ook fundamenteler aan te passen. In een demo van Resident Evil Requiem (hieronder te zien) heeft personage Grace Ashcroft niet alleen een beter verlicht gezicht, maar lijkt DLSS 5 haar ook meer make-up en vollere lippen te geven.
Daarmee lijkt ook de artistieke intentie van de makers te verdwijnen, zo zeggen bezorgde gamers. Spellen krijgen een ander, op het eerste oog iets realistischer en meer uncanny uiterlijk. De unieke artstyle van een game raakt daarmee meer op de achtergrond of verdwijnt zelfs.
Nvidia en sommige ontwikkelaars trachten dat te weerspreken in hun communicatie. Ontwikkelaars krijgen volgens de gpu-maker meerdere knoppen om aan te draaien, om zo DLSS 5 aan te passen aan hun wensen. Denk daarbij aan de intensiteit van het effect, kleurcorrectie en maskering.
Die verschillende aspecten moeten ze ook per element van de game kunnen aanpassen; water kan bijvoorbeeld anders behandeld worden dan bomen of personages. Gameontwikkelaars moeten zo zelf kunnen bepalen waar en hoe ze DLSS 5 toepassen, zodat ze de 'unieke stijl van elke game' kunnen behouden, aldus Nvidia. Daarbij wordt het DLSS 5-effect ook optioneel. Net als andere DLSS-features als upscaling en framegeneration moet het uit te schakelen zijn in de instellingen van een spel.
Nvidia-ceo Jensen Huang reageerde woensdag zelfs hoogstpersoonlijk op de kritiek. Wijzend op bovenstaande manieren waarop gameontwikkelaars kunnen bepalen hoe en waar DLSS 5 wordt toegepast, vindt hij dat kritische gamers 'het totaal verkeerd hebben'. Doordat ontwikkelaars er directe controle over hebben, geeft hij de voorkeur aan de term 'neural rendering' in plaats van generatieve AI.
Nog veel onduidelijk
Wat voor effect DLSS 5 straks bij release daadwerkelijk gaat hebben, moeten we dus nog zien. Hoe dan ook is er nog veel onduidelijk over de techniek. De prestaties en het vram-gebruik zijn bijvoorbeeld nog grote vraagtekens.
De DLSS 5-demo's die Nvidia deze week liet zien, draaiden namelijk op twee RTX 5090-videokaarten. Een daarvan nam het traditionele renderwerk op zich, terwijl de tweede zich volledig richtte op het draaien van DLSS 5. De gpu-gigant benadrukt wel dat het uiteindelijke model ook op een enkele gpu moet gaan draaien.
Het ging hier dan ook om vroege demo's: DLSS 5 verschijnt pas deze herfst. In de tussentijd zegt de gpu-maker het model verder te optimaliseren, zodat het ook op consumenten-gpu's kan draaien. Op welke gpu's dat precies zal zijn, moet nog blijken. In een faq-post zegt Nvidia dat minimale gpu-ondersteuning nog 'onderhevig aan modeloptimalisaties' is en dichter bij de release bekend zal worden.
We gaan dat alles deze herfst meemaken. DLSS 5 verschijnt dan in een aantal games, zoals Assassin's Creed Shadows, Hogwarts Legacy, Resident Evil Requiem, Starfield, The Elder Scrolls IV: Oblivion Remastered en meer.
Redactie: Daan van Monsjou • Eindredactie: Marger Verschuur
:strip_exif()/i/2008073724.jpeg?f=imagearticlefull)
Originele graphics naast DLSS 5. Bron: Nvidia
:strip_exif()/i/2008072990.jpeg?f=imagearticlefull)
:strip_exif()/i/2008073574.jpeg?f=imagearticlefull)
:strip_exif()/i/2008073642.jpeg?f=imagearticlefull)