Het is het ultieme doel van computergraphics: beelden die zó realistisch zijn dat je niet meer ziet dat ze nep zijn. Met traditionele rendertechnieken komen we daar de komende jaren nog niet. Toch moet DLSS 5 met neural rendering een serieuze stap in die richting zetten.
Vanaf vrijdag is de eerste game met Nvidia's veelbesproken DLSS 5 beschikbaar: de basketbalgame NBA 2K27. Tweakers kon de afgelopen dagen alvast met de game aan de slag.
Bovendien sprak en we op gamescom met het team achter DLSS 5, waaronder Edward Liu, directeur van toegepast onderzoek naar deep learning, en Gabriele Leone, creatief directeur van contenttechnologie bij Nvidia.
DLSS 5 is 'geen Instagram-filter'
Wie in maart de eerste demonstratie van DLSS 5 heeft gezien, denkt misschien dat DLSS een soort Instagram-filter is. Vooral het voorbeeld uit Resident Evil Requiem, waarin personage Grace opeens veel meer make-up leek te dragen, leidde tot veel kritiek van gamers en ontwikkelaars. DLSS 5 zou de artistieke bedoeling van gamedesigners vervangen door AI-slop.
In de eerste demonstratie leek DLSS een soort Instagram-filter. Bron: Nvidia
Nvidia neemt daarvan in zijn communicatie rond de release ferm afstand en geeft achter de schermen toe eerder een verkeerde indruk te hebben gewekt. Bij de eerste demo's legde het bedrijf onvoldoende uit hoe DLSS 5 werkt. Daarnaast ontbraken toen nog functies om gameontwikkelaars meer invloed te geven op hoe het eindresultaat eruitziet.
Het voorbeeld van Grace was extra ongelukkig omdat ze in stilstand geanimeerd is. Een deel van het verschil tussen de beelden met DLSS 5 aan en uit kwam helemaal niet door DLSS.
Ik vind DLSS 5 een wat ongelukkig gekozen naam. Tot nu toe waren DLSS-functies vooral gericht op prestatie verbeteren, terwijl DLSS 5 puur om beeldkwaliteit draait. Een Nvidia-medewerker wierp tegen dat ook DLSS-rayreconstruction al meer om graphics dan prestaties draaide. Toch denk ik dat Nvidia beter een andere naam had kunnen kiezen.
Wat is DLSS 5 dan wel?
DLSS 5 heeft weinig te maken met de 'SS' van supersampling. Het is in feite neural rendering, oftewel een virtueel beeld maken met een AI-model. De meeste AI-modellen zijn probabilistisch. Het resultaat is deels afhankelijk van toeval en kan dus verschillen als je meermaals dezelfde prompt geeft. DLSS 5 is specifiek getraind om deterministisch te zijn. Zo'n model geeft bij dezelfde input steeds dezelfde output.
Om dat voor elkaar te krijgen herkent het model elementen in het oorspronkelijke, gerenderde frame. Dat kunnen personages en objecten zijn, maar ook abstractere delen van het beeld, zoals materialen en lichtbronnen, zelfs als die buiten beeld staan.
Verschillende inputs voor het DLSS 5-model. Van links naar rechts: het gerenderde frame, de oppervlaktereflecties, de lichtsemantiek, de oppervlaktenormaal en de bewegingsvector. Bron: Nvidia
Een tweede verschil met reguliere AI-modellen is dat er geen interpolatie plaatsvindt. Waar een videogeneratiemodel op basis van een begin- en eindbeeld de tussenliggende frames kan berekenen, hangt het volgende frame in een game af van input van de gebruiker. Op basis van bewegingsvectoren uit de game zorgt DLSS 5 ervoor dat de weergave van frame tot frame toch stabiel blijft en niet gaat trillen of golven.
Bron: Nvidia
Het AI-model van DLSS 5 moet daarnaast razendsnel zijn: het werkt realtime op tientallen of honderden frames per seconde. Het model gebruikt de versnelling voor fp8-instructies van de Tensor-cores van de RTX 50-serie en is hypergeoptimaliseerd voor de architectuur daarvan. Sinds de eerste demonstratie, waarbij Nvidia nog een aparte RTX 5090 nodig had puur voor DLSS 5, is het model volgens het bedrijf vijf keer zo snel geworden.
DLSS 5 ondersteunt bij release de RTX 40-serie niet, terwijl de Tensor-cores van die generatie in principe wel overweg met het gebruikte fp8-formaat. Nvidia liet ons de dag voor publicatie weten dat het voorlopig nog wil focussen op het sneller maken van DLSS 5 op de RTX 50-serie, maar wel van plan is om de ondersteuning 'later' uit te breiden naar de RTX 40-serie.
De RTX 30- en 20-series kunnen niet native overweg met het gebruikte instructietype, dus het lijkt niet waarschijnlijk dat Nvidia die videokaarten ooit officieel zal gaan ondersteunen.
Opties voor gameontwikkelaars en het uitgelekte model
Games zijn een kunstvorm. Een mens heeft bepaald hoe het beeld eruit komt te zien. Dat de automatische beeldverbeteringen daarin gaan zitten wroeten, was een van de belangrijkste argumenten van critici van DLSS.
Nvidia's Gabriele Leone deed op gamescom een opvallende uitspraak: "DLSS 5 blijft juist dichter bij de intentie van de kunstenaar dan reguliere rendering." Het gerenderde frame is volgens hem al een compromis tussen de visie die de gamedesigner in zijn hoofd heeft en praktische beperkingen, zoals de prestaties. DLSS 5 zou dat compromis opschuiven richting de oorspronkelijke visie.
Dat is een interessante hersenkronkel die zeker niet altijd opgaat, maar in games die zo realistisch mogelijke graphics nastreven, zit er wel een kern van waarheid in.
Toch geeft Nvidia gameontwikkelaars heel wat mogelijkheden om het resultaat van DLSS 5 te sturen. Volgens de chipontwerper was dat altijd al het plan. De luide kritiek na de eerste demo zal zeker invloed hebben gehad op hoe uitgebreid Nvidia dit aanpakt.
Veel keuze voor gamedesigners
Om te beginnen kunnen ontwikkelaars kiezen uit drie DLSS 5-modellen: A, B en C. Doordat deze modellen zijn getraind met verschillende parameter weights, leveren ze een ander resultaat op. Ontwikkelaars kunnen per scène een ander model gebruiken.
Ontwikkelaars kunnen kiezen uit drie DLSS 5-modellen. Bron: Nvidia
Daarnaast kunnen gamedesigners met twee schuifjes instellen hoe intensief ze een model toepassen:
Structure intensity. Dit regelt welke impact DLSS 5 heeft op de weergave van objecten en personages. Hieronder vallen ambient occlusion, reflecties, schaduwen en gesimuleerde subsurface scattering. Dat is hoe licht onder de oppervlakte van een materiaal voortbeweegt, bijvoorbeeld in de menselijke huid.
Tone intensity. Dit bepaalt hoe DLSS 5 wordt toegepast op de algemene scène, zoals kleurcorrectie en licht.
Hetzelfde DLSS 5-model met drie verschillende waardes voor de Structure intensity. Bron: Nvidia
Die waardes hoeven niet per se voor de hele scène gelijk te zijn. Met slimme maskers kunnen objecten of personages andere instellingen meekrijgen dan de rest van het beeld, of zelfs helemaal worden uitgesloten van DLSS 5.
De intensiteiten kunnen voor het complete beeld, of delen daarvan, worden aangepast. Bron: Nvidia
Integratie in games en het uitgelekte model
DLSS 5 moet relatief makkelijk te integreren zijn in games. Daarvoor gebruikt Nvidia hetzelfde Streamline-framework als voor reguliere DLSS. Games die al upscaling of antialiasing via DLSS ondersteunen, zijn dus met weinig extra werk compatibel te maken met DLSS 5.
Juist vanwege de nadruk op grafische controle voor de ontwikkelaar maakt Nvidia DLSS 5 niet beschikbaar via een overrideoptie. Dat betekent natuurlijk niet dat het technisch onmogelijk zou zijn. Daarvan kregen we allemaal een mooie demonstratie toen het dll-bestand van DLSS 5 uitlekte in een earlyaccessversie van NBA 2K27. De game zelf blokkeerde het gebruik daarvan toen nog, maar modders kregen DLSS 5 wel aan de praat in andere games.
In filmpjes van games waar DLSS 5 in is gemod, ziet het resultaat er vaak best extreem uit. Bron: Testing Games
Zo verschenen er screenshots en filmpjes van DLSS 5 in allerlei games: Assassin's Creed Black Flag Resynced, Cyberpunk 2077, Forza Horizon 6 en Red Dead Redemption 2, om er maar een paar te noemen. Het klakkeloos toepassen van DLSS 5 op een bestaande game heeft natuurlijk weinig meer te maken met de artist intent waarover zoveel te doen was.
DLSS 5 in de praktijk
Voor NBA 2K27 heeft gamestudio Visual Concepts zelf de DLSS 5-instellingen bepaald. Als gamer kun je het dus enkel aan- of uitzetten en niet zelf de intensiteit bepalen.
Hieronder zie je vergelijkingsscreenshots gemaakt met de Instant Replay-functie van de basketbalgame, waarmee je de game kunt pauzeren en zelf het camerastandpunt kunt kiezen. Links staat steeds het screenshot zonder DLSS 5 en rechts het screenshot mét. Buiten DLSS 5 om hebben we steeds de hoogst mogelijke grafische instellingen gebruikt: hoge texturekwaliteit, Ultra overall quality en raytracing ingeschakeld. Om alles goed te kunnen zien, hebben we motionblur en depth of field uitgeschakeld.
Het resultaat is ontegenzeggelijk mooier en realistischer dan hoe de game er standaard uitziet. Vooral de schaduwen geven het beeld meer diepte. Het haar van de NBA-spelers lijkt daardoor echt op het hoofd te zitten in plaats van te ogen als een soort vastgeplakte pruik. Ook de schaduwen van lichaamsdelen zoals de armen en kledingstukken laten de game levensechter lijken. Als een speler de bal vastheeft, overtuigt de schaduw van de handen op de bal een stuk meer in de DLSS 5-versie.
Bij nadere analyse viel me wel iets geks op bij het bovenstaande screenshot van Jarrett Allen, een speler van de Cleveland Cavaliers. DLSS 5 probeert de schaduw van zijn linkerbovenarm minder hard te maken, maar lijkt daarmee zijn biceps ook wat te vergroten. Dat effect is misschien vooral optisch, alleen is dit wel een van de weinige voorbeelden waarin DLSS 5 ook de inhoud van het frame niet helemaal ongemoeid lijkt te laten.
Aan de hoofdkarakters hebben de ontwikkelaars al redelijk wat aandacht besteed, maar juist bij de weergave van het relatief ongedetailleerde publiek maakt DLSS 5 een groot verschil. Deze npc's krijgen standaard nauwelijks schaduwen en de juiste belichting. DLSS 5 maakt de karakters donkerder aan de randen, waardoor die veel minder scherp worden. De gezichten van het publiek zijn met DLSS 5 een stuk minder flets. Personages die een vest of jas dragen, zien er door de toegevoegde schaduwen duidelijk beter uit.
Afgezien van menselijke personages voegt DLSS 5 in deze game minder toe. De belichting op bijvoorbeeld de basket verandert wel iets, maar dat maakt geen wereld van verschil. Het AI-model lijkt overbelichting te compenseren en reflecties iets minder hard te maken. Misschien is NBA 2K27 ook niet het beste voorbeeld van wat DLSS 5 aan de omgeving kan doen. In deze game vind je geen landschappen, planten of bomen.
Nvidia benadrukt dat DLSS 5 net als ieder AI-model een beter resultaat geeft met een gedetailleerdere prompt. Aangezien de prompt in dit geval het gerenderde beeld is, geldt dus dat een mooiere bron – hoge kwaliteit textures, raytracing of zelfs pathtracing – ook voor een beter eindresultaat moet zorgen. Nu staan sportgames doorgaans niet bekend om hun wereldschokkend mooie graphics, dus waarschijnlijk hebben we het beste van DLSS 5 hiermee nog niet gezien.
Eerste benchmarks
Om de prestaties in kaart te brengen, hebben we steeds het begin van een wedstrijd tussen de San Antonio Spurs en de Cleveland Cavaliers opgenomen. De kwaliteitsinstellingen hebben we steeds op maximaal gezet, net als in de screenshots.
Voor de tests gebruikten we ons standaard gpu-testsysteem, waarvan je de specificaties in het onderstaande kader terugvindt. Voor deze eerste kennismaking met DLSS 5 hebben we twee videokaarten getest: de RTX 5090 en de RTX 5070.
NBA 2K27 is van zichzelf geen zware game. Zonder DLSS 5 haalt een RTX 5070 al 108fps in deze game en een RTX 5090 levert zelfs gemiddeld 162fps. DLSS en zeker framegeneration kunnen dat nog verder opkrikken, maar dat heb je dus eigenlijk niet nodig in deze game.
Met DLSS 5 verandert de zaak. De GeForce RTX 5090 valt zonder upscaling terug naar 75fps, 54 procent minder dan zonder DLSS 5. DLSS-upscaling haalt niet veel uit, maar met 2x-framegen herstelt de framerate alweer naar 144fps. De game ondersteunt maximaal zesvoudige framegen, dus met die techniek kun je de framerate nog veel verder opschroeven.
Voor de RTX 5070 is gamen op 4k normaal gesproken geen probleem in NBA 2K27, maar met DLSS 5 hoef je daar niet aan te beginnen. Na het inschakelen van DLSS 5 krijgen we direct een rode 'Low vram'-melding in beeld en de framerate blijft hangen op 30fps. Framegeneration inschakelen heeft dan weinig zin. Voor een soepel ogend resultaat is de basisframerate te laag.
NBA 2K27 - 2560x1440 - Ultra
Videokaart
Upscaling
Minimum- / Gemiddelde framerate in fps (hoger is beter)
Op 1440p-resolutie haalt de RTX 5090 zonder upscaling al 133fps met DLSS 5. Dat is nog altijd 41 procent minder dan zonder DLSS 5, maar aangezien de framerates al zo hoog liggen, voel je daar weinig van.
De RTX 5070 komt op deze resolutie veel beter tot zijn recht en de melding over te weinig vram verschijnt nu niet. De impact van DLSS 5 blijft fors; je verliest bijna 64 procent van de framerate. Met 61fps zonder upscaling blijft die toch nog op een acceptabel niveau. Upscaling haalt opnieuw weinig uit, maar met framegen krijg je de framerate omhoog naar meer dan 100fps en dat speelt gewoon prima weg.
Voorlopige conclusie
Na de nogal onhandige eerste demonstratie kreeg DLSS 5 veel kritiek. Nu ik zelf aan de slag ben geweest met de nieuwe techniek, ben ik er een stuk positiever over. NBA 2K27 wordt gewoon een pak mooier als je DLSS 5 aanzet. De mooiere belichting en schaduwen voegen echt wat toe om de game realistischer te maken. Tegelijkertijd is het resultaat veel minder extreem dan in eerdere demonstraties en gemodde implementaties in andere games.
Een realistische en lichte game: de ideale showcase?
Deze basketbalgame leent zich ook wel daarvoor, want het doel is natuurlijk dat de personages er zo echt mogelijk uitzien. Ook helpt het dat de game van zichzelf niet veeleisend is. Zonder DLSS 5 is een RTX 5070 ruim voldoende om op 4k te gamen met de hoogste instellingen, inclusief raytracing.
Enorme prestatieimpact
Daardoor valt het mee hoeveel je in de praktijk merkt van de enorme impact die DLSS 5 heeft op de prestaties. Niet zelden lever je 50 tot 60 procent van je framerate in als je het aanzet. Voor 4k heb je zo opeens niet langer een RTX 5070, maar een RTX 5090 nodig. Pas op 1440p-resolutie trekt ook de RTX 5070 Nvidia's nieuwe techniek.
DLSS 5 krijgt het zwaarder in mooiere games
Met hardware die snel genoeg is, zou ik DLSS 5 zeker aanzetten in NBA 2K27. Dat is wel makkelijk gezegd, omdat de game van zichzelf niet al te veeleisend is. Ik ben benieuwd naar een officiële implementatie van DLSS 5 in een zwaardere en ook mooiere game. Aan de ene kant ga je met mooiere input waarschijnlijk nog beter zien waartoe DLSS 5 in staat is. Aan de andere kant heeft het grote prestatieverlies dan vermoedelijk nog veel meer invloed.
Voor iemand, misschien al wat ouder en minder kritisch op graphics, ziet dit eruit als de "wow je hebt een paar schaduwen toegevoegd!"-modus. Big whoop. Ja de belichting en huidstonen zijn ook realistischer ... maar het voelt zo overkill hier een bak AI/compute voor in te zetten die 50% fps vreet in een pc markt die al 100% op spanning staat. Dno, voelt wat onzinnig.
Games op 1440p met RayTracing zien er al geweldig genoeg uit. We kunnen best zonder bullshit AI technologie in games die de echte wereld om zeep aan het helpen zijn.
:strip_exif()/i/2008073642.jpeg?f=imagegallery)
:strip_exif()/i/2008348122.jpeg?f=imagearticlefull)
:strip_exif()/i/2008348134.jpeg?f=imagegallery)
:strip_exif()/i/2008348142.jpeg?f=imagegallery)
:strip_exif()/i/2008348146.jpeg?f=imagegallery)
:strip_exif()/i/2008348144.jpeg?f=imagegallery)
/i/2008347906.png?f=imagearticlefull)
/i/2008347864.png?f=imagearticlefull)
/i/2008347882.png?f=imagearticlefull)
/i/2008347910.png?f=imagearticlefull)
/i/2008347898.png?f=imagearticlefull)
/i/2008347900.png?f=imagearticlefull)
/i/2008347888.png?f=imagearticlefull)
/i/2008347886.png?f=imagearticlefull)
/i/2008347894.png?f=imagearticlefull)
/i/2008347914.png?f=imagearticlefull)
/i/2008086124.png?f=fpa_thumb)
:strip_icc():strip_exif()/i/2008073722.jpeg?f=fpa_thumb)
:strip_exif()/i/2008345280.jpeg?f=fpa)
:strip_exif()/i/2008328348.jpeg?f=fpa)
:strip_exif()/i/2007690972.jpeg?f=fpa)
:strip_exif()/i/2008073788.jpeg?f=fpa)
/i/2006053986.png?f=fpa)
:strip_icc():strip_exif()/u/235340/crop55ec8793545cf_cropped.jpeg?f=community)
/u/45661/Moogle.png?f=community)
:strip_icc():strip_exif()/u/754847/crop56fe1867da003_cropped.jpeg?f=community)
:strip_icc():strip_exif()/u/118562/crop635c3e935d159_cropped.jpg?f=community)