Nvidia introduceert dlss 2.0 en belooft meer beeldkwaliteit

Nvidia kondigt een tweede versie aan van zijn deep learning super sampling-techniek. Dlss 2.0 biedt een hogere beeldkwaliteit dan de eerste generatie en de kunstmatige intelligentie hoeft niet langer per game getraind te worden.

Nvidia's dlss-techniek rendert games in een lagere resolutie en vult de ontbrekende details vervolgens aan met behulp van kunstmatige intelligentie. De techniek werkt met de Tensor-cores van Nvidia's RTX-videokaarten. Bij de huidige implementatie moet Nvidia daarvoor per game een algoritme trainen aan de hand van gamebeelden die op een 16k-resolutie zijn gerenderd. Met dlss 2.0 is het niet langer nodig om voor iedere game een nieuw algoritme te trainen.

De tweede iteratie van de upscaletechniek biedt volgens de videokaartenmaker meer beeldkwaliteit met minder artefacten. Nvidia claimt dat het beeld er in sommige gevallen beter uitziet dan bij renderen op een native resolutie. Met dlss 2.0 is het mogelijk om een 1080p-resolutie te kiezen en op te schalen naar 4k. Volgens Nvidia zijn alle resoluties nu beschikbaar op alle RTX-gpu's, doordat de nieuwe dlss-versie beter presteert. Er zijn drie presets voor het gebruik van de techniek: Performance, Balanced en Quality.

Gameontwikkelaars moeten ondersteuning voor de techniek inbouwen; die werkt niet op alle games. In een blog toont Nvidia voorbeelden en video's waarin de twee dlss-generaties met elkaar worden vergeleken aan de hand van Control, MechWarrior 5, Deliver Us To The Moon en Wolfeinsten: Youngblood.

Reacties (80)

[lordawesome]

Om te beginnen is geen enkel screenshot hetzelfde, dus je kunt niet vergelijken. Maar als het goed werkt, zou het heel mooi zijn. Met de nadruk op als, want de vorige variant was waardeloos en volgens dezelfde nvidia geweldig.

[Jeroenneman]

Alles wat van Nvidia zelf komt inderdaad met een hele grote bak zout nemen.

Vooral omdat reviews lieten zien dat simpelweg renderen op lagere resolutie en dan een sharpening filtertje eroverheen betere resultaten lieten zien dat Nvidia's "AI Upscaling" onzin.

[cnieuweboer]

Die upscaling+sharpening ideeën kwamen voornamelijk bij het youtube kanaal "hardware unboxed" vandaan. Maar die hebben hun mening voor DLSS 2.0 volledig herzien: https://www.youtube.com/watch?v=ScAQ5Of1LfE

Leuke quote uit die video op 14:20 "The final results are as good as, or in some circumstances better than, the native 4k image."

[Polyanos]

Met de voorbeelden die nvidia zelf gebruikt in hun blog post heb ik bij de meeste gevallen de mening dat de DLSS off beter is en de DLSS on bij enkele daadwerkelijk echt heel dicht tegen native aan zit. Het verschil is echter aardig klein geworden, en voor ray tracing/net je doel fps halen zonder de kwaliteits-instellingen te verminderen is het een goede optie geworden.

[Polyanos]

Je bedoeld dat "Radeon™ Image Sharpening" filter? Hoewel dat alsnog ook een knap staaltje werk is, was dat wel vergeleken met DLSS 1.0. Ik ben nu dan ook zeer benieuwd hoe het zich vergelijkt met de nieuwere DLSS versie.

[oef!]

Check dit artikel even: https://www.techspot.com/article/1992-nvidia-dlss-2020/

[nullbyte]

Dan doe je iets niet goed, de vorige variant werkte prima.

[remcod2]

Het werkt zo goed dat er op foto 6 een hele map bij gerenderd is. Goede techniek.

Maar zonder gekkigheid knap staalt werk van nvidia. Hopelijk gaan ook veel game ontwikkelaars dit toepassen in hun games.

[RedPixel]

Zou je het niet gewoon aan (moeten) kunnen zetten in je drivers? Ik zie niet waarom het spel er expliciet ondersteuning voor zou moeten hebben.

Inderdaad toffe techniek! Weet iemand ook voorbeelden van programma's die foto's naar een hogere resolutie kunnen brengen d.m.v. kunstmatige intelligentie?

[mathijs727]

Zoals je uit de eerste foto/screenshot kan opmaken heeft DLSS naast de kleur van je pixels ook motion vectors nodig.
Dat is data waar je niet zomaar bij kan met een post processing filter.
Daarnaast wil je wss DLSS toepassen voordat de UI getekend wordt en niet daarna.

[Vlad86]

Correct, goede observatie.

[djexplo]

Je hoeft niet zelf meer je neuraal netwerk te trainen op een game, maar dat betekend niet dat je niet een aantal parameters per game-locatie moet doorgeven. Je zou je b.v. voor kunnen stellen dat een andere pre-trained netwerk word geladen voor een grasland, als voor een tunnel locatie.

Vandaar dat een game ondersteuning moet hebben...

[Reactie gewijzigd door djexplo op 22 juli 2024 15:07]

[MrFax]

Maar is AI daar eigenlijk niet heel geschikt voor: Het detecteren van wat voor locatie iets is? Zoals je zegt bijvoorbeeld gras, een tunnel etc. Dus het gebruiken van manual parameters lijkt me niet echt nodig meer anno 2020.

[Reactie gewijzigd door MrFax op 22 juli 2024 15:07]

[Vlad86]

Omdat je motion vectors nodig hebt en UI moet bovenop getekent worden in native res. Deze informatie is gewoon niet beschikbaar op driver niveau, omdat je de originele framebuffer moet gaan downscalen tenopzichte van je target res, dit kun je met de driver niet doen. De reden waarom dat niet kan, is omdat de driver beschikt niet over descriptor informatie en mag niet zo maar deze aanpassen, zonder dat iets anders breekt... dus je moet het ondersteunen vanuit de game.

[SirNobax]

Ik zie niet waarom het spel er expliciet ondersteuning voor zou moeten hebben.

De datasets die DLSS gebruikt voor het upscalen, zijn getrained met zeer hoge resolutie screenshots van het spel zelf (de "16K ground truth" zoals in de afbeelding).

[RedPixel]

Ja, niet dus: "DLSS 2.0 trains using non-game-specific content, delivering a generalized network that works across games. "

[SirNobax]

Gemist inderdaad. Dat was met DLSS 1 nog wel het geval.

Maargoed, de nvidia drivers hebben alsnog jittered pixel-samples en motion vectors nodig. Dat eerste lukt de driver wel mits er ondersteuning is voor MSAA (niet vanzelfsprekend tegenwoordig), maar velocity-/motion-vectors moet de game engine toch echt zelf op een manier aanleveren.

[Mic2000]

Gigapixel a.i. van topaz labs is een hele goede image upscaler. Trial kan je downloaden.

[Tourmaline]

Inderdaad erg goed. Ze hebben nu ook een versie voor video upscaling.

[Mic2000]

Yes, ik heb een paar video's omgezet van 480p naar 4K:

Home Alone:
https://www.youtube.com/watch?v=yNQdVjQAQLg

Lord of the Rings:
https://www.youtube.com/watch?v=b-U8CA1yF4U

The Matrix:
https://www.youtube.com/watch?v=1lmi0EjLzF4

[koelpasta]

een paar video's omgezet van 480p naar 4K

Mooi is het wel, maar bij lange na geen 4k. Het resultaat haalt grotendeels de 1080 niet eens.

[Mic2000]

Nee maar van 480p met een slechte bitrate van YouTube om mee te starten is ook niet geweldig.

Volgende stap is naar mijn mening dat ze objecten in afbeeldingen gaan herkennen, 3d model over dat object heen kunnen plaatsen met textures en zo groter renderen. Textures komen uit de afbeelding / referentie database. Dus deels hallucinatie zoals het nu ook al werkt.

[koelpasta]

Nee maar van 480p met een slechte bitrate van YouTube om mee te starten is ook niet geweldig.

Das waar, maar ik denk ook gewoon dat de resolutie niet genoeg is om het werkelijk naar 4k te brengen. Denk dat je wat dat betreft (op dit moment) niet veel meer moet verwachten dan een verdubbeling van resolutie (dus ong. 900-1000p uit een 480 filmpje).

Volgende stap is naar mijn mening dat ze objecten in afbeeldingen gaan herkennen, 3d model over dat object heen kunnen plaatsen met textures en zo groter renderen. Textures komen uit de afbeelding / referentie database.

Zou kunnen. 't Lijkt een mogelijke ontwikkeling. Maar ik denk dat dat nog wel heel lang gaat duren voordat je zoiets in je huiskamer kunt draaien. Zo'n model moet dan gigantische hoeveelheden data bevatten van eindeloos veel voorwerpen die het zou moeten kunnen identificeren. En bijvoorbeeld een kat, daar plak je niet zo makkelijk een texture overheen.
Zoals het nu gaat, met detecteren van verbanden in kleine groepen pixels is denk ik ook een beter algemeen model.

[Vlad86]

Er is al een Nederlandse game die gebruik maakt van DLSS 2.0: Deliver Us The Moon. De naam van de studio is KeoKeN Interactive B.V.

De game is een van de eerste drie games die met DLSS 2.0 is uitgebracht!

[N0stradamus]

Die game is van vorig jaar en DLSS 2.0 is van nu... KnapWerK van KeoKeN

[Vlad86]

Klopt, alleen er is een patch eind 2019 uitgebracht met RTX en DLSS 2.0 ondersteuning.

[Jeroenneman]

Nvidia claimt dat het beeld er in sommige gevallen beter uitziet dan bij renderen op een native resolutie.

Eigenlijk weet je na voorgaande zin al dat je weer bedonderd gaat worden door Nvidia.

[The_Wounded]

Dat ligt er aan, als je op native 4k medium settings draait maar je kan 1080p op ultra upscalen naar 4k met deze techniek kunnen ze gelijk hebben

[Jeroenneman]

Dat komt dan niet door DLSS, maar door een verschil in settings.

[SuperDre]

Maar het eindresultaat is dus dat jij wel beter beeld hebt die je anders niet had kunnen hebben, en DAAR draait het om.

[NEO256]

Even los van het pretentieuze van dat soort uitspraken, maar ik zelf loop ook niet altijd warm voor dit soort technieken.
Het licht er bij mij maar net per spel aan (vaak) of ik uberhaubt anisotropic filtering of anti aliasing zo hoog zet, omdat "ja, veel dingen zien er beter uit", maar het geeft me ook vaak een gevoel van "is er iets mis met mijn oog?", omdat er dan toch veel edge cases zijn waar door dit soort technieken niet werken.

Dan spreken ze hier over artifecten bij de oude techniek die gecontroleerd in wordt geleerd, maar nu claimen ze niet te hoeven in leren op grote datasets en dat het beter werkt.

Ik hoop dat dit gewoon een matige aanvulling blijft om wat details op te poetsen en niet het middel om zaken goed te renderen op hoge resoluties, want het algoritme gaat dus dadelijk bepalen "hoe het beeld eruit had gezien als we het daadwerkelijk gerendert zouden hebben". Dus je kijkt nooit naar de waarheid, maar alleen nog maar naar een "benadering van wat het algoritme vindt hoe het eruit had moeten zien".

[koelpasta]

Dus je kijkt nooit naar de waarheid, maar alleen nog maar naar een "benadering van wat het algoritme vindt hoe het eruit had moeten zien".

Je kijkt eigenlijk nooit naar 'de waarheid'. De data wordt altijd geinterpreteerd door shaders enzo. Dat is ook maar een benadering van wat de shader vindt datie moet tekenen in een bepaalde situatie.

[NEO256]

Alleen shaders zover als ik ze technisch kan doorgrond zijn wel meer een exact uitwerking.
Als ik een shader 100 keer laat tekenen onder verschillende omstandigheden (andere render engine, ander world map, andere positie) met dezelfde input variabelen dan krijg ik hetzelfde effect.

Maar met dit soort technieken probeer je een verfijning van bijna alles op het scherm aan te gaan, en dan ook nog eens data te verzinnen die niet voorhanden is om het beeld compleet te maken.

[koelpasta]

Als ik een shader 100 keer laat tekenen onder verschillende omstandigheden (andere render engine, ander world map, andere positie) met dezelfde input variabelen dan krijg ik hetzelfde effect.

Dat hoeft niet zo te zijn als je bijvoorbeeld andere hardware gebruikt om die shader op te draaien.
Een GPU gebruikt veel truuks bij het utvoeren van zn shaders.

[MazeWing]

Een flinke verbetering die voor een deel samenhangt met de sharpening filter die er al een hele tijd is.

Techspot heeft vorige maand een interessant artikel geplaatst en daar is eigenlijk al te vinden dat DLSS, sinds de release, flink verbeterd is. Ook omdat Nvidia van hun eerste manier van werken (waarbij elke game volledig werd geanalyseerd met als gevolg zeer weinig ondersteuning in games), naar een wat algemene manier met een flinke prestatiewinst tot gevolg.

Ik ben erg benieuwd om dit zelf te proberen, zodat ik eindelijk eens ray-tracing kan ervaren. Dit is gezien de resolutie waar ik op speel (3440x1440 op een 120hz monitor) praktisch onmogelijk zonder een techniek als DLSS...

[Rhaegar1]

Ter info voor mij. Kun je met die setup een beetje redelijk op lagere resolutie renderen dan? nadeel van WQHD leek mij dat je mischien niet echt een ideale upscaling krijgt als je gaat renderen op 2560x1080 of ligt dat aan mij? Had altijd het idee dat je liever netjes alles door 2 wilde delen bij lagere resolutie renderen of niet?

Ik zit te denken aan WQHD maar ik heb een GTX 1070 en i5 3570 dus zit een beetje te dubben of het het waard is.

[MazeWing]

Het probleem was (en geen idee of dat nog is) dat DLSS eigenlijk maar 3 resoluties had, allemaal gericht op 16:9. Er was geen "lagere" resolutie om te schalen naar 3440x1440.

Ik heb wel ergens gelezen dat er een soort van hack was voor Control, maar heb dit zelf nooit getest. Zeker omdat de kwaliteit (toen) niet in de buurt kwam met een native resolutie. Daarnaast had bij mij een hogere frame rate de voorkeur boven ray tracing...

[Rhaegar1]

Ah, op die manier. Thanks

[Scriptkid]

Wel leuk om het contrast van reacties weer te zien. toen RTX aangekondigd was was het duur niet nodig en iedereen tegen en meeste wisten niet eens wat tensor is en kan en dacht dat het RT was.

Nu worden de cores gebruikt en nu is ineens het een goede toevoeging. 50% meer FPS met RT aan op een 2060 zonder veel quality verlies nette AI prestatie.

[Reactie gewijzigd door Scriptkid op 22 juli 2024 15:07]

[Countess]

Dit is echter wel pas anderhalf jaar na release van de RTX series, wat voor een launch day features that 'just works' schandalig laat is.

De volgende serie is er al bijna, met veel sterkere ray tracing en AI performance.

[Scriptkid]

jij wil zeggen dat alles ook 64 bit support was toen dat op de processor beschikbaar kwam

of dat alles DX 12 ondersteunde toen de gpu dat kon etc..

[Countess]

Beide werkte en waren bruikbaar op de dag dat ze uit kwamen.

Dit niet. dit was onbruikbaar blurry.

Daarbij waren de 64bit CPU's en de DX12 GPU's sneller voor het zelfde geld als de voorgaande serie dus zelfs als je die features niet direct nodig had waren ze een prima koop.

Dat is niet het geval met de RTX series.

[Scriptkid]

Tensor was gewoon bruikbaar en functioneerde helemaal en ook de 2080 kaart is gewoon sneller dan de 1080 .

je kunt het draaien zoals je wilt maar fijten blijven dat de hardware gewoon doet wat het beloofd dat het bij jouw niet in de smaak valt of dat de software nog niet klaar was is bijzaak dit is altijd zo met cutting edge nieuwe functionaliteit dat heet adoptie.

[ChAiNsAwII]

Zal me benieuwen, de eerste dsl techniek was niet al te best en werd dik verslagen door bv Sapphire's trixx software:

https://www.pcworld.com/a...on-rx-5700-xt-review.html

[_RickvdL_]

Kijk, dat zijn de leuke artikels.
Ik merkte nu inderdaad wel dat bij games als Battlefield V dat tijdens het vliegen, de randen van de het vliegtuig heel korrelig en haast een beetje op ghosting ging lijken. Vergelijkbaar met de ventilator als in het 2e filmpje. Blijkbaar kon de techniek nog niet heel erg goed omgaan met snelheden op dat vlak. Snel maar weer eens testen!

[Reactie gewijzigd door _RickvdL_ op 22 juli 2024 15:07]

[Snake_Eye]

Met dit plaatje

DLSS off heeft betere schaduw details (dit kan je het beste zien als je het plaatje vergroot)
De DLSS on is minder mooi.
DLSS versie 2 lijkt scherper door randverscherping maar heeft minder schaduwdetails dan de DLSS off.

[Reactie gewijzigd door Snake_Eye op 22 juli 2024 15:07]

[lordawesome]

De belichting is ook anders. Dat komt waarschijnlijk omdat de screenshots niet gelijk zijn, haar hoofd staat onder andere anders. Dus lekkere vergelijking nvidia...

[Yonix]

Ik moet zeggen dat ik in het begin sceptisch was over DLSS en het eerder een gimmick vond. Echter, na het het spelen van 'Wolfenstein: Youngblood', met DLSS en Ray Tracing enabled, heb ik mijn mening herzien: de techniek is best indrukwekkend te noemen!

De performance gain, zonder ogenschijnlijke verlies van visuele kwaliteit, lijkt bijna een grafisch wonder! Mijn RTX 2080 Ti draait 'Wolfenstein: Youngblood' zonder kreunen of steunen op 1440p met alle grafische opties op maximaal (Ultra / Mein Leben) en DLSS ingeschakeld. Dan hebben we het over ruim 144 FPS!

Wat ik een welkome toevoeging vind in de nieuwe versie van DLSS, is de toevoeging van 'extra resoluties'. In 'Control' ben ik op 1440p namelijk beperkt tot een DLSS rendering resolution van 960p. Dat maakt het spel soms best blurry allemaal. Of dat ik, met mijn RTX 2080 Ti, in 'Battlefield V' geen DLSS kan gebruiken in mijn native resolution van 1440p. Maar goed, DLSS 2.0 moet daar dus verandering in aan gaan brengen.

Kortom: ik zie zeker een toepassing en toekomst in DLSS!

[Reactie gewijzigd door Yonix op 22 juli 2024 15:07]

[Marctraider]

Uiteindelijk kan het de boel in bepaald perspectief verbeteren, maar net als bv. FXAA en soortgelijke technieken krijg je altijd pixel inaccuracy. Eigenlijk is het gewoon een subjectieve image verbetering.

M.a.w. je krijgt nooit strict het beeld wat de game je zou (kunnen) laten zien, zou je op hogere resolutie spelen (en game delivered gewoon high res textures).

Je krijgt gewoon een approximation / interpolatie voorgeschoteld.

Hoe zit dat met image jitter op een bewegend beeld? Wat je ook bij postfx antialiasing e.d. kan observeren?

Wat ik me ook afvraag, als dit door middel van machine learning wordt gedaan, waar wordt het dan gedaan? Is dit machine learning in realtime?

Of heeft Nvidia zelf de machine learning overheen gegooid en is deze techniek bij de eindgebruiker eigenlijk een gewoon een fixed algorithm?

Als het wel in realtime wordt gedaan, is het resultaat bij exact dezelfde 1:1 frame bij elke rendering pass weer iets anders?

[Reactie gewijzigd door Marctraider op 22 juli 2024 15:07]

[Mic2000]

Ik denk een fixed algorithm, net zoiets als image upscalers. Als je zoekt op YouTube home alone 400% upscale, is een video die ik hoor het algoritme van topaz heen heb gehaald. Eigenlijk hun gigapixel applicatie maar dan voor video frames.

[koelpasta]

maar net als bv. FXAA en soortgelijke technieken krijg je altijd pixel inaccuracy. Eigenlijk is het gewoon een subjectieve image verbetering.

Hmm, ben ik het niet helemaal mee eens.
FXAA haalt in principe informatie weg. Het beeld ziet er welliswaar smoother uit, maar de algehele resolutie wordt lager.

Dit algoritme voegt (inderdaad gegokte) informatie toe.
Daarnaast is de informatie welliswaar 'subjectief', maar is het wel erg goed gegokt.

[Rixos]

En het mooie is ook nog eens dat het echt werkt, en doet wat het belooft.

Een zelfde beeld (of soms zelfs beter) t.o.v. native resolutie met performance winst.

https://www.youtube.com/watch?v=ScAQ5Of1LfE

Ik moet het Nvidia nageven, samen met raytracing zijn ze toch echt mooie technieken aan het pushen de laatste tijd die gaming echt naar een hoger niveau gaan tillen.