Nvidia DLSS 3 belooft hogere framerates door nieuwe frames te creëren - update 3

Nvidia introduceert een nieuwe versie van zijn DLSS-upscalingtechniek. Versie 3.0 krijgt de mogelijkheid om geheel nieuwe frames te creëren, waar de voorgaande versies alleen bestaande frames konden upscalen. DLSS 3.0 werkt exclusief op RTX 40-videokaarten.

Nvidia schrijft dat DLSS 3.0 'tot vier keer betere framerates' kan leveren dan bij het traditioneel renderen van games. De upscalingtechniek krijgt daarvoor een nieuwe optical flow accelerator, die compleet nieuwe frames genereert. Dat gebeurt door twee sequentiële frames in een game te analyseren. Daarmee berekent de optical flow accelerator hoe objecten en elementen in een gamescène zich tussen die twee frames verplaatsen op het scherm. Deze informatie wordt vervolgens samen met geüpscalede frames in een neuraal netwerk gevoerd. Het Frame Generation-algoritme genereert vervolgens een tussenliggende frame, voor een soepelere overgang.

Dit betreffen dus geheel nieuwe frames, die niet door de gpu zelf berekend hoeven te worden. DLSS 3.0 moet daarmee 'aanzienlijk' hogere framerates dan voorheen bieden. Deze voordelen zouden gelden voor games die cpu- en gpu-limited zijn, omdat de nieuwe frames niet worden gerenderd in de traditionele grafische pipeline en de cpu en gpu dus niet belasten.

Hiermee werkt DLSS 3.0 aanzienlijk anders dan de huidige versie van DLSS. DLSS 2.0 is een techniek voor temporal upscaling. In de praktijk betekent dit dat DLSS 2.0 gebruikmaakt van informatie uit voorgaande frames om huidige frames te verscherpen. Daarbij worden geen nieuwe frames gegenereerd. Tweakers schreef eerder een achtergrondartikel waarin de werking van Nvidia DLSS wordt uitgelegd, naast de werking van AMD FSR 2.0 en Intel XeSS.

DLSS 3.0 komt beschikbaar voor 'meer dan 35' games, waaronder titels als Cyberpunk 2077, F1 22, Hitman 3, Microsoft Flight Simulator, Stalker 2 en The Witcher 3: Wild Hunt. Ook verschillende game-engines krijgen ondersteuning voor de upscalingtechniek, zoals Frostbite, Unity en Unreal Engine 4 en 5. De nieuwe techniek bouwt verder op DLSS 2.0 en kan daardoor volgens Nvidia relatief gemakkelijk in bestaande games met DLSS geïntegreerd worden. De nieuwe techniek werkt alleen op RTX 40-gpu's en komt dus niet beschikbaar voor oudere RTX-kaarten.

Update, 21.56 uur: In het artikel stond dat DLSS 3.0 informatie uit voorgaande frames gebruikt om daarna een extra frame te genereren en te tonen. Dit lijkt niet te kloppen; in een hands-on schrijft Digital Foundry dat met DLSS 3.0 twee frames worden gerenderd met bestaande renderingstechnieken, waar vervolgens een derde 'geïnterpoleerde' frame tussenin wordt gevoegd. Het artikel is hierop aangepast.

Update 2, woensdag: Nvidia bevestigt tegenover Tweakers dat DLSS wél informatie uit voorgaande frames gebruikt om een extra, toekomstige frame te genereren. Er is volgens het bedrijf dus geen sprake van interpolatie. Het artikel is daarop aangepast.

Update 3, vrijdag: Nvidia geeft in een GTC-keynote over AI meer informatie over de werking van DLSS 3. Daarin werd een werking beschreven die tóch meer lijkt op interpolatie. Een woordvoerder van Nvidia vertelt nu aan Tweakers dat DLSS 3 inderdaad toch geen toekomstige frames genereert, maar tussenframes. Bovenstaande verklaring van Nvidia leek dan ook niet te kloppen. Het artikel is aangepast.

Reacties (128)

[Osiummaster]

Door twee frames nodig te hebben loopt je echte game dus altijd een frame achter op wat je PC eigenlijk al heeft gerenderd? Vraag me af hoe soepel dit nog aanvoelt op "lage" frame rates van 20ms tikt de input delay wel flink aan

[AverageNL]

Edit 3: ik heb reactie van Nvidia:

DLSS3 can work with native frames or DLSS2 Super Resolution Frames. There the user has the choice

But it is not interpolation, but AI frame generation. A future frame is generated. For this, the data from the Optical Flow Accelerator are immensely important.

Het lijkt er dus toch op dat mijn eerste aanname wél klopte: ze gebruiken (eventueel) DLSS om een frame te renderen, en volgen die op met een 'voorspelde' toekomstige frame. Ik duik zo de podcast in, maar pas het artikel z.s.m. (opnieuw) aan.

Cc: @Osiummaster, @M1tch, @Alfredo en @A Lurker

Edit 2: Ik zit toch nog even te kijken, en nu begin ik weer te twijfelen. Naar mijn idee suggereert deze afbeelding dat DLSS 3.0 een frame rendert op de onderstaande manier, en daaropvolgend een nieuwe, gegenereerde frame 'voorspelt'.

Nvidia zegt echter ook dat DLSS 3.0 'intermediate frames' genereert, wat dan weer kan betekenen dat DLSS de beweging tussen twee frames bekijkt en daartussenin een extra frame 'plakt'. Dat lijkt dan inderdaad meer op 'gewone' interpolatie (zoals eerst eigenlijk ook werd gesuggereerd in het artikel). Dat is ook hoe Digital Foundry dat uitlegt in een hands-on. Ik vermoed dus dat dat laatste toch het verhaal is. Ik pas het artikel aan, maak dat kenbaar in een update, en vraag het morgen meteen na bij Nvidia (voor het geval dat).

CC: @M1tch, @Alfredo en @A Lurker
---

Nee, ze gebruiken de huidige frame en een voorgaande frame (die dus eerder al getoond is), vooral om bewegingen van objecten in beeld te brengen. Althans, dat is hoe DLSS 2.0 het doet. Nvidia zegt zelf dat deze nieuwe 3,0-versie verderbouwt op de beginselen van DLSS 2.0, dus ik vermoed dat dat aspect ongewijzigd is

Edit om dat wat verder te verduidelijken:

In de huidige vorm rendert een RTX-gpu gewoon een frame vrijwel volledig, tot aan de 'post-processingstap'. Daarna gaat die nieuwste frame door de DLSS 2.0-'autoencoder', die de frame opschaalt door details uit die frame te combineren met details uit voorgaande frames. Daarbij wordt ook gebruikgemaakt van zogeheten motionvectors en informatie over de diepte van een frame.

Daarna gaat die nieuwste frame gewoon door de normale post-processingstappen heen (waarbij bijvoorbeeld dingen als bloom, motionblur, etc. worden toegevoegd). Dat alles voegt inderdaad wel wat extra latency toe, maar dat valt in het niet bij het renderen van een compleet nieuwe frame.

Ik schreef hier ooit een (naar mijn bescheiden mening) interessant Plus-achtergrondverhaal over als je meer details wilt, maar bovenstaande is de TL;DR

[Reactie gewijzigd door AverageNL op 25 juli 2024 22:42]

[M1tch]

Maar in dit geval worden er extra frames gegenereerd tussen de vorige frame en de huidige frame.
Al gaat het generen van deze frames supersnel. deze frames moeten nog effectief voor de huidige frame getoond worden, terwijl je anders meteen de huidige frame laat zien.
Dus er is in vergelijking met DLSS2 nog wel extra latency, namelijk maximaal de frametijd, en minimaal de (frametijd / n gegenereerde frames) * (n gegeneerde frames - 1).


Dit lijkt me logisch, toch ?
Tenzij ik het concept helemaal niet begrijp

[Reactie gewijzigd door M1tch op 25 juli 2024 22:42]

[Alfredo]

Ik denk dat dit fout beschreven wordt in het artikel. In het persbericht staat het volgende:

"Pairs of super-resolution frames from the game, along with both engine and optical flow motion vectors, are then fed into a convolutional neural network that analyzes the data and automatically generates an additional frame for each game-rendered frame"

Het frame dat berekend wordt is het volgende frame, en geen interpolatie van de vorige twee frames. Daar heb je ook helemaal geen fancy machine learning voor. TVs doen dat al jaren met hun "Sport mode" door gewoon 2 frames te interpoleren, en dan krijg je inderdaad het geval dat jij beschrijft.

EDIT - Ik denk dat het originele artikel wel correct kan zijn. Engadget zegt dat het gewoon frame interpolation is zoals TVs ook doen, maar dan fancy met motion vectors.

[Reactie gewijzigd door Alfredo op 25 juli 2024 22:42]

[M1tch]

Als dat klopt, dan is er inderdaad geen extra latency. Dat maakt het ook nog eens extra indrukwekkend. Ik vraag me af hoe ze dan bijvoorbeeld een object dat van achter een muur verschijnt extrapoleren. Gezien die informatie dan nog niet bestaat in framebuffers, zou die van ergens anders moeten komen. Ik ben benieuwd!

[jfdaniels]

Op dat vlak lijkt het me dan ook vooral een esthetische gimmick (vloeiender beeld), eerder dan iets voor zaken waar je voordeel haalt uit hoge framerates (bv first person shooters).

Namelijk qua input ga je nog steeds lag hebben. Als je net na een echte frame plots verandert van beweging, dan is er voor de software niets om op af te gaan. Je oude beweging zal zich dan voortzetten totdat er weer een echt frame gerenderd wordt en er plots een correctie volgt.

Lijkt me toch een heel stuk complexer dan het upscaling probleem om juist te krijgen.

[AverageNL]

Zit wat in! In een wat uitgebreidere uitleg spreekt Nvidia (net als in de presentatie) over 'intermediate frames', wat ik vertaalde als 'tussenliggende frames' - dat kun je op twee manieren opvatten, zoals @Finraziel ook al opmerkte

Ik vermoed, op basis van dit diagram, dat een nieuwe frame wordt gerenderd en geüpscaled met info uit een vorige frame. Vervolgens maakt DLSS 3.0 een geheel nieuwe frame. Nadat die is getoond wordt weer een volledig nieuwe frame gerenderd en geüpscaled. Althans, zo interpreteer ik het verhaal van Nvidia. Ik zal de tekst wat verder aanscherpen (en voor de zekerheid een lijntje uitgooien bij Nvidia)

Cc: @A Lurker

[Reactie gewijzigd door AverageNL op 25 juli 2024 22:42]

[M1tch]

Ik heb het persbericht ook eens doornomen, en het is voor interpretatie vatbaar. Zeker de moeite om eens wat meer uitleg te vragen bij NVidia inderdaad.

[Mijiru]

Volgens mij gebruiken ze de nieuwe motionvectors en andere DLSS trukjes uit frame 0, om meteen aan de slag te gaan aan een interpolatie van frame -1 en 0, terwijl frame 0 nog ergens in het begin van de renderpipeline zit. Als "DLSS 3" kan beginnen aan frame -0.5 voordat frame 0 af is en naar de "DLSS 2" upscaler gaat (wat ook een klein beetje extra latency toevoegt) is het verlies miniem. (≤ 0.5 frames)

Edit/P.S. Los van input lag moet je ook rekening houden met effectieve/totale pixel response time van je VRR monitor, en deze schalen vaak ook met de refreshrate. Dus het kan alsnog mogelijk zijn dat je met 5ms extra latency, maar ook een hogere framerate, je alsnog beter af bent.

[Reactie gewijzigd door Mijiru op 25 juli 2024 22:42]

[redzebrax]

Ik lees ook verschillende interpretaties en het zal even afwachten zijn, maar volgens https://www.overclock3d.n..._series_gpus_can_run_it/1
De DLSS frame generatie is een laag bovenop de bestaande DLSS 2.0 AI opschaling en daarbij zou een tussenliggend beeld getoond worden voor het huidige frame en dus moeten frame 0 en 1 al bestaan. Ze gaan er hier vanuit dat in combinatie met Nvidia's reflex low latency, hetwelk ook door het spel moet ondersteund worden, de latency penalty zo goed als teniet wordt gedaan (ik vermoed dan +/- dezelfde latency indien je de extra DLSS frame generatie niet zou gebruiken). Dus dubbel zoveel frames, maar ongeveer dezelfde latency; Het zal even afwachten worden tot de kaarten echt worden getest;
edit: oh het artikel was al aangepast, inderdaad dus interpoleren tussen 2 bestaande frames met wat extra AI, ik zie niet in waarom AMD dit ook niet softwarematig zou kunnen toepassen, de postprocessing zal daar wel wat extra latency invoegen, maar een verdubbeling in framerate zullen mensen met oudere kaarten ten zeerste kunnen appreciëren en die latency erbij nemen (vroeger had je ook technieken als double of triple buffering)

[Reactie gewijzigd door redzebrax op 25 juli 2024 22:42]

[langestefan]

Was een interessant artikel, mooie toepassing van AI.

[redzebrax]

@AverageNL Opmerkelijk dat het toch een future frame is, maar ook in hun antwoord dat de upscaling nog altijd DLSS2 is. Blijft dat deel identiek aan de vorige generatie ? en kunnen we verwachten dat upgrades hiervoor ook gelden voor deze vorige generaties ? DLSS 3 wordt voorgesteld als de next DLSS maar in hetzelfde antwoord gebruiken ze de naam DLSS 3 om alleen de extra frame generatie aan te duiden die onafhankelijk werkt van DLSS 2. De feature kan je blijkbaar ook op native frames gebruiken.
Een heel verwarrende naamgeving.

[AverageNL]

Voor zover ik het begrijp bestaat DLSS 3.0 uit twee onderdelen: DLSS Super Resolution en DLSS AI Frame Generation. Dat eerste zou dan de upscalingstap zijn zoals we die eigenlijk al kennen. AI Frame Generation is een nieuw gedeelte, waarbij dus een nieuwe frame wordt gegenereerd op basis van informatie uit andere frames. Dat laatste kun je inderdaad los gebruiken, ook zonder DLSS Super Resolution-upscaling. Dat bevestigde Nvidia eerder op deze avond ook tijdens een persevenement waarbij ik aanwezig was. De verwachting is dat DLSS 3.0-games toggles krijgen om AI Frame Generation en Super Resolution los van elkaar aan en uit te zetten

Ik weet niet zeker of DLSS Super Resolution (dus de upscalingstap) in enige mate is veranderd in 3.0. Het antwoord van Nvidia suggereert inderdaad dat dat niet het geval is. Nvidia verduidelijkte onlangs overigens ook op ResetEra dat gebruikers met een RTX 20- of RTX 30-videokaart ook DLSS 2.0-upscaling kunnen gebruiken in DLSS 3.0-games (maar dan dus zonder AI Frame Generation) - dat wijst er ook op dat dat aspect verder ongewijzigd is. Ik kan me wel voorstellen dat eventuele toekomstige upgrades van Super Resolution ook voor oudere kaarten gelden (tenzij ze echt de werking compleet omgooien), maar da's stiekem speculatie van mijn kant

[redzebrax]

Daarom DLSS staat voor deap learning super sampling. Dit aspect lijkt hetzelfde te zijn in de nieuwe generatie namelijk DLSS2. Extra frames toevoegen heeft niks te maken met die naam dat is gewoon een nieuw feature wat zoals jij bevestigd onafhankelijk kan werken, geen idee waarom ze dit DLSS3 hebben genoemd, in hun antwoorden blijkt dat ze het onderscheid ook niet echt kunnen maken. Het had misschien beter AIFG1.0 kunnen noemen en verder de naam DLSS voeren waarvoor hij werkelijk bedoeld is.
edit:
Nu volgens comments van Nvidia engineers op twitter zou in theorie de AI Frame Generation ook kunnen werken op RTX20- of RTX 30 kaarten mits wat meer overhead (latency) en verder onderzoek/inspanning.
https://wccftech.com/nvid...ppen-teases-rtx-i-o-news/
Het wordt alleszins een leuke tijd voor jullie om al deze nieuwe aspecten te testen, wat de raw performance verbetering is en de nieuwe features, in welke omstandigheden bruikbaar en niet (latency). Het gaat er niet eenvoudiger op worden om kaarten onderling te vergelijken.

[Reactie gewijzigd door redzebrax op 25 juli 2024 22:42]

[AverageNL]

Ik kan mijn originele comment niet meer editten, dus dan maar even zo. Ik keek gisteren een GTC-keynote van Nvidia, waarin meer informatie over DLSS 3 werd gegeven. De beschrijving daar leek toch een stuk meer op interpolatie. Ik heb naar aanleiding daarvan nóg een keer verhaal gehaald bij Nvidia, en krijg nu deze reactie:

DLSS Frame Generation generates an intermediate frame (not a future frame) based on the latest and prior frame.

Geen idee waar Nvidia in zijn eerdere reactie 'future frames' vandaan haalde, maar dat klopte dus gewoon niet. Het artikel is wéér aangepast

Ik wilde de wijziging via deze weg even kenbaar maken. Ik kijk nog even of/wat we hier verder nog mee moeten

Cc: @M1tch , @Alfredo, @redzebrax, @Finraziel en @A Lurker

[Finraziel]

Pfff... Dan ben ik benieuwd of Nvidia nou echt zo'n bijzondere magie uit weet te halen dat ze ondanks de inherente vertraging van zo'n systeem toch ook zoveel winst weten te halen juist op latency vlak... Of dat ze gewoon liegen in die demonstratie met Cyberpunk (of dat het zo'n uitzonderlijke situatie is dat het vrijwel op liegen neerkomt).
Ik kan me niet voorstellen dat een interpolatie techniek zo goed kan werken als zij suggereren... Maar we zullen zien.

[M1tch]

Bedankt voor de verduidelijking !

[A Lurker]

Klopt.

Double buffering was dat ook al, waarbij er een frame gebuffered werd voordat het getoond werd. Dit om screen tearing tegen te gaan (zie ook v-sync technologie). Triple buffering bufferde zelfs twee frames volledig als ik me niet vergis.

Ik vermoed dat het voor echt lage FPS niet gebruikt zal worden, ook al zal je game wel vloeiender lopen, de input zal dat dan niet zijn inderdaad, paradoxaal genoeg.

Voor wat hogere FPS zul je de input lag niet merken vermoed ik.

[Reactie gewijzigd door A Lurker op 25 juli 2024 22:42]

[Finraziel]

Nee, klopt niet... Althans, als ik jullie goed begrijp.

Ik vermoed dat jullie denken dat het werkt zoals een tv die frames er bij verzint. Een tv wacht tot het de volgende frame ontvangen heeft, geeft dan het voorgaande frame weer en gaat dan de tussenliggende frames genereren. Daarbij heb je dus altijd minstens 1 frametime aan vertraging.

Als ik goed begrijp wat Nvidia hier doet dan is dat hier niet van toepassing. De cpu en gpu doen gewoon hun ding zoals ze normaal ook doen. In theorie komt daar dus geen vertraging bij. Op het moment dat de gpu een frame aflevert wordt het gewoon weergegeven, geen vertraging.

Maar in de tijd tussen dat frame en het volgende frame gaat een ander stukje silicon aan de slag met het vorige frame, de frames daarvoor en de vector informatie die het van de game engine heeft om uit dat alles zo goed mogelijk te raden wat het volgende frame zou kunnen zijn. Als alles perfect werkt (is natuurlijk nog de vraag) zou dit geen extra latency moeten introduceren.

[A Lurker]

Uit de tekst:
Dat gebeurt door twee sequentiële frames in een game te analyseren. Daarmee berekent de optical flow accelerator hoe objecten en elementen in een gamescène zich tussen die twee frames verplaatsen op het scherm.

Alles staat of valt bij het feit of de implementatie naast frame 1 ook frame 2 nodig heeft om frame 1.5 te 'maken'.

Idealiter kunnen ze frame 1 dan extrapoleren tot frame 1.5, maar ik vrees dat dat echt snel voor artefacten zorgt. TVs hebben ook de nodige artefacten en dat is dan met interpolatietechniek (geen extrapolatie).

Edit: ah volgens mij gebruikt hij frame 0 en 1 om 1.5 te maken. Zie ook de reacite van @AverageNL . Dan is er inderdaad geen sprake van vertraging, net zo min als bij de huidige upscaling DLSS. Wellicht even verduidelijken in het artikel over welke twee sequentiele frames het dan gaat Alhoewel ik me kan voorstellen dat je bewegingsinformatie slechter kunt extrapoleren dan scherpte. Als objecten niet substantieel veranderen kun je historische informatie prima gebruiken voor upscaling, maar bewegingen kunnen vaak ad-hoc zijn en gevoelig voor artefacten. We zullen moeten afwachten hoe (goed) het zich gaat gedragen in de praktijk.

[Reactie gewijzigd door A Lurker op 25 juli 2024 22:42]

[Finraziel]

Dat is een verschil in interpretatie. Ik denk dat bedoeld wordt dat frame 1 en frame 2 gebruikt worden om frame 2,5 te maken, niet frame 1,5.

[Sp3ci3s8472]

Dat is dus extrapolatie en kan dus fout zijn (wat als een speler ineens de andere kant op gaat). Lijkt mij niet dat Nvidia doet maar dat ze gewoon interpolatie toepassen maar dan met ML.

Stel dat je met een lage frame rate extrapolatie doet. Je draait ineens de camera om waardoor de voorspelling van frame 2.5 extra fout is. Dat gaat gigantisch fout en zou ik niet als gamer willen.

Bij interpolatie dus frame 1.5 zal er altijd iets van frame 1 en frame 2 in beeld zijn wat een veel netter resultaat geeft. Alleen als je al een lage framerate had dan krijg je input lag en als je een cpu limit had dan zal dat misschien nog wat vervelender zijn omdat de cpu een frame later pas jouw nieuwe input data krijgt.

[Finraziel]

Als het werkt zoals jij denkt dan is het dus niks anders dan wat tv's al jaren doen en wat ook al jaren bekend is dat je dat als gamer zo snel mogelijk uit moet zetten. Het is gewoon niet mogelijk om dat te doen zonder significante latency te introduceren.

Laat Nvidia nou net ook een flinke verbetering in latency claimen. Sowieso hebben ze het ook over reflex waarmee ze latency verminderen. Nou zou je kunnen denken dat dat dan de extra latency van op een frame wachten deels moet compenseren, maar op hun pagina tonen ze ook een voorbeeld van een test met Cyberpunk waarop ze claimen van 22 fps met 166 ms latency naar 98 fps met 58 ms latency te gaan. Als ze op 22 fps een frame moeten bufferen dan kost dat al 45 ms. Er is wat mij betreft nul kans dat hun reflex zo waanzinnig goed is dat die de latency van de hele rest van de pijplijn van 166 ms naar 13 (wat er nog over is na wachten op een frame) weet te brengen.

Wat betreft de fout die je krijgt als de speler ineens een andere kant op gaat, ik denk dat je dat effect overschat. Hoeveel games ken je waarin je op 50 ms compleet een andere kant op draait? Misschien wat eenvoudige platformers zoals super meatboy of zo (zelf niet gespeeld maar ik kan me voorstellen dat het daarbij zou kunnen), maar dat zijn meestal ook niet de games die een techniek als dit nodig gaan hebben. In verreweg de meeste grafisch veeleisende games als je ineens een andere kant op gaat zal je karakter een animatie gebruiken waarbij deze eerst af remt en dan de andere kant op beweegt, iets wat veel meer dan een of twee frames aan tijd kost.

Je zult echter waarschijnlijk wel wat foutjes kunnen zien en dat zal duidelijker worden hoe lager de originele framerate is. Ik denk daarom dat het waarschijnlijk het beste zal werken als de framerate al niet al te laag was, bijvoorbeeld om van 50 fps naar 100+ te gaan, niet van 20 naar 80 wat Nvidia nu suggereert. Maar we zullen moeten afwachten hoe goed het in de praktijk werkt.

[jfdaniels]

Maar wel issues met de input natuurlijk. Stel je beweegt 1 cm per frame naar rechts. Op Frame A start je aan positie 0. Op frame 1 sta je op 1 cm. Tussen frame B en C verander je plots naar links aan dezelfde snelheid. Frame C toont dan opnieuw een positie op 0.

Nu ga je plots extra frames toevoegen op basis van voorgaande bewegingen. Frame A2 is dan op 0.5, frame B op 1, frame B2 op 1.5 en dan plots naar 0 in frame C. Dit geeft dus een grotere sprong dan zonder extra frames. Lijkt me niet ideaal.

[Finraziel]

Dat klopt, maar zolang je basis framerate niet te laag is zal dat niet snel een groot probleem zijn denk ik. Je wil natuurlijk niet 20 fps naar 80 gaan upsamplen of zo. Maar als je van 50 naar 100 fps gaat dan heb je het over een window van 10 ms. Ik denk dat de vloeiendere beweging zolang je in dezelfde richting beweegt dan ruimschoots compenseert voor de kleine stotter op het moment dat je van richting verandert.

[Rainbow]

Als ik dit artikel goed begrijp is dat helaas niet hoe het werkt: review: Hoe werkt Nvidia's DLSS 3? - AI genereert frames voor hogere framerates

Er wordt als een frame klaar staat een “tussenframe” gemaakt tussen de vorige en de huidige frame. Dan kan wel extra latency geven (die volgens Nvidia weer gereduceerd kan worden met Nvidia Reflex).

[Finraziel]

Klopt, je bent een beetje late to the party
Ik moet het ook maar zien, ik geloof er eigenlijk weinig van dat de techniek echt zo wonderbaarlijk is als Nvidia claimt als ze dus wel frames moeten bufferen om het te laten werken.

[Rainbow]

Ja klopt. Ik lees artikelen altijd pas een beetje later, en dan in de comments ook vooral de groene (alles lezen is te veel), en jou comment viel me op na de nieuwe informatie. Dus ik dacht wellicht is het voor mogelijke toekomstige lezers handig om die extra informatie toe te voegen (aan de andere kant zal de kans klein zijn dat nog veel mensen dit artikel en jou comment lezen, en nog kleiner dat ze mijn comment lezen).

[PjotrX]

Zo moet je niet zien. Je inputlag in het aantal frames neemt inderdaad toe. Maar je inputlag in tijd blijft hetzelfde. Oculus doet hetzelfde met Asynchronous SpaceWarp, hiervoor gebruiken ze ook laatste twee frames of een nieuwe te genereren. Dit werkt best wel goed.

[Jonataurus]

De input lag neemt weldegelijk toe. Wanneer er een nieuwe frame is gerendeerd kan dlss 3 beginnen met interpoleren, en als die af is zie je die geïnterpoleerde frame, en even daarna pas zie je de frame van het begin van deze zin. Terwijl je die ook meteen had kunnen zien toen hij af was.

En asynchronous space warp werkt totaal anders. Heeft niks met interpolatie te maken. Als je wilt weten hoe dat werkt kan ik deze presentatie van John Carmack aanraden, https://www.youtube.com/w...olofScienceandEngineering het belangrijkste deel begint om 30:50

[PjotrX]

Dlss 3 interpoleert niet maar extrapoleert net zoals asw.

[Sp3ci3s8472]

Heb je daar een bron van want alles wijst er nu op dat het om interpolatie gaat en dat geeft gewoon meer input lag.

[PjotrX]

Ik heb even de originele marketing materials van Nvidia erover gelezen (https://www.nvidia.com/en...ral-graphics-innovations/) en het en het staat er inderdaad niet echt duidelijk in. Ze hebben over intermediate frames want zowel interpolatie en extrapolatie kan betekenen. Maar in hun diagram staat wel dat ze frame 4 renderen met behulp van een 1/4 resolutie versie van frame 1 en 3 . Waardoor ze beweren op een shading rate van 1/8 uit te komen, met alleen interpolatie zou je technisch gezien nooit op een shading rate van 1/8 uitkomen. Verder staat er dan de input lag juist lager is door gebruik van nvidia reflex. Maar als je zou interpoleren dan zou je zelfs met nvidia reflex je input lag niet lager kunnen krijgen dan sommige games die geen reflex en dlss gebruiken dus ik vind het een gekke statement.

Het is dus allemaal niet echt duidelijk ik ging vanuit dat ze het extrapoleerden omdat oculus dat ook doet en ik zie niet in waarom je het niet zou doen, oculus heeft al laten zien dat er een enorme meerwaarde valt te halen en die extra artefacten die je ziet tegenover interpolatie vallen weg tegen de voordelen van de vloeide gameplay.

Hoe dan ook als je het alleen over latency hebt beweert nvidia die laag te houden met hun reflex technologie, of dat zo is zien we wel met de analyses bij de release

Trouwens: het interpolatie van frames in games werd al heel lang geleden ook gedaan, ik heb op siggraph in 2010 al een presentatie gezien van lucasarts (zie https://slideplayer.com/slide/2718135/ ) waar ze dit ook al deden. Dit was alleen op consoles omdat de API's op pc's niet low-level genoeg waren om dit te doen. Ook werd dit nog gedaan met velocity vectors die de game zelf berekende, een beetje zoals nu wordt gedaan in TSR van de Unreal Engine.

[Carn82]

Om latency te verminderen komt Nvidia's 'Reflex' om de hoek kijken. De komende dagen zullen ongetwijfeld flink wat benchmarkfilmpjes online verschijnen

DLSS 3 integrations also incorporate NVIDIA Reflex, which synchronizes the GPU and CPU, ensuring optimum responsiveness and low system latency.

[joost00719]

Krijg het gevoel dat ze door hebben dat veel mensen geen 40xx kaart willen kopen, en daarom dus maar exclusieve features gaan toevoegen om meer mensen over de lijn te duwen.

[okexox]

Ik snap die redenatie niet helemaal?

DLSS 3.0 werkt op basis van een proces dat optical flow accelerators gebruikt, dus je moet het op de nieuwe videokaarten doen? Ik snap niet hoe je deze feature niet niet exclusief kan maken.

[MeNTaL_TO]

Heel simpel en de toekomst zal dat uitwijzen (of het waar is), zijn de optical flow sensors bedacht hiervoor als excuus om oudere kaarten niet te ondersteunen of zijn ze daadwerkelijk nodig.
De trackrecord voor echt nodig is bij Nvidia niet echt hoog, als voorbeeld de PhysX cpu/gpu debacle.

[Reactie gewijzigd door MeNTaL_TO op 25 juli 2024 22:42]

[PjotrX]

Het is niet perse nodig maar het is de vraag of je voor iets een speciale hardware bouwt of dat je het implementeert op bestaande architectuur. Voordeel van speciale hardware is minder stroomverbruik/warmte en je belast de bestaande hardware niet. Later als hardware beter wordt en er nieuwe inzichten zijn kan het best wel zo zijn dat iets dan weer in software wordt gebouwd. In de grafische wereld was het altijd al zo gegaan. Zo had je bij de eerste nvidia tnt-kaarten hardware transform en lightning. Dat was toen vaste hardware en is nu dat niet meer. Ook had je vroeger aparte vertex en pixel processors, dat is nu ook niet meer zo. Ander voorbeel is geometry shaders, dat is nu met compute en mesh shaders op te lossen op huidige compute cores. Ook had DLSS die tensor cores nodig, later bleek dit ook in software op de compute cores te implementeren. Als voorbeeld heb je FSR van AMD, maar ook de TSR van Epic. Maar nog steeds heeft DLSS het voordeel dat het de GPU ontlast terwijl bijvoorbeeld TSR 2-3ms van je GPU per frame in beslag neemt. Dat lijkt weinig maar op 60 FPS is het toch 12-20% van de tijd van je frame, wat je liever aan iets ander spendeerd.

Dat wat ze nu doen met DLSS 3 kan ook in software worden geïmplementeerd. Sterker nog, bij Oculus hebben ze dat gedaan en dat heet dan Asynchronous SpaceWarp. Daar worden ook motion vectors uitgerekend (met behulp van de encoding chip op de GPU) en de rest werd weer op de GPU gedaan. Bij Nvidia hebben ze weer gekozen om het op de tensor cores te doen om de GPU te ontlasten.

[Merik]

Was dat omdat standaard de CPU ingesteld is voor GPU-taken? Als dat zo is verklaart dat waarom Risen bijzonder slecht draaide op mijn oude laptop. PhysX driver toegevoegd maar niets geconfigureerd, nog bagger performance en toen maar opgegeven. Op nieuwe PC draait het spel prima met Steam/Proton (buggy spel wel).

[Reactie gewijzigd door Merik op 25 juli 2024 22:42]

[SadisticPanda]

Nvidia. Wss kunnen ze het zelf op amd kaarten !aten draaien , ja......Nvidia blijft Nvidia

[ItalianStyle]

Nee dat kan niet want er is hardware voor nodig. Als AMD nu ook die zelfde hardware in bouwd kan het wel.

[Sp3ci3s8472]

Dat kan prima, alleen wil Nvidia niet. Intel doet het namelijk wel via een open standaard.
De vraag die je moet stellen is of het wel efficient genoeg kan draaien op AMD hardware omdat ze niet de tensor cores hebben maar wel DP4A.
Bij Intel zie je ook dat de impact van XeSS kleiner is als het op hun eigen "tensor" cores draait dan als het via DP4a draait op bijvoorbeeld Nvidia kaarten.

Bekijk anders de volgende analyse van DigitalFoundry:
https://www.youtube.com/watch?v=rfLwZy650s0

[ItalianStyle]

Via welke AI/DL hardware op RDNA 2 voor zo ver ik weet kan dat niet, intel zijn vaiant zou ook niet op andere hardware kunnen draaien zei Werelds hier nog in een topic hier, waarschijnlijk om dezelfde redenen.

[SG]

Ja gek he dlls3.0 optical flow is exclusief voor RTX40 en heb zo een vermoeden dat ook een rxt4080 12gb voor de meesten gewoon native zonder dlls kunnen helemaal voor premium prijs zie ik deze dure kaartwn zelden gematch met ouwe of trage cpu.
Vaak met voor gaming gekozen cpu.
Dus de low budget ouwe cpu volk zal dan moeten wachten op 4060 iets mid volgendjaar om deze feature in gereduceerde form te kunnen toepassen op de niet zo twitch games.

[jinks26]

DLSS ging ook enkel werken op tensor cores tot een update kwam en hop je kon het draaien op de 10xx series. Niet zo goed maar het werkte, is duur puur software.

[Rixos]

Een nieuwe feature aanbieden op een nieuw product zodat mensen het kopen. Jeetje, wat denken ze wel niet bij Nvidia!

Je zou bijna denken dat ze geld willen verdienen.

[Reactie gewijzigd door Rixos op 25 juli 2024 22:42]

[SG]

Ik denk dat nVidia wat te zwaar op die grypto bubbel geïnvesteerd heeft in tegenstelling van AMD en voluit zijn gegaan in performance at all cost omdat toch allemaal verkoopt.
En je dus over de top dure en vermogen vretende platform en duur te produceren
En bewijs daarvan is dat EVGA weggevallen is en klokkeluider.
En 4080 12GB light als directere op volger 3080 mark. Maar de duurdere te producerende 4080 16GB tier hoger uitkomt.
Die overproductie rtx30

Ada lovelace is tijdens die crypto gekte ontwikkeld en dus beslissingen gekozen wat meer bij die gekte past.

Voor niet EU gamers US etc je krijgt dus ook meer waar voor je geld kwa top performance vooral in regio waar energie prijs niet door oorlog getroffen zijn.
En ander kan stap terug gaan dus tier lager pakken ga er nog flink op vooruit.
Wij zitten helaas is oorlog regio dus niet ideaal maakt het extra duur en factor vermogen verbruik is deze tijd een stuk belangrijker dan met GTX480 was.
Naast kans op PSU killer

[Hans1990]

Maar zo trok NVIDIA toch ook veel mensen weg bij AMD 6000 serie ondanks prijs premium? Geen gekke strategie.

Ben alleen bang of mensen niet afwachtend gaan zijn met aanschaf van GPU, ipv nog even gauw een 3000-serie GPU halen. Dit soort features kunnen ook erg welkom op tragere GPUs met toekomstige games (mits ze -nog steeds- DLSS3 supporten). Door het exclusief te maken voor de 4000 serie kan het er ook voor zorgen dat mensen liever op de 4060 of 4070 wachten.

[Reactie gewijzigd door Hans1990 op 25 juli 2024 22:42]

[Tjidde]

Ik ga binnenkort voor de 3070ti. De 4xxx zullen denk ik buiten budget zijn. Tegen die tijd kan ik vast wel ergens een 3070ti op de klop tikken al is het tweedehands maakt mij niet uit zolang ik hem (bij tweedehands) maar mag stresstesten om te kijken of die nog goed is.

[SG]

Ik wacht ook liever op 40 serie budget kaart omdat die energie efficiënter zijn dan hogere tier RTX30 dus 4060 vs 3070ti
Kan zijn dat je met een navi33 nog beter uitkomt. Kwa performance vermogen.
En met 3080 en hoger heb je die unieke dlls3.0 feature niet nodig als al voldoende fps haald.

[huntedjohan]

Ik snap het niet. Wat had je dan gewild? Dat ze dlss 2.0 hielden en het niet zouden blijven verbeteren? Het is toch juist goed dat ze blijven innoveren met verschillende technieken?

Krijg het gevoel dat er nu wel heel snel en makkelijk negatief gedaan word, puur omdat het NVIDIA is.

[SG]

Een 4090 die 8k kan doen heeft dlls niet nodig bij 1440 gebruikers die geen twitch games en uitsluitend singleplayer games spelen.

En vooral geen esports. Native met rtx goed te doen is

[oef!]

Waar haal je het idee vandaan dat mensen geen 40xx kaart willen kopen? Een dozijn nijdige fanboys maken de markt niet.

Nvidia heeft de huidige generatie in de zak en als ik de previews zie van spiderman op 8k60 met DLSS zie ik dat nog niet zo 1-2-3 veranderden.

[SG]

Omdat er nv fan komen met falende kaarten en psu omdat marge aib zo laag is dat quality problemen kan geven door prijs costen reductie en dat ouwe 750 watter even een 4090 moet aankunnen en nv fans uiteraard cpu ocen en 4090 ook want vermogen doet er niet toe naast ook dat mindere 1kw ook over de nek kan gaan.
En de werkelijke showdown nog moet komen voor de hslo sku die wel 600wat mogen aantikken als 1.5kw wat gangbaar zijn.

[Xypod13]

Ik snap niet echt het nut va dit exclusief op de 4000 series te stoppen. Is het doel hiervan niet om FPS te verbeteren? Waarom breng je het dan uit op videokaarten die met gemak 1440p en zelfs waarschijnlijk 4k kunnen gamen?

[DutchKevv]

Omdat oudere videokaarten 2x zo snel maken, niet echt tot aankopen aanzet van een nieuwe

[Xypod13]

Waarom da deze technologie zou je zeggen. Maar goed, het is Nvidia, het zal wel

[xfj]

Om mensen met een 3xxx een 4xxx aan te smeren.

[batjes]

Dat AMD mijn RX580 ook FSR2.0 heeft gegeven, heeft mij (wederom) doen overtuigen dat mijn volgende kaart ook van AMD wordt. Nu doe ik langer dan initieel verwacht met een GPU, maar ze houden mij zo wel als klant vast.

Dit soort perikelen van Nvidia overtuigt mij ervan om juist niet voor Nvidia te kiezen. Als bestaande klant wordt je zo best wel in de steek gelaten "Wil je nieuwe features? Koop maar een dure nieuwe kaart".

[jinks26]

FSR werkt ook op nvidia kaarten. En dlss is iets helemaal anders dan FSR.

[batjes]

Klopt, AMD maakt hun techniek gewoon voor iedereen beschikbaar, waar Nvidia hun technieken exclusief op hun nieuwste producten beschikbaar maakt.

Zegt genoeg over de mentaliteit.

[Fireshade]

Omdat de 40 series nieuwe hardware bevat die dit mogelijk maken. Het is niet een software-only oplossing.
De 40 series heeft 4e generatie Tensor Cores met een nieuwe Ada Lovelace architectuur.

[kazutokirito]

Hopelijk laten ze niet direct DLSS 2.x vallen voor DLSS 3

[Sp3ci3s8472]

Wees blij dat er nog FSR 2.1 en XeSS is, want het zou mij niks verbazen.

[Clemens123]

Klingt leuk en track record van DLSS is goed, maar afwachten hoe de details er in de praktijk uit zien

[SG]

Mlid waarschuwd ook al. Ivm artifacts en latency isue. Iig niet optimaal voor VR.
Bij film interproleren van tussen beelden geen probleem je kan bufferen en later weergeven.
In games is interpolatie niet tussen maar vanaf de laatste frame bij grillige en grote input veranderingen kan de next frame wat afwijken van de interproleerde frames.
Viel op performance was weergegeven in auto die rechtdoor ging. Optimale omstandigheid voor DLLS3.0
DLLS 3.0 is meer iets voor de lowbudget slowpace non esport twitch games. Op cpu intensieve games en instap of oudere cpu.

Naast dat rtx40 iets moet hebben dus minimaal RTX4080 12GB

[la cucaracha]

Ja nou zeg.....ben ik bijna zover dat ik een RTX 3080 ti met mobo, nononsense case, 64 GB ram en i7 ga halen, speciaal voor MSFS2020...... komt Nvidia met DLSS 3.0 welke doodleuk enkel zal werken met een RTX40xx kaart..
Het FPS verhaal in de simulator is nogal gammel , als ik de huilbuien op het MSFS forum mag geloven.
Maar no way dat ik me laat verleiden tot het nu skippen van de 3080ti en een financiële zelfmoordpoging doe voor een 40xx.
Voor ik daaraan toe ben wil ik eerste een thorium reactor in mijn kelder hebben.

[MN-Power]

Voor ik daaraan toe ben wil ik eerste een thorium reactor in mijn kelder hebben.

Niemand verplicht je voor hetzelfde niveau te gaan toch? Als je een 3080ti wilde kopen denk ik dat een 4070(of 4080) eng dichtbij komt qua performance.

En met een lager verbruik daarbij én dus deze feature die nóg meer stroom kán schelen(als je dat wil). Als ik nog geen 30xx kaart had en wél één wilde had ik echt op de 40xx gewacht in elk geval.

[Reactie gewijzigd door MN-Power op 25 juli 2024 22:42]

[GekkePrutser]

En met een lager verbruik daarbij én dus deze feature die nóg meer stroom kán schelen(als je dat wil). Als ik nog geen 30xx kaart had en wél één wilde had ik echt op de 40xx gewacht in elk geval.

Laten we het stroomverbruik wel in context van de aanschafprijs zetten Zelfs met de huidige energieprijzen valt het best mee vergeleken met de aanschafprijs. Tenzij je echt 12 uur per dag zit te gamen.

[MN-Power]

Ja, dat en ik lees net bij HWInfo dat een PS5 en Xbox series X ook over de 200W kunnen gaan. Dan weet ik wel waar ik mijn stroom liever aan uitgeef.

[jhnddy]

Nou, dan is die alsnog fors.

450W x 365 dagen x 1 uur = 164 kWh.
Met de huidige prijzen is dat 130-160 euro per uurjaar. Ga je gemiddeld 3 uur gamen, heb je dus al € 390 - 480 per jaar.

Uiteraard verschilt het per huishouden of je dat veel vind. Maar 25% van de aankoopprijs is toch wel fors.

[GekkePrutser]

Nu ga je ervan uit dat je kaart de hele tijd op max TDP draait. Dat is niet zo.

Maar 3 uur per dag gemiddeld haal ik ook zeker niet

[jhnddy]

Het is een beetje een gebruikersparadox: persoonlijk zou ik nooit een dure grafische kaart kopen als ik hem niet veel zou gebruiken. En als ik 80%van de tijd genoeg heb aan minder performance, zou ik de goedkopere versie kopen

Maar dat ligt natuurlijk voor iedereen anders. Als je een uurtje per dag maar de tijd hebt voor een spel, en je dan graag het beste van het beste beschikbaar wilt hebben, is dat ook een valide usecase. En dan valt het verbruik wel weer mee. Een gemiddelde stofzuiger verbruikt dan een stuk meer.

[Evernote]

Een 3080Ti is anders ook een energy hog.. geen idee of je daar überhaupt naar gekeken hebt?

[ItalianStyle]

Je kan nog altijd gebruik maken van DLSS dus ik zie het probleem niet.

[indospartan]

Ik haal de 4090 wel, in oktober een asus 3080ti gekocht. Wil je die?

[Verwijderd]

Ah nee toch. Dan krijg je Motion plus rotzooi bij je games. Het is al erg zat dat alle tv’s het stug standaard aan hebben staan. Gelukkig is het een opt in.

[gilla013]

Waarschijnlijk nadat de verkoop van de 4000 series een beetje op gang is gekomen opeens "toch" wel compabitel met oudere RTX kaarten.

[MSalters]

Kleine kans. 1400 Tensor cores, en ook nog eens Optical Flow Accelerators - de oude kaarten missen de rekenkracht. Ja, je kunt het Optical Flow algorithme ook wel op de 320 tensor cores van een 3090 doen, maar DLSS 3 gebruikt die tensor cores al voor andere doeleinden.

[gilla013]

De kans lijkt toch groter te worden dan voorzien Een redditer heeft met tweaks zelfs een rtx 2070 al gebruik kunnen laten maken van dlss 3. Uiteraard niet optimaal.
Maar het lijkt erop dat het een softwarematige beperking is. Net als LHR, wat nu middels drivers ook teniet gedaan is.

[MSalters]

't is AI uiteindelijk, ik kan uit eigen ervaring vertellen dat AI ook met defecte input nog steeds outputs genereert. Je kunt een motion vector van {0,0} hardcoden bij gebrek aan Optical Flow, en dan krijg je inderdaad een "niet-optimaal resultaat". Wel een hoger FPS-getalletje natuurlijk.

[computerjunky]

Klinkt als onzin FPS. Als de frames niet berekend hoeven te worden betekend dat dat het frames zijn die niet gebaseerd zijn op accurate data en dus niet betrouwbaar in games als shooters omdat de frame geen realistische data bevat.
Kortom placebo frames die ook nog eens devs lui maken.

Klinkt ook alsof dit allerlei artifacts kan gaan veroorzaken DLSS denkt dat een object nog naar links beweegt bijvoorbeeld terwijl tussen frame 1 en 3 het object al van richting veranderd is. Hierdoor is dus het verschil tussen 1 en 3 kunstmatig groot. ik denk dat dit echt een slechte funcite is. Zorg liever dat upscaling beter word en je dus lagere res kan gebruiken ipv zelf frames erbij te gaan verzinnen om de consument voor de gek te houden en te laten denken dat ze beter fps halen terwijl precisie de deur uit gaat.

En als ze dit via buffering doen betekend dat gewoon keihard extra latency. Iets waar we juist de laatste jaren vanaf gestapt zijn.

Daarnaast klinkt "werkt alleen op RTX4000"als een software betwerking gezien de architectuur helemaal niet drastisch anders is en de functie absoluut niet hardware intensief is.

[Reactie gewijzigd door computerjunky op 25 juli 2024 22:42]

[Jeroenneman]

Je moet iets als blijkt dat je tegen een muur oploopt qua traditionele rasterization performance.

Dan maar een soort motion flow achtige shit verzinnen, met inderdaad geinterpoleerd frames. Vroeger werden fabrikanten keihard afgerekend op dat soort trucjes, nu presenteren ze het als feature.

[_Pussycat_]

Niet iedereen is die hard competetieve speler he. Ik speel nooit online en zolang alles vloeiend loopt interessiert het me niks wat er achter de schermen gebeurt.

[medjai69]

Leuk op papier…

Eerst maar de prijzen en energieverbruik verminderen…

[NoThankYou]

DLSS kan juist een aanwinst zijn qua energieverbruik, in elk geval voor de mensen die hun framerate locken op bijvoorbeeld 30 of 60 fps.

[ItalianStyle]

Dat doe ik dus ook plus undervolten. 4k vreet echt veel power dus cap ik ook op 60fps en gebruik ik DLSS er bij op qualiteit. Dit scheelt zo tot 100W

[SG]

Denk dat eerder de cap is ipv dlls dat zuiniger maakt. Dlls zuiniger omdat je eigenlijk low res vermogen verbruikt plus beetje dlls vermogen