Hoe werkt Nvidia's DLSS 3?

AI genereert frames voor hogere framerates

Nvidia DLSS 3

Deze week onthulde Nvidia de eerste drie videokaarten in de GeForce RTX 40-serie. Naast een geheel nieuwe Ada Lovelace-architectuur krijgen deze nieuwe kaarten een nieuwe feature mee: DLSS 3. Anders dan de huidige versies van DLSS, die alleen functioneren als upscaler, moet versie 3 framerates ophogen door 'gewone' frames af te wisselen met frames die door AI worden gegenereerd. Hoe werkt dat precies?

Recap: hoe werkt opschalen met DLSS?

DLSS is op zichzelf niets nieuws; Nvidia introduceerde de eerste versie al in 2019 met zijn Turing-architectuur. DLSS is in zijn huidige vorm een temporal upscaler. De techniek rendert daarmee frames op een lagere resolutie en combineert informatie uit huidige en voorgaande frames om deze op te schalen naar een hogere resolutie. Nvidia spreekt bijvoorbeeld over het opschalen van 1080p-frames naar 4k. Dat moet hogere framerates opleveren zonder dat de beeldkwaliteit te veel achteruitgaat. Tweakers schreef al eerder een uitgebreid achtergrondartikel over de werking van opschaaltechnieken. Daarin wordt DLSS besproken, naast de techniek achter AMD FSR 2.0 en Intel XeSS. Hieronder een korte recap.

DLSS zit, net als veel andere technieken voor temporal upscaling, relatief vroeg in de gpu-pipeline. Allereerst vinden de render- en rasterizationstappen plaats, waarin de gpu het frame al grotendeels berekent. DLSS gebeurt direct daarna en staat daarmee aan het begin van de postprocessingpipeline. Nvidia verzamelt voor DLSS verschillende inputs van de engine.

Allereerst is er natuurlijk een gerenderde afbeelding op een lagere resolutie nodig, die uiteindelijk wordt opgeschaald naar een hogere resolutie. Die frames moeten gejitterd worden, wat wil zeggen dat de pixels in beeld met ieder frame héél subtiel worden verschoven. Dat maakt het mogelijk om meer informatie per pixel te verzamelen, ook als er geen beweging in beeld is.

DLSS verzamelt daarnaast motionvectoren, waarmee wordt bijgehouden hoe een pixel van frame tot frame over het scherm beweegt. Dit wordt vervolgens gecombineerd met informatie over de diepte van een frame. De informatie uit de motionvectoren en dieptebuffers wordt bijvoorbeeld gebruikt om de randen van bewegende objecten en geometrie te corrigeren, om zo ghosting en andere visuele artefacten te beperken. Op basis van deze inputs wordt vervolgens een frame op lage resolutie gerenderd, bijvoorbeeld 1920x1080 pixels.

Vervolgens moet het daadwerkelijke opschalen nog plaatsvinden. Dat doet Nvidia met een neuraal netwerk dat het de Convolutional Autoencoder noemt. Nvidia heeft dat AI-netwerk specifiek getraind voor het opschalen van afbeeldingen. Tijdens dat trainingsproces wordt een 1080p-frame gerenderd zoals hierboven uitgelegd, waarna het neurale netwerk de afbeelding probeert op te schalen naar 4k. De resultaten daarvan worden vervolgens vergeleken met een vooraf gemaakte 16k-render van hetzelfde frame. Informatie uit deze vergelijking wordt daarna teruggevoerd naar het deeplearningalgoritme, waarna het proces zich herhaalt. Zo leert de Convolutional Autoencoder hoe hij een frame zo realistisch mogelijk moet opschalen.

DLSS 3 krijgt Frame Generation voor RTX 40-kaarten

Het hierboven geschetste opschaaldeel van DLSS blijft uiteraard onderdeel van versie 3. Nvidia vertelt aan Tweakers dat dit opschaalalgoritme met de release van DLSS 3 niet verder is geüpdatet. Het bedrijf zegt wel dat dit aspect van DLSS 3 ook zal werken op bestaande RTX-videokaarten, ook uit de RTX 20- en 30-series. Toekomstige verbeteringen aan DLSS-upscaling moeten ook gelden voor die oudere RTX-kaarten, bevestigt Nvidia tegenover Tweakers.

De volgende versie van DLSS voegt ook een compleet nieuw aspect toe, door Nvidia DLSS Frame Generation genoemd. Zoals de naam doet vermoeden, introduceert Nvidia hiermee een algoritme dat geheel nieuwe frames 'genereert'. De hiervoor genoemde opschaalstap doet dat niet, maar genereert alleen nieuwe pixels om de resolutie van bestaande frames te verhogen. Deze functie maakt gebruikt van een verbeterde Optical Flow Accelerator, een stuk silicon in de Ada Lovelace-gpu's. Daarmee werkt Frame Generation alleen met de RTX 40-serie.

Voorgaande RTX-gpu's hebben ook een Optical Flow Accelerator, maar die is volgens Nvidia niet krachtig genoeg om Frame Generation met voldoende kwaliteit uit te voeren, hoewel het bedrijf tegenover journalisten ook niet uitsluit dat die functie ooit zal werken op oudere RTX-gpu's.

Verder wordt Nvidia Reflex een verplicht onderdeel van DLSS 3. Deze functie moet leiden tot lagere latency en bestaat al langer; Reflex wordt ondersteund door de GeForce GTX 900-serie en nieuwer. We gaan straks verder in op de werking van Reflex. Eerst bespreken we Frame Generation.

Hoe werkt DLSS Frame Generation?

Om te beginnen een rectificatie. Bij de aankondiging van DLSS 3 ontstond wat verwarring over de werking van DLSS Frame Generation met AI, waarvan de werking op twee manieren geïnterpreteerd kon worden. Nvidia antwoordde op vragen van Tweakers dat Frame Generation geen interpolatie is, maar 'toekomstige' frames genereert.

Dit klopt echter niet. In een GTC-ontwikkelaarskeynote van Nvidia meldt het bedrijf dat DLSS Frame Generation twee frames analyseert en daar een extra AI-frame tussenin 'plakt'. "Het DLSS Frame Generation-algoritme accepteert twee gerenderde frames van de game-engine of 3d-renderer en genereert een nieuw frame dat soepel tussen beide overgaat", aldus het bedrijf. In een nieuwe reactie aan Tweakers vertelt Nvidia ook dat DLSS 3 toch geen toekomstige frames genereert, maar dat het in plaats daarvan een tussentijdse frame creëert op basis van de huidige en vorige frame.

DLSS 3 gebruikt hiervoor volgens Nvidia vier inputs. Het gebruikt uiteraard de huidige en voorgaande frames en de eerdergenoemde inputs uit de game-engine, zoals dieptebuffers en motionvectoren. De voornaamste toevoeging aan DLSS 3 is een optical flow field. De Optical Flow Accelerator die in de RTX 40-gpu zit, analyseert de twee geselecteerde frames om de optische flow daartussen te berekenen.

Een dergelijk flowfield legt de richting en snelheid vast waarmee pixels van frame 1 naar frame 2 bewegen. Dit soort informatie wordt op pixelniveau vastgelegd en gebeurt parallel met andere taken, zoals raytracing. Daarbij wordt voornamelijk de beweging van 'effecten' als particles, reflecties, schaduwen en belichting meegenomen. Dat soort informatie over effecten zit niet in de motionvectoren die game-engines leveren.

De 'gewone' motionvectoren uit de engine worden overigens ook gebruikt door DLSS 3. Dat soort vectoren zijn dan vooral bedoeld om de beweging van geometrie en objecten van frame naar frame te volgen. Beweging van lichtinval en andere effecten kan dus niet afdoende gevolgd worden met motionvectoren. Nvidia geeft hiervoor een voorbeeld van een motorrijder in Cyberpunk 2077. De 'optical flow field' legt vast dat de schaduw van de motor op ongeveer dezelfde plek op het scherm blijft tussen twee frames, maar dat de rest van de schaduwen in de scène wél beweegt. Met alleen motionvectoren en zonder flowfields zou de schaduw van de motorbestuurder 'stotteren', claimt Nvidia.

In de volgende stap worden de motionvectoren en optical flow gecombineerd. Het Frame Generation-algoritme bepaalt voor iedere pixel hoe de informatie van de motionvectoren, de flowfields en de sequentiële gameframes gebruikt moet worden. Zo maakt het algoritme een 'schatting' van de beweging tussen frame 1 en 2, om daartussenin een soort frame 1,5 te plaatsen voor een soepelere overgang. In een voorbeeld van Nvidia is te zien hoe met een combinatie van motionvectoren en optical flow een frame wordt gecreëerd dat beweging van de omgeving en schaduwen correct schat en daarbij rekening houdt met niet-bewegende schaduwen, zoals die van de motorrijder.

Nvidia DLSS 3 combineert motionvectoren en optical flow om bewegingen van toekomstige frames 'te schatten'.

In de praktijk worden door AI gegenereerde frames altijd weergegeven tussen traditionele frames in, zegt Nvidia. De gpu rendert eerst een gewoon frame, dat al dan niet is opgeschaald met DLSS Super Resolution, en volgt dat op met een nieuw AI-frame, waarna weer een gewoon frame wordt getoond. Op deze manier moet Frame Generation ook hogere framerates opleveren in games die cpu-gebonden zijn, claimt Nvidia. Dat is mogelijk doordat de AI-frames niet verwerkt hoeven te worden door de cpu of gpu, maar gecreëerd worden door de losse Tensor-cores en Optical Flow Accelerator.

De techniek moet op deze manier in staat zijn om de framerate ongeveer te verdubbelen, zonder gebruik van upscaling. Als Frame Generation wordt gecombineerd met DLSS Super Resolution-upscaling, kan DLSS 3 volgens Nvidia zeven van de acht pixels met AI genereren, wat tot verdere framerateverbeteringen moet leiden.

Gebruikers kunnen er overigens ook voor kiezen om alleen Frame Generation te gebruiken, zonder dat de gewone frames worden opgeschaald, bevestigt Nvidia in een briefing met journalisten. Opvallend genoeg is Frame Generation óók geen verplicht onderdeel van DLSS 3; gebruikers kunnen ervoor kiezen om dit aspect uit te zetten. Nvidia verwacht dat DLSS 3-games toggles krijgen om DLSS Super Resolution en Frame Generation onafhankelijk van elkaar in en uit te schakelen.

Nvidia Reflex voor lagere latency

Wel een verplicht onderdeel van DLSS 3 wordt Nvidia Reflex. Dat is een techniek die Nvidia al introduceerde met zijn GTX 900-serie en die bedoeld is om latency bij het renderen van games te verlagen. Dat mag ook wel. Aangezien DLSS Frame Generation nieuwe frames tussen twee bestaande frames 'plakt', loopt de pipeline altijd achter op het recentst gerenderde frame, wat leidt tot extra latency en inputlag.

Reflex is volgens Nvidia opgebouwd volgens het principe van just-in-time rendering. Traditioneel zet een cpu rendertaken klaar in een renderqueue, waarna de gpu deze wegwerkt. Dat kan volgens Nvidia de systeemlatency verlagen: de vertraging tussen een muisinput en het moment waarop de bijbehorende actie op het scherm wordt getoond. Met Reflex wordt de timing van de cpu afgestemd op de snelheid van de gpu. Zo levert de processor pas rendertaken op het moment dat de videokaart deze daadwerkelijk kan uitvoeren. Dit gebrek aan 'wachtrij' moet de systeemlatency en inputlag beperken.

Volgens Nvidia is de latency van DLSS 3 dankzij Reflex iets lager dan bij DLSS 2 zonder Reflex, ondanks de inherente vertraging van een frame bij gebruik van Frame Generation. Of dat in de praktijk waar is, zal moeten blijken uit onafhankelijke tests.

De Nvidia-pipeline zonder en met Reflex

Tot slot

De werking van en het idee achter DLSS zijn dus duidelijk, maar de belangrijkste vraag staat nog open: hoe zal DLSS 3 in de praktijk presteren? Met Frame Generation lijkt Nvidia een interpolatieachtige aanpak te kiezen voor het genereren van extra frames, maar dan geavanceerder en ondersteund door een neuraal netwerk. De kwaliteit van die extra frames moet natuurlijk nog blijken. Deze aanpak gaat bovendien gepaard met extra latency en het is de vraag in hoeverre Reflex dat kan opvangen.

Binnenkort zullen we meer weten. DLSS 3 verschijnt namelijk op 12 oktober, samen met de release van de GeForce RTX 4090. Er zijn 35 games bekend die zeker ondersteuning voor de nieuwe versie krijgen. Daaronder vallen titels als Cyberpunk 2077, F1 22, Hitman 3, Microsoft Flight Simulator, Spider-Man Remastered, Stalker 2 en The Witcher 3: Wild Hunt. Tegelijk zegt Nvidia dat de upgrade vanaf DLSS 2, waarvoor ruim 200 games ondersteuning hebben, relatief simpel moet zijn voor ontwikkelaars. Vermoedelijk zal dat aantal dan ook snel oplopen, zeker omdat populaire game-engines als Unity en Unreal Engine 4 en 5 plug-ins krijgen voor de nieuwe techniek.

Reacties (33)

[sdziscool]

Vraag me heel erg af of er nog motion artefacten zullen zijn.

Deze zijn altijd (sterk) aanwezig bij motion interpolatie (smooth motion, motion clarity, en nog zo'n 100 implementaties van hetzelfde idee) op alle tvs. Deze artefacten zijn met straightforward methoden niet echt op te lossen aangezien deze veel moeite hebben van voorgrond en achtergrond onderscheiden bij snelle bewegingen, dit kan je bijvoorbeeld altijd goed zien rond ondertiteling want hij probeert ook de ondertiteling the interpoleren met de achtergrond, echt afschuwelijk irritant en opvallend.

Misschien heeft Nvidia met hun grote datasets, capabele hardware en AI eindelijk een acceptabel interpolatie algo uitgevonden die AI, hardware en software gebruikt. Als dit goed werkt kan het namelijk best een grote stap zijn.

[Sp3ci3s8472]

Die zijn er, meer dan ik had verwacht zie ook de volgende post; afkomstig uit de promo van DLSS 3 van Digital Foundry:
https://gathering.tweaker...message/72883874#72883874

[redzebrax]

Omwille van de upscaling ? of omwille van AIFG ? Ik verwacht eigenlijk niet dat dergelijke artifacts door de frame generation komen. Wordt nog een hell met hun naamgeving van DLSS3, claims van o.a. ziet er niet uit en het is perfect, vraag : en wat stond aan ?

[qlum]

In die screenshot staat door de frame generation, het zijn dan ook punten waarop het beeld verschoven is.
Het is over het algemeen gewoon een moeilijk probleem om een tussenstap tussen twee beelden te maken.

[redzebrax]

Oei dat valt wel tegen. Ik zie vooral punten in de schaduw en oplichting (donkere en lichte gebieden) Lijkt me niet dat vectors deze anomalieën veroorzaken maar eerder de optic flow control. Ik ga toch even afwachten op de werkelijke testen en waarschijnlijk komen er nog wat iteraties over.
Maar laat me een beetje sceptisch zijn over deze 2 beelden. Links heeft geen litteken op de schouder, rechts wel. Als de rechtse de intermediate is, hoe komt dat litteken daar ? Is dat ook een anomalie?

edit: even op hun site geweest, maar kan je de echte link geven ipv de screenshot met wat commentaar bij ? Wat je hier laat zien is dat bv de broek continu zou blinken. Je moet ook de 2 opeenvolgende beelden geven om te kijken of de intermediate correct is. Dus geen 2 maar 3 beelden

Het hand is echt erg. Naast het hand verschijnt ook een oplichtende streep. Daarom wat is het volgende beeld ?

[Reactie gewijzigd door redzebrax op 22 juli 2024 18:35]

[johnbetonschaar]

Yep ik ben ook sceptisch. Tot nu toe ben ik geen enkele vorm van frame interpolation op TV's of beamers tegengekomen die ik aan zou willen laten staan, elk merk heeft weer zijn eigen variant en het valt me altijd direct op dat er 'iets' mis is met het beeld. Zet je de functie vervolgens uit dan lijkt het altijd net alsof het een enorme achteruitgang is vanwege de lagere framerate, maar gek genoeg wen ik daar (in ieder geval bij TV beeld) altijd binnen een paar minuten aan, terwijl de frame interpolatie artefacts me doorlopend blijven irriteren.

De achilles hiel van dit soort technieken is toch gewoon snelle onvoorspelbare wijzigingen tussen twee beelden, bijvoorbeeld scene changes, maar op TV bijvoorbeeld ook al snelle handbewegingen of gezichten bij snel praten etc. Het levert vaak artefacts in het beeld op van vingers die flitsen/flikkeren, monden die vreemde bewegingen maken die niet met de geluiden matchen etc. Iets anders is panning shots waarbij de snelheid niet constant is, als je daar frames tussen gaat invoegen dan levert dat ook vaak motion artefacts (stotteringen) op.

Al deze dingen zijn misschien beter/minder bij 60 => 120 fps dan bij 25 => 50 fps of 30 => 60 fps zoals TV's/beamers, maar ik reserveer mijn oordeel toch maar even tot iemand dit goed getest heeft.

[m.z]

Yep ik ben ook sceptisch. Tot nu toe ben ik geen enkele vorm van frame interpolation op TV's of beamers tegengekomen die ik aan zou willen laten staan, elk merk heeft weer zijn eigen variant en het valt me altijd direct op dat er 'iets' mis is met het beeld. Zet je de functie vervolgens uit dan lijkt het altijd net alsof het een enorme achteruitgang is vanwege de lagere framerate, maar gek genoeg wen ik daar (in ieder geval bij TV beeld) altijd binnen een paar minuten aan, terwijl de frame interpolatie artefacts me doorlopend blijven irriteren.

Ter aanvulling is deze video wel interessant, waar dit wordt uitgelegd:

Smoother animation ≠ Better animation [4K 60FPS] [Noodle]

Al gaat dit specifiek over 24 fps vs ai vs gamers. Veel zien niet, met name gamers die dus roepen dat alles maar meer fps moet hebben.

Ik weet niet hoe dit exact bij 2D games zit, maar denk dat ook van toepassing is als gamedev graphisch max fps games maken, waarschijnlijk op basis van een jobtitle inbetweener.

[Reactie gewijzigd door m.z op 22 juli 2024 18:35]

[JakkoFourEyes]

Ik ben met name benieuwd naar hoe dit omgaat met games die een meer 2D animatie achtige stijl (met inbetweens e.d. en niet altijd per frame een beweging hebben) hebben. Dit soort interpolatie faalt daar nog harder op

[sdziscool]

Toevallig zelf een avid 2d animatie fan, en ja dat is zeker waar, daar zijn deze algos helemaal niet op gemaakt, die zien iets van statisch naar spontaan snelle verandering gaan, en dan meerdere keren per seconde.

Denk dat game devs met dit soort animatie het gewoon niet zullen toepassen, laat staan dat deze tech naar videospelers komt (behalve een nieuwe Nvidia Shield misschien).

[JakkoFourEyes]

Nouja, het zit dus al min of meer in al onze TVs met Motion Clarity/True Motion en wat voor namen ze er maar voor bedenken (en YouTube wordt helemaal volgespamd met "4K 60FPS REMASTER!!!!", maargoed dat daarnaast), maar ik neem aan dat devs dit inderdaad niet zomaar willen... Als de executives/marketing dat ook in kunnen zien..

[Reactie gewijzigd door JakkoFourEyes op 22 juli 2024 18:35]

[m.z]

Dit doet me direct aan deze video denken Smoother animation ≠ Better animation [4K 60FPS] [Noodle]

Gamers willen toch meer FPS? Misschien speelt Nvidia hierop juist op in (sarcasme). Vooralsnog ben benieuwd hoe dit (in praktijk) zit met deze input delay .

[JakkoFourEyes]

Hele goeie video inderdaad haha

[Darkstriker]

Dit is dus vooral geweldig voor langzame single-player games die daardoor vloeiender gaan voelen. Als te toch moet wachten op de volgende frame, moet je als het ware het getoonde scherm op het display altijd met een frame vertragen zodat je die tussenframe erbij kunt genereren. Voor actierijke games dus compleet uit den bozen en zelfs voor een RDR2 of CP2077 lijkt me die extra vertraging (die natuurlijk juist bij lage FPS erg groot zal zijn) niet bepaald fijn. We zullen het zien.

[dipje2]

Belangrijk ding van video filters die dit doen, is dat e motion vectors moeten _gokken_ en zien te herleiden uit het beeld wat ze zien.

Dat doen ze hier ook, maar ze hebben ook echte accurate motion vectors uit de engine samen met depth buffers.

Dus ik verwacht wel wat beters dan wat je kent uit after effects . Of het genoeg gaat zijn, time will tell ...

Ik zit zelf erg in mn hoofd met wat dit doet voor gevoel en latency , en wat je dan daadwerkelijk hebt aan de frames.

Ik heb liever een consistente framerate dan eentje die all over de place is (ook al is ie hoger ), en ik heb liever 60 ipv 30 vanwege het gevoel van controle en latency.

Ik zie het nut nog niet van een engine die met 30 rendered en dat er dan 30 bij verzonnen worden . Zelfs nog los van de extra frame delay. Maar, ik laat me graag verrassen .

[Moortu]

De verwoording en informatie in de Nvidia presentatie was op sommige plekken inderdaad wat verdacht.
Ze hebben niet voldoende uitgezocht waarover ze verteld hebben of ze hebben het op een manier verteld waardoor het eerder een halve waarheid is, niet onwaar maar ook niet met juiste context.

Dit heldert erg veel op, bedankt voor het artikel

Het is ook nog de vraag hoe accuraat het is.
Want in principe maakt het een well educated guess wat er in het tussenframe gebeurd.

Voor de meeste games niet echt een probleem. maar bij competitive games, waar elke frame telt, is het niet een frame die helemaal waar is. Het kan net genoeg pixels schelen dat het een hit was in het frame, maar een mis was in realiteit

[Reactie gewijzigd door Moortu op 22 juli 2024 18:35]

[PjotterP]

Ik vind een belangrijke take-away dat het om een sophisticated vorm van interpolatie gaat die als ik het goed begrijp wel een fully rendered ‘last frame’ nodig heeft. Wil je de interpolatie er tussen plakken dan zal je dus 1 frame aan latency moeten introduceren. Dat vind ik best wel fors. Het maakt de techniek in elk geval minder geschikt voor bepaalde soorten games.

Voor MS flightsim maakt het minder uit, al verschilt het sterk van persoon tot persoon hoeveel ergernis latency opwekt. (‘Sluggish feel’).

[Reactie gewijzigd door PjotterP op 22 juli 2024 18:35]

[redzebrax]

0,5 frame latency + overhead postprocessing (max denk ik 0,5 frame latency), hangt een beetje vanaf hoe snel die intermediate wordt gegenereerd, je intermediate zit immers bijna op de plaats van je oorspronkelijke. Uiteindelijk is het : wat is je voordeel t.o.v. de ouder kaarten en wat was je framerate. (als je framerate al hoog was is die delay misschien verwaarloosbaar en heb je meer aan een constante veel hogere framerate)
1. je gebruikte reflex nog niet : dan gaat volgens de claims van Nvidia je latency ongeveer hetzelfde zijn (wat je verliest door interpolatie win je terug met reflex)
2. je gebruikte reflex al wel : tja dan moet je leven met de extra latency.

[PjotterP]

Kan je dit uitleggen? 0.5 frame latency dan is er sprake van 0.5 frame extrapolatie toch? Dat zie ik hier niet terug.

[redzebrax]

Nee, je frequentie verdubbeld bijna. Als je oorspronkelijke frames 1 2 3 4 waren over een bepaald interval , heb je nadien 1' 1,5' 2' 2,5' 3' 3,5' 4' over hetzelfde interval + 0,5 frametijd. 1,5' zit dan in tijd op de plaats van de oorspronkelijke 2 + delay postprocessing, 2' zit een halve oorspronkelijke frametijd verder (+ delay postprocessing). Je extra latency t.o.v. van geen interpolatie is dan 0,5 oorspronkelijke frametijd+ delay postprocessing.

[PjotterP]

Je 'real frame' frequentie verdubbelt toch niet? Met andere woorden je kan niet ineens de laatste 'echte' frame sneller laten renderen vanwege het feit dat je interpolatie doet. Dus effectief heb je volgens mij nog steeds 1 volledige frame latency.

edit: ik bedoel dit overigens vanuit een competitive gaming perspectief. De échte laatste frame komt weliswaar 0.5 na de interpolatie frame, maar die interpolatie frame is immers geen echte gameworld informatie,

edit2: ik denk dat je gelijk hebt. Je hoeft de laatste echte frame maar 0.5 frametime (uitgaande van de non-interpolated framerate) uit te stellen.

[Reactie gewijzigd door PjotterP op 22 juli 2024 18:35]

[DennisH82]

Daar ben ik inderdaad ook benieuwd naar of in shooters mensen merken (en/of klagen, vooral in competitieve games) dat door zo'n tussenframe een hit ineens een mis word, laten we het afwachten

[PjotterP]

Denk dat de extra latency eerder het bezwaar is. De visuele engine tovert jou later informatie op je scherm dan die eigenlijk al beschikbaar is, en plakt er een geinterpoleerde frame tussen.

Je hebt wel een hogere framerate maar wel iets uitgesteld.

[maradesign]

Ik wacht met veel interesse af wanneer de reviews online komen van mensen die een eerlijke review kunnen geven. Die apple-ish grafieken en de vergelijking met dlss 2.0 off rtx off en dlls3 + rtx doet het lijken alsof je een hele hoge FPS winst hebt. nVidia had het beter kunnen vergelijken met dlss2.0 on + rtx on vs dlss3.0 on + rtx on. Vergelijking van niks natuurlijk wat ze hebben laten zien.

[PjotrX]

Waar ik heel erg naar benieuwd ben is of DLSS 3 ook een vloeiender beeld oplevert. Aan de ene kant kan je een spikes in rendertijd beter opvangen omdat je deze kan verdelen over 2 frames. Aan de andere kant kan je cpu spikes nu minder goed opvangen omdat de render queue weg is.

Wel grappig trouwens om te zien dat nu 7/8 van de pixels door AI wordt gerenderd. Als je nu kijkt naar andere ai's die gewoon een plaatje kunnen genereren uit een zin vraag ik mij af waar dit allemaal straks naartoe kan gaan. Er zit in ieder geval nog veel potentie in. Stel je voor dat je op een gegeven moment DLSS zo ver doorontwikkeld is dat je er haast geen veranderingen aan hoeft te doen, dan zou je alles in hardware kunnen implementeren (ik weet het, het draait nu al deels op tensor cores maar op een gegeven moment zou je alles kunnen naar fpga iets kunnen porten) Dat zou enorm veel schelen in stroomverbruik en warmte.

[Moortu]

Ik kijk uit naar het moment dat quests en story gegenereerd kunnen worden zodat je een unieke ervaring hebt in (mmo)rpgs

[Moortn]

Gebruikers kunnen er overigens ook voor kiezen om alleen Frame Generation te gebruiken, zonder dat de gewone frames worden opgeschaald, bevestigt Nvidia in een briefing met journalisten

Dit maakt het voor mij ineens interessant. Met DLSS 2.x verlies ik, op 1440p, zoveel scherpte (ESO, MSFS) dat ik het nooit gebruik. Enkel de Frame Generation zal hopelijk de FPS een stuk moeten opschroeven zonder hetzelfde verlies in kwaliteit.

[Moonspring]

Frame generation lijkt me alleen handig voor games waarbij de latency niet zo veel uit maakt. MSFS is het beste voorbeeld. Erg zwaar voor de cpu en gpu, en met deze techniek met twee keer zoveel fps te spelen. Een shooter heeft meer baat bij wat lagere settings en Reflex, zonder de latency van een geïnterpoleerd frame.

[NotSoSteady]

Foutje.

[Reactie gewijzigd door NotSoSteady op 22 juli 2024 18:35]

[PrimeTinus]

Ik neem aan dat het een beetje werkt als Asynchronous TimeWarp bij VR?

[redzebrax]

Ik moest mij plus abonnee maken om deze te lezen, maar dat ligt dan vooral aan mij omdat ik deze plus artikels maar al te graag lees en uiteindelijk voor wat hoort wat en jullie actief nieuwe informatie beogen.
Qua raw performance x2 had je ook al een twijfel vernoemd in de podcast. En als je kijkt bij de huidige games in hun presentatie zonder dlss lijkt in de huidige situatie de gemiddelde maximale winst rond 60% te zitten. In deze snap ik echt de commerciële dienst van NVIDIA niet, dit is ook al een meer als behoorlijke winst op de vorige generatie. De aandacht wordt nu volop op frame generation gezet waar het AI stuk waarschijnlijk wel een meerwaarde biedt, maar volgens mij gemakkelijk kan gecounterd worden door AMD en waar niche players die voor veel low latency willen betalen geen boodschap aan hebben.
Zoals "reflex" (wordt ook een uitdaging om dit realistisch te meten, ook rekening houden met inputs van buitenaf) wat vooral een voordeel was voor de oudere kaarten, zal waarschijnlijk frame generation daar ook vooral een meerwaarde bieden indien beschikbaar. Het verlengt de levensduur van de oudere kaarten en alhoewel het optical flow stuk daar 2 tot 2,5 keer trager is, hoeft dit niet een probleem te zijn ( je wil daar niet naar + 144 Hz maar ongeveer 60Hz en de beschikbare tijd dan om een interframe is ook 2,5 langer)

[Heav_y_Fun]

Leuk om de ontwikkelingen van Nvidia te volgen, maar het kan mij eigenlijk worst wezen. Persoonlijk zit ik voor de komende jaren gebeiteld met mijn RTX 3080 OC 12GB.

Iemand die een krachtige PC heeft met een Pascal of midrange Turing GPU (of een nieuwe Rig wil bouwen), zou het misschien kunnen overwegen om een Nvidia 40 serie GPU aan te schaffen.

En dan noch vind ik dat je daar ook gebruik van zou moeten maken, zoals het spelen van de allernieuwste games bijv.

[Reactie gewijzigd door Heav_y_Fun op 22 juli 2024 18:35]