Nvidia vervangt raytracingdenoisers door AI-model in DLSS 3.5

Nvidia heeft op de gamescom-beurs in Keulen een nieuwe versie van zijn slimme upscalingtechniek DLSS aangekondigd. Daarin worden de denoisers vervangen door een AI-model, wat zowel de beeldkwaliteit als de prestaties bij raytracing moet verbeteren.

Om te begrijpen wat de veranderingen in DLSS 3.5 inhouden, moeten we eerst terug naar de basis van de werking van realtimeraytracing. Eerst genereert de engine een simpel beeld zonder lichteffecten, op basis van onder meer de geometrie. Daarna worden er rays, stralen dus, op de gerenderde wereld geschoten voor zowel reflecties als verlichting. Omdat raytracing erg rekenintensief is, wordt dat proces afgekapt als nog van lang niet alle pixels de juiste belichting bekend is. Handmatig afgestemde denoisers vullen de ontbrekende pixels in, waarna het beeld wordt geüpscaled naar de native resolutie.

Dergelijke denoisers werken bijvoorbeeld met temporal accumulation, waarbij de lichtinformatie van voorgaande frames wordt gebruikt, en spatial interpolation, waarbij omliggende pixels worden gemengd. Daar zijn we eerder al eens dieper op ingegaan. Hoe dan ook kunnen de huidige methodes voor denoising resulteren in beeldfouten, zoals ghosting van objecten die zich niet langer (op die plek) in beeld bevinden, vage belichting bij gebrek aan voldoende data en verlies van details in repeterende patronen. Volgens Nvidia werken denoisers en de upscaling die later in het proces plaatsvindt, elkaar ironisch genoeg tegen, omdat de denoising detail verwijdert dat bij het upscalen goed van pas had kunnen komen.

In DLSS 3.5 worden die denoisers zoals gezegd vervangen door een AI-model, dat Nvidia 'ray-reconstruction' (RR) noemt. Volgens Nvidia is dit model getraind op nog eens vijf keer zoveel data als DLSS 3. Het model neemt naast de berekende rays ook informatie over beweging en voorgaande frames mee. De hardwarematige optical flow accelerator wordt vervolgens net als voorheen ingezet om ook beweging te herkennen in delen van het beeld die nog geen deel uitmaken van de motionvectors die door de engine aan het AI-model worden gevoerd, zoals schaduwen en reflecties. Naar wens kan voor betere prestaties framegeneration worden toegepast op het eindresultaat, maar dat hoeft niet per se.

Het resultaat is volgens de door Nvidia gedeelde voorbeelden zowel een verbetering in beeldkwaliteit, doordat er minder grafische fouten zichtbaar zijn, als een verbetering in prestaties. Dat laatste komt doordat het AI-model minder rekenintensief is dan de voorheen gebruikte denoisingalgoritmes. In de game Cyberpunk 2077 zou de prestatietoename bij het inschakelen van rayreconstruction, boven op superresolution en framegeneration, een extra acht procent bedragen.

In tegenstelling tot framegeneration zal rayreconstruction te gebruiken zijn op alle Nvidia-gpu's met ondersteuning voor raytracing, dus vanaf de RTX 2000-serie. Alan Wake II, Cyberpunk 2077: Phantom Liberty en de RTX-versie van Portal worden dit najaar de eerste games die DLSS 3.5 ondersteunen. Ook renderprogramma's als D5 Render en Chaos Vantage plannen ondersteuning voor Nvidia's nieuwe DLSS-versie.

DLSS-, RTX- en Reflex-roadmap

Naast de aankondiging van DLSS 3.5, deelde Nvidia ook nog een aantal updates over de ondersteuning van GeForce-technieken in bestaande en komende games:

• Alan Wake II ondersteunt bij release DLSS 3.5, volledige rayracing en Reflex;
• Call of Duty: Modern Warfare III ondersteunt bij release DLSS 3 en Reflex;
• Cyberpunk 2077: Phantom Liberty ondersteunt bij release DLSS 3.5, volledige rayracing en Reflex;
• Payday 3 ondersteunt bij release DLSS 3 en Reflex;
• Fortnite krijgt deze herfst ondersteuning voor DLSS 3.

Community maakt Half-Life 2 RTX

Niet officieel aan Valve gelieerde ontwikkelaars zijn onder de naam Orbifold Studios begonnen met het maken van een RTX Remix-versie van de game Half-Life 2, waarvoor ze van Nvidia vroege toegang tot de RTX Remix-toolkit hebben gekregen. Er is nog geen releasedatum bekend, maar wel gaf Nvidia onderstaande trailer vrij van Half-Life 2 RTX: An RTX Remix Project.

Ace-npc's krijgen emotie

Nvidia had ook een update over de tijdens de Computex aangekondigde techniek Ace, een AI-model om npc's in games intelligente reacties te laten geven door middel van een large language model. Met de nieuwe toevoeging van NeMo SteerLM kunnen de eigenschappen humor, behulpzaamheid, creativiteit en giftigheid worden ingesteld om het type reactie te beïnvloeden. Concrete aankondigingen van wanneer Ace zal worden toegepast in games, had Nvidia nog niet in petto.

Xbox PC Game Pass op GeForce Now

Tot slot kondigde de gpu-fabrikant aan dat de eerste Xbox PC Game Pass-titels nog deze week beschikbaar komen op cloudgamingdienst GeForce Now. Vanaf 24 augustus kun je alle ondersteunde titels van Xbox Game Studios en Bethesda spelen via Nvidia's dienst, aangevuld met diverse titels van andere ontwikkelaars. Als je toegang hebt tot een ondersteunde game via Xbox Game Pass of een aankoop in de Microsoft Store, hoef je die dus niet opnieuw te kopen.

Reacties (100)

[Joeri.Bijlsma]

dlss was een leuk concept toen het geintroduceerd werd, maar het gaat zometeen waarschijnlijk een vereiste wezen wil je games in UE5.1 en raytracing willen spelen op je 2000 euro kaart.


Wel jammer dat het in deze richting gaat.

[LOTG]

Wat is dan het alternatief? Dit is juist een manier om meer en betere visuele kwaliteit te persen uit hardware die het de zonder niet kan.

En dat is altijd zo geweest. Altijd zijn er compromissen geweest om betere graphics te creëren.

[Joeri.Bijlsma]

beter optimaliseren van games zou een goed begin zijn, daar doen developers tegenwoordig ook geeen moeite meer voor (zat pc releases die echt niet goed waren tussen nu en 2 jaar geleden).

DLSS is een mooie uitkomst, maar het zou niet moeten wezen dat deze techniek vereist gaat wezen om een game te spelen op fatsoenlijke framerates. dit gaat niet alleen ten koste van de pc gaming ruimte, maar ook voor consoles. Als developers weigeren een game te optimaliseren voor de pc, zie je dit vaak terug op de ps5/series consoles met slechte framerates, of zelfs een "30fps lock" (vaak met slechte frametimes en framepacing). wat van ten zotte is als je vergelijkt wat er in zo'n machine zit en wat de vorige generatie wist uit te persen uit die oude amd apu (god of war 2018 is nog steeds een pracht game op de standard ps4)

Als je dan nu kijkt dat er a.i. in verwerft wordt, en dit natuurlijk alleen op 5xxx series gaat komen want nvidia moet centjes verdienen, blijf je constant bezig met upgraden terwijl de developers er niks om geven en jij met slechte ports blijft zitten.

[Cowamundo]

In tegenstelling tot framegeneration zal rayreconstruction te gebruiken zijn op alle Nvidia-gpu's met ondersteuning voor raytracing, dus vanaf de RTX 2000-serie.

[Sinester]

Wat is je punt dat je wil maken door dat stukje te quoten zonder enige uitleg erbij?

Dat iedere gamer wel minimaal een RTX 2000 kaart heeft?

[JackFou]

Het punt is denk ik dat de uitspraak dat dit "natuurlijk alleen op 5xxx series gaat komen" niet juist is.

[Verwijderd]

Goed, uiteindelijk kun je daar als dev toch niet op leunen, want we zijn nog wel even verwijderd van een console met een 4090-equivalent. Ook zal minder dan 10% van alle gamers een flink beest in zijn/haar PC hebben, dus dat wordt zeer lastig spellen verkopen.

[Jeroenneman]

Vroeger noemden we dat benchmark cheating.

FG introduceert nog teveel visuele defecten om voor mij echt als alternatief voor 'normaal" renderen gebruikt te worden. Ik hoop dan ook dat je RR los kan gebruiken van SR en FG (de termen die Nvidia gebruikt voor upscalen en frame generation).

[OriginalFlyingdutchman]

Het is geen cheaten. Dan is tesselation ook cheaten, en light maps ook. In jouw ogen zou dan alleen volledige raytracing echt zijn en giga-grote textures en giga grote modellen met miljarden polygonen.

[Jeroenneman]

Nee hoor. Frame generation laat echt duidelijk artefacten zien. Daarom de benaming "cheaten".

Als je als eindgebruiker niets merkt van een optimalisatie slag, dan is dat natuurlijk prima.

[Elaborate8455]

Heb je er zelf ervaring mee? In mijn ervaring zijn de artifacts echt niet heel zichtbaar. Al ligt dat ook aan de implementatie per game.

Wat wel jammer is is dat FG natuurlijk niet de latency verlaagd. Dus voor competitive shooters is dit sowieso niet geschikt. En eigenlijk ook alleen geschikt voor HFR, frame rates boven de 60fps. Anders voelt het vrij lomp aan.

Of het wel of niet cheaten is maakt mij verder niks uit. Het kan echt een verademing zijn hoeveel soepeler het eruit ziet. En soms zijn hoge frame rates niet zomaar te halen zonder FG door bijvoorbeeld CPU bottlenecks. Zie bijvoorbeeld Jedi Survivor.

En ja in dat geval zou de game idealiter natuurlijk beter geoptimaliseerd zijn. Maar als dat niet het geval is heb ik toch liever FG en meer dan 60fps dan dat de game er stotterend uitziet.

[dwwolf]

Ik heb aan frame generation/insertion geen bal.

Alles wat latency verhoogd en niet aan de physics engine gelieërd is heeft m.i. geen plaats in online games.

[Reactie gewijzigd door dwwolf op 22 juli 2024 14:31]

[_Pussycat_]

En andere mensen (zoals ik) spelen nooit online. nVidia ontwikkelt niet alleen voor jou he.

[Elaborate8455]

Jaa dat kan. Ik gaf ook al aan dat het geen goed idee was om te gebruiken voor competitive shooters. Al kan het natuurlijk wel worden gebruikt voor andere online games. Voor een civ achtige game zou de latency compleet geen probleem moeten zijn.

Maar voor competitive shooters is het ook minder belangrijk om mooie ray tracing graphics te hebben. De gemiddelde competitive FPS gamer zet de graphics op 0. Dan heb je überhaupt geen FG nodig met een acceptabele GPU.

[PjotrX]

Tja, ssr of shadow maps hebben ook enorme artefacten, bij ssr zie je gewoon hele reflecties uit het niets verdwijnen en latern weer verschijnen, dat noem ik erger dan FG. Het verschil is dat toen die technieken geïntroduceerd waren er niet echt alternatieven waren, daardoor werden de artefacten maar voor lief genomen. @LOTG wordt nu als irrelevant weggemod maar hij heeft wel gewoon een goed punt.

Real-time rendering was altijd al concessies doen en veel verschillende technieken overwegen, elk met voordelen en nadelen. En upsampling algorithmen zoals FG, SR of RR zijn gewoon een onderdeel van de toolbox en worden in de game-developer kunnen zelf kiezen of ze deze gebruiken. Persoonlijk ben ik blij met FG, het zorgde ervoor dat ik plague tale requiem op max settings kon spelen op mijn 4k 120hz scherm. FG had in dat spel veel minder invloed op beeldkwaliteit dan de settings omlaag zetten.

Trouwens, om een antwoord op je eerdere vraag te geven. RR kan je los van FG gebruiken maar in de huidige implementatie niet los van SR want het wordt samen met SR in dezelfde stap gedaan. Misschien dat dit later wel kan maar dat ze dat nog geïmplementeerd hadden want ik zie niet in waarom het niet zou kunnen. RR is ook te gebruiken op oudere rtx kaarten, niet alleen de 40x serie.

[Verwijderd]

Ook artifacts of andere rare verschijnselen zijn al jaar en dag iets wat voorkomt in games mooier maken. Meestal is het voordeel groter dan het nadeel.

Mipmapping maakte textures over het algemeen een stuk minder aliased en minder lelijk, maar zorgde (en af en toe nog steeds, liggend aan dev) voor een duidelijke horizontale lijn zonder veel verloop waar voor/na textures scherp/vaag waren. Er zijn vrijwel altijd tradeoffs en we hebben erger meegemaakt dan een paar artifacts her en der.

[JackFou]

Ja, als je echt met een vergrootglas op zoek gaat en het footage met 10% snelheid weergeeft zie je idd duidelijk artefacten.
Maar als je gewoon gamet gebeurd er toch van alles en nog wat op het scherm en merk je in de praktijk eigenlijk helemaal niks van artefacten, zeker niet als je in beweging bent.
Ik heb zelf in Cyberpunk DLSS quality en FG aan staan om op maximale RT settings te kunnen gamen en het ziet prachtig uit en loopt nog eens heel smooth.

[MSalters]

We cheaten zelfs al vanaf het punt dat we kleuren als RGB voorstellen. Fotonen kunnen ook golflengtes daartussen hebben.

Maar "cheaten" is simpelweg geen zinnige benadering. Het menselijk zicht is beperkt, en alle trucs die subjectief onmerkbaar zijn, zijn dus toegestaan.

[PuzzleSolver]

Fotonen hebben ook nog polarisatie (gebruikt in de 3D bril van de bioscoop) en nog een richting (ze komen nu altijd uit je scherm zodat je op die afstand moet focussen). Wij mensen zien maar 3 kleuren en zwart wit (ergens tussen groen en blauw eigenlijk) in het donker. En een gele pixel op het scherm bestaat niet (tenminste niet op het doorsnee scherm) dus er branden eigenlijk een rode en een groene en dat is eigenlijk ook al cheaten idd.

Het mooiste zou zijn om een scherm te hebben dat de richting nog meegeeft, maar dan zou er nog veel meer data nodig zijn, overigens heten deze scherm "light field display". Lytro maakte ooit een camera waar je achteraf mee kon focussen.

DLSS3.5 lijkt al helemaal niet op cheaten, een goede vervanging van het denoisen van raytraced/pathtraced content. Dat denoisen moest toch al gebeuren en nu gebeurd dat dus nu op een slimmere manier die direct rekening houdt met upscaling en temporal effects.

https://www.youtube.com/w...&ab_channel=NVIDIAGeForce

[Reactie gewijzigd door PuzzleSolver op 22 juli 2024 14:31]

[jaaoie17]

Als ik geen verschil of vertraging merk. Maakt mij het niet uit.

[.MaT]

Dit is juist een manier om meer en betere visuele kwaliteit te persen uit hardware die het de zonder niet kan.

Als ik kijk naar de huidige trends zoals nog steeds gierig zijn met VRAM en 60 reeks uitbrengen met specs van 50 reeks voor de prijs van 70 reeks, dan vrees ik dat dit soort ontwikkelingen op termijn gaan ingezet worden om kosten op hardware te drukken.

[MSalters]

Op termijn? De 4060 is al expliciet ontworpen voor DLSS. Smalle geheugenbus, maar cache voor de DLSS algoritmes.

[HenriB04]

Het is gewoon jammer dat veel games slecht geoptimaliseerd zijn en dan vervolgens maar dlss in het spel gooien om er nog iets van te maken.

[Joshuffle]

Jammer dat het inderdaad vereist word (remnant 2 bijvoorbeeld, weet niet of gepatched was maar op launch kon mijn 3070 geen 60fps op 1440p behouden), wel weer goed dat deze techniek in ieder geval blijkt te werken vanaf de eerste RTX kaarten, dus je hoeft nog niet een 2k kaart te kopen, als ze door gaan met elke andere nieuwe feature (zoals frame generation) achter de [huidige/new gpu gen] zouden gooien dan zouden we die duistere toekomst nog sneller bereiken.

[CyBeR]

Jammer dat het inderdaad vereist word (remnant 2 bijvoorbeeld, weet niet of gepatched was maar op launch kon mijn 3070 geen 60fps op 1440p behouden)

Mijn 3090 had daar zelfs moeite mee zonder de settings wat te verlagen.

[Joeri.Bijlsma]

ik ga compleet verwachten dat ai generation features achter de 5xxx kaarten gaat zitten als feature, net als frame-gen op de 4xxx kaarten. Nvidia moet wel centjes verdienen en dit is een mooie feature om dat mee te doen.

Maar dat is nog niet eens het laatste, je hebt ook 8gb kaarten vs 16gb kaarten waar bij sommige titles je wel 30% meer fps krijgt op dezelfde settings t.o.v de 8gb variant (rtx 4060Ti 8gb vs 16gb bijv. scheelt een berg als je kijkt wat voor performance je eruit trekt uit die 16gb variant, bekijk ook eens de benchmarks van deze video: https://www.youtube.com/watch?v=2_Y3E631ro8 )

Ik hoop natuurlijk dat de 5xxx kaarten alles gaat fixen wat er nu mis is met de huidige generatie aan kaarten (mid-range xx60 16gb vram geven bijv.) gezien ik nog op een 3060 12gb zit (en er ERG blij mee ben dat die 12 gb heeft) heb ik gene interesse om te upgraden naar een rtx 4060Ti 16gb bijvoorbeeld, zeker gezien de prijs (wat ook wel een 30% lager mag, maarja chip tekorten etc.)

[madcow22]

Ligt waarschijnlijk aan of er extra hardware voor nodig is FrameGeneration heeft gewoon eigen stuk hardware op de kaart die er bij helpt.

[Wolfos]

Tja, dynamische resoluties zijn op consoles al jaar en dag de standaard. PC heeft alleen de dans kunnen ontspringen omdat vorige consoles relatief niet hele krachtige hardware hadden.

Uiteindelijk is het een kwestie van smaak, en zullen ontwikkelaars kiezen voor de combinatie technieken die zij het best vinden ogen. Hoewel je op de PC natuurlijk altijd nog de keuze hebt om gewoon de instellingen omlaag te doen.

[computerjunky]

De huidige consoles zijn ook zwak qua hardware. Ze waren letterlijk bij de release al achterhaald. Ze zijn ongeveer zo snel als een 2070 super voor de xbox en een 2070 voor de PlayStation. Dat is ondertussen low end geworden. En dan hebben we het nog niet eens over ray trace prestaties want die zijn belabberd. Enige reden dat ze ermee weg komen is omdat mensen 3 meter verderop op een tv gamen ipv een monitor vlak voor je neus.

[Joeri.Bijlsma]

je moet misschien maar even andere glazen halen, de ps5/series hadden high-end onderdelen op release. Dat dat nu mid-range/low-range is boeit niet, dat blijf je houden met hardware wat geen upgrade pad heeft.

Buiten dat, ps5/series hebben zat performance in de tank, developers weigeren gewoon te optimaliseren.
Kijk naar de base ps4, een console met prestaties van een 7850, ga jij god of war 2018, final fantasy 7 remake of resident evil 4 remake maar draaien op je 7850 en 2011 amd processor met dezelfde settings en resolutie, gaat je nooit lukken.

[Reactie gewijzigd door Joeri.Bijlsma op 22 juli 2024 14:31]

[computerjunky]

2070 super/2070 was toen al geen high end.... dat was een 2090 en 2080. Dat was toch echt midrange. Dat is met consoles nooit anders geweest.

En ps4 vergelijking met pc gaat al helemaal niet op. Die console generatie liep op settings lager dan low op de pc met ook. Of eens lagere native resolutie. Totaal niet te vergelijken. De grafische kwaliteit was dan ook ver onder par. En dat zie je overigens nu ook alweer op de ps5 en series x. De upscaling staat al lang en breed weer aan en er wordt met een lagere setting en native resolutie gewerkt om überhaupt de zogenaamde 1440p en 4k claims te halen.

Dus nee je kan nooit die settings op de pc gebruiken omdat ze op de pc niet zo laag bestaan.

[Reactie gewijzigd door computerjunky op 22 juli 2024 14:31]

[jaquesparblue]

Consoles hebben nooit top tier GPUs gehad. Altijd hoge midrange/ lage performance range.

[computerjunky]

Dat weet ik maar vertel dat aande persoon boven me

[Joeri.Bijlsma]

2090 bestaat niet eens lol, zegt genoeg over jouw mening.

De rtx 2070 super is vergelijkbaar met een rtx 2080 en laat dat nou net een high-end chip wezen, maar laten we dat maar even voor het gemak vergeten he?

[Reactie gewijzigd door Joeri.Bijlsma op 22 juli 2024 14:31]

[computerjunky]

Idd toen heten het nog titan... Lekker muggenziften...

[skullsplitter]

Een 2090?

[Wolfos]

Een 2070 super was veel meer dan wat de gemiddelde PC gamer in huis had. Vergeleken met het absolute drama dat Xbox One heette is het een gigantisch verschil.

Vooral de CPU was gewoon niet competitief met wat je op PC-vlak kon kopen, bijvoorbeeld een i5 4570k uit hetzelfde jaar die met gemak tweemaal zo snel was. Maar ook de GPU was low-end. Vergelijkbaar met de GTX 750 lees ik.

De Series X daarentegen gaat ongeveer gelijk met een Ryzen 7 3700X, en die 2070 super. Die zitten beiden aan de hoge kant van de mid-range.

Dus ja, dat is wel even een verschil, waardoor een PC nu niet meer even gemakkelijk als voorheen een consolegame draait. Al helemaal niet als je daar ook nog eens hoge eisen bij gaat stellen zoals 4K resoluties. Upscaling is daarvoor een uitkomst.

[Reactie gewijzigd door Wolfos op 22 juli 2024 14:31]

[computerjunky]

Dat is nogal logisch omdat het destijds een nieuw product was. Maar dat maakt het geen high end en beter als wat er in een nieuwe pc zit.

En de nieuwe consoles zijn niet gelijk aan een 3700x omdat de clocks flink lager liggen. Hi jis dan ook 12 tot 18% trager afhankelijk van de applicatie en dus de boost Clock. Maar idd een stuk sneller als wat er voorheen in consoles zat.

Ik zeg dan ook. Iet dat het geen goede hardware is maar alleen dat het zwak is in vergelijking met wat high end pc nu alweer kan en zelfs die hebben moeite met de golf aan slecht geoptimaliseerde games.

[dakka]

Zolang nog geen 4% van het publiek 4K resoluties gebruikt, zal dat niet zo een vaart lopen denk ik.

[Joeri.Bijlsma]

Gaat niet zo zeer om 4K, je ziet bij veel games dat 1440P al teveel gevraagd is voor degelijke prestaties.
Dit gaat alleen maar erger worden naarmate de generatie doorgaat en over gaat naar UE5.1 of andere vergelijkbare engines.

[3DEXP]

Of games draaien juist beter op Unreal 5 en hoger.

[Cid Highwind]

Dat is volgens de Steam survey. Die is, zoals al zo vaak aangehaald, niet representatief voor high-end gaming. Onder de doelgroep die dergelijke GPU's koopt en die geïnteresseerd is in moderne videogames, zal het percentage aan 1440p of hoger een flink stuk hoger zijn.

Punt in kwestie: Volgens Steam is 1366 x 768 een populairdere resolutie met ruim 5% van z'n gebruikers. Dat zijn of oude laptops, of mensen die geen geld hebben voor een 10 jaar oude LCD TV en dus nog een 15 jaar oude gebruiken. Ergo, geen gebruikers die een DLSS3.5 compatibele videokaart gebruiken.

[dipje2]

Die magische shooter (weet de naam even niet ) die net uit is , heeft een 5700xt nodig om 1080p60 te halen _met_ 'quality mode' upsampling.

Dus ja, dit is al een feit.

[Coolstart]

Wat is zo jammer aan? Je krijgt er toch meer visueel geweld voor terug?

Het enige probleem is dat de soms nog artefacten zijn in bepaalde games. Dat zullen ze ook wel wegwerken over tijd want ze zijn nu al amper zichtbaar.

Ook voor VR gaat men slimme systemen moeten verzinnen om grafische pracht en praal met 2x4K te kunnen combineren.

[TheDeeGee]

Alternatief is kaarten van 1500 Watt, dat zou jammer zijn.

[IamPeacock]

In tegenstelling tot framegeneration zal rayreconstruction te gebruiken zijn op alle Nvidia-gpu's met ondersteuning voor raytracing, dus vanaf de RTX 2000-serie.

Color me surprised.
Nvidia kennende zou ik verwacht hebben dat dit enkel voor hun 4000-serie of toekomstige modellen zou zijn.

[Sp3ci3s8472]

Gezien het DLSS 3(.5) wordt genoemd lijkt dat een logische aanname. Indien niet dan heb je zo meteen een compatibility matrix nodig .

[IamPeacock]

DLSS 3 werkt niet op de 2000 of 3000 series.
Indien ik me niet vergis is 2.5.1 de laatste versie die gebruikt kan worden voor deze modellen.

Daarom dat ik verbaasd ben dat 3.5 dit plots wel kan.

[cnieuweboer]

Nee dat klopt niet. De verwarring ontstaat waarschjinlijk omdat veel mensen veries en features verwarren.

Versie 2 = Upscaling
Versie 3 = Upscaling + Framegeneration
Versie 3.5 = Upscaling + Framegeneration + RT Denoiser

Alleen framegeneration is gelimiteerd tot Ada en nieuwer, omdat daar (aldus Nvidia) betere optical flow hardware voor nodig is dan wat beschikbaar is in Ampere. De 3.x upscaling werkt wel gewoon op de oudere Turing en Ampere GPU's.

[IamPeacock]

TIL, thanks

[MN-Power]

Jawel, DLSS 3.0 werkt wel, maar je hebt geen toegang tot frame generation. De meeste andere vernieuwingen heb je wel.

[dipje2]

Zie hier, die is er ook en ik moest hem 2x bekijken 😉. Ray reconstruction schijnt dan weer wel op 20/30 te werken.

[EldraziKlap]

Tof dat er doorontwikkeld wordt, jammer dat DLSS / FSR etc een excuus worden om games niet te optimaliseren tegenwoordig..

[jdh009]

De noodzaak om bepaalde zaken te optimaliseren door beperkingen van de techniek is er altijd al geweest. Wanneer die beperking er niet meer is, is het vaak gemakkelijker/kosten efficiënter om daar geen tijd in te steken als er voor de ontwikkelaar geen direct voordeel uit te halen is. Dit is dus gewoon weer een nieuwe stap in het rijtje wat me nu te binnen schiet:

Sprite Compression: In de 8-bit en 16-bit tijdperken werden sprites (2D-afbeeldingen die in spellen werden gebruikt) vaak gecomprimeerd om ruimte te besparen. Een bekend voorbeeld is RLE (Run-Length Encoding), waarbij herhaalde pixels in een sprite werden vervangen door een enkele waarde en een teller.

Tile-Based Rendering: Om geheugenruimte te besparen, werden achtergronden en levels vaak opgebouwd uit herbruikbare tegels. In plaats van een volledige afbeelding voor elk deel van het level op te slaan, werden kleinere tegels gecombineerd om het geheel te construeren.

Procedural Generation: Om de opslagruimte te minimaliseren, werden sommige aspecten van een spel, zoals levels, wapens en vijandgedrag, willekeurig gegenereerd op basis van algoritmen in plaats van vooraf ontworpen content op te slaan.

Limited Color Palettes: Beperkte grafische hardware betekende dat games vaak werkten met een beperkt kleurenpalet. Ontwikkelaars moesten slim gebruikmaken van deze beperkte keuze om visueel aantrekkelijke beelden te creëren.

Code Optimization: Omdat processoren vroeger veel minder krachtig waren dan nu, was het essentieel om code zo efficiënt mogelijk te schrijven. Ontwikkelaars schreven vaak assemblercode om directe controle over de hardware te hebben en om de prestaties te maximaliseren.

Dynamic Loading: Vanwege beperkt geheugen moesten sommige games dynamisch gegevens laden terwijl de speler door het level bewoog. Hierdoor kon geheugenruimte worden vrijgemaakt door alleen de benodigde gegevens op elk moment te laden.

Audio Compression: Geluidseffecten en muziek werden vaak gecomprimeerd om opslagruimte te besparen. Geluidscompressiealgoritmen zoals ADPCM (Adaptive Differential Pulse Code Modulation) werden veel gebruikt.

Level of Detail (LOD): Bij 3D-games werden verschillende niveaus van detail gebruikt, afhankelijk van de afstand van de camera tot objecten. Dit bespaarde rekenkracht door minder gedetailleerde modellen op afstand te gebruiken.

Culling Techniques: Niet-zichtbare objecten werden uitgesloten van de weergave om grafische verwerkingskracht te sparen. Dit omvatte technieken zoals frustum culling en backface culling.

Memory Bank Switching: Op systemen met beperkt adresbaar geheugen, zoals de NES, werd memory bank switching toegepast om verschillende delen van het geheugen op verschillende momenten toegankelijk te maken, waardoor meer gegevens binnen beperkte grenzen pasten.

De meeste van deze optimalisatietechnieken werden gebruikt om de specifieke beperkingen van het platform en de game te omzeilen. Sommige konden voor een mindere spelervaring zorgen, zoals bepaalde niet lossless compresses en andere gaven juist voordeel zoals het tonen van meer kleuren of langere levels.

Ondanks steeds krachtigere hardware zijn optimalisaties nog steeds belangrijk en nodig om de best mogelijke prestaties te bereiken. Moderne engines, zoals Unreal Engine 5, besteden veel aandacht aan optimalisatie, niet alleen voor prestaties, maar ook om ervoor te zorgen dat games soepel draaien op een breed scala aan apparaten. De komst van DLSS / FSR is dus gewoon een toevoeging in de toolbox van de ontwikkelaar.

Met technieken zoals dit en zaken zoals Nanite Virtualized Geometry zullen games uiteindelijk steeds meer afstappen vooraf bepaalde settings en langzaam richting on the spot rendering/lod/licht/enz om zo de meest optimale, realistische en mooiste frame samen te stellen voor jouw hardware in combinatie met een goede framerate.

@_Pussycat_ weet je toevallig welke term dan wel bij deze techniek die ik beschrijf hoort? Haal helaas wel vaker zaken door elkaar op dit moment. Wis het niet meer zeker bij deze en ver dit soms ook met tile base rendering en services binnen de geo wereld.

[Reactie gewijzigd door jdh009 op 22 juli 2024 14:31]

[Me_Giant]

Een hoop van wat je noemt gebeurt nog steeds. Ik vind dat er wel een verschil is. Bij DLSS is geen optimalisatie die je gebruikt om je game efficiënter op te bouwen, zoals de meeste zaken die je noemt dat wel zijn. Je maakt gewoon je game zonder al te veel te optimaliseren en zegt tegen de gebruiker: render hem maar gewoon op 1024x786 en laat nVidia-AI het maar weer opschalen naar je 1440p-scherm.

Die optimalisaties die je noemt zorgen voor een mooier spel en mogelijkheden om grotere werelden te maken op beperktere hardware. Met DLSS wordt de optimalisatie 100% naar de hardware en de gebruiker doorgeschoven.

[Reactie gewijzigd door Me_Giant op 22 juli 2024 14:31]

[_Pussycat_]

Leuke lijst. Tile based rendering is wel iets anders dan de tiles waarbij het over hebt.

[nullbyte]

In geval van b.v. de NES worden afbeeldingen opgebouwd uit kleine herbruikbare grafische elementen, die tiles worden genoemd. Deze tegels worden op een gestructureerde manier gerangschikt om het uiterlijk van achtergronden, personages en andere grafische elementen in NES-games te creëren.

Dat gezegd hebbende dit is niet wat er bedoelt wordt met tile based rendering GPU's.
https://www.techpowerup.c...dias-tile-based-rendering

Hoe het renderen van de NES tegels dan wel moet heten is mij onduidelijk. Het lijkt er op dat er 2 verschillende concepten met de zelfde benaming zijn.

[Reactie gewijzigd door nullbyte op 22 juli 2024 14:31]

[EldraziKlap]

Allereerst, super interessant om dit eens zo onder elkaar te zien. Leuk! Dank hiervoor.

Ik ben het eens met wat je zegt hoor, het is gewoon een tool in de doos. Maar, omdat het er toch in het geval van FSR/DLSS echt voor zorgt dat sommige spellen draaien, wordt er mijn inziens sneller gedacht 'oke het werkt, laat verdere optimalisatie maar zitten'. Daarom zeg ik ook; tof dat er doorontwikkeld wordt, wie weet wat het nog kan brengen.

Maar laat het geen excuus worden voor studio's om hun games niet meer goed te testen of wat meer tijd in de oven te krijgen. En dat lijkt nu toch soms wel te gebeuren.

[computerjunky]

Tja dit zij ik al toen het geïntroduceerd werd. Evenals 16gb vram. Ik zij meteen al dat wordt een probleem voor 8gb kaarten omdat devs lui gaan worden qua optimaliseren.

Net als android telefoons. 12gb ram met apps van 50 mb en om 1 of andere reden zit het geheugen al vol na 3 apps en kan je bij de 4de app weer opnieuw laden. 10 jaar geleden kon je met 512 mb 3 apps laden die hetzelfde konden...

[Armselig]

Volgens mij is er in het Half-life 2 filmpje helemaal geen sprake van RTX aan of uit. Ze switchen gewoon tussen de originele graphics en een fan-made remaster (met RTX).

[TheDeeGee]

RTX Remix is de modding tool die gebruikt word, die maakt het mogelijk om game assests te modden en DLSS/Reflex/Path Tracing toe te passen.

RTX Remix gaat nog vele fan remasters brengen, zelfs van games die nog NOOIT te modden waren.

[Reactie gewijzigd door TheDeeGee op 22 juli 2024 14:31]

[KoudeAardbei]

"Nvidia had ook een update over de tijdens Computex aangekondigde techniek Ace, een AI-model om npc's in games intelligente reacties te laten geven door middel van een large language model. Met de nieuwe toevoeging van NeMo SteerLM kunnen de eigenschappen humor, behulpzaamheid, creativiteit en giftigheid worden ingesteld om het type reactie te beïnvloeden. Concrete aankondigingen van wanneer Ace zal worden toegepast in games, had Nvidia nog niet in petto."

Op Youtube zag ik vorige week een filmpje van een soort GTA-like wereld waar NPC's echt een eigen karakter hadden en reageerden op wat je tegen ze zei , komen mooie tijden aan voor games en de bijbehorende NPC's

[Cowamundo]

https://www.youtube.com/watch?v=BIuhcxtkl9g

[Splorky]

Ik hou me hart vast.
Ze hoeven maar een verkeerd woord te zeggen en ze worden neer geschoten.

Nu weet ik wel het zijn geen leven de wezens, maar alle statistieken worden natuurlijk geüpload, en voor je het weet komt er een vlaggetje achter je naam met dat je vijandig bent tegen IA.

[Seth_Chaos]

Dus ze laten filmpjes zien waarin bij RTX ON veel gedetaileerdere textures en 3D models gebruikt worden, als promo filmpje voor RTX? Wat heeft dat er in godsnaam mee te maken?

[cnieuweboer]

Dat filmpje gaat over RTX Remix, een modding tool die oa bedoeld is game assets te vervangen.

[Seth_Chaos]

Alleen worden de assets gemoddeld in dezelfde third party tools die altijd al gebruikt werden voor het oppoetsen van 3d models. Dus wat is de toegevoegde waarde? Nu wordt de Indruk gewekt dat RTX dat allemaal voor je doet. Wat klinklare marketing onzin is. Net als dat ze doen met de meerwaarde van realtime raytracing.

[Reactie gewijzigd door Seth_Chaos op 22 juli 2024 14:31]

[cnieuweboer]

Nergens wordt beweerd dat RTX Remix automatisch werkt.

In het artikel staat letterlijk.
"Niet officieel aan Valve gelieerde ontwikkelaars zijn onder de naam Orbifold Studios begonnen met het maken van een RTX Remix-versie van de game Half-Life 2".

Onder de youtube video.
"An RTX Remix Project is a new community-made remaster of one of the highest-rated games of all time, Valve’s Half-Life 2. Half-Life 2 RTX is being developed by four of Half-Life 2’s top mod teams, now known as Orbifold Studios".

Waarom zou er een group ontwikkelaars nodig zijn als het allemaal automatisch gaat?

En de toegevoegde waarde is dat er een heel platform is om makkelijk assets te vervangen en raytracing to te voegen aan oudere spellen.

[TheDeeGee]

Misschien even verdiepen in wat RTX Remix precies is.

[Wolfos]

Nee, RTX remix is niet alleen maar path tracing toevoegen maar stelt modders ook in staat om de assets van de game makkelijk te vervangen. Dus dit is gewoon de remaster, vergeleken met de originele game.

[TheDeeGee]

Precies, en met RTX Remix word het mogelijk om games te modden die voorheen compleet op slot zatten.

[computerjunky]

Blijft jammer dat deze technieken de devs lui linkt te maken. Kijkende naar de grote releases en de graphics en de daarbij horende prestaties kan ik niet anders dan concluderen dat games tegenwoordig echt bagger optimalisaties hebben waardoor dit soort technieken verplicht worden. Ik denk dat ze gewoon tijdens development deze meuk an aan zetten en zo acceptabele fps genereren en het dan wel goed vinden ipv goede fps genereren voordat deze techniek ingezet wordt.


Verder niet onder de indruk van DLSS 3 dus vraag me vooral of af deze 3.5 "features" ook met versie 2 werken, dus zonder frame gen waar ik niets van moet hebben.

[Reactie gewijzigd door computerjunky op 22 juli 2024 14:31]

[MN-Power]

Frame generatie is helemaal geen verplicht onderdeel van DLSS 3.xx en 3.xx zonder frame gen werkt ook op 20xx en 30xx kaarten. Je zoekt problemen waar ze niet zijn.

En voor mensen die graphics fijn vinden kunnen de instellingen hoog en DLSS, FSR of Xess aan, en de rest die dat minder belangrijk vindt zet de instellingen wat lager (ziet het er nog steeds beter uit dan 3 jaar geleden) en geniet nog van een prima framerate. Je hoeft niet alles op ultra te kunnen spelen. Wel zo leuk om over 7 jaar nóg te kunnen genieten van graphics, maar nu een tandje hoger.

[Reactie gewijzigd door MN-Power op 22 juli 2024 14:31]

[computerjunky]

Ik zoek geen problemen maar het zou me niets verbazen dat 2.x niet mee geïmplementeerd gaat worden en dan heb je toch wel een verplichte frame gen met alle latency nadelen of geen extra fps.

En voor deze scale technieken kon alles ook al op ultra met de uitzonderingen daargelaten zoals crysis. Ik heb nooit games gespeeld die niet op ultra konden en altijd een high end gpu gehad en nu worden er voor het eerst games gereleased die gewoon zelfs met upscaling aan maar matig presteren en dat is gewoon onacceptabel en lui van devs. Daarnaast zijn ze niet eens echt mooier geworden sinds bijvoorbeeld Assassins Creed origin en Red Dead redemption 2.

[MN-Power]

Ik zeg toch: Frame Gen is optioneel in DLSS 3.0...

En mooier dan RDR2 kan echt wel, sommige models en textures zien er inmiddels alweer verouder uit. IMHO dan... De belichting is prachtig, dat maakt veel goed. Vandaar dat ik ook aardig pro-raytracing ben, want ook daar valt bij veel spellen wat te verbeteren. Om als voorbeeld te noemen reflecties op water aan in de hoeken van het scherm. Daar kunnen verl spellen niet goed mee omgaan en het is een gevalletje can not be unseen en dan ga je je er aan storen. Tenminste, ik...

En alsnog, vanwaar de behoefte alles altijd maar op ultra te kunnen spelen, zonder in ogenschouw te nemen of je dat laatste streepje ook echt nodig hebt op de allerhoogste resolutie, met een goede framerate én zonder DLSS/FSR/Xess? Waarom is het erg dat dat nu nog niet haalbaar is, terwijl het er op ren tandje minder nog steeds net zo goed uitziet als een ander spel?

Over RDR2: dat was ook geen feest op een 1080 bij 4k. Juist daarom ziet die er nu nog wél goed uit.

[computerjunky]

Waarom alles op ultra is een persoonlijke voorkeur. Ik hou gewoon van grafische pracht en praal en dus speel ik een game pas als ultra speelbaar is.
Mij zie je dan ook geen oude games spelen. Ik erger me daar gewoon aan.

[MN-Power]

Dus als ik het goed begrijp wil je de game precies zo mooi hebben dat het op jouw systeem (voor jou) zeer acceptabel draait op de allerhoogste instellingen en dat mooier (en dus zwaarder) ongewenst is ondanks dat je met instellingen terug zou kunnen tot wat in het eerste deel van mijn zin voor jou zeer acceptabel was....


Why?

Em wat nou als er nog zo iemand als jij bestaat maar dan met een 5k scherm, of 8k? Met ook dezelfde eis? Dan blijft er juist toch geen grafische pracht en praal over? Ik persoonlijk wil juist dat games hoog mikken met goede instellingen om het (bijvoorbeeld) zelfs op een Steam Deck goed draaibaar te maken en met voor dat systeem accepabele graphics. Door te eisen dat ultra een zeer haalbare instelling is op verl systemen zul je zien dat de game er op ultra 'aardig' uitziet maar niet meer dan dat. Schaalbaarheid icm. efficiëntie maken de graphics een game goed, niet het lekker laag leggen van de lat.

[Reactie gewijzigd door MN-Power op 22 juli 2024 14:31]

[computerjunky]

Heb je nog wat duct tape nodig om al die aannames aan elkaar te plakken? Mijn god zeg.

1440p is de standaard aan het worden. 4k is niche en dus niet relevant. Trend is echter dat zelfs met high end ultra 1440p niet lekker speelbaar is en die trend is in gang gezet sinds de komst van upscaling. Die zelf de rekensom maar. Daarvoor kon je met recente high end hardware gewoon alles max spelen op de op dat moment standaard resolutie.

[MN-Power]

Ik denk dat we qua wensen niet eens zoveel verschillen. Ik game al een beste tijd op 4k en wil door OLED ook geen lage framerate. Liever 90 dan 60 zeg maar. Er is alleen één verschil. Ik kan het best waarderen als mijn hardware een bepaalde hoogste instelling niet aankan, als dat voor dit moment in tijd een stap te ver is. En waar we ook in verschillen is dat ik dan de stap om DLSS of FSR te gebruiken prima vind(liefst op quality). Ik zie het verschil vaak niet en als ik het verschil in betere belichting/particles/hogere model kwaliteit wel zie, is mijn keus gemaakt. Is dat het je niet waard, zet je die ene instelling lager en heb je graphics van nu (en niet van volgend jaar of het jaar erna). Nog steeds prima toch?

En natuurlijk als er resources verspild worden door een inefficiënte engine , onhandige 3d modeling of slechte LoD scaling is dat niet goed. Ik heb alleen niet het idee dat dat vreselijjk speelt en al helemaal niet dat dat veroorzaakt wordt door upscalers. Wél dat je door upscalers sommigen die net iets meer willen dan op die resolutie met brute-force mogelijk is, alsnog iets meer kan bieden. Als dat 'iets meer' nu niet haalbaar is zonder upscalers, of zelfs pas mogelijk met een kaart of processor uit een volgende generatie, moet het er dan niet inzitten?

[3DEXP]

Ik speel iedere game met de hoogste settings af op 4k en dat is prima speelbaar ver boven de 60fps.

[dipje2]

Compleet unrelated , maar probeer eens een blind test uit bij jezelf.

Laat vrienden van je de settings random van ultra naar 1 stapje minder zetten , limit de framerate zodat dat niet te zien is, en kijk of je het er uit haalt .

Hangt van het spel af of het wel of niet te merken is lijkt me.

En daarmee zeg ik dus niet 'je ziet het verschil toch niet!!!'. Wie weet wel. Is gewoon een leuk testje voor jezelf of het echt boeit of tussen je oren zit.

Anyway, valt mij op hoe tof dingen er nog uit zien op iets als medium tegenwoordig.

[Hoenense]

Netjes Nvidia, good game!

[Swindowmasher]

De Half Life 2 RTX ziet er erg cool uit, maar vond het nogal teleurstellend dat er maar 1 ruimte getoond werd. Had liever iets anders gezien omdat dit nogal gelijkaardig is aan wat we te zien kregen bij de ES demo van vorig jaar.

[TheDeeGee]

Ze zijn nog niet zo lang geleden begonnen, denk dat we dit pas kunnen spelen in 2025/2026.

[ApfelMoes]

Het is een fan remake, dus onbetaald werk.

[dipje2]

Dit werkt op 2000 / 3000 series las ik. Hoe kan het dan de optical flow functie gebruikt wordt die hardware matig op de 4000 zit ? Software vervanging ?

> De hardwarematige optical flow accelerator wordt vervolgens net als voorheen ingezet om ook beweging te herkennen