Nvidia laat bij een presentatie zien hoeveel controle ontwikkelaars hebben over DLSS 5. Bij de eerste presentatie van DLSS 5 vreesden critici dat de upscaler de artistieke intentie van de maker zou negeren. Nvidia stelt juist dat ontwikkelaars veel controle hebben over hoe ze DLSS 5 kunnen gebruiken.
"Stel dat een personage een litteken heeft dat ons AI-model niet mooi vindt. Het model verwijdert het litteken. Ja, het beeld ziet er nu mooier uit, maar het is een ander personage geworden." Dit moet DLSS 5 dus vooral niet doen, zegt Edward Liu, director of applied deep learning research bij Nvidia.
Het model gaat daarom bepaalde 'lagen' van een frame gebruiken om oorspronkelijke modellen intact te houden, legt Liu uit. Het gaat dan bijvoorbeeld om de surface normals en bepaalde lichtinformatie. Het model moet zo weten welke delen van het frame intact moeten blijven en welke delen het wel mag upscalen.
Zo moet het frame bijvoorbeeld wel betere subsurface scattering, fijnere material responses, betere verlichting en schaduwen krijgen. Het litteken ziet er daardoor beter uit, maar mag nooit verdwijnen, zegt Liu.
Gezicht wel upscalen, de rest niet
Nvidia laat bij de presentatie op graphicsbeurs Siggraph ook zien hoeveel keuze ontwikkelaars krijgen bij het toepassen van DLSS 5. Het bedrijf zegt namelijk dat er bij het 'fotorealistischer maken' van beelden niet één perfect antwoord hoeft te zijn. Verschillende geüpscalede frames kunnen mooier zijn dan het origineel.
Ontwikkelaars krijgen daarom de keuze welk geüpscaled beeld ze toepassen. Daarbij kunnen ze per frame kiezen welk deel verbeterd moet worden en in welke mate. Zo kunnen ze er bijvoorbeeld voor kiezen om een gezicht of een specifiek object wel te upscalen, maar de achtergrond niet. Daarbij kunnen ze bepalen hoe sterk de effecten per zone moeten zijn.
DLSS 5 verschijnt dit najaar voor RTX 50-kaarten. Die videokaarten kwamen vorig jaar uit. Nvidia kondigde DLSS 5 in maart aan. Veel gamers vreesden dat de intentie van de ontwikkelaar daarbij te niet werd gedaan en dat alles te fotorealistisch zou worden. Nvidia gaf toen al aan dat ontwikkelaars veel invloed konden uitoefenen op de upscaler.
:strip_exif()/i/2008268748.jpeg?f=imagenormal)
/u/78932/Jewel3GoT.png?f=community)
/u/389453/crop56122b3ae5c15_cropped.png?f=community)
:strip_icc():strip_exif()/u/367101/crop5e283bdcf12b1_cropped.jpeg?f=community)
:strip_icc():strip_exif()/u/249917/jaapschaap.jpg?f=community)
:strip_icc():strip_exif()/u/57655/SuperTeamLogo.jpg?f=community)
:strip_exif()/u/609320/crop5b6ae539e2dcd_cropped.gif?f=community)
/u/381607/have%2520a%2520nice%2520day%2520-%2520small.png?f=community)
/u/549794/crop63cec24d2908d_cropped.png?f=community)
/u/226814/crop5b5e5226ad741_cropped.png?f=community)
/u/1219196/crop6324b2e35d04c_cropped.png?f=community)
:strip_icc():strip_exif()/u/61950/hakker.jpg?f=community)
:strip_exif()/u/285020/crop6085b8acc4f0d_cropped.gif?f=community)
:strip_icc():strip_exif()/u/432714/crop6287e94322cf6_cropped.jpg?f=community)
/u/157772/crop646e49fe679e7_cropped.png?f=community)
:strip_icc():strip_exif()/u/621125/crop65cd0fde312bc_cropped.jpg?f=community)