Nvidia maakt sdk voor Neural Rendering beschikbaar

Nvidia maakt de onlangs aangekondigde Neural Rendering-tools voor ontwikkelaars beschikbaar. De software development kit bestaat uit verschillende technieken om neurale netwerken te betrekken bij het renderen van beelden.

De nieuwe rendertechnologiën maken deel uit van de RTX Kit en moeten neurale netwerken in het renderproces integreren voor games met raytracing. Nvidia noemt onder meer de technieken RTX Neural Shaders, Neural Texture Compression, Texture Filtering en Character Rendering als nieuwe onderdelen van de RTX-sdk. Specifiek de shadertools zijn vooralsnog alleen beschikbaar voor games op basis van de Vulkan-api. Later moet DirectX-ondersteuning uitgebracht worden. De rest van de vermelde technieken ondersteunt nu al DirectX-games.

Alle vermelde technologieën gebruiken op een verschillende manier neurale netwerken, ofwel machine learning, om bepaalde aspecten van het renderen van specifieke onderdelen van games te verbeteren. RTX Neural Shaders moet bijvoorbeeld 'nieuwe technieken voor de compressie en approximation' van shaders introduceren. Neural Texture Compression is een techniek waarmee Nvidia claimt dat textures gecomprimeerd kunnen worden, waardoor tot acht keer minder vram nodig is 'bij vergelijkbare visuele kwaliteit'. Texture Filtering met behulp van neurale netwerken moet de hoeveelheid artefacten verminderen, ofwel ongewenste visuele restanten van een renderproces. Hiervoor worden willekeurig textures na het shaderproces getest op fouten en gefilterd, wat de beeldkwaliteit moet verbeteren.

Reacties (18)

[tedades]

Volgens github zijn de minimum eisen hiervoor de geforce 1xxx reeks, dus dat zou op nog veel nvidia kaarten moeten werken. Ook al schijnt dat op de oudere kaarten niet vlot te lopen.
Bron: https://github.com/NVIDIA-RTX/Rtxntc

[Reactie gewijzigd door tedades op 7 februari 2025 21:23]

[SuperDre]

Mij lijkt het sowieso niet iets dat je op runtime uitvoert, maar dat je bij initieel starten van een game dit gebruikt om de textures optimaal te comprimeren voor de gebruikte kaart/geheugen. Dus eerste keer game starten kan ff duren..

[Bergen]

Nou, ik ben ook geen expert, maar volgens mij is het de bedoeling dat je textures door de Neural Texture Compression (NTC) Explorer haalt, en die maakt er dan een neural network van, en dat (pre-computed) netwerk laad je dan bij het starten van een game in het geheugen van de videokaart. En de kaart kan met dat neural network dan realtime textures tekenen.

Je laadt dus geen textures meer in de videokaart, maar neural networks. Althans, dat is hoe ik deze techniek interpreteer. Please correct me if I'm wrong.

[Reactie gewijzigd door Bergen op 8 februari 2025 00:46]

[Prince]

Op de GitHub pagina van RTXNTC zie je halverwege de pagina een vergelijking van "Disk Size", "PCI-E Traffic" en VRAM Size".
Daar laten ze zien dat er 2 varianten zijn: NTC-on-load en NTC-on-Sample.
De eerste stuurt idd een NTC (model) naar de videokaart, maar deze zet deze om naar standaard BCn compressed textures tijdens het laden. Dit zorgt natuurlijk niet voor reductie in gebruikt VRAM, maar wel in diskspace en PCI-E traffic.
De 2de laadt ook enkel het NTC (model) in het VRAM en zal dus tijdens het opbouwen van het frame het model laten draaien. Dit zorgt voor veel minder benodigd VRAM, maar wel meer processing power.

[Pep7777]

Nee neural rendering is belangrijk voor het renderen tijdens raytracing. Het helpt voorspellen hoe licht met een materiaal gaat interacteren (interne reflecties ed) zonder alles te hoeven uitrekenen. Vooral de kristallen op 1:37 zijn daar een goed voorbeeld van.

[cane]

Volgens mij is die texture in het tweede voorbeeld van https://polyhaven.com/textures
Dus als iemand nog textures zoekt om "Neural Texture Compression" dit mee uit te proberen, kan natuurlijk wel zijn dat hun AI model al getrained is op al deze textures en een beter resultaat geeft.

[SuperDre]

Texture Compression is een techniek waarmee Nvidia claimt dat textures gecomprimeerd kunnen worden waardoor tot acht keer minder vram nodig is 'bij vergelijkbare visuele kwaliteit'.

Als ze dat in productie ook werkelijk voor veel games voor elkaar krijgen, dan is het wel logisch dat ze hun nieuwere gamekaarten niet vol stoppen met vram. Als ze dit dan ook nog op driverniveau voor elkaar krijgen bij laden en lezen van textures dan zou dat helemaal geweldig zijn.
Maar realiteit zal helaas toch anders zijn, en hooguit 2x beter comprimeren als 8x, maargoed, zelfs met gemiddeld 2x tot 3x beterr compressie is nog steeds een klap minder vram nodig.

Hoe ver we inmiddels toch gekomen zijn, als je die video zo bekijkt dan valt mijn mond toch nog steeds open van wat er tegenwoordig in realtime toch mogelijk is, ik heb dan ook zo goed als de hele weg meegemaakt van pong met 2 blokjes op een scherm tot wat je in de video ziet.

[Reactie gewijzigd door SuperDre op 7 februari 2025 23:47]

[k995]

Maar realiteit zal helaas toch anders zijn, en hooguit 2x beter comprimeren als 8x, maargoed, zelfs met gemiddeld 2x tot 3x beterr compressie is nog steeds een klap minder vram nodig.

Dat lost dat hele probleem compleet op.
bedoel tegenwoodig zit je op 4k ultra/RT & FG (en alles aan wat dus vram nodig heeft) aan een 10 to 16GB vram. Zelfs al zou je dat kunnen delen door 2 dan is een 8gb kaart voldoende en een 4060/5060 heeft een gpu die niet krachtig genoeg is om dat aan te kunnen dus maakt dat het vram probleem verleden tijd.

[SuperDre]

Juist en dat zou dus ook een reden kunnen zijn waarom nieuwe Nvidia gaming kaarten een stuk minder geheugen hebben dan sommige tweakers zouden willen, dat zijn dan vooral de tweakers die hun GPU willen gebruiken voor AI modellen ipv gaming.

[HKS-Skyline]

Dus een software development kit kit?

[Zezura]

Het is laat, redacteuren zijn soms ook moe. Vermoed ik zo

[michaelhamers]

Ik zocht naar deze reactie haha. Was ook het eerste wat ik dacht

[1Joshua5]

Als je goed kijkt is het helemaal niet zo geweldig. Duidelijk dat we aan technische grenzen aanlopen. Ook niet verwonderlijk, zonder Ai zei Jensen kunnen we geen videokaarten meer produceren. Ze zijn al over de menselijke capaciteiten heen.

[Reactie gewijzigd door 1Joshua5 op 8 februari 2025 08:56]

[skullsplitter]

Mwah, je moet ook gewoon verkoop hebben.

[1Joshua5]

True

[mrfeet]

Neural Rendering-tools

Waaaaaaat??? Geen AI in de naam??? Wat zullen de investors er wel niet van zeggen

[DBTHEPLUG]

Precies man.