Modders slopen AI-prestatielimiet uit Nvidia's RTX 20-, 30- en 40-gpu's

Modders hebben een manier gevonden om de AI-prestatielimieten uit Nvidia's RTX 20-, 30- en 40-videokaarten te schrappen. Via een exploit kunnen sommige gpu's daarmee op papier fors beter presteren bij specifieke AI-rekentaken, al zal dat in de praktijk niet altijd zo zijn.

Dit nieuws in het kort

• Drie modders hebben Nvidia's oudere RTX-generaties ontdaan van hun AI-prestatiebeperkingen.
• Dat moet in theorie betere prestaties opleveren bij verwerking van llm-prompts en beeldgeneratie, maar niet in games.
• De exploit is driveronafhankelijk, maar kent risico's en werkt niet op RTX 50-gpu's.

Nvidia geeft zijn consumenten-gpu's een beperking mee die de snelheid van bepaalde AI-rekentaken halveert, specifiek bij FP16- en BF16-rekenwerk. Drie projecten stellen gebruikers van RTX 20-, RTX 30- en RTX 40-videokaarten in staat om die beperking nu uit hun gpu halen, merkte techwebsite VideoCardz als eerste op.

Ontwikkelaar Zagitta bouwde daarvoor verder op een methode om prestatiebeperkingen van Nvidia's CMP-cryptomining-gpu's te verwijderen. De modder maakte hiervan een versie voor RTX 30-videokaarten, die later dus ook werd geport naar de RTX 20- en 40-series. RTX 50-kaarten werken niet met deze unlockmethode, zegt de modmaker.

Linux-mods

De drie mods werken op Linux en zijn bovendien slechts getest op een beperkt aantal kaarten. Er zijn wel een aantal Windows-forks, maar die zijn afkomstig van andere ontwikkelaars. Dit soort onofficiële mods uitvoeren is toch al nooit risicovrij.

De mod werkt via een Linux-kernelmodule, die bepaalde instructies inlaadt voordat de drivermodules van Nvidia zelf worden opgestart. Zo schrapt de module de gpu-beperkingen. Het gaat om een tijdelijke aanpassing, die wordt teruggedraaid zodra de gpu wordt uitgeschakeld.

Prestatieverschillen

In theorie kan de hack promptverwerking voor grote taalmodellen en beeldgeneratie wat versnellen. De aanpassingen zullen de gameprestaties niet beïnvloeden. De exacte prestatieverbeteringen verschillen echter sterk per workload, videokaartmodel en gpu-architectuur.

In theorie zou de RTX 4090 zijn FP16-throughput op de Tensor-cores bijna verdubbelen naar 331,6Tflops. De RTX 3090 Ti zou tot 80 procent beter presteren in BF16-rekenwerk, terwijl de RTX 2080 Ti tot 85 procent beter zou presteren bij FP16-rekenwerk. Wel was die laatste gemod met 22GB vram.

In de praktijk zouden de prestatieverbeteringen bij veel workloads bovendien lager uitvallen, merkt ook VideoCardz op. Bij llm-prompts was de RTX 3090 bijvoorbeeld 14 tot 36 procent sneller. Tokens genereren is vooral afhankelijk van geheugensnelheden, waardoor deze mod geen verschil maakt. Nvidia heeft nog niet gereageerd op de exploit.

De RTX 4090 Founders Edition. Foto: Tweakers (beeld ter illustratie)

Reacties (16)

[Tapijtmepper]

Is dit nu gelimiteerd omdat ze schrik hebben dat China massaal dit opkoopt en gebruikt voor AI?

[franssie]

Wat ik uit de commentaren haal van het bronartikel is dat ze het doen/deden om een verschil te maken tussen de consumenten en de pro lijn. Zoals sommige CPU's enkele cores hebben uitgeschakeld, wel dezelfde productielijn, maar ook twee afzetmarkten/prijsstellingen.

[Richardus27]

Kon ook om opkoop door niet-chinese AI boeren van gaming kaarten te voorkomen. Als ze keuze hebben tussen een RTX Pro superduper van €6,000 een RTX gaming kaart van €1000 dan gaan ze bij gelijke prestaties gelijk alle gaming kaarten opkopen.

Gamers boos want geen voorraad + scalping

Nvidia boos want elke verkochte RTX kaart in een datacenter/workstation is €5000 die ze niet vangen voor een Pro kaart

[satoer]

Volgens mij was dit destijds gelimiteerd om te voorkomen dat die kaarten massaal naar cryptofarms gingen. Voor gamers waren dat type berekeningen minder belangrijk. Maar nu met AI is het wel weer een gemis.

[DeNachtwacht]

Mja, het bericht is mooi, en het is sowieso indrukwekkend hoe enorm veel optimalisaties de laatste maanden op dit gebied met ook oudere hardware naar boven komt. Als het moet, zijn we toch verdomd inventief met elkaar. Maar in de praktijk zul je er weinig aan hebben. Op al deze kaarten is vanwege de max vram meestal een nvfp4 of hooguit FP8 wat je zal draaien op zo'n GPU. In plaats van een basismodel op BF/FP16 draaien, is kiezen voor een geavanceerder model op nvfp4 of andere optimalisatie vrijwel altijd de slimmere keus.

[Reactie gewijzigd door DeNachtwacht op 27 oktober 2026 14:34]

[Zoijar]

Klopt. En zoals een beetje cryptisch omschreven versnelt het eigenlijk alleen de pre-fill. Dat is best handig natuurlijk, maar zelf agentic met een redelijke KV cache ben je toch meer bezig met inference.

[dipje2]

een hoop werkt toch ook door modellen te doen die quantized zijn, maar dan draait de matmul en andere zaken nog in f16 / bf16?

Het verschli met w4a4 / w4a8 , etc.. 'weights in 4 bit, maar de activations in 8bit' en zo door.
Kijk naar GGUF file format met allemaal verschillende quantizing opties per layer in verschillende bitdepths (en zelfs verschlilende engines met hun eigen formats, etc..). Maar _meestal_ zijn dat kernels die dan de low-bit waardes pakken en wel in bf16 uitvoeren voor de precision.

Kaarten zoals de RTX 5xxx serie kunnen _snellere_ activations doen door alles in nvfp4 te houden, en dan krijg je een leuke speedboost.. maar dan draait dus ook je data pipeline compleet in de 4 bit van nvfp4, en - vooral met image modellen - is de kwaliteit gelijk een stuk minder.

Dus ehm... ik weet niet alles hier van en ben zeker geen expert, dus kan er compleet naast zitten, maar haal bitdepths en formats van de weights niet door elkaar met de bitdepths en formats van de activations / pipeline.

[Ethnic]

Zouden ze het bij de 50xx series ook proberen? Of is er een extra uitdaging die ze nog niet hebben kunnen omzeilen? Weet iemand hier meer over?

[Vinny_93]

RTX 50-kaarten werken niet met deze unlockmethode, zegt de modmaker.

Aldus het artikel

[Zoijar]

Voor een 5090 moet je echt naar Ninfer kijken en Qwen, zo'n 2 a 3 keer zo snel als llama.cpp

[closefuture]

Ik denk niet dat NVidia hier iets om geeft. Uiteindelijk zijn deze kaarten sowieso niet echt de beste keuze voor AI en al zouden ze het wel zijn gaan partijen die echt op serieuze schaal iets doen dit toch niet doen.

Zou me ook niks verbazen als NVidia dit ook gedaan heeft om ervoor te zorgen dat bij toekomstige AI export restricties, belastingen of wat dan ook deze kaarten hier niet onder vallen.

[Luchtbakker]

Het is een opstapeling van zaken die deze kaarten juist wél interessant maken. Eerst begon met DLSS 5 dat eigenlijk alleen voor de 5xxx serie was, en nu is het ook eens de AI functies die onder bepaalde situaties voor flink betere prestaties kunnen zorgen.

Als je deze zaken bij elkaar optelt, is het steeds minder interessant een 5xxx kaart te kopen voor de huidige prijzen.

[ocf81]

Ca. 22% is toch nog wel een aardige toename. Waar ik dan wel mee zit is of dit dan nog effect gaat hebben op de nauwkeurigheid van het model. Worden de waarden op dezelfde manier afgerond als op de zakelijke kaarten?

[chronosity]

In theorie zou de RTX 4090 zijn FP16-throughput op de Tensor-cores bijna verdubbelen

Nee, het gaat niet om FP/BF16 instructies in het algemeen, maar om FP/BF16 instructies die geaccumuleerd worden tot 32 bit instructies:

The effect of this unlock is that it doubles the instruction issuing speed of FP/BF16 FMA into FP32 operations on GA102, GA103, GA104 and GA106 cards.

[...] with FP32 accumulation

Bron: https://github.com/Zagitta/gpu-unlock

[ibodar]

Met W4A16 LLM modellen op een dual gpu 3090 setup zie ik 65 - 80% verbetering, respectievelijk 3090 versus 3090 Ti.

Voorbeeld: Qwen 3.8 27B (dense model) + vLLM optimalisatie (= HyperQwen)
- HyperQwen + gpu-unlock: c1 - c8 van 155 - 614 token/s (c = concurrency)
- HyperQwen: c1 - c8 van 88 - 314 tok/s

tool-eval-bench: 94/100 (is excellent)

[Reactie gewijzigd door ibodar op 27 oktober 2026 15:31]

[SLDKJH]

Wat ik wel weet is dat Nvidia er niet van houd als iemand in het bios van hun kaarten gaat zitten. 621.01 maakt het weer lastiger om mVolt te gebruiken bijvoorbeeld, ontzettend irritant als je het mij vraagt. Hadden we eindelijk iets nuttigs om voltages en dergelijken aan te passen maakt Nvidia er gelijk weer een einde aan. De nieuwste spellen eisen de nieuwste drivers dus zo dwingen ze je om up te daten. Gelukkig heb ik mVolt niet dagelijks nodig maar het had leuk geweest als het gewoon had blijven werken, de bios aanpassingen.