AI-benchmarks van elf AMD- en Nvidia-videokaarten

Leuk, al die videokaartbenchmarks in games, maar hoe doen al die gpu's het in AI-workloads? Het is een vraag die regelmatig terugkomt onder onze reviews. Hem beantwoorden is alleen zo makkelijk nog niet. Voor dit artikel ben ik aan de slag gegaan met vier verschillende lokale AI-tools en maar liefst elf videokaarten van AMD en Nvidia, zowel van de huidige als de vorige generatie.

In de afgelopen twee jaar maakte AI een stormachtige opkomst mee. De resultaten gingen van lachwekkend en onbruikbaar naar soms bijzonder nuttig en creatief, waardoor AI-gebaseerde modellen de workflow van steeds meer mensen insluipen. Als je de afgelopen tijd AI hebt gebruikt, deed je dat waarschijnlijk vooral in de cloud, bijvoorbeeld met de online versies van ChatGPT of Googles Gemini. Het lokaal draaien van AI-modellen kan in theorie wel, zolang de maker ze vrijgeeft tenminste, maar is tot nu toe vooral iets voor de tweaker die ermee wil experimenteren. Het vereist immers krachtige hardware.

Testsysteem

Voor de tests in dit artikel maken we gebruik van ons standaard gpu-testsysteem, bestaande uit de volgende onderdelen.

Processor	AMD Ryzen 7 9800X3D
Moederbord	ROG Crosshair X870E Hero
Werkgeheugen	G.Skill 32GB DDR5-6000
Ssd	Silicon Power XS70 4TB
Voeding	FSP Hydro PTM Pro 1200W
Koeling	Alphacool custom 480mm
Testbench	Streacom BC1 V2
Besturingssysteem	Windows 11 Pro

Voor de videokaarten hebben we de referentiekaarten gebruikt, zoals de Nvidia Founders Editions. Van de RTX 5070 Ti bestaat er geen FE; voor die kaart hebben we daarom een MSI Ventus 3X OC-model getest. Hetzelfde geldt voor de RX 9070 en RX 9070 XT: daarvoor gebruiken we respectievelijk de Powercolor Hellhound en Red Devil. De drivers waren AMD Software 25.3.2 en Nvidia GeForce 572.83.

Toch begint lokale AI langzaam aan populariteit te winnen. Voor de bekende online AI-modellen is al een tijdlang een abonnement vereist, in elk geval als je ze onbeperkt en in de nieuwste iteraties wilt gebruiken. Daarnaast is een lokaal draaiende AI inherent privacyvriendelijker, wat zeker gezien de ontwikkelingen in de VS een grotere rol is gaan spelen voor veel mensen. Veel grote AI-modellen komen daarvandaan, met uitzondering van het populaire opensourcemodel DeepSeek, dat afkomstig is uit China.

De ontwikkeling van AI is nog pril en dat geldt eens te meer voor lokale AI. Er komen regelmatig nieuwe modellen beschikbaar en er valt nog veel te winnen met optimalisatie. Er worden pogingen gedaan tot standaardisatie, zoals ONNX en Microsofts DirectML, maar veel AI-tools gebruiken toch vendorspecifieke implementaties. Die zijn vaak veel sneller dan de standaardoptie; je wilt ze dus gebruiken, maar ze maken een-op-een vergelijken lastig.

Naast de elkaar snel opvolgende ontwikkelingen en de vendorspecifieke implementaties is er ook een fundamenteler probleem met het benchmarken van AI: er is niet één antwoord. Ook al geef je dezelfde opdracht, het resultaat kan telkens anders zijn. Sommige van de benchmarks in dit artikel maken gebruik van 'expected outputs' om al te grote afwijkingen te voorkomen; in andere gevallen beoordeel ik zelf of een resultaat ruwweg vergelijkbaar is. Als een niet al te geavanceerd taalmodel het opeens een goed idee vindt om een antwoord te geven in een andere taal of vijftig keer op rij hetzelfde woord neer te pennen, dan draaien we de test opnieuw.

Op de volgende pagina's proberen we te achterhalen welke hardware je nodig hebt om op je eigen pc aan de slag te gaan met lokale AI. Dat doen we zoals gezegd met elf videokaarten uit zowel de huidige als de vorige generaties van AMD en Nvidia. Hieronder vind je de specificaties van al die kaarten op een rij.

	Architectuur	Cores	Geheugen	Geheugen- bandbreedte	Tdp	Introductie
Nvidia GeForce RTX 5090	Blackwell	21760	32GB GDDR7	1792GB/s	575W	januari 2025
Nvidia GeForce RTX 5080	Blackwell	10752	16GB GDDR7	960GB/s	360W	januari 2025
Nvidia GeForce RTX 5070 Ti	Blackwell	8960	16GB GDDR7	896GB/s	300W	februari 2025
Nvidia GeForce RTX 5070	Blackwell	6144	12GB GDDR7	672GB/s	250W	maart 2025
Nvidia GeForce RTX 4090	Ada	16384	24GB GDDR6X	1008GB/s	450W	oktober 2022
Nvidia GeForce RTX 4080 Super	Ada	10240	16GB GDDR6X	717GB/s	320W	januari 2024
Nvidia GeForce RTX 4070 Super	Ada	7168	12GB GDDR6X	504GB/s	220W	januari 2024
AMD Radeon RX 9070 XT	RDNA 4	4096	16GB GDDR6	640GB/s	304W	maart 2025
AMD Radeon RX 9070	RDNA 4	3584	16GB GDDR6	640GB/s	220W	maart 2025
AMD Radeon RX 7900 XTX	RDNA 3	6144	24GB GDDR6	960GB/s	355W	december 2022
AMD Radeon RX 7800 XT	RDNA 3	3840	16GB GDDR6	624GB/s	263W	september 2023