Roundup videokaartprestaties in 3DMark03 - update

X-Bit Labs heeft een artikel online gezet waarin het dertien moderne grafische kaarten aan de hand van het benchmarkprogramma 3DMark 2003 aan de tand voelt. De setup voor de test is een Intel Pentium 4 2,8GHz, die samen met 512MB DDR333 SDRAM plaats neemt op de Asus P4S8X. Onder Windows XP SP1 worden vervolgens met de nieuwste Catalyst- en Detonator-drivers de tests doorlopen. Hiervoor gebruikte men vijf modes: met post-processing uit en tri-lineair filtering, met post-processing aan en tri-lineair filtering, met post-processing uit en anisotropic filtering, met FSAA 4x en tri-lineair filtering en als laatste met FSAA 4x en anisotropic filtering. Er werd, voor zover mogelijk, met de default driver-instellingen getest. Dit zijn de dertien slachtoffers:

GeForce3 Ti200 GeForce4 MX440-8x GeForce4 Ti4200-8x GeForce4 Ti4600 GeForce4 Ti4800 GeForceFX 5800 Ultra Radeon 9000

Radeon 9100 Radeon 9500 64MB Radeon 9500 128MB Radeon 9500 Pro Radeon 9700 Pro Xabre600

De conclusie van dit artikel wijkt af van normale videokaart-reviews aangezien men zich nu meer specificeert op het benchmarkpakket. Allereerst wordt nVidia, en dan met name de software-ontwikkelaars van het bedrijf, een pluim gegeven voor de verbeteringen in hun laatste drivers. Deze zorgden ervoor dat de GeForceFX 5800 Ultra ATi's Radeon 9700 Pro in bijna alle tests versloeg. Ook krijgt ATi's Radeon 9500 Pro een positieve vermelding, omdat het een prima kaart achter de twee bovengenoemde topmodellen is. Opvallend is het feit dat de hoeveelheid geheugen op de Radeon 9500 in sommige tests weinig uitmaakt.

De op de Geforce4 Titanium-chipset gebaseerde kaarten doen het lang niet slecht, maar komen in tests met pixels shaders totaal niet uit de verf. De Xabre 600 weet nauwelijks geloofwaardige resultaten voort te brengen. In de complexere testen geven de overige kaarten absoluut niet thuis. Erg vreemd is dit niet, aangezien Futuremark, het bedrijf achter 3DMark03, dit ook heeft vermeld. Samengevat is de nieuwe 3DMark-versie te zwaar voor de meeste recente kaarten, maar zal het volgens X-Bit Labs in de toekomst waarschijnlijk dezelfde positie als zijn voortganger verwerven: een benchmarkstandaard.

Update: Het artikel van X-Bit Labs ligt zwaar onder vuur vanwege de gebruikte drivers. Er is gebruik gemaakt van een gelekte Detonator-set die 'problemen' heeft met het weergeven van bepaalde effecten, en mogelijk alleen daardoor een stuk sneller is. Futuremark weigert om deze reden zelfs de resultaten van de drivers in kwestie te tonen, en raadt mensen aan om alleen officiële drivers (al dan niet met WHQL-certificaat) te gebruiken tot nader onderzoek is verricht naar deze opvallende eigenschap van de gelekte drivers. De resultaten die X-Bit voorschildert zijn dus mogelijk niet geldig, en de conclusie zou daardoor logischerwijs ook heel anders kunnen worden als de (volgende) officiële driver gebruikt wordt.

Reacties (61)

[FiRePaTH]

Ik krijg steeds meer het gevoel dat mensen snellere videokaarten gaan kopen omdat deze niet meer snel genoeg is in de nieuwste 3dmark... Dit wordt ook nog eens versterkt door deze bijna nutteloze "tests". Ik snap niet dat mensen hieraan zoveel tijd willen besteden met het schrijven van een review van een niet bestaande game die ook nog eens niet vooruit te branden is met een P4 3Ghz en een gloednieuwe videokaart.

3DMark 2003 is echt een van de slechtste benchmarks in de geschiedenis en tevens in die van futuremark zelf! Zorg er in ieder geval voor dat een gemiddelde videokaart ten minste iets vloeiend op het beeld kan krijgen met zo'n 40 fps!

Ik bedoel hier niet mee dat iedere kaart directx 9.1 hoeft te ondersteunen want doen ze dat niet, nou jammer en we gaan weer verder... Welke klungel programeur programeert er nou een spel dat op een Geforce 4 of Radeon 9*00 vaak niet eens boven de 20 fps komt in HQ!

Het resultaat van het bovenstaande is dan ook dat een videokaart die 8 frames per seconde op het scherm weet te toveren (of noem je dat stotteren?) 100% sneller is dat een videokaart die maar 4 frames in elkaar weer te knutselen! Hoezo heb je het dan over representatieve tests?

Ik vind het altijd wel grappig op zo'n nieuwe benchmark te downloaden om z'n mooie graphics die hij op het scherm weet te toveren te bekijken, maar dit is niet meer mooi! Alleen de WOII scene was leuk om aan te zien, maar de rest skip je toch gewoon? Ik heb wel wat beters te doen hoor dan naar 10 minuten dia-show te kijken!

Mijn advies is dus aan iedereen: Ga gewoon een leuke game doen en als je favoriete game niet meer soepeltjes draait, koop dan een best-bang-for-the-buck videokaart die jouw favoriete GAME (en dus niet benchmark) soepel op het scherm zet...

[Verwijderd]

3Dmark03 is meer bedoeld als DX9 benchmark in het algemeen, niet specifiek voor de kaarten die nu op de markt zijn. Als je je de introductie van 3Dmark01 nog weet te herrinneren, dan weet je dat er toen ook geen kaart was die dat normaal draaien kon. 2 jaar later zitten de topkaarten al tussen de 15000 en 20000 punten. Als je nog een jaartje verder bent dan draaien de kaarten die dan op de markt zijn 3Dmark03 ook prima.

Persoonlijk vind ik dit niet eens verkeerd, het zal mij een zorg zijn wat me PC in 3Dmark03 haalt, omdat er toch nog lang geen DX9 games zijn. Ziet er alleen wel leuk uit

[Jefrey Lijffijt]

Helemaal mee eens!

En eindelijk ook een bekende instelling die de 3DMark 2003 test als onzinnig aanduidt

Ik denk eigenlijk dat 3DMark 2001 op dit moment veel intessanter is, die zegt echt iets over de performance aangezien alle recente kaarten alle tests kunnen draaien, en dat de resultaten vergelijkbaar zijn in de huidige games.

[Verwijderd]

Kijk hier eens warom de nVidia karten ineens beter presteren :

FYI, we just decided to disable (at least for the time being) all current submitted results using the questionable drivers, Detonator 42.67, 42.68 and 42.69. This means that the current results are not deleted, but disbaled from being published. We encourage you to use only officially released, and/or WHQL'ed drivers, as results run with the above-mentioned driver versions will be disabled.

The reason for this is that the drivers have been officially stated as optimized for 3DMark03, and we can not verify the purity and integrity of the drivers. We are investigating the drivers and their effect on 3DMark03 - both performance and the rendering quality (ie. image quality).

Originally the drivers were supposedly released to a group of websites (and/or other media) as an example, but unfortunately got leaked for public use.

We are striving for allowing only officially released & WHQL'ed drivers in the future.

http://www.futuremark.com/news/?newsarticle=200303/2003032403#200303/2 003032403

[The Source]

Lekker kort door de bocht aktie, net of ATI, Matrox, etc haar drivers niet optimaliseren waarbij dit soms ten kost gaan van de kwaliteit.

[SpankmasterC]

eris een verschil tussen optimaliseren en niet voldoen aan de direct-x standaard.
die standaard schrijft 24-bit voor, terwijl de GFFX er nu maar 16 bit heeft....
dit heeft dus niet alleen effect op 3d mark 2003, het heeft effect op ALLE programma's die direct-x 9 functies aanroepen.

[Verwijderd]

Kwaliteit is nog tot daar aan toe (en is vaak in control-panel bij te stellen)...
Maar de drivers in kwestie renderen gewoon uberhaupt geen pointsprites en dergelijke (geen rook/vuur effecten in Wings of Fury bv).

Daar mag je toch wel je twijfels bij hebben, vind ik.

[CJ]

Ik vind het echt slecht dat ze verschillende drivers hebben gebruikt voor de nVidia kaarten. En dan te bedenken dat de meeste fabrikanten gebruik maken van de Det. 43.00 bij de release (zie bv MSI) die niet sjoemelen met de Floating Point Precision berekeningen.

Op veel fora hebben mensen al pics getoond van de hack-drivers in vergelijking tot de niet-hack drivers. De beeldkwaliteit laat duidelijk zien dat de 42.68 geoptimaliseerd zijn voor 3DMark2003 door bepaalde dingen weg te moffelen.

Als je de reacties bekijkt dan zie je ook dat X-Bit labs nu toch echt heel erg veel aan geloofwaardigheid verliest door de gehackte drivers te gebruiken voor de FX. Maar goed, ze waren de laatste tijd wel heel erg subjectief bezig ipv objectief. Beetje jammer dit.

nVidia heeft niets voor niets nog geen WHQL gecertificeerde drivers uitgebracht, want als ze dat moeten doen dan zullen de prestaties van de FX tegen vallen in 3DMark2k3. En als je 3DMark gebruikt dan is het geloof ik zelfs verplicht om WHQL gecertificeerde drivers te gebruiken, juist om te voorkomen dat er gecheat wordt.

[CJ]

Als je je een beetje verdiept had in de materie voordat je met zulke ondoordachte uitspraken kwam, dan had je kunnen weten dat:

- De 42.68 detonator-drivers gebruik maken van 16-bits FP, terwijl DX9.0 als minimum 24-bits vereist.
- Beeldkwaliteit daardoor niet meer te vergelijken is met elkaar. Kleuren zien er minder vol uit. Effecten worden weggelaten...

nVidia heeft er zelf voor gekozen om of 16-bits of 32-bits te ondersteunen. ATi heeft de gulden middenweg door 24-bits te gebruiken. Zelfs Carmack heeft aangegeven dat de NV30 een speciaal pad moet gebruiken om sneller te zijn dan een Radeon9700. Als het van het standaard ARB2-path gebruik maakt, dan is de 9700Pro namelijk 2x zo snel als een GFFX. That makes you wonder, doesn't it?

En dan nog iets waar je duidelijk niet van op de hoogte bent:

FutureMark heeft de 42.68 Dets op de banlist gezet. Deze drivers zullen niet meer door de lijsten worden meegeteld, om de eerder genoemde redenen. Futuremark wil alleen maar WHQL gecertificeerde drivers in hun database en geen cheat-drivers.

Zie hier voor de aankondiging van FutureMark:
http://www.futuremark.com/news/?newsarticle=200303/2003032403

Maar goed, als je tevreden bent met drivers die niet volledig voldoen aan de DX9 standaard, terwijl ze wel een DX9 kaart moeten bedienen, dan vind ik dat prima. Ik heb liever een kaart die op eerlijke manieren getest wordt, dan een kaart die vals moet spelen om te kunnen winnen.

[CJ]

"Wat er fout is aan de bench"?

Je zegt het zelf al. Een benchmark hoort videokaarten op een gelijkwaardige manier te behandelen. De drivers zorgen er voor dat dit niet zo gebeurd.

Het is appels met peren vergelijken. Zie het als twee hardlopers met ongeveer dezelfde bouw, die even hard hebben getraind, maar waarvan de ene een portie anabolen heeft geslikt en daardoor net iets harder kan lopen tijdens een wedstrijd. Als die laatste zou winnen... zou je dan ook zeggen dat het een eerlijk wedstrijd was?

Ik hoop dat je inziet dat het niet alleen maar om snelheid gaat, maar om de manier waarop je die snelheid behaalt.

Er is niets voor niets een standaard als DX9.0 in het leven geroepen. nVidia heeft hier blijkbaar maling aan. Als bedrijven gaan cheaten om benchmarks te winnen, dan is straks het einde zoek en gaan alle bedrijven hack-drivers uit brengen, om maar een zo hoog mogelijke score te produceren.

[C7RL]

Wat is er nu fout aan deze bench? Die lui van xbitlab hebben het van te voren netjes aangegeven hoe ze hebben getest, daar valt dus niets over te zeggen. Ze hebben je zelfs niet gedwongen deze te lezen. De enige conclusie die je kunt trekken hieruit is dat de FX 5800 U wel degelijk sneller kan zijn dan de 9700pro in 3dmark2003. Ik denk dat dit ook de bedoeling is geweest van die gasten, want nu word door iedereen letterlijk gezegd dat eigenlijk beeld kwaliteit ook belangrijk is dan alleen maar die paar puntjes meer in 3dmark2003.

[Verwijderd]

Hier wordt weer wat anders mee bedoelt. Normaal doelt iedereen met beeldkwaliteit op de 2d in windows enzo. Maar hier zit het anders, de GeForce FX laat in dit geval gewoon delen van rook en andere dingen weg. Dit om alleen een hogere score te krijgen, logisch want een hoop dingen hoeft de FX niet meer te berekenen.

[SlinkingAnt]

Een heleboel lopen nu te blaten dat NVida weer de beste is, en dat de 9700Pro eindelijk voorbijgestreefd is, maar dan vergeet je wel dat tussen de release van de FX en de 9700Pro ruim 6 (!) maanden zit!
9700Pro gerealesed op 17 augustus en de FX op 27 januari

[Trunksmd]

En dat de 9700pro de tegenhanger is van de Gforce 4 (is altijd zo bedoeld geweest). Klaarblijkelijk zijn er nu nog steeds mensen, die dit niet snappen.
(Nog eens ter info: de 9800pro is de tegenhanger van de Gforce FX ultra)

[mjtdevries]

Blijkbaar snap je het zelf niet. De 9700Pro is altijd als tegenhanger bedoeld geweest van de FX Ultra.
De geplande release datum van die kaarten was namelijk gelijk.

Dat Nvidia vervolgens een half jaar vertraging ondervond doet daar niets aan af.

Vervolgens was de refresh van de R300 gepland als tegenhanger van de refresh van de NV30. (dus 9800Pro vs NV35). En de R400 was gepland als tegenhanger van de NV40.

[mjtdevries]

Laat maar eens zien waar ATI ooit heeft gezegd dat de R300 is gemaakt als concurrent voor de GF4.
Het is doodeenvoudig niet waar en ATI heeft het ook nooit beweerd.

Verder is Nvidia nooit een generatie verder geweest. Er bestaat niet zoiets als "completere" ondersteuning voor dx9. Of je ondersteunt het compleet zodat je het een dx9 kaart mag noemen, of je ondersteunt het niet compleet.
En een enkele extra feature die totaal niet gebruikt gaat worden en binnen geen enkele standaard valt is daarbij niet van belang en ook geen andere generatie. (die extra feature van de R350 is net zo min van belang en net zo min een volgende generatie)

DDRII zit ondersteuning wordt al vanaf de R300 ondersteunt. Wat betreft dezelfde ondersteuning als de FX. Maar het is gewoon markttechnisch nog totaal niet interessant, omdat ze goedkoper en sneller zijn met DDRI. Als een bedrijf echter een R300 met DDRII zou willen koppelen dan kan en mag dat van ATI. Dat bedrijf zou alleen nooit in staat zijn het ding te verkopen omdat de prijs/prestatie verhouding rot zou zijn tov de R300/R350. (ongeveer net zo rot als nu de FX 5800 Ultra)

Wat betreft het tijdstip waarop ATI met de 9800Pro is gekomen. Dat is inderdaad niet toevallig. Dat tijdstip stond namelijk al 1,5 jaar gepland!!
Keurig 6 maand na de 9700Pro. Exact op schema!

Die roadmap heeft ATI nooit een geheim van gemaakt en is algemeen bekend.

Wat wel toevallig is is dat de NV30 6 maand vertraagd werd en daarmee toevallig gelijk met de 9800Pro uitkomt.

Voor je nog meer woorden vuil wilt maken, moet je daar maar eens over nadenken.
Hoe komt het toch dat ATI blijkbaar zo'n 1,5 a 2 jaar geleden een roadmap kan maken, waarin een onverwachte 6 maand uitstel van de FX in verwerkt zit.
Dat beweer jij namelijk als je beweert dat ATI de 9800Pro tegenover de FX had gepland.

Leg de roadmaps zoals bekend afgelopen zomer maar eens naast elkaar. Keurig NV30 tegelijkertijd met R300 en NV35 tegelijkertijd met R350.

[mjtdevries]

Ik ga helemaal niet van ATI's of Nvidia's standpunt uit. Ik zie ook niet in waarom je dat zou denken. (en vooral niet Nvidia's standpunt. Ik heb zelf een ATI 9700Pro, dus ik ben zeker geen NVidia fan)

De ATI kaarten liepen gewoon niet gelijk op met de Nvidia kaarten doordat ze een andere ontwikkel cycle hadden.
Vandaar dat er geen tegenhanger van de GF4 was.

Vanaf de R300 was het de bedoeling dat ze wel gelijk op zouden lopen. (zowel ATI als NVidia elke 6 maand een nieuwe kaart of refresh)
R300 gelijk met NV30, R350 gelijk met NV35, R400 gelijk met NV40.

Maar zoals ik al eerder heb gezegd, heeft de grote vertraging bij Nvidia dat in de war geschopt.
Dat is zeker niet iets wat ATI van te voren had kunnen bedenken, en daarmee had ATI ook niet van tevoren kunnen bedenken dat de 9800Pro gelijk met de FX in de winkel zou komen.

[Trunksmd]

Ik ga hier niet meer veel woorden over vuil maken. Ati heeft zelf gezegd dat ze de 9700pro als concurrent heeft gemaakt voor de Gforce, een kaart, die ook op de toekomst voorbereid is. Dit heeft al tientallen keren in verschillende berichten en topics en tijdschriften gestaan.
Nvidia was oorspronkelijk idd een generatie verder. (denk maar aan DDRII en volledigere ondersteuning voor directx 9) Dit is door de vertraging van de Gforce FX bijgetrokken. Maar de media vergelijkt nu eenmaal alles wat ze in handen kunnen krijgen. Dat moeten ze ook zelf weten. Dat is hun recht.

Het is ook niet toevallig dat Ati daarom met de 9800pro is uitgekomen. (R300<-> NV30 etc. :de enige gelijkenis hierin is dat er enkele cijfers overeenkomen)

off topic: Damn, heb ik hier toch weer woorden over vuil gemaakt

[Trunksmd]

En waar denk jij dan dat de ati8500 de tegenhanger van was? Toch niet de Gforce 4 serie?
Ati heeft haar kaarten altijd zo gepositioneerd.
Jij gaat waarschijnlijk van Nvidia's standpunt uit. Maar zelfs Nvidia heeft moeten zien dat dit niet klopt met de realiteit. Jij gaat toch ook niet vertellen dat de athlon 64 nog steeds gepositioneerd moet worden tegenover een pentium 4 2,2-2,53 Ghz, omdat ie een jaar geleden had al had moeten uitkomen Dus nog maar eens

[Munters]

En what the fuck of model x nu de tegenhanger is van model y? En hoeveel maanden model x nu korter of langer dan model y op de markt is?

Het gaat er simpelweg om wat (kwaliteit, snelheid, features) je nu momenteel voor je euro's kunt kopen.

[Verwijderd]

jammer dat de nieuwe kaarten van ATi (radeon 9800/9600) en de nieuwe kaarten van nvidia (geforce fx) er niet bij staan.

edit: oeps, ik zie het al er staat GeForceFX 8500 Ultra dat is een typfout, moet 5800 zijn dacht ef dat het over de ati 8500 ging. maarruh, de nieuwe ATi kaarten ontbreken toch

[bobsnl]

jammer dat de nieuwe kaarten van ATi (radeon 9800/9600) en de nieuwe kaarten van nvidia (geforce fx) er niet bij staan.

We tested the following graphics cards:
ATI RADEON 9700 PRO (128MB);
.......
NVIDIA GeForceFX 5800 Ultra (128MB);

[Verwijderd]

Allereerst wordt nVidia, en dan met name de software-ontwikkelaars van het bedrijf, een pluim gegeven voor de verbeteringen in hun laatste drivers. Deze zorgden ervoor dat de GeForceFX 5800 Ultra ATi's Radeon 9700 Pro in bijna alle tests versloeg.

Is 3DMark03 nu wel representatief genoeg?!?! Aangezien een van hun kaarten een ware counter-measure is tegen de 9700 dictatuur?
Dit is wel bewijs genoeg dat men de makers van 3DMark03 niet kwalijk kan nemen dat nVidia kaarten wat lager zijn uitgevallen. Een relatief simpele aanpassing van de drivers verricht al wonderen.

[mjtdevries]

De helft van de effecten niet renderen is inderdaad een relatief simpele aanpassing.

[_XipHiaS_]

En ik blijf die benchmarks 'n beetje onzinnig vinden. Leuk om te bekijken, ik draai ze zelf ook. Maar uiteindelijk willen we gewoon allemaal dat de spellen die we graag spelen goed en snel lopen en er goed uitzien, want daarvoor kopen we toch zo'n snelle kaart?

[Kr3Kr]

Ja, en daar is 3DMark een mooie "objectieve" meetlat voor

[OldButNotSoWise]

Moet je het commentaar eens lezen op die site, zeer vermakelijk, kan in de newsheader op T.net niet even [HOAX] opgenomen worden

[Wouter Tinus]

Ik heb even een update geplaatst .

[rogier126]

Huh De Radeon 9000 presteerd in de test beter dan de Radeon 9100. Vreemd.......

[Sir_Killalot]

Dat komt denk ik omdat de 9100 gewoon een 8500 is en de 9000 wel een nieuw ontwerp is

[Verwijderd]

Surprisingly, RADEON 9000 works faster in this test than RADEON 9100. The reason again lies with the pixel shaders, namely with the way they have been implemented. RADEON 9000 graphics chip was developed long after RADEON 8500 (now renamed into RADEON 9100). And the pixel shaders units of RADEON 9000 have been improved over RADEON 9100. And as the execution speed of pixel shaders is crucial in “Battle of Proxycon”, the younger RADEON proves brisker than the oldie, although has fewer texturing modules and lower peak fill-rate

[simon]

Opvallend is het feit dat de hoeveelheid geheugen op de Radeon 9500 in sommige tests weinig uitmaakt.

Komt dit niet omdat die textures enz. nog niet zo groot zijn?