Tom's Hardware over 3DMark03

De mannen van Tom's Hardware hebben een artikel online gezet waarin wordt ingegaan op de betrouwbaarheid van de nieuwe 3DMark03 benchmark. Nog geen dag na de release kwam nVidia, voorheen nauw betrokken bij de ontwikkeling, met stevige kritiek op de benchmark. Het probleem ligt onder andere in het gebruik van de in de praktijk weinig gebruikte pixelshaders 1.4 waardoor kaarten die deze functionaliteit niet ondersteunen het moeten doen met inefficiënte versie 1.1 pixelshaders.

Initieel dachten de meeste mensen dat nVidia bang was dat de GeForce FX niet de Radeon 9700 Pro kon bijhouden, maar dat blijkt niet het geval te zijn. De nieuwe 42.68 Detonator drivers blijken bijna 50 procent sneller te zijn dan zijn voorgangers in 3DMark03 waardoor de GeForce FX ongeveer 500 punten hoger scoort dan de Radeon 9700 Pro. Waardoor nVidia van standpunt is veranderd wat betreft 3DMark zal gissen blijven, maar het zal duidelijk zijn dat de resultaten van 3DMark03 met een korreltje zout genomen moeten worden:

NVIDIA's sudden change of mind is baffling - up till now, 3D Mark was always a well regarded test among the manufacturers, including NVIDIA. What initially looked like an attempt to hide the FX's weaker test performance cannot be confirmed with the appearance of the new driver. Perhaps NVIDIA feared a dwindling influence on the development of 3DMark. Especially with the new "The way it's meant to be Played" program, NVIDIA tries to increase its influence on game developers.

Of course, gamers with NVIDIA cards benefit from NVIDIA's involvement, as they get better graphics and performance in real games. Owners of non-NVIDIA cards might have something else to say though. At the NVIDIA Developer Forum, it became clear the Pixel Shader (2.0) code doesn't run equally well on all hardware. Ultimately, it all boils down to the fact that developers need to use special code for different chips in order to ensure good performance on all possible platforms. This explains the attention that NVIDIA devoted to developers. Is the main reason for NVIDIA's criticism at 3D Mark 2003 due to Futuremark's refusal to use optimized code? In this case, NVIDIA is right in saying that 3D Mark is unrealistic - for one thing, because it was developed without NVIDIA's input, and for another thing, because it's difficult to imagine that actual "neutral" code would be useful for performance evaluation.

Reacties (41)

[Verwijderd]

500 punten, klint weinig, maar zoals het er nu uit ziet, lijkt het op de puntenschaal van deze benchmark toch een aardig stuk te schelen! Maar Nvidia moet maar eens ff een keer een stuk duidelijker worden met hun standpunten!

[Verwijderd]

Dan hebben ze bij nVidia dus duidelijk specifiek voor 3DMark zitten optimaliseren!. En dat kost allemaal tijd en geld die beter in een in-game benchmark gestoken had kunnen worden. Zodat de spellen beter lopen en niet de benches. Dat zegt nVidia dus zelf (raar dat ze daar voorheen nooit over klaagden).

En wat gebeurt er dan bij een willekeurig spel dat uitkomt (dus geen DooM]|[ net als nu 3DMark waar direct aan gewerkt wordt)? Dan heb je dus een niet geoptimaliseerde driver voor dat spel en is de prestatie dus matig. Ik vind dat nogal in tegenspraak met

Especially with the new "The way it's meant to be Played" program, NVIDIA tries to increase its influence on game developers.

Het is net een verwend jongetje dat zijn zin niet kan krijgen. Eerst was 3Dmark geweldig, toen alleen de GF3 het goed kon weergeven en Ati vond dat de beeldkwaliteit in het spel belangrijker was. En nu is het precies omgedraaid. Nu werkt de Ati er lekkerder mee (omdat het out of the box beter werkt omdat het zich aan de standaard houd) en is het nVidia die schreeuwt dat het om 'de spellen'gaat.

[typhon]

Ik ben benieuwd wat nVidia nu gaat zeggen. Of zullen ze nu gaan terugkrabbelen . Dat zou een een bewijs zijn dat ze anderen de schuld geven. Maar dit artiekel is meer commentaar op quotes van nVidia. Toch wel even leuk om die scores te zien. Dan heb je een vergelijkingspunt voor je eigen systeem.

Iets opmerkelijks:

It's surprising that the Radeon 9700 Pro runs faster in the CPU Test 1, because in this kind of test, the graphics card should not play any role whatsoever.

Verschil in drivers (als het al een soort 3d cpu test is, anyone?)) of een bug in 3d mark?

En ze zijn toch behoorlijk negatief. Ik moet zeggen dat ik die speciale testers ook wel mis. Maar juist die vind ik niet echt representaief voor elke game. Terwijl ze juist op dat punt kritiek hebben (en daar heb ik bij de vorige 3d mark niemand over horen klagen). Dat begrijp ik niet helemaal.

[edit]
download tip: kijk eens bij Kazaa. 3d mark begint zich daar nu ook te verspreiden. Dan heb je geen last van trage servers.

[mjtdevries]

Die CPU test is natuurlijk niet alleen de CPU. Uiteindelijk komen er wel pixels op het scherm, en daarbij wordt de videokaart gebruikt. Als je echt alleen de cpu wilt testen moet er een zwart scherm blijven staan.

Het is in verleden al heel vaak zo geweest dat in spellen waarbij de CPU de bottleneck was er toch met verschillende videokaarten een verschil in performance was
Kijk maar in de vele reviews de afgelopen jaren. Zo was het bv altijd zo dat de GF3 en GF4 in die situatie iets beter scoorden dan ATI.

Het opvallende was dat in de FX reviews bleek dat in die situaties de FX het nu juist iets minder deed dan de 9700Pro.
Precies datzelfde als dat je bij de echte spellen in CPU gelimiteerde situaties ziet, zie je nu ook in 3DMark03.

2 jaar geleden was Tom's hardware guide nog op zo'n nivo dat ze dat zelf ook zouden inzien, maar nu praten ze gewoon Nvidia na. Triest dat een site zo diep kan zakken.

[Verwijderd]

Nou, er is een artikel geweest 4a5 weken terug waarin John Carmack, de maker van Doom zich uitsprak over de implementaties van de verschillende GPU-afhankelijk geoptimaliseerde code welke nodig was om de snelheid uit de kaarten te halen. Met name de nieuwe pixel-shaders. Een uniforme manier is er op het moment niet. Nvidia ziet graag haar specifieke foefjes gebruikt worden zodat het zich kan blijven profileren.

Denk aan voorheen de extra NV-OpenGL instructies.

John Carmack zag er echter niet zoveel in om zijn code GPU-specifiek te optimaliseren omdat dit dubbel zoveel werk zou worden en het op het moment toch al zo'n specialistisch verhaal aan het worden is.

Ik denk dat dit op dezelfde problematiek terugwijst.

[mjtdevries]

En dat haalt meteen het belangrijkste argument van Tom/Nvidia compleet van tafel.

De makers van spellen willen helemaal niet voor elke GPU speciale optimalisaties inbouwen.

Daarom hebben we nou juist OpenGL en DX9. Zodat je niet voor elke GPU apart hoeft te programmeren, maar zodat je kan programmeren op bv DX9. En de drivers van de fabrikanten zorgen er dan wel voor dat de API calls van DX9 goed vertaalt worden naar de specifieke hardware van de GPU.

3DMark03 heeft gewoon keurig naar DX9 geschreven. Als Nvidia kaarten speciale optimalisaties nodig hebben dan is dat Nvidia's probleem. Zij moeten dan gewoon zorgen dat hun drivers beter worden zodat dat niet meer nodig is.
In plaats van dat honderden spelfabrikanten hun code moeten aanpassen op Nvidia. Waarom zouden de spelfabrikanten Nvidia's rotzooi moeten opruimen?

[Puppetmaster]

voor iedereen die lekker mee wil discussieren, er loopt een draadje op GOT: http://gathering.tweakers.net/forum/list_messages/709316

[Verwijderd]

Volgens mij had dit nieuws beter kunnen heten "Nvidia's herziene versie over 3DMark03" in plaats van "Tom's Hardware over 3DMark03". Het stukje op THG is niets anders dan een vertolking van de mening van Nvidia....

[Verwijderd]

ik moet toch echt ff reageren...

Om te beginnen is het een future benchmark die aangeeft hoe je het in de toekomst gaat redden met je systeem en dat ziet er voor Ati gewoon beter uit omdat ze al langer Direct X 9.0 hebben dan nVidia en omdat ze wat sneller zijn...

wil NIET zeggen dat je met een GeForce Ti4600 ineens een waardeloze PC hebt maar meer dat je in de TOEKOMST wel eerder aan een nieuwe kaart toe bent dan met een Radeon 9700 Pro

enige ECHTE nadeel vind ik dat de CPU zo weinig uitmaakt dat is niet reeel vind ik maar dat staat los van de nVidia/Ati race...

ik heb een nVidia MX440 en weet dat dat een crapy kaart is maar hij voldoet nog wel ik wacht tot de Radeon 9900 en dan ga ik mijn systeem upgraden

denk dat het een goedkopere versie van de Radeon 9900 wordt of een 9700 (Pro)

* 786562 Legolas_1973

[Edwin van Cleef]

ik zie door de bomen het bos niet meer eerlijk gezegd

dus nu is opeens 3dmark geen benchmark standaard meer?

ben eingelijk nu benieuwd hoe Nvidia hierop gaat reageren

[MAZZA]

Nou wat ze bedoelen te zeggen is dat in hun ogen de benchmark niet representief is voor de games die gespeeld gaan worden in de toekomst.
Een voorbeeld wat genoemd wordt in het artikel is het 'reskinnen van objecten'. In de GT2 en GT3 testen wordt een Doom III like rendering style gebruikt. Echter op zo'n manier (objecten worden onnodig vaak opnieuw geskinned) dat er volgens Nvidia geen representatief beeld onstaat van de prestaties van de videokaart in games. Een programmeur zou namelijk nooit deze reskinning zo vaak toepassen aangezien de game dan enorm traag zou worden.

Daarnaast rept Nvidia ook nog over pixelshaders die achterhaald zijn als de kaart niet kan voldoen aan de DirectX 9 shaders.

In de nature test daarintegen worden weer amper DirectX 9 shaders gebruikt (slechts 2 van de 9 pixelshaders). Op deze manier geef je geen goed beeld van de games die in de toekomst gemaakt kunnen worden.

Al met al zijn het nogal stevige argumenten die Nvidia op tafel smijt. Ik ben dan ook zeer benieuwd wat Futuremark hier tegenin te brengen heeft.

[Gertse]

Nu nVidia niet actief heeft meegedaan aan 3dMark03 en (als het waar is hoor) ook niet aan de direcX ontwikkeling, ben ik bang dat nVidia de slag om de beste te zijn zal verliezen!!

Zou slecht zijn voor de concurrentie, kunnen wij weer betalen!!

[Verwijderd]

Nvidia heeft meegewerkt aan 3d mark 2003 voor 16 van de 18 maand ...

ik herhaal, 16 !!!! van de 18 maand dat de boel ontwikkelt is. Ze zijn eruit gestapt pas verlede december.

Meer algemeen posting:

Nu zitten ze te zeggen dat ze totaal niet meegedaan hebben & andere crap, het spijt me maar dat is bullshit. Alsook, als je de Tom's hardware guid article leest, merk je dat de bias er af druipt gelijk hell... Eenmaal gelezen, kijk wie de auteur van het article is ... en je zal snappen waarom dat article een bijna puur copy is van de claim van nvidia. Het is niet de eerste keer dat er auteurs zitten bij Tom's hardware site die niet echt neutraal zijn...

Ik vind deze ganse war omtrent 3dmark 2003 puur BS, sinds hetzelfde gebeurt is 2 jaar geleden met 3dmark 2001, maar toen maakte nvidia niet van haar oren (zeker niet omdat haar kaarten er als beste uitkwamen op dat moment?)... Er waren toen ook mega veel mensen die pokke lage score's hadden ivm de meer high end kaarten, en die zaten ook te roepen van "jamaar, mijn kaart kan wel evengoed gamen als die high end kaart" ... jaja, tot wanneer de nieuwe game's uitkwamen die de extra poly's nodig hadden (die 3dmark2001 pushte), dan hadden ze door dat hun kaart niet voorzien ervoor was, maar ja ... Ik geef toe, het is futuremark hun eigen schult voor een deel om de benchmark te promoten als een gamers benchmark en de illusie die daardoor onstaan is dat het de echt gaming performence testen ... wat niet waar was, sinds 3dmark2001, ondanks dat ze gebruik maakte van de max engine, was deze engine zodanig veranderd dat hij niet meer overeenkwam met de reele max payne game engine (aka max engine)...

En toen ook was iedereen zo aan het roepen, nee, we posten geen total score in onze reviews, ... jaja, we zijn 2 jaar later, en in geen enkel review mankeert de 3dmark2001 score ...

Zoals ik al een 10* gezegt hebt, op verschillende forum's, dit is gewoon history die zichzelf herhaalt, met als enige verschil, dat nvidia ook eens roept, en enkel 100.000 nv fanboys (waarvan 99.9% niet eens weet hoe 3dmark2003 draait), schande roepen omdat hun geforce4 geen 5000 points haalt ...

Btw: voor alle geforce4,3, r8500 etc fanboys, draai eens 3dmark 2001, en bekijk enkel de nature test fps, en vergelijk deze met de GeforceFX & R9700 fps... Wat zal je zien? Dat de percentage overeenkomt als de total score's nu tussen deze kaarten...

[rajackar]

Waar is de -1 spelling?

[Verwijderd]

Zou slecht zijn voor de concurrentie, kunnen wij weer betalen!!

Als nvidia terrein verliest kunnen ze het goed maken door of lagere prijzen te vragen voor de chips of snellere/nieuwe varianten uit te brengen. In elk geval zullen wij daarvan profiteren.

Betalen moeten we zeker wel, maar de prijs/kwaliteit verhouding zal weer een beetje normaal komen te liggen.

[mjtdevries]

Fraai artikel hoor. Alleen maar Nvidia's mening verkondigen en geen wederhoor van Futuremark. Hoezo biased?

En dan ook nog zo'n dubieuze conclusie:

Is the main reason for NVIDIA's criticism at 3D Mark 2003 due to Futuremark's refusal to use optimized code? In this case, NVIDIA is right in saying that 3D Mark is unrealistic - for one thing, because it was developed without NVIDIA's input, and for another thing, because it's difficult to imagine that actual "neutral" code would be useful for performance evaluation.

1) 3DMark03 is niet ontwikkeld zonder Nvidia's input? 16 van de 18 maanden hebben ze er aan meegewerkt. Ze hebben dus alle input kunnen leveren die ze wilden.

2) Je wilt juist neutrale code gebruiken voor vergelijkingen. Spelfabrikanten zitten er helemaal niet op te wachten om voor elke GPU speciale optimalisaties in te bouwen. Zoals al eerder aangegeven geeft John Carmack ook al aan dat ze helemaal af willen van dat soort optimalisaties en dat ze het ook steeds minder doen.
Het is voor mij onbegrijpelijk dat Tom's blijkbaar het een goede zaak vindt als fabrikanten voor elke GPU aparte optimalisaties moeten doen.

Ook valt me op dat NVidia nu pas met hun opmerkingen komt. Waarom hebben ze dit niet vertelt toen ze de samenwerking met Futuremark stopten? Dan waren hun opmerkingen wat geloofwaardiger over gekomen.
(Of is het wel vertelt en heeft niemand er aandacht aan besteed?)

[Verwijderd]

FutureMark moet zichzelf verdedigen. Eerder deed nVidia dat voor ze. Net als Sysmark door iNtel.

Ik heb nog nooit 3D-mark 2001 gedraaid. Waarom zou ik. Games gaan er niet sneller van. Misschien deze wel omdat ik een 9700 heb en benieuwd ben naar de dx9 plaatjes, maar anders?

[OT]
[quote]
geeft John Carmack ook al aan dat ze helemaal af willen van dat soort optimalisaties
[/quote]
Ik vind dat je score +4 verdient

Tom is idd biased waar het nVidia aangaat

[mjtdevries]

Voor de DX9 plaatjes hoef je het niet te doen. Zoveel mooier is de nature test niet geworden. (Ik heb 3DMark03 eigenlijk ook voor de DX9 plaatjes geinstalleerd)

De ATI DX9 demo's en dan met name die demo met die glazen bollen zijn veel mooier.

[Kapitein Edward]

maar het zal duidelijk zijn dat de resultaten van 3DMark03 met een korreltje zout genomen moeten worden:

Dat moesten we vroeger toch ook al