AquaMark 3-benchmark getest door Tom's Hardware

Tom's Hardware Guide heeft de onlangs uitgebrachte benchmark AquaMark 3 onder de loep genomen. Het testprogramma is gebaseerd op Aquanox van Massive Development. Het spel was in 2001 redelijk uniek in zijn soort: het was namelijk de eerste game die gebruik maakte van shader effects in DirectX8. Een jaar later heeft het bedrijf Aquanox 2 uitgebracht en de engine uit het eerste deel getweakt zodat het voldeed aan de eisen van een DirectX9-game. Op dit moment hebben de developers de motor nog verder ontwikkeld, waarvan AquaMark 3 het eindresultaat is.

AquaMark 3 logoDe benchmark is getest op een Pentium 4 3,2GHz met twee keer 256MB DDR400-geheugen op een Asus P4P800 Deluxe-moederbord. Als besturingssysteem is voor Windows XP gekozen, ondersteund door DirectX9. De site heeft drie reference videokaarten van nVidia en drie kaarten van ATi aan de test onderworpen. Een grote misser van de nVidia-kaarten is de lighting-bug in de nieuwe reeks van Detonator-drivers. Deze is vermoedelijk in de 44.03-versie in de stuurprogramma's geslopen en sindsdien nog steeds aanwezig. De Catalyst-drivers van ATi werken daarentegen al sinds de 3.4-release naar behoren. Zoals het er nu uitziet is de GeForce FX 5900 Ultra met Detonator 51.75 de meester over de Radeon 9800 Pro met 265MB geheugen aan boord:

As mentioned before, it's not the Holy Grail of benchmarks. But it's a very useful source of information. For the end user, it's a very neat toy and worth the money you would spend on buying a license to take advantage of the special features. And if Massive implements a few additional tools on the homepage, it will be even more attractive for benchmark freaks. In the end, people want to swank with their scores...

ATiCatalyst 3.4Catalyst 3.7
Radeon 9800 Pro 256MB48,3
Radeon 9800 Pro 128MB47,248,1
Radeon 9600 Pro 128MB29,229,5

nVidiaDetonator 43.03Detonator 45.23Detonator 51.75
FX 5900 Ultra29,448,249,7
FX 5600 Ultra15,925,925,4
FX 5200 Ultra10,812,212,0

Door Robin Vreuls

Doktersteam

21-09-2003 • 01:16

67

Submitter: T.T.

Bron: Tom's Hardware

Reacties (67)

67
64
53
28
7
0
Wijzig sortering
Ongelooflijk hoe iedereen nog durft te praten van een Nvidia bugje in de drivers, en nog steeds doet alsof de FX best aardige prestaties heeft.

LEES het bewust artikel van THG eens helemaal. Dan is het volkomen duidelijk dat NVidia wederom gewoon vet zit te cheaten om hun scores op te krikken!!

Geheel toevallig, is het de driver die uitkwam voor de benchmark die het goed doet. De drivers erna hebben plotsklaps allemaal bugs geintroduceerd. En geheel toevallig zorgen die bugs ervoor dat de prestaties verdubbelen, en net boven de ATI's uitkomen. Gek he... dat er nooit eens bugs insluipen die de prestaties verminderen, of slechts een beetje verhogen.

En die bugs zijn geen kleine zaken! Even een paar voorbeelden: Zie http://www.tomshardware.com/graphic/20030918/images/shadows1.png : De schaduwen worden in 45.23 totaal niet gerenderd. En de onderzeeer wordt in 51.75 totaal niet belicht.
Ander voorbeeld: http://www.tomshardware.com/graphic/20030918/images/lighting1.png Hier zijn we dat de lichtval op het terrein vanwege de ontploffing rechts totaal verdwenen is. In de 51.75 is het terrein wel belicht, maar niet de planten in het terrein, (daarom zijn ze zo zwart) en ook die onderzeeer links boven is niet belicht.

Dat zijn dus gigantische fouten, die onmiddellijk opvallen. NB: NVidea heeft de benchmark al drie maanden in huis! Als het Tom ommiddellijk opvalt wanneer ze een review over de benchmark doen, dan moet het in die drie maanden NVidea ook eens zijn opgevallen. En dat nog wel van een fabrikant die jarenlang bejubeld werd voor zijn super drivers....

Neehoor, het is allemaal volkomen duidelijk. Die 44.03 driver doet keurig wat ie moet doen. En die levert dan ook exact gelijke beelden als de Radeon's. Vervelend genoeg voor NVidea, levert die dan ook de DX9 prestaties die we ook bij HL2, Tomb Raiders etc etc zien.
Dus komen er nieuwe drivers uit, waarbij er toevallig een paar bugjes in zitten, zodat de prestaties verdubbelen. Maar die bugs in 45.23 waren wel heeeeel opvallgend. Dus release je daarna 51.75 waarin je die bugs weer eruit haalt, zodat de argeloze denkt dat alles weer ok is. Maar ondertussen zet je er weer andere 'bugs' in zodat je nog steeds bergen spul niet rendert, en dus je hoge prestaties houdt.

Tom wilde het niet hardop zeggen, maar zijn gehele review maakte het verschrikkelijk duidelijk: NVidea zit weer eens te CHEATEN!!! In hun forum's staat nu ook dat ze voorlopig geen FX kaarten meer aanraden, en (letterlijk) dat je FX kaarten moet mijden als de pest!

Hoeveel meer DX9 benchmarks, en daarop volgende NVidea bugs moeten er komen voordat de waarheid eens doordringt? De FX serie is prima voor DX8, maar volkomen hopeloos voor DX9 t.o.v. de Radeon's. En dat heeft geen flikker met de drivers te maken, maar alles met de interne architectuur van de GPU. De FX kan nou eenmaal niet sneller in DX9 spellen! Niets in de driver kan dat veranderen, tenzij je gewoonweg dingen niet rendert, of op veel lagere kwaliteit.

De (onder)titel van het tweakers artikel had dan ook moeten zijn: "NVidea zit ook in Aquamark 3 weer te cheaten".
Amen. Het is precies zoals je zegt. nVidia heeft gewoon een fout gemaakt met het ontwerp van de FX, heel simpel.

Dat ze die fouten proberen af te dekken door trucks uit te halen snap ik natuurlijk ook wel..... zoiets heet 'damage control'.

Dat ze het zo opzichtig doen is vervolgens weer heel triest natuurlijk, het schaad uiteindelijk alleen maar hun reputatie.

nVidia heeft met de GF4 een perfect product op de markt gehad, het was qua performance beter dan de Radeon 8500 waarmee hij concurreerde in die tijd.
De FX verliest het gewoon duidelijk van de nieuwere Radeons. Jammer, misschien gaat het met het volgende design beter.
Tis een beetje off-topic misschien, maar ik heb gelijk na introductie van de GF4 een GF4 Ti4600 gekocht. Ik d8 dat ik een meester in handen had op dat moment. Kostte me 380 Euro. Nog geen maand later was er een Radeon 9700 PRO te krijgen voor 430 Euro. Met andere woorden, de GF4 serie heeft een maand geconcurreerd met de 8500 serie. Als ik die maand later zo'n Radeon had gekocht, was ik hardstikke blij geweest!, Maar nee, ik had een Ti4600 die eigenlijk geen een DX9 spel goed wilde draaien boven een resolutie van 800x600.
Ik kocht de kaart om weer op 1600x1200 te kunnen gamen, net als al die andere keren :)

Heb na enkele maanden de kaart met zeer veel teleurstelling verkocht aan iemand voor zo'n 200 euro :(

Voor dit geld heb ik toen een 'halve' 9700 gekocht, namelijk de 9500. Een kaart met een prijs van nix, en presteerde gek genoeg beter dan die Ti4600.

Hiermee wil ik aantonen, dat ook de GF4 serie eigenlijk al veel te slecht was voor wat ie moest zijn. Dit geldt ook al voor de GF3 serie, alleen in iets mindere mate. Heb elke serie zelf gehad, want was best wel nVidia fan, moest elke nieuwe nVidia kaart gelijk hebben. Dit werd me bij de Ti4600 fataal. Nog nooit zoveel geld kwijt geweest aan zoiets slechts. Als ik iets langer had gewacht en een 9700Pro gekocht, was ik nu al meer dan een jaar een trotse eigenaan geweest, want de kaart presteert nogsteeds als een van de besten! De nieuwe 9800 serie is leuk en aardig, maar vind nogsteeds de 9700 serie er niet minder om, gewoonweg fantastische kaarten! hoe krijgen ze het voor elkaar bij ATi.
Dat ze het zo opzichtig doen is vervolgens weer heel triest natuurlijk, het schaad uiteindelijk alleen maar hun reputatie.
Het jammere is dat de onwetende consument hier niets van weet en dat de verkoper hier ook geen woord zal over reppen...
De verkoper rept er wel over, iig deze wel... ik verkoop praktisch geen nVidia meer, omdat het mij opvalt dat er tochwel wat mensen vanaf weten.. en anders is het snel uitgelegd.
GF3 Ti was de concurrent van de R8500. De r300 reeks was de concurrent van de G4 Ti-reeks. En tot op de dag van vandaag nog altijd supreme grafische kaartjes waarvan het topmodel zelfs nog altijd goed kan concureren met de huidige modellen van nVidia.
Dat is wel de harde waarheid, ja.
Ik zou graag willen dat Nvidia eerlijk bleef en als hoger doel had mooie beelden aan de consument te geven, maar ik krijg de indruk dat Nvidia's enige doel is om "de snelste" te zijn. Ze proberen nu gewoon hoever ze kunnen gaan, en ze gaan heel ver, vandaar AdV's reactie, die ik ondersteun.

Tom's Hardware zet bij de scores de v45.23 en v51.75 resultaten in het grijs en zet er het commentaar bij dat die resultaten niet het bedoelde beeld renderen en dus genegeerd dien te worden...
Ik krijg het id dat nVidia's enigste doel op dit moment is om te overleven met een stel bagger kaarten.
Dit noem ik toch wel een klein aanvalletje:
Finally, we can't estimate how much the missing lighting and shadows affect the score with AquaMark 3. But not to render objects normally does not result in lower scores. So all results with NVIDIAŽs v45.23 and v51.75 are invalid and should be taken as preliminary.

We can also say that the low anisotropic filtering quality of v51.75 is a bug, but even if we force the filtering in the control panel, we get a lower quality than in previous drivers. Our speculation is that NVIDIA reduced the filtering quality to achieve a better performance.
Bugje in m'n driver. Wordt in release 253.81 opgelost. Maar het schrijven ging er wel 2x sneller door! ;-)
Het was misschien laat toen je dit news postte, Robin . (Mijn nederige excuses, T.T., jij bent hiervoor niet verantwoordelijk, en mij post is aangepast. :)
Ik wil je niet, uhm, op een gemene manier verbeteren, maar ik wil de Tweakers even echte informatie geven :) :
Robin:
Het testprogramma is gebaseerd op Aquanox van Massive Development. Het spel was in 2001 redelijk uniek in zijn soort: het was namelijk de eerste game die gebruik maakte van shader effects in DirectX8. Een jaar later heeft het bedrijf Aquanox 2 uitgebracht en de engine uit het eerste deel getweakt zodat het voldeed aan de eisen van een DirectX9-game.
Tom's Hardware:
AquaMark 3 (www.Aquamark3.com), by Massive Development, is a new benchmark tool to test the capabilities of graphic cards. Massive (www.massive.de) has a long experience in shader programming--in 2001, they published the game Aquanox, which was one of the first games using DirectX 8 shader effects. The release was accompanied by the benchmark AquaMark 2. In the end of 2002 they released their new game "Aquanox 2 - Revelation" in Europe. After a couple of beta patches, the game was finally upgraded to DX9 level in April 2003 with the patch v2.159. The international version of the game, released this summer, is based on that level of their so-called "Krass 3D Engine" (www.massive.de/english/technology_eng.html) and has been a full DX9 game from the beginning.
The just-released benchmark tool AquaMark 3 (AM3) uses the latest version of the Krass engine.
The difference between AM3 and other benchmarks, such as 3Dmark, is that it is based on the released game Aquanox 2, meaning it's not a synthetic benchmark.
Dus AM3 is gebaseerd op de Krass engine, die al vanaf het begin DX9 was, en niet op de Aqaunox-engine!
Krass official pagina
Robin:
Een grote misser van de nVidia-kaarten is de lighting-bug in de nieuwe reeks van Detonator-drivers. Deze is vermoedelijk in de 44.03-versie in de stuurprogramma's geslopen en sindsdien nog steeds aanwezig.
De v44.03 is juist de enige die alles goed weergeeft. Het gaat fout bij versie v45.23 en dat blijft deels zo bij v51.75.
Tom's Hardware
The old version v44.03 renders absolutely perfectly. ...
NVIDIA v44.03: Renders a correct image. Faultless anisotropic filtering;
Quality conclusion
Iedereen begrijpt; de fout is er niet ingeslopen bij v44.03, maar bij v45.23!
Robin:
De Catalyst-drivers van ATi werken daarentegen al sinds de 3.7-release naar behoren.
Tom's Hardware:
We also tested an older ATI driver (Catalyst 3.4), which was released at the same time then NVIDIA's v44.03. .... We did not find any differences in image quality between ATI's Catalyst drivers v3.4 and v3.7.
De ATI's Catalyst drivers v3.7 zijn de meeste recente, maar de Catalyst drivers geven al het correcte beeld sinds ATI's Catalyst drivers v3.4. Dat staat in het artikel!
Robin:
Zoals het er nu uitziet is de GeForce FX 5900 Ultra met Detonator 51.75 de meester over de Radeon 9800 Pro met 265MB geheugen aan boord:
Tom's Hardware:
The issues associated with the NVIDIA drivers also cloud the launch of AquaMark 3. Only the driver v44.03 produces correct results in AquaMark 3 because v45.23 and v51.75 are not rendering what they should. NVIDIA promises a fix soon and as soon as we get the new drivers, we'll check to see if the issues were solved.
But end-users can finally expect a solution for the problem with the release of a new official driver--which should be available soon. Then we'll see if NVIDIA can score better than what the v43.03 drover offers, which performs very bad compared to the ATI cards. NVIDIA also will have a hard time explaining why their cards run faster with newer drivers.
Als je het artikel leest, begrijp je dat Tom bedoelt dat hij alleen die scores meeelt die het goede beeld renderen, en zelfs wanneer Nvidia zit te buggen/cheaten als "Antz" wint de 5900 het maar nét!
Maar Robin, zou jij met de v51.75 drivers spelen als je beeld gewoon incorrect is? En dan ook nog eens de 5900 Ultra meester van de 9800 Pro, die het correcte beeld genereert, noemen? Als je wil dat je 5900 Ultra het goede beeld geeft, moet je accepteren dat hij de helft van Ati's performance heeft!
Benchmark score
De grijze balken zijn met errors creeërende drivers...

Dit iets meer feitelijke info, geachte mede-Tweakers. Ik raad jullie echter aan het stuk gewoon zelf lekker te lezen. Noch Robin, noch ik kan een perfect beeld geven. link Nogmaals mijn excuses T.T.

Ik ben blij dat ik dit artikel op Tom's Hardware heb gelezen voordat er op Tweakers.net een verslag van werd gedaan.
Begrijp me niet verkeerd, T.net is mij startpage en beste vriend in hardware land, maar een news-item van deze kwaliteit vind ik op Tweakers heel erg eng.. ;(
Best leuk dat je mij zo vaak noemt, maar je slaat de plank mis :) Ik ben slechts nieuws-submitter, Elke geregistreerde gebruiker van tweakers.net kan nieuws insturen om de crew een beetje te helpen met het vergaren van nieuws, dat is geen speciaal privilege.
De tweakers.net crew beslist dan of het interessant genoeg is om te plaatsen en zij schrijven ook het verhaaltje. Net onder de titel staat ook:
Door Robin Vreuls - zondag 21 september 2003 - 01:16 - Bron: Tom's Hardware - Submitter: T.T.
Je moet dus bij Robin Vreuls wezen als je inhoudelijke opmerkingen hebt. Hij maakte dit berichtje, ik heb absoluut niets te zeggen over de inhoud (en dat is maar goed ook ;))
Zoals het er nu uitziet is de GeForce FX 5900 Ultra met Detonator 51.75 de meester over de Radeon 9800 Pro met 265MB geheugen aan boord.

Ja duh, als je de IQ weer verlaagt en dan gaat zeggen dat het een "bug" is wel ja. Pff.
jammer dat ze geen screenies erbij hebben gezet met de 51.75 driver. Ik mag mezelf ook eigenaar noemen van een 5900ultra 256mb en ik heb ook die driver geprobeerd op mijn kaart. Nou sorry dat ik het zeg nvidia maar zo'n brakke driver heb ik nog nooit gehad.
Het lijkt me het meest realistisch om in het geval van de nvidia kaarten de scores te gebruiken met driver 45.23, dan krijg je tenminste een normale vergelijking richting de R9800.

PS.
Bij deze meteen even een tip richting andere tweakers met een FX kaart. De omega drivers zijn WEL gewoon goed, hierbij zijn voor zover ik heb kunnen ontdekken alle gniepige "trucjes" van nvidia weer ongedaan gemaakt. Dus meteen die nvidia detonators uit je hoofd zetten en de nieuwste omega drivers installeren.<div class=r>[Reactie gewijzigd door [X]Death996]</div><!-- end -->
jammer dat ze geen screenies erbij hebben gezet met de 51.75 driver
screenshots van die Nvidia drivers zeggen niet zo veel.
de 51.75 drivers detecteren namelijk waneer er een screenshot word gemaakt en verhogen tijdelijk de IQ tot maximaal zodat de screenshot er perfect. maar in game is het nogsteeds bagger.
aTmosh:

Een beschuldiging afkomstig van Valve's (de makers van Half-life 2) Gabe Newell tijdens de presentatie op ATI's shader day.

http://www.techreport.com/etc/2003q3/valve/index.x?pg=3

"As you can tell from looking at the list in the slide above, Newell was concerned particularly with some of the techniques NVIDIA has used in recent driver releases, although he didn't exempt other graphics hardware makers from his complaints. He said they had seen cases where fog was completely removed from a level in one of Valve's games, by the graphics driver software, in order to improve performance. I asked him to clarify which game, and he said it was Half-Life 2. Apparently, this activity has gone on while the game is still in development. He also mentioned that he's seen drivers detect screen capture attempts and output higher quality data than what's actually shown in-game."
de 51.75 drivers detecteren namelijk waneer er een screenshot word gemaakt en verhogen tijdelijk de IQ tot maximaal zodat de screenshot er perfect.
Dat is een vrij zware beschuldiging. Het zou best kunnen gezien wat nVidia de laatste tijd doet, maar zouden al de review sites dit dan niet moeten merken? Ik zie in de allernieuwste Detonators nog steeds lagere IQ in die screenshots, terwijl je zegt dat dat ongedaan zou moeten worden bij het maken van een screenshot. Of wordt het gedeeltelijk ongedaan gemaakt en is het in game net zo slecht als in 45.23?
Volgens mij kun je in AquaMark3 aanzetten dat hij iedere frame moet opslaan, in dat geval kun je de kwaliteit van het beeld en de prestaties van de kaart goed testen ;) (als dat screenshots nemen de score ten minste niet beinvloed...).
Bedankt voor de onderbouwing. Gezien de bron snap ik niet dat jouw reaktie (en de mijne) op zo'n manier omlaaggemodereerd wordt, dit weten waarschijnlijk niet zo veel kaart/driver reviewers waardoor er een vertekend beeld ontstaat van de werkelijke prestaties.

Althans ik neem aan dat de meeste reviewers werken met screengrabs, en niet met een fototoestel op het beeldscherm gericht.
Alsof die ene punt ofwel 2% merkbaar is.....
Moet je je ook afvragen of die Detonator de boel ook daadwerkelijk op 32 bits draait.
De Detonator51.75 hebben wel een 'leuke' cheat ingebouwd die je toelaten om Anisotropic filteren geforceerd uit te zetten. Resultaat op een GeForce 4 Ti4200 :

Van:
arc.aquamark3.com/arc/arc_view.php?runID=705397669
Score: 20403 (CPU: 9667, GFX: 2280)

Naar:
arc.aquamark3.com/arc/arc_view.php?runID=707057924
AquaMark Score: 28668 (CPU: 9539, GFX: 3372)
Wel leuk om te zien is dat per benchmark de clocksnelheid verschilt, van de gpu en het geheugen van de videokaart dan.... Maar niet helemaal op een manier die je zou verwachten... :)
Heb gisteren nog even geprobeerd maar bij dezelfde clocksnelheden crasht hij nu |:(

Dit komt wel al iets dichter in de buurt :

arc.aquamark3.com/arc/arc_view.php?runID=877145684
AquaMark Score: 29368 (CPU: 9515, GFX: 3474)

Houd er rekening mee dat dit geen geldige scores zijn, AF stond namelijk volledig uit dmv een instelling in het controlepaneel van de det51.75 drivers. Normaal staat AF op 4x in Aquamark, en nu dus volledig uit, wat natuurlijk voor een serieuze 'prestatie-winst' zorgt.
De CPU score wordt gewoon getest, dit heeft niks met kloksnelheden te maken. Als er toevallig nog iets op de achtergrond actief is, zoals een virusscanner, dan kan dat verschil best daardoor komen.

Dit is dus niet alleen zo bij deze benchmark, maar ook bij een systeemcrusher als Sysoft Sandra.
Dus in die tests stond AF bij ATI op 4x en bij nVidia uit?
Op DriverHeaven waren al benchmarks verschenen over AquaMark 3, maar ze hebben ook even naar de image quality gekeken. En zoals er vrij duidelijk op hun site is te zien, gaat de kwaliteit flink omlaag maar de framerate tegelijkertijd omhoog...
Anoniem: 34169 @Rafe21 september 2003 08:00
Inderdaad, omdat bij Nvidia geforceerd dingen als Anisotropic AA worden uitgezet. Dat levert je wel winst op in FPS, maar de beeldkwaliteit gaat erg achteruit.

Ook andere benchmarks hebben hier last van trouwens. 3DMark 03 anyone?
Op het forum loopt een draadje met daarin de scores van de tweakers: http://gathering.tweakers.net/forum/list_messages/810704
Het mindere van dit programma vind ik echter dat het er grafisch niet echt bijzonder uit ziet. het is dan ook echt meer beeldscherm uit, even weglopen en terugkomen als die klaar is. Puur voor de resultaten.

Maar goed het is wel beter dat er steeds meer 'goede' benchmarks komen, die met 3Dmark kunnen concureren, want een vergelijkende test tussen 2 videokaarten met maar 1 echte benchmark is ook niet geheel eerlijk.
Ik vind het heel jammer dat de T.net posting niet duidelijk maakt wat voor cheatscores nvidia heeft. Een oppervlakkige lezer die de reacties niet doorneemt zou kunnen besluiten dat er weliswaar nog een bug in de nvidia drivers zit maar dat ze goed bezig zijn met hun scores... terwijl ze gewoon heel er fout bezig zijn en de enige valabele score die is waarbij dingen juist gerendered worden, dus de 44.03 score en dan hebben ze maar half de frames van de ATI kaarten.

Ik ben tot voor enkele maanden een die-hard nvidia fan geweest maar zoals ze iedereen nu trachten te bedriegen zal mijn volgende kaart zeker geen nvidia zijn ook al zouden ze morgen een wonderbaarlijke kaart op de markt gooien die 1000+ fps geeft in hl2 of doom3.
Ik kan me hier ook echt kwaad om maken. Het is toch van de gekke dat als je de vraag beantwoorden moet : welke kaart is sneller? Dat je zegt, dat hangt af van de Nvidia Drivers!

Blijkbaar is ATI wel oprecht in wat ze leveren en daarvoor zouden ze al lof verdienen ipv die misleiders bij Nvidia. Het lijkt wel of de chief zegt: maak een nieuwe driver die zoveel mogelijk functies uit zet, maar dat zo min mogelijk te zien is in de graphics. Ja bleh. Ik heb er genoeg van.

Het is op zich net zoiets als harde schijf fabrikanten die doen geloven dat je meer krijgt dan je werkelijk krijgt. Hoewel ik me daar niet zo boos over maak :P
HALO MENSEN! Is het niet zo dat de Detonator 51.75 drivers gewoon BETA zijn en dus de kans groot is dat er bugs in zitten!? wake up!
Ik denk dat je beter ff naar Uncle tom moet gaan... Dat heb je vast nog niet gelezen!

Nvidia raad zelf aan om DX9 benchmarks te testen met de Beta 5x.xx drivers... deze zullen een stuk beter presteren. Dit zijn niet mijn worden, maar van Nvidia zelf.

Zelfs de "GOED" gekeurde 45.23 driver heeft problemen met Lighting enz. maar dat ga ik hier niet allemaal uitleggen.

Lees gewoon ff wat Uncle Tom te melden heeft ;)

Op dit item kan niet meer gereageerd worden.