Hoofdcategorieën

Futuremark en nVidia kibbelen over 3dMark 2003

Door Remy Bergsma, donderdag 13 november 2003 18:39
Bron: X-Bit Labs, views: 1.407

X-Bit Labs komt met het nieuws dat nVidia beschuldigingen heeft geuit aan het adres van Futuremark omtrent een patch voor 3dMark 2003. Door de patch zou de GPU-compiler van nVidia-kaarten worden uitgeschakeld, waardoor er een performanceverlies van twintig procent op zou treden. De patch zou er voor zorgen dat bepaalde berekeningen door de CPU gedaan worden, in plaats van de daarvoor gespecialiseerde GPU. Futuremark reageert hier echter op met de melding dat dit helemaal niet het geval is: De 3dMark 2003 software werkt niet direct met de grafische driver maar met DirectX, waardoor het technisch gezien onmogelijk zou zijn dat de GPU-compiler uitgeschakeld wordt door de patch. Futuremark meldt verder dat de patch alleen maar wat shaders aanpast in de software, wat niet van invloed zou moeten zijn op de prestaties:

3DMark03 pic“Let's also repeat that 3DMark specific driver optimizations are forbidden in our run rules because they invalidate the performance measurement and the resulting score is not comparable to other hardware. Thus, the right conclusion is that the new version of 3DMark03 is now very suitable for objective performance measurement between different hardware,” Executive Vice President of Sales and Marketing for Futuremark summarized.
Volgende 19:14
Vorige 17:41

Reacties

«  1  2  »

Eigenlijk zou iemand van buitenaf gewoon eens objectief naar 3Dmark moeten kijken, dus niet iemand van nVidia, Ati of Futuremark. Op deze manier zullen dit soort beschuldigingen heen en weer blijven vliegen.

Ik denk ook dat nVidia misschien wel een beetje slecht tegen haar verlies kan, nadat ATI nu eigenlijk de strijd om performance tijdelijk gewonnen heeft, en dit probeert te verdoezelen door dit soort beschuldigen te doen.

Waarom zou een objectief iemand naar 3dmark moeten kijken. Als 3dmark als benchmark onbetrouwbaar is gebruik straks niemand 3Dmark meer, futuremark zal dus geen enkele reden hebben om NVidia (expres) te benadelen/bevoordelen.

Tenzij ze natuurlijk worden omgekocht, maar dat betwijfel ik.

Je spreekt jezelf tegen, als iets betrouwbaar moet zijn, moet het juist objectief beoordeeld worden. Wie zegt dat Futuremark op het hoogste niveau niet stiekum steekpenningen van Ati krijgt ??

En wie zegt dat die onafhankelijke persoon van buitenaf dan niet op het hoogste nivo steekpenningen krijgt? Zo blijf je natuurlijk bezig.

FutureMark WAS nou juist een club van buitenaf die objectief videokaarten ging vergelijken met hun tool.

En dat vond Nvidia niet zo erg leuk. Dat hebben we in het verleden al gemerkt.

Nvidia is ook al niet zo blij met andere onafhankelijke personen die objectieve benchmarks maken. (Shadermark bv)

Wat brapje bedoeld is dat 3dmark juist de objectieve partij zou moeten zijn. 3dmark heeft er geen baat bij om partijdig te zijn. Dat zou alleen maar in hun eigen nadeel werken, het zou ze een naam geven partijdig te zijn en de naam verliezen een onafhankelijke benchmark te zijn.

Waar ik het dus geheel mee eens ben.

Ongeacht wat de uitkomst van deze ruzie weer is, vind ik het niet ten goede komen van 3DMark.

In mijn ogen kan je 3DMark 2003 al lang niet meer zien als een onafhankelijk benchmarkprogramma, er spelen bij Futuremark blijkbaar zodanig belangen dat het niet meer onafhankelijk kan. Jammer, maar 3DMark 2003 is nu voor mij echt een veredelde demo geworden. :'(

Ongeacht wat de uitkomst van deze ruzie weer is, vind ik het niet ten goede komen van 3DMark.
Ongeacht wat de uitkomst van deze ruzie weer is, vind ik het niet ten goede komen van Nvidia. Ze pakken elke kans aan om met woorden de minsdere performance van hun gpu's tov de concurrent ïn hun voordeel" te praten. Mensen die benchmarks interessant vinden lezen hier nu toch wel eens doorheen en kennen nvida's slechte imago op dit vlak (ik noem maar de cheats in vorige versies drivers).

Ach , ati heeft in het verleden ook gecheat :P (stiekum detecteren of een applicatie quake3 is een dan de kwaliteit van de rendering naar beneden brengen)

Nvidia heeft gewoon het probleem dat hun eigen Cg compiler niet zoveel gebruikt wordt en dat men voor de alternatieve compiler in direct3d gaat (die weer geoptimaliseerd is voor ati's gpu ontwerp)

Nvidia heeft nu wel een goed chipdesign maar daar let de gemiddelde gamer niet op, die wil gewoon brute kracht (al ben ik blij dat nvidia niet achter MS aanloopt, zo hebben ze nog steeds de beste opengl drivers en zijn veel goede games nu eenmaal opengl)

achneej, toch niet weer dat quake3 verhaal he? het was geen cheat maar een bug, slider van qauliteit een streepje lager zette leverde normaal beeld met zelfde performance, de driver daarna (1WEEK later) heeft dit gefixed, met hogere performance en al het beeld, lijkt me niet de definitie van een cheat.

maarja dat ATi dat mee heeft gemaakt en gefixed in een week zonder perfomance verlies maakt blijkbaar grotere indruk dan die stapels dingen die nVidia de laatste tijd allemaal geflikt heeft.

Zou je nou komen met het Rage Pro verhaal zou ik zeggen, ja dat was een cheat van ATi, maar dat quake vink zo'n suf verhaal worden.

Nvidia heeft gewoon het probleem dat hun eigen Cg compiler niet zoveel gebruikt wordt en dat men voor de alternatieve compiler in direct3d gaat (die weer geoptimaliseerd is voor ati's gpu ontwerp)
Volgens mij is het eerder zo dat ATi haar GPU ontwerp voor de (zogenaamde) "algemeen geaccepteerde standaard" D3D (en/of DirectX) heeft geoptimaliseerd, en niet anderom.

Uiteraard heb je wel gelijk in je standpunt dat nVidia niet zoveel bijval heeft gekregen voor hun Cg, als ze gehoopt (of op gerekend) hadden.

stiekum detecteren of een applicatie quake3 is een dan de kwaliteit van de rendering naar beneden brengen
=ouwe koe. Dit was nog wél een optimalisatie te noemen, alles werd immer wel correct gerenderd. Al was het op het randje.
direct3d gaat (die weer geoptimaliseerd is voor ati's gpu ontwerp
onjuist. Ati houd zich aan de D3D standaard. nVidia was te vroeg met hun proprietary language. Ze dachten dat iedereen de marktleider wel zou volgen.
Nvidia heeft nu wel een goed chipdesign
Nee, dus niet. Hun GPU kan dan wel veel, alleen te langzaam. Voor de enorme transistorcount zijn de prestaties in pixel en vertex shaders bijzonder mager.
maar daar let de gemiddelde gamer niet op, die wil gewoon brute kracht
nee, die wil prestatie. Voor brute (=domme) kracht zit je bij nVidia goed. Bij Matrox trouwens ook.
prestatie=brute kracht * efficientie
En die efficientie hangt er van af hoe goed je je aan de standaard houdt en de intelligentie van het ontwerp. Daarom is nV ook zo goed in openGL.

Ik snap niet hoe je kunt beweren dat dit slecht voor 3DMark is.
Ze zijn op dit moment juist bewonderenswaardig bezig!!

Ze hebben perfect omschreven wat een cheat is, en wat een acceptabele optimalisatie. Tevens zorgen ze ervoor dat hun benchmark het moeilijk maakt om te cheaten.

Als dan een fabrikant (NVidia) dan keihard door de mand valt, dan is dat volledig aan die fabrikant te wijten. Futuremark valt niets te verwijten. Alleen maar perfect dan hun benchmark gesjoemel met drivers aan het licht brengt.

Onmogelijk om te claimen dat Futuremark hier niet onafhankelijk is. Juist vanwege die hele kwestie een half jaar geleden, is er nu perfect vastgelegd hoe er wordt gewerkt. Zeer objectief, volledig controleerbaar.

Als NVidia inderdaad gewoon een goede 'Just in time compiler' zou hebben ingebouwd waardoor ze de laatste snelheidswinst halen, dan zou die absoluut geen last hebben gehad van de anti-cheat maatregelen in 3D-Mark.

Hulde aan Futuremark! Ze hebben hun zaakjes nu weer goed voor elkaar.

hoezo niet? als ik een score haal van 2000 en na wat tweaks 2400, dan maakt het toch niet uit of er cheats of wat dan ook gebruikt worden? het gaat erom dat me performance omhoog gaat, geld voor alle videokaarten hoor.

De performance gaat bij cheats alleen omhoog door voorkennis over wat er precies gaat gebeuren in de benchmark. De performance gaat door die cheat dus niet omhoog bij een willekeurige andere situatie. Dus ook niet in een ander spel.
Voor een benchmark die prestaties in andere programma voorspelt is dat dus niet acceptabel.

M.a.w. die score van 2400 is dan geen goede afspiegeling van wat die videokaart voor prestatie neerzet. Je zult bij andere spellen overal die 2000 halen.

Dan wordt je dus belazerd als je op die 2400 af zou zijn gegaan voor de aanschaf van je nieuwe videokaart...

NB: de just-in-time compiler van NVidia is een toegestane optimalisatie. Die werkt (als het goed is) namelijk zonder voorkennis, en werkt dus bij alle situaties. En dus is dat een normale optimalisatie die bij alle spellen werkt.
Futuremark heeft niets tegen die just-in-time compiler. De anti-cheat maatregelen in de nieuwe patch zetten de compiler ook niet uit. (Door NVidia toegegeven dat de reactie van hun PR man foutief was!)

Wat er over blijft zijn simpelweg cheats. Manieren om de benchmark te belazeren, zonder dat de videokaart daadwerkelijk sneller is geworden.

And the story's going one.

Ik denk dat nVidia eens is tegen zijn verlies moet kunnen en eens hard aan de slag voor een betere kaart.

Want tegenwoordig worden steeds meer games gebruikt voor benchmarks en als die hetzelfde weergeven moet je toch eens na gaan denken.

Dat nVidia zich al gelijk weer ergens druk om maakt als het gaat om een nieuwe versie van 3dMark 03 vind ik al ontzettend wazig. Schijnbaar is de score die 3dMark geeft wel heel erg belangrijk voor nVidia. Als het aan nVidia zou liggen dan presteert elk spel zwaar onder de maat t.o.v ATi, Maar zodra dit met 3dMark gebeurt hebben we de poppen aan het dansen. Mijn conclusie is dan dat het grootste deel van de markt hun videokaart koopt na aanleiding van 3dMark scores. Tjah dan zou ik ook in m'n broek schijten als ATi al weer veel sneller is als nVidia. Maar dat neemt nog niet weg dat de benchmark wel eens gelijk zou kunnen hebben. Ik heb ook niet voor niets ineens een ATi videokaart in me PC :)

Wat ik nog wel het ergst vind, is dat nVidia het zo te zien echt niet aankan dat hun kaartje iets langzamer zou zijn. Ze doen er ook werkelijk alles aan om de prestatie vrijwel 'GELIJK' te krijgen met ATi... waarom niet 20% sneller? Als je dan toch aan het cheaten bent :P

Zeer apart dat de scores tegenwoordig gelijk aan elkaar zouden moeten zijn, terwijl dit natuurlijk vrijwel onmogelijk is om voor elkaar te krijgen. We zouden duidelijke prestatieverschillen moeten kunnen waarnemen. De een iets beter hier, de ander iets beter daar enz enz. nVidia wil in mijn ogen al het verschil wat er is weg moffelen. Als het maar gelijk aan elkaar is, dan isset wel goed. Wij mogen het verschil niet meer zien, waardoor we onze keus moeten baseren op naamsbekendheid ed. waardoor nVidia zeker vaker uitgekozen zou worden dan ATi, zo liggen nou eenmaal de voorkeuren op dit moment, net als met 3DFX destijds.
Van mij mag ATi wel eens iets behoorlijks sneakies uithalen. Van mij mogen ze nu cheat drivers maken waarbij ze even 50% beter zijn dan nVidia. Laat ze maar lekker kwekken tegen elkaar :D stelletje kinders.

Tuurlijk maakt Nvida zich er druk om.
Uit de nieuwste versie blijkt opnieuw zonder enige twijfel dat Nvidia na een jaar nog steeds vette cheats ingebouwd heeft. (Ondanks dat ze al vele malen betrapt zijn en beweert hadden dat ze het niet meer zouden doen)

Verder konden ze de vorige keer er nog onderuit komen door de discussie te vertroebelen door te gaan kibbelen over wat wel en niet acceptabele optimalisaties zijn.
Maar dit keer kan dat niet. FM heeft zeer duidelijke regels zwart op wit staan waar ze niet onderuit kunnen.
M.a.w. als een volgende driver nou opnieuw cheats heeft kan FM dit keer zonder pardon zeggen dat Nvidia zit te cheaten in de benchmark.
Juist omdat die regels nu zeer strak gedefinieerd zijn hoeven ze dan niet meer bang te zijn voor een rechtzaak.

Het zou best eens kunnen dat Nvidia nog meer cheats in zijn driver heeft en dat deze plotseling niet meer werken door de patch voor 3dMark 2003. Mocht dit werkelijk het geval zijn, dan blijft Nvidia niet veel anders over dan de schuld bij Futuremark te leggen.

Na de 340 patch ging mijn 3Dmark2003 score omlaag met 500 punten... had eerst ruime 6000 met mijn Sapphire 9700.
Ik dacht eerst dat het mogelijk lag aan andere aanpassingen maar mijn 3Dmark2001se score was juist gestegen. Dus ik concludeer dat door de patch ook op ATI Dx9 kaarten, scores ook zakken

dat is raar...
minstens 2 andere sites hebben het ook getest, en daar was geen meetbaar verschil....

500 punten verschil kan komen door een programatje meer of minder open, meer of minder spyware op je comp ect.
alle andere tests die ik heb gezien op internet laten hooguit een verschil van 0.5% zien in de verschillende testen, ruim binnen de marge van error.

2003 is nauwelijks processor gevoelig.. ik denk dat je eerder over maximaal 50 punten kan spreken in het geval van spyware... (gametest 1 is processor gevoelig)

500 punten omlaag zou eerder een performance drop in de andere gametests betekenen terwijl die gametests toch echt baat hebben bij een snellere videokaart...

Ikzelf heb geen drop in performance waargenomen met de Cat 3.9 drivers..

Dit is een lekkere Soap aan het worden zo...

De eerste 'bron' over het al dan niet uitschakelen van de GPU on-the-fly compiler was iemand van kaartenbakker Gainward. Die claimde als eerste dat de compiler zou worden uitgeschakeld.

Daarop reageerde Futuremark als volgt:
Gainward is totally wrong here because what he suggests is not even feasible technically. 3DMark03 does not talk to graphics driver, it talks to the DirectX API, which then talks to the driver. Thus, it is impossible for the application to disable GPU compiler!

The only change in build 340 is the order of some instructions in the shaders or the registers they use. However, new shaders are mathematically equivalent with previous shaders. A GPU compiler should process the old and the new shader code basically with the same performance. Of course, if there are application specific optimizations in the driver that depend on identifying a shader or parts of it, then you might see performance differences because these optimizations will not work if the driver is not able to detect the shader.

[...]
Source: http://www.theinquirer.net/?article=12641

Maar ALS het dus mogelijk is die compiler uit te schakelen is dat een bug in de NVidia drivers, niet in 3Dmark.

Verder is dit natuurlijk erg verdacht. Je reorganiseert de instructies een beetje en gelijk valt de prestatie zo naar beneden.
Dat klinkt als een staaltje 'herken deze shader'. Maar natuurlijk kan het ook een foutje in de compiler zijn.

edit: in beide gevallen moet NVidia dus niet zeuren maar een nieuwe driver uitbrengen

Dat is geen kwestie meer van "verdacht klinken".

Er zijn nu een vol jaar lang elke maand weer nieuwe cheats ontdekt in de Nvidia drivers.
Na zo'n jaar is het wel eens een keertje tijd om te stoppen met Nvidia het voordeel van de twijfel te geven. Er is op een gegeven moment een grens.

(En die is al een half jaar geleden overschreden)

En wat betreft Gainward. Die hebben ook geen andere keus om FUD te verspreiden aangezien hun complete lineup uit Nvidia kaarten bestaat.
Die zien hun omzet al kelderen.

Maar ALS het dus mogelijk is die compiler uit te schakelen is dat een bug in de NVidia drivers, niet in 3Dmark.
Waarom zou dit een bug moeten zijn? Ik kan me voorstellen dat ze hier met opzet een optie van hebben gemaakt zodat programmeurs deze uit kunnen schakelen voor hun programma als dit problemen of snelheids-/preformancewinst oplevert oid.

NVidia heeft toegeven dat 3D Mark NIET de on-the-fly compiler uitzet.

http://www.xbitlabs.com/news/video/display/20031114041519.html

Hetgeen dan gelijk ook veel zegt over Gainward. :7

Hoeft niet Gainward kan ook simpel naar nVidia gebeld hebben om te vragen hoe het kan dat ze opeens 20% langzamer waren (ik zou het zelf wel willen weten als ik die kaarten maakte :-) )

Als nVidia dan in eerste instantie met wat gebrabbel over het uitschakelen van de compiler zou komen is het logisch dat Gainward dat aan fururemark meld. Dat nVidia nu weer wat anders beweerd zegt dan niet zoveel.

We gaan dus maar weer op zoek naar een opjectieve benchmark :(

Ten eerste: waarom ga je er vanuit dat deze benchmark niet objectief is?

Ten tweede: Wat denk je dat Nvidia doet met een andere objectieve benchmark?
(Daar gaan ze net zo hard cheats voor maken, zoals ze al met een aantal andere benchmarks getoond hebben)

Gebruik maken van FRAPS + direct3d games geeft u een veel beter beeld van average performance.

http://www.google.com "FRAPS"

Oh, maar niet volgens Nvidia hoor.
FRAPS is volgens hen hardstikke onbetrouwbaar. (ongeveer even onbetrouwbaar als 3DMark03, Shadermark etc)

uhm.. FRAPS geeft u een zeer objectief beeld van de speelbaar van games...

Inderdaad. En daarmee precies de reden waarom NVidia 'm onbetrouwbaar noemt. }>

Waarom zouden ze nu nog moeilijk gaan doen? De topscores van 3dMark 2003 zijn allemaal gezet door mensen met een FX5900 Ultra. Dit mekkeren geeft Nvidia alleen maar negatieve publiciteit.

Euh nee??

http://service.futuremark.com/servlet/Index?pageid=/orb/projectsearch

De eerste 5 zijn radeon 9800 XT's, voordat je geruchten gaat verspreiden moet je eerst research doen ;)
«  1  2  »

Op dit item kan niet meer gereageerd worden.

Volgende 19:14
Vorige 17:41
VNU Media logo Powered by True

© 1998 - 2009 Tweakers.net - Alle rechten voorbehouden - Uw Privacy - Algemene Voorwaarden

Uitgever van: