Cookies op Tweakers

Tweakers maakt gebruik van cookies, onder andere om de website te analyseren, het gebruiksgemak te vergroten en advertenties te tonen. Door gebruik te maken van deze website, of door op 'Ga verder' te klikken, geef je toestemming voor het gebruik van cookies. Wil je meer informatie over cookies en hoe ze worden gebruikt, bekijk dan ons cookiebeleid.

Meer informatie

Door , , 52 reacties
Bron: Digit-Life, submitter: hjs

Bij Digit-Life is een interessant verhaal verschenen over de de drivercheats die zowel ATi als nVidia toepassen om op een oneerlijke wijze hogere resultaten te verkrijgen. De zaak kwam enkele maanden geleden aan het rollen toen bleek dat nVidia een groot aantal "optimalisaties" had geïmplementeerd om hogere 3DMark03 scores te halen. Al snel bleek dat ook ATi niet geheelbrandschoon was, maar de impact van de cheats van ATi waren aanzienlijker kleiner op de testresultaten.

Futuremark logoWat velen echter niet weten is dat zeker 3DMark03 niet het enige programma is waarin de drivers de boel belazeren. Uit onderzoek van Digit-Life blijkt dat ook 3DMark 2001 wordt herkend door de drivers van beide fabrikanten en de Nature-scène op een alternatieve manier wordt opgebouwd. De Nature-scène maakt gebruik van een vertex shader om de bladeren en het gras te laten bewegen alsof er wind doorheen waait. Hiervoor wordt een functie gebruikt die door 3DMark wordt benaderd door een Taylor reeks van de negende graad. Het lijkt erop dat nVidia een benadering van een lagere graad gebruikt waardoor de bladeren en het gras anders bewegen en de shader veel sneller uit te voeren is.

Ook ATi laat de Nature-scène opbouwen op een andere manier dan 3DMark 2001 dicteert, maar in plaats van de shaders te wijzigen gebruikt ATi voor de bladeren van de bomen andere textures. Wat ATi precies doet is onduidelijk, maar waarschijnlijk worden ongecomprimeerde textures geforceerd gecomprimeerd of worden DXT3 textures vervangen door DXT1 textures. De mensen van Digit-Life vragen zich dan ook af in hoeverre benchmark resultaten in de toekomst nog kunnen dienen als een betrouwbare prestatie-indicatie:

Will the Direct3D application detection mechanisms disappear in the Detonator and Catalyst drivers? Unlikely. Judging by the test results of the drivers released after the scandal around 3DMark2003 none of the companies is going to step back. Thus, the new NVIDIA's Detonator FX 44.6x is able to detect all changes in the shader code made by Futuremark in the patch 330 and even increases performance as compared to what was before the patch. Obviously, NVIDIA decided to keep to the tactics of aggressive optimizations irrespective of the negative attitude of most users towards such things. Nevertheless, the NVAntiDetector script still makes the GeForceFX 5900Ultra work much slower in this benchmark.

ATI also released a new build of the Catalyst drivers where they really removed two optimizations for the 3DMark2003 revealed by Futuremark. They proudly announced it in the following press-release, but the optimizations for the previous benchmark are still there. The company seems to follow the principle "innocent until proven guilty", and the fine guesture of locking undesirable optimizations will touch only those cheats which the company was thrusted under its nose. It's very convenient to be partially honest. Everyone is satisfied.
XOR-beeld 3DMark 2001
Het verschil tussen het gewenste 3DMark 2001 beeld en het beeld geproduceerd door de nVidia-drivers
Moderatie-faq Wijzig weergave

Reacties (52)

Wat ook verder blijkt wanneer men het antidetection programm gebruikt, is dat Nvidia in UT2003 ALTIJD bilinair filtering gebruikt IPV trilineaire filtering. Dit kan alleen door middel van dit programma aangezet worden. Zelfs als je application preferences aanzet en dan gebruik maakt van tilineair in UT2003 dan werkt het normaal niet (wel dus met antidetector).

De scores van nvidia kaarten droppen dus vrij veel wanneer die gebruikt wordt. Dus naast de syntetische benchmarks worden er dus ook spellen gedetecteerd, wat het geheel erger maakt.
Wisten jullie ook dat de nieuwe generatie kaarten in sommige app's zelfs trager zijn dan hun voorgangers ??!!!!

Toepassingen die rondom pallettized textures zijn gebouwd zijn in veel gevallen zelfs sneller met een GF3-ti 200 dan met een FX of 9700 Pro.

Deze features zijn er 'domweg' uitgehaald met als reden de productie simpeler te maken en met de gedachte dat we in de toekomst er minder gebruik van maken. ( Zie Pete's notes uit de D3D/OpenGl drivers voor de epsxe graphics plugins )
wat ik niet snap, wanneer is het nu een echte cheat(waar ligt de grens),als er een nieuwe driver uit komt is i toch ook geoptimaliseert,de werking van de video kaart word beter dus daar kan toch ook mee geknoeid worden.
i.i.g. worden de kaarten gelukkig wel Echt sneller
Een geoptimaliseerde driver doet in principe (want beeldkwaliteit en in stellingen betreft) precies hetzelfde als zijn voorganger, alleen wat sneller. Dat komt doordat in de driver zelf bepaalde zaken slimmer zijn geprogrammeerd, om het maar eens eenvoudig te zeggen.
Cheaten wordt het wanneer je de driver gaat afstemmen op de benchmark-applicatie of game. Door bijvoorbeeld te optimaliseren voor exact die omstandigheden waaronder de demo wordt uitgevoerd. Dit geeft een vertekend beeld van de prestaties van de combinatie kaart/driver en zet consumenten dus mogelijk op het verkeerde been. Dat zie je bijvoorbeeld ook in het plaatje hierboven: de kwaliteit is duidelijk minder door de aanpassingen, cheaten dus.
Wat jij bedoelt is dat de drivers worden geoptimaliseerd voor de videokaart(en), maar wat de fabrikanten nu doen is de drivers aanpassen aan de software. Dan is het een cheat: je "past de software aan" door hem anders uit te voeren. Natuurlijk is dat niet de bedoeling, en ook niet eerlijk in een benchmark. De videokaarten worden inderdaad echt sneller, maar niet zo snel als het lijkt, door deze optimalisaties.
Het is een cheat wanneer de kwaliteit anders is dan voorheen. Wat nVidia onder andere heeft gedaan is een specifieke pixelshaders herkennen en een andere, minder mooie maar sneller draaïende, voor in de plaats gebruiken.
Beschouw het als het vergelijken van een normale en een wireframe versie van je favoriete 3D spel; uiteraard gaat de laatste een stuk sneller, het ziet er ook een stuk minder mooi uit.
Zoals anderen al reageerden; bij optimalisatie worden er wel dingen aangepast om de performance te verhogen maar gaat dit niet ten koste van andere aspecten zoals beeldkwaliteit.
Dat is een goed pleidoooi voor open source drivers.
En wat wil je daar dan mee bereiken? Dat de reviewer of de gebruiker de source gaat doorspitten en zich daarna bewust is van de eigenlijke prestaties van de videokaart?
De mensen van Digit-Life vragen zich dan ook af in hoeverre benchmark resultaten in de toekomst nog kunnen dienen als een betrouwbare prestatie-indicatie
Ik vind dat dit nou eigenlijk weer een reviewer's verantwoordelijkheid is. Als zij testen met meerdere programma's (quake3, unreal, 3dmark, etc.) en dat gebruiken ze voor elke kaart hetzelfde, dan heb je toch een goede vergelijking? Als ze allebei zouden cheaten zou dat in theorie elkaar kunnen opheffen (hangt er van af wie het beste cheat ;))
Nee, dan heb je dus geen goede vergelijking. Als de ene cheat voor zeg 10 procent en de ander voor 30 procent heb je een lekker kromme vergelijking. Daarnaast krijg je resultaten die weinig zeggen over de real world prestaties van de kaart.

Het beste is gewoon real world games te gebruiken en altijd kijken naar de beeldkwaliteit. Je kan het namelijk niet zo gek maken dat men gaat zien dat de beeldkwaliteit achteruitgaat.
Toch jammer dat benchmarking op zo'n laffe manier word verpest.
Het is waar dat goede drivers een videokaart beter en sneller maken, maar op zo'n manier scores in programma's hoger te krijgen vind ik gewoon zielig.

Als je een goed product maakt, sta er dan 100% achter en ga niet op de achtergrond allerlei truukjes verzinnen om het beter te laten lijken dan het is.
Als je een goed product maakt, sta er dan 100% achter en ga niet op de achtergrond allerlei truukjes verzinnen om het beter te laten lijken dan het is.
Ben ik wel met je eens, maar aan de andere kant is men hier achter gekomen door naar de drivers te kijken. Op het scherm was het onherkenbaar. Meer snelheid met voor het menselijk oog dezelfde kwaliteit, wat maakt het dan uit hoe het gerendered is?
Omdat die snelheid alleen opgaat voor de benchmark. Als je dus denkt "leuk ik heb in die benchmark demo 100fps" dan kom je bedrogen uit als je een spel speelt (zelfde instellingen; zeg maar even zwaar voor de videokaart) en je krijgt maar 75fps.

En bovendien: je wilt gewoon de beste kaart hebben voor je geld en op deze manier kan je moeilijk zien wie de beste kaart heeft.

Wat mij betreft is 3DMark hiermee afgeschreven :(. Gewoon alleen nog maar echte games gebruiken voor de benchmarks.
Alleen hoe bench je een game? Via demo? Dan heb je daar ook weer kans dat er cheats worden gemaakt.
Er gaat gewoon gigantisch veel geld in om en voor zoveel geld wil een bedrijf best ff cheaten... de kunst is om het zover te doen dat niemand het door heeft.
Helaas voor nVidia en ATI waren ze zo druk aan het concureren dat het teveel ging opvallen met de grote snelheidsverschillen tussen verschillende drivers en de vele reviews en tests dat ze door de mand vielen.
Dus het zit er dik in dat ze de komende tijd de cheats wel links laten liggen. Ze hebben een flinke deuk opgelopen.
Bij met name Nvidia is er geen enkele reden om aan te nemen dat ze de cheats links laten liggen. Zelfs na al die cheats die ontdekt zijn, ontkent Nvidia gewoon alles en gaan ze op dezelfde manier verder.
(die shadermark cheat is namelijk nieuw)

Er is echter een vrij simpele manier om dat cheaten te omzeilen:
1) gebruik niet allemaal hetzelfde handjevol benchmarks. Je ziet dat de afgelopen maand een aantal sites is gaan benchmarken met hele andere games. NOLF2, Nascar2003 etc. En het resultaat is nogal schokkend.
2) Als je een bekende game gebruikt, gebruik dan custom benchmarks. Dat hebben diezelfde sites bv met QuakeIII gedaan. De resultaten waren wederom schokkend.

FX eigenaren met een zwak hard kunnen maar beter niet die sites bekijken:
http://www.gamepc.com/labs/view_content.asp?id=3x5900u&page=1
http://babelfish.altavista.com/babelfish/urltrurl?lp=de_en&url=http:// www.computerbase.de/article.php?id=237
http://firingsquad.gamers.com/hardware/ut2003perf/page5.asp
Euh volgens mij converteerd ATI alle DXT3 textures naar DXT1 gewoon omdat hun VPU's het niet ondersteunen, ik heb dat een hele tijd geleden gelezen op beyond3d en die mensen zijn daar weten in ieder geval meer dan ik van die zaken.

Waarschijnlijk zullen de texturen dus intensiever worden gecomprimeerd in de naturetest. ( het is dus cheaten)

Wat mij nu het meest frustreerd is dat ATi erin slaagt heel specifieke optimalisaties te doen voor benchmarks maar er niet in slaagt bv het GTA 3 probleem op te lossen. Het gaat hier over een shader die ATi hw zeer sterk belast waardoor het spel onspeelbaar wordt (dikke fog bug).
Volgens ATi moet Rockstar zijn shaders veranderen en kunnen zij daar nix aan doen ???? |:(
Wrom heb ik geen last van Fog bug bij GTA 3???
Ik heb de nieuwste driver voor mijn 9500.
Probleem is dus vooral dat deze extra code die er voor zorgt dat de testen sneller draaien er ook voor zullen zorgen dat alle andere programma's trager zullen draaien. Het stukje code die controleert welk programma van de driver gebruik maakt wordt namelijk ook voor alle andere programma's doorgelopen.
Het zal welliswaar een marginaal verschil zijn maar het principe blijft dat de producenten real-life performance opofferen om benchmark-performance op te krikken.
er is echter wel een groot verschil in cheats vind ik...
niet omdat ik een Radeon 9700 heb hoor maar de Ati cheat is niet echt een cheat maar meer een optimalisatie (immers de uitkomst is hetzelfde alleen de volgorde is anders) het is ook niet helemaal eerlijk want de optimalisatie kan plaats vinden omdat ati weet dat de test altijd identiek is (kenmerk voor benchmark)

nVidia heeft het echter wel echt heel bont gemaakt:
biliniear filteren ipv trilinear
AA en AF verminderen in kwaliteit
textures compleet weg laten of zwaar verminderen qua kwaliteit

dat is echt vet cheaten en moet keihard aangepakt worden maar wil de optimalisatie van Ati (die niet meer in de nieuwe Cat 3.5 zitten) niet goed praten maar echt erg was het niet scheelde ook maar 1,9% in totaal score en (weet het niet 100% zeker) maar meende 8% in 1 test (nature???)

nVidea haalde scores met een verbetering van wel 30% MET CHEATS dat is gewoon misdadig want mensen kopen dan een kaart dmv valse uitslagen
Dit is echt de reinste onzin die je verkondigd. Het gaat hier namelijk puur om de intentie.

Beide hebben duidelijk laten merken gewoon de ethiek te overtreden. Als Ati dan ook een manier had gevonden om beter te cheaten hadden ze het gerust gedaan.

Het probleem is echter dat de snelste kaart voor dubbel zoveel verkocht wordt als de op één na snelste en de omzetveschillen hierdoor gigantisch zijn, namelijk het verschil tussen verlies of winst maken op een generatie chips.
Daar ben ik het nog niet met je eens!
Als ATi echt had gewild hadden ze best wat kunnen schrijven, maar dat hebben ze niet gedaan.
Ik vind dat wat ATi gedaan heeft meer in de trent van optimalisatie en dat van NVidea meer Cheaten!!

Er zit verschil tussen dingen makkerlijker renderen en volledig niet renderen !
Bovendien heeft ATi toegegeven en het terug gedraait terwijl NVidea het alleen nog maar bonter maakt :r :r

Eerst vegen ze 3Dfx van de wereld en nu dit |:(
ik denk ten eerste dat de gemiddelde gebruiker, helaas, meer afgaat op het woord van de verkoper dan op benchmarks.

maar daarentegen, als er ingame gebenched wordt, dan krijg je wel een beter resultaat.. games zijn de dingen waar het om gaat met die kaart, presteert die kaart in games niet goed, dan weet je wel hoe laat het is
ja daar heb je wel gelijk in maar veel mensen kopen een kaart omdat ie goed scoort in benchmarks, en voordat een game slecht loopt op een recente kaart ben je wel een poosje verder en dan ziet de winkel je aankomen met ja maar hij is niet snel genoeg... yeah right dan zeggen ze rot voor je koop je de nieuwe ATI of nVidea toch die zijn zo snellllll

en waar denk je dat de verkoper zijn info vandaan haalt? zullen er genoeg zijn die het uit benchmarks halen hoor
Wat maakt het uit hoe ze het doen, als je er meer FPS van krijgt, en je ziet geen verschil.
3DMark is toch voor de mannetjes die lopen te schreeuwen dat ze zoveel puntjes hebben in 3DM.

Ik gebruik em ook, maar alleen om de drivers te testen, maar ik laat me er niet door leiden.
Vaak heb ik hoge scores in 3DM terwijl mijn games bagger lopen.
Mijn echte test programma's zijn mijn spellen die ik ook daadwerkelijk speel (bijna elk spel heeft wel een FPS funktie in zijn engine zitten tegenwoordig)
Dat is nou juist waar het om gaat.
Bij al die Nvidia cheats krijg je wel meer FPS, maar je ziet ook verschil.
De enige Nvidia cheat waarbij je geen verschil zag als consument, was bij die clipping planes.
Bij al die andere cheats ging de beeldkwaliteit achteruit.

Op dit item kan niet meer gereageerd worden.



Apple iOS 10 Google Pixel Apple iPhone 7 Sony PlayStation VR AMD Radeon RX 480 4GB Battlefield 1 Google Android Nougat Watch Dogs 2

© 1998 - 2016 de Persgroep Online Services B.V. Tweakers vormt samen met o.a. Autotrack en Carsom.nl de Persgroep Online Services B.V. Hosting door True