Hoofdcategorieën

[RSS] Index » Nieuws » Core » Software » Onderzoek naar werking drivercheats van nVidia en ATi

Onderzoek naar werking drivercheats van nVidia en ATi

Door Hielko van der Hoorn, zaterdag 5 juli 2003 13:34
Bron: Digit-Life, submitter: hjs, views: 1.027

Bij Digit-Life is een interessant verhaal verschenen over de de drivercheats die zowel ATi als nVidia toepassen om op een oneerlijke wijze hogere resultaten te verkrijgen. De zaak kwam enkele maanden geleden aan het rollen toen bleek dat nVidia een groot aantal "optimalisaties" had geïmplementeerd om hogere 3DMark03 scores te halen. Al snel bleek dat ook ATi niet geheelbrandschoon was, maar de impact van de cheats van ATi waren aanzienlijker kleiner op de testresultaten.

Futuremark logoWat velen echter niet weten is dat zeker 3DMark03 niet het enige programma is waarin de drivers de boel belazeren. Uit onderzoek van Digit-Life blijkt dat ook 3DMark 2001 wordt herkend door de drivers van beide fabrikanten en de Nature-scène op een alternatieve manier wordt opgebouwd. De Nature-scène maakt gebruik van een vertex shader om de bladeren en het gras te laten bewegen alsof er wind doorheen waait. Hiervoor wordt een functie gebruikt die door 3DMark wordt benaderd door een Taylor reeks van de negende graad. Het lijkt erop dat nVidia een benadering van een lagere graad gebruikt waardoor de bladeren en het gras anders bewegen en de shader veel sneller uit te voeren is.

Ook ATi laat de Nature-scène opbouwen op een andere manier dan 3DMark 2001 dicteert, maar in plaats van de shaders te wijzigen gebruikt ATi voor de bladeren van de bomen andere textures. Wat ATi precies doet is onduidelijk, maar waarschijnlijk worden ongecomprimeerde textures geforceerd gecomprimeerd of worden DXT3 textures vervangen door DXT1 textures. De mensen van Digit-Life vragen zich dan ook af in hoeverre benchmark resultaten in de toekomst nog kunnen dienen als een betrouwbare prestatie-indicatie:

Will the Direct3D application detection mechanisms disappear in the Detonator and Catalyst drivers? Unlikely. Judging by the test results of the drivers released after the scandal around 3DMark2003 none of the companies is going to step back. Thus, the new NVIDIA's Detonator FX 44.6x is able to detect all changes in the shader code made by Futuremark in the patch 330 and even increases performance as compared to what was before the patch. Obviously, NVIDIA decided to keep to the tactics of aggressive optimizations irrespective of the negative attitude of most users towards such things. Nevertheless, the NVAntiDetector script still makes the GeForceFX 5900Ultra work much slower in this benchmark.

ATI also released a new build of the Catalyst drivers where they really removed two optimizations for the 3DMark2003 revealed by Futuremark. They proudly announced it in the following press-release, but the optimizations for the previous benchmark are still there. The company seems to follow the principle "innocent until proven guilty", and the fine guesture of locking undesirable optimizations will touch only those cheats which the company was thrusted under its nose. It's very convenient to be partially honest. Everyone is satisfied.

XOR-beeld 3DMark 2001
Het verschil tussen het gewenste 3DMark 2001 beeld en het beeld geproduceerd door de nVidia-drivers

Volgende 15:17
Vorige 13:18

Categorieën

Gerelateerde artikelen

Reacties

Flat modeFlat mode Sorteer aflopendSorteer aflopend Moderatie FAQModfaq
Niveaufilter: -1 Ongewenst: 52 reacties zichtbaar520 Neutraal: 51 reacties zichtbaar51+1 Meerwaarde: 24 reacties zichtbaar24+2 Verplicht leesvoer: 8 reacties zichtbaar8
«  1  2  3  »

Door tlammens, zaterdag 5 juli 2003 13:40

Score: 0
Taylor, niet Tylor .... :Z

Door himlims_, zaterdag 5 juli 2003 13:42

Score: 0
Nu het vertrouwe in Nvidia en Ati afneemt (voor ons dan) neemt de vraag naar 'eerlíjke' beeldkanonnen toe (Voodoo must live again :+)

Door _Pussycat_, zaterdag 5 juli 2003 19:55

Score: 0
PowerVR zou weer eens wat moois moeten maken IMO. De Kyro 2 was destijds echt geweldig.

Door SED, zaterdag 5 juli 2003 22:57

Score: 0
waarschijnlijk is voodoo nooit betrapt maar hun scores lagen destijds heel wat hoger dan de beter presterende Matrox kaarten.
Altijd al vreemd gevonden.. iets voor discovery dan maar ;)

Door W3ird_N3rd, zondag 6 juli 2003 03:36

Score: 0
BitBoys lijkt me ook een prima alternatief, die hebben nooit onstabiele drivers, drivers met cheats of andere ongein uitgebracht...

Oh wacht, lama :P :+

Door AlterEgo, zaterdag 5 juli 2003 13:42

Score: 1
Dat is een goed pleidoooi voor open source drivers.

Door ^Mo^, zaterdag 5 juli 2003 13:46

Score: 0
En wat wil je daar dan mee bereiken? Dat de reviewer of de gebruiker de source gaat doorspitten en zich daarna bewust is van de eigenlijke prestaties van de videokaart?
De mensen van Digit-Life vragen zich dan ook af in hoeverre benchmark resultaten in de toekomst nog kunnen dienen als een betrouwbare prestatie-indicatie
Ik vind dat dit nou eigenlijk weer een reviewer's verantwoordelijkheid is. Als zij testen met meerdere programma's (quake3, unreal, 3dmark, etc.) en dat gebruiken ze voor elke kaart hetzelfde, dan heb je toch een goede vergelijking? Als ze allebei zouden cheaten zou dat in theorie elkaar kunnen opheffen (hangt er van af wie het beste cheat ;))

Door Hielko, zaterdag 5 juli 2003 13:52

Score: 2
Nee, dan heb je dus geen goede vergelijking. Als de ene cheat voor zeg 10 procent en de ander voor 30 procent heb je een lekker kromme vergelijking. Daarnaast krijg je resultaten die weinig zeggen over de real world prestaties van de kaart.

Het beste is gewoon real world games te gebruiken en altijd kijken naar de beeldkwaliteit. Je kan het namelijk niet zo gek maken dat men gaat zien dat de beeldkwaliteit achteruitgaat.

Door amdb7, zaterdag 5 juli 2003 13:58

Score: 0
Zo is het maar weer eens duidelijk dat je het beste naar een winkel kan gaan waar ze je een beetje kennen, en zelf 3D-Mark op een PC los te laten. Tenzij jouw kaart door bijvoorbeeld een tijdschrift, of een ander onafhankelijk medium is getest, nooit zomaar afgaan op de test van een fabrikant!

Wat nou off-topic :(

Door ]eep, zaterdag 5 juli 2003 19:58

Score: 1
omdat het geen enkel nut heeft! Wat maakt het nou uit wie de benchmark draait als de drivers gemanipuleerd zijn.

Ik laat liever een onafhankelijk iemand die er verstand van heeft en het vaker doet kijken wat zo'n kaart kan. Die hebbe er tenminste altijd dezelfde hardware voor staan. In de winkel testen ze rustig de ene kaart op een gammel celeronbakkie en de andere op een 3,2GHz.

Als er iemand niet te vertrouwen is (over de prestaties van zijn waren) zijn het wel verkopers! Dan liever de geschreven media.

Door LittleTeun, zaterdag 5 juli 2003 13:58

Score: 0
maar futuremark had hier toch een build tegen gemaakt?

Door Stefanic, zaterdag 5 juli 2003 14:04

Score: 2
Toch jammer dat benchmarking op zo'n laffe manier word verpest.
Het is waar dat goede drivers een videokaart beter en sneller maken, maar op zo'n manier scores in programma's hoger te krijgen vind ik gewoon zielig.

Als je een goed product maakt, sta er dan 100% achter en ga niet op de achtergrond allerlei truukjes verzinnen om het beter te laten lijken dan het is.

Door Kurgan, zaterdag 5 juli 2003 20:21

Score: 0
Als je een goed product maakt, sta er dan 100% achter en ga niet op de achtergrond allerlei truukjes verzinnen om het beter te laten lijken dan het is.
Ben ik wel met je eens, maar aan de andere kant is men hier achter gekomen door naar de drivers te kijken. Op het scherm was het onherkenbaar. Meer snelheid met voor het menselijk oog dezelfde kwaliteit, wat maakt het dan uit hoe het gerendered is?

Door Krankenstein, zaterdag 5 juli 2003 22:15

Score: 1
Omdat die snelheid alleen opgaat voor de benchmark. Als je dus denkt "leuk ik heb in die benchmark demo 100fps" dan kom je bedrogen uit als je een spel speelt (zelfde instellingen; zeg maar even zwaar voor de videokaart) en je krijgt maar 75fps.

En bovendien: je wilt gewoon de beste kaart hebben voor je geld en op deze manier kan je moeilijk zien wie de beste kaart heeft.

Wat mij betreft is 3DMark hiermee afgeschreven :(. Gewoon alleen nog maar echte games gebruiken voor de benchmarks.

Door Murtceps, zondag 6 juli 2003 00:31

Score: 1
Alleen hoe bench je een game? Via demo? Dan heb je daar ook weer kans dat er cheats worden gemaakt.
Er gaat gewoon gigantisch veel geld in om en voor zoveel geld wil een bedrijf best ff cheaten... de kunst is om het zover te doen dat niemand het door heeft.
Helaas voor nVidia en ATI waren ze zo druk aan het concureren dat het teveel ging opvallen met de grote snelheidsverschillen tussen verschillende drivers en de vele reviews en tests dat ze door de mand vielen.
Dus het zit er dik in dat ze de komende tijd de cheats wel links laten liggen. Ze hebben een flinke deuk opgelopen.

Door mjtdevries, maandag 7 juli 2003 10:41

Score: 1
Bij met name Nvidia is er geen enkele reden om aan te nemen dat ze de cheats links laten liggen. Zelfs na al die cheats die ontdekt zijn, ontkent Nvidia gewoon alles en gaan ze op dezelfde manier verder.
(die shadermark cheat is namelijk nieuw)

Er is echter een vrij simpele manier om dat cheaten te omzeilen:
1) gebruik niet allemaal hetzelfde handjevol benchmarks. Je ziet dat de afgelopen maand een aantal sites is gaan benchmarken met hele andere games. NOLF2, Nascar2003 etc. En het resultaat is nogal schokkend.
2) Als je een bekende game gebruikt, gebruik dan custom benchmarks. Dat hebben diezelfde sites bv met QuakeIII gedaan. De resultaten waren wederom schokkend.

FX eigenaren met een zwak hard kunnen maar beter niet die sites bekijken:
http://www.gamepc.com/labs/view_content.asp?id=3x5900u&page=1
http://babelfish.altavista.com/babelfish/urltrurl?lp=de_en&url=http:// www.computerbase.de/article.php?id=237
http://firingsquad.gamers.com/hardware/ut2003perf/page5.asp

Door hiostu, zaterdag 5 juli 2003 14:04

Score: 2
Wat ook verder blijkt wanneer men het antidetection programm gebruikt, is dat Nvidia in UT2003 ALTIJD bilinair filtering gebruikt IPV trilineaire filtering. Dit kan alleen door middel van dit programma aangezet worden. Zelfs als je application preferences aanzet en dan gebruik maakt van tilineair in UT2003 dan werkt het normaal niet (wel dus met antidetector).

De scores van nvidia kaarten droppen dus vrij veel wanneer die gebruikt wordt. Dus naast de syntetische benchmarks worden er dus ook spellen gedetecteerd, wat het geheel erger maakt.

Door BassOfT, zaterdag 5 juli 2003 14:06

Score: 0
Ik blijf het vergelijken van de prestaties van videokaarten toch altijd wel een beetje dubieus vinden hoor...Iedereen snapt dat lage resoluties met weinig details betere prestaties neerzet dan een hoge resolutie met veel details. En dan ga je ergens kiezen tussen resolutie en details en proberen het nog es eerlijk te vergelijken.... SUCCES!

Door CARman, zaterdag 5 juli 2003 19:25

Score: 0
Er zijn natuurlijk veel meer zaken dan alleen resolutie en details die relevant zijn.

Wat dacht je van kleurdiepte ( OK onderdeel van de gebruikte resolutie ) Anti Aliasing en Anisotropische filters ?

De ene kaart gaat als een beest als je al dat leuks maar uit laat staan. De andere is misschien net ff minder snel, maar verliest veel meer performance als je wel van die extra features gebruik maakt. Het leuke is dat de beeldkwaliteit met al die speeltjes aan beter is dan als ze uit zijn ................... zelfs op een lagere resolutie.

Door Eddie the eagle264, zaterdag 5 juli 2003 14:12

Score: 2
wat ik niet snap, wanneer is het nu een echte cheat(waar ligt de grens),als er een nieuwe driver uit komt is i toch ook geoptimaliseert,de werking van de video kaart word beter dus daar kan toch ook mee geknoeid worden.
i.i.g. worden de kaarten gelukkig wel Echt sneller

Door DrEvil1986, zaterdag 5 juli 2003 14:28

Score: 2
Wat jij bedoelt is dat de drivers worden geoptimaliseerd voor de videokaart(en), maar wat de fabrikanten nu doen is de drivers aanpassen aan de software. Dan is het een cheat: je "past de software aan" door hem anders uit te voeren. Natuurlijk is dat niet de bedoeling, en ook niet eerlijk in een benchmark. De videokaarten worden inderdaad echt sneller, maar niet zo snel als het lijkt, door deze optimalisaties.

Door Swinnio, zaterdag 5 juli 2003 14:34

Score: 2
Een geoptimaliseerde driver doet in principe (want beeldkwaliteit en in stellingen betreft) precies hetzelfde als zijn voorganger, alleen wat sneller. Dat komt doordat in de driver zelf bepaalde zaken slimmer zijn geprogrammeerd, om het maar eens eenvoudig te zeggen.
Cheaten wordt het wanneer je de driver gaat afstemmen op de benchmark-applicatie of game. Door bijvoorbeeld te optimaliseren voor exact die omstandigheden waaronder de demo wordt uitgevoerd. Dit geeft een vertekend beeld van de prestaties van de combinatie kaart/driver en zet consumenten dus mogelijk op het verkeerde been. Dat zie je bijvoorbeeld ook in het plaatje hierboven: de kwaliteit is duidelijk minder door de aanpassingen, cheaten dus.

Door mvdlee, maandag 7 juli 2003 14:47

Score: 0
Het is een cheat wanneer de kwaliteit anders is dan voorheen. Wat nVidia onder andere heeft gedaan is een specifieke pixelshaders herkennen en een andere, minder mooie maar sneller draaïende, voor in de plaats gebruiken.
Beschouw het als het vergelijken van een normale en een wireframe versie van je favoriete 3D spel; uiteraard gaat de laatste een stuk sneller, het ziet er ook een stuk minder mooi uit.
Zoals anderen al reageerden; bij optimalisatie worden er wel dingen aangepast om de performance te verhogen maar gaat dit niet ten koste van andere aspecten zoals beeldkwaliteit.

Door amstelhoekje, zaterdag 5 juli 2003 14:49

Score: 0
Ik vind hier toch de schuld liggen bij de makers van 3dmark ! Als de overheid bijvoorbeeld geld zou maken dat je makkelijk na zou kunnen maken dan is dat vragen om problemen ! Of te wel de 3dmark 2001 en 2003 zijn gewoon geen ruk waard !

Door Chillem, zaterdag 5 juli 2003 15:40

Score: 1
futuremark staat hiergeheel buiten. athans in zoverre. hun maken een programma die zo goedmogelijk probeerd onafhankelijk te testen,
enkle uizonderingen nagelaten, maar deze zijn inmiddels de wereld al uitgeholpen.

wat nvidia en ATI doen is hun drivers zo configureren dat ze het programma van futuremark kunnen herkenen.
als jij dan een bench. draait, schakellen die drivers enkele dingen uit.. waardoor het lijkt alsof jij een veel hogere score haalt.

mocht ik het mis hebben dan hoor ik dat graag.
«  1  2  3  »

Op dit item kan niet meer gereageerd worden.

Volgende 15:17
Vorige 13:18
VNU Media logo Powered by True

© 1998 - 2008 Tweakers.net - Alle rechten voorbehouden

Uitgever van: