Futuremark stelt regels op omtrent benchmarken

De afgelopen maanden berichtten we regelmatig over driver cheats in het benchmarkprogramma 3DMark03, waarbij voornamelijk de scores van nVidia-kaarten kunstmatig verhoogd werden. Om de ontstane onduidelijkheid uit de weg te ruimen heeft Futuremark nu een aantal richtlijnen voor de videokaartfabrikanten opgesteld, zo valt te lezen op Team Hardware. De richtlijnen zijn bedacht in samenwerking met alle partijen die van doen hebben met de ontwikkeling van de benchmark en moeten in de toekomst een eerlijke strijd garanderen.

Now Futuremark comes with new guidelines to ensure fair benchmarking and testing. These guidelines were made in cooperation with all members in their benchmark development program. Futuremark says that all 3DMark specific optimizations and all generic optimizations that change the rendering quality requested by 3DMark are prohibited.

De richtlijnen komen op het volgende neer: het is niet toegestaan om de door Futuremark opgegeven beeldkwaliteit te veranderen, noch de aanwezigheid van 3DMark op een systeem op directe of indirecte wijze te detecteren. Verder mogen er ook geen optimalisaties worden doorgevoerd die op enigerlei wijze gebruik maken van de empirische data van 3DMark. Ten slotte geldt voor meer algemene optimalisaties die niet ingaan tegen bovenstaande richtlijnen, enkel zijn toegestaan indien ze voldoen aan de DirectX-standaard.

Reacties (17)

[H!GHGuY]

:ironic: graka manufacturers mogen niet cheaten, maar zelf kunnen/moeten ze wel optimaliseren...

enkel en alleen al omdat bvb nVidia en ATI beide een andere manier hebben van implementatie van DX 9.0 shaders, en ze met verschillende (voor de eigen kaart geoptimaliseerde) code het best werken... ATI met de standaard DX 9 code, nVidia met eigen geoptimaliseerde code.

dus dit zou willen zeggen dat enkel futuremark zou mogen optimalisaties implementeren

:ironic:

[Luckeh]

Ze hebben het hier niet over optimalisaties, maar over het express verminderen van beeldkwaliteit zodat het aantal FPS hoger wordt.

Met deze regels kun je dus wat makkelijker vast stellen of een driver nu een cheat is of niet. Dat wordt inzoomen en screenshots vergelijken

[Darkvater]

Euh, dat is niet wat hier gaande was hoor .

Als NVidia de default DX9 codepath in haar drivers vertaalt naar hun eigen DX9 om het sneller te laten lopen, dan is er niks aan de hand. De programma doet immers hetzelfde, met dezelfde kwaliteit.

Wat Nvidia gedaan heeft is gewoon domweg kijken naar 3DMark en gewoon benutten dat het een statisch programma is. Hierdoor verkregen ze resultaten die ze nooit en nimmer in real-life applications zouden halen. Dat is CHEATEN

[Boboga]

Hmmh "Stelt regels" Maar wat gebeurt er als de regels overtreden worden? Daar zie ik zo snel niets over staan
edit: Even een link naar het originele futuremark artikel erbij:
http://www.futuremark.com/pressroom/pressreleases/?092303

[gp500]

als ze die wel overtreden maken ze nu een grote fout en dat zal slecht staan bij die bedrijven.

Ze hebben liever geen slecht nieuws.
En nu hebben ze ook tenminste iets op papier waar ze zich op kunnen richten.

[vanDee898]

Zonder regels kun je valsspelen, met regels niet.

[h.hoepel]

Nee juist andersom , zonder regels kun je niet valsspelen en dus ook niks fout doen, met regels wel.

[Jordi]

Jullie hebben allebei gelijk, je moet zijn zin lezen als "zonder regels kan je (ben je in de gelegenheid om) vals (te) spelen, met regels niet"

[Verwijderd]

Als de regels overtreden worden kan er natuurlijk ook bij de benchmark zoiets komen te staan dat zegt dat de bench vals is, of helemaal geen score.

Ze kunnen dan natuurlijk ook de score verlagen met 50%

[Verwijderd]

Op het eerste gezicht lijkt het mij een prima ontwikkeling: wat heb je immers aan een benchmark als die niet objectief is?

Ik hoop dat nvidia en ati zich aan deze regels houden en dat we weer resultaten zien waarbij we ons niet hoeven af te vragen of zus en zo geoptimalisserd is of dat er een ander addertje onder het gras is.

Komt de concurrentie alleen ten goede.

Word !

[Verwijderd]

Dat zie je wel een beetje verkeerd, ja

Het zal namelijk echt wel opvallen als de ene kaart in 3Dmark de andere kaart ver achter zich laat, terwijl dat in games juist andersom is

[genosis]

nou handig om je eigen regeltjes te maken, kun je ieder ander programma wat dus die regels overtreed weer negatief in het nieuws laten komen

[Steve]

Het gaat hier voor alle duidelijkheid over richtlijnen die de videokaartfabrikanten opgelegd krijgen, voor het schrijven van hun drivers

[Verwijderd]

Afijn, ik stel de volgende regels voor benchmark programma's voor =

Geen Benchmark programma's die zich specifiek richten op de techniek gebruikt door een fabrikant.
Waardoor er dus een oneerlijke test ontstaat.

Omdat de sterke punten waar de andere partij zich op heeft toegelegd wegvallen.
Welk dus een oneerlijk resultaat geeft.

Maar we weten dat Futuremark zich daar niet mee bezig houd he

[Chester]

Ze gaan nu wel allemaal regeltjes vastellen, maar de videokaart fabriekanten kunnen hun drivers of heel die kaart voor 3Dmark gaan optimaliseren. Ze halen in 3DMark dan wel goede scores, maar die optimalisatie betekend niet dat de prestatie in games ook zo goed is. Natuurlijk is de prestatie wel goed, maar dan is het weer niet zo goed als in 3Dmark, Of, heb ik het verkeerd?

[Verwijderd]

Je kan je kaart wel gaan optimaliseren op 3dmark maar dan zal er altijd een de beste zijn met het ondersteunen van de features die 3dmark gebruikt. En tegenwoordig is 3dmark niet zo betrouwbaar meer en kijken meer mensen naar de performance in games ipv die 3dmark score. De FX scoort soms ook hoger dan de Radeon 9800 maar de FX verkoopt wel 'n stuk minder dan die radeon.