nVidia werkt weer samen met Futuremark

nVidia is weer lid geworden van het Futuremark ontwikkelprogramma, en daarmee lijkt een einde gekomen te zijn aan een periode van wrijving tussen de twee bedrijven. Begin dit jaar werd voor het eerst duidelijk dat de relatie tussen de twee was verslechterd. nVidia bleek in december 2002 uit het beta-programma gestapt te zijn omdat ze het niet eens waren met de manier waarop de benchmarks werd geprogrammeerd, en begon openlijk kritiek te uiten op 3dMark 2003. Er zouden rendertechnieken gebruikt worden die voornamelijk door ATi werden ondersteund, maar die volgens nVidia niet efficiënt zijn en dus geen eerlijk beeld geven van de prestaties. Enkele maanden geleden werd het nog erger, toen bekend werd dat bepaalde Detonator-drivers cheats bevatten om de prestaties in 3dMark 2003 op te krikken. De rust lijkt nu weer enigszins hersteld te zijn, want nVidia zal voor toekomstige benchmarks weer actief feedback gaan geven aan de ontwikkelaars:

Tero Sarkkinen, Executive Vice President of Sales and Marketing at Futuremark Corporation, said: "We are very excited about NVIDIA joining the program. Their membership further validates our benchmark development model and adds value to the whole program.

Futuremark's Benchmark Development Program provides a transparent and convenient platform for companies to collaborate and provide vital input to the continuous development of high quality benchmarks. Futuremark delivers benchmark specifications and milestones to program members, who in turn provide feedback to the development process. Companies that want to actively participate in designing the standards of objective performance measurement are welcomed to apply to the program.

Reacties (23)

[musiman]

Ik hoop dat futuremark nu heeft ge-eist dat er geen benchmark tweaks meer gebruikt mogen worden, met een evt. boete op overtredingen.

Want dat maakt het 3DMark programma helemaal niks waard. Hierdoor wordt het alleen maar een ordinaire demo (wel een hele mooie:-).

[nhimf]

Dit soort benchies zijn leuk maar je moet er niet te veel waarde aan hechten. Het is immers geen real life programma.
Als je een goede bench wil, dan pak je verschillende (oude en nieuwe) spellen en gaat die draaien. Dan krijg je namelijk benches van dingen waarvoor je je systeem gaat gebruiken.
Ik was namelijk niet van plan om de hele dag 3dmark te "spelen".
En je ziet ook dat ati met het ene spel sneller is en nvidia met het andere spel. Dat zal je nooit zien met een statische bench als 3dmark.

Waar het wel weer heel goed voor is, is het vergelijken van jouw systeem met een gelijkend systeem. Dan kan je kijken of jouw systeem optimaal presteerd. Maar voor nvidia vs ati en radeon 9700 vs radeon 9800 vind ik het zelf ook niet echt interresant. Vooral ook omdat het op 1024x786 wordt gedraaid en ik de meeste spellen op 1600x1200 wil draaien.

ps. driver tweaks om een spel beter te laten lopen is m.i. niets mis mee, alleen maar beter vind ik. Maar als je dat bij een bench progsel gaat doen, krijg je snel vertekende beelden. Daarom moet je geen waarde hechten aan statische benchies (maar dat zei je zelf ook al)

[hiostu]

Statische benchmarks kunnen anders HEEL interesant zijn. Kijk maar eens naar shadermark. Hiermee kun je heel duidelijk zien hoe een kaart presteerd op et gebied van DX9 shaders. Hier kun je ook heel duidelijk zien waar de zwakke plek van bv de 5600/5800 liggen. De shader performance van die kaarten varieert van 3 tot 8 keer langzamer dan die van ATI kaarten. Wat weer een indicatie gaat geven voor de toekomstige DX9 kaarten.

De 5900 doet het wel een stuk beter in DX9 shaders. Nog wel een klein beetje langzamer dan vegelijkbare ATI kaarten, maar het verschil is minder groot.

[Sfynx]

Ik ben het hier helemaal mee eens. Het gebruiken om vervolgens te kunnen opscheppen dat je systeem sneller is dan die van je vrienden is prima, maar het de keuze van een videokaart laten bepalen doe ik niet. Dan kijk ik toch liever naar de prestaties in de echte games.

[Verwijderd]

Dat hele 3D mark gedoe is toch geen echte vergelijking.
Geef me liever echte game benchmarks dan weet je waar je aan toe bent.

[hiostu]

Kijk dit vind ik persoonlijk weer erg hypocriet van Nvidia. Eerst doen ze echt alles om futuremark en 3dmark in een kwaad daglicht te zetten. Zeggen dat het een slechte test is, laten zien hoe makkelijk je kunt cheaten, dat was althans hun uitleg.

En nu gaan ze weer lekker in het beta programma, en maken ze tijdens een presentatie gebruik van 3dmark2003 door te zeggen dat ze op nr 1 staan. En die nr 1 positie is nog steeds met optimalisaties.

Zelfs Kyle van HardOCP was hiet niet zo blij mee, als met andere zaken. En dan te bedenken dat Kyle de muppet van Nvidia was/is.

http://www.hardocp.com/article.html?art=NTAz

[Verwijderd]

Kyle is niet bepaald een nVidia muppet. Hij heeft vaak genoeg de Radeon aangeraden. HardOCP is m.i. een van de meest onafhankelijke hardware sites.

[hiostu]

Dan heb je de laatste tijd niet genoeg gelezen daar.

Er zijn reviews gepost daar waarin gewoon fouten stonden. Als daar iets van gezegd werd op het forum werd de user direct gebanned en het topic verwijderd. En dat gebeurde regelmatig.

Als er iets een beetje gaat dan is het Brent wel, die kan nog wel goede reviews schrijven.

En op dit moment zijn er maar een paar goede review sites. Beyond3d is heel erg goed en non biased. En elitebastars.com doet zelfs reviews van reviews onder de naam ROAR.

Oh lees anders deze thread even, dan kun je zien hoe blij de mensen zijn dat Kyle een keer iets tegen Nvidia zegt:
http://www.beyond3d.com/forum/viewtopic.php?t=7373

[smokey]

Ik begrijp eigenlijk niet waarom iedereen hier zo anti-nvidia is.

nvidia stopte met de samenwerking met futuremark omdat de benchmark niet representatief was en ook geen goede vergelijking gaf met ati kaarten.

Toen 3dmark2003 uitkwam waren de scores van de nvidia kaarten slecht dus hebben ze geprobeerd de scores omhoog te halen. Omdat er nou eenmaal mensen zijn die daar naar kijken voor ze een kaart kopen. Erg vervelend voor nvidia want nu moesten ze geld pompen in het aanpassen van de drivers voor een niet-representatieve benchmark.

Als futuremark een benchmark had gemaakt waamee je eerlijk kon vergelijken. Had nvidia niet zo hoeven tweaken.

[Verwijderd]

Als een bedrijf doelbewust de zaak zit te belazeren, dan moet je niet raar opkijken als mensen zo'n bedrijf dan beginnen uit te kotsen.

Enne... Nvidia is niet tegen 3Dmark2003 omdat het de verkeerde dingen zou benchmarken, maar simpelweg omdat nogal erg hard duidelijk werd dat hun kaart op DX9 gebied, en vooral in de shaders verschrikkelijk slecht presteert.
Ze zaten vanaf het eerste moment in de ontwikkeling van de nieuwe benchmark. Pas op het allerlaatste moment, hadden ze plotsklaps bezwaren, waarmee ze al een jaar daarvoor mee hadden kunnen komen.

[Inflatable]

Wie belazerd hier nou wie? Futuremark met hun ATi biased benchmarks? of Nvidia die trukjes uithaalt om dat te compenseren? Men geeft (of gaf) elkaar de schuld..

Wat mij betreft zijn ze allebei fout, en ik sluit me dan ook aan bij de mensen die 3Dmark toch al niet serieus nemen.. Ik kijk idd ook liever naar de performance in games zelf, want daar koop je zo'n kaart voor..

En over dat pro-ATi anti-Nvidia gedoe.. Het is allemaal een hype.. Veruit de meeste mensen weten helemaal niet waar ze het over hebben en praten elkaar allemaal lekker na.. Het is 'in' om voor ATi te zijn, en tegen Nvidia, net zoals het in was om tegen Intel te zijn, en voor AMD.. Ik doe dus niet mee aan dat soort onzin.. Mijn volgende systeem zal dan ook gewoon weer een Intel & Nvidia (P4 2.8Ghz & FX5900 (Asus V9950)) combinatie zijn.. Goede stabiele hardware met goede software ondersteuning dat zichzelf bewezen heeft, en goede prestaties levert.. Prijs is voor mij minder belangrijk.. En hype dus al helemaal niet..

[Verwijderd]

nvidia stopte met de samenwerking met futuremark omdat de benchmark niet representatief was en ook geen goede vergelijking gaf met ati kaarten.

Toen 3dmark2003 uitkwam waren de scores van de nvidia kaarten slecht dus hebben ze geprobeerd de scores omhoog te halen. Omdat er nou eenmaal mensen zijn die daar naar kijken voor ze een kaart kopen. Erg vervelend voor nvidia want nu moesten ze geld pompen in het aanpassen van de drivers voor een niet-representatieve benchmark.

Als futuremark een benchmark had gemaakt waamee je eerlijk kon vergelijken. Had nvidia niet zo hoeven tweaken.

Whola ... This needs a responce ...

1. Nvidia zegt dat de benchmark "niet representatief was". Fine ... Kan je me verklaren waarom ze na zoveel pogingen om 3dmark de grond in te boren, NOG altijd (doormiddel van hun little cheat score's) de 3dmark score's gebruiken als verkoop argument?? Als het een "niet representatief " benchmark was, zou ik als fabrikant nooit of te nimer die score's gebruiken als verkoops argument.

2. Hate to tell you, maar het zijn cheat, geen tweaks ... Je moet dringend het verschil leren tussen tweaks & cheats ... Tweaks is code optimizen zodat alle programma's die de functie gebruiken een snelheidswinst hebben. Ik vrees dat clippen van vliegtuigen, en het renderen van out of scene details niet als tweaks aanzien kan worden.

3. Als een 5800 ineens een jump krijgt in score die te goed is om waar te zijn, dan zal het ook zo wel zijn ...

4. Na deze toestand heeft nidia haar drivers encrypted, zodat men de programma detect code niet meer kan vinden & uitschakelen. Zie ook het feit dat hun score's met de laaste drivers terug dezelfde zijn als met de gekende cheat drivers ... toevallig he

5. Het feit dat nvidia de benchmark draait op 16bits kleuren intern ( wat onder de DX9 standaard) is zeker ook geen leuk iets. Minimum is 24bits kleuren voor de DX9 standaard.

6. Ze moesten geld stoppen in het cheaten van een programma argument vind ik enorm lame ... het spijt me ... Ze konden hun tijd beter stoppen in het echt optimaliseren van game's, en daarmee bedoel ik niet hun cheat nr2, waarbij hun drivers weeral detecteren als je een bepaalde demo draait van Q3, Unreal 2003 etc, dat ze weer specifieke instructie draaien enkel voor die demo (dit is intussen al verschillende maal aangetoond door andere site, waarbij de custom demo score's een enorme drop % hebben. Waarbij de concurrende kaarten zo geen last hadden van een drop).

7. 3dmark2003 is een benchmark waarbij men eerlijk kan vergelijken, de grote fout dat futuremark gedaan heeft is de illusie laten bestaan dat 3dmark2003 een gaming benchmark is, wat totaal niet klopt, 3dmark2003 is een synthetise benchmark. Het feit dat 3dmark2003 de laaste technieken ivm shaders etc draait, en dat nvidia niet blij is omdat hun kaarten daar niet zo goed op draaien (het 1.1 vs 1.4 fight), doet me ook effe fronsen ...

8. Hun constand liegen ( hier heb ik geen beter woord voor ) ivm de cheats dat het bugs zijn, het constand ontkennen ( via onderandere developers chats op irc, ik raad aan ze eens te lezen, grappig materiaal hoe men alle intressante vragen zit te ontwijken of zegt dat het bugs zijn die weg zijn bij de volgende driver release (wat zo niet is)).

9. Hun leuk forceren van filteren op bepaalde games (unreal 2003), waardoor de kaart een leuke speed increase krijgt, en hierbij de settings van het game override (en die je niet manueel kan forceren, sinds de drivers je altijd overriden), dat zelf Kyle @ [H] nu enorm kwaat gekregen heeft, ondanks al ze beloften dat hij gekregen heeft van nvidia dat het ging weg zijn bij de volgende driver release,en nu dat deze er is, zeggen ze dat ze nooit iets belooft hebben om deze bug weg te werken ...

Etc etc ... er is genoeg materiaal over nvidia hun move's de afgelopen jaar om een boek te schrijven ...

Als men niet in een winterslaap geweest is & site's zoals beyond3d, nvnews.net, rage3d.com etc zou bezoeken, zou men veel van die historie gezien hebben, of zou ik moeten zeggen, veel van deze soap serie (wat het ook is)...

Het proberen te justifieren van deze cheat actie's vind ik persoonlijk om ziek van te worden, maar ja, er zullen altijd mensen zijn die de PR geloven boven de nodige onafhankelijke testen/ondekkingen ....

Hierom is de sfeer zo anti-nvida ...

[Verwijderd]

Ik begrijp eigenlijk niet waarom iedereen hier zo anti-nvidia is.

nvidia stopte met de samenwerking met futuremark omdat de benchmark niet representatief was en ook geen goede vergelijking gaf met ati kaarten.

Toen 3dmark2003 uitkwam waren de scores van de nvidia kaarten slecht dus hebben ze geprobeerd de scores omhoog te halen. Omdat er nou eenmaal mensen zijn die daar naar kijken voor ze een kaart kopen. Erg vervelend voor nvidia want nu moesten ze geld pompen in het aanpassen van de drivers voor een niet-representatieve benchmark.

Als futuremark een benchmark had gemaakt waamee je eerlijk kon vergelijken. Had nvidia niet zo hoeven tweaken.

wat jij dus zegt:

als je product slechter is dan de concurent dan mag je de concurent op het verkeerde been zetten met VALSE en NIET kloppende benchmarks...

verder wil ik even kwijt dat het door de mislukte GF FX kwam die presteerde beroerd door (O.A) de 128 bits geheugen bus dat dat hun ENIGE DX 9 kaart was op dat moment is niet de fout van Futuremark en ook niet van Ati want Ati HAD al een half jaar de 9700 (pro) en dan is het niet zo vreemd dat nVidia achter loopt in een DX 9.0 benchmark toch ???

* 786562 Legolas_1973

[smokey]

Het is in de eerste plaats niet nvidia die consumenten op het verkeerde been zet.

toen 3dmark2003 uitkwam had ik met een gf4 4200 1400 score ofzo. de ati 9700 zat zo op 4000+. tuurlijk 9700 pro is beter maar dit verschil is belachelijk als je kijkt naar real life performance in spellen. dus wie misleid nu wie.

de benchmark was gewoon slecht. hij werd niet beter na de cheats van nvidia. maar de uiteindelijke resultaten waren wel realistischer (ook al zijn ze verkeerd bewerkstelligt).

De nvidia kaarten komen er slechter uit dan in real-life zou moeten, wat zou de reden zijn. ik zie niet in waarom ik nvidia niet zou geloven wanneer ze zeggen dat 3dmark niet de meest efficiente manier voor de nvidia kaarten pakt en de benchmark dus als onbetrouwbaar afschildert.

tuurlijk nvidia zit fout maar ze moesten iets doen nu leek het alsof de snelste ati kaart 3x zo snel ofzo was. Futuremark zit minstens zo fout en heeft alleen maar een sysntetische benchmark afgeleverd. (waar je alleen je eigen tweaks kan uitproberen)

[Verwijderd]

toen 3dmark2003 uitkwam had ik met een gf4 4200 1400 score ofzo. de ati 9700 zat zo op 4000+. tuurlijk 9700 pro is beter maar dit verschil is belachelijk als je kijkt naar real life performance in spellen. dus wie misleid nu wie.

Tja een DirectX 8 kaart (nVidia GF 4) vergelijken met een DirectX 9 kaart (Ati 9700) is ook appelen met peren vergelijken he! Je MAG niet vergeten dat 3DMark 2003 een DirectX 9 benchmark is en levert dus geen belachelijk verschil af voor DirectX 9 games. De meeste spellen gebruiken overigens nog functies van DirectX 8 (al dan niet ontwikkeld op de DirectX 9 SDK) waardoor in huidige games het verschil in performance niet zo groot is als wordt geschetst door 3DMark maar als je voor die spellen goede verschillen wilt aangeven moet je toch echt 3DMark 2001 SE gebruiken.Wacht anders maar eens tot spellen strax doorspekt zijn met per pixel lightning en pixelshaders 2.0..... Dat gaat een GF 4 echt niet leuk vinden

PS: ik heb die scene van die vechtende trollen in de grot gezien op een Ati 9800 Pro en een nVidia GF FX, op beide kaarten zo'n 20 frames/sec. Op mijn GF 4200 (en Athlon XP 2400+ met 1024MB'tjes DDR) haal ik net 1 tot 3 frames/sec in dezelfde scene! En DAT is weldegelijk een DX9 scene!

[Beaves]

De rust lijkt nu weer enigszins hersteld te zijn, want nVidia zal voor toekomstige benchmarks weer actief feedback gaan geven aan de ontwikkelaars:

3dMark zal toch niet meer het oude imago als dé benchmark tool krijgen die ze voor de problemen hadden, daar hebben zowel nVidia, ATi en Futeremark wel voor gezorgd.

nVidia en ATi met de optimalisaties aan de drivers (bij nVidia werd bijvoorbeeld de pixels die toch niet zichtbaar waren niet gerenderd) en Futuremark met de vreemde manier van scoreberekeningen.

Zo boeit het kwa punten weinig of je nu een 3GHz P4 met een iiets mindere videokaart pakt of een 1GHz Duron met een iets betere videokaart, de score blijft bijna gelijk of de Duron wint zelfs, niet echt representatief voor real-life performance van videokaarten.

[Verwijderd]

Zo boeit het kwa punten weinig of je nu een 3GHz P4 met een iiets mindere videokaart pakt of een 1GHz Duron met een iets betere videokaart, de score blijft bijna gelijk of de Duron wint zelfs, niet echt representatief voor real-life performance van videokaarten.

Lijkt mij een prima vergelijking van videokaarten, slechte vergelijking van systemen

[Verwijderd]

ATI en nVidia zouden beter uit de samenwerking stappen zodat er zeker geen beïnvloeding kan zijn.
Nu wordt Futuremark voor een belangrijk deel betaald door ATI en nVidia en dat komt de objectiviteit van de benchmark niet ten goede.

[oli4100]

Dit doet nVidia natuurlijk ook om weer in een positief daglicht bij de mensen te komen, en dan vooral bij de tweakers, aangezien die waarschijnlijk de enige zijn die iets hebben meegekregen van de Futuremark-Ati-nVidia ruzie. Of het ze gaat lukken? NIet op deze manier. 3dMark03 heeft zijn geloofwaardigheid verloren.Het zal lang duren voordat het imago van Futuremark weer hetzelfde is. Daarom denk ik ook niet dat het voor de mening van de tweaker over nVidia iets uitmaakt of ze weer vriendjes zijn met Futuremark. Daarentegen, als ze gewoon straks met en vette Radeon-beater komen, dan is het imago van nVidia iig al weer een stuk beter. Ik denk niet dat ze Futuremark, een 3dMark versie, of iets wat erbij dat bedrijf zit, nodig hebben om hun imago weer op te krikken. Dus ik snap dan ook niet waarom ze dit doen.....

[Verwijderd]

Overduidelijk wat nVidia had beloofd een paar weken geleden toen FutureMark opeens met een lachwekkende verklaring "cheaten" opeens verving door "buiten de regels" (of zoiets). Dat statement kwam toen volkomen uit de lucht vallen en begreep toen niemand.

[Verwijderd]

Ze laten zich wel heel erg kennen nu, maarja, ze hadden ook geen keuze. Ik zou meer een openlijke excuses accepteren van Nvidia inplaats van deze stap. Waarschijnlijk is dat nog steeds een taboe, mensheid en eerlijkheid, ze gaan nu eenmaal moeilijk samen. Nvidia heeft het bij mij in ieder geval verbruid. Zal wel uit te kijken naar een nieuwe chip van 3dlabs maar waarschijnlijk lopen die nog erg achter. Een console dezer dagen bied wat dat aangaat meer soelaas, tuurlijk, een pc blijft altijd sneller, maar steeds meer onbetrouwbaarder, zeker ook weer met die laatste worm, gamen word steeds meer onmogelijk gemaakt door al die problematiek.
Maar goed, maar eens een tijdje in ATI gaan investeren, er is weinig andere keus