SysMark 2002 bevoordeelt Pentium 4 processors

Op de frontpage van Tweakers.net staat de laatste dagen regelmatig nieuws met betrekking tot AMD en haar streven een eerlijkere methode te ontwikkelen om verschillende merken en typen processors mee naar waarde te schatten. Het blijkt nu dat AMD's klagen een goede grond heeft gehad: verschillende bronnen, waaronder The Inquirer en de fora van AnandTech, maken er melding van dat de methode waarmee Bapco's SysMark 2002 de ratings voor systemen berekent, Intel's Pentium 4 opzettelijk bevoordeelt.

De mate waarin Bapco en Intel geliëerd zijn, is al eerder bron van ergernis geweest: op Van's Hardware vertelde men vorig jaar al dat de domeinnaam bapco.com oorspronkelijk op naam van Intel stond. Nu blijkt zelfs dat veranderingen die sinds de 2001-versie in SysMark 2002 zijn doorgevoerd, de nadruk leggen op het draaien van geheugen-intensieve taken, een terrein waarop de Pentium 4 zich van zijn sterke kant kan laten zien. Taken waarop de processors van AMD beter presteren, worden veel minder zwaar gewaardeerd in het eindresultaat van de benchmark. Volgens onder meer Dean Kent op het forum van Ace's Hardware zijn de misstanden in de benchmark suite de reden dat AMD recent lid is geworden van Bapco. Dean Kent legt op dit forum ook uit hoe de einduitslag van SysMark beoordeeld wordt:

Specifically, the weightings are based upon 'run time', as I mentioned before. This means a task that runs twice as long as another will get twice the 'weight' in the aggregate score. Since memory-intensive tasks will tend to run longer than CPU intensive tasks, this means the P4 will automatically be favored, even if the 'quantity' of memory intensive tasks vs. CPU intensive tasks are equal. Add in a few more memory intensive tasks, and you see a big shift towards the P4 - and this is what you will see when the 'news' really breaks. [break]Ook Anand geeft in de fora van AnandTech zijn mening over het fenomeen:[/break] Here's the main problem: SYSMark 2001 ran a certain set of tasks but in the move to SYSMark 2002, a good deal of the tasks that AMD's Athlon was faster at were removed and replaced with tasks that the Pentium 4 was faster at. Both sets of tasks are perfectly valid tests of CPU performance (it's not like BAPCo just stuck in random tasks that don't do anything) but the point that must be made is that the changes were made seemingly without any user-level research to back them up. If there was some research that said "this is how most people use their systems" that caused BAPCo to change their methodology then this wouldn't have been a problem, but without that backing for their decision then it just seems as if BAPCo optimized the benchmark for the Pentium 4.

Geïnteresseerden kunnen hier een PDF van AMD downloaden, waarin de fabrikant haar eigen bevindingen weergeeft.