SPEC start met samenstellen SPEC CPU 2004

Op de site van de Standard Performance Evaluation Corporation (SPEC) valt te lezen dat er geen inzendingen van programma's meer geaccepteerd worden om opgenomen te worden in SPEC CPU 2004. Van nu af aan zal de non-profit organisatie zich alleen nog bezig houden met het evalueren van de kandidaten, om uiteindelijk tot een zo goed mogelijk gebalanceerde mix van software te komen waarmee de prestaties van een processor en het bijhorende cache- en geheugensysteem in cijfers kunnen worden uitgedrukt. In de huidige versie van de benchmarksuite, SPEC CPU 2000, zijn 26 verschillende programma's opgenomen. Twaalf daarvan testen de integer-prestaties (SPECint2000), en veertien anderen de floating point-capaciteiten (SPECfp2000) van een platform. Het unieke van deze en de andere benchmarks die de organisatie maakt is dat de sourcecode wordt meegeleverd, waardoor zo ongeveer ieder platform getest kan worden. Al vele jaren zijn de SPEC CPU benchmarks daardoor erg populair om de meest uiteenlopende architecturen met elkaar te vergelijken. Een nadeel is volgens sommigen dat de gebruikte compiler een te grote rol speelt, maar daar kan tegenin gebracht worden dat dat ook in de echte wereld het geval is. Een compiler moet bovendien door de onafhankelijke organisatie onder de loep gelegd zijn voor hij gebruikt mag worden om een officiële score neer te zetten.

Een nieuwe versie van de suite is nodig om betrouwbaardere resultaten te krijgen. Toen SPEC CPU 2000 eind 1999 werd geïntroduceerd diende een Sun Ultra5_10 met 300MHz SPARC-processor als index. Een score van 100 in zowel SPECint2000 als SPECfp2000 betekent dus dat de benchmarks precies even snel hebben gelopen als destijds op dat systeem. Toen duurde het nog ruim twee dagen om officiële score (het gemiddelde van drie testruns) neer te zetten, maar tegenwoordig is het voor veel moderne processors nog maar een kwestie van uren, waardoor ze met redelijk gemak scores boven de 1000 halen. Op integergebied zijn de x86-desktopchips heer en meester. De Pentium 4 3,2GHz scoort ruim 1200 punten in de test. Op floating-point gebied hebben high-end serverchips het echter nog steeds voor het zeggen. De 1,7GHz Power4+ scoort daar bijna 1600 punten, bijna 30% meer dan de net geen twee keer zo hoog geklokte Pentium 4. Wie zelf eens wil rondneuzen in de scores kan bij Ace's Hardware of SPEC zelf terecht.

De snel korter wordende doorlooptijd was de belangrijkste reden om te gaan werken aan een nieuwe - zwaardere - benchmark, waar ook computers over vijf jaar nog flink op kunnen zweten. Daarnaast is het verzwaren van de benchmark natuurlijk een mooie gelegenheid om de testprogramma's beter te laten lijken op moderne toepassingen. Men ging dus op zoek naar mensen met ideeën voor benchmarks gebaseerd op real-world applicaties. Van 26 december 2001 tot vanmorgen konden inzendingen gedaan worden. Potentiële deelnemers werden gestimuleerd door een vergoeding van 5000 dollar en een licentie op het eindproduct ter waarde van 500 dollar als hun code wordt opgenomen in SPEC CPU 2004. Wanneer de nieuwe versie beschikbaar komt is nog niet duidelijk.

Reacties (13)

[Carnifex]

Misschien een stomme vraag, maar waar wordt dat grote verschil in floating point berekeningen door veroorzaakt? Is dat omdat er op die server procs meestal een veel groter cache zit?

[Wouter Tinus]

De FPU is altijd een van de zwakke punten, zo niet hèt zwakke punt, geweest van de x86-architectuur. Toevoegingen als SSE maken dat voor een deel goed, maar niet genoeg om architecturen als Power en Itanium (waar men niet al 25 jaar backwards compatible wil blijven), bij te houden. Er moet echter wel geconstanteerd worden dat het gat steeds kleiner wordt en dat serverprocessors inderdaad steeds meer grote caches, RAS-features, en multi-core ontwerpen moeten gebruiken om zich te onderscheiden.

[Verwijderd]

wel grappig dat naar mijn mening blijkt dat een pIII sneller is met deze bench dan een p4 op de zelfde klok: Y)

toch wel fun als je bedenkt dat een p3 1000mhz de helft van de level 2 cache heeft

[Verwijderd]

Dat is toch al lang en breed bekend?

[Verwijderd]

Als eervolle Tweaker mis ik hier toch een vermelding van een AMD resultaat.

[stunn0r]

AM wat? is dat pentium 5 ofzo?

[Verwijderd]

[paranoïde]
Misschien is het censuur: de AMD-CPU presteerde te goed naar Intels wil, en ze hebben dan maar wat geld toegestoken
[/paranoïde modus]

Als je de prestaties van de AMDCPUs wil weten, surf dan gewoon eens naar tomshardware of zo. Het was waarschijnlijk gewoon de bedoeling van de benchmarker om het verschil tss de CPUs met SSE, met SSE2 en met Hypertreading weer te geven. Als er Athlons bij betrokken zouden worden, zou het beeld mss wat minder duidelijk zijn, omdat Athlons zonder SSE2 al erg goed presteren .

[Verwijderd]

Censuur? Duh ik vind toch genoeg resultaten van AMD cpu's op de site van spec hoor.

Het is dat ik al gereageerd heb anders had je van mij in ieder geval een -1 gekregen.

tss?? (tussen? niet echt een afkorting waarbij ik zeg van hey JA)

Hoe dan ook m.i (ja die afkorting kent iedereen) een totaal nutteloze reactie van U.

[ANdrode]

Gek he dat die niet op intel promotiemateriaal staat?
(en helemaal op ee kaart van de SPECint performance van de P4, zoals in de description staat)

[slaapkop]

Kunnen ze niet deze officiele standaard gebruiken om processor te duiden en verkopen ?
Is voor iedereen in een keer duidelijk hoe een processor presteert en is eindelijke dat onderlinge gekibbel van Intel, AMD en Motorola/IBM over hun processor snelheid voorbij

[zion]

Maar welke wil je dan nemen? De SpecINT of de SpecFP of, of, of..

Oftewel, ook dat geeft nog geen definitieve uitslag.

Ik zou wel voorstander zijn van een generieke aanduiding maar dan krijg je vast ook weer dat CPU bakkers hun CPU's daar voor gaan optimaliseren en dan krijg je van die taferelen zoals Nvidia bij 3DMark: Ach, we laten gewoon sommige details weg zodat we sneller scoren, en zeg nou zelf, zou jij dat willen bij je CPU?

[marsattacks]

"waar ook computers over vijf jaar nog flink op kunnen zweten"..

Umm RC5-64 lijkt mij een mooie benchmark

[Verwijderd]

/overbodig

Hmmm mag ik alvast zo'n cpu hebben die er over 5 jaar nog op kan zweten

Me and my cpu, both sweating like a pair (okay wel ffkes verhuizen dan)

/Ontopic

Mooi dat de grenzen worden verschoven. Sommige benchmarks geven resultaten waar ik echt niets mee kan. Hopelijk word de verdeling cpu/mem/system wat beter verdeeld. Voor alle drie de onderdelen kan iets worden ontworpen (meer l1/l2/l3 cache, sneller geheugen met meer bandbreedte, combi van alles).


* 786562 Misser