Benchmarkblog SPECfp_2006

In de aanloop naar de introductie van een aantal nieuwe (server)processors, waaronder de AMD 'Barcelona' en de Xeon 'Harpertown' ga ik in dit blog kijken naar de huidige stand van zaken in benchmarkland, zodat nieuwe scores die worden vrijgegeven snel in de juiste context geplaatst kunnen worden.

De benchmark waar ik min of meer willekeurig mee ga beginnen is SPECfp_2006, een test die is ontworpen om de rauwe prestaties van een processor op het gebied van floating point te meten. De basisvorm van de test is hoofdzakelijk afhankelijk van de cpu en de compiler, maar wanneer meerdere instanties tegelijktijdig gedraaid worden - zoals in SPECfp_rate2006 gebeurt - weegt ook de bandbreedte van het systeem zwaar mee.

SPECfp_2006 is een van de jongste benchmarks afkomstig van de SPEC, een samenwerkingsverband tussen zo ongeveer alle relevante namen op het gebied van servers, waaronder Intel, AMD, IBM, HP, Dell, Sun, Fujitsu, Hitachi, Bull, NEC, Microsoft, Red Hat, Oracle, SAP, enzovoorts. Deze bedrijven werken samen met tientallen universiteiten en hebben slechts één doel voor ogen: zo eerlijk mogelijke prestatievergelijkingen maken.

In de CPU 2006-suite is veel verbeterd ten opzichte van CPU 2000. Alle tests zijn weer stukken code die uit echte applicaties zijn gehaald, waaronder bijvoorbeeld vloeistofdynamica, raytracing, spraakherkenning, biochemische simulaties, relativistische berekeningen en quantum-modellen. Gemiddeld over de subtests wordt er in de nieuwste versie een stuk meer data gebruikt, waardoor processors met grote caches minder snel bevoordeeld worden. Het aantal tests in de suite is opgevoerd van 14 naar 17 en er wordt modernere (/complexere) code gebruikt. Voor het eerst zijn er bijvoorbeeld programma's geschreven in C++ opgenomen.

Laten we eens kijken hoe de verschillende processors scoren in de normale (single-thread) test. Sommige compilers slagen er in om deze benchmark 'stiekem' te verdelen over meerdere cores. Officieel is dat toegestaan - mits het vermeld wordt - maar ik ben nu even alleen geïnteresseerd in wat één core kan doen:

SPECfp2006 (singlecore)
IBM	Power6	4,7GHz	22,3
Intel	Itanium	1,6GHz	18,1
Intel	Core 2 Duo	2,93GHz	16,8
AMD	Opteron	3,0GHz	15,2
IBM	Power5+	2,2GHz	14,9
Intel	Pentium 4	3,73GHz	12,7
Intel	Xeon MP	3,4GHz	11,3

SPECfp2006 (singlecore) - score per GHz
Intel	Itanium	1,6GHz	11,3
IBM	Power5+	2,2GHz	6,8
Intel	Core 2 Duo	2,93GHz	5,7
AMD	Opteron	3,0GHz	5,1
IBM	Power6	4,7GHz	4,7
Intel	Pentium 4	3,73GHz	3,4
Intel	Xeon MP	3,4GHz	3,3

We zien dat IBM de onbetwiste koning is van deze benchmark: de Power6 heeft een voorsprong van ruim 23% op de tweede plaats. Wel indrukwekkend is dat de Itanium zo efficïënt is per kloktik: de score per gigahertz is bijna het dubbele van die van de Core 2 Duo. Ook valt op dat veel cache inderdaad niet direct een voordeel hoeft te zijn: de Xeon MP met 16MB L3 doet het bijvoorbeeld niet beter dan de gewone Pentium 4.

Twee sockets

Omdat tegenwoordig eigenlijk alle servers wel meerdere cores hebben is het resultaat van een single-thread benchmark in de meeste gevallen niet veel meer dan een leuk weetje. Pas met vier of acht threads moet het systeem echt gaan zweten en kunnen we beoordelen waar het platform toe in staat is.

SPECfp_rate2006 (dual socket)
IBM	Power6	4,7GHz	2	115
IBM	Power5+	2,2GHz	2	62,5
Intel	Xeon	2,66GHz	4	60,9
AMD	Opteron	3,0GHz	2	52,1
Intel	Itanium	1,6GHz	2	48,8
Intel	Xeon	3,0GHz	2	45,5
Intel	Xeon MP	3,2GHz	2	34,4

We zien dat de Power6 met zijn onvoorstelbare bandbreedte van meer dan 300GB/s geen enkel probleem heeft om op te schalen. Het gat wordt zelfs alleen maar groter dan het al was. Intel daarentegen toont zijn grootste zwakte: met één thread had de Core 2 Duo geen moeite om de Opteron bij te houden, maar de dualcore servereditie heeft minder succes. De enige redding is dat Intel een quadcore heeft en AMD niet, waardoor het op dit moment toch betere prestaties kan bieden. Dat verandert natuurlijk zodra Barcelona op de markt komt. Volgens AMD kan een 2,6GHz quadcore Opteron ongeveer 90 punten scoren in deze test, wat betekent dat hij zelfs op 2,0GHz een aardige uitdaging zou kunnen vormen voor de quadcore Xeon.

SPECfp_rate2006 (dual socket) - score per coreGHz
Intel	Itanium	1,6GHz	2	7,6
IBM	Power5+	2,2GHz	2	7,1
IBM	Power6	4,7GHz	2	6,1
AMD	Opteron	3,0GHz	2	4,3
Intel	Xeon	3,0GHz	2	3,8
Intel	Xeon	2,66GHz	4	2,9
Intel	Xeon MP	3,2GHz	2	2,7

Bovenstaande grafiek toont de score per 'coreGHz', oftewel de score gedeeld door het aantal cores gedeeld door de kloksnelheid. Hoewel de Itanium hier nog steeds aan kop staat wordt die overwinning bruut aan de kant geschoven door de 3,1GHz extra kloksnelheid die de Power6 te bieden heeft. Ook op het gebied van x86 is Intel bedreigd: de efficiëntie van de Xeon blijft al achter bij die van Opteron, laat staan straks bij die van Barcelona.

Vier sockets

SPEC stelt in principe geen limiet aan het formaat van de systemen die getest worden, maar de zwaarste categorie die ik hier wil behandelen is die van systemen met vier processors. Ten eerste omdat maar weinig mensen meer nodig hebben, maar vooral omdat bij vier sockets net een nieuwe klasse van x86-processors begint: het terrein van de Xeon MP en Opteron 8xxx. AMD heeft in dit segment het meeste marktaandeel van Intel weggesnoept en het valt te verwachten dat ook Barcelona zich hier van zijn sterkste kant zal laten zien.

Om dit tegen te gaan zal Intel binnenkort de 'Tigerton' lanceren, een quadcore Xeon MP die een 1066MHz bus helemaal voor zichzelf heeft. De huidige generatie moet een 800MHz bus verdelen over twee sockets. Intel zal dus niet alleen overstappen van het oude Pentium 4-ontwerp naar de nieuwe Core-architectuur, maar tegelijk een derde meer bandbreedte per core gaan leveren. AMD heeft ook een nieuw ontwerp voor zijn quadcore, maar die zal het moeten doen met dezelfde bandbreedte, dus de helft per core. Het is daarom te verwachten dat Intel een grotere sprong in prestaties zal maken, maar zoals te zien in de grafieken is dat ook heel hard nodig: AMD heeft op dit moment een voorsprong van maar liefst 64%.

SPECfp_rate2006 (quad socket)
IBM	Power6	4,7GHz	2	213
AMD	Opteron	3,0GHz	2	98,7
Intel	Itanium	1,6GHz	2	90,8
Fujitsu	Sparc64 IV	2,15GHz	2	70,9
Intel	Xeon MP	3,4GHz	2	60,2

SPECfp_rate2006 (quad socket) - score per coreGHz
Intel	Itanium	1,6GHz	2	7,1
IBM	Power6	4,7GHz	2	5,7
AMD	Opteron	3,0GHz	2	4,1
Fujitsu	Sparc64 IV	2,15GHz	2	4,1
Intel	Xeon MP	3,4GHz	2	2,2

Conclusie

SPECfp_rate2006 is een bechmark waarbij bandbreedte koning is. De Power6 met zijn 300GB/s is onaanraakbaar en voor de Opteron met zijn geïntegreerde geheugen- en HTT-controllers is het een van de weinige plaatsen waar hij nog op kan boksen tegen de Xeon. Door bijna een jaar eerder met een quadcore te komen heeft Intel deze benchmark tijdelijk in zijn grip kunnen krijgen, maar het maakt pas kans op een langdurige voorsprong als het eind 2008 eindelijk zijn fsb-techniek dumpt.

Hoe relevant is SPECfp_2006 voor servers? Het lijkt gezien de omschrijving van de tests vooral representatief te zijn voor wetenschappelijke simulaties. Er zijn wel enkele uitzonderingen - zoals raytracing en spraakherkenning - maar de rest lijkt toch vooral voer te zijn voor universiteiten en gelijkwaardige R&D-afdelingen bij grote bedrijven. Dit is een belangrijk en prestigieus deel van de markt (want wie wil er nou niet zijn logo op de snelste supercomputer, of in de aftiteling van de nieuwste film hebben zitten?), maar bij lange na niet het grootste. En hoewel SPECfp_2006 nog is gebaseerd op echte applicaties, is het scenario dat door de rate-test wordt nagebootst minder realistisch: zo is er geen communicatie of zelfs maar gedeelde data tussen de threads. Dat is wel de ideale situatie waarmee bijna perfect geschaald kan worden (zolang de bandbreedte toelaat), maar in de praktijk komen idealen helaas maar zelden voor.

Volgende week ga ik kijken naar SPECint_2006, het broertje van deze test die meer relevant is voor allerdaagse applicaties.