TPC-C, SPECjbb2005
Het is alweer een paar maanden geleden dat we voor het laatst naar de stand van zaken op het gebied van serverbenchmarks hebben gekeken. Het plan was om kort na het laatste blog over Intels Xeon MP 'Tigerton' een vervolgartikel te schrijven over de langverwachte Barcelona-quadcore van AMD, die op 10 september werd gelanceerd. Dat kon echter niet doorgaan, omdat officiëel gecontroleerde benchmarks van de nieuwe Opteron zelfs tot op de dag van vandaag schaars zijn.
Het feit dat de AMD-quadcore met een tegenvallende maximumsnelheid van 2,0GHz gelanceerd werd, betekende dat de marketingafdeling een aantal relatief onbekende tests moest gebruiken om een overtuigend verkoopverhaal neer te zetten. Het helpt ook niet dat nog geen van de top vijf serverbouwers de quadcores in zijn assortiment heeft opgenomen. Ondersteuning hebben ze stuk voor stuk wel aangekondigd, maar concreet is er de laatste drie maanden nog niet veel veranderd: dualcore Opterons blijven de enige keus voor klanten die bij een A-merk shoppen. De recente aankondiging van een leveringsstop betekent dat die situatie waarschijnlijk nog een paar maanden langer gaat aanhouden.
Ondertussen heeft de concurrentie niet stilgezeten. Zo kwam Intel met de 45nm Xeon 'Harpertown' en introduceerde Sun zijn UltraSparc T2 met 64 threads op een chip. Ook kreeg de Itanium een kleine update met de 'Montvale'-core, hoewel die nauwelijks indruk heeft gemaakt. We hebben daarom besloten om niet langer te wachten op Barcelona en in plaats daarvan een overzicht te geven van de stand der zaken in zeven bekende serverbenchmarks, te beginnen met de databasetest TPC-C:
| TPC-C |
|---|
| Power6 | 2x2 @ 4,7GHz |    404462 @ $3,50 |
| Harpertown | 2x4 @ 3,16GHz |    273666 @ $1,38 |
| Clovertown | 2x4 @ 3,0GHz | 251300 @ $1,63 |
| Itanium | 2x2 @ 1,6GHz |    230569 @ $2,63 |
| Opteron | 2x2 @ 2,8GHz |    139693 @ $2,28 |
Het systeem met de 45nm Xeon 'Harpertown' scoort 9 procent beter dan zijn voorganger met 65nm quadcores. Helaas gaat het niet om een directe vergelijking tussen de twee processors. Beide tests zijn uitgevoerd door HP, maar om een of andere reden is men overgestapt van Windows 2003 en SQL Server 2005 naar Linux en Oracle 10g. En hoewel de nieuwe configuratie duidelijk goedkoper is dan de oude, gebruikt hij wel honderd extra 15.000rpm-schijven.
Hoe dan ook komt de Xeon nog steeds niet in de buurt van de score van de Power6, maar daar zit dan ook een enorm prijsverschil aan vast: de geteste IBM-configuratie is bijna vier keer zo duur als de Harpertown-inzending van HP. Overigens lijkt het monster van IBM net als Barcelona nog niet denderend goed leverbaar te zijn: de chip werd op 21 mei aangekondigd en op 24 oktober waren er pas duizend systemen geleverd.
De laatste Opteron-inzending is inmiddels ruim een half jaar oud en steekt een beetje zielig af bij de rest. Hoewel een Barcelona-score hier dus zeer welkom zou zijn, blijft het voorlopig nog stil aan de kant van AMD en zijn partners. Dit is een patroon dat in veel van de benchmarks terugkeert.
| SPECjbb2005 |
|---|
| Harpertown | 2x4 @ 3,16GHz | 303130 |
| Clovertown | 2x4 @ 3,0GHz | 250918 |
| UltraSparc T2 | 1x8 @ 1,4GHz |    192055 |
| Power6 | 2x2 @ 4,7GHz | 175474 |
| Opteron | 2x2 @ 3,2GHz | 103093 |
| UltraSparc T1 | 1x8 @ 1,4GHz | 96523 |
In SPECjbb2005 pakt Harpertown een winst van 20 procent boven Clovertown, die zelf al aan de leiding stond. Deze test weet bijzonder goed gebruik te maken van threads: de UltraSparc T2 met zijn 64 threads scoort bijna exact het dubbele van zijn voorganger met 32 threads.
Waarom de Power6 relatief laag scoort is niet helemaal duidelijk. Het is naast de Opteron wel de het enige systeem met 'slechts' vier cores, maar de IBM-processor kan dankzij zijn ingebouwde multithreading toch aan evenveel taken tegelijk werken als de dual quadcore Xeon-machines. Ook is SPECjbb2005 erg gevoelig voor bandbreedte, waar de Power6 meer van heeft dan iedereen. Wellicht is Suns manier van multithreaden voor deze test effectiever, of heeft het bedrijf een beter geoptimaliseerde virtuele machine.
SAP-SD en SPECcpu_rate
| SAP-SD |
|---|
| Harpertown | 2x4 @ 3,16GHz | 2449 |
| UltraSparc T2 | 1x8 @ 1,4GHz | 2175 |
| Clovertown | 2x4 @ 3,0GHz | 2080 |
| Power6 | 2x2 @ 4,7GHz | 2035 |
| UltraSparc T1 | 1x8 @ 1,4GHz | 1100 |
| Itanium | 2x2 @ 1,6GHz | 1090 |
| Opteron | 2x2 @ 2,8GHz | 1083 |
Bij SAP-SD wordt het aantal gebruikers gemeten dat bestellingen kan verwerken in het populaire erp-pakket zonder dat de gemiddelde reactietijd van de formulieren boven de twee seconden uitkomt. We zien dat de UltraSparc T2 weer bijna twee keer zo snel is als zijn voorganger, genoeg om zowel de Power6 als de Clovertown voorbij te streven. De T2 is niet sterk genoeg om een koppel Harpertowns te verslaan, maar desalniettemin is de score indrukwekkend.
| SPECfp_rate |
|---|
| Power6 | 2x2 @ 4,7GHz | 115 |
| Harpertown | 2x4 @ 3,0GHz | 88,1 |
| Barcelona | 2x4 @ 2,5GHz | 86,3 |
| Barcelona | 2x4 @ 2,0GHz | 77,9 |
| Clovertown | 2x4 @ 3,0GHz | 66,9 |
| UltraSparc T2 | 1x8 @ 1,4GHz | 62,3 |
| Itanium | 2x2 @ 1,6GHz | 55,8 |
Het landschap in SPECfp_rate is de laatste maanden flink veranderd. Een opvallende nieuwe deelnemer is Sun, dat dankzij de nieuwe fpu in de UltraSparc T2 niet alleen een recordscore neerzet voor systemen met één socket, maar zelfs ten opzichte van systemen met twee sockets zijn mannetje staat.
Verder is de strijd tussen Intel en AMD een stuk heviger geworden. AMD was met name voor de introductie van Barcelona erg positief over de prestaties van zijn nieuwe architectuur in deze benchmark. Niet verwonderlijk, gezien het feit dat een 2,0GHz Barcelona geen enkele moeite heeft om de score van een 3,0GHz Clovertown te overtreffen. Intel heeft echter teruggeslagen met zijn 5400-chipset, ook wel bekend als Seaburg. Deze is beter geoptimaliseerd voor quadcores en ondersteunt een 1600MHz fsb en 800MHz geheugen. Hiermee wist Intel zijn score met 32 procent te verbeteren, net genoeg om de 2,5GHz Barcelona voorbij te streven. Saillant detail: de 2,5GHz-score van AMD is officieel ongeldig verklaard, omdat de chip nog steeds niet leverbaar is.
Omdat AMD per kloktik nog steeds een voordeel heeft en naar verwachting begin volgend jaar met snellere versies zal komen, maakt het een kans om Intel weer te overtreffen. Intel zal daarna echter weer terugslaan met geïntegreerde geheugencontrollers en processors met zes cores. De strijd om dominantie in deze benchmark is zo fel omdat de HPC-markt - die hij min of meer benadert - steeds meer geld waard wordt. Volgens gegevens van marktonderzoeker IDC werd vier jaar geleden 12 procent van alle serverchips voor dit soort toepassingen gebruikt. Vorig jaar was dat al gestegen naar 26 procent. Daar komt nog eens bij dat een steeds groter deel van die processors gebaseerd is op de x86-instructieset: in 2003 was dat ongeveer 27 procent, maar in 2006 was dat gegroeid naar 63 procent. Xeons en Opterons krijgen dus een groter deel van een groeiende taart.
| SPECint_rate |
|---|
| Harpertown | 2x4 @ 3,16GHz | 138 |
| Power6 | 2x2 @ 4,7GHz | 122 |
| Clovertown | 2x4 @ 3,0GHz | 117 |
| Barcelona | 2x4 @ 2,5GHz | 102 |
| Barcelona | 2x4 @ 2,0GHz | 88,8 |
| UltraSparc T2 | 1x8 @ 1,4GHz | 78,6 |
| Itanium | 2x2 @ 1,6GHz | 77,9 |
In SPECint_rate heeft Harpertown samen met Intels nieuwste compilerversie een einde gemaakt aan de leiderspositie van de Power6. Compilers zijn voor deze test bijna net zo belangrijk als de hardware zelf, omdat integercode vaak ingewikkeld in elkaar steekt en redelijk onvoorspelbare dingen doet, waar zelfs de slimste chips zich zonder hulp van compilers op kunnen verslikken. De Barcelona lijkt ongeveer evenveel prestaties per kloktik te leveren als Intels 65nm-generatie, maar kan het schepje dat de 45nm-update daar bovenop doet niet bijbenen. Sowieso speelt de relatief lage kloksnelheid AMD parten.
SPECweb en VmMark
| SPECweb2005 |
|---|
| UltraSparc T2 | 1x8 @ 1,4GHz | 37001 |
| Clovertown | 2x4 @ 3,0GHz | 22332 |
| UltraSparc T1 | 1x8 @ 1,4GHz | 16407 |
| Opteron | 2x2 @ 3,0GHz | 15734 |
SPECweb is een benchmark waar de UltraSparc T2 praktisch voor gemaakt is, wat ook goed aan de score te zien valt. De nieuwe chip scoort ruim het dubbele van zijn voorganger en maakt daarmee korte metten met Intels quadcore Xeon, die de T1 stilletjes voorbij was gestreefd. Het grootste voordeel van Suns chip in deze en andere benchmarks is zijn zuinigheid: voor maximaal slechts 79 watt levert hij in sommige benchmarks de prestaties van twee Xeons of Opterons, die samen tot 250 watt kunnen verstoken.
De kracht van de T2 in deze test komt niet puur uit het feit dat hij 64 threads kan afhandelen, maar voor een deel ook uit zijn dubbele geintegreerde 10Gbit-ethernetcontrollers en hardwarematige cryptografie-eenheden. Deze zorgen ervoor dat hij vooral beveiligde ssl-transacties bliksemsnel kan afhandelen. Voorwaarde is natuurlijk wel dat de software dit ondersteunt, waarmee het populaire Windows Server al direct afvalt. Deze prestaties zijn echter zo goed dat het zelfs voor sommige exclusieve Microsoft-gebruikers misschien wel de moeite waard is om zich eens te verdiepen in Solaris of Linux. Volgens Sun zelf is de T2 nauwelijks aan te slepen.
| VmMark |
|---|
| Tigerton | 4x4 @ 2,93GHz | 11,54 @ 8 tiles |
| Harpertown | 2x4 @ 3,16GHz | 8,47 @ 6 tiles |
| Opteron | 4x2 @ 3,0GHz | 7,11 @ 5 tiles |
| Clovertown | 2x4 @ 3,0GHz | 7,03 @ 5 tiles |
| Woodcrest | 2x2 @ 3,0GHz | 3,89 @ 3 tiles |
VmMark test de virtualisatiecapaciteit van machines door tiles van zes virtuele servers toe te blijven voegen tot de score niet meer beter wordt. Iedere tile bestaat uit een Apache webserver, een Java-applicatieserver, een MySQL-database, een fileserver en een 'standby'-machine die feitelijk helemaal niets doet. De helft van de virtuele machines draait op Windows, de andere helft op Linux.
Harpertown scoort 20 procent beter dan de Clovertown in deze test en kan een extra tile aan, waarmee het aantal virtuele machines van 30 naar 36 wordt getild. Helaas is het aantal andere inzendingen nog beperkt en komt AMD maar een keer voor in de lijst. Een server met vier dualcore Opterons blijkt ongeveer hetzelfde te scoren als een machine met twee quadcore Clovertowns. Bij de introductie van de Barcelona beloofde AMD dat 2,5GHz quadcore Opterons 124 procent beter zouden scoren dan 3,2GHz dualcores. Absolute cijfers werden niet genoemd, maar met wat rekenwerk kunnen we afleiden dat een 2,5GHz Barcelona ongeveer even goed zou moeten presteren als een 3,0GHz Xeon.
Vooruitblik en conclusie
Het jaar 2008 zal wederom erg interessant worden, met een hoop nieuwe producten waarvan er een aantal de potentie hebben om de huidige machtsverhoudingen flink te verschuiven. In het begin van het jaar zal de strijd tussen Intel en AMD niet veel anders zijn dan hij nu is. Intel zal zijn sterke Core-architectuur blijven positioneren tegenover de Barcelona-quadcores. Terwijl de productie van de Xeon in rap tempo naar 45nm wordt overgezet, zal AMD zijn uiterste best doen om meer kloksnelheid uit zijn 65nm-procedé te persen. Hoewel er een aantal benchmarks zijn waar de Opteron potentieel de overhand kan krijgen, ziet het er over het algemeen niet heel rooskleurig uit.
Tegen het einde van het jaar zal Intel de 'Gainestown' introduceren, een Xeon gebaseerd op de Nehalem-architectuur met geïntegreerde geheugencontrollers. Waar de 1600MHz bus van de huidige topchip maximaal 12,8GB/s aan bandbreedte kan doorsluizen aan een socket, leveren de drie 1333MHz ddr3-kanalen van de nieuwe generatie 25,6GB/s, met kortere toegangstijden op de koop toe. Verder biedt de Nehalem-architectuur onder meer HyperThreading en SSE4.2. Als het Intel lukt om deze chips op tijd en met gezonde kloksnelheid op de markt te zetten, dan zullen ze weer een grote sprong maken in de benchmarks. AMD zal dat met een simpele 45nm-verkleining van Barcelona bijna onmogelijk kunnen evenaren.
Zoals altijd is Intel echter traag met zijn Xeon MP. Dat betekent dat Gainestown geschikt is voor maximaal twee sockets en de Nehalem-architectuur pas in 2009 naar de hogere segmenten zal doorsijpelen. Om dat gat te overbruggen verschijnt volgend jaar de 'Dunnington', een op Penryn gebaseerd ontwerp met zes cores en 25MB cache (drie keer 3MB L2 en 16MB L3). Hoewel deze chip in aardig wat gevallen beperkt zal worden door zijn krappe 1066MHz fsb, is het nog altijd beter dan de huidige Xeon MP, die het met vier cores en 8MB cache moet doen.
Op het niet-x86 front staan er twee belangrijke dingen te gebeuren. Sun zal de 'Victoria Falls' uitbrengen, een versie van de UltraSparc T2 die ondersteuning heeft voor multiprocessing. Eindelijk zal het dus mogelijk worden om twee of vier van deze 64-threaders in een server te stoppen, wat betekent dat het bedrijf er een veel breder deel van de markt mee zal kunnen bedienen. Het uiteindelijk plan is om de hele oude UltraSparc-lijn te dumpen en alles te baseren op zogenaamde 'CoolThreads'-chips, waar de UltraSparc T1 en T2 de eerste van zijn. De chip die deze transformatie compleet moet maken heet Rock, maar die schijnt uitgesteld te zijn naar 2009.
Dan is er nog Itanium, die pas geleden een weinig indrukwekkende upgrade van Montecito naar Montvale heeft ondergaan. Het mag duidelijk zijn uit de benchmarks dat de chip op dit moment in een dip zit. Nu heeft de gemiddelde Itanium-server wel acht of meer processors in plaats van twee, maar toch ziet het er niet al te gezond uit. De architectuur krijgt volgend jaar een grote update in de vorm van Tukwila: de eerste quadcore Itanium en eerste Intel-chip voor vier en meer sockets met geïntegreerde geheugencontrollers en Quickpath-interconnects. Intel hoopt hiermee een inhaalslag te maken ten opzichte van Power, maar het zit er dik in dat hij ten opzichte van Xeon- en Opteron-systemen met twee of vier sockets nog steeds middelmatig zal afsteken. En ook IBM zal niet zomaar over zich heen laten lopen: de Power6+, een quadcoreversies van de Power6, zou ook wel eens in 2008 kunnen verschijnen om roet in het eten te gooien.
Conclusie
Het heeft lang geduurd voor de eerste quadcore x86-serverprocessor, de in november 2006 aangekondigde Xeon 'Clovertown', fatsoenlijke concurrentie kreeg. Pas de laatste twee maanden zijn de Barcelona van AMD en UltraSparc T2 van Sun begonnen om een einde te maken aan die dominante positie. Ze werden wel opgewacht door Intels eigen verversingsproduct Harpertown, maar deze slaagt er niet in om de nieuwkomers op alle fronten bij te houden. Intel kan echter nog steeds niet klagen over zijn huidige positie. In bijna alle benchmarks staat de Xeon nog sterk en bovendien belooft de Nehalem die op de roadmap staat nog veel meer goeds.
Voor AMD is de taak duidelijk: Barcelona moet zo snel mogelijk naar hogere kloksnelheden toe en in grotere aantallen geproduceerd worden, zodat de grote serverbouwers de quadcorechips ook daadwerkelijk kunnen gaan aanbieden. De overstap naar 45nm-productie zal daarbij een cruciaal hulpmiddel zijn. Volgens AMD ligt alles nog 'op schema' voor een productiestart halverwege 2008, maar het bedrijf heeft inmiddels geen vlekkeloze reputatie meer als het aankomt op het naleven van beloftes.
:strip_exif()/u/818/we33ee45.gif?f=community){kind=small}
:strip_icc():strip_exif()/u/110314/adesivo_pearl_jam_2.jpg?f=community){kind=small}
/u/34200/crop6554f56fe2075_cropped.png?f=community){kind=small}