In alweer het vierde artikel in deze serie van benchmarkblogs gaan we kijken naar een test die tot op zekere hoogte lijkt op het vorige keer bestudeerde TPC-C. De overeenkomst tussen de twee zit hem in het feit dat beide op een logistiek scenario uit het bedrijfsleven zijn gebaseerd. De test wordt ontwikkeld en gecontroleerd door SAP, dat (naar eigen zeggen) de grootste leverancier van zakelijke software ter wereld is, met meer dan 41.200 bedrijven in het klantenbestand. SD staat voor de Sales & Distribution-module van het ERP-pakket, waarmee de benchmark verricht wordt.
Tijdens de test voeren gesimuleerde gebruikers handelingen uit als het opvragen van klantgegevens, het aanmaken van nieuwe orders en het genereren van overzichten en rekeningen. Aan het einde van de rit komen er verschillende scores uitrollen, maar degene die het meest gebruikt wordt voor vergelijkingen (en tevens door SAP wordt aangeraden) is het aantal gelijktijdige gebruikers dat het systeem kan afhandelen, zonder de gemiddelde reactietijd van de schermen over de twee seconden heen te laten gaan.
Een belangrijk verschil tussen SAP-SD en TPC-C is dat de laatste alleen maar de (enorme) database belast en daardoor vooral veel I/O heeft, een factor die bij SAP-SD een veel kleinere rol speelt. Hierdoor is het meteen ook een stuk minder zinvol om 'vals te spelen' door duizenden snelle schijven aan een systeem te hangen, zoals bij TPC-C nog al eens gebeurt. De prijs bij de configuratie vermelden vindt men dan ook niet nodig. Sterker nog: dat is niet eens toegestaan. We zullen het deze week dus moeten doen zonder prijs/prestatievergelijkingen.
Twee sockets
Het zal voor mensen die de vorige drie blogs ook hebben gelezen geen verrassing zijn dat de Power6 aan kop staat, maar het verschil met de quadcore Xeon is in dit geval klein. We kunnen nu echter al zien dat Intel bij zwaardere systemen in de problemen gaat komen: de stap van de dualcore Xeon 5160 naar de even hoog geklokte quadcore Xeon X5365 levert grofweg de helft betere prestaties op (het verschil in database buiten beschouwing gelaten), terwijl hij in theorie twee keer zoveel rekenkracht heeft. Dit is een voorteken dat schalen moeilijk gaat worden. Een vreemde eend in de bijt is de UltraSparc T1. Dit is de enige score in de tabel die met één chip is gehaald, maar omdat deze processor niet in dual-cpu configuratie kan werken en qua prijs niet onderdoet voor twee Xeons, zet ik hem er toch even bij hier.
| SAP-SD (twee sockets*) | ||||
|---|---|---|---|---|
| IBM | Power6 | 4,7GHz | Oracle 10g |    2035 |
| Intel | Xeon X5365 | 3,0GHz | MSSQL 2005 |    1940 |
| Intel | Xeon 5160 | 3,0GHz | DB2 8.2 | 1285 |
| Intel | Itanium 2 9040 | 1,6GHz | DB2 9.0 | 1090 |
| AMD | Opteron 2220 | 2,8GHz | MSSQL 2005 |    1083 |
| Sun | UltraSparc T1* | 1,2GHz | MaxDB 7.5 |    237 |
Vier en acht sockets
Bij vier sockets zien we dat IBM ineens een ruime afstand neemt met de Power6. De scores van de Itanium 2, Xeon MP en Opteron zitten opvallend dicht bij elkaar, maar geen van deze drie quad socket configuraties is echt veel sneller dan wat een tweespan van Xeon quadcores of een dual Power6 ook al kan bieden. De UltraSparc IV+ maakt het nog bonter; die doet eigenlijk alleen maar voor spek en bonen mee.
| SAP-SD (vier sockets) | ||||
|---|---|---|---|---|
| IBM | Power6 | 4,7GHz | Oracle 10g | 4010 |
| Intel | Itanium 2 9050 | 1,6GHz | Oracle 10g | 2150 |
| Intel | Xeon 7140M | 3,4GHz | MSSQL 2005 | 2127 |
| AMD | Opteron 8222 | 3,0GHz | MSSQL 2005 | 2078 |
| Sun | UltraSparc IV+ | 2,1GHz | Oracle 10g | 1340 |
Bij acht sockets wordt het nog zwaarder slikken voor chips waar geen IBM-sticker op zit: de Power6 fietst namelijk vrolijk door naar een verdubbelde score van 8000 gebruikers, terwijl de Xeon MP - als best schalende van de drie anderen - maar 56% beter scoort na een verdubbeling van het aantal processors. De voorsprong van de Power6 loopt hierdoor op van 86% bij vier sockets naar 139% bij acht sockets.
De Itanium weet slechts 19% winst uit de verdubbeling van het aantal processors te slepen, maar dat zal deels te wijten zijn aan het feit dat de enige score voor acht Itaniums van Hitachi afkomstig is, wiens chipsets niet zo sterk zijn als die van HP.
Ook voor AMD ziet het er niet zo best uit: acht 2,4GHz Opterons met ddr-geheugen kunnen slechts 2170 gebruikers bedienen. Dat zal met 3,0GHz-chips met ddr2-geheugen ongetwijfeld nog een stuk omhoog kunnen, maar op een verdubbeling hoeft bij lange na niet gerekend te worden.
De top
Wie echt de ultieme SAP-machine wil neerzetten komt terecht bij systemen met 64 of zelfs 128 processors aan boord, waar Xeons en Opterons voorlopig alleen nog maar van kunnen dromen. Het zijn Itanium, Power en Sparc64 die hier regeren. Hoewel de HP Superdome op dit moment de topscore in handen heeft, zal het waarschijnlijk niet lang meer duren voor IBM daar met Power6 een einde aan maakt. Tussen dat geweld maakt Fujitsu niet veel kans om een topscore te bemachtigen, maar prestaties zijn natuurlijk niet de enige factor. Zaken als betrouwbaarheid en vooral software-ondersteuning spelen vaak ook een grote rol.
| SAP-SD (topscores) | ||||
|---|---|---|---|---|
| HP Integrity Superdome | 64x Itanium 2 | 1,6GHz | Oracle 10g | 30000 |
| IBM System p5 595 | 64x Power5+ | 2,3GHz | DB2 9.0 | 23456 |
| Fujitsu Primepower 2500 | 128x Sparc64 V | 2,08GHz | Oracle 9i | 21000 |
| IBM eServer p5 595 | 64x Power5 | 1,9GHz | DB2 | 20000 |
:strip_exif()/u/28102/modernguilt-icon-02.gif?f=community){kind=icon}
:strip_exif()/u/17201/ren.gif?f=community){kind=small}
/u/1830/acm.png?f=community){kind=small}
Wouter heeft de benchmarks niet zelf gedraaid, enkel de resultaten verzameld en blijkbaar heeft hij geen resultaat met 8x 8222 gevonden./u/41697/crop63d0f26163b39_cropped.png?f=community){kind=small}
:strip_exif()/u/107011/Motrax.gif?f=community){kind=small}
/u/945/motorola_mpx300_3.GIF?f=community){kind=small}