Cookies op Tweakers

Tweakers maakt gebruik van cookies, onder andere om de website te analyseren, het gebruiksgemak te vergroten en advertenties te tonen. Door gebruik te maken van deze website, of door op 'Ga verder' te klikken, geef je toestemming voor het gebruik van cookies. Wil je meer informatie over cookies en hoe ze worden gebruikt, bekijk dan ons cookiebeleid.

Meer informatie

Door , , 22 reacties

In alweer het vierde artikel in deze serie van benchmarkblogs gaan we kijken naar een test die tot op zekere hoogte lijkt op het vorige keer bestudeerde TPC-C. De overeenkomst tussen de twee zit hem in het feit dat beide op een logistiek scenario uit het bedrijfsleven zijn gebaseerd. De test wordt ontwikkeld en gecontroleerd door SAP, dat (naar eigen zeggen) de grootste leverancier van zakelijke software ter wereld is, met meer dan 41.200 bedrijven in het klantenbestand. SD staat voor de Sales & Distribution-module van het ERP-pakket, waarmee de benchmark verricht wordt.

SAP logoTijdens de test voeren gesimuleerde gebruikers handelingen uit als het opvragen van klantgegevens, het aanmaken van nieuwe orders en het genereren van overzichten en rekeningen. Aan het einde van de rit komen er verschillende scores uitrollen, maar degene die het meest gebruikt wordt voor vergelijkingen (en tevens door SAP wordt aangeraden) is het aantal gelijktijdige gebruikers dat het systeem kan afhandelen, zonder de gemiddelde reactietijd van de schermen over de twee seconden heen te laten gaan.

Een belangrijk verschil tussen SAP-SD en TPC-C is dat de laatste alleen maar de (enorme) database belast en daardoor vooral veel I/O heeft, een factor die bij SAP-SD een veel kleinere rol speelt. Hierdoor is het meteen ook een stuk minder zinvol om 'vals te spelen' door duizenden snelle schijven aan een systeem te hangen, zoals bij TPC-C nog al eens gebeurt. De prijs bij de configuratie vermelden vindt men dan ook niet nodig. Sterker nog: dat is niet eens toegestaan. We zullen het deze week dus moeten doen zonder prijs/prestatievergelijkingen.

* Twee sockets

Het zal voor mensen die de vorige drie blogs ook hebben gelezen geen verrassing zijn dat de Power6 aan kop staat, maar het verschil met de quadcore Xeon is in dit geval klein. We kunnen nu echter al zien dat Intel bij zwaardere systemen in de problemen gaat komen: de stap van de dualcore Xeon 5160 naar de even hoog geklokte quadcore Xeon X5365 levert grofweg de helft betere prestaties op (het verschil in database buiten beschouwing gelaten), terwijl hij in theorie twee keer zoveel rekenkracht heeft. Dit is een voorteken dat schalen moeilijk gaat worden. Een vreemde eend in de bijt is de UltraSparc T1. Dit is de enige score in de tabel die met één chip is gehaald, maar omdat deze processor niet in dual-cpu configuratie kan werken en qua prijs niet onderdoet voor twee Xeons, zet ik hem er toch even bij hier.

SAP-SD (twee sockets*)
IBMPower64,7GHzOracle 10g 2035
IntelXeon X53653,0GHzMSSQL 2005 1940
IntelXeon 51603,0GHzDB2 8.2 1285
IntelItanium 2 90401,6GHzDB2 9.0 1090
AMDOpteron 22202,8GHzMSSQL 2005 1083
SunUltraSparc T1*1,2GHzMaxDB 7.5 237
*) De UltraSparc T1-score is gehaald met één socket

* Vier en acht sockets

Bij vier sockets zien we dat IBM ineens een ruime afstand neemt met de Power6. De scores van de Itanium 2, Xeon MP en Opteron zitten opvallend dicht bij elkaar, maar geen van deze drie quad socket configuraties is echt veel sneller dan wat een tweespan van Xeon quadcores of een dual Power6 ook al kan bieden. De UltraSparc IV+ maakt het nog bonter; die doet eigenlijk alleen maar voor spek en bonen mee.

SAP-SD (vier sockets)
IBMPower64,7GHzOracle 10g 4010
IntelItanium 2 90501,6GHzOracle 10g 2150
IntelXeon 7140M3,4GHzMSSQL 2005 2127
AMDOpteron 82223,0GHzMSSQL 2005 2078
SunUltraSparc IV+2,1GHzOracle 10g 1340

Bij acht sockets wordt het nog zwaarder slikken voor chips waar geen IBM-sticker op zit: de Power6 fietst namelijk vrolijk door naar een verdubbelde score van 8000 gebruikers, terwijl de Xeon MP - als best schalende van de drie anderen - maar 56% beter scoort na een verdubbeling van het aantal processors. De voorsprong van de Power6 loopt hierdoor op van 86% bij vier sockets naar 139% bij acht sockets.

De Itanium weet slechts 19% winst uit de verdubbeling van het aantal processors te slepen, maar dat zal deels te wijten zijn aan het feit dat de enige score voor acht Itaniums van Hitachi afkomstig is, wiens chipsets niet zo sterk zijn als die van HP.

Ook voor AMD ziet het er niet zo best uit: acht 2,4GHz Opterons met ddr-geheugen kunnen slechts 2170 gebruikers bedienen. Dat zal met 3,0GHz-chips met ddr2-geheugen ongetwijfeld nog een stuk omhoog kunnen, maar op een verdubbeling hoeft bij lange na niet gerekend te worden.

* De top

Wie echt de ultieme SAP-machine wil neerzetten komt terecht bij systemen met 64 of zelfs 128 processors aan boord, waar Xeons en Opterons voorlopig alleen nog maar van kunnen dromen. Het zijn Itanium, Power en Sparc64 die hier regeren. Hoewel de HP Superdome op dit moment de topscore in handen heeft, zal het waarschijnlijk niet lang meer duren voor IBM daar met Power6 een einde aan maakt. Tussen dat geweld maakt Fujitsu niet veel kans om een topscore te bemachtigen, maar prestaties zijn natuurlijk niet de enige factor. Zaken als betrouwbaarheid en vooral software-ondersteuning spelen vaak ook een grote rol.

SAP-SD (topscores)
HP Integrity Superdome64x Itanium 21,6GHzOracle 10g 30000
IBM System p5 59564x Power5+2,3GHzDB2 9.0 23456
Fujitsu Primepower 2500128x Sparc64 V2,08GHzOracle 9i 21000
IBM eServer p5 59564x Power51,9GHzDB2 20000
Moderatie-faq Wijzig weergave

Reacties (22)

Hoe wordt de keuze voor database servers gemaakt? Voor veel processoren zijn verschillende databases gebruikt: Oracle 10g, 9i, DB2 (2 versies), MSSQL en MaxDB.

Als je in zo'n vergelijking 2 variabelen hebt weet je nooit waaraan het verschil te wijten is.
Klopt. Uiteindelijk is het normaal gesproken aan te raden om eens te kijken naar de eigen benchmark van SAP. Daar zul je een aantal SAPs tegenkomen. Dat is een zelf gedefinïeerde waarde die altijd afhankelijk is van je hardware, OS, DB (release) en de software met patchset die je erop gaat zetten. Uiteindelijk is het normaal gesproken net zoiets als een maatpak, kunt wel een standaard pak bestellen en dat zal best goed zitten, maar met een configuratie die je optimaal hebt aangepast zul je altijd de betere resultaten bereiken. Het grote nadeel is dat je er uiteindelijk toch nog een aardig bedrag voor zult moeten neertellen, dus dat is helaas niet voor iedereen mogelijk. :)

De benchmark van SAP is trouwens te vinden via: http://www.sap.com/solutions/benchmark/index.epx :)

Overigens, aangezien ze hier ook de SD-benchmark hebben gedraaid ben ik best nieuwsgierig naar het aantal SAPs bij deze configuraties. :)

[Reactie gewijzigd door Renegade op 20 augustus 2007 11:28]

klopt, maw je hebt zuiver niks aan heel dit vergelijk.

maarja het is WT he...

trouwens je spreekt over:

Ook voor AMD ziet het er niet zo best uit: acht 2,4GHz Opterons met ddr-geheugen kunnen slechts 2170 gebruikers bedienen. Dat zal met 3,0GHz-chips met ddr2-geheugen ongetwijfeld nog een stuk omhoog kunnen, maar op een verdubbeling hoeft bij lange na niet gerekend te worden.

maar je zet wel een score van een 8222 serie in je chart. wat dus een 3.0 is en met ddr2 geheugen ?????
Dat zijn er maar 4 he? ;) Wouter heeft de benchmarks niet zelf gedraaid, enkel de resultaten verzameld en blijkbaar heeft hij geen resultaat met 8x 8222 gevonden.

En dat je in de praktijk niet zomaar naar een stel resultaten van dezelfde benchmark kan kijken is niet iets waar Wouter wat aan kan doen...
Afhankelijk van de toepassings server bij SAP. Een MDM pakket van SAP zal relatief een vrij kleine database hebben en draaien op een Windows OS hiervoor wordt vaak MS Sql gebruikt. Als een database groter wordt (NW2004(s) die op een ERP 2005 draaien) dan draait er meestal 1 grote server als database. De overige applicatie servers (zoals hierboven al staat) staan op separate servers, soms in combinatie met loadbalancing, bij een Netweaver portal (web portal van SAP) is dat wel aan te raden. Vanuit SAP zelf wordt meestal Oracle gebruikt omdat de ingebouwde management tools binnen SAP hiervoor uitermate geschikt zijn. Tevens draait oracle volgens mij op alle OS'ses die SAP gebruikt.
SAP heeft binnen een aantal projecten die ik doe nadrukkelijk aangeraden om Max DB te nemen. Klanten zijn hier zelfs door overgestapt van oracle naar Max.
Tja maar de mening van SAP over Oracle zal nooit 100% te vertrouwen zijn aangezien
Oracle de grootste concurrent is van SAP.

Max DB is niet veel meer dan door SAP gepimpte MySQL versie.

Maargoed deze benchmark resultaten zijn uiterst twijfelachtig met al die verschillende databases.
Huh? MaxDB is een gepimpte MySQL? Ik heb toegang tot de interne MaxDB sources en ik kan je zeggen dat er helemaal geen overeenkomst tussen die 2 is. SAP heeft een licentie op MaxDB aan MySQL verkocht/gedoneerd. Ze ontwikkelen die database gewoon in eigen beheer verder, er zit een heel team in Berlijn die daar aan werkt.

Twijfelachtig zijn de resultaten niet bepaald. De verschillen tussen de databases zijn erg gering, alleen degene die de benchmark doet heeft vanwege marketing redenen een preferentie voor een database. Ga maar kijken op www.sap.com/benchmark en kijk maar naar de 2-tier resultaten.
Voor mij is het alleen nu niet duidelijk wat SAP zelf aan rekenkracht nodig heeft. Dat is namelijk ook interessant.

De databases is leuk maar SAP zelf vergt ook nog wel het een en ander aan rekenkracht.
Of gaan ze er hiervan uit dat het op de client zit?

Grote bedrijven werken namelijk vaak met thin clients.

Verder interessante scores.
SAP werkt vaak met één database server en één of meerdere applicatie servers.
MaxDB is begonnen in 1977 als onderzoeksproject van de technische universiteit van Berlijn. Het is een door-en-door Duitse database. MaxDB biedt geavanceerdere functionaliteiten dan MySQL. Het is maar waar je naar op zoek bent.

[Reactie gewijzigd door VelhaChica op 21 augustus 2007 00:15]

Wel leuk dat er toevallig een artikeltje wordt gewijd aan wat ik daags doe, jammer dat er niet wat meer informatie over de benchmark zelf te vinden is in het artikel, op de SAP website staat genoeg informatie.

Overigens is het leuk voorkennis te hebben over wat er binnenkort aan benchmarks vrijgegeven wordt. Jullie zullen zien ;-)
Is al bekend wanneer IBM scores zal laten zien met meer dan 4 sockets Power6?
Als trouwens de Power6 zo goed schaalt omdat hij een zeer snelle/brede bus heeft, dan vraag je je af waarom de intel en AMD jongens dat niet maken.
Omdat elk bedrijf zo zijn eigen technieken en patenten heeft. En zomaar even maken doe je niet echt in processorland. AMD heeft trouwens al een veel bredere bus dan Intle. Alleen IBM is gewoon met het ontwerp van deze chip flink bezig geweest om een goeie multisocket cpu te maken. Wat ze blijkbaar erg goed is gelukt.
Conclusie: in het 2 socket segment zal de Xeon binnenkort de snelste zijn. Penryn zal namelijk als eerste (in november) in de X5400 serie gelanceerd worden.
Ehm dit is maar een van de vele benchmarks die er zijn of zijn gedaan. Verder een conclusie? Is ergens een onderzoeksvraag in de vorm van wat is de beste koop bij x aantal sockets?
Dat IBM de grootste processor fabrikant ter wereld simpel kan overtroeven met een sneller nulti cpu design? Dit terwijl de multicore strategie van Intel toch erg afhankelijk zal zijn van een optimale samenwerking tussen cores, of ze nu op een socket zitten of op meerdere sockets.
Het is niet zozeer de CPU die sneller is maar het gehele systeem. IBM heeft controle over alle facetten van het systeem, Intel alleen over de CPU en de chipset in de meeste gevallen. Bij SD is geheugenbandbreedte erg belangrijk en daar schort het bij Intel nog wel eens aan. Wordt hopelijk opgelost in Nehalem.
Wat mist in de overzichten is de datum van de benchmark. ik zie dat er behoorlijk appels met peren (tijd wijs) vergeleken worden.
Wat er m.i. ook in het artikel vergeten wordt is dat een nieuwere versie van SAP i.h.a een stuk zwaarder is dan de vorige versie en dat daarom een vergelijking puur op basis van concurrent users niet op gaat.

Op dit item kan niet meer gereageerd worden.



Apple iOS 10 Google Pixel Apple iPhone 7 Sony PlayStation VR AMD Radeon RX 480 4GB Battlefield 1 Google Android Nougat Watch Dogs 2

© 1998 - 2016 de Persgroep Online Services B.V. Tweakers vormt samen met o.a. Autotrack en Carsom.nl de Persgroep Online Services B.V. Hosting door True