Cookies op Tweakers

Tweakers maakt gebruik van cookies, onder andere om de website te analyseren, het gebruiksgemak te vergroten en advertenties te tonen. Door gebruik te maken van deze website, of door op 'Ga verder' te klikken, geef je toestemming voor het gebruik van cookies. Wil je meer informatie over cookies en hoe ze worden gebruikt, bekijk dan ons cookiebeleid.

Meer informatie

Door , , 13 reacties

In de twee vorige blogs over SPECfp_2006 en SPECint_2006 heb ik geprobeerd om een beeld te schetsen van de rauwe rekenprestaties van verschillende processors. We hebben hierin gezien dat Power6 van IBM op dit moment zonder twijfel de sterkste speler is. Verder werd duidelijk dat een 1,6GHz Itanium dankzij zijn uitmuntende prestaties per kloktik niet veel onderdoet voor een 3,0GHz Opteron. Tot slot konden we concluderen dat zelfs Intels nieuwe architectuur nog moeite heeft om de huidige generatie van AMD te verslaan op het gebied van zwaar floatingpointwerk zoals wetenschappelijke simulaties, waarschijnlijk door een gebrek aan bandbreedte.

HP Integrity SuperdomeIn dit blog gaan we kijken naar de prestaties van de processors in TPC-C, een monsterlijk zware databasetest ontwikkeld door de Transaction Processing Performance Council. De test simuleert de complete bedrijfsvoering van een distributeur met verschillende vestigingen en enorme hoeveelheden klanten en producten. De prestaties worden uiteindelijk gegeven in aantal transacties dat per minuut afgehandeld kan worden, wat kan oplopen tot in de miljoenen.

Een nadeel van de test is dat hij gevoelig is voor snelle opslag en veel geheugen. De huidige topscore - afkomstig van de hiernaast afgebeelde dubbele koelkast - is bijvoorbeeld gehaald met hulp van meer dan zevenduizend(!) 15K-rpm-schijven en twee terabyte geheugen. Daarom is het maar goed dat het ook verplicht is om de prijs van het systeem op te geven, zodat de prijs/prestatieverhouding bepaald kan worden. Sommige fabrikanten willen gewoon de allerbeste prestaties laten zien (met name HP en IBM proberen elkaar constant af te troeven), terwijl anderen juist op een goede prijs richten. Zometeen zullen we een goed voorbeeld zien van twee tests die met verschillende doeleinden zijn uitgevoerd.

De gebruikte software, met name besturingssysteem en dbms, speelt natuurlijk ook een rol. Over het algemeen wordt gekozen voor hetgeen wat het best presteert op het betreffende platform, wat voor (kleinere) x86-systemen meestal Microsoft SQL Server betekent, voor HP/Itanium vaak Oracle, en voor IBM zijn eigen DB2. Hoewel er ongetwijfeld belangrijke verschillen bestaan in de implementatie van deze pakketten, wordt uiteindelijk precies hetzelfde werk van ze gevraagd. Daarom ga ik (toegegeven, deels ook voor het gemak ) niet proberen om verschillen tussen de software te becijferen.

Omdat het uitvoeren van een TPC-C-run een bijzonder duur en tijdrovend karwei is, zijn er helaas niet zo heel veel actuele resultaten beschikbaar. Alle platforms worden wel vertegenwoordigd, maar de prijzen zijn na een halfjaar al minder actueel, en voor kleine verbeteringen in de hardware (zoals bijvoorbeeld de stap van een 2,8GHz Opteron naar 3,0GHz-model) neemt men niet eens de moeite om opnieuw te gaan testen. De TPC heeft om - onder andere - dit probleem op te lossen TPC-E ontwikkeld als opvolger van deze test. Tot nu toe is hier helaas nog maar één score voor ingestuurd, waardoor het nog niet geschikt is om mee te vergelijken.

* Dual socket

De lijst voor prestaties met twee sockets wordt aangevoerd door de quadcore Xeon, die zowel op het gebied van absolute prestaties als op dat van prijs/prestatie wint, een zeldzame combinatie. De Itanium 2 ligt niet ver achter, wat gezien het feit dat deze de helft van het aantal cores heeft knap genoemd mag worden. Wel is de prijs meteen een stuk minder gunstig. Op de derde plaats vinden we IBM, dat jammergenoeg nog geen score heeft ingestuurd voor een Power5+ of Power6. De Power5-score is al behoorlijk oud en eigenlijk alleen maar opgenomen als referentiepunt: vermoedelijk zou een Power6 dit resultaat kunnen verdubbelen. Onderaan vinden we de Opteron van AMD terug, maar wel met de op twee-na-beste prijs/prestatieverhouding.

TPC-C (twee processors)
IntelXeon X53552,66GHzMSSQL 2005 240737
IntelItanium 2 90501,6GHzOracle 10g 230569
IBMPower51,9GHzOracle 10g 203440
IntelXeon 51603,0GHzMSSQL 2005 169360
AMDOpteron 22202,8GHzMSSQL 2005 139693
TPC-C (twee processors, prijs/prestatie)
IntelXeon X53552,66GHzMSSQL 2005 1,85
AMDOpteron 22202,8GHzMSSQL 2005 2,28
IntelItanium 2 90501,6GHzOracle 10g 2,63
IntelXeon 51603,0GHzMSSQL 2005 2,93
IBMPower51,9GHzOracle 10g 3,93

* Quad socket

Bij systemen met vier sockets ligt IBM al aan kop met de Power5, wat betekent dat niemand ook maar een schijn van kans maakt tegenover de nieuwe Power6. Op de tweede plaats vinden we de Itanium met een opvallend gunstige prijs/prestatie-verhouding. De chip zelf mag dan wel duur zijn, maar bij dit soort zware systemen valt de prijs van de processors vaak in het niet vergeleken met de rest wat er bij komt kijken (geheugen, opslag, software, enzovoort). Hierdoor hoeft een Itanium lang niet altijd duurder te zijn dan een Xeon, zeker niet de hogere segmenten.

Met de Xeon MP kan het twee kanten op. In de grafiek staan twee scores die heel dicht bij elkaar liggen: er is een andere database gebruikt en een iets andere versie van de processor, maar uiteindelijk is de een maar vier procent beter dan de ander. De beste score door IBM gehaald met een configuratie van 1,7 miljoen dollar, terwijl de iets mindere score vier maanden later door HP werd neergezet voor een bedrag van 'slechts' 600.000 dollar, een enorm verschil in prijs/prestatie. AMD staat wederom op de laatste positie, maar wel met een goede prijs die relatief gezien zelfs nog lager ligt dan die van hun 2S-inzending. Een machine met vier Opterons zou dus niet eens een slecht alternatief zijn voor een dual Clovertown.

TPC-C (vier processors)
IBMPower51,9GHzDB2 8.1 429900
IntelItanium 2 90501,6GHzMSSQL 2005 372140
IntelXeon MP 71503,5GHzDB2 9.0 331087
IntelXeon MP 71403,4GHzMSSQL 2005 318407
AMDOpteron 82202,8GHzMSSQL 2005 262989
TPC-C (vier processors, prijs/prestatie)
IntelItanium 2 90501,6GHzMSSQL 2005 1,81
IntelXeon MP 71403,4GHzMSSQL 2005 1,88
AMDOpteron 82202,8GHzMSSQL 2005 2,09
IBMPower51,9GHzDB2 8.1 4,99
IntelXeon MP 71503,5GHzDB2 9.0 5,30

* De top

Puur voor de lol ben ik ook nog even gaan kijken naar de echte top. Wat zijn nou echt de ultieme databasemachines? HP en IBM zijn de enige twee bedrijven die überhaupt in de race zijn, en er is er eigenlijk maar één die tot nu toe altijd wint: IBM. Het lijkt misschien vreemd om die uitspraak te doen op het moment dat HP in zowel de prestatie- als in de prijs/prestatie-grafiek bovenaan staat, maar als je nagaat dat de score van IBM zeven maanden ouder is, de helft van het aantal processors gebruikt en toch minder dan twee procent lager ligt, lijkt deze tijdelijke overwinning van HP ineens niet meer zo significant. Bovendien is er nog zoiets als Power6: deze is nog niet getest in een 16S- of 32S-configuratie, maar het is wel te zien dat acht keer Power6 al genoeg is om zestien keer Power5 te verbeteren, waardoor het zo goed als vast staat dat de topscore van HP geen stand zal houden als IBM eenmaal een zwaardere Power6-server op de testbank legt. Met de kleine verbeteringen van de Itanium Montvale zal HP dat geweld niet kunnen inhalen.

TPC-C topscores
HP Integrity Superdome64x Itanium 21,6GHzOracle 10g 4092799
IBM System p5 59532x Power5+2,3GHzDB2 9.0 4033378
IBM System p 5708x Power64,7GHzDB2 9.0 1616162
IBM eServer p5 59516x Power51,9GHzOracle 10g 1601785
Fujitsu Primequest 54016x Itanium 21,6GHzOracle 10g 1238579
TPC-C topscores (prijs/prestatie)
HP Integrity Superdome64x Itanium 21,6GHzOracle 10g 2,93
IBM System p5 59532x Power5+2,3GHzDB2 9.0 2,97
IBM System p 5708x Power64,7GHzDB2 9.0 3,54
Fujitsu Primequest 54016x Itanium 21,6GHzOracle 10g 3,94
IBM eServer p5 59516x Power51,9GHzOracle 10g 5,05
Moderatie-faq Wijzig weergave

Reacties (13)

Gaat t.net nu ook een TPC benchmark runnen tegen nieuwe hardware?
Nee, dat gaat onze pet echt ver te boven :). We houden het bij onze eigen databasetest.
Leuke test maar de opmerking
Over het algemeen wordt gekozen voor hetgeen wat het best presteert op het betreffende platform, wat voor (kleinere) x86-systemen meestal Microsoft SQL Server betekent, voor HP/Itanium vaak Oracle, en voor IBM zijn eigen DB2.
ging mischien 12 jaar geleden nog (mssql 6.5) op maar is met de komst van 32 en 64 processor Intel machines, Windows server Datacenter edt en SQL Server 2005/2008 compleet achterhaald.

Keuze vandaag de dag hangt veel meer af van in het verleden gemaakte keuzes voor een bepaalde database leverancier, daarop toegesplitste applicaties en bijbehorende kennis van de IT developers en sysadmin personeelsleden.

Op de korte tot middellange termijn wordt het interessant te zien wat Intels quad core MP processors kunnen in 4 en 8 socket opstellingen en wat Intels 2008 Octacore's zullen kunnen. Je zou bv toch verwachten dat een 2cpu quadcore X5355 setup net zo snel zijn als de verouderde 4cpu dualcore MP7150 netburt setup. Toegeven de MP7150 zal meer geheugenbandbreedte en cache hebben maar het C2D-ontwerp is toch met namen in business apps superieur aan het netburst-ontwerp.
dus heeft IBM nog steeds de beste?
maar is de Itanium nou beter dan de Xeon of niet?
Is een ferrari beter dan een bestelwagen?
Het hangt zoveel af van je budget, de performance-eisen, ... dat je voor elke situatie apart moet kijken wat daar de specifieke beste oplossing is.
Precies. De Itanium heeft een slecht imago, en deels is dat ook wel terecht, maar de perceptie dat het hopeloos achterloopt is onjuist. Ook al is het moeilijk om een volledig eerlijke vergelijking te doen met TPC-C, zegt het heel wat dat in de dual socket scores een 65nm quadcore x86-chip met een 120W tdp het maar 4% beter doet dan een 90nm dualcore Itanium met een 104W tdp. En hoe zwaarder de machine, hoe aantrekkelijker het wordt.

Binnenkort zal het er wel weer slechter uit gaan zien, met Power6 aan de ene kant en 45nm Xeons aan de andere kant, maar er zijn twee belangrijke mijlpalen in zicht die het strijdveld significant zullen veranderen. De eerste staat in 2008 en houdt in dat Xeon en Itanium dezelfde systeeminfrastructuur krijgen, zodat de x86 geen voordeel meer heeft op het gebied van bandbreedte. De tweede komt rond 2010 en houdt in dat Itanium niet meer in een of twee generaties oudere fabrieken gebouwd zal worden, maar zij aan zij naast x86 op 32nm verschijnt.

Dat betekent dat we dan eindelijk een eerlijke strijd zullen zien tussen de twee architecturen, in plaats van zoals nu toe te kijken hoe Itanium ondanks een paar stevige handicaps het hoofd boven water probeert te houden ;). Als het andersom zou zijn (zeg bijvoorbeeld de huidige Itanium tegenover een 130nm singlecore x86) zou het resultaat veel bloederiger zijn dan het nu is.

[Reactie gewijzigd door Wouter Tinus op 1 augustus 2007 00:36]

Het is onmogelijk met Xeons een score van 4092799 neer te zetten. Daarnaast is ook een 4weg Itanium al beter (in deze test) dan de Xeon. Dus als je échte performance zoekt is de Xeon kansloos tegenover de Itanium. Echter, heb je wat minder te besteden kan de Xeon (en ook een Opteron) prijstechnisch beter uit de verf komen. Twee verschillende soorten producten dus die beide andere markten bedienen.
Volgens eerdere berichten gaat Intel straks hun state-of-the-art produktieproces toepassen op Itanium.

Je kan wel zien aan deze (en de eerdere) benchmarks wat er dan gaat gebeuren. Als ze meer cores gaan toevoegen dan gaat Itanium er pas echt vandoor in de benchmarks. Eeen octa-core 2,5 Itanium is zeker mogelijk op 45 of 32 nm. Let maar eens op wat er dan gaat gebeuren. De marges van IMB gaan dan in ieder geval een stuk dalen, want in prijs/prestatie is Itanium al beter dan (computers op basis van) Power.
Keuze vandaag de dag hangt veel meer af van in het verleden gemaakte keuzes voor een bepaalde database leverancier, daarop toegesplitste applicaties en bijbehorende kennis van de IT developers en sysadmin personeelsleden.
Ik bedoel daar wel specifiek de keuze voor de TPC-C-benchmark, niet wat men in de praktijk gebruikt.
Op de korte tot middellange termijn wordt het interessant te zien wat Intels quad core MP processors kunnen in 4 en 8 socket opstellingen en wat Intels 2008 Octacore's zullen kunnen.
Tigerton zal een enorme stap zijn voor de Xeon MP: meer dan dubbel zo veel bandbreedte, dubbel zoveel cores en de stap van Netburst naar Core. Het enige nadeel is dat hij geen L3-cache meer heeft, maar daar staat wel tegenover dat er vier keer zoveel L2 is. Intel is deze trouwens al sinds juni aan het leveren, dus benchmarks zouden niet lang meer op zich moeten laten wachten :).
TPC-C waarom deze benchmark. Als er eentje niet meer relevant is dan is het TPC-C wel.
Deze resultaten dienen met een ernome korrel zout genomen te worden.
Iedere benchmark heeft zijn haken en ogen, daarom probeer ik de komende tijd iedere week een andere te behandelen, zodat uiteindelijk een gebalanseerd beeld ontstaat. Suggesties zijn natuurlijk altijd welkom :)
Sun doet met z'n UltraSPARC-architectuur helemaal niet mee? Presteert deze processor nu zo slecht, of hebben zij nooit een systeem mee laten doen in deze benchmark...
De eerste en laatste keer dat Sun een TPC-C-score heeft ingestuurd was in 2001, met een UltraSparc II. Sun is overigens sowieso selectief met het insturen van benchmarks (m.a.w. ze doen het alleen als ze er een beetje redelijk vanaf komen) dus ik denk inderdaad dat ze op dit gebied weinig voorstellen.

Op dit item kan niet meer gereageerd worden.



Apple iOS 10 Google Pixel Apple iPhone 7 Sony PlayStation VR AMD Radeon RX 480 4GB Battlefield 1 Google Android Nougat Watch Dogs 2

© 1998 - 2016 de Persgroep Online Services B.V. Tweakers vormt samen met o.a. Autotrack en Carsom.nl de Persgroep Online Services B.V. Hosting door True