IBM passeert HP in TPC-C serverbenchmark

In de TPC-C snelheidstest voor servers is het high-end p690 Regatta Unix systeem van IBM een fractie sneller gebleken dan de 64-processor Superdome van concurrent HP. De met 32 CPU's uitgeruste Regatta wist door een geheugenverdubbeling een record van 428.000 transacties per minuut te halen, een fractie meer dan de 423.000 van het HP systeem. HP verwacht echter dat eind maart de rollen weer omgedraaid zullen zijn. De prijs van de systemen is even schrikken: Big Blue's Regatta is met 7,6 miljoen dollar een miljoen duurder dan de Superdome van HP.

De test, gehouden door de Transaction Performance Council (TPC), meet de performance van een server door het simuleren van allerlei database transacties zoals betalingen en orderregistratie. De snelste machine is een 128-processor systeem van Fujitsu maar deze draait op niet standaard database software. De geteste systemen van HP en IBM draaiden beiden op de 9i database software van Oracle. De snelheidstest wordt vooral gedomineerd door systemen die draaien op het Unix besturingssysteem, Windows-based servers zijn echter in opkomst met een zesde en zevende plek:

The TPC-C test has been dominated by servers running the Unix operating system, but those with Intel processors and Microsoft's Windows operating system have begun climbing the ladder in recent months. An NEC system with 32 Intel Itanium processors ranks sixth on the list, while a Unisys system using 32 Intel Xeon processors holds seventh place.

HP disparaged IBM's TPC-C result as a "minor performance tune" and said in a statement that its Superdome server will surpass IBM by the end of March. Future Superdome upgrades will give the system a score of more than 1 million, the company said.

Reacties (24)

[Catweazel]

Tja...

Het artikel stopt zelf al genoeg addertjes onder het gras om dit artikel toch op een aantal punten kritisch te bekijken.

1.

De snelste machine is een 128-processor systeem van Fujitsu maar deze draait op niet standaard database software

Omdat Oracle 9i & SQL 2000 wel als 'standaard' databases worden gezien, maar SymfoWARE niet?
Bronnen: http://www.tpc.org/tpcc/results/tpcc_perf_results.asp?resulttype=noncl uster
http://pr.fujitsu.com/en/news/2002/07/17.html

2.

De met 32 CPU's uitgeruste Regatta wist door een geheugenverdubbeling een record van 428.000 transacties per minuut te halen

Dit is natuurlijk niet zo gek... Kijkend naar performances van grote(re) SQL databases kun je ook opmerken dat (werk)geheugen een grote perfromancewinst kan opleveren.

- Hoe lag de situatie voor de geheugenuitbreiding?
12% voorsprong voor HP
Bron: http://www.hp.com/products1/servers/scalableservers/superdome/leadersh ip.html

3.
Als reactie op jawaligt & kalazec
Uiteraard kun je wel meerdere 'kleinere' servertjes kopen en deze aan elkaar hangen als een groot cluster. Bij de benchmarks van TPC-C zie je ook dat clusters een vet hogere score neerzetten (Het snelste cluster zelfs 55% hoger dan het snelste non-cluster) voor een vet lagere prijs per 'scorepunt'...
De vraag is alleen of je de ruimte en alle andere voorzieningen hebt om een cluster weg te hangen..
Bron: http://www.tpc.org/tpcc/results/tpcc_perf_results.asp?resulttype=clust er&version=5

4.
Als reactie op interwork
Die transacties zijn best ingewikkeld, ja.

In TPC-C, throughput is defined as how many New-Order transactions per minute a system generates while the system is executing four other transactions types (Payment, Order-Status, Delivery, Stock-Level). All five TPC-C transactions have a certain user response time requirement, with the New-Order transaction response time set at 5 seconds. Therefore, for a 710 tpmC number, a system is generating 710 New-Order transactions per minute while fulfilling the rest of the TPC-C transaction mix workload.

Bron: http://www.tpc.org/tpcc/faq.asp

[ekx]

*slik*

kerel ge doet me verbazen, ma wtf ben je over bezig?... oh well

[jawaligt]

Wat heb je überhaupt aan dat soort machines? Je kunt toch veel beter aan aantal goedkope, iets langzamere servers kopen dan een hele snelle van 7 miljoen dollar?

Of snap ik iets niet? Er staat toch servers?

[DeBolle]

Mja - je kunt ook goedkoper 24 Renault Berlingo's kopen dan 1 vette Scania. Opgeteld dezelfde inhoud. Afhankelijk van het gebruik zul je begrijpen dat die Scania goedkoper is en beter presteert, vertaalt naar IC betekent dat dat de TCO lager is.

[EfBe]

Dat is een metafoor die niet opgaat bij een clustered omgeving. Zoals je bij de clustered TPC results zult zien ligt de prijs per transactie ver lager dan de prijs per transactie bij deze big-iron bakken. Aangezien beheermogelijkheden tegenwoordig dermate vergevorderd zijn dat een cluster gewoon als 1 machine beheerd kan worden, zie ik je punt niet echt. (1 machine is zelfs minder schaalbaar en heeft het single point of failure syndroom (ookal is dat wellicht te verhelpen)).

[MM]

Volgens mij snap je het idee niet helemaal

Om via jouw beredenering door te gaan: hoe wil je een boomstam van 10 meter lang vervoeren met berlingo's? Je kunt 'em in stukken zagen maar dat is ook niet altijd alles als je er een kano van wilt bouwen

Zie kalizecs reactie over de real life uitleg

[DeBolle]

Heh - nee, *jij* snapt het niet helemaal
Ik reageer op jawaligt, die stelt dat een aantal goedkope kleine servers beter kunnen zijn dan een hele snelle van 7 miljoen.
Met mijn vergelijking probeer ik duidelijk te maken dat die ene dure server soms het enige is wat je *kunt* gebruiken, omdat sommige taken gewoon niet uitgevoerd kunnen worden op een (groot) aantal kleinere servers. Net als jouw boomstam van 10 meter
In andere woorden, aanschafprijs is niet het enige wat telt.

[kalizec]

Dat kan bij databases dus (bijna) NIET.

Omdat je als meerdere servers dezelfde database bij laat houden ze dan dubel-werk moeten gaan verrichten. Immers je moet wijzigingen op allebei de systemen weg schrijven en je moet tevens bij lezen controleren of de ander niet toevallig een paar milliseconden geleden wat geschreven heeft wat hijzelf nog niet verwerkt heeft.

[-=bas=-]

Daar zijn al hele slimme dingen voor bedacht.

[[]InTeR[]]

Big Blue's Regatta is met 7,6 miljoen dollar een miljoen duurder dan de Superdome van HP.

Dus je betaald een miljoen meer voor 5.000 per minuut?

PS: Die database transacties moeten wel ingewikkeld zijn als er maar zo weinig mer minuut kunnen

[G33rt]

bijna een half miljoen per minuut is verdomde veel hoor. en of je een miljoen meet betaalt voor die 5000 is niet helemaal duidelijk, er wordt niet vermeld hoe lang je garantie is, wat voor support je kan krijgen, etc.

[BramBo]

er wordt niet vermeld hoe lang je garantie is, wat voor support je kan krijgen, etc.

Ik mag aannemen dat als je zulke grote bedragen moet neerleggen voor een server, dat je support en garantie ook wel in orde zijn, en Zo niet dan sluit je meteen een service contract af met het betreffende bedrijf.

ik bedoel als je zoveel geld kan/wil uitgeven aan een goede server dan is de preformance en betrouwbaarheid natuurlijk ook belangrijk.

[Verwijderd]

Dus je betaald een miljoen meer voor 5.000 per minuut

Het gaat natuurlijk om net iets meer dan alleen een score. Ik vind het persoonlijk zeer knap met de helft van het aantal processoren, wat waarschijnlijk ook nog eens goed is voor het energie verbruik.

[Verwijderd]

Zo'n databaseserver iets voor T.net?

[smaij]

ga jij hun sponseren?

[Neo_revisited]

De IBM p690 Regatta (IBM pSeries was voorheen RS/6000 reeks) en de HP Superdome zijn eigenlijk geclusterde servers. Ze hebben geen single-point-of-failure (SPOF) in het design, waardoor pas meerdere storingen het systeem plat krijgen.

Hierdoor ligt de prijs per transactie bij deze systemen meestal lager dan bij andere geclusterde servers.

Bij deze test gaat het overigens niet wie de laagste prijs per transactie kan leveren, maar wie de snelste machines kan maken.

Het TPC heeft een aantal standaard databases aangewezen om te kunnen vergelijken. Als Fujitsu dan een test uitvoert op een database variant die niet door TPC als standaard is aangewezen kun je deze ook niet goed vergelijken, vandaar dat deze ook niet in de officiële ranking is meegenomen. Waarschijnlijk heeft dit ook te maken met de wijdere verspreidingvan Oracle en SQL databases.

De prijs voor deze grote bakken is inclusief de garantie dat ze geen of slechts x-minuten per jaar downtime hebben. Die garantie kan voor geen enkele "kleine" server worden gegeven.

Ave
NEO

[Verwijderd]

Neo,
Een Superdome hoeft geen geclusterde omgeving te zijn en op zich heeft een Superdome (32) wel een SPOF -single point of failure- dus moet je er inderdaad een Superdome 64 (2 stuks 32) van maken om een stabiele omgeving te maken.
Als je hiervan een cluster maakt en ook de software juist inricht (Operating system + Applicatie software) heb je inderdaad een High Availability systeem waarmee je de garantie kunt afgeven van een zeer geringe downtime per jaar (99.999%).
En ja, daar hangt een prijskaartje aan dus je kunt niet zeggen doe mij maar een x-aantal goedkope Dell servertjes want daarmee kun je een dergelijk High-End Unix systeem niet garanderen.
Overigens kan de Superdome meer dan alleen Unix draaien op PA RISC en gaat deze ook op de Itanium werken. Mogelijkheden genoeg dus.

[Verwijderd]

goh he maar 7,6 miljoen dollar das ook nx.Ik moet toch een nieuwe computer hebben en dat is waarschijnlijk wel n goeie dus ik zal me ouwe sokken maar us opzoeken want zon koopje laat ik natuurlijk niet liggen

[H!GHGuY]

ff me zakgeld tellen...:

1,2,3,4... 25 euro... woohoo, nog 7,599.975 €

[Glashelder]

Hoeveel nodes/sec zal je halen als je daar een distributed.net client op zet >

[Eskimootje]

Ik denk niet zoveel de cpu's zullen wel database-geoptimaliseerd zijn. Je zult dus vrij veel berekeningen moeten doen wil je doen wat een Athlon in 1 keer kan. Kijk maar naar RC72 en de P4. Blijft het natuurlijk en feit dat hij sneller is als elke desktop pc. Maar aangezien RC72/OGR eigenlijk een grote cluster is zijn deze 2 dingen niet vergelijken.

[Biazz]

Ik snap niet waarom IBM hier zo trots op is, ze zijn dik 15% duurder, en maar net 1% sneller. Lijkt me geen moeilijke beslissing dus als je 1 van die beestjes wil kopen.

[Verwijderd]

Het interessante is dat het Windows systeem in de non-clustered test een zevende plek bezet met een systeem dat minder dan de helft kost (7.5 miljoen $ tegen 2.7 miljoen $)

En als je de clustered resultaten bekijkt dan outperformed het Windows systeem de concurrentie met bijna 2x de performance.

[Verwijderd]

zet daar maar eens een BeoWulf cluster tegenover die windows cluster. en zie je resultaat