Opvolger voor TPC-C databasebenchmark onderweg

De TTPC (Transaction Processing Performance Council) wil in 2006 een opvolger lanceren voor de bekende TPC-C-benchmark. Deze dertien jaar oude test speelt vandaag de dag nog steeds een toonaangevende rol in de serverwereld, getuige de frequentie waarmee de scores (zowel in rauwe prestaties als in prijs/prestatie) opduiken in discussies, persberichten en offertes. De populariteit van de test kan verklaard worden door een mate van veelzijdigheid en tijdloosheid. Tijdens de benchmark wordt een complete bedrijfsvoering gesimuleerd, met meerdere vestigingen en vele tientallen werkstations waarop orders worden ingevoerd. Bijna alle aspecten van de hard- en software mogen worden vervangen en/of getweaked, zolang de hoeveelheid transacties die wordt uitgevoerd maar hetzelfde blijft. Hierdoor is het mogelijk om de meest uiteenlopende systemen met elkaar te vergelijken, zonder bijvoorbeeld specifiek brute rekenkracht of veel geheugen te bevoordelen.

De nieuwe versie van de test gaat TPC-E heten, en deze moet op drie punten beter worden dan de huidige versie. Ten eerste moet het belastingspatroon representatiever worden voor het huidige tijdperk. Verder moet het makkelijker (en dus goedkoper) worden om de test uit te voeren, en als laatste punt wil men het moeilijker maken om de benchmark te beïnvloeden om kunstmatig hoge scores te krijgen. Zo is bijvoorbeeld gebleken dat de oude versie van de test onrealistisch gunstig uitpakt voor systemen met enorme aantallen harde schijven, en dat de testdatabase zich veel makkelijker laat verdelen over een cluster van goedkope machines dan de gemiddelde transactiedatabase in de echte wereld. Veel tekortkomingen zijn in de loop der jaren al aangepakt (de test is nu bij versie 5.4), maar men wil nu toch weer met een schone lei beginnnen.

Behalve de aankondiging van TPC-E heeft het consortium ook een nieuwe benchmark voor webservices aangekondigd: TPC-App. Hieraan is onder andere gewerkt door IBM, Microsoft, HP, BEA, Oracle, Dell, Unisys, AMD en Intel. TPC-App is per direct beschikbaar en vervangt TPC-W, een ingewikkelde test die vaak wel 25 servers nodig had om uitgevoerd te worden en dan nog onduidelijke resultaten teruggaf. Ook is TPC-DS genoemd als opvolger van TPC-H. In deze laatste tests gaat het net als in TPC-C en -E om grote bedrijfsdatabases, maar in plaats van orderverwerking wordt in die benchmarks het verzamelen van statistieken (data warehousing) getest.

Reacties (3)

[Database freak]

Heel mooi dat de tests makkelijker toepasbaar worden. Ook kleine leveranciers kunnen zo de potentie van hun in elkaar ge-assembleerde systemen aantonen. Als je kijkt naar moderne 2-way dualcore of 4-way dualcore dan denk ik dat je daarmee een heel groot deel van de markt afdekt qua benodigde processor capaciteit.

Dat met die vele disken klokt sommige test hadden een paar duizend harde schijven in hun system.

[rtgo]

Na een bepaalde tijd worden testen steeds minder representatief en dan moeten ze vervangen worden door iets nieuwers. Dat zie je ook bij 3D mark.
Ik vraag me af of de nieuwe testen ook representatief zijn op het werkgebied van de oude oude versie. Dat is bij databases van belang omdat niet iedereen superzware databases wil draaien op de nieuwste systemen.

[Gé Brander]

Het gaat niet zozeer om superzware databases, als wel het simuleren van een bedrijfsproces, zoals in de post is beschreven. Bedrijfsprocessen veranderen niet zo heel snel in vergelijkin met jou voorbeeld van 3DMark. Dus die vergelijking gaat volledig mank.