Spec introduceert prestatie/watt-test voor servers

De Spec heeft een nieuwe benchmark aangekondigd die de efficiëntie van servers meet door de prestaties van een Java-applicatie uit te zetten tegen het opgenomen vermogen van het systeem.

SPECpower_ssj2008 bepaalt eerst hoeveel transacties per seconde het systeem maximaal aankan. Vervolgens wordt de belasting in stappen van tien procent afgebouwd tot het systeem helemaal niets meer doet. De eindscore wordt berekend door de som van alle gemeten prestaties te delen door de som van het aantal gemeten watts op ieder niveau.

Er zijn op dit moment nog maar twaalf inzendingen voor de test, waarvan elf Xeons en maar een Opteron-machine. Opvallend is dat AMD laag scoort, zelfs als rekening wordt gehouden met het feit dat er nog geen quadcore Barcelona meedoet. Dat heeft echter meer te maken met de keuze van de benchmark dan met de zuinigheid van de Opteron. De chips van Intel zijn namelijk erg sterk met Java: het voordeel ten opzichte van AMD kan oplopen tot vijftig procent bij een gelijk aantal cores en een gelijke kloksnelheid.

In de meeste andere benchmarks is de voorsprong van de Xeon lang niet zo groot, waardoor de resultaten van SPECpower_ssj2008 niet representatief zijn voor de hele markt. Spec heeft dan ook de ambitie om in de toekomst meer van dit soort efficiëntie-benchmarks uit te brengen, die de prestaties op andere manieren meten.

Grafieken met eindscore, minimum- en maximumverbruik

Reacties (10)

[batsma]

Toch mis ik wel wat in dit bericht, hoe wordt namelijk het verbruik van de "server" gemeten vanuit de software, moet dit door het platform ondersteund worden, of wordt dit gedaan door externe tools die een koppeling hebben met dit programma.

Wordt het hele platform gemeten, dus voeding, chipset, harddisks etc. Of gaat het puur en alleen om de processor.

Ook vind ik de keuze voor java nogal vreemd, zoals in het bericht aangegeven is dit vooral pro-intel, dus hoe krijg je hier ooit een representatieve score uit?

Iemand die bovenstaande vragen kan verduidelijken?

[TD-er]

Wordt het hele platform gemeten, dus voeding, chipset, harddisks etc. Of gaat het puur en alleen om de processor.

Lijkt me dat het hele systeem gemeten moet worden in een bepaalde configuratie.
Oftewel eigenlijk alleen maar geschikt voor kant-en-klare serveroplossingen, die altijd in vaste configuratie gekocht worden, of met vaste uitbreidingen.
Een serieus groot deel van de efficientie wordt namelijk bepaald door de voeding en dus moet je dat wel meenemen in een score als deze.

[Olaf van der Spek]

Een serieus groot deel van de efficientie wordt namelijk bepaald door de voeding en dus moet je dat wel meenemen in een score als deze.

Denk je dat ze bij de fabrikanten niet slim genoeg zijn om een efficiente voeding te kiezen?

Dit geldt niet alleen voor vermogen maar voor alles. Moederbord, geheugen, storage, het is allemaal van invloed op de score, ook als je naar prestaties kijkt.

[TD-er]

Denk je dat ze bij de fabrikanten niet slim genoeg zijn om een efficiente voeding te kiezen?

Oh zekers wel, maar ik verwacht ook dat als componenten als voedingen niet meegenomen worden in die vergelijking, dat ze ook maar net aan de vereiste minimale efficientie zullen voldoen, omdat elke bespaarde euro (of $) er een is.
Kortom, wil die nieuwe Spec-waarde iets zeggen, dan moeten ze het geheel wel meenemen in de meting. Als ze dat niet doen, zal je trouwens ook hele vreemde systemen gaan krijgen, zoals een cluster met tig schijven en een aantal GeForce kaarten voor de rekenkracht en een C7 processor als "mainprocessor" om de verbruik-score zo laag mogelijk te houden.
Daarnaast zou ik ook niet een simpele methode weten om het verbruik van een CPU te meten, behalve de temp van het koelblok uit te zetten tegen het koelvermogen ervan.

[Olaf van der Spek]

Daarnaast zou ik ook niet een simpele methode weten om het verbruik van een CPU te meten, behalve de temp van het koelblok uit te zetten tegen het koelvermogen ervan.

Het is toch ook niet nodig dat te meten?

[Wouter Tinus]

Toch mis ik wel wat in dit bericht, hoe wordt namelijk het verbruik van de "server" gemeten vanuit de software, moet dit door het platform ondersteund worden, of wordt dit gedaan door externe tools die een koppeling hebben met dit programma.

De hele server wordt gemeten vanaf het stopcontact, met een goedgekeurd apparaat dat zijn gegevens via een seriële poort of usb doorgeeft aan het controlesysteem.

Ook vind ik de keuze voor java nogal vreemd, zoals in het bericht aangegeven is dit vooral pro-intel, dus hoe krijg je hier ooit een representatieve score uit?

Niet, daarvoor moeten ze nog een paar van deze benchmarks maken.

[Olaf van der Spek]

Waarom is hier een nieuwe benchmark voor nodig? Kunnen ze niet gewoon de huidige benchmarks gebruiken en dan ook het stroomverbruik meten?

[Wouter Tinus]

Feitelijk gebeurt dat ook (het zou me verbazen als de code van SPECpower_ssj2008 veel afwijkt van die van SPECjbb2005), maar om een goed en eerlijk beeld te krijgen van de prestaties/watt moeten ze toch een aantal regels vaststellen, waaronder dus die metingen van 0% tot 100% belasting, de berekening om tot het gemiddelde te komen, een minimum omgevingstemperatuur, eisen aan de meetapparatuur en de verplichting om alle hardware in het systeem in detail te beschrijven.

[Reactie gewijzigd door Wouter Tinus op 25 juli 2024 13:09]

[Verwijderd]

Ik snap de opmerking dat Intel beter omgaat met java niet. Dit blijkt niet uit de link. Voor mij komt dit uit de lucht vallen.
De keuze voor java vind ik logisch, veel server-applicaties zijn in java ontwikkeld.

[killingdjef]

De chips van Intel zijn namelijk erg sterk met Java: het voordeel ten opzichte van AMD kan oplopen tot vijftig procent bij een gelijk aantal cores en een gelijke kloksnelheid.

Ik heb de link gelezen maar daar wordt met geen woord gerept over Java.. Zou iemand wat verlichting op deze zaak kunnen werpen?