Spec gaat virtualisatiebenchmark ontwikkelen

The Standard Performance Evaluation Corporation (Spec), bekend van de diverse benchmarks die als standaard worden gebruikt voor het vergelijken van computersystemen en processors, heeft aangekondigd dat het werkt aan een benchmark voor virtualisatie. De nieuwe benchmark die door de non-profit organisatie wordt ontwikkeld zal in staat zijn om de virtualisatieprestaties te meten voor met name servers die bedoeld zijn voor in datacentra.

De belangrijkste eis van de nieuw te ontwikkelen benchmark is dat de dynamische belasting die de diverse virtuele machines op een server in de praktijk te verwerken krijgen zo goed mogelijk wordt gesimuleerd. Een nieuwe werkgroep is in het leven geroepen om de virtualisatiebenchmark te ontwikkelen. In deze werkgroep hebben een aantal bedrijven zitting die zich actief bezighouden met virtualisatietechnologie. Onder andere AMD, Dell, Fujitsu Siemens, Hewlett-Packard, Intel, IBM, Sun en VMware zijn reeds betrokken bij deze werkgroep. De verwachting is dat het nog wel minimaal een jaar zal duren voordat de eerste versie van de virtualisatiebenchmark beschikbaar zal zijn. VMware heeft in september reeds een eigen benchmarksuite uigebracht voor het bepalen van de prestaties van virtuele machines.

Reacties (13)

[Verwijderd]

Gaat SPEC dan gebruik maken van bestaande virtualisatie systemen, zoals Xen, VMWare, VirtualPC, of ontwikkelen ze een eigen systeem?

Als ze namelijk hun eigen systeem gaan ontwikkelen dan kunnen de resultaten wel een overzicht geven van welke CPU het wat beter doet, maar daar heb je dan weer weinig aan als blijft dat de Xen die gebruikt wordt eventueel minder is geoptimaliseerd voor die CPU.

Je krijgt dan een erg vervormt plaatje.

[Verwijderd]

Ik denk dat een virtualisatiebenchmark zich niet eenzijdig zal richten op de prestaties van een specifieke CPU, maar meer de combinatie van hardware en hypervisor (software).
Wat je namelijk wilt weten is: Hoe goed presteert een bepaald pakket op een bepaald hardware platform. Draait een VM onder, ik noem maar een zijstraat, VMWare beter op een Opteron dan op een Intel? Of ben je misschien beter af met Xen als je al een rack met Opterons hebt staan?
Dat is mijns inziens het doel van een benchmark.

[flowerp]

Opzich wel apart dit. Een VM zou zich moeten gedragen voor de software net zoals een fysieke machine.

Je zou dan zeggen dat de gewone benchmark, die de prestaties van een fysieke machine meet ook gewoon van toepassing moet zijn op een virtuele machine?

[Little Penguin]

Één VM moet zich inderdaad gedragen als een normale machine, maar als er meerdere VMs aangemaakt worden, dan geldt dat niet meer.

Als je meerdere VMs hebt, dan wil je dat de VM die niks doet ook geen CPU tijd in beslag neemt en deze dus vrijkomt voor een andere VM - ik denk dat men met deze benchmark een duidelijkde definitie wil gaan maken hoe men dit soort situaties (en anderr VM-specifieke zaken) moet gaan testen.

En aangezien er meerdere fabrikanten van VMs zijn (denk aan Xen, VMWare, VirtualServer) is het dus goed als een enigszins onafhankelijke instantie dit gaat regelen...

[Gomez12]

Een VM die niets doet mag geen cpu-tijd in beslag nemen is iets te simpel gezegd volgens mij.

Ik zou niet willen dat mijn proces wat eerst aangeeft een half uur te duren halverwege opeens aangeeft 2 uur te duren omdat er ergens een poweruser gebruik gaat maken van de andere VM. Geef me dan maar managed cpu-cycles zodat ik constant dezelfde getallen krijg.

Als ik een programma draai wat zegt een half uur te draaien verwacht ik er ook echt een half uur niet bij te hoeven komen. Niet dat het de ene dag 5 minuten duurt en de volgende dag 2 uur...

[dtech]

Wat een onzin,
Als "jouw" VM met een proces bezig is, dan doet hij toch niet "niks" en krijgt hij toch gewoon CPU tijd?

[i-chat]

dat is misschien voor jouw zo als je denkt aan, Virtual-Dedicated Servers,

maar dat geld weer niet, voor bedrijven die een server voor medere taken inzetten en die taken door vm's wille scheiden.

overigens denk ik dat 't ook mogelijk zou moete zijn een een server zo in te stellen dat je ... net als bij lan verbindingen... een burstable cpu load kunt bouwen, die steld dat elke user xx cpu cycles gebruikt, maar dat ongebruikte cpu cycles dus worden toegevoegt aan de gene die er het meest nodig heeft

[Verwijderd]

Als 4 VMs nou 100% cpu tijd willen en je hebt maar 2 CPU's? dan moet die tijd toch echt verdeelt worden tussen de 4 machines.

gelukkig bestaan hier prachtige principes voor. Verdiep je eens in VMware ESX server.

[Tower410]

ja, je zou zeggen van wel, maar misschien geven VMs de data anders door of zo...

[MaxxBass]

Je zou de bench software op één VM kunnen draaien, dan weet je hoe die sessie zich houdt. Maar ik denk dat deze software bedoeld wordt, om te testen of het host systeem geschikt is voor virtualisatie, en verbeterpunten aangeeft...

[ravenamp]

Een VM, ook al is het er maar 1, presteerd altijd minder dan de/een normale OS installatie op de machine waar de VM op draait. Je moet niet vergeten dat er een extra laag tussen de VM en de hardware staan: Je hebt namelijk de VM zelf die via zijn virtuele hardware communiceerd met windows, en windows die weer communiceerd met je hardware.
Wat natuurlijk een belangrijk punt is dat bij meerdere VM's op 1 fisieke machine de harde schijf gedeelt moet worden, evenals het geheugen en de CPU. Het is dus niet gewoon een kwestie van cpu snelheid delen door het aantal VM's om de prestatie te weten. Wat is het effect op je harddisk(s)? En in RAID?

[leuke gast]

Opzich is dit een kwestie van: Benchmark van't VM systeem / Benchmark van't systeem in (real)Hardware

[Verwijderd]

Voor de duidelijkheid: Deze benchmark zal niet de performance van de VMs zelf meten maar de performance van de Hardware inclusief de virtualisatie laag. Deze enige manier om deze performance goed te meten is om een vastgestelde workload in een aantal VMs uit te voeren.

Het cijfer wat uit de benchmark komt zal dus aangeven he de door jou gebruikte virtualisatie software draait op jouw hardware. Zo kan dus eindelijk worden vastgesteld welke hardware nou ECHT het snelst is bij gebruik van een bepaalde hypervisor.

Overigens is VMware zelf op dit moment bezig met een soortgelijke test. Deze is zo goed al af en zal VMmark gaan heten. Overigens heeft VMware aangegeven dat VMmark zal verdwijnen zodra Spec of soortgelijke organisatie met een test op de markt komt. Dit natuurlijk omdat een product van VMware altijd van subjectiviteit beschuldigt zal blijven worden.