VMware heeft een benchmark ontwikkeld bedoeld om de prestaties van servers op het gebied van virtualisatie te meten. Ondanks het feit dat dit al jaren een belangrijk onderwerp is in de serverwereld, was er nog geen standaardtest voor.
VMmark werkt met zogenaamde 'tegels', die ieder bestaan uit zes virtuele machines. Windows wordt daarbij vertegenwoordigd door Exchange- en Java-servers. Een derde installatie van Server 2003 heeft geen functie, maar dient puur als extra ballast voor de virtualisatielaag. Voor Linux zijn een Apache-webserver, MySQL-database en fileserver meegenomen, alle werkend onder Suse Enterprise. Naast individuele scores voor de virtuele machines berekent VMmark ook een totaalscore voor het fysieke systeem. Door meerdere tegels tegelijk te laten draaien kan die eindscore verder opgekrikt worden. Het bedrijf heeft twee jaar aan de test gewerkt om een representatief geheel te krijgen, onder andere in overleg met zijn klanten en leveranciers van soft- en hardware.
Om te laten zien hoe de benchmark werkt heeft men twee bijna identieke HP Proliant DL380G5-servers met 2,66GHz Xeons en 32GB geheugen naast elkaar gezet, de een voorzien van dualcores en de ander van quadcores. Met een en twee tegels (dus zes en twaalf virtuele machines) was er nog geen noemenswaardig verschil in prestaties te merken. Bij drie tegels bereikte de dualcore-machine echter zijn limiet, waardoor de quadcore-machine voor het eerst duidelijk beter scoorde. Zelfs bij vier tegels hadden de quadcores nog een klein beetje ruimte over, zodat ze uiteindelijk op een 70% hogere eindscore uitkomen met vijf tegels, oftewel dertig virtuele machines. Ondertussen is de SPEC overigens ook nog bezig met het ontwikkelen van een virtualisatietest. VMware zegt dit initiatief onverminderd te blijven steunen.
