BenchDB update - Week 28

Terwijl het Nederlands Elftal vorige week woensdag de verloren halve finale tegen Portugal speelde, werd op het Tweakers.net-kantoor in Amersfoort de laatste hand gelegd aan onze geheel vernieuwde StorageMark 2004-testmethodiek. De ontwikkeling van de nieuwe testmethodiek begon in mei met het maken van in totaal 27 traces voor de desktop, gaming en workstationsuites. In juni werd de ontwikkeling van de serversuite gestart. De laatste twee van in totaal vijftien tests werden vorige week voltooid. Het betrof hier twee scenario's van een Exchange 2003 mailserver.

Het resultaat mag er wezen, want de nieuwe benchmark suite is een enorme verbetering ten opzichte van onze vorige testmethodiek, die toch al geen slecht figuur sloeg in verhouding met de zeer beperkte testmethoden van andere websites en de meeste magazines. Naast een aantal algemene applicatietests, gebaseerd op de Winstone 2004 applicatiebenchmark, bestaan de desktop en workstationsuite uit een groot aantal tests van I/O intensieve taken zoals het kopiëren van bestanden, het draaien van een virusscanner, het defragmenteren van een partitie, het installeren van software en het installeren van patches van Windows Update. In de workstationsuite bevinden zich onder andere traces van audio editing software, het strippen van een dvd rip en het laden en saven van een grote file in Photoshop met de bijbehorende disk I/O van de Photoshop scratch files. Gamebenchmarks waren in StorageMark 2003 nog volledig afwezig. In de 2004 editie bevinden zich traces van acht games die samen met een Windows XP boot trace en een game installatie trace de Gaming StorageMark 2004-suite vormen.

Het uiteindelijke doel van al deze tests is het creeëren van een betrouwbare prestatieindex voor de vier toepassingsgebieden desktop, gaming, workstation en server. Deze vier prestatieindices vormen samen met een vijfde index voor de prestaties van externe en draagbare harde schijven de kern van de nieuwe testmethodiek.

De omvang en strekking van StorageMark 2004 is uniek voor het internet. Dat geldt zeker voor de benchmarks uit de serversuite, die voor het eerst de prestaties van harde schijven en RAID-adapters meten onder workloads van échte serversystemen. Tot op heden werd voor het testen van server I/O performance vrijwel unaniem gebruik gemaakt van het programma IOMeter. Met deze tool kunnen toegangspatronen samengesteld worden aan de hand van criteria zoals de verhouding lees/schrijf I/O's, de grootte van transfers, het aantal openstaande I/O's en de verhouding tussen willekeurige en sequentiële I/O. De factor lokaliteit, het verschijnsel dat achtereenvolgens opgevraagde gegevens dikwijls bij elkaar in de buurt liggen, kan met IOMeter niet ingecalculeerd worden. Dit is een groot gebrek omdat lokaliteit in real world toegangspatronen veelvuldig voorkomt, niet alleen bij desktoptoepassingen maar ook bij servertoepassingen waar gegevens van een record in een database dicht bij elkaar in de buurt liggen of logfiles naar centrale plekken op de harde schijf weggeschreven worden. De puur synthetische toegangspatronen van IOMeter zijn ideaal voor het testen van de invloeden van toegangstijden en command queuing optimalisaties, maar zij voldoen niet voor het uitvoeren van realistische server simulaties. Alleen de workloads van database-servers die puur willekeurig gegevens uit een database opvragen, kunnen enigzins benaderd worden met IOMeter.