StorageMark 2006 testmethodiek

Twee jaar geleden introduceerde Tweakers.net met zijn StorageMark 2004- testsuite één van de meest uitgebreide methodieken voor het testen van de prestaties van harde schijven en RAID-configuraties. De desktop-, workstation- en serversimulaties uit deze testmethodiek waren gebaseerd op de schijfactiviteit van échte applicaties. De resultaten van de StorageMark 2004-testsuite waren te zien in diverse reviews van harde schijven en RAID-adapters, waarvan de mega vergelijking van Serial ATA RAID 5-adapters uit januari 2005 het grootste wapenfeit was. In een jaar tijd werden er bijna 600.000 pagina's opgevraagd, waarvan 420.000 uit de engelstalige versie. Inmiddels zijn diverse desktopapplicaties opgevolgd door nieuwe versies en is er dankzij de komst van betaalbare dual-core processors ook op de desktop steeds vaker sprake van parallelle I/O. Het werd daarom tijd om de ervaringen die Tweakers.net in de afgelopen jaren heeft opgedaan met het testen van harde schijven en RAID-controllers om te zetten in een vernieuwde testmethodiek: StorageMark 2006.

Het uitgangspunt van de testmethodieken van Tweakers.net is altijd geweest om harde schijven en RAID-configuraties in de meest realistische omstandigheden te testen. Er zijn verschillende tools beschikbaar om de prestaties van harde schijven te meten. De meeste daarvan gaan niet verder dan het benchen van sequentiële transfer rates en gemiddelde toegangstijden, wat vergelijkbaar is met het testen van de topsnelheid van auto's op een lang recht stuk en op een slalomparcours. Het levert leuk cijfermateriaal op als ondersteuning van een review maar je kunt er geen oordeel over de prestaties van een auto - of in dit geval een harde schijf of RAID-controller - op bouwen. Simpele tooltjes zoals ATTO Disk Benchmark, HDTach, HDTune en Sisoft Sandra - iedereen kent ze wel - zijn daarom niet bruikbaar om storage performance op een realistische wijze te testen.


Een andere testmethode die wordt toegepast is het gebruik van applicatiebenchmarks om de systeemprestaties te meten. Applicatiebenchmarks simuleren de handelingen van een gebruiker in echte applicaties en meten de responsetijd per handeling. Dit kan zeer realistische tests van de systeemprestaties opleveren, maar voor het vergelijken van harde schijfprestaties zijn dergelijke benchmarks minder geschikt. De invloed van de harde schijf op de prestaties in deze tests wordt over het algemeen bewust laag gehouden. Het opstarten van Word en het opvragen van een klein document roepen op moderne systemen bij de gebruiker geen verlangens naar koffie op. Anders is dat wanneer er een virusscan in de achtergrond draait en er tegelijkertijd met grote bestanden wordt gewerkt in Photoshop. Dit soort scenario's komen niet voor in de bekende applicatiebenchmarks Winstone, SysMark en PCWorldbench. Omdat de invloed van de harde schijf klein is, is het lastig om een goed beeld te krijgen van de prestatieverhoudingen tussen verschillende harde schijven of RAID-configuraties. Het is denkbaar dat een RAID-formatie die twee keer zo snel is als een enkele harde schijf het resultaat van een applicatiebenchmark met slechts vijf procent kan verbeteren.

Tijdmetingen van harde schijfintensieve handelingen lijken een goed alternatief, maar hebben ook nadelen. Het is moeilijk om buiten eenvoudige filecopies een repetitieve test op te stellen. Filecopies alleen zijn niet representatief voor de prestaties van harde schijven en RAID-configuraties. Voor andersoortige tests geldt dat ze moeilijk samengesteld kunnen worden en dat andere onderdelen in het systeem buiten de harde schijf, I/O controller en I/O bus een grote invloed op de prestaties uitoefenen, waardoor de resultaten vertekenen. Ook zijn tijdmetingen arbeidsintensief, wat het testen van RAID-adapters bemoeilijkt. Een 8-poorts RAID-adapter met ondersteuning voor de RAID-levels 0, 1, 10 en 5 zal al snel in tien verschillende configuraties getest moeten worden. Dit proces moet bij voorkeur zo veel mogelijk geautomatiseerd kunnen worden. Het is voor Tweakers.net niet te verantwoorden om iemand in dienst te nemen die fulltime een benchmark komt babysitten.

Gelukkig is er een testmethode die aan al onze wensen voldoet. Intel IPEAK Storage Performance Toolkit bevat tools waarmee harde schijfactiviteit getraceerd en gereproduceerd kan worden. Hiermee wordt het mogelijk om harde schijven en RAID-adapters met realistisch schijfgebruik onder exact gelijke omstandigheden te testen. Storage Performance Toolkit kan traces maken van elke mogelijke schijfactiviteit op een Windows-systeem, zodat harde schijven en RAID-configuraties in een groot aantal scenario's getest kunnen worden. Het afspelen van de traces kan grotendeels geautomatiseerd worden. Zonder tussenkomst van de gebruikers voert de benchmarktool alle traces uit onze StorageMark-testsuites uit. Na een paar uur retourneert hij het resultaat in de vorm van een gemiddelde responstijd per I/O per test. Voor het gemak (en onder het motto "groter is beter") wordt deze gemiddelde responstijd door ons omgerekend naar I/O's per seconde. Een dubbel aantal I/O's per seconde betekent simpelweg dat de betreffende configuratie twee keer zo snel is in de gebruikte workload. Duidelijker kan niet. De processorprestaties hebben geen significante invloed op de prestaties. Alleen de performance van de harde schijven, de I/O controller (en diens I/O processor en cachegeheugen) en de bus zijn van belang. De performance scaling van een RAID-adapter kan daardoor erg mooi uitgebeeld worden, zoals de onderstaande grafiek laat zien:


Onze ervaring is dat de metingen van de rauwe I/O performance door IPEAK Storage Performance Toolkit nauwkeurig overeenkomen met de gevoelsmatige prestatiebeleving van de gebruiker. Uiteraard moet er wel rekening mee gehouden worden dat een verdubbelde I/O performance niet direct een verdubbeling van de systeemprestaties betekent. Als de harde schijf of RAID-configuratie de gegevens sneller kan aanleveren dan de processor deze kan verwerken, zullen de prestaties beperkt worden door de CPU. Deze factor heeft geen invloed op de resultaten van onze tests.

StorageMark 2006 is ontwikkeld met de doelstelling om harde schijven in RAID-configuraties onder waarheidsgetrouwe omstandigheden te kunnen testen. De nadruk ligt daarbij op situaties waarin er sprake is van zwaar schijfgebruik. Anders gezegd: de situaties waarin de prestaties van het storagesysteem een merkbare vertraging kan veroorzaken. Dat is nauwelijks het geval als eenvoudige office-applicaties in een "sequentiële" (single-tasked) volgorde worden gebruikt om kleine documenten te bewerken, maar wel als zwaardere workstation workloads aan bod komen en de gebruiker meerdere handelingen tegelijkertijd uitvoert. Als er een grote file copy, een dvd transcode, een virusscanner of een andere zware taak in de achtergrond draait, loopt de power user niet meer automatisch naar de koffie-automaat, maar verwacht zonder grote aantasting van de performance door te kunnen werken. Met de hedendaagse dual-core desktopprocessors en snelle Serial ATA RAID-configuraties is dat zeker mogelijk. Ook de kosten van een dergelijk systeem hoeven niet meer uit de hand te lopen. De taak van Tweakers.net is om uit te zoeken welke oplossingen de beste price/performance bieden.

Om tegemoet te komen aan de wensen van de diverse doelgroepen is StorageMark 2006 opgesplitst in zes suites, die op het hoogste niveau zijn ingedeeld in Desktop, Gaming, Workstation en Server StorageMark 2006. Ieder van deze suites probeert een zo compleet en realistisch mogelijke indruk te geven van de prestaties in respectievelijk een desktop/office-omgeving, een gamingpc, een workstation en een server. De workstationsuite kent verder nog een opsplitsing in Graphics Workstation en Audio/Video Workstation StorageMark 2006.

Voor de 2006-editie werden alle traces van de desktop-, gaming- en workstationsuites vernieuwd. De nieuwe traces werden vastgelegd op een dual AMD Opteron 248 2,2GHz met een Western Digital Raptor WD740GD-harde schijf en een GeForce 6800 GTO-videokaart, die via zijn twee dvi-uitgangen gemeenschap had met een 30" Apple Cinema Display en een 17" lcd-scherm. De hoeveelheid geheugen varieerde van 512MB tot 3GB naar gelang de aard van de trace. De officetraces werden gemaakt met 1GB RAM, de zware workstationtraces met 3GB RAM. Dual-core systemen zullen in de toekomst aan populariteit winnen en zijn vanwege het uitlokken van multi-tasking beter in staat om simultane I/O te genereren. Vandaar de keuze voor een dual Opteron-configuratie, die vergelijkbaar presteert met een Athlon 64 X2 4400+.

In de vorige editie werd voor de algemene applicatieperformance uitgegaan van traces van de Business Winstone 2004 en Multimedia Content Creation Winstone 2004. Deze scripted applicatiebenchmarks simuleren de handelingen van een gebruiker in diverse office en content creation applicaties. De software in Winstone 2004 - onder andere Microsoft Office XP, Adobe Photoshop 7.0, Adobe Premiere 6.5 en Norton Anti-Virus 2002 - is inmiddels opgevolgd door nieuwere versies en ook zijn de workloads in Winstone 2004 niet bijzonder zwaar. Het was daarom wenselijk om traces te maken van nieuwere softwareversies in zwaardere workloads. Deze traces zijn er gekomen in de vorm van de Office Workload 2006-, Graphics Workload 2006-, Video Workload 2006- en Audio Workload 2006-traces, waarin gewerkt wordt met grote bestanden in applicaties zoals Office 2003, OpenOffice.org 2.0.1, Photoshop CS2, Illustrator CS, InDesign CS2, Premiere Pro 2.0 en Audition 2.0. Op deze pagina kunnen we je alvast voorlopige resultaten laten zien van diverse single disk en RAID 0-configuraties in een aantal nieuwe traces.



Omdat een second opinion geen kwaad kan, vormen traces van Business Winstone 2004 en Multimedia Content Creation Winstone 2004 zijn nog steeds onderdeel uit van de desktop- en workstationsuites. Deze traces zijn representatief voor lichtere workloads. Business Winstone 2004 Multi-tasking Test, een variant van de BSW2004-benchmark, is een prima scenario voor een multi-tasking office-omgeving en combineert onder andere het werken aan documenten in verschillende, gelijktijdig geopende applicaties met bestandscompressie en virusscans in de achtergrond. Aangevuld met een dvd transcode in DVD Shrink is deze test tevens als Multi-tasked DVD Transcode opgenomen in de testsuite. Een absoluut worst case scenario waarin RAID-configuraties zich van hun beste kant kunnen laten zien.




Om de prestaties te kunnen vergelijken van schijven die specifiek worden ingezet voor het starten van applicaties is er een application startup-trace toegevoegd. In deze trace wordt een groot aantal programma's uit Office 2003, OpenOffice.org 2.0.1, Adobe Creative Suite 2, Macromedia Studio 8 en andere softwarepakketten opgestart en afgesloten. Verder zijn er diverse traces van schijfintensieve handelingen, zoals kopieeropdrachten, defragmentatie, het (de-)installeren van software en het booten van Windows.


De gamingbenchmarks in de StorageMark 2006-editie werden grondig herzien. Er werden traces vastgelegd van niet minder dan vijftien verschillende titels, waaronder Battlefield II, Age of Empires III, FEAR, Quake IV en Half-Life 2.


De serversuite werd onveranderd overgenomen uit StorageMark 2004 en bestaat uit traces van een disk-to-disk backupserver, fileserver, database-server, streaming media server en mailserver in verschillende scenario's. De traces werden vastgelegd op een dual Opteron 244 1,8GHz met 8GB geheugen en een zware SCSI RAID-configuratie. Meer informatie vind je in dit artikel.

In totaal werden er voor de 2006-editie van StorageMark 35 nieuwe traces vastgelegd die tezamen 2,2 miljoen I/O's verwekken en bijna 85 gigabyte aan data verplaatsen. De servertraces voegen daar nog eens 4,39 miljoen I/O's en 155GB dataverkeer aan toe. Meer dan voldoende om een breed en eerlijk beeld te krijgen van de prestaties van harde schijven en RAID-controllers.

Het zou uitermate vermoeiend zijn om in elke review 35 verschillende testresultaten te moeten vermelden. Per suite zal er daarom een gewogen en geïndexeerd gemiddelde berekend worden, waarmee je in één oogopslag kunt zien welke producten het beste presteren in de voor jou relevante workloads. Het indexgetal 100 zal gelijk staan aan de prestaties van de legendarische Western Digital WD360GD. De eerste generatie Raptor vormt een mijlpaal in de geschiedenis van de harde schijf, die op deze wijze wordt geëerd.

De samenstelling van de suites is in het onderstaande overzicht weergegeven. Klik op de tests om een beschrijving, uitgebreide statistieken en testresultaten van de trace te bekijken in de Benchmark Database.

Wil je weten hoe je eigen configuratie presteert in de benchmarks van Tweakers.net, dan kun je de demo van IPEAK Storage Performance Toolkit en de traces uit de StorageMark 2006-suite downloaden in de Benchmark Database. Houdt er wel rekening mee dat de bestaande data op de schijf zal worden overschreven, dus alleen testen op harde schijven en RAID-arrays die (nog) niet in gebruik zijn. De benchmarks kunnen alleen uitgevoerd worden op fysieke drives, dus niet op softwarematige RAID-partities in Windows. RAID-arrays op hostbased RAID-controllers, zoals bijvoorbeeld de SATA RAID-controller van een nVidia-chipset, kunnen wel getest worden zolang deze zich als een fysieke schijf in Windows presenteren. De testresultaten kun je opslaan in de Benchmark Database met behulp van de Bench Manager. Houd er rekening mee dat je de testresultaten van RankDisk moet omrekenen naar I/O's per seconde (1000ms delen door gemiddelde responstijd in ms).

De testmethodiek van Tweakers.net bestaat naast de eerder genoemde workloadsimulaties uit tests van de low-level performance in AnalyzeDisk, ATTO Disk Benchmark, Winbench 99 en IOMeter. AnalyzeDisk is onderdeel van IPEAK Storage Performance Toolkit en is uniek in zijn mogelijkheden om inzicht te geven in de cachingkarakteristieken van harde schijven. ATTO is met name nuttig om de cache transfer rate van RAID-controllers met cachegeheugen te onderzoeken. De dataset van ATTO is namelijk zo klein dat deze makkelijk gecached kan worden door de hedendaagse controllers met meer dan 32MB cache. Winbench 99 is bruikbaar voor het testen van de gemiddelde toegangstijd en de sequentiële transfer rates. Deze tool kan een grafiek produceren van de transfer rate over het bereik van de harde schijf of het RAID-volume.