StorageMark 2006 testmethodiek

Twee jaar geleden introduceerde Tweakers.net met zijn StorageMark 2004- testsuite één van de meest uitgebreide methodieken voor het testen van de prestaties van harde schijven en RAID-configuraties. De desktop-, workstation- en serversimulaties uit deze testmethodiek waren gebaseerd op de schijfactiviteit van échte applicaties. De resultaten van de StorageMark 2004-testsuite waren te zien in diverse reviews van harde schijven en RAID-adapters, waarvan de mega vergelijking van Serial ATA RAID 5-adapters uit januari 2005 het grootste wapenfeit was. In een jaar tijd werden er bijna 600.000 pagina's opgevraagd, waarvan 420.000 uit de engelstalige versie. Inmiddels zijn diverse desktopapplicaties opgevolgd door nieuwe versies en is er dankzij de komst van betaalbare dual-core processors ook op de desktop steeds vaker sprake van parallelle I/O. Het werd daarom tijd om de ervaringen die Tweakers.net in de afgelopen jaren heeft opgedaan met het testen van harde schijven en RAID-controllers om te zetten in een vernieuwde testmethodiek: StorageMark 2006.

Het uitgangspunt van de testmethodieken van Tweakers.net is altijd geweest om harde schijven en RAID-configuraties in de meest realistische omstandigheden te testen. Er zijn verschillende tools beschikbaar om de prestaties van harde schijven te meten. De meeste daarvan gaan niet verder dan het benchen van sequentiële transfer rates en gemiddelde toegangstijden, wat vergelijkbaar is met het testen van de topsnelheid van auto's op een lang recht stuk en op een slalomparcours. Het levert leuk cijfermateriaal op als ondersteuning van een review maar je kunt er geen oordeel over de prestaties van een auto - of in dit geval een harde schijf of RAID-controller - op bouwen. Simpele tooltjes zoals ATTO Disk Benchmark, HDTach, HDTune en Sisoft Sandra - iedereen kent ze wel - zijn daarom niet bruikbaar om storage performance op een realistische wijze te testen.


Een andere testmethode die wordt toegepast is het gebruik van applicatiebenchmarks om de systeemprestaties te meten. Applicatiebenchmarks simuleren de handelingen van een gebruiker in echte applicaties en meten de responsetijd per handeling. Dit kan zeer realistische tests van de systeemprestaties opleveren, maar voor het vergelijken van harde schijfprestaties zijn dergelijke benchmarks minder geschikt. De invloed van de harde schijf op de prestaties in deze tests wordt over het algemeen bewust laag gehouden. Het opstarten van Word en het opvragen van een klein document roepen op moderne systemen bij de gebruiker geen verlangens naar koffie op. Anders is dat wanneer er een virusscan in de achtergrond draait en er tegelijkertijd met grote bestanden wordt gewerkt in Photoshop. Dit soort scenario's komen niet voor in de bekende applicatiebenchmarks Winstone, SysMark en PCWorldbench. Omdat de invloed van de harde schijf klein is, is het lastig om een goed beeld te krijgen van de prestatieverhoudingen tussen verschillende harde schijven of RAID-configuraties. Het is denkbaar dat een RAID-formatie die twee keer zo snel is als een enkele harde schijf het resultaat van een applicatiebenchmark met slechts vijf procent kan verbeteren.

Tijdmetingen van harde schijfintensieve handelingen lijken een goed alternatief, maar hebben ook nadelen. Het is moeilijk om buiten eenvoudige filecopies een repetitieve test op te stellen. Filecopies alleen zijn niet representatief voor de prestaties van harde schijven en RAID-configuraties. Voor andersoortige tests geldt dat ze moeilijk samengesteld kunnen worden en dat andere onderdelen in het systeem buiten de harde schijf, I/O controller en I/O bus een grote invloed op de prestaties uitoefenen, waardoor de resultaten vertekenen. Ook zijn tijdmetingen arbeidsintensief, wat het testen van RAID-adapters bemoeilijkt. Een 8-poorts RAID-adapter met ondersteuning voor de RAID-levels 0, 1, 10 en 5 zal al snel in tien verschillende configuraties getest moeten worden. Dit proces moet bij voorkeur zo veel mogelijk geautomatiseerd kunnen worden. Het is voor Tweakers.net niet te verantwoorden om iemand in dienst te nemen die fulltime een benchmark komt babysitten.

Gelukkig is er een testmethode die aan al onze wensen voldoet. Intel IPEAK Storage Performance Toolkit bevat tools waarmee harde schijfactiviteit getraceerd en gereproduceerd kan worden. Hiermee wordt het mogelijk om harde schijven en RAID-adapters met realistisch schijfgebruik onder exact gelijke omstandigheden te testen. Storage Performance Toolkit kan traces maken van elke mogelijke schijfactiviteit op een Windows-systeem, zodat harde schijven en RAID-configuraties in een groot aantal scenario's getest kunnen worden. Het afspelen van de traces kan grotendeels geautomatiseerd worden. Zonder tussenkomst van de gebruikers voert de benchmarktool alle traces uit onze StorageMark-testsuites uit. Na een paar uur retourneert hij het resultaat in de vorm van een gemiddelde responstijd per I/O per test. Voor het gemak (en onder het motto "groter is beter") wordt deze gemiddelde responstijd door ons omgerekend naar I/O's per seconde. Een dubbel aantal I/O's per seconde betekent simpelweg dat de betreffende configuratie twee keer zo snel is in de gebruikte workload. Duidelijker kan niet. De processorprestaties hebben geen significante invloed op de prestaties. Alleen de performance van de harde schijven, de I/O controller (en diens I/O processor en cachegeheugen) en de bus zijn van belang. De performance scaling van een RAID-adapter kan daardoor erg mooi uitgebeeld worden, zoals de onderstaande grafiek laat zien:


Onze ervaring is dat de metingen van de rauwe I/O performance door IPEAK Storage Performance Toolkit nauwkeurig overeenkomen met de gevoelsmatige prestatiebeleving van de gebruiker. Uiteraard moet er wel rekening mee gehouden worden dat een verdubbelde I/O performance niet direct een verdubbeling van de systeemprestaties betekent. Als de harde schijf of RAID-configuratie de gegevens sneller kan aanleveren dan de processor deze kan verwerken, zullen de prestaties beperkt worden door de CPU. Deze factor heeft geen invloed op de resultaten van onze tests.

StorageMark 2006 is ontwikkeld met de doelstelling om harde schijven in RAID-configuraties onder waarheidsgetrouwe omstandigheden te kunnen testen. De nadruk ligt daarbij op situaties waarin er sprake is van zwaar schijfgebruik. Anders gezegd: de situaties waarin de prestaties van het storagesysteem een merkbare vertraging kan veroorzaken. Dat is nauwelijks het geval als eenvoudige office-applicaties in een "sequentiële" (single-tasked) volgorde worden gebruikt om kleine documenten te bewerken, maar wel als zwaardere workstation workloads aan bod komen en de gebruiker meerdere handelingen tegelijkertijd uitvoert. Als er een grote file copy, een dvd transcode, een virusscanner of een andere zware taak in de achtergrond draait, loopt de power user niet meer automatisch naar de koffie-automaat, maar verwacht zonder grote aantasting van de performance door te kunnen werken. Met de hedendaagse dual-core desktopprocessors en snelle Serial ATA RAID-configuraties is dat zeker mogelijk. Ook de kosten van een dergelijk systeem hoeven niet meer uit de hand te lopen. De taak van Tweakers.net is om uit te zoeken welke oplossingen de beste price/performance bieden.