Door Femme Taken

UX Designer

Tweakers.net StorageMark 2003 testmethodiek

29-03-2003 • 22:28

47

Multipage-opmaak

Inleiding

Harddisk / harde schijf aankondigingspicje (67x67)Binnenkort kun je op Tweakers.net de eerste prestatievergelijkingen van SCSI-harde schijven en SCSI-controllers verwachten. Op latere termijn zullen ook reviews van desktop ATA-harde schijven en bijbehorende controllers volgen. Om de prestaties van deze producten op een doortastende en vooral representatieve wijze te kunnen testen, heeft Tweakers.net een uitgebreide storage testmethodiek samengesteld - door de marketing- en PR-afdeling van Tweakers.net in grootse bewoordingen 'StorageMark 2003' genoemd . Hoewel StorageMark 2003 ook de low-level prestaties van het storagesysteem test, ligt de nadruk op de real world performance in server-, desktop- en workstationtoepassingen.

De ontwikkeling van een eigen testmethodiek was noodzakelijk omdat er in tegenstelling tot benchmarks voor processors, chipsets, videokaarten en algemene systeemperformance nauwelijks gestandaardiseerde en complete oplossingen voorhanden zijn voor het meten en analyseren van harde schijf-prestaties. Het gevolg daarvan is dat het merendeel van de hardwaresites en computermagazines hun tests baseren op eenvoudige metingen van de sequentiële transferrates en de gemiddelde toegangstijd, wat volstrekt ontoereikend is om een beeld te kunnen geven van de prestaties in real world desktop- en serveromgevingen. De snelheid waarmee de gegevens van de platters gelezen kunnen worden en de gemiddelde toegangstijd, bepaald door het toerental van de schijf en de snelheid waarmee de koppen zich kunnen verplaatsen, hebben weliswaar een grote impact op de prestaties, maar geven zeker niet het complete beeld. De derde factor, namelijk de effectiviteit van de cache- en de lees/schrijf-strategieën van de schijf, wordt niet meegewogen.

Schijftoren

De grootte van de cache en de optimalisatie van de cachestrategieën kunnen een grote invloed hebben op de real world performance. Zo zijn veel SCSI-harde schijven geoptimaliseerd voor een willekeurig toegangspatroon, waardoor zij naar verhouding beter presteren in servertoepassingen en relatief minder presteren in desktopapplicaties. Een bijkomend nadeel van veel gebruikte benchmarkprogramma's zoals ATTO en HDTach is dat de resultaten door de korte duur van de test nauwelijks repetititief zijn. Ter illustratie: een HDTach-run is binnen een minuutje gepiept, terwijl uw dappere reviewer zeven uur van bijna onafgebroken schijfgeroffel moet doorstaan om een complete run van de Tweakers.net testsuite af te (laten) leggen.

Het ontbreken van een gestandaardiseerde oplossing voor het benchen van harde schijf-prestaties bracht ons ertoe om een eigen testmethodiek samen te stellen. StorageMark 2003 is gebaseerd op ZD Winbench 99, VeriTest Winstone, Intel IPEAK Storage Performance Toolkit en Intel IOMeter. Tevens hebben we dankbaar gebruik kunnen maken van de bevindingen en de research van StorageReview.com, de authoriteit op het gebied van harde schijf-reviews. Met behulp van Winstone en IPEAK Storage Performance Toolkit werden opnames gemaakt van harddiskbenaderingen door allerlei bekend applicaties uit het dagelijkse leven, zoals Microsoft Office, Adobe Photoshop, Macromedia Dreamweaver en Norton Anti-Virus. De resulterende benchmark geeft een concreet en objectief beeld van de prestaties van een harde schijf tijdens dagelijks gebruik.

Testconfiguratie

Eerlijke en repetitieve prestatievergelijking zijn alleen mogelijk als er sprake is van een stabiele samenstelling van de testconfiguratie. Omdat de tests in eerste plaats tot doel hebben om de prestaties van de harde schijf of de I/O controller te meten, dienen bottlenecks met betrekking tot de I/O performance van overige onderdelen in het systeem zoveel mogelijk voorkomen te worden. Een mogelijke bottleneck is de trage 32-bit 33MHz PCI-bus, die op alle desktopmoederborden is terug te vinden. De effectieve bandbreedte van PCI32/33 komt met 110 tot 120MB/s al aardig in de buurt van de maximale sequentiële transfer rate van de snelste SCSI-harde schijven van dit moment. SCSI RAID-systemen kunnen niet eens meer getest worden op eeen PCI32/33-bus zonder dat de bus een belemmering voor de prestaties vormt. Gelukkig hoeven systemen met een snellere 64-bit 66MHz PCI-bus niet veel te kosten. Het is tegenwoordig standaard aanwezig in vrijwel alle servers en high-end workstations. Moederborden gebaseerd op de AMD 760MPX-chipset, die ondersteuning heeft voor PCI64/66, zijn al verkrijgbaar vanaf 230 euro. De PCI64/66-bus rijdt hard genoeg om de bandbreedte-behoeften van een single channel Ultra320 SCSI RAID-controller te bevredigen. De bredere en snellere bus zorgt niet alleen voor een verhoging van de bandbreedte, maar ook voor een verlaging van de latencies.

Asus A7M266-D

Bij de samenstelling van het testsysteem is onze keuze daarom gevallen op het A7M266-D dual Athlon moederbord van Asus. Het moederbord wordt aangevuld door twee Athlon XP 2400+-processors, 1GB PC2100 ECC registered DDR SDRAM en een Matrox G550 videokaart. Als bootdisk voor het besturingssysteem en de benchmarkprogramma's dient een oude 7200 toeren harde schijf van IBM.

Tekram DC-390U4B Ultra320 SCSI controller

Om te voldoen aan de nieuwste standaarden werd onze zoektocht naar een geschikte SCSI-host bus adapter beperkt tot een exemplaar met ondersteuning voor het Ultra320 SCSI-protocol. Was er enkele jaren geleden nog een bont gezelschap van fabrikanten actief in de markt voor SCSI-controllers, inmiddels is het aantal door afval en consolidatie teruggebracht tot twee. QLogic, één van de laatste standhouders in het inmiddels voorbije Ultra160-tijdperk, heeft zijn focus verlegd naar optische storage technologiën en Storage Area Networks. Daarmee werd de verdeling van het slagveld een zaak tussen Adaptec en LSI Logic.

Een uitgebreide test van Ultra160 en Ultra320 SCSI-host bus adapters heeft uitgewezen dat er onder normale omstandigheden geen significante prestatieverschillen bestaan tussen de verschillende controllers. De Tekram DC-390U4B, gebaseerd op de LSI Logic 53C1030-controller, heeft betere desktopprestaties dan de Adaptec 29320 en levert betere prestaties onder een extreem hoge I/O belasting. De Adaptec 29320 presteert daarentegen marginaal beter in de serversimulaties onder een lichte tot gemiddelde belasting. Uiteindelijk is de keuze gevallen op de Tekram DC-390U4B, mede vanwege het feit dat Tweakers.net dankzij de vriendelijke medewerking van Tekram Duitsland en distributeur SMG Benelux een exemplaar van de DC-390U4B kreeg gedoneerd. Het voornaamste minpunt van de Tekram DC-390U4B, of beter gezegd de daarop gebruikte LSI Logic chipset, is de consequente drop-off van de prestaties bij een queue van 64 uitstaande I/O's. Onder en boven 64 uitstaande I/O's presteert de LSI chipset gelijk aan of beter dan de Adaptec 29320. De Adaptec controller is al bij een queue van 32 I/O's uitgeschaald, waardoor de LSI chipset gemakkelijk langszij kan gaan zodra hij is bekomen van de inzinking bij 64 uitstaande I/O's.

Tweakers.net StorageMark 2003 - Overall desktop performance - Cheetah 15K.3 (IOps)
Tekram DC-390U4B 410,6
Adaptec 29320LP-R 380,7
Adaptec 29320LP-R vs Tekram DC-390U4B Fileserver performance op Cheetah 15K.3

Alle benchmarks zullen uitgevoerd worden onder Windows XP Professional. Windows XP is het meest gebruikte desktopbesturingsysteem onder de bezoekers van Tweakers.net, en daarmee vanzelfsprekend het beste OS om de tests op uit te voeren. Bij de samenstelling van onze eigen desktopbenchmarks is om dezelfde reden Windows XP als basis genomen. Windows XP-gebruikers met een SCSI-schijf zullen gemerkt hebben dat WinXP out of the box belabberde prestaties neerzet op SCSI-schijven die zijn geconfigureerd als Basic Disk. Het probleem wordt veroorzaakt door een te voorzichtige writeback-cachingstrategie die moet voorkomen dat gegevens bij stroomuitval verloren kunnen gaan. Om tot een goede SCSI-performance te komen wordt het besturingssysteem van de testmachine daarom gepatched met de laatste updates van Windows Update en worden de schijven geconverteerd naar Dynamic Disks. Naar verluid werkt Microsoft aan een hotfix die de SCSI-problemen kan verhelpen zonder de eerder genoemde workaround tot uitvoering te brengen.

Low-level benchmarks

Hoewel Winbench 99 al ruim drie jaar oud is, laat deze tool zich nog uitstekend gebruiken voor het meten van sequentiële transfer rates (STR's). Winbench 99 geeft resultaten van zowel de buitenste als binnenste sporen en kan een grafiek plotten van de STR's over het gehele schijfbereik. De Winbench-tests zijn uitvoeriger en daardoor betrouwbaarder dan de tests van simpele tools zoals ATTO en HDTach. Om toch een eenvoudige vergelijking mogelijk te maken met de STR's van je eigen harde schijven worden er in de reviews van harde schijven ook ATTO-resultaten opgenomen.

Winbench 99 v2.0 - Sequentiële transfer rates - Begin (MB/s)
Seagate Cheetah 15K.3 75600
Seagate Cheetah X15-36LP 60200

Voor het meten van de gemiddelde toegangstijd en de processorbelasting wordt gebruik gemaakt van Intel IPEAK Storage Performance Toolkit. IPEAK SPT is een erg krachtige tool waarvan de ondersteuning helaas enkele jaren geleden is stopgezet door Intel. Een onderdeel van het programma is AnalyzeDisk, dat een uitgebreide analyse kan doen van de low-level prestaties van de harde schijf. Daarbij worden eigenschappen zoals de gemiddelde toegangstijd, effectiviteit van de cache, effectiviteit van command queuing, processorbelasting, buffer transfer rates en media transfer rates gemeten. In tegenstelling tot Winbench is IPEAK SPT ook in staat om gescheiden metingen te doen van de gemiddelde lees-toegangstijd en de gemiddelde schrijf-toegangstijd.

De low-level metingen van IPEAK SPT leveren interessante grafieken op die weliswaar niet altijd eenvoudig te doorgronden zijn. In de reviews zul je waar toepasselijk in ieder geval metingen tegenkomen van de gemiddelde toegangstijden, de buffer transfer rates en de processorbelasting. De CPU belasting wordt gemeten bij een zeer hoge I/O-rate van 3.000 requests per seconde. Hedendaagse SCSI-schijven en SCSI-controllers hebben namelijk geen noemenswaardige processorbelasting bij een laag aantal IOps. Indien de andere tests uit het arsenaal van AnalyzeDisk interessante of opvallende verschillen laten zien, zullen ook daar analyses van worden opgenomen in het artikel.

AnalyzeDisk - CPU belasting bij 3.000 IOps (%)
Tekram DC-390U4B (LSI 53C1020) 3,23
Koutech 898B (LSI 53C1010-66) 3,86
Adaptec 29160N (Adaptec AIC-7850) 4,38
Advance 29161 (QLogic ISP12160A/66) 5,84
CPU: AMD Athlon XP 1,85GHz - HDD: Seagate Cheetah 10K.6

Een voorbeeld van een opvallend verschil zijn de onderstaande resultaten van de Read Response Surface-analyse door AnalyzeDisk. De Read Response Surface maakt duidelijk welk bereik van lokaliteit door het cache-algoritme bedekt wordt. Op de z-as van de grafiek is de 'stride' weergeven. Dit is de ruimtelijke afstand in sectoren ten opzichte van het originele punt waarop de schijfbenadering plaatsvond. De distance op de x-as is de afstand in tijd waarin de benadering plaatsvond ten opzichte van de eerste benadering. De tijd wordt in dit geval uitgedrukt in het aantal tussenliggende schijfbenadering na de originele schijfbenadering. Op de y-as is de responsetijd weergegeven.

Seagate Cheetah 15K.3 firmware v3 AnalyzeDisk Read Response Surface
Seagate Cheetah 15K.3 Read Response Surface

Seagate Cheetah X15-36LP firmware v22 AnalyzeDisk Read Response Surface
Seagate Cheetah X15-36LP Read Response Surface

In de bovenste grafiek is de Read Response Surface van de Seagate Cheetah 15K.3 met firmware revisie 0003 afgebeeld. Daaronder is afgebeeld de grafiek van de Cheetah X15-36LP met firmware revisie 0022. Het is duidelijk zichtbaar dat de verder geëvolueerde firmware van de X15-36LP een betere (of in ieder geval andere) cachingstrategie heeft. De response is vooral veel beter bij negatieve strides, dus bij benadering van een blok dat zich bevindt achter het punt van de originele schijfbenadering. Negatieve strides worden totaal niet gecached door de 15K.3. De responsetijd is vrijwel gelijk aan de omwentelingstijd, die vier milliseconden bedraagt bij een 15.000 toeren harde schijf.

* Legacy performance

Eerder in dit artikel heb je al kunnen lezen dat er een gebrek is aan goede harddisk-benchmarksoftware voor het meten van real world performance. Winbench 99 is één van de weinige benchmarks waarmee het wél mogelijk is om dergelijke tests uit te voeren. De Business Disk WinMark en High-End Disk WinMark tests stammen helaas nog uit het Windows 98-tijdperk en zijn gebaseerd op sterk veroudere applicaties onder een sterk verouderd besturingssysteem met een filesystem dat nauwelijks meer in gebruik is. Omdat zaken zoals caching en command queuing door het besturingssysteem een grote invloed kunnen hebben op de prestaties en omdat hedendaagse applicaties andere eisen stellen aan de harde schijf, kunnen de Winbench tests niet meer als representatief beschouwd worden. Omdat is gebleken dat de resultaten van de Disk WinMark-tests erg sterk fluctueren hebben we bij nader inzien besloten om ze niet op te nemen in de reviews. Verder is het vreemd dat de Frontpage 98-test uit de High-End Disk WinMark-suite hogere transfer rates haalt dan de maximale bandbreedte van de PCI-bus. Blijkbaar worden er gegevens door het besturingssysteem gecached. Een betrouwbare meting van de harddisk-performance is daardoor onmogelijk.

Winbench 99 v2.0 - High-End Disk Winmark - 3x Cheetah 10K.6 stripe (MB/s)
Testrun #1 45700
Testrun #2 47500
Testrun #3 44600

Winbench 99 v2.0 - High-End Disk WinMark - Frontpage 98 (MB/s)
3x Cheetah 10K.6 stripe op PCI32/33 bus 231000

Desktop en Workstation performance

De eerder genoemde IPEAK Storage Performance Toolkit bevat naast het onderdeel AnalyzeDisk ook de onderdelen Win32 Tracing Kit, AnalyzeLocality, AnalyzeTrace en RankDisk. Met behulp van de Tracing Kit kunnen opnames gemaakt worden van schijfbenaderingen door het besturingsysteem en daarop draaiende applicaties. De opnames kunnen vervolgens met AnalyzeLocality en AnalyzeTrace geanalyseerd worden en met RankDisk opnieuw afgespeeld worden. RankDisk retourneert na het afspelen van de trace de 'average service time' waarmee de I/O-operaties in de trace werden uitgevoerd. Met behulp van Win32 Tracing Kit en RankDisk heeft Tweakers.net een aantal eigen storagebenchmarks samengesteld, die representatief zijn voor algemene Office en Workstation performance en die de prestaties meten van specifieke I/O-intensieve handelingen zoals een virusscan, schijfdefragmentatie, het maken van backups en het installeren van software. De resultaten van de tests worden uitgedrukt in de eenheid IOps. Het aantal I/O operaties per seconde wordt verkregen door een seconde te delen door de average service time.

* Office performance

Het samenstellen van een trace met representatieve schijfbenaderingen is niet eenvoudig. Zoiets zou alleen mogelijk zijn wanneer traces van een groot aantal verschillende computers en gebruikers worden opgenomen. De daaruit resulterende benchmark zou te lang duren om in de praktijk gebruikt te kunnen worden. De huidige StorageMark suite duurt al meer dan zes uur. In plaats van zelf het wiel uit te vinden, hebben we gekozen om onze Office- en Workstation-traces te baseren op bestaande applicatiebenchmarks. VeriTest Winstone is een veel gebruikte applicatiebenchmark voor het meten van processor, chipset en algemene systeemperformance. De Business Winstone-benchmark simuleert een gebruiker die handelingen uitvoert in Access, Excel, Frontpage, PowerPoint, Word, Microsoft Project 98, Lotus Notes, Winzip, Norton Anti-Virus en Netscape Communicator. Sommige applicaties worden gelijktijdig gedraaid waarbij regelmatig tussen de programma's geswitched wordt, net als een gebruiker in werkelijkheid zou doen.

De Officetest bestaat in twee varianten; Light en Heavy. De eerste is een best-case scenario waarbij Business Winstone werd uitgevoerd op een lege ongefragmenteerde schijf met een fris geïnstalleerde Windows XP. Omdat de schijf niet gefragmenteerd is en nauwelijks data bevat, staan alle bestanden dicht bij elkaar en hoeven de koppen relatief weinig verplaatsingen te maken. De Heavy-variant werd opgenomen op een volle en behoorlijk ranzig gefragmenteerde schijf. De Business Winstone-bestanden werden daardoor verdeeld over een breed gedeelte van de ongeveer 30GB grote partitie. Om het schijfgebruik nog iets te verhevigen werden tegelijkertijd met de Business Winstone benchmark een download in Mozilla uitgevoerd en draaide er een WinAMP playlist op de achtergrond. In de onderstaande twee screenshots van AnalyzeTrace zijn de verschillen in de schijfbenaderingen van de Office Light en de Office Heavy trace duidelijk zichtbaar:

AnalyzeTrace - Office Light disk access sequence screenshot
Office Light trace

AnalyzeTrace - Office Heavy disk access sequence screenshot
Office Heavy trace

Tweakers.net StorageMark 2003 - Office Light (IOps)
Seagate Cheetah X15-36LP 529,1
Maxtor DiamondMax 8 Plus 306,7

Tweakers.net StorageMark 2003 - Office Heavy (IOps)
Seagate Cheetah X15-36LP 390,6
Maxtor DiamondMax 8 Plus 210,1

* Workstation performance

De workstationtest is gebaseerd op VeriTest Content Creation Winstone 2002. Deze benchmark bestaat uit Adobe Photoshop 6.0.1, Adobe Premiere 6.0, Macromedia Director 8.5, Macromedia Dreamweaver UltraDev 4, Windows Media Encoder 7, Netscape Navigator 6 en Sonic Foundry Sound Forge 5.0. Evenals bij de Office-benchmark zijn er twee traces gemaakt; een Light-versie op een lege ongefragmenteerde schijf en een Heavy-versie op een gefragmenteerde schijf. De Office Heavy-test gebruikt een groter deel van de schijf en draait op de achtergrond een WinAMP playlist en een download in Mozilla. Gedurende een gedeelte van de test wordt in Nero een cd vanaf de harde schijf gebakken op een gesimuleerde viervoudige snelheid.

Tweakers.net StorageMark 2003 - Workstation Light (IOps)
Seagate Cheetah X15-36LP 420,2
Maxtor DiamondMax 8 Plus 284,1

Tweakers.net StorageMark 2003 - Workstation Heavy (IOps)
Seagate Cheetah X15-36LP 323,6
Maxtor DiamondMax 8 Plus 178,3

* Bootup performance

Blijkens reacties op het forum hechten veel tweakers waarde aan een schijf die Windows rap doet opstarten. Hoewel de harde schijf maar een beperkte invloed heeft op de snelheid waarmee Windows kan opstarten - vooral bij volgepakte systemen met veel componenten is er gedurende de bootup procedure regelmatig sprake van een inactieve harde schijf - hebben we toch een benchmark samengesteld die de bootprestaties meet. De Bootup-benchmark is gebaseerd op traces van vier verschillende Windows XP-pc's. Naast de bootprocedure werden ook automatisch opstartende programma's zoals Norton Anti-Virus en MailWasher in de trace opgenomen.

Tweakers.net StorageMark 2003 - Boot (IOps)
Seagate Cheetah X15-36LP 421,5
Seagate Cheetah 10K.6 340,7

* Archivering

Om de snelheid te kunnen meten waarmee een harde schijf kan archiveren werd een trace gemaakt van het lezen, comprimeren en wegschrijven van ongeveer vijf gigabyte aan gegevens door Winzip. Het lezen van de gegevens en het wegschrijven van de zipfile vond op dezelfde schijf plaats. Omdat de schijf regelmatig moet switchen tussen lezen en schrijven op andere gedeelten van de platters is er sprake van veel kopverplaatsingen. Tijdens het comprimeren was er sprake van lichte schijfactiviteit door andere applicaties die op het systeem draaiden. Dit waren Mozilla, Homesite, Photoshop en een paar kleine proggies zoals MailWasher en FileZilla.

Tweakers.net StorageMark 2003 - Archivering (IOps)
Seagate Cheetah X15-36LP 333,3
Maxtor DiamondMax 8 Plus 177,9

* Backup

Met behulp van NTBackup werd ongeveer 25GB aan data via een gigabit verbinding weggeschreven. Tijdens de backup vond lichte schijfactiviteit plaats van onder andere Mozilla, Homesite en Photoshop. Omdat er tijdens het maken van de backup alleen gegevens van de schijf worden gelezen is het toegangspatroon in hoge mate sequentieel.

Tweakers.net StorageMark 2003 - Backup (IOps)
Seagate Cheetah X15-36LP 740,7
Maxtor DiamondMax 8 Plus 492,6

* Defragmentatie

De defragmentatie-benchmark is gebaseerd op traces van een fragmentatie-analyse en een schijfdefragmentatie door Windows Defrag en O&O Defrag. De traces werden opgenomen op vier verschillende computers; een SCSI workstation, een SCSI server, een internet & office-pc en een laptop. Tijdens het defragmenteren wordt een groot gedeelte van de schijf aangesproken en is er sprake van zeer hoge schijfactiviteit met veel kopverplaatsingen.

Tweakers.net StorageMark 2003 - Defragmentatie (IOps)
Seagate Cheetah X15-36LP 244,3
Seagate Cheetah 10K.6 194,3

* Virusscan

Een andere veel voorkomende I/O-intensieve handeling is het snuffelen naar virussen. Met behulp van Win32 Tracing Kit werden traces gemaakt van een full system virusscan door Norton Anti-Virus op drie verschillende pc's. In totaal werd ruim zes gigabyte door de scanner gepompt.

Tweakers.net StorageMark 2003 - Defragmentatie (IOps)
Seagate Cheetah X15-36LP 609,5
Seagate Cheetah 10K.6 460,1

* Software Installatie

Tenslotte werd een trace gemaakt die representatief is voor de prestaties van een harde schijf tijdens het installeren van grote softwarepakketten. Adobe Photoshop 7, Microsoft Office XP en Corel WordPerfect 2000 werden achtereenvolgens geïnstalleerd. Omdat we allen ongeduldige personen zijn, werden ondertussen wat kleine programma's zoals Nero, Winzip, Acrobat Reader, Mozilla, Homesite en ACDSee geïnstalleerd. Tijdens het opnemen werd meer dan 2,7GB weggeschreven, wat de testschijf hevig deed ratelen. Dat er sprake was van zware foltering op de overigens trage ATA66-testschijf, blijkt uit de disk utilization-analyse van AnalyzeTrace:

AnalyzeTrace - Schijfgebruik tijdens software installatie trace

Tweakers.net StorageMark 2003 - Software Installatie (IOps)
Seagate Cheetah X15-36LP 450,5
Seagate Cheetah 10K.6 361,0

Server performance

Hoewel de IPEAK SPT trace en playback-methode perfect is voor het meten van desktop prestaties, is de methode minder geschikt voor metingen van serverprestaties. Windows is zonder twijfel het dominante platform in de desktopmarkt. Het samenstellen van een workload die representatief is voor een gemiddelde gebruiker van office en content creation applicaties is vrij goed mogelijk met behulp van benchmarkssuites zoals Business en Content Creation Winstone. Hetzelfde kan niet gezegd worden over de situatie in de servermarkt. Hier is een grote diversiteit aan besturingssystemen en applicaties actief die ieder hun specifieke I/O belasting hebben. Het samenstellen van een representatieve trace is daardoor onmogelijk. Bovendien is het maken van traces op productieservers moeilijk te realiseren vanwege het feit dat het installeren en de-installeren van de Win32 Tracing Kit gepaard gaat met een reboot, en dus consequenties heeft voor de beschikbaarheid van de server en daarop draaiende services.

Wat in ieder geval voor vrijwel alle serverapplicaties geldt is dat de schijfbenaderingen een hoge mate van willekeur hebben, verdeeld worden over een groot gedeelte van het schijfoppervlak en dat de requests doorgaans klein van grootte zijn, denk bijvoorbeeld aan het opvragen van een record uit een database of het opvragen van een mailtje op een mailserver. Omdat er nauwelijks sprake is van lokaliteit heeft de cachestrategie een kleinere invloed op de prestaties dan bij desktoptoepassingen het geval is. De toegangstijd van het storagemedium en command queuing optimalisaties door het besturingssysteem, de I/O controller en de harde schijven hebben daarentegen wel een zeer grote invloed op de prestaties.

Intel IOMeter toegangspatroon samenstellen

Met behulp van IOMeter, een tool die evenals IPEAK Storage Performance Toolkit afkomstig is van Intel en inmiddels wordt ontwikkeld onder een open source licentie, is het mogelijk om kunstmatige toegangspatronen samen te stellen aan de hand van factoren zoals de grootte van een request, de verhouding tussen lees- en schrijfoperaties en de de mate van willekeur waarmee een request op een bepaalde positie van de schijf wordt uitgevoerd. IOMeter maakt het mogelijk om simulaties te doen van de kenmerkende willekeurige I/O-patronen van servertoepassingen. De Tweakers.net testmethodiek bestaat uit twee serversimulaties van een fileserver- en webserver-toegangspatroon. Het fileserver toegangspatroon is gespecificeerd door Intel en is afkomstig uit de set workloads die standaard werd meegeleverd bij vroegere versies van IOMeter. De simulatie bestaat voor 80 procent uit leesoperaties en heeft een 100 procent willekeurig toegangspatroon bij requestgroottes van 512 bytes tot 64KB. De test wordt uitgevoerd bij een queue-groote van achtereenvolgens 1, 2, 4, 8, 16, 32, 64, 128 en 256 uitstaande I/O's. De schaalbaarheid van de prestaties bij een stijgende I/O-belasting wordt daarmee duidelijk zichtbaar gemaakt. Elke cyclus heeft een duur van vijf minuten en wordt voorgegaan door een ramp-up tijd van 20 seconden.

Fileserver (Intel)Webserver (SR)
Verhouding read/write80 / 20100 / 0
Random I/O100%100%
512 Bytes10%22%
1KB5%15%
2KB5%8%
4KB60%23%
8KB2%15%
16KB4%2%
32KB4%6%
64KB10%7%
128KB0%1%
512KB0%1%

Het webserver-toegangspatroon is een doorontwikkeling van het patroon dat door StorageReview.com is samengesteld. Het oorspronkelijke patroon van Storage Review gaat uit van 100 procent leesoperaties volgens de gedachte dat een webserver bijna nooit naar de harde schijf moet schrijven omdat vrijwel alle gegevens die van de lokale schijf worden geserveerd statisch van aard zijn. In sommige gevallen is dat inderdaad het geval, bijvoorbeeld bij het webservercluster van Tweakers.net, waarvan de nodes bijna geen lokale logging doen en alle dynamische content uit een database- en fileserver trekken.

Het merendeel van de stand-alone webservers moet echter wel accesslogs, errorlogs en lokale sessieinformatie bijhouden. Omdat de statische files efficiënt gecached kunnen worden in RAM zal het aantal schrijfoperaties naar verhouding hoog zijn. Bovendien zijn veel stand-alone webservers multi-functioneel. Naast een HTTP-daemon draaien zij vaak ook FTP, mail en een kleine database, wat ook de nodige schrijf I/O zal veroorzaken. Het toegangspatroon van Storage Review is daarom aangepast zodat het verhouding lees/schrijfoperaties op 50/50 is komen te liggen. De schrijfoperaties zijn slechts gedeeltelijk willekeurig omdat benadering van de logfiles een hoge mate van lokaliteit hebben. Verder werd er meer gewicht gegeven aan de grotere leesrequests omdat webcontent in de afgelopen jaren is gegroeid door de opkomst van rich media formaten. Ook zullen juist de grotere files minder goed gecached kunnen worden door het besturingssysteem.

RequestgrootteWaarschijnlijkheidLeesoperatiesWillekeurigheid
512 Bytes11%100%100%
1KB7%100%100%
2KB6%98%100%
4KB8%98%100%
8KB8%98%100%
16KB3%99%100%
32KB2%100%100%
64KB2%100%100%
128KB1%100%100%
256KB1%100%100%
1024KB1%100%100%
512 Bytes15%0%85%
2KB10%0%25%
4KB25%0%25%

Temperatuur- en geluidsdrukmetingen

Na de korte overklokhype rond het einde van de jaren negentig, toen geen enkele tweaker zich druk maakte om een ventilator meer of minder, zijn steeds meer mensen zich bewust geworden van de herrie die hun pc produceert. Veel tweakers zoeken naar oplossingen om hun systeem zo stil mogelijk te maken en daartoe hoort ook het selectief gebruik van ventilatoren en harde schijven, welke verantwoordelijk zijn voor het merendeel van de geluidsproductie. In de harde schijf-reviews van Tweakers.net zullen daarom ook geluidsdrukmetingen worden opgenomen. Een Voltcraft geluidssdrukmeter van Conrad wordt gebruikt om metingen te doen van de geluidsproductie bij kopverplaatsingen en inactief gebruik. Het meetinstrument heeft een bereik van 30 tot 130 decibel en is daardoor geschikt voor metingen van zeer stille harde schijven.

Voltcraft geluidsdrukmeter

De meting vindt plaats op een hoogte van vijf centimeter boven het oppervlak van de bovenkant van de schijf. Omdat geringe verplaatsingen van het meetpunt al significante afwijkingen van de meetwaarde kunnen veroorzaken, wordt er gemeten op drie posities: het centrum van de schijfbehuizing, 'mid-voor' (zijde van de ATA/SCSI-connector) en 'mid-achter' (zijde van de LED). Van elke positie worden drie samples genomen waarna het gemiddelde wordt berekend van de in totaal negen monsters. De metingen van de idle geluidsdruk worden met het blote oog van het meetapparaat gelezen. Dit vanwege het feit dat het indrukken van de min/max-knop veelal meer geluid veroorzaakt dan de inactieve harde schijf. De maxfunctie van de Voltcraft-meter wordt waar mogelijk wel gebruikt bij metingen van het seekgeluid. De seekgeluiden worden genereerd met behulp van c't's H2Bench. De DOS-versie van H2Bench wordt vanaf een DOS-bootflop gestart. Tijdens het uitvoeren van de metingen worden de ventilatoren van de voeding en de CPU-koeler stilgezet zodat omgevingsgeluiden geen invloed hebben op de test.

Tweakers.net StorageMark 2003 - Geluidsdruk Idle (dBA)
Maxtor Atlas 10K IV 51,3
Maxtor Atlas 10K III-320 52,8
Tweakers.net StorageMark 2003 - Geluidsdruk Seek (dBA)
Maxtor Atlas 10K IV 60,1
Maxtor Atlas 10K III-320 65,8

De temperatuurmeting wordt uitgevoerd op het centrum van de bovenzijde van de schijf- behuizing. De idle temperatuur wordt gemeten na een half uur inactief gebruik en de temperatuur bij maximale belasting wordt opgenomen aan het eind van de anderhalf uur durende IOMeter-sessie.

Conclusie

Tweakers.net StorageMark 2003 is samengesteld om een waarheidsgetrouw beeld te geven van de schijfperformance onder een groot aantal omstandigheden. Door het gebruik van de trace en playback-methode van Intel IPEAK Storage Performance Toolkit zijn we voor het eerst in staat om prestatiemetingen te doen onder omstandigheden die vergelijkbaar zijn met dagelijks office en (content creation-)workstationgebruik. Door de brede samenstelling van de desktoptests kunnen de specifieke sterke en zwakke punten van een bepaald type schijf worden blootgelegd. De IOMeter-simulaties geven een globaal beeld van de I/O-performance in serveromgevingen en de combinatie Winbench/AnalyzeDisk geeft uitstekend inzicht in de low-level performancekarakteristieken van een harde schijf of I/O controller. Tenslotte geven de resultaten van de geluidsdruk- en temperatuurmetingen nuttige informatie voor mensen die de geluidsproductie en de koeling van hun systeem willen optimaliseren.

In dit artikel heb je al een voorproefje kunnen zien van de reviews die dankzij de nieuwe storage testmethodiek in voorbereiding zijn. In de queue staan een roundup van zes Ultra160 en Ultra320 SCSI-adapters, een prestatievergelijking van hardware en software RAID 5 onder een daarvoor gehackte Windows XP, reviews van de Seagate Cheetah 15K.3, Seagate Cheetah 10K.6, Maxtor Atlas 10K IV, Maxtor Atlas 15K en Western Digital Raptor WD360GD. Voor de tweakers die hun portemonnee niet willen vacuum trekken met de aankoop van dure SCSI-spulletjes is het goed om te weten dat er op latere termijn ook reviews van desktop ATA-schijven zijn gepland .

Reacties (47)

Sorteer op:

Weergave:

Beter !,, maar, kunnen ze ook 2.5 inch harde schijfjes gaan testen ? Sinds ik sinds kort een laptop heb ben ik meer geintereseerd in voornamelijk Size & performance voor 2.5 inch, daar zou zo'n benchmark zoals dit uitstekend van pas komen. Maar m'n volgende aankoop wordt een Firewire Maxtor 250gb voor 400 euro, die nu nog erg prijzig overal ligt :'( .
AuteurFemme UX Designer @Verwijderd30 maart 2003 23:55
Voorlopig heb ik al genoeg te doen. Omdat ik geen dedicated testbak heb kan ik niet fulltime benchmarks laten draaien. In de toekomst wordt dat misschien wel het geval waardoor het benchen van een groot aantal verschillende producten of configuraties sneller gedaan kan worden.
KOmen er ook Solidstate disks aan BOD
http://gathering.tweakers.net/forum/list_messages/572021

sommige zijn misschien nog niet echt te gebruiken vanwege hun prijs maar zou wel een leuke test zijn.
Flash-hdd's worden al vaker toegepast in workstations en high-end en hun prijs is Redelijk.
....een prestatievergelijking van hardware en software RAID 5 onder een daarvoor gehackte Windows XP

Damn, softwarematige raid is dus toch mogelijk onder WinXP... moet maar weer eens googlen hierop.. ;)
AuteurFemme UX Designer @Mc.Boldy1 april 2003 00:36
Het Duitse c't Magazine heeft een patch ontdekt waarmee software RAID 1 en 5 ingeschakeld kunnen worden in Windows XP. Het komt erop neer dat je in een paar bestanden 'SERVERNT' door 'WINNT' moet vervangen en vice versa. Binnenkort volgt een artikel met uitleg en benchmarks (software RAID 5 vs LSI Logic MegaRAID Elite 1600).
Dit zijn de leukste hacks. Simpel maar doeltreffend. Op een dergelijk wijze heb ik een leverancier van Exact ooit de stuipen op het lijf gejaagd. Had men een single user versie uitgeleverd die niet geschikt was voor het netwerk (volgens de leverancier dan). 10 minuten nadat men vertrokken was zaten wij met 2 personen te boeken. Ik praat hier over de good old days (ik meen 1990).
Altijd leuk om ter waarde van enige duizenden guldens software piraterij toe te passen.
Wat voor schaal wordt er bij de grafiekjes van de geluidsmeting gebruikt? Is dat op basis van dat de geluidsdruk per 3 decibel verdubbelde oid?

Gewoon lineair zien ze er eigenlijk niet uit. Het lijkt een beetje op de vertekening in benchmarks waar een stuk weggelaten wordt om het verschil groter te laten lijken oid.
AuteurFemme UX Designer @Jesse30 maart 2003 16:22
De grafiek wordt weergegeven in een lineaire schaal, dus omgerekend vanuit de logaritmische schaal van de meetwaarden.
Ik vat em nog niet helemaal. Je hebt dus 2 waarden, in dBA, en aan die twee ken je een balkje met een lengte toe. Hoe komt die nou tot stand?
Neem de onderste grafiek. Ik deel de bovenste balk door 2 en zet bij de splitsing 30 neer. Dan deel ik de onderste balk door 2 en zet bij de splitsing 33 neer (grofweg). De waarde 33 zit dan verder naar rechts dan de waarde 60 op het bovenste balkje. (En dat snap ik dus niet, dat is toch niet lineair dan?)
AuteurFemme UX Designer @Jesse30 maart 2003 17:18
Bijv. meetwaarde A is 63 dBA. Meetwaarde B is 60 dBA. De lengte van de staaf van de maximale waarde is 300 pixels.

63/3,01 = 20,93
2^20,93 = 1.997.821

60/3,01 = 19,93
2^19,93 = 998.913

Lengte staaf maximale waarde A (1.997.821) is vastgesteld op 300px
Lengte staaf B is (300/1.997.821) * 998.913 = 150 pixels .
Per 3 dBA een verdubbeling dus. :)
Beter, nu wordt T.net een stuk interessanter, als er ook eigen benchmarks en reviews op komen ipv alleen samenvattingen en links (ja en pricewatch natuurlijk :Y) )
Sorry, maar we hebben al eigen reviews sinds 1998.
Ja, maar niet zo veel. Heel weinig van echte hardware, vooral van dingen als Cebit en HCC dagen etc. En hardware reviews op een site zijn veel 1337er :*).
Is gewoon niet waar, maar goed. Het ontwikkelen van zo'n testmethode staat bovendien los van het aantal reviews.
Precies, ik denk niet dat er nou opeens wel regelmatig reviews gaan komen :+
Dus dit gaat zo ongeveer werken als Sysmark, en is dus niet een app om 'ff snel' je sys mee te benchen.

Komt StorageMark bdw (in demo vorm?) ook voor publiek vrij? Zou wel cool zijn als elke tweaker meedoet aan het bouwen van een performance DB :) (net zoiets als de OC DB eigenlijk :D)
AuteurFemme UX Designer @Ruuddie30 maart 2003 23:58
De desktopbenchmarks zijn niet hapklaar te consumeren. De traces die je nodig hebt zijn bij elkaar 113MB groot. RankDisk vernielt de bestaande data op een schijf waardoor je alleen op lege of ongebruikte schijven kunt testen. Het draaien van alle RankDisk tests duurt bovendien zo'n vijf uur.

Als je wilt spelen met IPEAK SPT kun je hier een demo downloaden (spt-v30.zip). De onderdelen van IPEAK SPT mag je elk vijf keer opstarten.
Hmm, ik zie het probleem eigenlijk niet hoor.
Programma's als HD Tach en zo willen ook een lege hd hebben voor de benches :)
En idd, een echte bench duurt gewoon heel lang, zoals SysMark. (wat ik al zei in de post hierboven)
Sorry, maar storage review.. doet dit allang en heeft veel meer ervaring, wat denken jullie daar aan toe te kunnen voegen?
Wat je nu zegt is hetzelfde als
Tom's Hardware en AnandTech leveren al nieuws, waarom doen jullie het nog?
Snappie? :Y)
Ja, maar beide hebben ander nieuws.....de benchmarks zijn verdacth hetzelfde in dit geval en lijken geen noemenswaardige meerwaarde te bieden.
AuteurFemme UX Designer @Verwijderd30 maart 2003 16:19
Wij gebruiken andere traces voor onze IPEAK RankDisk benchmarks dan Storage Review en AnandTech en dus zijn ook de resultaten anders. Storage Review doet alleen office, high-end, game en boot benchmarks, wij doen er veel meer (office en high-end/workstation in een best en worst-case scenario, verder nog virusscans, backup, software installatie enz.). De toegevoegde waarde: Nederlandse reviews, reviews van andere producten, meer en andere benchmarks..
De meerwaarde van een nederlandstalige review zie ik op zich wel, maar het argument dat tweakers.net andere traces gebruikt, zal denk ik alleen resulteren in andere absolute getallen en niet of nauwlijks afwijkende relatieve waardes en conclusies.

We zullen zien.... vol spanning kijk ik uit naar een vergelijkende test van 10k schijven.
Nice,

Kunnen we in de toekomst ook een database van harddisk prestaties verwachten zoals op StorageReview.com ? Zodat men makkelijk meerdere hardeschijven met elkaar kan vergelijken en dergelijke ?

Het lijkt me ongelovelijk veel werk om zo'n complete harddisk te reviewen, dus als de reviewcrew niet uitbreid zal het wel een tijd duren voordat de reviews op de FP verschijnen..

Goede ontwikkeling iig :)

//Edit
Ga je de je je eigen bak gebruiken voor je reviews of heb je de beschikking over een 2e (vrijwel identieke) review bak ?
AuteurFemme UX Designer @The System30 maart 2003 23:53
Ik denk dat je op korte termijn al wel een review (of eigelijk een feature) kunt verwachten :) . De IOMeter en RankDisk tests kunnen automatisch achter elkaar uitgevoerd worden dus dat kost op zich niet veel arbeid. Helaas wil er wel eens wat mis gaan. Bij een mislukte RankDisk test (die in totaal bijna 5 uur duurt) ben je dan al snel een paar uur verloren.
Top test definitie zeg!! Hoop dat er een hoop goede reviews uit mogen komen!

Heb echter een opmerking, de geluidsdruk wordt gemeten op een afstand van 5cm. Dit is een perfecte afstand om zonder al te veel interferentie de verschillende schijven te vergelijken. Echter, hierdoor zijn ook de getallen behoorlijk vertekend en kan ik ze bijv niet zomaar vergelijken met wat bijv een fan produceert omdat standaard het aantal dB op een afstand van 1m wordt gemeten. Is het daarom misschien een idee om naast de 5cm test ook een 1m test te doen?
Ze doen dit op 5 cm afstand omdat je op 1m afstand te veel last hebt van je omgeving. Het geluid van je hdd wordt dus overwelmt door het geluid van je omgeving.
Fabrikanten kunnen hun spullen wel op 1m afstand meten omdat ze daar een afgesloten, akoestische ruimte voor gebruiken.
* 786562 Mullheim
Futuremark zal blij met jullie zijn met zo'n naam :P

edit:

hm, welke gek met nou het geluidsniveau op 5 cm boven de hd... daar ligt mijn oor nou niet echt de hele tijd als ik achter mn pc zit :+

ik zou 10 cm buiten een dichte case meten ofzo, dat is veel representatiever en ook een betere indicatie (want jullie wilden zo graag real-life benchmark ipv syntetische ;))
hm, welke gek met nou het geluidsniveau op 5 cm boven de hd...
Het gaat om de onderlinge verschillen tussen de schijven. De gemeten waarde zal dan ook niet de waarde zijn die je hoort, maar je weet wel wat de stilste schijf op het moment is. Wat je zelf hoort is oa. afhankelijk van de kast die je hebt, hoe je de schijven gemonteerd hebt en waar en hoe je kast geplaatst is.
Dit lijkt mij een juiste meetmethodiek voor een harde-schijf test.
Bij de meeste reviews op t.net staat door welk bedrijfje de review gesponsord is. Die scsi schijven zijn nou ook niet echt goedkoop. Is t.net nu rijk genoeg om dit zelf te betalen of worden jullie weer gesponsord?
AuteurFemme UX Designer @Verwijderd31 maart 2003 00:04
Het is voor ons geen probleem om fabrikanten te laten meewerken aan een review. In dit geval heeft Adaptec vanuit Frankrijk een paar SCSI adapters opgestuurd, Seagate in Frankrijk heeft vijf SCSI schijven opgestuurd en Maxtor heeft vanuit de UK twee Atlassen opgestuurd. SMG Benelux heeft een Tekram SCSI adapter uitgeleend en Tekram Duitsland heeft een (andere) adapter weggegeven. De evaluatieunits moeten naar een paar weken weer terug naar de fabrikant.

Op dit item kan niet meer gereageerd worden.