Testlog augustus 2006: processors en harde schijven

In het afgelopen half jaar heeft Tweakers.net gestaag gewerkt aan het opvoeren van de testactiviteiten, wat zich onder andere heeft vertaald naar reviews van serverplatformen, beeldschermen, RAID-adapters, harde schijven en videokaarten. Een onderdeel dat niet in dit lijstje mag ontbreken is de processor, het hart van iedere computer. Sinds juli zijn er daarom de nodige inspanningen geleverd om een testmethodiek voor processors en systemen te ontwikkelen en om testresultaten te verzamelen. Doordat de release van de Core 2 Duo met twee weken was vervroegd, waren we helaas te laat om Intels nieuweling met een passende review te verwelkomen. In plaats daarvan hebben we onze aandacht gericht op het ontwikkelen van een uitgebreide testsuite en het uitvoeren van tests voor een 'Core 2 Duo workstation upgradeguide', waarin een Athlon 64 3000+ wordt opgewaardeerd naar een Core 2 Duo-systeem met verschillende kloksnelheden en geheugen- en diskconfiguraties.

De nieuwe CPU-testsuite omvat diverse applicatie-, game- en low-level benchmarks. De nadruk ligt op multi-tasking en encodingprestaties, omdat dit het gebied is waar verschillen in processorprestaties het meest tot uiting komen in de praktijk. Daarnaast is een processor uiteraard van belang voor de gameprestaties. De suite bestaat uit de volgende benchmarks:

De Photoshop CS2 Filtertest vormt de basis van drie benchmarks, één met Photoshop in de voorgrond en twee in een multitasked opstelling met respectievelijk Adobe Lightroom beta 3 en Neat Image 5.5 in de achtergrond. Lightroom is een nieuwe en veelbelovende applicatie die de workflow van digitale fotografen ondersteunt. Hoewel het programma nog in betastadium verkeerd, kan het in potentie uitgroeien tot een populaire applicatie. Het importeren van RAW-bestanden in Lightroom neemt veel tijd in beslag en veroorzaakt naast een hoge processorbelasting tevens een aardige aanslag op de prestatiereserves van de harde schijf. Het is daarom een taak die je het liefst in de achtergrond laat draaien, terwijl je op de voorgrond bijvoorbeeld bezig bent met het bewerken van foto's in Photoshop. Lightroom is nog niet perfect multi-threaded maar is wel in staat om een dual core-systeem voor ongeveer 70 procent te belasten.

Neat Image is een bekende ruisverwijderaar. Naast een plugin voor Photoshop is het tevens een standalone applicatie die de mogelijkheid biedt om afbeeldingen in batches van ruis te ontdoen. Ook dit genereert een hoge processorbelasting. Het wegschrijven van ruisvrije afbeeldingen in lossless TIFF-formaat veroorzaakt bovendien veel schrijfactiviteit op de harde schijf. In onze test, die op de snelste systemen ruim 6½ minuut duurt, wordt er zo'n 1,7 gigabyte aan TIFF-files weggeschreven. Neat Image is multi-threaded en kan dus goed gebruikmaken van de mogelijkheden van systemen met meerdere cores.

De Photoshop CS2 Filtertest voert een groot aantal bewerkingen uit in diverse Photoshop-filters op een set van vijf foto's, waarvan twee met een resolutie van 6MP en drie met een resolutie van 10MP. De filters hebben een vrij groot 'My First Photoshop'-gehalte en zullen in de praktijk niet door veel mensen gebruikt worden. De test slaagt er goed in om een scenario te simuleren waarin een gebruiker door het openen en bewerken van meerdere grote afbeeldingen en het uitvoeren van undo-acties het geheugengebruik van Photoshop over de zeik helpt. Dit kan grote gevolgen hebben voor de prestaties, zeker als er ook andere geheugenvretende applicaties in de achtergrond draaien. De Photoshop-benchmarks zijn daardoor zeer geschikt om de algehele systeemprestaties te benchen en kunnen een goede indicatie geven van de invloed van de processor, het geheugen en storage op de performance. De filtertest meet overigens enkel de tijd die de filters nodig hebben om hun acties uit te voeren en niet de tijd die nodig is voor het inladen van de afbeeldingen. Deze invloed is wel zichtbaar in de multi-tasking benchmarks, waar het de prestaties van Lightroom en Neat Image beïnvloedt.

De Business Winstone 2004 Multitasking Test is een applicatiebenchmark die een multitaskende gebruiker simuleert in software zoals Internet Explorer, Outlook, Access, Word, PowerPoint, Excel, Norton Anti-Virus en Winzip. De programma's worden in de benchmark gedeeltelijk naast elkaar gedraaid, waarbij bijvoorbeeld PowerPoint in de voorgrond actief is terwijl in de achtergrond de virusscanner draait of bestanden in een Winzip-archief worden samengeperst. Om te kijken wat er van de multitasking prestaties en de responstijd overblijft draaien we de Business Winstone 2004 Multitasking Test tevens met Quicktime Pro 7.1 H.264 video-encoding in de achtergrond. Video-encoding is een taak bij uitstek die veel tijd inneemt en waarvoor extra cpu-performance nooit kwaad kan. Het is ook een taak waar niemand op wil wachten. De rasechte tweaker zal zijn systeem willen blijven gebruiken met behoud van een redelijk prestatieniveau, ook als er toevallig meerdere applicaties naast het encodingproces moeten draaien. Quicktime Pro 7.1 is multi-threaded, maar kan quad core-systemen niet voor meer dan circa 50 procent belasten.

Speciaal voor gamers wordt er tevens een multitasking test gedraaid waarin een dvd backup wordt gemaakt met DVDShrink terwijl in de voorgrond wordt gegamed in Oblivion. Verder wordt er een single-tasked encoding test gedraaid in Windows Media Encoder 9 x64. Met uitzondering van Winstone 2004 worden alle benchmarks uitgevoerd onder Windows XP Pro x64. Van Cinebench R9.5, LAME, 7-Zip en Windows Media Encoder worden bovendien de x64-versies getest. Al deze benchmarks zijn multi-threaded, hoewel LAME en 7-Zip niet nuttig gebruik kunnen maken van meer dan twee cores.

De afgelopen weken hebben we zo'n 150 uur benchwerk geïnvesteerd in de samenstelling van een 'Core 2 Duo workstation upgradeguide'. In deze upgradeguide zal de price / performance van een aantal Core 2 Duo-processors in combinatie met verschillende geheugen- en diskconfiguraties onderzocht worden. Het uitgangspunt van de upgradeguide is een Athlon 64 3000+ Socket 754-systeem met 1GB RAM en een 160GB 7200rpm SATA-disk. Dit was een configuratie in de periode eind 2003 en begin 2004 veel populariteit genoot. Het is aannemelijk dat veel mensen, die destijds een high-end Athlon 64-systeem hebben aangeschaft, inmiddels de overstap willen maken naar een snellere configuratie. Een upgrade naar een zeer goed presterende Core 2 Duo-processor is daarbij een voor de hand liggende keuze.

Voor deze guide testen we drie Core 2 Duo-processors; de E6400 met een kloksnelheid van 2,13GHz en een L2 cache van 2MB, de E6700 met een klok van 2,67GHz en 4MB L2 cache en de Extreme X6800 met 4MB L2 cache en klokfrequentie van 2,93GHz. De processors worden getest met 1GB en 2GB DDR2-800-geheugen in combinatie met vier verschillende diskconfiguraties. Dit zijn single disk configs met een oudere Maxtor DiamondMax Plus 9 SATA-schijf en een nieuwe Raptor WD740ADFD. Daarnaast wordt er getest met vier Raptor WD740ADFD's in RAID 10 op de onboard Intel-controller en een RAID 5-configuratie van vier disks op een Areca ARC-1280 PCI Express SATA RAID-controller. De prestaties van deze high-end 24-poorts controller zijn represenatief voor een 4-poorts Areca ARC-1210, die met een gehalveerde cache van 256MB weliswaar iets minder presteert maar niet significant in performance verschilt. Het RAID 10-array op de onboard controller geeft tevens een goed beeld van de prestaties van een RAID 0-configuratie met twee schijven. Omdat er getest wordt met workstationapplicaties hebben we uiteraard de voorkeur gegeven aan een redundant RAID-level. Niemand wil immers zijn kostbare data toevertrouwen aan een RAID 0-array.

De RAID 5-configuratie op de Areca-controller verschaft inzicht in de vraag of een configuratie van kleinere en goedkopere harde schijven op een dure controller beter kunnen presteren dan een RAID 10-array van grotere en duurdere harde schijven op de 'gratis' onboard controller. Een praktijkvoorbeeld is de keuze tussen enerzijds een Areca ARC-1210 met vier Raptor WD360ADFD's in RAID 5, die voor een prijskaartje van circa 775 euro een effectieve capaciteit van 108GB biedt, of een onboard RAID 10-config van vier Raptor WD740ADFD's, die tegen inlevering van 600 euro 146GB capaciteit levert.

Op dit moment hebben we volledige resultaten beschikbaar van de Core 2 Duo E6400 met 1GB en 2GB RAM, en gedeeltelijke resultaten van de E6700 en Extreme X6800 met de Areca ARC-1280. In de onderstaande grafieken zijn de voorlopige resultaten afgebeeld. De grafieken zullen automatisch geupdate worden met nieuwe resultaten zodra deze in de Benchmark Database worden geplaatst.

De hoeveelheid geheugen heeft geen al te grote invloed op de prestaties in de Business Winstone 2004 Multitasking test. Dat is niet vreemd omdat er in deze benchmark wordt gebruikgemaakt van officeapplicaties die per definitie niet met grote datasets werken. Het investeren in een snellere harde schijf is wel zinvol. De Core 2 Duo E6400 is met de Raptor WD740ADFD en 1GB RAM reeds een tikkeltje sneller dan de configuratie met de Maxtor DiamondMax Plus 9 en 2GB RAM. Een upgrade naar RAID 10 levert ook een aardige prestatieverbetering op, maar de Areca-controller in RAID 5 presteert niet beter dan de onboard controller in RAID 10. Zoals verwacht mag worden, neemt het verschil tussen 1GB en 2GB geheugen af naarmate de disks sneller worden.



Het draaien van QuickTime video-encoding in de achtergrond heeft een grote invloed op de prestaties. Haalde de E6400 met 2GB RAM en de Raptor WD740ADFD zonder QuickTime nog een score van 4,0, in de test met QuickTime in de achtergrond is het resultaat bijna gehalveerd tot 2,1. Het verschil tussen 1GB en 2GB is groter geworden, maar snellere disks hebben met 2GB RAM juist minder invloed op de prestaties. Dit geldt ook voor de resultaten van QuickTime, die gemeten zijn in seconden. Een lagere score is dus een beter resultaat. In zowel de resultaten van Winstone als QuickTime hebben de disks een zeer grote invloed op de prestaties als het systeem slechts met 1GB RAM is uitgerust. Het systeem is met 1GB echter nooit sneller dan met 2GB, zelfs als er een RAID 10- of RAID 5-configuratie wordt gebruikt.

De hoeveelheid geheugen heeft een forse invloed op de prestaties in de Photoshop CS2 Filtertest als er een single 7200rpm of 10.000rpm harde schijf wordt gebruikt. In RAID 10 en RAID 5 is het verschil tussen 1GB en 2GB RAM aanzienlijk kleiner. Ook in deze test geldt dat de prestaties met 1GB niet beter zijn dan met 2GB geheugen, zelfs als een snelle RAID-configuratie wordt vergeleken met een trage 7200 toeren schijf. De Athlon 64 3000+ heeft 363 seconden nodig om de filtertest af te werken. Hij is daarmee een factor 1,7 trager dan de Core 2 Duo E6400 met 1GB RAM en de Maxtor DiamondMax Plus 9.



De invloed van de harde schijfprestaties wordt veel groter als Lightroom in de achtergrond bezig is met het importeren van RAW-bestanden. Deze test hebben we alleen op de Areca-config met 1GB RAM kunnen uitvoeren omdat de filtertest faalde op alle andere configuraties met 1GB geheugen. De filtertest simuleert toetsaanslagen om Photoshop te bedienen, en kennelijk zorgde de belasting van Lightroom voor een zodanige vertraging dat bepaalde windows in Photoshop niet in beeld kwamen terwijl het benchmarkscript deze wel verwachtte. Daardoor mislukte de filtertest met 1GB RAM keer op keer. De grote write-back cache op de Areca-controller zorgt ervoor dat het systeem een stuk responsiever blijft, waardoor de filtertest in deze configuratie wel met 1GB uitgevoerd kon worden.

Vergeleken met RAID 10 op de onboard controller is de Areca-controller in de Photoshop en Lightroom multitaskingtest voor het eerst duidelijk sneller. Op het importeren van 199 RAW-afbeeldingen bespaart de Areca bijna 51 seconden ten opzichte van onboard RAID 10 en tweeënhalve minuut ten opzichte van een enkele Raptor WD740ADFD. Dit op een totale importtijd van 15 minuten en 46 seconden voor de Raptor WD740AFD. Photoshop heeft een kwart minder tijd nodig om z'n filters af te werken. De Athlon 64 3000+ deed met 1,5GB RAM 439 seconden over de filtertest en 2332 seconden (bijna 39 minuten) over Lightroom.





In de test met Neat Image in de achtergrond heeft de E6400-configuratie met 2GB RAM en de Raptor WD740ADFD een kleine inzinking: hij presteert niet beter dan de configuratie met de in principe tragere Maxtor DiamondMax Plus 9. Het gebruik van snelle RAID 10- en RAID 5-configuraties resulteert in een merkbare verbeteringen van de Photoshop-prestaties, maar heeft alleen invloed op de tijd die Neat Image nodig heeft voor het ruisvrij maken van de fotoshoot als er een relatief trage configuratie met een enkele disk wordt gebruikt. De kloksnelheid van de processor heeft wel een zeer grote impact op de prestaties van Neat Image. De Core 2 Duo Extreme X6800 is 32,7 procent sneller dan de 37,5 procent lager geklokte Core 2 Duo E6400. De Athlon 64 3000+ deed 405 seconden over de filtertest en was 1820 seconden (ruim een half uur) druk in Neat Image.

Eén van de opmerkelijke zaken die aan het licht kwam bij het uitvoeren van onze benchmarks is de invloed van Cool 'n' Quiet en PowerNow op de prestaties. Zoals bekend mag zijn, verlagen Cool 'n' Quiet en PowerNow dynamisch de kloksnelheid en de spanning van de CPU core naar gelang de processorbelasting. Deze technologie wordt door Microsoft Demand Based Switching (DBS) genoemd. Algemeen wordt aangenomen dat DBS geen invloed heeft op de prestaties. Dit blijkt echter toch het geval te zijn bij applicaties die geen langdurige volledige belasting van de processor veroorzaken, maar wel afhankelijk zijn van een snelle responstijd. Een voorbeeld is de Photoshop CS2 Filtertest, waarin er meestal slechts voor korte tijd sprake is van een hogere processorbelasting. De processor zal dan in een fractie van een seconde de kloksnelheid verhogen, maar in de korte tijd dat de processor op een lagere kloksnelheid draait wordt wel een slechtere performance geleverd. Het probleem wordt verergerd door een bug in de scheduler van Windows XP SP2, die de threads van een single-threaded applicatie soms tussen cores verplaatst. Op systemen met DBS zorgt het verplaatsen van de threads ervoor dat de Windows kernel power manager zich soms vergist in de performance state waarin een processor zich zou moeten verbinden. Omdat de thread steeds verhuist tussen de cores lijken de afzonderlijke cores minder druk dan het gehele systeem eigenlijk is.

Voor de bovenstaande bug is sinds eind vorig jaar een hotfix verkrijgbaar voor de 32-bit versie van Windows XP. De x64-versie heeft nog geen fix, maar AMD heeft wel een Dual-core Optimizer uitgebracht waarvan de werking verband lijkt te houden met het bovenstaande probleem. De resultaten van onze benchmarks wijzen uit dat het performanceprobleem met Cool 'n' Quiet onder 32-bit Windows deels verholpen is, maar onder x64 zijn er ook met de nieuwste AMD processordrivers en de Dual-core Optimizer nog veel benchmarks die negatief worden beïnvloed door Cool 'n' Quiet en PowerNow.

Hieronder zijn een aantal resultaten onder 32-bit Windows van een dual processor systeem met een Opteron 2216 engineering sample. Het dual core power managementprobleem is op quad core systemen het ergst omdat threads tussen vier verschillende cores verhuist kunnen worden.

	Business Winstone 2004 Multitasking Test - Windows XP 32-bit
	Dual AMD Opteron 2216		DC Hotfix		No PN		2,31
	Dual AMD Opteron 2216		DC Hotfix		PN		2,29
	Dual AMD Opteron 2216				PN		2,19

	Multimedia Content Creation Winstone 2004 - Windows XP 32-bit
	Dual AMD Opteron 2216		DC Hotfix		No PN		41,2
	Dual AMD Opteron 2216		DC Hotfix		PN		37,3
	Dual AMD Opteron 2216				PN		35,8

Onder Windows x64 zien we ondanks AMD's Dualcore Optimizer forse verschillen tussen tests met en zonder power management. De Photoshop CS2 Filtertest wordt er zo'n 15 procent trager door op de Athlon 64 FX-62 en zelfs 20 procent op de dual Opteron 2216. De verschillen zijn kleiner als Neat Image in de achtergrond draait en de cores dus vaker maximaal belast worden en op de hoogste kloksnelheid draaien. De resultaten van de Opteron 2216 zijn overigens niet vergelijkbaar met die van de andere processors, omdat de Opteron werd getest met een Areca ARC-1280 en vier Raptors in RAID 5, terwijl de andere cpu's met een enkele Raptor werden gebenched.



Ook in games, zoals Oblivion, hebben Cool 'n' Quiet en PowerNow invloed op de prestaties. Het verschil is kleiner in Quake 4 met de 1.03 patch, die ondersteuning biedt voor dualcores. Kennelijk worden de cores dankzij multithreading beter op kloksnelheid gehouden.



Demand based switching heeft geen invloed op de prestaties als de cores continu volledig worden belast en het power management er dus voor zorgt dat de cores op de hoogst mogelijke klokfrequentie draaien. De multithreaded Cinebench R9.5-renderingbenchmark zorgt voor een continue maximale belasting van alle cores.


Uiteraard moet wel rekening gehouden worden met het feit dat Cool 'n' Quiet en PowerNow voor een aanzienlijke stroombesparing zorgen als het systeem idle is of gedeeltelijk belast wordt. Vooral bij de dual Opteron is de besparing groot.


Op het moment van schrijven hadden we de Core 2 Duo-processors nog niet getest zonder EIST. Het is aannemelijk dat EIST een minder grote invloed heeft op de prestaties omdat de cpu cores minder ver worden terruggeklokt. De Core 2 Duo E6400 draait idle op 1,6GHz, oftewel 33 procent minder dan de optimale kloksnelheid van 2,13GHz. De Athlon 64 FX-62 wordt daarentegen bijna een factor drie lager geklokt van 2,8GHz naar 1,0GHz.

In onze AMD Socket F Databasetest heb je kunnen lezen dat Tweakers.net vlak voor de introductie van het Socket F-platform de beschikking kreeg over twee Opteron 2216 engineering samples. De processors, draaiend op een kloksnelheid van 2,4GHz, hebben we ook onderworpen aan onze workstationtests. De Socket F Opteron werd getest op een MSI MS-9185-moederbord met 2GB DDR2-667-geheugen en een Areca ARC-1280 met vier Raptor WD740ADFD's in RAID 5. Binnenkort zullen we tevens een systeem testen met Intels nieuwe Woodcrest Xeon-processor. Op dit moment kunnen we enkel resultaten vergelijken met de Core 2 Duo-processors. Uit die vergelijking blijkt dat de dual Opteron ondanks een dubbel aantal cores in veel tests moeite heeft om de snelste Core 2 Duo's bij te houden. De onderstaande resultaten van de Core 2 Duo E6400, E6700 en Extreme X6800 werden tevens verkregen op een RAID 5-configuratie met de Areca ARC-1280.

De Dual Opteron 2216 levert beroerde prestaties in de Business Winstone 2004 Multitasking Test. Met QuickTime video-encoding in de achtergrond worden de verschillen ten opzichte van de Core 2 Duo E6700 en X6800 een stuk kleiner. De tijd die de dual Opteron nodig heeft voor het renderen van het filmpje is het laagste van alle processors. Een dual Woodcrest zal de Opteron in deze test echter hard voorbij knallen.




De dual Opteron haalt geen voordeel uit zijn vier cores in de singletasked Photoshop-benchmark. Als Lightroom in de achtergrond meedraait zijn de prestaties van Photoshop weliswaar goed, maar blijft de tijd die Lightroom nodig heeft voor het importeren van de RAW-bestanden ver achter bij de tijd van de Core 2 Duo-processors.




In de multitaskingtest met Neat Image presteert de dual Opteron 2216 slechter dan de 215 euro kostende Core 2 Duo E6400. De tijd van Neat Image is ook niet om over naar huis te schrijven. Weliswaar weet de dual Opteron 2216 net de E6400 achter zich te laten, maar de achterstand ten opzichte van de Core 2 Duo E6700 en Extreme X6800 is aanzienlijk.

In juni is Tweakers.net begonnen om naast de bekende Best Buy Guides voor systemen ook koopadvies voor losse componenten te doen. In juni en augustus werden achtereenvolgens een videokaarten en lcd Best Buy Guide gepubliceerd. Voor de volgende (oktober)editie is een storage Best Buy Guide gepland waarin koopadvies wordt gegeven over harde schijven en storage adapters. Omdat we ons advies bij voorkeur willen baseren op eigen testmateriaal hebben we samples aangevraagd van diverse harde schijven. Daarnaast zijn er in de afgelopen maanden al veel tests van RAID-adapters gedaan. Helaas is de beschikbaarheid van harde schijven bij de PR-afdelingen van de meeste fabrikanten tamelijk problematisch. Inmiddels druppelen de resultaten echter toch langzaam de database binnen. Een aantal daarvan laten we hieronder zien.

Over het algemeen kan gesteld worden dat de prestatieverschillen tussen 7200rpm harde schijven beperkt is. Alleen de Western Digital WD2500KS heeft een duidelijke achterstand ten opzichte van de andere 7200 toeren schijven. Wie een hoger prestatieniveau zoekt kan zijn heil dus beter zoeken in RAID dan in een zo snel mogelijke enkele disk.




Binnenkort zullen in ieder geval nog de Deskstar T7K500, Travelstar 5K160 en Ultrastar 15K147 van Hitachi aan de Benchmark Database toegevoegd worden. Tevens hebben we plannen om een SAS RAID-vergelijking te doen van de LSI Logic MegaRAID SAS 8480E en ICP Vortex ICP5085BR aan een Dell storage array met vijftien 15.000 toeren SAS-harde schijven.