RAID5-array in Shuttle XPC barebone

LostCircuits heeft een Shuttle XPC barebone tot een ware fileserver omgebouwd. Dit was mogelijk door op een Highpoint RocketRAID 1640 RAID5-controller vier 2,5" harde schijven van Fujitsu, met een capaciteit van 60GB, aan te sluiten. De RocketRAID 1640 is een controller die vier Serial ATA harde schijven in RAID0, 1, 0+1 en 5 kan aansturen. De 1640 heeft geen eigen processor voor het afhandelen van de berekeningen die gepaard gaan met RAID, dit moet worden gedaan door de cpu van het systeem zelf. Uit diverse benchmarks is ondertussen al gebleken dat RAID0, 1 en 0+1 zonder veel performance verlies in software kan worden opgelost. Of dit ook voor software-RAID5 geldt, zal uit de benchmarks die LostCircuits heeft gedraaid moeten blijken.

Als eerste bekijkt LostCircuits hoe snel de Fujitsu MHT2060AH SA Serial ATA harde schijf is. Deze harde schijf is uitgerust met een 8MB cache en de platters draaien 5400 keer per minuut om hun as. Hierna wordt er gekeken hoe snel de RAID-performance is als er twee van deze schijven in een RAID0-array worden gehangen. Als laatste wordt er uiteraard gekeken hoe snel een RAID5-array is met vier van deze schijven. Wat opvalt, is dat de prestaties als enkele schijf of in RAID0 niet slecht zijn voor een 5400tpm 2,5" harde schijf voor laptops. De RAID5 prestaties zijn echter om te huilen. Dit komt omdat bij RAID5 de pariteit moet worden berekend van de data die wordt weggeschreven. Normaal gesproken wordt dit door een speciale processor op de RAID-controller gedaan. In het geval van software-RAID wordt dit echter door de processor zelf afgehandeld, in dit geval een 3,2GHz Pentium 4. Deze blijkt niet echt goed te zijn in dit soort berekeningen, getuige de processoroccupatie die naar 100% stijgt als de harde schijf wordt benaderd. De conclusie is dan ook dat RAID5 in software werkt, maar beter niet gebruikt kan worden in verband met de slechte prestaties.

Reacties (68)

[El Cid]

De conclusie is dan ook dat RAID5 in software werkt, maar beter niet gebruikt kan worden in verband met de slechte prestaties.

Vreemde conclusie. Er zijn toch genoeg tests te vinden waaruit blijkt dat Raid5 in software wel goed te doen is?

[reinhrst]

Volgens mij is het probleem dat ze geen verschil gemaakt hebben tussen leessnelheid en schrijfsnelheid. Voor lezen van een RAID-5 zijn namelijk geen parity berekeningen nodig, alleen voor schrijven, en zou de schijf net zo goed moeten presteren als RAID-0 met 4 schijven (eigenlijk nog beter omdat de data gestiped is.....)

En zelfs met schrijven vind ik het absurd dat de CPU dat niet aan zou kunnen. Een parity berekening is niets anders dan XOR, en die kan in 1 kloktik uitgevoerd worden op 32 bits tegelijk. Dit betekent volgens mij dat een 3.2 GHz processor 3.2*32=1.024 TBit aan data moet kunnen parity-en...

[Verwijderd]

Die berekening duurt niet 1 clocktik. De berekening moet namelijk door de hele pipline van de processor heen, dus per stage van de pipeline 1 clocktik. Bij een p4 20 toch? Verder moet er natuurlijk nog met het RAM geheugen en PCIbus gecommuniceerd worden, weer een paar tikken. Overhead van de driver, OS enz enz. Dus helaas gaat je verhaal niet op.

[edit]
Score 2 (grappig) ??????

[Verwijderd]

@ Olaf
Ik weet niet precies hoe een P4 opgebouwd is, maar er zijn ook persé stages nodig om de instructie uit het geheugen te fetchen, decoderen enz. Misschien dat er een paar XOR's achter elkaar zitten in een pipeline, maar volgens mij kan niet elke stage in de pipeline een XOR functie vervullen.

[edit]
Ik heb even op de Intelsite gezocht en kwam deze tutorial tegen.

http://or1cedar.intel.com/media/training/proc_apps_3/tutorial/index.ht m

Daar valt idd te lezen dat lang niet elke stage XOR functies kan vervullen. Logisch ook, want 1 instructie moet de hele pipline door. Waar je wel gelijk in hebt is dat de pipeline vol blijft zolang er instructies uitgevoerd moeten worden. Zo kom je dan idd aan 1 XOR functie per clocktik in het ideale geval.

[edit 2]
Hé op dezelfde tijd gepost

[Olaf van der Spek]

Dat klopt, maar per stage kan dus 1 XOR operator actief zijn. Effectief kan een XOR dus wel maar 1 kloktik (of zelfs minder) duren.

[Olaf van der Spek]

Klopt, er is maar een stage in de pipeline die de echte XOR functie uitvoert. Maar de andere stages zijn op hetzelfde moment ook bezig (met andere delen van andere (XOR) instructies), waardoor je toch op > 1 instructie/kloktik uitkomt.

Volgens jouw verhaal kan de pipeline maar met een instructie tegelijkertijd bezig zijn en dat is niet zo.

[Roland684]

Dat kan achter elkaar door, wordt de eerste XOR uitgevoerd, dan wordt tegelijk een volgende gedecode en een volgende gefetched.
Eén xor heeft van begin tot eind misschien 20 ticks nodig, maar doe je 10.000 XORs, dan kan dat in 10.019 ticks.
En als je MMX erbij haalt dan zelfs het 4-voudige of meer.

[Verwijderd]

nu deze test overdoen met 10.000rpm schijven en we zijn tevreden

[voodooless]

Idd, 100% CPU voor deze zielige disks is wel erg bagger!

Ik heb met mijn 4x 10K SCSI disks niet eens 5% belasting met software RAID 5 Mijn simpele Athlon XP 2000+ kan 6 GB/sec XOR'en, kun je nagaan wat dit systeem doet... Die 100% CPU zijn dus echt niet nodig!

[Twarp]

Beetje foute opstelling, als je een pagefile op je raid 5 zet moet die controller continue de parity van je pagefile berekenen en dat kost zelfs bij een raid controller die zelf zijn berekeningen doet er veel kracht.

Beter was het geweest als ze het pagefile op een aparte partitie hadden gezet en dan de tests hadden gedaan of wanneer ze het pagefile hadden uitgeschakeld. Helaas was dat (zo snel even) niet terug te vinden in de testopstelling.

Eigenlijk zou dit dus opnieuw gedaan moeten worden. Of de informatieverstrekking moet beter.

[Roland684]

Het moet een bijzonder brakke implementatie van raid5 zijn. op een hardware-raidkaart zit ook maar een eenvoudig processortje. Welliswaar is dat er een die toegespitst is op raid-5 bewerkingen, maar het is absurd dat een processor die elke seconde 100miljoen beeldpunten van een 3D-omgevingen kan berekenen, moeite heeft met een paar miljoen xor-operaties. Op een promise sx6000 zit een 100MHz processortje die fluitend 133MB/s verwerkt (sneller is je pci-bus toch niet), een 3,2GHz processor (25x zo snel in MHz-en alleen al) zou dat niet eens moeten merken.

[rsmits]

op een hardware-raidkaart zit ook maar een eenvoudig processortje.

Dat kan wel kloppen, maar dacht dat er op een RAID5 controller normaal geproken ook nog flink wat cache op zit

[Twarp]

Juist omdat het pagefile op die raid 5 zit moeten er steeds berekeningen gedaan worden om je parity op to date te houden, dat betekend interupts en wachttijden voor je CPU wat resulteert in een 100% belasting. Feitelijk maakt het tot een bepaald nivo niet meer uit hoe snel je CPU is zolang het maar niet te laag is.

[TheBorg]

Allemaal leuk en aardig, maar met 1 10k rpm schijf heb je dezelfde snelheid. Raid 0+1 met 7200rpm notebook schijfjes is IMHO een beter oplossing.

[kakanox]

bestaan er al 7200rpm notebookschijfjes dan? ik heb ze nog nergens gezien..

[Olaf van der Spek]

Weer zo'n waardeloze storage review die nauwelijks verder kijkt dan HD Tach.

[John_Glenn]

Ik ben met je eens dat Lostcircuits geen goede toelichtingen geeft bij hun benches.

Als je vaker storage-artikelen op die site leest, merk je echter dat de reviewer zich wel bewust is van de tekortkomingen van HDTach.

In verschillende artikelen geeft hij aan welke getallen uit benchmarks wel, en welke niet significant zijn.

Idealiter zou hij natuurlijk zoiets als storagereview.com moeten ontwikkelen (wat T.net ook gedaan heeft). Maar zijn zwaartepunt van interesse ligt volgens mij in moederborden. Zie ook de titel van de site: "Lostcircuits, Mainboard Reviews".

Meestal gaat hij vooral diep in op het geheugen-subsystem (logisch, hij werkt voor OCZ), en ook op de voltage-controllers.

Nogmaals, inderdaad zou hij bij zulke HDTach benches wel even een linkje naar zijn inzichten over deze getallen mogen plaatsen.

[latka]

Ik zie bij het booten van Linux toch echt voorbij komen dat mijn arme AMD2600+ processor meer dan 1Gb per seconde kan 'raid5-en'. Zie http://www.linuxgazette.com/issue59/nazario.html bijvoorbeeld voor een K6 die al meer dan 700Mb per seconde doet. M.a.w. zal eerder aan de driver liggen van de kaart. Software raid op moderne hardware hoeft geen bips te kosten op het totaal.

[BWzes03]

Ik zie bij het booten van Linux toch echt voorbij komen dat mijn arme AMD2600+ processor meer dan 1Gb per seconde kan 'raid5-en'.

Je vergeet twee dingen:
1 - hier wordt Windows XP (geen Linux) gebruikt met een RAID controller driver die geen XOR 's in hardware uit kan rekenen, dus in software moet doen
2 - Die 1GB/sec dat Linux op je 2600+ kan XOR'en is in 'idle' modus, dus als de CPU en OS niets te doen hebben.
Als je OS/CPU niets te doen hebben, wordt er dus ook niet geschreven en hoeft het ook geen XOR's uit te voeren......
Dat de CPU belasting naar 100% gaat bij schrijf acties zegt meer over de implementatie van de softwareRAID code in de driver en XP dan over iets anders.

edit:
Overgewaardeerd? volgens mij begreep degene die mij modde mijn reactie niet echt.
De RAID chip die gebruikt wordt, maakt een Hardware bootable, Software controlled RAID set aan. Hierdoor is het een mengelmoes van Software en Hardware RAID.
Een echte hardware RAID oplossing of een echte software RAID is altijd sneller/beter dan dit soort oplossingen. (helaas)

[Verwijderd]

Beetje wonderlijke test.

Als je 'm snel leest, krijg je het gevoel dat ze nergens boven een single disk uitkomen. Bijvoorbeeld gezien de HDtach benchmark die breed uitgemeten wordt. Echter, als je alle plaatjes openklikt, zie je plotseling dat er wel degelijk drievoudige seq. transferrates uitkomen bij het lezen...

En dan dat CPU gebruik... Ze geven zelf al aan, dat hun eigen benchmarks enorm verschillende resultaten geven. Van 3% tot 100%.
Ok... dat is een bekend probleem. (Waar ik nog niemand ooit een een zinnig wordt over heb zien zeggen....)
Maar hun reactie is dan wel erg raar.... Ze gooien al die CPU usage gegevens van de benchmark maar weg, en gebruiken de windows performance monitor ??!!??

Handig... zo kunnen we ten eerste niet vergelijken met andere tests, omdat die alleen de waardes van de benchmark geven. En verder weet je gewoon zeker dat de windows monitor een ruwe indicatie is, en zeer zeker geen benchmark meting!

Een zeer slordige review dus....

De resultaten zijn trouwens wel ongeveer wat je verwacht. Zeer snel in seq. lezen, erg langzaam in schrijven. Typisch RAID-5. Dedicated RAID-5 controllers kunnen die prestate problemen bij het schrijven opvangen met een grote on-board cache. Dat kan dit systeem uiteraard niet.

Hoewel ik denk dat hun getallen te pessimistisch zijn, is een hoge CPU last natuurlijk wel te verwachten. Hoeft opzichzelf geen enkel probleem te zijn. Als je een fileserver wilt bouwen, waarom zou je je dan zorgen maken op de CPU belasting? Er draaien toch geen andere CPU intensieve taken op...

Alleen dan de grote vraag.... Waarom die 2.5" schijven? Je gebruikt een software RAID-5 om kosten te besparen, en gaat dan dubbele uitgaven doen wat betreft de schijven?? En dan schijven die ook nog eens minder presteren dan hun grote broers.

Raar hoor.... Waarschijnlijk dat als je twee normale 3.5" ATA's in RAID-1 zet, je betere prestaties hebt, voor veeeeeel minder kosten.

[418O2]

leuk en aardig, maar 4 hd;s opelkaar in raid5, hoe wil je dat koelen ? De middelste 2 hd's kunnen hun warmte echt niet kwijt..

[Sfynx]

Volgens mij worden die schijfjes sowieso niet zo heel warm hoor.

[Fairy]

dit zijn mobiele disks, die worden een STUK minder warm en daarnaast zit er ook nog eens een fan tegenaan te blazen

[Koffie]

Dat is de fan die de processor koelt.
In een Shuttle zit namelijk een soort heatpipe systeem op de proc zelf.
De heatpipes gaan in een soort haakse hoe naar boven, alwaar een fan de heatpipes (en dus de lucht) afkoelt.
Dat beetje lucht wat hij meetrekt van die HDD's is niet noemenswaardig.
Tuurlijk word een HDD in een laptop amper gekoeld, maar hier worden er wel 4 rechstreeks op elkaar gestapeld.
Enige vorm van koeling lijkt me wel zo handig bij dit project

[MaVl]

Als je heel goed kijkt aan de bovenkant van de foto, dan zie je een klein zwart fannetje, niet dat het echt effectief is als ze zo dicht op elkaar gestapeld zijn, maar toch

[_Thanatos_]

De dingetjes produceren gemiddeld zo'n 3W aan warmte... ik neem aan dat dat genoeg zegt?

[Verwijderd]

"De dingetjes produceren gemiddeld zo'n 3W aan warmte... ik neem aan dat dat genoeg zegt?"

Nee, niet echt.

4*3=12, mijn soldeerbout is 15W en wordt iets van 300(?) graden. En heb je wel eens aan een lampje van 15W gevoeld als het brand? En hoeveel warmte produceert een CPU en hoeveel aandacht besteed men aan de koeling daarvan?

[_Thanatos_]

SisterOfMercy: Kijk hier maar eens. Daar zie je de gedetailleerde specs van die schijfjes. Daar kun je zien dat die 3W nog hooggegrepen was, want eigenlijk is het 2,3W, en in idle zelfs maar 0,85W

(alleen tijdens spin-up 5W, maar dat is zo kort dat ze er niet eens van opwarmen).

Je had er trouwens wel ff bij mogen zeggen dat vinny_142 terug naar school mag omdat die soldeerbout de energie op een heel klein oppervlak uitpoept, terwijl hdd's in 6 richtingen veel grotere oppervlakten hebben om warmte kwijt te kunnen. En dat daarnaast ook nog een stukje van de energie opgaat in herrie.

[SisterOfMercy]

Jij mag terug naar school. Al je natuurkunde overdoen ofzo, want dit lijkt echt helemaal nergens op.

ontopic:
Ik dacht dat een laptop harddisk wel iets meer warmte afgeeft dan 3 watt. Nouja, boeit ook eigenlijk niet, maar een ongekoelde harddisk in mijn laptop wordt in z'n eentje 40 graden. Als ik die laptop niet op voetjes zou zetten dan zou hij eerder naar de 55 graden gaan.
Een beetje koeling is toch wel handig.
Maar ze zullen ze heus niet direct op elkaar gestapeld hebben, en er is toch wel wat airflow aanwezig daar.

[Verwijderd]

"Jij mag terug naar school. Al je natuurkunde overdoen ofzo, want dit lijkt echt helemaal nergens op."

Want?

Als je zo dom iemand gaat afzeiken, vertel dan in ieder geval wat er volgens jou niet klopt.

[TheekAzzaBreek]

Precies. Er wordt hier wel erg makkelijk een slordige conclusie overgepend. Het enige dat je kan zeggen is dat die Highpoint driver het hier slecht doet, maar dat dat komt omdat de P4 'slecht in dit soort berekeningen' zou zijn is kletskoek.

[Verwijderd]

Dan maar een Athlon, overigens het gaat hier om floating point berekeningen als ik het goed heb. Daar is een Athlon in dit geval wel sterker in.

P,S niet flamerig trollerig of etc bedoeld.

[_JGC_]

hoe je dat wilt koelen? sloop jij het harddiskvakje van een laptop maar eens open, die dingen kunnen hun warmte ook amper kwijt.

Dit is meer een projectje "hoe stop ik zoveel mogelijk harddisks in een zo klein mogelijk kastje"

[jvo]

Via geleiding misschien.

[Verwijderd]

Als je goed op het plaatje kijkt, zie je een koeler zitten achter de hardeschijven.

Eerst kijken, dan roepen!

[Verwijderd]

Een raid5 controller en 3 3.5" Harde schijven passen ook in zo'n ding. Je hebt dan alleen geen cd-rom meer. En dan heb je echt een fileserver!

[HADES2001]

Heb je wel beetje gelijk in alleen in zon klein kastje wil ik niet 4 HDD's zo dicht op elkaar gepropt zien anders is het een erg kort levendig file servertje

[Olaf van der Spek]

Met twee 160 gb 7200 rpm schijven in RAID 1 ben je er ook. Is goedkoper en veel sneller.
Alleen is de array dan 20 gb kleiner.

[HADES2001]

Ja maar dan krijg je weer of raid 0 of raid 1 dus of snel of backup en op die manier heb je beidde

[Marc H]

Vraagje aan HADES2001:

Sinds wanneer is raid een backup?

[Olaf van der Spek]

Op welke manier?
RAID 5 met 4 5400 rpm schijven?
Dat is trager dan RAID 1 met 2 7200 rpm schijven.

[Goku33]

Sinds je bij uitval van één van de schijven in een array de data ook nog op één van de andere schijven hebt staan en dus niet in een klap alle data kwijt bent (zoals bij raid0 bij een schijfcrash)

[Marc H]

Goku33:

Dat er een schijfje mag crashen zonder dataverlies betekend nog niet dat je een backup hebt.

beschermt raid ook tegen dataverlies door: defecte controllers, brand, virussen, en stupiditeit van de gebruiker/beheerder? NEE!

Raid 1 en hoger beschermt alleen tegen tijdverlies door uitval van 1 harde schijf, doordat er doorgewerkt kan worden.

dus raid is GEEN backup!

[HADES2001]

Marc H je zegt op defectheid brand virussen of door de gebruikers ?
dan is niks meer veilig
dan is niks meer een backup
elke boerelummel kan wel iets weggooien of wissen
en bij brand is bijna elke backup wel verdwenen zijn weinig systemen daartegen bestemt dus dat is echt gelul
mijn opmerking was meer bedoelt van
4HDDtjes kan je je raid snel maken met meteen op een mirror zodat het tegen uitval kan 2HDD's gaan bijna nooit tegelijk stuk
en 2.5 inch HDDtjes worden totaal niet warm die zijn ervoor gemaakt dicht op elkaar gepropt te zitten

[Olaf van der Spek]

dan is niks meer veilig
dan is niks meer een backup

Hoezo niet?
Een virus kan geen offline backups slopen, wel je online mirrors. Hetzelfde geldt voor het "rm -rf /" 'virus'.
Als ik per ongeluk een bestand wis, kan ik dat van backup terughalen, niet van een mirror.
Backups kun je makkelijk op een andere lokatie opslaan om zo tegen brand beschermd te zijn, mirrors niet.
Etc.
RAID is geen backup!

[MaDMaRTiGaN648]

Een beetje backup oplossing voorziet dus juist wel in dat soort gevallen. Meestal betekent dit dus geografisch gespreide opslag. Server in het ene gebouw, backup in ander gebouw; tapes in brandvrije kluizen, etc.

[Twarp]

RAID is backup als het alleen gaat om het uitvallen van een schijf, niet voor virii of user fouten oid.

Redundant
Array of
Inexpensive
Disks


Of in gewoon nederlands "Fouttolerantie in een goedkope schijfopstelling".

[zenlord]

@ Twearp:
Waar in 'RAID' zie jij 'fouttolerantie' staan?

Redundant = overvloedig
Array = arsenaal
of
Inexpensive = goedkoop
Disks = schijven

of vrij vertaald: het is goedkoper vele kleine schijven in te schakelen dan 1 heel grote (wat ten tijde van de 1 GB-schijven zeker zo was - nu zijn grote harde schijven echter zeer betaalbaar geworden)

@topic:
slechte conclusie. Ofwel scheelt er iets met de controller of driver ervan, ofwel scheelt er iets aan de setup, maar 100% CPU-load is niet normaal te noemen...

[Verwijderd]

kijk eens op http://gathering.tweakers.net/forum/list_messages/706460

[Verwijderd]

Redundant array of INDEPENDANT devices.

Inexpensive wordt het alleen als je goedkope schijven gebruikt, en je kiest juist raid omdat je hogere betrouwbaarheid nodig hebt die goedkope schijven je niet geven.


Waar staat fouttolerant? In het woordje Redundant. Alle data wordt meerdere keren opgeslagen dus als een van de disks een foutje maakt wordt dat opgevangen door de andere _onafhankelijke_ disks.

Tis geen backup, maar zeker wel fouttolerant.

Alleen Striping is niet fouttolerant, de rest is allemaal gemaakt om fouten van schijven op te vangen.

EIDT: Typo

[Sheean]

Zou je zoiets met een batterij ook als draagbare MP3 speler kunnen gebruiken?

[NBK]

Gewoon aan een UPS hangen. Maar ik denk dat er draagbaardere oplossingen zijn
[ontopic]
Dit word trouwens wel het nieuwe toepassings gebied van 2,5" schijven dus eigenlijk is dit wel een interressant verhaaltje.
En RAID5 zal iedergeval niet snel beschikbaar komen met goedkope onboard controllers want dat zijn allemaal software dingen.

[Chatslet]

* 786562 Tha

[Metten]

"Is dat een 4-disk RAID-5 Array in je zak of ben je gewoon blij me te zien?"

[Adm.Spock]

benieuwd wat een XP3200+ Barton doet...

[_JGC_]

Ik denk niet veel meer dan dit. Dat een P4 3.2GHz naar 100% CPU load schiet met RAID-5 zegt mij meer over de brakheid van de drivers dan softRAID-5 op zich. Een Athlon CPU, hetzij XP of 64, brengt daar geen verandering in.

[Spockz]

dan heb je RAID V,
blijf je in PIO mode draaien, nee dat schiet op.