Universiteit van Tübingen bouwt ATA-backupsysteem

Ome Tom doet verslag van een backupsysteem op de Universiteit van Tübingen, dat geheel opgebouwd is uit standaard IDE-schijven. De 576 schijven worden geleverd door Maxtor en zijn standaard 160GB 5400RPM-schijven, die ten tijde van de installatie de meeste capaciteit boden. Naast de harde schijven wordt gebruikt gemaakt van 3Ware RAID-controllers en dual Athlon MP 1500+-servers. De backups die de universiteit maakt hoeven niet verplaatst te worden en kunnen dus gewoon via de gigabit netwerkverbinding opgeslagen worden op het backup-systeem, dat een totale capaciteit biedt van 69.120GB, wat gelijk staat aan 70 terabyte. Hoewel er meestal gebruik gemaakt wordt van SCSI-schijven of tapes, lijkt dit systeem, dat nu al een jaar in gebruik is, goed te werken. Van de 576 schijven zijn er tot nu toe slechts 3 schijven uitgevallen, waarbij de RAID 5-configuratie er zorg voor droeg dat de hot-spare schijf direct ingezet werd:

The high performance is also a plus for the backup customer: backups and recoveries can be performed at today's top speed, provided there is enough network bandwidth available.

The backup system's cost was some $435,000, including tech support and five years' warranty - but that was the cost in January of 2002. Today, a similar system would be much cheaper or would offer more storage capacity.

Ook fabrikanten van professionele backup-apparatuur werken inmiddels aan vergelijkbare oplossingen.

Reacties (52)

[PASware]

goed bedacht, 5400rpm ATA schijven zijn goedkoop en blijkbaar houden ze het goed uit (0,52% viel uit).

Wel zijn 5400rpm schijven traag, maar als backup schijven voldoen ze zat.

goeie zet van deze universiteit

[Verwijderd]

0.52% viel in het eerste jaar uit, of het over 5 jaar ook nog zo rooskleurig uitziet is nog maar de vraag

[Palmboom]

zeker als ze allemaal tegelijk gekocht zijn en vast ook wel ongeveer gelijk gebruikt zullen worden (raid zet steeds meerdere schijven aan het werk) zul je op een gegeven moment zien dat de een na de ander crasht.

[stunn0r]

zul je op een gegeven moment zien dat de een na de ander crasht.

ja elk systeem komt een keertje aan het eind van zijn levensduur.. lijkt me logisch

[Verwijderd]

Maar vanwege de hot-swap-techniek die ze toepassen wordt elke defecte schijf vrijwel direct vervangen. Uiteraard draait het systeem ondertussen lekker door, tis immers RAID 5.

Dus het systeem vernieuwd zichzelf. Uiteraard vallen alle schijven uiteindelijk een keer uit, maar dat maakt in dit geval helemaal niets uit

[WoRsTjUh]

Met tapes zit je toch ook echt aan een maximale leeftijd van 5 jaar. Daarna zijn ze gewoon niet betrouwbaar meer. Dus of om het jaar extra (dure)tapes inslaan of om de 5 jaar de harddisks vervangen met (HOGERE) capaciteits schijven. Tel uit je winst...

[rsmits]

Wel zijn 5400rpm schijven traag

Tegenwoordig met de grote schijven wordt de data zo dicht op elkaar geschreven dat het verschil tussen een 5400 rpm en een 7200 rpm schijf nauwelijks te merken is.

[tweakerbee]

Het is zeker wel te merken, maar in RAID5 en een backup situatie waarin toegangstijden niet belangrijk zijn is het niet bijster interessant. Dan is het leuker om te kijken naar welke soort schijf het minste uitvalt, en voor die soort schijf te kiezen. Blijkbaar zijn 5400rpm schijven nog een stuk betrouwbaarder (zelf ook in m'n RAID1 array gezet) omdat ze een stuk minder warm worden...

[Femme]

Het is in ieder geval aanzienlijk sneller dan tape. Niet alleen de transfer rate maar ook de toegangstijd. Backuppen en restoren is bijna puur sequentieel lezen en schrijven, dus de transfer rates zullen volledig door het netwerk of eventueel een matig presterende RAID 5 controller gebottlenecked worden.

[Roland684]

Wel zijn 5400rpm schijven traag

Wat een bagger claim zeg. De hier gebruikte schijven doen 43.4MB/sec per stuk en aangezien ze elke schijf maar 1/6 van de data bevat wordt dus een theoretische doorvoer van 260.4MB/s gehaald. Dat is net iets meer dan 2Gb/s. Willen we wedden dat elk ander onderdeel een bottleneck vormt? Welke raid-kaart kan zoveel data verwerken? welke PCI-bus kan zoveel data verwerken? welke processor kan zoveel data verwerken? welke netwerkkaart kan zoveeel data verwerken? De harddisks zijn hier echt niet traag te noemen hoor.

En dat is nog maar over 1 raid setje, als alle arrays in het systeem tegelijk bezig zouden zijn zou er 144Gb aan data per seconde verzet kunnen worden. (Er staan dan ook nog 72 hot spares niets te doen.)

[Verwijderd]

Het lijkt me wel gruwelijk ingewikkeld om dit te beheren en/of te onderhouden. D'r ligt daar iig heel wat kilometer kabel om alles met elkaar te verbinden.

[paknaald]

Ik denk dat dat wel meevalt. Het zijn 'slechts' 576 harde schijven. Als je die een beetje logisch in lades als zulke in een kast zet (ik tel 24 hdds ~ dus waarschijnlijk 32 op een lade) heb je 18 lades - niets in vergelijking met het aantal pc's dat een uni heeft. Geef iedere server een paar raid-kaarten en nummer ze en klaar. Valt er een uit hoef je niet te zoeken want de server vertelt je welke in welke lade uitvalt.

[Femme]

Toch laat de beheersbaarheid van dit systeem wel te wensen over. Het ziet er allemaal nogal gammel uit met die schijven zo in een lade gemonteerd. Swapbays met een LED waarmee een defecte schijf te herkennen is, zou veel handiger zijn. En natuurlijk moet er software zijn waarmee de hele RAID toestand vanuit een centraal punt geconfigureerd kan worden. 192 RAID 5 configuraties los van elkaar beheren is een ramp. Ik denk dat professionele kant en klare oplossingen zoals de BladeStore van StorageTek (ATA storage tot 160TB in 3x 6U) dat beter doen.

[buum]

Ik denk dat professionele kant en klare oplossingen zoals de BladeStore van StorageTek (ATA storage tot 160TB in 3x 6U) dat beter doen.

Ongetwijfeld. Maar, daar moet je dan ook het twee- of drievoudige rekenen (minimaal!) aan apparatuur en ook nog eens een sloot aan licenties voor de beheersoftware voor de NAS die je neerzet. We hebben het hier nl. wel over 70TB.

Ik heb toch zo'n vermoeden dat ze in dit geval de iets hogere TCO voor lief nemen .

[heuveltje]

ehm ben ik het niet echt mee eens.

1 swapbays klinken leuk. maar een 19" rack is maar 14 hd's breed. dus dan bej je al het dubbelle kwijt aan hoogte,

2 ledjes zijn een leuke functie, maar je gaat toch niet al je racks af om te kijken voor een rood lampje.

je word gewaarschuwd door je raid-manager (door mail of sms of weet ik wat) over een disck-probleem

en dan is het 1e array, (1e rij ) 4e disk (4e van links)
dus verwarring lijkt me ook niet echt nodig. en ik weet noet of het hotswappable is, maar bij een backup systeem boeit dat eigenlijk ook niet.

en met 3 disken uitval in het eerste jaar lijkt me dat goed te doen

je hoeft al die raid-drives niet los te beheren, er is een centraal programma dat de aasnturing veroorzaakt. en als alles draait valt er weinig te beheren aan een raidconfig...........

die storage tek die je noemt valt denk ik heel wat duurder uit dan deze oplossing :0

[Verwijderd]

Een goede defecte harde schijf schreeuwt over de daken dat een ledje echt overbodig wordt :-)

[heuveltje]

nee het zijn compacte lades
1 mobo. 3 8voudige raid controllers en 24 schijven
en dan 2 losse hd's voor het os

* 786562 heuveltje

[CARman]

Sja, maar of het nou ATA of SCSI is maakt in dit geval ook niet uit. Als je 576 schijven aan elkaar knoopt, ben je hoe dan ook flink wat meters kabel kwijt. Overigens kun je met de monitoring software van de controllers precies zien wat er speelt en welke schijf e.v.t. niet meer OK is. Als je het zaakje dan netjes gelabeld hebt, kun je die schijf snel traceren en vervangen.

Verder is een uitval van 3 schijven in 1 jaar niet echt veel. Bij ons hebben we een stuk of wat servers staan met SCSI RAID-5 en een mirror. Maar hiervan gingen over iets van 12 servers toch ieder jaar wel een schijfje of 2 - 3 om zeep. En dan praat je dus over 2 - 3 schijven op in totaal iets van 70-80 schijven. Da's heel wat meer dan 3 op 576 stuks. Dus SCSI staat imo niet meer per definitie garant voor een langere levernsduur.

[heuveltje]

wat boeit het aantal kabels nou weer ?
als het 1 keer is aangesloten ga je het tpch niet meer veranderen

[eborn]

Dat mag je hopen van niet nee, anders valt je hele backup principe volgens mij weg.

Behalve als er natuurlijk een systeembeheerder om werk verlegen zit

[Leon]

Een voordeel van tape robots vind ik toch dat ze op 1 tape ivm een harde schijf veel meer opslagcapaciteit hebben.

Ik zou de stroomrekening niet willen zien van deze backupoplossing, en natuurlijk de koeling en het lawaai (hoewel dat laatste niet zo belangrijk is)

[Verwijderd]

Ik zou de stroomrekening niet willen zien van deze backupoplossing, en natuurlijk de koeling en het lawaai (hoewel dat laatste niet zo belangrijk is)

ik denk toch dat (net zoals bij mij) de schijven uit gaan als ze een tijdje niet gebruikt worden, dit om de levensduur en energierekening te besparen.

[Mr.Aargh]

Zestaan in een rekencentrum, de disks worden iet continue gebruikt dus power usage valt mee.
Restoren/access time van de disks is veeeel sneller.

Ik vind het wel een mooie oplossing, niet handig voor offsite use (alhoewel met gebruikte gigabit ethernet de backuplokaties wel een flink eind uit elkaar kunnen staan.

[CARman]

Wel es een bestandje van een (S)DLT terug gezet ?

Eerst ff in het het backuplog terugzoeken welke tape het is ( 70 TB past zelfs niet in een 30 tape SDLT robot ) , is die er niet ( meer ), dan de tape inlezen. Ff 5 minuten zoeken, dan restoren. En hèhè, je bestandje is terecht.

[The Source]

Als er naar kosten gekeken gaat worden dan gaat in veel gevallen de regel "onder een terabyte op banden, boven de twee terrabyte op ide schijven" op. In het gebied daartussen is het net maar afhankelijk van fabrikant / capaciteit / voorkeur.

[mister X630]

onder een terabyte op banden....
boven de 2 terabyte op schijven....

snik...wat moet ik dan met mijn 1.5 terabyte???

[DDX]

vreemd iets in het artikel :

we hebben niet gekozen voor de 12 poorts 3ware omdat :

-pci64/33mhz zit al vol met 8 disken
eh maar deze mainborden hebben echt geen 4 pci bussen hoor, dus kan je netzogoed 2*12 nemen ipv 3*8, je pci bus blijft even vol....

daarnaast trouwens :

linux software raid5 is 32bits, en support dus niet meer dan 2TB per raid device

ging hier tijdje geleden goed mis, toen ik probeerde een 2.5TB raid5 te builden
is nu dus maar een 2TB raid5....

[bkor]

eh maar deze mainborden hebben echt geen 4 pci bussen hoor, dus kan je netzogoed 2*12 nemen ipv 3*8, je pci bus blijft even vol....

Ze hadden gekozen om per 8 HDD's 1 spare en 1 parity HDD te gebruiken. Voor 12 HDD's is de kans op uitval groter dan 8, logischer om voor 3x8 te gaan.

[Captain Pervert]

Tsja, echt fijne reclame voor Maxtor is dit natuurlijk niet. Het zijn 5400rpm schijven die al vele jaren op de markt zijn, en die weinig warmte produceren. Een uitvalspercentage van ongeveer 0.52% in het eerste jaar vind ik best veel, eigenlijk? Natuurlijk worden ze elke dag tenminste 1x intensief gebruikt, maar ja... Ik schrok ook al van de uitkomsten van de t.net HDD-defect-poll van een aantal weken geleden.
De (IDE) HD is eigenlijk helemaal niet zo betrouwbaar, en als in een jaar tijd 35,7% van de geënqeuteerden geconfronteerd wordt met tenminste één kapotte schijf (of die nu DOA was of 10 jaar oud), vind ik Raid-1 geen overbodige luxe voor thuisgebruik...

[Roland684]

Is de 160GB schijf al vele jaren op de markt?
1.5 jaar geleden werd hij aangekondigd: http://www.tweakers.net/nieuws/18394

0.52% vind ik best weinig, Ik heb nog lang geen 200 schijven bezeten en toch zijn er al meer dan 1 kapot gegaan. Ik schat dat mijn persoonlijk harddisk-uitvalpercentage over het eerste jaar rond de 10 tot 20 % ligt.

[LMC]

Waarom nou in godsnaam schijven i.p.v. tapes?

"The answer, and the pro-IDE arguments, are very straightforward: it's the economy, stupid. If you look at the ratio of available hard-drive capacity to price, SCSI drives make a pretty poor showing. The cost factor gets even more painful the higher you go. For the price of one 147-GB SCSI hard drive, you can buy three modern IDE hard drives, each with 200 GB and up. Now that's straightforward."

En een groot tape-sys is veel duurder in de opzet dan deze IDE variant.

[Munters]

Het is niet alleen de economische kant hoor.
Zo'n backup op schijven kan heel handig zijn als volgt:

Zet dat hele rack op wieltjes. Neem dan zo'n rack per dag. Je rijdt een zo'n rack uit de kluis (liefst vanaf een andere lokatie) en plugt deze in. Het oude rack (met de backup) gaat naar de kluis.
Het hele rack systeem gedraagt zich dus als 1 grote tape die je verwisselt.

Maar nu het grote voordeel: het "hoofdrack" crash'ed volledig (smelt weg ofzo).
Dan hoef je dus geen backup terug te zetten, maar plugt gewoon het hele laatste backup rack op de plaats van het originele rack en draait direct zonder physiek bestanden te moeten terugplaatsen.

En als je het dan helemaal goed wilt doen zijn je backup-racks geen backup systemen, maar zijn de racks als raid-0 (gespiegeld) geconfigureerd. Dus je plugt je backup-rack voor die dag in en het systeem repliceert gewoon alles. Je hebt dus geen backup-op-een-moment, maar een doorlopende backup totdat je het rack loskoppeld.

En ja, dit soort oplossingen bestaan echt.

[MikeyMan]

Ligt het aan mij of is 69120GB geen 70 maar 67,5 TB? (dacht dat je dat ook door 1024 moest delen?)

[ACM]

http://www.tweakers.net/nieuws/25627

Als er GB staat is dat officieel delen door 1000. Hoewel het over het algemeen afgeleid moet zien te worden uit de context, maar zelfs als je door 1000 deelt is het natuurlijk geen 70

[_Thanatos_]

Delen door 1.000.000.000 zelfs. Uiteindelijk wordt het dus uiteindelijk 62,86TB

[Verwijderd]

Ligt eraan...

Harddisk fabrikanten delen en vermenigvuldigen altijd met 1000. Rekent lekker makkelijk en de capaciteit lijkt ook nog eens groter .

Maar 'officieel' moet je inderdaad door 1024 (2^10) delen...

edit: Net te laat...

[boesOne]

Da's het eeuwige twistpunt. In Harddiskland is een KB 1000 bytes. In de rest van de wereld 1024.

Ik ben hier op tegen. Het is alleen omdat de HDD makers een grotere HDD kunnen claimen terwijl windows gewoon de 'echte' grote laat zien..

[QuarK]

En DVDR land doet ook lekker mee aan die onzin..

[Verwijderd]

Da's het eeuwige twistpunt. In Harddiskland is een KB 1000 bytes. In de rest van de wereld 1024.

idd

een binaire (2^10) KiloByte is 1024 Bytes

Harddisk-fabrikanten willen hun harder schijven beter (lees: groter) presenteren aan de consument. Dus decimale (10^3) kiloByte is 1000 Bytes

[C00P]

Wordt er Raid 0 gebruikt ? of Raid 1 ? of nix Raid ?
Kan me voorstellen als er 1 harde schijf uitvalt dat je belangrijke gegevens kwijt bent...

[el frikandel]

er staat RAID 5

[G33rt]

Er worden 192 RAID-5 configuraties gebruikt, op systemen met 3 controllers die elk 8 hd's aansturen (24 hds per node dus). De systemen draaien op een dual Athlon-MP 1500+ ivm hitteontwikkeling (daarom zijn het ook 5400 rpm schijven), 24 stuks in totaal dus, die weer in 5 19" cabinets hangen

[Weezer-DC]

"Van de 576 schijven zijn er tot nu toe slechts 3 schijven uitgevallen, waarbij de RAID 5-configuratie er zorg voor droeg dat de hot-spare schijf direct ingezet werd:"

Lijkt me duidelijk, beter lezen voortaan !

[The Source]

Volgens mij staat er toch duidelijk "RAID 5-configuratie".

[Verwijderd]

in het artikel staat dat ze raid 5 gebruiken

[Eastman]

Van de 576 schijven zijn er tot nu toe slechts 3 schijven uitgevallen, waarbij de RAID 5-configuratie er zorg voor droeg dat de hot-spare schijf direct ingezet werd:

Staat gewoon in het artikel dude

[el frikandel]

Dat geeft wel een veilig gevoel, tenzij alles op één plek zit.

[mhzeater]

Een flinke brand en weg is je veiligheid. Mischien hebben ze nog ergens een tape streamertje staan als back up