Bit Error Rate
Die artikelen, die inderdaad in de kern juist zijn, adresseren het probleem van uncorrectable Bit-Error-Rate; uBER. Dit is een specificatie die hardeschijffabrikanten opgeven en is een indicatie hoeveel onleesbare sectoren de schijf genereert. Let wel, het gaat hier niet om beschadigde sectoren waar fysiek wat mis mee is. Nee, het gaat hier om onleesbare sectoren enkel en alleen vanwege het feit dat er onvoldoende errorcorrectie aanwezig is.
Een opslagapparaat heeft veelal een ruwe BER dus vóór de toepassing van errorcorrectie. Al lange tijd zijn hardeschijven het punt gepasseerd waarbij de data foutloos uitgelezen kan worden
zonder errorcorrectie. Errorcorrectie is dus noodzakelijk om foutloos te kunnen teruglezen wat je eerder hebt opgeslagen. De ruwe BER die onaanvaardbaar hoog is, wordt door de errorcorrectie naar acceptabele niveau's gebracht.
Maar wat is 'acceptabel'? Vroeger toen hardeschijven 500 megabyte waren, was een onleesbare sector door gebrek aan errorcorrectie nog extreem zeldzaam. Vrijwel alle onleesbare sectoren kwamen door fysieke beschadiging. Tegenwoordig met schijven van 1TB+ is dat compleet anders; vrijwel alle onleesbare sectoren zijn te wijten aan onvoldoende errorcorrectie en fysieke beschadiging is vrij zeldzaam.
De reden dat moderne schijven naar verhouding méér onleesbare sectoren zijn gaan produceren, is omdat de uBER-specificatie gelijk is gebleven. En als de capaciteit/datadichtheid toeneemt maar de uBER gelijk blijft, dan betekent dus netto minder bescherming en dus meer onleesbare sectoren. En dat is de reden dat het artikel een datum zet bij zijn verwachtingen. Na het jaar 2009 is de datadichtheid van hardeschijven zo groot, dat onleesbare sectoren een groot probleem worden voor RAID5 arrays. En dat is ook zo.
Goed, onleesbare sectoren, hoe erg is dat?
Nu we weten waarom onleesbare sectoren een steeds groter probleem wordt, kijken we naar de gevolgen hiervan. Alles hangt namelijk af welke software - dus welk filesystem - je gebruikt op de hardware. Gebruik je ouderwets RAID, dan heb je een groot probleem en kan zelfs RAID6 onvoldoende zijn om te beschermen tegen onleesbare sectoren - dus aangenomen dat de schijven zelf 100% in orde zijn kan RAID5 en RAID6 dus al onvoldoende bescherming bieden.
Wat er kan gebeuren bij ouderwets RAID is dat er enkele schijven uit de RAID array worden gegooid en daarbij raakt de array degraded en daarna failed. Recovery is nog wel mogelijk, maar dit is een groot probleem waar met name consumenten mee te maken hebben. Dit omdat zij geen dure enterprise hardeschijven kopen die 10 tot 100 keer minder onleesbare sectoren produceren. Kortom, de consumenten zijn als eerste 'de sjaak'.
Ook zonder gebruik van RAID ben je niet veilig, want ouderwetse filesystems zoals NTFS en Ext4 bieden totaal geen bescherming aan je bestanden. Zelfs detecteren dat er schade is, ontbreekt in feite. Welk kan je met chkdsk of fsck het filesystem repareren zodat het weer klopt; maar als daarbij de data die je had opgeslagen vervormd/corrupt/onvolledig wordt, is dat jouw probleem.
De oplossing..
... is zo simpel - nieuwe software! Nieuwe intelligende software die het pikt dat een opslagapparaat wel eens een sector niet kan lezen. Dan is het hele probleem van uBER opgelost!
Microsoft had dit in een ver veleden al willen doen; met DriveExtender 2.0 die in Windows Home Server zou moeten komen. Het project werd gecancelled door incompatibiliteit en design issues. Maar duidelijk is dat Microsoft zich al langer drukt maakt om zijn ouderwetse NTFS filesystem die eigenlijk niet meer geschikt is voor grote 1TB+ schijven.
Microsoft is wel met ReFS bezig; resilient filesystem. Dit is de minst ontwikkelde en minst geavanceerde 3e generatie filesystem, maar valt wel onder de noemer next-gen storage.
Apple had in het verleden ZFS geadopteerd; versie 9 dacht ik. Maar waarschijnlijk door de overname van Sun door Oracle heeft Apple deze functionaliteit weer verwijderd. Apple wilde geen risico lopen in juridische problemen met zwaargewicht Oracle, wat een extreem gemeen en 'Amerikaans' bedrijf is.
Draai je een open source OS, dan ben je het beste voorzien. Je kunt Btrfs (butter-fs) op Linux draaien. Maar het beste en meest geavanceerd en meest volwassen is natuurlijk ZFS. ZFS is dé manier om je data op te slaan in dit tijdperk waarbij al het andere van een ander tijdperk is of nog niet volwassen. ZFS is een modern 3 generatie filesystem én volwassen en dat maakt het uniek. In feite is ZFS de enige veilige manier om data op te slaan - op dit moment.
ZFS
ZFS maakt gebruik van checksums om de integriteit van de data te bewaken. Nooit meer silent corruption dus. Ook heeft het een eigen RAID-laag die zwakheden van RAID5 en RAID6 adresseert. Zo is de bekende 'RAID5 write hole' verholpen met RAID-Z en wordt een dynamische stripesize ingezet om trage read-modify-write procedures geheel te voorkomen. Dit komt ook de atomicity ten goede.
Kort gezegd, ZFS is wat je wilt hebben. Maar omdat je waarschijnlijk Mac of Windows op de desktop gebruikt, is een ZFS NAS de meest praktische oplossing. Wel je eigen Windows/Mac-desktop, maar wel je data op ZFS opslaan via een netwerkshare.
Meer informatie over ZFS:
Het grote ZFS topic
Meer informatie over ZFS NAS zelfbouw:
Het grote DIY RAID NAS topic deel 3