Suns Zettabyte-bestandssysteem deze maand verwacht

Volgens The Register komt Sun nog deze maand met een eerste release van het Zettabyte File System (ZFS) waar het al geruime tijd aan werkt. Dit nieuwe filesystem zou in eerste instantie onderdeel uitmaken van Solaris 10, maar bleek niet op tijd gereed voor de release van dit besturingssysteem. Tijdens de release van Solaris 10 liet Sun weten dat ZFS afgelopen zomer zou worden toegevoegd aan het besturingssysteem

Volgens The Register zal ZFS worden toegevoegd aan de volgende versie van Solaris, waarvoor overigens nog geen releasedatum bekend is. Daarnaast zal het filesystem de komende twee weken worden toegevoegd aan het Solaris Express-programma, een verzameling software die nog getest moet worden voordat deze definitief wordt opgenomen in Solaris Later zal ook het OpenSolaris-project worden uitgebreid met de ZFS-functionaliteit.

Het doel van ZFS, wat gezien wordt als het eerste 128-bit filesystem, is om het beheer van partities, schijven en volumes te vereenvoudigen. De belangrijkste vernieuwing van ZFS is het verdwijnen van de traditionele partities. In plaats daarvan creëert ZFS een zogenaamde storagepool die meerdere schijven kan overspannen, waarop vervolgens de diverse bestandssystemen worden gemaakt. Belangrijke eigenschappen van ZFS zijn de mogelijkheid om eenvoudig een bestandssysteem aan te passen in grootte, mogelijkheden om inconsistenties in de data automatisch te herkennen en te repareren en de reductie van het aantal handelingen voor het uitvoeren van beheerstaken voor het opslagsysteem. Vrijwel alle aanpassingen op het bestandssysteem, zoals aanpassing van de grootte, zijn constant in tijd.

Reacties (36)

[Xiliath]

Heeft wel wat weg van een raid-oplossing.
ik hoop alleen wel dat je kunt identificeren op welke schijf welke data staat. Is in het geval van een disk-failure en je hebt geen back-up (dom. ik weet et) wel erg prettig.

Ik blijf verbaast staan hoe snel soms meerdere post (4 dit keer) als overbodig gemod worden.

[Luxx]

Belangrijke eigenschappen van ZFS zijn de mogelijkheid om eenvoudig een bestandssysteem aan te passen in grootte, mogelijkheden om inconsistenties in de data automatisch te herkennen en te repareren

schrijft het artikel, klinkt dus alsof er enigsinds rekening mee is gehouden....

[Verwijderd]

Het doel van ZFS is om het beheer van partities, schijven en volumes te vereenvoudigen. De belangrijkste vernieuwing van ZFS is het verdwijnen van de traditionele partities. In plaats daarvan creëert ZFS een zogenaamde storagepool die meerdere schijven kan overspannen, waarop vervolgens de diverse bestandssystemen worden gemaakt.

Ah, dat noemt Novell NSS (Novell Storage System) en bestaat al .. 5 jaar ofzo.

Zo blijkt maar weer dat echt innovatieve bedrijven vaak vergeten worden

[zyberteq]

Dit is gaaf
op deze manier heb je helemaal geen partities meer maar gewoon 1 groot volume. Dus als je je schijfruimte wilt uitbreiden voeg je gewoon een schijf toe en je volume kan groter worden.

nu hoop ik alleen wel dat ie data niet verdeeld over schijven (zoals in RAID enzo) maar dat 1 bestand ook echt op 1 fysieke schijf staat, in dat geval behoud je namelijk de meeste data in het vreselijke geval er 1 schijf uitvalt.

maar goed, je kan het natuurlijk ook combineren met meerdere RAID volumes enzo hopen dat ZFS zeer grote datavolumes aankan

[Verwijderd]

Dus als je je schijfruimte wilt uitbreiden voeg je gewoon een schijf toe en je volume kan groter worden.

Kan linux dit niet al met LVM? Weinig nieuws imo

[Gerco]

Ik gebruik al een tijdje Linux LVM2 en dat werkt op dezelfde manier. Het enige nadeel daaraan is dat LVM onafhankelijk werkt van het filesystem en dat het filesystem dus nog geresized moet worden als het volume groter gemaakt wordt. Bijkomend nadeel is dat kleiner maken met de meeste filesystems niet eens mogelijk is

Als ZFS hiermee afrekent, zou dat een hoop moeite besparen

[TvL2386]

Nou ja, nadeel...
Je kan tenminste je eigen filesystem kiezen!
Dus of je nou ext2, ext3, reiserfs, xfs or whatever wil...

Het enige wat ik minder vind, is dat je je partitie (logical volume) moet unmounten voordat je hem kan resizen.
Vervelend, want mijn root partitie is veel te groot en heb geen cdrom speler waarvan ik kan booten met een livecd. Maar ja... pech.

Verder heeft lvm verder niets te maken met het behoudt van gegevens bij het uitvallen van een harddisk, dus is het heel erg aan te raden hier iets voor te verzinnen (raid5).

ZFS lijkt heel erg op LVM als ik het zo lees. Misschien dat ze online resizen ondersteunen zonder unmounten.
Zou mooi zijn.

[niqck]

Weinig nieuws? Dan moet je je dringend wat in dit filesysteem verdiepen. Zoek maar wat rond op het internet.

LVM is slechts een volume manager; het filesysteem staat er los van. ZFS is zowel filesystem als volume manager.

Op vlak van volume manager. Je voegt 2 disken van bv. 100GB in een "mirror-pool" en creeert een filesystem. Dit filesystem heeft 100GB in size. Via quota kan je het beperken. Creeer je een 2e filesystem, dan heeft dit 100GB min de reeds gebruikte data voor het 1e filesystem, enz... Voeg 2 disken aan deze mirror-pool toe en je diskspace groeit voor alle filesystems. Gedaan met hopen volumes en disken waarvan je zelf de layout moet controleren en uiteindelijk merkt dat je mooi opgezette structuur compleet onoverzichtelijk wordt. Met ZFS hoef je je hier niets van aan te trekken. Je data wordt zelfs dynamisch gestriped over de disken en dankzij copy-on-write verspreid veel gebruikte data zich dus over alle schijven.

Het filesystem is self-healing. Iedere block krijgt een checksum; wanneer deze niet correct is, wordt de data gecorrigeerd. Indien je dus een mirror hebt van 2 disken en je overschrijft "per ongeluk" de complete 2e disk met random data, dan detecteert ZFS dit en corrigeert deze data. Dit heb ik nog in geen enkel ander filesystem gezien (het is natuurlijk mogelijk dat die er zijn). Silent data corruption (door bv. buggy firmware) wordt hiermee opgevangen.

Het filesystem is copy-on-write. Gedaan met lange fsck's. De data is altijd consistent: ofwel staat ze compleet op de disk, ofwel helemaal niet maar niet half en half.

128-bit. Waarom geen 64? Omdat men met de huidige trend tegen 2015 of zo reeds aan die grens zal zitten. Bepaalde instellingen (bv. het leger) eisen dat systemen bv. 10 jaar gebruikt kunnen worden...

Endian-neutraal. Dus hetzelfde filesysteem kan gekoppeld worden aan zowel little als big endian systemen zonder problemen.

[Verwijderd]

kwestie van verdeling van de data over verschillende schijven zal je hier wel zelf kunnen kiezen. maar het lijkt mij wel best veilig om soortgelijke RAID50 aan te leggen... de persoon die hier gewoon voor JBOD kiest, zou ik best "goed gek" noemen

[kimborntobewild]

hopen dat ZFS zeer grote datavolumes aankan

Kilo = 1.000
Mega = 1.000.000
Giga = 1.000.000.000
Tera = 1.000.000.000.000
Peta = 1.000.000.000.000.000
Exa = 1.000.000.000.000.000.000
Zeta = 1.000.000.000.000.000.000.000
(even afgezien van evt. gewenst gebruik van de gebruikelijke 2^x getallen)
De naam zetta zal wel van zeta afkomstig zijn dus een ZFS lijkt me geschikt tot een miljard terabytes. Valt me eigenlijk nog een beetje tegen...

[Shuisman]

Kan, zoals de naam suggesteerd, dit filesystem ook 1 zettabyte aan ? Oftewel een ~miljard terabyte. ?

[xbassiex]

Zetta is 10²¹, een triljard, het lijkt mij niet

[Steven]

2^128 * <blocksize> is ook echt een hele boel... dus het zou me helemaal niets verbazen.

[c0deaddict]

Volgens mij wel degelijk aangezien het een 128 bits filesystem is... dus 2^128 bytes

[Shuisman]

Een miljard terabyte (dat is ongeveer 1 zetabyte) moet binnen 10 jaar wel haalbaar zijn toch ?

[darkfader]

2^128 is ongeveer 10^38, dus het is zelfs meer dan 10^21 of 2^70. Omrekenen: gewoon de exponent vermenigvuldigen met log(2).

[Z-Dragon]

Plannen voor harddiskuitbreiding?

[Frank-L]

Waarom 128 bits? Een 64-bits filesystem kan 2^64 bytes aan informatie adresseren, en dat is genoeg voor iedereen (serieus bedoeld).

[Sir Guinhill]

Wil je soms weer Quotes van Bill Gates horen.

[Frank-L]

Ja eigenlijk wel
Maar 2^64 is ongeveer 18 miljard GByte, dus als we nu zeggen dat iemand ongeveer 180 GByte heeft, dan zitten we nog een factor 100 miljoen er vandaan. Nog 26x verdubbelen van de opslagcapaciteit, dus volgens Moore duurt dat nog zo'n 26 x 1.5 = 39 jaar. Valt wel mee eigenlijk dus :-) Maar dat maakt Bill waarschijnlijk niet meer mee. Ik trouwens waarschijnlijk ook niet.

[Verwijderd]

Onze kinderen zullen tegen die tijd films in full-3d bekijken welke een stream nodig heeft van 180 Gb/sec.

[Hendal.]

Wat is ieders probleem toch met de 128-bit filesystem.
Mooi toch dat het nu al geregeld is en hoef je later niet alsnog die stap te maken.
De grens zal uiteindelijk bij 64-bit toch wel bereikt worden dus kun je hem net zo goed overslaan.

Blijkbaar was het niet zo'n groot probleem om dat te doen dus is het toch alleen maar mooi?

[Cristan]

Persoonlijk vind ik de features van dit bestandssysteem erg interressant, maar de 128 bit vind ik echt dikke overkill. Ik bedoel: met 48-bit kan je 144 petabyte adresseren (144 miljoen gigabyte), (bron) en met 64 bit is het al helemaal belachelijk veel. 128-bit is gewoon je bestandstabel onnodig groot maken.

[Dreams]

"I say 640 KB of main memory should be enough for everybody"
48bit kan nu wel genoeg zijn, maar wie weet wat we morgen verzinnen? ACL? Extra attributes? Hashes in de dir table? Fingerprints per (user,file, key) tuple zodat we wereldwijd uniek je eigen files terug kunt vinden in een globale pool van hard disks...
* 786562 Dreams

[niqck]

Wat jij overkill noemt, kan in de bedrijfswereld heel realistisch zijn.

Sun engineers wondered if the 64-bit capabilities of current file systems will continue to suffice over the next 10 to 20 years. Their answer was no. If Moore's Law holds, in 10 to 15 years people will need a 65th bit. As a 128-bit system, ZFS is designed to support more storage, more file systems, more snapshots, more directory entries, and more files than can possibly be created in the foreseeable future.

In de huiskamer wordt de PC om de 5 jaar misschien wel vervangen, in het bedrijfsleven is dat vaak niet zo. Systemen die 15-20 jaar dienst doen zijn geen uitzondering.

[MahRain]

Is dit net zoiets als Apple's Xsan?

[Verwijderd]

dit is niet echt geschikt voor een lanner als ik.
ik heb meestal zoon zooi op mijn hardeschijf dat ik meestal alleen het starion weet en daarna mag gaan speuren.

en ik heb geen zin om door 600gb naar dat ene bestantje te zoeken die je van 3 instalaties geleden ergens hebt bewaart.

[pstalman]

jij draait solaris op je ws?

[MoNo79]

Hoeveel MP3's zijn dat?