'ZFS wordt standaard bestandssysteem in OS X Leopard'

Sun-ceo Jonathan Schwartz heeft zich laten ontvallen dat ZFS het bestandssysteem van Mac OS X 10.5 gaat worden. Voorheen leek het erop dat ZFS alleen optioneel beschikbaar gemaakt zou worden in Leopard.

De woorden van Schwartz tijdens een presentatie over de Sun Blade Modular Systems luidden: 'Deze week zul je zien dat Apple op de Worldwide Developer Conference zal aankondigen dat ZFS het bestandssysteem is geworden in Mac OS X.' Deze uitspraak lijkt erop te duiden dat het Zettabyte File System van Sun het default bestandssysteem van Apples besturingssysteem gaat worden.

In december raakte bekend dat Apple Suns opensource-bestandssysteem had opgenomen in Leopard, maar toen werkte nog niet alles vlekkeloos. Die late toevoeging zou het onwaarschijnlijk maken dat Apple daadwerkelijk de beslissing heeft genomen het vertrouwde HFS+ in te ruilen, hoewel het niet geheel onmogelijk geacht wordt, aangezien er nog een aantal maanden resteren tot de lancering van Leopard in oktober. Voor een definitieve bevestiging zal op bericht uit het Apple-kamp gewacht moeten worden.

Reacties (55)

[killercow]

zfs is zo'n cool FS:

Storage pools
Unlimited Capacity (zo veel kunnen we op aarde simpelweg niet opmaken)
Snapshots and clones
Dynamic striping
Variable block sizes
Lightweight filesystem creation
Adaptive Endianness
Onread Fault detection (hash based)
Storage pools on the fly uitbreiden etc

Ik hoop dat ze dit ook snel onder linux aan de gang krijgen, onder bsd is het er al geloof ik.

[YaPP]

zfs is zo'n cool FS:

Storage pools
Unlimited Capacity (zo veel kunnen we op aarde simpelweg niet opmaken)
Snapshots and clones
Dynamic striping
Variable block sizes
Lightweight filesystem creation
Adaptive Endianness
Onread Fault detection (hash based)

En wat betekend dat allemaal voor de normale Tweaker?

Storage pools

Verschllende ZFS bestandssysteem kunnen over meerdere opslag apparaten hun data opslaan. Zo kan je de volledige IO-bandbreedte van de totale reeks apparaten benutten.

Snapshots and clones

ZFS heeft een ingebouwde backup voorziening. Meerdere kopieen van dezelfde data neemt niet meer ruimte in beslag. Ook kan je een incrementale backup laten maken.

Dynamic striping

Er kunnen dynamisch apparaten aan de opslag pools toegevoegd worden.

Variable block sizes

Grote bestanden kunnen efficient in grote opslagblokken opgeslagen worden. Bij traditionele bestandssystemen geeft dit problemen bij kleine bestanden, er is dan ruimte over in een opslagblok die niet meer benut kan worden. ZFS kan grote blokken weer opsplitsen zodat dit probleem niet voorkomt. Als een bestand groter wordt wordt het blok eenmalig weer omgezet, dus er is weinig performance verloren.

Lightweight filesystem creation

Aanmaken van het bestandssysteem kost niet langer dan het aanmaken van een directory.

Zo alstublieft

(nl + en wikipedia)

[Reactie gewijzigd door YaPP op 29 juli 2024 08:43]

[jealma]

Onder linux zal het waarschijnlijk niet zo snel komen, omdat de linux kernel licence (GPL2) het verbiedt om code met een andere licentie (zoals ZFS, dat onder de CDDL licentie valt) te implementeren. Wat wel kan is een implementatie van ZFS via FUSE (File system in userspace), maar dat brengt de nodige performance loss met zich mee.

[smokalot]

categoriefout: ZFS, de specificatie, dus wat er op de disk staat, en hoe dat geinterpreteerd moet worden, valt niet onder de CDDL.

ZFS: de implementatie die Sun heeft geschreven voor Solaris, valt wel onder de CDDL, en die kan inderdaad niet zomaar naar linux geport worden zonder licentie problemen.

Ik vermoed dat Apple ook een eigen implementatie heeft geschreven, die niet onder een GPL-compatible licentie te krijgen is, maar als BSD inderdaad ook een implementatie heeft zal die een BSD license hebben, en die kan zonder problemen naar GPL worden overgezet.

Technische problemen spelen hier een grotere rol, maar als ZFS inderdaad zo fantastisch is zal er vast iemand een implementatie voor linux schrijven.

[onkl]

"(zo veel kunnen we op aarde simpelweg niet opmaken)"
De vorige keer dat ik dat las ging het meen ik over 64KB.

[zenica]

Als je het doet doe het goed:
"640 KB of memory is more than enough for any application"

En wat hij zegt is dat het genoeg zal zijn, dat is een mening. Het blijft een feit dat je met behulp van de rekensommetjes kan uitrekennen hoeveel tijd je nodig hebt om aan de limieten van zfs te komen:

"If 1,000 files were created every second, it would take about 9,000 years to reach the limit of the number of files."

[johnbetonschaar]

Als je het doet doe het goed:
"640 KB of memory is more than enough for any application"

"640 KB should be enough for anyone" was het

Overigens nooit daadwerkelijk door Bill Gates gezegd maargoed...

[Amdk6II]

Klopt dat het nooit door Bill gezegd is. Komt nog bij dat 640KB waarschijnlijk ook genoeg was voor iedereen in die tijd, dus het gebruiken van deze quote is uberhaupt onzinnig.

[kiang]

maar hier is het echt wel serieus
de limiet qua aantal bestanden onder een ZDF systeem ligt om en bij de 2^48. ter vergelijking: als je elke seconde een aar duizend files maakt, heb je 9000 jaar nodig om 1 ZDF systeem te vullen.
de grootte per bestand is momenteel gelimiteerd tot enkele exabytes (1 exabyte= een miljard gigabyte)
Dus ik denk dat je met ZDF een tijdje goed zit lol
de gedachte bij het ontwerpen vh systeem was dan ook iets maken waarvan we de limieten nooit meer hoefden te verleggen

[Mijzelf]

de gedachte bij het ontwerpen vh systeem was dan ook iets maken waarvan we de limieten nooit meer hoefden te verleggen

Dat lijkt me een gedachte die bij voorbaat kansloos is. Het klinkt allemaal heel stoer, ..elke seconde... etc, maar het betekend wel dat als er een programma geschreven wordt die het leuk vind om 10 miljoen bestanden per seconde aan te maken, na een jaar je bestandssysteem barst.
Kun je zeggen: 'Ach, 10 miljoen per seconde? Onzin', maar de mogelijkheid om 'ongelimiteerd' files aan te maken zorgt vanzelf dat daar vraag naar komt.

[kiang]

1: dat is daneen slecht programma
2: zie bovenste posts: de energie nodig om een systeem te vullen is destructief voor de aarde, dus het is neit een kwestie dat er nooit nood aan zal zijn, het is een kwestie dat het technisch onhaalbaar is

[psyBSD]

Bonwick said: (according to wikipedia)
Although we'd all like Moore's Law to continue forever, quantum mechanics imposes some fundamental limits on the computation rate and information capacity of any physical device. In particular, it has been shown that 1 kilogram of matter confined to 1 liter of space can perform at most 1051 operations per second on at most 1031 bits of information [see Seth Lloyd, "Ultimate physical limits to computation." Nature 406, 1047-1054 (2000)]. A fully populated 128-bit storage pool would contain 2128 blocks = 2137 bytes = 2140 bits; therefore the minimum mass required to hold the bits would be (2140 bits) / (1031 bits/kg) = 136 billion kg.

To operate at the 1031 bits/kg limit, however, the entire mass of the computer must be in the form of pure energy. By E=mc², the rest energy of 136 billion kg is 1.2x1028 J. The mass of the oceans is about 1.4x1021 kg. It takes about 4,000 J to raise the temperature of 1 kg of water by 1 degree Celsius, and thus about 400,000 J to heat 1 kg of water from freezing to boiling. The latent heat of vaporization adds another 2 million J/kg. Thus the energy required to boil the oceans is about 2.4x106 J/kg * 1.4x1021 kg = 3.4x1027 J. Thus, fully populating a 128-bit storage pool would, literally, require more energy than boiling the oceans.

Deze bewering is dus, tenzij we compleet nieuwe storage-technieken dan quantum-mechanica gaan ontwikkelen. Of dat wij meer water tot onze beschikking krijgen op aarde... geheel gegrond. (Daar aangenomen dat de berekening klopt)

[kiang]

we als in 'de mensheid'

[melone]

De "Snapshots and clones" zullen dan waarschijnlijk wel van pas komen in Time Machine

[killercow]

ext3cow kan het zelfde voor linux, sans gui uiteraard

maar toch
/home/user/file@2006-12-23 geeft dan de file zoals die geweest zou zijn op die datum

En dat is wel makkelijk want dan kunnen meteen alle applicaties er mee om gaan zonder aanpassingen.

[CyBeR]

Niet echt. Je hebt weinig aan snapshots voor backups tenzij je storage redundant is: als je hdd (en de gemiddelde consumentenmachine heeft er maar een) er mee kapt is je backup ook pleite. En snapshots kun je niet cross-disk doen.

Time machine werkt met hard links.

[mxcreep]

Je hebt heel veel aan snapshots voor backups...alleen moet je niet alleen de snapshot maken maar die vervolgens ook backuppen.
Snapshots zorgen er in ons datacenter voor dat we geen images meer maken aangezien we een root filesysteem van een draaiende host ineens kunnen snapshotten, vervolgens de snapshot mounten en er een image file van maken voor archivering. In geval van een probleem kan ik de snapshot terugzetten en heb ik weer een draaiende host. Indien het complete filesysteem waar de snapshot op staat ook stuk is heb ik een image file op de backup server.

[CyBeR]

Ok, natuurlijk, 't kan je backups flink makkelijker maken in sommige gevallen. Maar 't is niet een complete backupstrategie.

Overigens, dit zijn LVM snapshots neem ik aan? LVM werkt iets anders dan ZFS namelijk. LVM is puur en alleen een volume manager. Dus je hebt een zooi fysieke partities, daarin prop je volume groups, en daarin weer logical volumes. (Als je 't gebruikt weet je dit natuurlijk maar voor anderen..) Die logical volumes zijn vervolgens te gebruiken als partities: je hebt er een block device node voor, en je moet er een filesystem in maken.

ZFS combineert die laatste stappen: het is volume manager en filesystem in een. Dus een snapshot is niet iets wat gemount moet worden, maar gewoon een onderdeel van het reeds gemounte filesystem.

[Gustaaf437]

Even wat aanvullen op wat eerder gedane beweringen.
Zie hiervoor ook: http://en.wikipedia.org/wiki/Comparison_of_file_systems (erg handig)

HFS+: Totaal: 16 EiB, Bestand: 16 EiB
NTFS: Totaal: 16 EiB, Bestand: 16 EiB
ZFS: Totaal: 2¹⁸ (262144*) EiB, Bestand: 16 EiB

*262.144.000.000.000.000.000.000 bytes als 1 KB staat voor 1000 bytes.
Je kan in ZFS dus 16384 keer een bestand van 16 EiB neerpoten.

ZFS kan dus zeker nog 20 jaar mee, maar gezien de groei van de HD er op dit moment nogal uit is kan die nog wel 40 jaar mee, ook qua features is het een zeer sterk bestandssysteem.

[Verwijderd]

*262.144.000.000.000.000.000.000 bytes als 1 KB staat voor 1000 bytes.

Er staat EiB dus dit is weldegelijk 2⁶⁰

[Reactie gewijzigd door Verwijderd op 29 juli 2024 08:43]

[sjaakaq]

I don’t know Apple’s product plans for Leopard so it certainly wouldn’t be appropriate for me to confirm anything. […] There certainly have been plenty of published reports from various sources that ZFS is in Leopard, I guess we will all have to wait until it is released to see if ZFS made it as the default, or if they simply announce that it will become the default in a future release.

http://blogs.sun.com/marc...ade#comment-1181185661000

Oftewel een flinke afzwakking, zeker is het nog allerminst.

[zyberteq]

Naar ik heb begrepen is het nog niet mogelijk om vanaf ZFS te booten?
zelfs SUN heeft dit nog niet voor elkaar. dus ik ben benieuwd hoe ze dat bij apple gaan doen.
Al lijkt het mij logisch dat ze zoals bij zoveel unices gewoon een /boot partitie hebben en de rest dan op ZFS, dat kan vast wel.

we merken het wel denk ik.

Daarnaast is ZFS extreem gaaf natuurlijk. jammer dat tot nog toe alleen solaris "goede" support heeft. als is FreeBSD is ook goed bezig met ZFS support en zometeen ook Apple maar afwachten wie er nog meer volgen, Linux iig maar half (want dankzij de licentie voor ZFS moet dat bij linux in userspace draaien en mag het niet in de kernel, dus dan is het automatisch trager dan andere FS'en)

[zenica]

Als je de wiki bekijkt zie je dit staan:

"ZFS is currently not available as a root filesystem on Solaris 10, since there is no ZFS boot support. The ZFS Boot project recently successfully added boot support to the OpenSolaris project, and is available in recent builds of Solaris Nevada.[10][11] ZFS boot is currently (20070208) planned for a Solaris 10 update in late 2007. "

[SPee]

Volgens mij gebruiken de SUN machines nog het 'oude vertrouwde' BIOS.
Apple gebruikt al EFI, waar meerdere mogelijkheden in geprogrammeerd kunnen worden, waaronder driversupport (en dus boot-support) voor ZFS.

Maar als het al werkt, is dat niet meer nodig

[CyBeR]

Sun machines (met SPARC chip) gebruiken zeker geen BIOS. Dat stuk cruft is een overblijfsel van x86 dat maar niet weg wil gaan. Sun SPARC dozen lopen op Open Firmware, hetzelfde als wat Apple al eerder in PowerPC macs gebruikte. Hoe 't met hun x86 dozen zit weet ik niet. Denk dat die ook wel op BIOSsen lopen eigenlijk.

[supertester]

de limiet van ZFS is 16 Exabytes (10¹⁸ bytes) oftewel 16 miljard gigabyte.

Het wordt even door downloaden en opslaan, maar we krijgen het wel vol

[edit] typo

[Reactie gewijzigd door supertester op 29 juli 2024 08:43]

[XplodingForce]

Nee, het heet niet voor niets Zettabyte File System
De max is dus 1 Zettabyte wat 10²¹ bytes is.

[jealma]

Niet dus, want volgens Wikipedia zou het meer energie kosten om een 128 bit storage pool (zoals die van ZFS) te vullen als dat het energie zou kosten om al het water op aarde te laten koken.

Project leader Bonwick said, "Populating 128-bit file systems would exceed the quantum limits of earth-based storage. You couldn't fill a 128-bit storage pool without boiling the oceans."[1] Later he clarified:

Although we'd all like Moore's Law to continue forever, quantum mechanics imposes some fundamental limits on the computation rate and information capacity of any physical device. In particular, it has been shown that 1 kilogram of matter confined to 1 liter of space can perform at most 1051 operations per second on at most 1031 bits of information [see Seth Lloyd, "Ultimate physical limits to computation." Nature 406, 1047-1054 (2000)]. A fully populated 128-bit storage pool would contain 2128 blocks = 2137 bytes = 2140 bits; therefore the minimum mass required to hold the bits would be (2140 bits) / (1031 bits/kg) = 136 billion kg.

To operate at the 1031 bits/kg limit, however, the entire mass of the computer must be in the form of pure energy. By E=mc², the rest energy of 136 billion kg is 1.2x1028 J. The mass of the oceans is about 1.4x1021 kg. It takes about 4,000 J to raise the temperature of 1 kg of water by 1 degree Celsius, and thus about 400,000 J to heat 1 kg of water from freezing to boiling. The latent heat of vaporization adds another 2 million J/kg. Thus the energy required to boil the oceans is about 2.4x106 J/kg * 1.4x1021 kg = 3.4x1027 J. Thus, fully populating a 128-bit storage pool would, literally, require more energy than boiling the oceans.

[Verwijderd]

"Thus the energy required to boil the oceans is about 2.4x106 J/kg * 1.4x1021 kg = 3.4x1027 J"

mis je niet wat macht tekens? 3.4x1027 J is niet zo heel veel..

[kiang]

het is niet 1027, maar 10 tot de 27ste: 10^27 gewoon een copypaste fout lijkt me ^^

[kiang]

..of wel een copy-paste fout, en werden alle superscripts omgezet naar gewone getallen

[zenica]

Ik vraag mij af of Windows iets gaat doen aan hun ntfs -> winfs, want als je ntfs vergelijkt met zfs dan krijg je zin om
Wel mooi om te zien dat ze bij appel op het einde nog juist nieuwe dingen toevoegen inplaats van uitslopen ook al lopen ze vertraging op. In tegenstelling met ms

No flame indeed!

EDIT:
Vond het zelf interesant om te weten bij deze ook voor jullie:
"NTFS volumes can theoretically be as large as 16 exabytes (EB), but the practical limit is 2 terabytes."

[Reactie gewijzigd door zenica op 29 juli 2024 08:43]

[Dreamvoid]

NTFS is al lang niet meer het oude buggy filesystem van NT4, het is uitgegroeid tot een behoorlijk betrouwbaar filesystem. Qua features is het niet het nieuwste van het nieuwste, maar van de nu meestgebruikte filesystems (HFS+, ext3, NTFS) is het m.i. het stabielste en qua features behoorlijk rijk. Maar ZFS is andere koek - dat is voor OS X een zegen en haalt het technisch zwakste punt van OS X weg. HFS+ is fundamenteel qua performance een draak (nou moe, het nieuwe Tweakers staat geen komma's in links toe? check in elk geval de link "a walk through the orchard" op de Wikipedia pagina van HFS+), een hack op een filesystem dat in de jaren 80 al overal vervloekt werd. Alleen deze filesystem wissel geeft OS X een flinke snelheids en boost.

[Reactie gewijzigd door Dreamvoid op 29 juli 2024 08:43]

[mxcreep]

NTFS stabieler dan EXT3 ???
Je maakt een grapje zeker...

Vorig jaar een flinke powerstoring meegemaakt in ons datacenter, waren verkeerde zekeringen geplaatst in een bepaalde colo ruimte. Over de 100 Linux servers met EXT3 direct zonder stroom en een 15 tal Windows machines...Na herstel van de stroomtoevoer zag ik alle linux machines gewoon booten...van de Windows machines waren er 4 met een corrupt filesysteem...

[killercow]

En toch heeft enica een punt,
NTFS is gewoon niets vergeleken met ZFS,
als was het alleen al omdat je het alleen via windows machines kunt benaderen en je data dus in weze bij gratie "microsofts" beschikbaar is.

[kiang]

als dit waar is, implementeert apple leopard volgens mij al een tijdje in ZFS, en is het dus niet 'op het einde'
ze willen alles gewoon geheim houden, dus we zullen maandag (op de WWDC) pas horen hoe het zit ^^

[Verwijderd]

Ik ben benieuwd wat de gebruiker hiervan merkt..

[Chris_eBK]

Op Time Machine na zal de gewone gebruiker er waarschijnlijk niet bijzonder veel van merken. En zelfs bij Time Machine heeft de gebruiker alleen maar te maken met het front-end programma, en merkt niets van de onderliggende techniek. Echter voor developers en wetenschappers die Apple gebruiken kan het wel degelijk voordelen opleveren.

[Haywire]

Time Machine is niet afhankelijk van ZFS. Zie http://arstechnica.com/staff/fatbits.ars/2006/8/15/4995

[mmedia]

zijn er geen comparison tests beschikbaar?

[Verwijderd]

Performance:
http://uadmin.blogspot.com/2005/11/zones-on-ufs-vs-zfs.html

Info:
http://www.sun.com/2004-0914/feature/
http://www.phptr.com/articles/article.asp?p=712746&rl=1

Edit:
Extra Info
http://tech.zamwi.com/?p=227&akst_action=share-this

[Reactie gewijzigd door Verwijderd op 29 juli 2024 08:43]

[Klojum]

Tsja, het moet toch wel betrouwbaar genoeg zijn wil je het zomaar als standaard bestandssysteem kenmerken. De tijd zal het ons leren.

[killercow]

Sun is zo'n bedrijf dat puur en alleen voor betrouwbaarheid gaat, als t ook maar remote niet betrouwbaar zou zijn kunnen ze hun hele bussines wel opdoeken, ze garanderen hun klanten immers uptimes van enkele jaren per machine.

[DaMayan]

Ik hoop maar dat het hierdoor (of andere redenen) niet nog eens extra vertraagd gaat worden.
idd ik bedoel de release van Leopard.

[Reactie gewijzigd door DaMayan op 29 juli 2024 08:43]

[dtech]

Voor zover ik weet is ZFS ongeveer 20-30% sneller dan ext3 (ooit benchmarks gezien in Linux magazine). Ik weet alleen niet hoe het zich verhoudt tot HFS(+)

edit:

Ik maakte inderdaad uit zijn opmerking op dat Leopard er langzamer door zou werken, wat dus waarschijnlijk niet zo is

[Reactie gewijzigd door dtech op 29 juli 2024 08:43]

[Verwijderd]

DaMayan zal waarschijnlijk bedoelen dat hij hoopt dat de release van OS X Leopard niet extra vertraagd gaat worden. Anders zou je uit zijn zin mogelijk mogen concluderen dat OS X Leopard trager zou werken dan zijn voorgangers door het gebruik van ZFS, lijkt me niet echt logisch, jou wel?