Opslagnetwerken met zfs en Comstar

Het Zettabyte File System is uniek door de integratie van bestandssysteem en volumemanager, de goede bewaking van data-integriteit, de zelfreparerende eigenschappen, de ondersteuning van snapshots en deduplicatie, en de mogelijkheid om ssd's voor caching in te zetten. Zfs mag zich daarom met recht een van de meest geavanceerde bestandssystemen van dit moment noemen.

In combinatie met het Comstar-framework kunnen er eenvoudig scsi-targets opgezet worden die via diverse soorten interfaces, zoals ethernet, fibrechannel en serial attached scsi, toegankelijk gemaakt kunnen worden. Storage area networks zijn in het bedrijfsleven al langer onmisbaar, en op kleinere schaal kunnen ze ook in thuisnetwerken hun nut bewijzen. Door opslag te consolideren kunnen capaciteit en prestaties beter benut worden, en is het mogelijk om een stil en compact werkstation te bouwen dat toch toegang heeft tot vele terabytes aan storage.

Onze benchmarks wijzen uit dat een zfs-san prestaties kan halen die vergelijkbaar of beter zijn dan die van direct aangesloten harde schijven. Met behulp van low-power-harddisks, voldoende werkgeheugen en een snelle cache-ssd zijn er prestaties mogelijk op het niveau van eerstegeneratie-ssd's. Dat is een prima prestatie, zeker omdat de topologie van een storage area network veel complexer is dan die van direct aangesloten opslag, en omdat zfs zich met onder andere checksums meer werk op de hals haalt dan een normaal bestandssysteem.

Met het gebruik van ssd's voor read caching wordt een belangrijke beperking van normale raidsystemen op basis van harde schijven aangepakt. Die systemen presteren alleen beter met sequentiële of gelijktijdige i/o. Door de hoge toegangstijden van harde schijven schalen de prestaties slecht bij willekeurige transfers met een lage concurrency, zoals die bijvoorbeeld op bootdrives plaatsvinden. Ssd's excelleren in dergelijke workloads, en zfs kan de sterke eigenschappen van ssd's combineren met de lage kosten per gigabyte van harde schijven. De hardwarekosten zijn bovendien lager omdat zfs geen raid-controller nodig heeft. In systemen met veel disks kunnen er zo honderden euro's bespaard worden.

Het beheer van zfs via de command-line is goed te doen voor iedereen die basale kennis van unix-besturingssystemen heeft. Voor tweakers die de command-line eng vinden, zijn er webbased oplossingen zoals Napp-it en het Nexenta-besturingssysteem. Tweakers die een zfs-systeem willen bouwen en ervaring hebben met conventionele raid-controllers, zullen zich echter wel vertrouwd moeten maken met een aantal eigenaardigheden van zfs.

Zo is het bijvoorbeeld niet mogelijk om de capaciteit van een vdev in een storage pool uit te breiden. Dit kan alleen door extra vdev's toe te voegen, wat minimaal twee harde schijven per keer kost om een redundante vdev te maken. Omdat de inhoud van een blok altijd over alle harde schijven in een vdev wordt weggeschreven, schalen de random i/o-prestaties minder goed dan bij normale raid 5- en raid 6-arrays. De oplossing is om een pool uit meerdere vdev's op te bouwen. Deze kunnen dan wel weer onafhankelijk van elkaar aan verschillende lees- en schrijftransacties werken.

Hoewel de testresultaten in deze review bemoedigend zijn, moet gezegd dat de resultaten zijn verkregen met een veel snellere netwerkinterface dan de gigabit-ethernetverbinding die de meeste tweakers hebben liggen. De vierpoorts 4Gbps-fibrechannel-adapters die we voor onze tests gebruikten, kunnen samen met de benodigde optische kabels op eBay bij elkaar gescharreld worden voor rond de vijfhonderd euro. Dat is veel geld om een snelle brug tussen twee systemen te bouwen. Om de vier poorten tegelijkertijd te gebruiken is er bovendien een besturingssysteem nodig met ondersteuning voor multipath-i/o. Die ondersteuning is er in onder andere Linux, OS X Lion en Windows Server 2008, maar is door Microsoft in Windows 7 weggelaten.

Er is een betaalbaardere oplossing om de gigabit-barrière te doorbreken: infiniband. Voor 200 euro is het mogelijk om twee dual-port 10Gbps-infiniband-adapters met bijbehorende kabels op de kop te tikken. Zonder multipath-i/o bieden die al een theoretische doorvoer van ongeveer een gigabyte per seconde. In het vervolg op dit artikel zullen we onderzoeken hoe gigabit-ethernet, fibrechannel en infiniband ten opzichte van elkaar presteren.