WD verbetert datadichtheid van hdd's door metadata op nandgeheugen te plaatsen

Western Digital introduceert een nieuwe methode om de datadichtheid van platters voor harde schijven te verhogen. De fabrikant noemt dat OptiNAND en gebruikt daarvoor nandgeheugen om metadata in op te slaan. WD presenteert een 20TB-hdd met de techniek.

Met OptiNAND kan WD een harde schijf met een capaciteit van 20TB maken, met dezelfde epmr-techniek als waar de fabrikant nu maximaal een 18TB-hdd mee maakt. WD had al een 20TB-hdd in zijn assortiment, maar dat is een smr-variant. Met die shingled magnetic recording-techniek liggen datatracks op de hdd-platters deels over elkaar. Dat vergroot de opslagcapaciteit, maar is nadelig voor de prestaties. De nieuwe 20TB-hdd met OptiNAND heeft dat nadeel niet. De gebruikte epmr-techniek is een variant van conventional perpendicular magnetic recording, ofwel cmr.

WD levert de 20TB-hdd met OptiNAND naar eigen zeggen inmiddels aan de eerste klanten, maar exacte productspecificaties heeft de fabrikant niet gegeven. Het gaat om een harde schijf met in totaal negen platters, met een capaciteit van 2,2TB per stuk. WD heeft de capaciteit van de platters verhoogd door een nandmodule toe te voegen waarin metadata wordt opgeslagen die normaal op de hdd zelf staat.

Nandgeheugen voor metadata

Harde schijven bevatten gigabytes aan metadata. Dat zit er deels al op vanuit de fabriek en tijdens het gebruik wordt dat verder aangevuld. Die metadata bevat details over gegevens die op de schijf zijn opgeslagen en verbeteren de prestaties en betrouwbaarheid van hdd's. Door die metadata in het OptiNAND te zetten, levert dat meer ruimte op voor opslagcapaciteit en volgens WD verbetert het ook de prestaties, omdat de metadata snel kan worden geraadpleegd vanuit het flashgeheugen.

Bij harde schijven moet data soms ververst worden, om interferentie met data op nabijgelegen tracks tegen te gaan. Hoe dichter de datatracks bij elkaar liggen, hoe vaker die moeten worden ververst. Bij traditionele hdd's gaat dat verversen per track, maar WD zegt met de OptiNAND-hdd bij het schrijven de schrijfoperaties op te slaan in het nandgeheugen op sectorniveau. Daardoor gebeurt het verversen ook per sector in plaats van per track. Dat maakt het mogelijk om de tracks dichter op elkaar te plaatsen, zonder dat dit prestatieverlies oplevert.

WD specificeert niet hoeveel nandgeheugen de OptiNAND-hdd heeft. Ook in een technisch document geeft de fabrikant daar geen details over. Wel schrijft WD daarin dat het gaat om een BGA-package waarin een controller zit met een of meerdere nandgeheugenchips. Over de snelheid van het gebruikte geheugen geeft WD ook geen details. Wel staat in het document dat er diverse geheugenchips gebruikt kunnen worden. Het gaat om eMMC 5.1, UFS 2.1, UFS 3.0 en UFS 3.1.

De techniek verschilt van de zogenaamde sshd's, die al jaren bestaan. Dat zijn traditionele hdd's die als het ware een kleine ssd aan boord hebben. Daarbij wordt het nandgeheugen gebruikt om veelgebruikte bestanden op te slaan, zodat die snel uitgelezen kunnen worden. Dat versnelt de werking van die hdd's, maar heeft geen invloed op de capaciteit van de platters. Bij de OptiNAND-techniek staan er geen bestanden op het flashgeheugen, maar enkel metadata.

Het nandgeheugen kan ook gebruikt worden om bij stroomverlies 'meer dan 100MB' aan write cache-gegeven in op te slaan. Bij reguliere hdd's is dat maar zo'n 2MB, omdat die een minieme hoeveelheid cachegeheugen hebben. Volgens WD is het prestatieverlies van de OptiNAND-hdd's met write cache uitgeschakeld daardoor minimaal ten opzichte van wanneer write cache ingeschakeld is.

Nauwkeurige schrijfkop

Om de platters met de hogere datadichtheid uit te kunnen lezen, is ook een zeer nauwkeurige schrijfkop nodig. WD gebruikt daarvoor zijn triple stage actuator, die gebruikmaakt van drie draaipunten om de positie van de schrijfknop nauwkeurig te bepalen. WD gebruikte die techniek al in zijn 20TB-smr-hdd en in cmr-hdd's van 16TB en 18TB.

Roadmap van WD met Triple Stage Actuator

WD: OptiNAND-hdd's tot 50TB dit decennium

Naar eigen zeggen kan WD de OptiNAND-technologie gebruiken om de opslagcapaciteit van hdd's verder te verhogen in de komende jaren. Ergens in de loop van dit decennium zou dat 50TB-hdd's moeten opleveren. De techniek kan ook ingezet worden bij smr-hdd's om de capaciteit per platter nog verder te verhogen.

Fabrikanten proberen op verschillende manieren de capaciteit van harde schijven te vergroten nu de datadichtheid van platters met de traditionele pmr-techniek een plafond heeft bereikt. Seagate zet met name in op de hamr-techniek, ofwel heat-assisted magnetic recording. Daarbij worden schrijfkoppen met lasers gebruikt, om bits kleiner weg te kunnen schrijven op materiaal dat eerst verhit moet worden. Een variant daarop is mamr, ofwel microwave-assisted magnetic recording. In 2017 zei WD flink in te zetten op mamr, maar de fabrikant heeft dergelijke hdd's niet geleverd en gebruikt vooralsnog epmr als tussenstap.

De ontwikkelingen op de markt voor harde schijven zijn vooralsnog grotendeels gericht op de zakelijke markt en datacenters. De nieuwe technieken worden niet of nauwelijks toegepast in hdd's voor consumenten, omdat daar de datadichtheid geen grote rol speelt en de markt grotendeels is overgestapt op ssd's.

Reacties (46)

ECC (error correction code) is 1/9 van de totale data. Oftewel een sector van 576 bytes bevat 512 bytes data en 64 bytes ECC. 1/9 van 18 TB is 2 TB en 18 + 2 = 20. Dus waarschijnlijk hebben ze de ECC data verplaatst naar NAND.

Goed plan. Dit laat nieuwe optimalisaties toe. Geef de bedenker een bonus!

Een van de optimalisaties zou kunnen zijn om het NAND in raw mode te gebruiken (zonder ECC dus) aangezien ECC data ook zichzelf kan corrigeren. Of om die mogelijkheid juist weg te nemen.

[Reactie gewijzigd door xorpd op 1 september 2021 23:03]

Klink aannemelijk, maar sinds ongeveer 2010 is de HDD industrie overgestapt naar 4kB sectoren - precies omdat de ECC overhead van 64 bytes per sector zo hoog was. Die ECC overhead schaalt niet linear; 4kB schijven gebruiken maar 100 bytes extra. Dat is dus 1/40.

Dat het niet lineair schaalt klopt. Maar de exacte implementatie lijkt me moeilijk te achterhalen aangezien het device dat niet direct laat zien. Sowieso is het een afweging: meer ECC maakt grotere datadichtheid of een minder nauwkeurige implementatie mogelijk. Heb je trouwens ergens een goede link naar die 4k implementatie voor mij? Die 100 bytes lijkt me aan de weinige kant.

Ik heb de ecc specs niet, maar AF definieert inderdaad wel 100 bytes ecc per 4k:
https://en.m.wikipedia.org/wiki/Advanced_Format#Overview

ECC data in nand heeft geen zin. De ecc en de data zijn namel ik jk 1 geheel en worden zo ook verwerkt.
Het gaat dus om metadata om te tellen hoe vaak een naastliggende sector overschreven is. Dat moet je eerst uitlezen voordat je het kan schrijven, en dat kan je beter in flash doen.

Betekend dit dan ook dat deze HDD's, net als SSD's niet te lang zonder stroom in de kast kunnen liggen,
omdat je dan je metadata kwijt bent?

Goed dat je dat noemt. Veel mensen realiseren zich niet dat de data op een SSD langzaam weg kan lekken als deze nooit aan staat. Bij normaal gebruik is het meestal geen probleem, maar voor een archiveringstoepassing (o.a. backup) kan het wel een rol spelen. Bij hogere temperaturen kan het ook sneller gaan.

Interessante toepassing van NAND, dit is eigenlijk een vorm van SSHD maar dan specifiek geen data op de NAND, maar metadata.

Het voelt toch als een soort van valsspelen. Omdat er nu andere gegevens op de NAND staan, is het ineens nieuws. We hebben NAND opslag toegevoegd, dus nu hebben we meer opslag. Zo komt het op mij over dan.

De clue ligt waarschijnlijk in dit soort statements: "WD zegt met de OptiNAND-hdd bij het schrijven de schrijfoperaties op te slaan in het nandgeheugen op sectorniveau. Daardoor gebeurt het verversen ook per sector in plaats van per track. Dat maakt het mogelijk om de tracks dichter op elkaar te plaatsen, zonder dat dit prestatieverlies oplevert."

Als er 2 TB NAND toegevoegd is om 2 TB meer op de platters op te kunnen slaan dan slaat het technisch/economisch nergens op. Maar stel dat 1GB aan NAND voor metadata het mogelijk maakt om 2TB meer data op te slaan omdat het efficiënter kan, dan zit er op zijn minst een logische business case achter.

Dat gezegd hebbende. Ik ben heel benieuwd hoe lang de HDD markt in datacenters nog een "grote" rol blijft spelen. De ruwe prijs per GB ligt nog wel factoren lager dan een QLC/TLC SSD, maar met de ontwikkelingen op dat gebied i.c.m. compressie/dedup technologie, lager stroomverbruik en veel hogere opslagcapaciteit per vierkante centimeter denk ik toch dat het ook geen 10 jaar meer gaat duren voordat HDD's echt excotisch worden.

Dat wordt al 10 jaar gezegd.
Vooralsnog is HDD zo'n factor 5 goedkoper dan SSD

Maar het is, vergeleken met 10 jaar geleden, echt een stuk goedkoper geworden. 'Vroeger' waren SSD's écht duur, nu zijn dat vooral m2-schijven.

Het is inderdaad wel goedkoper geworden maar een factor 3 tot 4 keer duurder voor 4TB opslag blijft best veel.

Als er 2 TB NAND toegevoegd is om 2 TB meer op de platters op te kunnen slaan dan slaat het technisch/economisch nergens op.

Ik denk dat er maar een paar byte per track aan meta data nodig is, maar dat die metadata wel een hele sector inneemt.
Door die paar bytes aan metadata te verplaatsen komen dus hele sectoren vrij.

Dat klinkt logisch/aannemelijk. Het is ook niet bepaald mijn gevoel dat er echt 2TB NAND toegvoegd is, dat is meer wat @CykoByte impliceerde.

Meer hoe het op me overkwam. Als er echt efficiënter met de platen omgegaan kan worden, is dit natuurlijk heel interessant.

In het artikel staat dat ze access van sectors tellen. Dat gaat veel beter in centrale flash dan in de sectors zelf.

En als het nand errors heeft of stuk gaat krijg je dus bad sectors.
Lekker betrouwbaar. Even een print wissel voor recovery komt dus meer bij kijken dan een calibratie eeprom over zetten, mogen ze ook nog een trage nand flash bga over solderen. Bye bye data.

[Reactie gewijzigd door Flooperke op 1 september 2021 16:26]

Bye bye Data, Welcome Backup!

Ja dat zeker, maar als ik mijn data wegschrijf en er is bitrot kans die alleen maar toeneemt als ik al wil wegschrijven dan geen zin in.
En ben al gewend om een backup van een backup te moeten maken.
Het ergste is ongemerkte corrupte data, daar waardoor vele backups onbruikbaar worden en gewoon een waste of space en time wordt.
Zelfs windows heeft niet altijd door dat bij het over kopieren van data corruptie kan optreden, er wordt geen check over de data gedaan.
Helaas gebruik ik nog altijd quicksfv om te controleren dat alles feilloos gekopied wordt, zou willen dat windows dat standaard kon.

[Reactie gewijzigd door Flooperke op 1 september 2021 16:53]

Zelfs windows heeft niet altijd door dat bij het over kopieren van data corruptie kan optreden, er wordt geen check over de data gedaan.
Helaas gebruik ik nog altijd quicksfv om te controleren dat alles feilloos gekopied wordt, zou willen dat windows dat standaard kon.

https://github.com/maharmstone/btrfs gebruiken?

BTRFS is inderdaad een hele goede optie om ongemerkte bitrot te voorkomen en ik heb het zelf een tijdlang gebruikt. Nu ben ik overgestrapt of ZFS, maar op sommige systemen draai ik nog altijd BTRFS omdat het eenvoudiger is.

Je zou kunnen overwegen Teracopy te gebruiken, die heeft ook optioneel schrijfverificatie. Bij mij crasht het programma echter nog wel eens na de laatste schrijfactie.

Ik vind het gebruik van de iNAND naam wel interessant, dat was vroeger een naam (denk Sandisk, nu WD) voor NANDs (in een behuizing) met een SPI interface. Denk aan eMMC.

Een tijdje terug hadden we al een SSHD en plots zag je die niet meer. Nu heb je ook een NAHDD?
Ik vermoed dat dit een product is om een tijdelijk gat op te vullen (betrouwbaarheid en betaalbaarheid van de SSD). Als die twee punten richting de prijs van een HDD komen dan hoeven dit soort producten niet meer gemaakt te worden.

Wat eerder aangemerkt is over het NAND geheugen. EMMC staat inderdaad bekend als geheugen dat redelijk makkelijk "kapot" kan gaan en dan ben je ook de pineut.

Ik zie meer in een HDD met een SSD chip van pakweg 16GB (of 32GB). De belangrijk gebruikte bestanden staan een 2e keer alvast op de SSD deel en laden dan snel de rest wordt minder gebruikt en hoeft niet snel te laden. Echter de SSHD's die ik heb ervaren werkten niet echt op die manier (wat ze wel deden betitelen).

De hybride schijven die ik gebruikte waren wel degelijk een grote hulp. Ik weet niet waarom je denkt dat de modellen die jij had dat niet zo deden?

EMMC staat inderdaad bekend als geheugen dat redelijk makkelijk "kapot" kan gaan

Dat zegt wel iets over je bronnen. Het geheugen is NAND Flash geheugen. EMMC is geen geheugen maar een bus. EMMC wordt gebruikt wordt tussen CPU en de NAND controller chip, en is nauw verwant aan de SD card bus. Op veel SoC's kun je zelfs de pinnen schakelen tussen EMMC en SD.

De SSD in je PC heeft een andere bus, typisch PCIe, maar is ook gebaseerd op NAND flash geheugen.

Betaalbaarheid van een SSD laat al vele jaren op zich wachten, in vergelijking met HDD. De voorspelling wanneer de SSD de HDD hierin inhaalt, blijft vooruitgeschoven worden.

Ik denk dan ook niet dat de HDD markt snel verdwijnt. Wel is de doelgroep meer en meer beperkt geraakt, maar desalniettemin nog niet bepaald klein.

Een HDD van 20TB is voor conventioneel thuisgebruik namelijk waanzin. Er is weinig dat overblijft om dit soort schijven zelf mee te vullen. Ja, op tweakers zal er vast een select clubje zijn die het lukt. Maar je moet hard je best doen. Zelf heb ik mijn hele bluray collectie bijv. 1:1 geript, circa 200 films en wat series, goed voor krap meer dan 6TB. Games zijn ook best omvangrijk, maar ook daarin is 20TB toch echt veel om te vullen. Je moet een aardige collectie hebben van titels die je niet wilt verwijderen.

Kleinere SSD's voor thuisgebruik zijn dan ook gewoon veel meer voor de hand liggend. Hetzelfde geldt voor werkstations in veel kantoren.

Dit soort grote data opslag is veel logischer voor centrale opslag, data centra, etc. Waar je met grote volumina werkt waarin SSD nog (lang) niet voor iedere use case even zinnig is.

idd, ik moet daarbij ook denken aan tape. Dat is nog steeds beter dan HDD/SSD voor sommige toepassingen, en dat zal nog wel even zo blijven. En zolang dat zo is, zullen ze die blijven maken.
Zelfde met HDD vs SSD. De vraag of HDD of SSD hangt maar van de toepassing af.
Wel is het zo dat als HDD niet meer aantrekkelijk is voor n bepaalde toepassing, ze ook niet meer daarvoor zullen produceren. Of de prijs toeneemt omdat het een niche is waardoor het des te onaantrekkelijker wordt.

Harde schijven bevatten gigabytes aan metadata.

Gigabytes. Kan iemand daar wat meer over zeggen? Als het platte data is dan vind ik dat best wel veel.

Stel je sectorgrootte is 512Byte, dan heb je bij 20TB opslagcapaciteit dus 40 Miljoen sectoren waarvan je de metadata moet bewaren, dus wanneer en hoe gemaakt, bij welke andere sectoren de data in die sector hoort, en de volgorde om een bestand goed te lezen. Dat loopt hard op.

Die informatie over bestanden staat niet in de metadata van de schijf, die staat in de metadata van het file system. Dit gaat echt over de metadata van de harde schijf zelf, dus waar een sector precies op de metalen schijf ligt. Niet zo simpel meer tegenwoordig, want die sectoren overlappen (de shingled techniek uit het artikel)

We never cease to learn.

99% kans dat de metadata ECC betreft. Zonder error-correctiecodes zijn zulke enorme opslaggroottes niet mogelijk. Het betreft namelijk nog steeds een fysiek medium, gevoelig voor straling en magnetiek.

ECC zit in de sectors zelf. Gewoon meelezen en meeschrijven. Er is geen enkele reden om dat apart op te slaan.

Ik snap er niks van, het titel stelt dat de datadichtheid groter is geworden van de platters maar het artikel stelt dat dat niet zo is want de metadata is gewoon verplaatst naar wat anders waardoor er meer ruimte voor de gebruiker over blijft.

Wel zou je kunnen stellen dat de harde schijf (dus niet de platters) een hogere datadichtheid hebben gekregen, want daar kan je nu inderdaad meer op kwijt dan voorheen en de schijf is niet fysiek groter geworden...

[Reactie gewijzigd door watercoolertje op 1 september 2021 16:24]

Jawel, tracks kunnen nu dichter op elkaar volgens het artikel. Dit vergroot de capaciteit.

De datadichtheid wordt hoger omdat er geen ruimte meer verloren gaat aan informatie over sectoren, tracks, dat soort dingen. De data die je opslaat wordt op die manier dichter op elkaar gepropt. Ook kun je op deze manier theoretisch met extra NAND meer snelle, nauwkeurige metadata over de fysieke eigenschappen van de schrijf opslaan zonder dat deze constant moet worden ingelezen door de leeskoppen waardoor het ineens de moeite waard kan zijn om meer precieze metadata op te slaan (die anders zijn eigen voordeel teniet doet doordat de metadata in de vrijgekomen ruimte zou eindigen).

Vermoedelijk wordt deze metadata niet of weinig bijgewerkt (want hoe vaak verandert het aantal tracks op een harde schijf nou?) dus de schrijfbeperkingen van flash storage zou je hiermee niet moeten hebben.

Ik denk dat de titel klopt omdat de metadata waar het hier om gaat normaal niet afkomstig is van jou of je OS. Het is verspilling van ruimte op de schrijf zelf, en nu is het in een chip gestopt. Ik zou het zelf zien als een uitgebreidere management controller die in de schijven zit ingebouwd.

De ruimte die metadata in beslag neemt op een disk heeft ook weer zijn eigen marges die datadichtheid in de weg zitten. De marges zijn vooral nodig voor het verversen van de data. Dat gaat nu per track. Door het wegvallen van die metadata, kan dat per sector. Het data verversen heeft daarmee kleinere marges nodig en daardoor kan de data weer een klein beetje dichter op elkaar staan.

Ah fijn.. eMMC, dus na 5 jaar is de disk kapot omdat de eMMC module gewoon aan het einde zit van z'n leven. De disk kan dan prima werken nog, maar dan heb je er alsnog geen drol aan.

Beetje jammer dat er dus 'bezuinigd' wordt op de NAND in gebruik.

precies dit had ik dus ingedachte...
Dan vertrouw ik tot nu toe nog liever op de 'ouderwetse' HDD.
gewoon platters, of SSHD (nog nooit gebruikt)

De keren dat er bij bij HDD's gesneuveld zijn kan ik gelukkig op 1 hand tellen.
SD kaartjes (ter vergelijking) best wel veel... Zelfs van Kingston.

Ik vertrouw eMMC sowieso niet. Die dingen hebben een verkorte levensduur, omdat het gewoon niet gemaakt is voor zoveel writes. (Kijk maar naar de eerste generatie Tesla Model S.. Daar werd ook eMMC gebruikt..)

Ik vertrouw SD kaarten al héél lang niet. 2 weken geleden nog een verse install gedaan bij een klant van ESXi, omdat beide SD kaarten, 1,5 jaar na het er in steken, waren overleden. Fatsoenlijke USB stick er in gedaan en die werkt over 3 jaar nog gewoon.

Dus nee, doe mij maar HDD's op de normale manier of gewoon fatsoenlijk NAND of een SSD.

(Ik snap mijn downvotes trouwens ook niet op mijn OP. Wat ik zeg is gewoon een valide reden om niet zo'n HDD te willen..)

Offtopic: jij kan tenminste nog Voten...
ik heb een ban gekregen van onbekende tijd, en de aantijging dat ik het systeem misbruikte voor stemmingsvorming...

Dus het 'Votesysteem' is wat mij betreft toch al Exit

Ik vraag me dus af of je data nog benaderbaar is als die module (deels) defect raakt

Een leuk idee dit, en ook niet zo gek je het de techniek toch al in huis om die nand chip in de drive te hangen en of ik daar nu metadata of bestanden op zet maakt weinig uit natuurlijk. Maar door het te gebruiken voor metadata kan ik meer data op mijn platter kwijt en kan ik ook mijn platters in de toekomst meer data op laten slaan omdat ik de metadata gewoon in een of meer nand chips kan opslaan en dus geen ruimte op de platter er voor nodig heb. Want hoe veel ruimte die metadata ook in neemt per MB als ik een paar miljoen extra MB op zo'n platter zet heb ik toch ook een paar miljoen keer de ruimte voor die meta data nodig.

Dat dit niet naar consumenten disks komt voorlopig is niet zo gek. Consumenten slaan steeds minder vaak grote hoeveelheden data op, en als ze dat doen dan gebruiken steeds meer van deze consumenten (semi)professionele hardware in de vorm van schijven geoptimaliseerd voor NAS of video recording use cases.
De overgrote meerderheid van nieuwe PC's wordt verkocht met een SSD en dat is in veel gevallen de enige opslag die een consument gebruikt. De rest wordt op draagbare media opgeslagen dan wel in de cloud geplaatst. Dus voor bulk opslag heeft een klant eigenlijk geen harde schijf meer nodig.

Aan de andere kant is het in de enterprise markt steeds normaler om data sets van honderden GB's en steeds vaker tien tallen TB's te hebben.Groot gebruikers praten steeds vaker over PB's aan data. Dus ik kan me de wens van WD om meer data op een platter te persen wel begrijpen, en ik denk dat er flink wat klanten te vinden zullen zijn die wel interesse zouden hebben in 50TB of grotere schijven gewoon omdat het ze rack space en waarschijnlijk dus ook energie bespaard.

shingled magnetic recording, niet singled magnetic recording.

[Reactie gewijzigd door BartDG op 1 september 2021 17:01]

smr-variant staat "singled magnetic recording-techniek" moet dat niet "Shingled magnetic recording" zijn ?