EMC bouwt tot 15 petabyte schaalbaar opslagsysteem

EMC heeft een opslagsysteem aangekondigd dat een maximale capaciteit van 15 petabyte kan aanbieden. De Isilon 108NL-systemen zijn als nodes aan elkaar te koppelen, waardoor de prestaties bij uitbreiding op peil moeten blijven.

Isilon-systemen zijn volgens EMC flexibeler dan zogeheten scale-up-systemen. Bij dergelijke opslagsystemen kunnen weliswaar nieuwe harde schijven worden toegevoegd, maar vanwege beperkingen aan bijvoorbeeld de controllers zijn er grenzen aan de doorvoersnelheden. Bij de scale-out-architectuur van de Isilon-serie kunnen nodes worden bijgeplaatst waarin snellere schijven of nodes met meer rekencapaciteit kunnen worden geplaatst.

Volgens EMC kan het Isilon 108NL-systeem een doorvoersnelheid behalen tot 80GBps, terwijl het maximale aantal i/o-operaties 1 miljoen per seconde bedraagt. Standaard worden de opslagsystemen voorzien van 3TB-sata-schijven van Hitachi, terwijl per node 36 schijven kunnen worden geplaatst.

De maximale opslagcapaciteit binnen één overkoepelend file-system, OneFS geheten, van een serie Isilon-nodes zou bij de clusterlimiet van 144 stuks op 15,5 petabyte liggen. De Isilon 108NL-systemen kunnen verder worden voorzien van SmartLock-software, waarbij een bepaalde hoeveelheid data in read-only-modus kan worden gearchiveerd.

Reacties (62)

[gidion1987]

Behoorlijke snelheden! Ik vraag me af hoeveel dit zal gaan kosten...

[wildhagen]

Volgens deze site kost één Isilon 108NL ongeveer 123.500 dollar, en de Smartlock software nog eens een kleine 2000 dollar.

Moet zeggen dat ik dat erg mee vind vallen, zo duur is dat niet.

[Reactie gewijzigd door wildhagen op 29 juli 2024 00:07]

[ChrissieOne]

+- € 0,006 per GB dus.
(0,6 cent, of 0,8 dollarcent)

Edit: Oeps, je betaald dus 123.500 per 36x3 TB?
dan is het ietsje duurder

[Reactie gewijzigd door ChrissieOne op 29 juli 2024 00:07]

[Yuregenu]

Maar dan heb je weel een schaalbaar systeem waarbij de schijven vervangbaar zijn en de nodes uitbreidbaar zonder dat de snelheid er merkbaar onder lijdt. Een serverschijf met een doorvoer van 80GBps maakt het zeer interessant voor bedrijven waar er piekmomenten zijn. Neem bijvoorbeeld Hyves; ze zitten alleen in Nederland dus om 9 uur 's avonds (de dagelijkse piektijd) kunnen ze zo'n bandbreedte op hun schijven goed gebruiken!

[Yezpahr]

Maar dan heb je wel een schaalbaar systeem waarbij de schijven vervangbaar zijn en de nodes uitbreidbaar zonder dat de snelheid er merkbaar onder lijdt. Een serverschijf met een doorvoer van 80GBps maakt het zeer interessant voor bedrijven waar er piekmomenten zijn.

Naja, tis maar net wat voor type server je ervoor gebruikt.
Een mail server hoeft niet zo'n opslagmedium te hebben bijvoorbeeld.

Hyves heeft hier denk ik ook niet veel baat bij, want ze hebben servers genoeg om hun internetverbinding voluit te benutten. Dus dan hebben ze meer aan een snellere internet verbinding.

Kijk, een server van bijvoorbeeld een distributed computing project zou een paar van die dingen wel kunnen gebruiken in combinatie met een werkend product van dit artikel: nieuws: Wetenschappers jagen meer dan 100Tbps door glasvezel

[eL_Jay]

Waar the fuck wordt dit voor gebruikt? (neem aan dat een Petabyte +/- 1000 TB is?)
Sites als youtube? ERP systemen voor hele grote multinationals?

[Bob]

Clusters waar wetenschappelijke berekeningen op gemaakt worden bijvoorbeeld.

[Croga]

Daarvoor juist niet. Bij dat soort clusters is dataopslag behoorlijk veel minder belangrijk dan doorvoer snelheid. Daar worden eerder RAMSANs of SAS systemen voor ingezet.

[jvhaarst]

Niet alle wetenschap is CPU bound, in verschillende takken (Life Sciences) is veel werk IO bound.
DNA sequencers leveren binnenkort 1 Tbyte aan data per week af, dus dan heb je in 2 jaar een 108NL vol...

[VisionMaster]

Wij draaien wetenschappelijke berekeningen die mem-bound, cpu-bound and i/o-bound zijn door elkaar op 1 machine van verschillende groepen.

En verder zou ik deze EMC niet snel kiezen, omdat 80Gbit te beperkt is.

[rkoper575]

1 PB is precies 1000TB
1TB is precies 1000GB
1GB is precies 1000MB
1MB is precies 1000kB
1kB is precies 1000 Bytes

1PiB = 1024TiB
1TiB = 1024GiB
1GiB = 1024MiB
1MiB = 1024kiB
1kiB = 1024 Bytes

[Cergorach]

That, my dear sir, is rewriting history!

Dit is anders dan dat ik op school heb geleerd en wordt nog steeds gebruikt:

1PB is precies 1024TB
1TB is precies 1024GB
1GB is precies 1024MB
1MB is precies 1024kB
1kB is precies 1024Bytes
1Byte is precies 8Bit

Dat een branche die standaard niet handig vond omdat het meer geld koste (harddisk industrie) en voldoende vinger in de pap om valse voorlichting goed te praten (na enkele aanklachten) is geen excuses voor het herschrijven van de geschiedenis.

[-Dr.Z]

Exact... Om het verhaal nog even te verduidelijken zie wiki

[jmvdkolk]

De wiki zegt hetzelfde als rkoper575. Wat is er dan Exact?

rkoper575 heeft helemaal gelijk. Wij zijn alleen opgegroeid met o.a. MS systemen die MB/GB etc zeggen in de interface, maar MiB/GiB etc bedoelen. Storage fabrikanten werken consequent met 1 GB = 1000 MB (oftewel de SI standaard).

[Nixo]

Dat vroeg ik me ook af. Wat doe je met zulke hoeveelheden. En gezien de schijven is het voor storage only

[wildhagen]

Het gaat hier natuurlijk idd over mass-storage. Maar ondanks dat het SATA is kan de performance nog vrij goed zijn hoor. Zet genoeg SATA-disks in een RAID-configuratie, en je hebt nog altijd een behoorlijk goede performance.

SAS is een héél stuk duurder, en volgens mij zijn er nog geen 3 TB SAS-disks, dus je zou dan veel meer disks nodig hebben.

[Umbrah]

Zoiets, facebook genereert ook veel data bijvoorbeeld.

Ik ben zelf momenteel werkzaam bij een bedrijf in Groningen waar (mede vanuit de astronomie) ook veel behoefte is voor storage. We doen projecten voor O.A. het nationaal archief maar een CCD als de OmegaCAM in Chili en Lifelines genereren ook behoorlijk wat data. Hier staat nu zo'n 10PB in gedeeltelijk tape (wat niet te onderschatten valt, dit concept heeft "near tape value").

Ik ben benieuwd naar de standaarden en storage engines deze systemen ondersteunen, GPFS zou leuk zijn, hoewel HFS of eventueel GFS ook wel "grappig" zouden zijn.

[StefanTs]

OneFS, staat in de tekst.

[elhopo]

Bij banksystemen als opslag voor gescande documenten, in ziekenhuizen om rontgenfoto's op te slaan etc.

[pieter vs]

Dat leek mij ook want, stel er worden 1000 Röntgenfotoseries gemaakt per dag(ruim genomen denk ik). Dan heb je 365 dagen in een jaar. Stel zo'n gecomprimeerde fotoserie is (9,7MB*6 foto's)(4230 x 2820) 58 MB . Simpele rekensom: 1000x58x365=20 TB aan gegevens per jaar. Dus theoretisch zou voor 75 jaar aan röntgenfoto's opgeslagen kunnen worden. Lijkt me een mooi aantal jaar .

[Reactie gewijzigd door pieter vs op 29 juli 2024 00:07]

[wildhagen]

Op plekken waar enorm veel opslag vereist is. Een PB is idd 1000 TB overigens.

Denk aan grote databases, renderfarms, dat soort zaken.

[Ventieldopje]

Het is schaalbaar tot 15PB/144 nodes. Je kunt dus ook gewoon 1 of 2 nodes kopen als je niet zo veel ruimte nodig hebt

[metalmania_666]

Bij ons op het werk bijvoorbeeld. Bij ons wordt gebruik gemaakt van zowel zo'n type systeem met schijven, en dan nog een IBM DS8600 met een Hydra Tapelibrary waarin tapes gaan waarop 300GB per stuk passen

[Madshark]

Zoiets zul je ook terug vinden bij UseNet providers. Sommigen hanteren al een retention time van 600+ dagen, dat is een ongelooflijke hoeveelheid data.

[erwinb]

denk aan sites als:
Markt plaats, alle images voor marktplaatis in de EU komen van isilon,'
voor het bijhouden van statestieken,
maar vooral in de media wereld, denk daarbij aan video archieven van b.v. het NOB.
uitzendig gemist draait volgens mij ook op isilon.

[Verwijderd]

Dikke OLTP databases die ook nog wel een beetje DW willen doen.

[Bierkameel]

Beetje jammer dat ze SATA schijven gebruiken, wij hebben zelf een paar EMC CX4's staan en mijn ervaring met SATA is dat het leuk is voor archivering maar als je er ook maar een beetje I/O op los laat stort de performance compleet in.
Maar dit gaat waarschijnlijk meer om opslag dan performance want 15petabyte aan SAS schijven is nogal prijzig.

[PcDealer]

Sata is ook niet geschikt voor hoge I/O. Wie dat bij jullie naar binnen heeft gebracht moet zich schamen. Zeker als het 7200rpm consumentenschijven betreft.

[Bor]

Sata is ook niet geschikt voor hoge I/O. Wie dat bij jullie naar binnen heeft gebracht moet zich schamen.

SATA is prima te verantwoorden in een SAN wanneer de schijven worden gebruikt voor bv data welke maar infrequent geraadpleegd moet worden en waarbij weinig parallelle IO optreed. het is maar net welk doel je nastreeft; veel goedkope storage met een lagere max performance of juist een zeer hoge performance. Bovendien zijn SATA schijven vele malen goedkoper dan hun SAS equivalent en vaker in grotere capaciteit verkrijgbaar. Om direct te zeggen dat iemand zich moet schamen voor het gebruik van SATA in een SAN enclosure is echt te kort door de bocht.

[quakel]

SAN's maken onderscheid tussen SATA en SAS / (SCSI) schijven.

Bij de SATA schijven wordt een read after writer gedaan om te checken of de data er correct op staat. Dit is de grootste snelheid's verlies factor.

SATA en SAS schijven hebben een kwaliteit verschil, meer qua snelheid zal het niet zo veel uitmaken.

[rkoper575]

SAN's maken helemaal geen onderscheid ! Hoe kom je daar nu bij ? Een SAN is alleen maar een transportmedium. De naam zegt het al: SAN = Storage Area Network, oftewel de switches. Ik denk dat jij doelt op storage arrays.

[Bierkameel]

Dat hebben we zelf gedaan voor archivering, maar ivm met ruimtegebrek moesten we tijdelijk een paar VM's draaien op die SATA schijven, en dat was echt niet vooruit te branden, zoiets wil je natuurlijk niet in je productieomgeving, de rest is wel allemaal FC.

[N1traat]

Bij SATA geldt ook, hoemeer schijven hoemeer IOPS. Kan dus prima. Daarnaast kan er gebruikt gemaakt van flash-cache kaarten om de meest geraadpleegde data te cachen.

[rkoper575]

En dus meer GB's die je weer aan meer hosts gaan uitdelen, waardoor je meer IOps nodig hebt en de boel alsnog volledig in elkaar zakt. Maar ik begrijp dat jij niet in de storagemarkt werkzaam bent of uitsluitend iets met archivering doet wat geen grote hoeveelheden IOps nodig heeft.

[Cergorach]

De Isilon 108NL is dan ook gebouwd voor juist archivering en disaster recovery. Wat versta je trouwens onder 'een beetje I/O'? Voor flinke I/O is een RAMSAN ideaal.

[Verwijderd]

Je kan bij deze cluster van 108NL nodes ook een aantal S serie nodes plaatsen, die hebben SAS & SSD schijven. Je kan dan met Smartpool policies kiezen welke data op de snelle nodes komt.

[Barbapapa720]

Ik lees 1.000.000 IOPS en maximale doorvoer vna 80GB/s. Ik weet niet wat jij onder een beetje I/O verstaat, maar ik denk dat je hier best wel mee uit de voeten kunt.

[springtouwtje]

Wat getallen:

144 nodes x 36 schijven = 5184 schijven
Als dit de Deskstar 7K3000 is, dan is dat 6.8 Watt x 5184 = 35.251 kWatt.
Aangezien de schijven ook nog verbonden moeten worden en de voedingen een eindige efficiency hebben, reken ik intotaal op 100 kW. Dat kost in Nederland €0.22x 100 = €22 per uur.oftewel 24x365x€22 = €17520 per jaar

De MTBF van deze schijffamilie is 3 miljoen uur. Dat lijkt veel, maar met 5184 schijven gaat er dus gemiddeld elke 2.000.000/5.184=385 uur een schijf kapot, oftewel eens per 16 dagen.

Wat een waanzinnige aantallen.
Er is trouwensd een Ultrastar versie met SAS beschikbaar, waaromn zouden die toch niet genomen hebben? (i.p.v. de SATA Deskstar, die vooral voor home/commercial use is bedoeld)

[Bor]

De Deskstar 7K3000 is een consumer schijf bedoelt voor desktop gebruik en zul je maar weinig tegenkomen in corporate SAN's waar we het hier over hebben omdat de betrouwbaarheid en afgegeven garantie gewoon stukken lager is. Het verbruik van een consumer schijf als dit is daarom niet compleet relevant.

[Reactie gewijzigd door Bor op 29 juli 2024 00:07]

[supersnathan94]

idd consumer schijven zijn meestal na 5-6 jaar wel aan vervanging toe. en dat is bij gemiddeld gebruik van laten we zeggen 3 uur per dag het hele jaar door. dit soort schijven moeten minimaal een paar honderdduizenden uren mee kunnen gaan in een goede omgeving zonder dat ze rare dingen gaan doen. ik heb hier bijvoorbeeld een paar schijven liggen die dat aan kunnen. dat zijn Seagate Cheetah ultraSCSI schijven van 73GB. Die dingen zijn ook een stuk duurder dan de gemiddelde huis tuin en keuken schijf.

edit hieronder: heb net m'n cheetah schijfjes even bekeken en die geven 1 miljoen uur aan. oftewel 114 jaar!!

[Reactie gewijzigd door supersnathan94 op 29 juli 2024 00:07]

[dcm360]

Mja, een paar duizend uur is ook voor een consumentenschijf niet veel. In mn thuisserver zit een Samsung F1 schijf die er al een bijna 15.000 uur op heeft zitten, dat is omgerekend 1,7 jaar non-stop. Het grootste probleem met schijven is vaak het starten: de onderdelen worden warm en de koppen moeten worden gepositioneerd. In mn servers ben ik tot zover nog geen schijven kwijtgeraakt, wat deels verklaarbaar is doordat ze nauwelijks starten, en als ze starten dat ze nog niet ver onder de bedrijfstemperatuur zitten (en op de F1 die ik net noemde zijn/waren de schijven in mn thuisserver meestal 'afgedankte' schijven uit desktops). Wat uitval betreft gebeurt dat bij mij meer in de systemen voor desktopgebruik ('s ochtends aan, 's avonds uit en soms iets vaker).
Maar om even richting het nieuwsbericht te gaan: in dit systeem zullen de schijven het grootste deel van de tijd aanstaan, en dus de meest stressvolle situatie relatief weinig meemaken. Ook het overgrote deel van consumentenschijven lukt het makkelijk om in een dergelijke situatie hun economische levensduur ruim te overleven (waarbij ik er wel van uit ga dat er voldoende koeling is, maar dat lukt met deze prijs wel vermoed ik).

edit vanwege edit: knap dat jouw schijven al 114 jaar draaien maar de 15.000 uur die ik noemde is wat de schijf al gedraaid heeft. Ik ga er van uit dat de miljoen uur de MTBF is, en die is voor mn Samsung F1 schijfje 1.2 miljoen uur (volgens Samsung, uiteraard niet zelf getest). Overigens telt een andere schijf in mn server in minuten, en die teller is al wel wat keertjes rondgegaan vermoed ik (44.000 minuten is nogal weinig, zeker aangezien de F1 jonger is).

[Reactie gewijzigd door dcm360 op 29 juli 2024 00:07]

[wildhagen]

Er is trouwensd een Ultrastar versie met SAS beschikbaar, waaromn zouden die toch niet genomen hebben? (i.p.v. de SATA Deskstar, die vooral voor home/commercial use is bedoeld)

Simpel: de prijs. Een SAS-disk is enorm veel duurder dan een SATA disk, en er zijn iirc toch ook nog geen SAS-disks met een capaciteit van 3 TB? Dan zou je dus ook minder storage hebben (of meer disks nodig hebben voor dezelfde hoeveelheid storage).

5184 SATA-disks zijn nu eenmaal een stuk goedkoper dan 5184 SAS-disks. En als performance toch niet de allerhoogste eis is, maar de focus meer op het storage-aspect ligt (zoals hier), is de keuze voor SATA snel gemaakt.

[Verwijderd]

24x365x€22 is bij mij nog altijd een goede 192000 euro ipv 17520. Wel een verschil op jaarbasis...

[Verwijderd]

omdat ie duurder is? Op 5184 schijven is iedere dollar er 1 natuurlijk.

[Wicket]

Als je de documentatie opzoekt (http://www.isilon.com/sit...1016_Isilon_NL-Series.pdf), dan zie je in de tweede pagina van de specificaties staan dat de Typical Power Consumption @ 240 V ongeveer 720 W.

Of ik snap iets niet, of jij zit er enorm naast met 35,251 kW.

[mrc4nl]

De MTBF van deze schijffamilie is 3 miljoen uur. Dat lijkt veel, maar met 5184 schijven gaat er dus gemiddeld elke 2.000.000/5.184=385 uur een schijf kapot, oftewel eens per 16 dagen.

Nee dat zie je toch verkeerd, gemiddelde levensduur is idd stattish gezien 3M uur,
maar dat wil niet zeggen dat als je er meer hebt dat ze dan plots eerder kapotgaan,
Dus pas na 2MIL krijg je pas een aanwezize kans op kapotte schijven.
En ik mag hopen dat je als beheerder wel netjes backups maakt, of in ieder geval redudant je data opslaat

[Reactie gewijzigd door mrc4nl op 29 juli 2024 00:07]

[rubentjuh]

Een maximaal clustlimiet van 144 nodes.
Dat betekent dus 144 x 123.500 = 17.784.000 Dollar
Wat een onmogelijke prijzen?

[silentsnake]

Mwoh, valt wel mee hoor. Reken maar dat je flinke korting krijgt als je in 1 klap 144 nodes koopt. 7-10 miljoen voor zo eengrote storage omgeving is niet zo heel duur.

[Kars]

Dat doe je dus meestal ook niet in 1 keer.
Waar het hier om gaat is natuurlijk schaalbaarheid, en dat is best aardig gelukt.
Als je in de toekomst wil bijschalen, dan is dat dus mogelijk. Ook als je er 45 hebt staan en er (bijv. binnen 5 jaar) 99 extra nodig hebt.
Dan is het natuurlijk wel van belang wat de looptijd van die dingen is (niet naar 3 jaar EOL )

[Neal]

Reken eens door dan...

15 PB = ~ 15 miljoen GB

Dan is het dus iets meer dan een dollar per gigabyte...

EDIT: prijzen zijn in dollars ipv euro's

[Reactie gewijzigd door Neal op 29 juli 2024 00:07]

[Weyland]

17 miljoen voor 15PB vind ik nog een koopje...

[Skinkie]

Maar hoe anders is dit dan dan pNFS dat schaalt toch ook gewoon tot het oneindige door? En kan met iedere client die het protocol praat?

[Verwijderd]

De X en de S serie zijn wat sneller

[Verwijderd]

Dit is wel handig voor newsgroepen

[w2cker]

Google en consorten maken dit soort installatie gewoon zelf. Hierbij een zelfbouw van Backblaze http://blog.backblaze.com.../10-petabytes-visualized/

[Relaxed2000]

Ik snap niet dat die storage fabrikanten zo lovend doen over het aantal iops dat ze halen.

Een beetje simpele huis tuin en keuken pc met een leuk Fusion-io ioDrive Octal PCI Express card haalt al bijna 1180000 random read/write iops. (http://www.fusionio.com/products/iodriveoctal/?tab=specs)

Leuk als bootdisk of voor je database.

Als je er dan een stuk of 4 in je pc zet heb je wel een leuke configuratie.

[Bor]

Een SAN is nou eenmaal wat anders dan locale storage en daarnaast is de ioDrive solid state met een wel heel erg veel lagere capaciteit; geen vergelijking met disk based dus.

[Relaxed2000]

Maar misschien wel leuk om in de storage processor te bouwen van dit soort SAN's als cache.

[erwinb]

kijk naar NetApp. Die gebruiken een SSD/PCI kaart als cache,
Flash Cache.
Bij NetApp is deze Cache ook nog dedupe aware, waardoor b.v. in VDI omgevingen er een veelvoud aan data id de cache staat.

[rkoper575]

Dat klopt, een SAN is een netwerk en transporteert data en storage (lokaal of centraal) slaat data op; heel wat anders dus inderdaad. Appels en peren inderdaad.
Als je je vergelijking goed wilt maken, vergelijk dan DAS met een storage array (SAN-attached storage).