Fujitsu ontwikkelt nieuw bestandssysteem voor hpc-clusters

Fujitsu heeft een nieuw FEFS-bestandssysteem ontwikkeld voor x86-hpc-clusters. Volgens de fabrikant is FEFS momenteel het best presterende bestandssysteem in zijn soort en biedt het ondersteuning voor maximaal 8 exabytes aan opslag.

Als basis dient het Lustre-filesystem waarop Fujitsu propriëtraire software heeft gebouwd. FEFS is bedoeld om toegepast te worden voor high-speed parallel distributed computing-omgevingen en kan volgens Fujitsu snelheden behalen van 1TB per seconde tussen nodes in een hpc-cluster en het bestandssysteem. Het Japanse bedrijf claimt daarmee een record in handen te hebben.

Fujitsu stelt ook dat het FEFS-bestandssysteem, dankzij de ondersteuning voor diverse redundancy-mechanismes, een hoge mate van betrouwbaarheid biedt om zo geen downtime te hebben in hpc-clusters. Ook zou FEFS een betere schaalbaarheid hebben dan traditionele bestandssystemen; de maximale grootte van een FEFS-cluster is 8 exabytes.

De fabrikant wil FEFS onder andere toepassen in Primergy x86-servers en zijn Eternus-opslagsystemen. Of Fujitsu het FEFS-bestandssysteem ook aan andere fabrikanten gaat leveren, bijvoorbeeld onder een licentiemodel, is nog niet bekend.

Reacties (14)

[Sir_Hendro]

Ik neem aan dat een EXA-byte de opvolger van de PETA-byte is?

//edit:
Volgens wikipedia:
The exabyte (derived from the SI prefix exa-) is a unit of information or computer storage equal to one quintillion bytes (short scale). The unit symbol for the exabyte is EB. The unit prefix exa indicates the sixth power of 1000:

1 EB = 1000000000000000000B = 1018 bytes = 1 billion gigabytes = 1 million terabytes


Dus 1EB = 1024 PB (ofwel 1024000 TB of 1024000000 GB)

[Reactie gewijzigd door Sir_Hendro op 13 augustus 2024 18:01]

[Mei]

Kleine correctie: 1EB is 1073741824GB. Je moet bij bytes met 1024 vermenigvuldigen (long scale) in plaats van 1000. De SI-prefixes mogen daarom technisch gezien niet in deze context gebruikt worden. Daarvoor is er tegenwoordig exbibyte, pebibyte, tebibyte, gibibyte, enz. Deze prefixes betekenen 1024, of een macht daarvan.

Je redenatie klopt an sich wel, maar de algemeen gebruikte naamgeving is verwarrend

[Fireshade]

Gaat het hier ook om opslag?
Bij opslag gebruiken ze gewoon het SI stelsel, volgens mij.
1 Megabyte is dan 1.000.000 bytes, 1 kilobyte = 1000 bytes, etc.
Dus geen 2^x versies (Gibi, Mibi, kibi etc).

[Reactie gewijzigd door Fireshade op 13 augustus 2024 18:01]

[encryped]

Ja, zie wiki
http://nl.wikipedia.org/wiki/Exa

[Verwijderd]

Deze kerel weet het antwoord vast wel.

Hij heeft ook een spotgoedkope super computer gebouwd, op basis van 'gewone' moederborden en nvidia videokaarten. Deze evenaart / verbetert de prestatie van een 3000 maal zo dure 'gangbare' supercomputer. Dus misschien is dit een leuke uitdaging voor wetenschappelijke instellingen.

http://www.youtube.com/watch?v=hSVo4ejZ7rc

Weet iemand of de oplossing van Fujitsu een SAN is?

[Reactie gewijzigd door Verwijderd op 13 augustus 2024 18:01]

[Niemand_Anders]

Je moet hier niet denken in termen van NAS of SAN. Technisch gezien is het meer een NAS omdat de computer nodes WETEN dat het om remote storage gaat..

Je kunt het systeem zelfs zien als een RAID array van NAS apparaten. De minimale configuratie bestaat uit vier RX300 S6 servers welke de load verspreiden.

Hoewel het vast ook wel weer mogelijk is om via software iSCSI mogelijk te maken, waardoor het toch weer als SAN ingezet kan worden. Maar dit is opslag bedoeld voor HPC toepassingen. Voor een 'gewone' SAN oplossing heeft dit systeem wel een heel erg hoog prijs kaartje met een start prijs van 200.000 euro.

Vergeet niet dat als jij geen data stroom van laten we zeggen minimaal 300 GB/s kan volhouden je helemaal niets hebt aan een opslag systeem welke 1TB/s kan verwerken..

[stresstak]

Vergeet niet dat als jij geen data stroom van laten we zeggen minimaal 300 GB/s kan volhouden je helemaal niets hebt aan een opslag systeem welke 1TB/s kan verwerken..

Niets hebt aan dit opslagsysteem ? Bedoel je dat je ook te langzaam data kunt aanbieden om werkbaar te zijn. Dat snap ik niet.

[vlaaing peerd]

jeps, en daarna komt de zettabyte.

[Sir_Hendro]

Ik vraag mij af wie deze namen verzint. Of is het een Griekse / Latijnse / Romijns nummering? Het klinkt allemaal zo apart na de gigabyte. Zelf dacht ik aan byte, megabyte, gigabyte, superbyte, ultrabyte, masterbyte (alhoewel masterbyte misschien wat vreemd klinkt ). Op namen zoals terra, peta, exa en zeta bytes zou ik nooit op komen.

[Reactie gewijzigd door Sir_Hendro op 13 augustus 2024 18:01]

[Zoefff]

De SI-prefixes zijn inderdaad afgeleid van voornamelijk Grieks en Latijn:

• Mega = μέγας (megas)
• Giga = γίγας (gigas)
• Tera = τέρας (monster)
• Peta = πέντε (penta, vijf)
• Exa = ἕξ (hexa, zes)
• Zetta = septem (zeven)
• Yotta = όκτώ (octo)

Aldus Wikipedia

[mngm]

http://en.wikipedia.org/wiki/SI_prefix

[Brummetje]

super, ultra en master klinker vreemder naar giga om heel eerlijk te zijn....

En als je goed kijkt in het stukje wat Sir_hendro post vanaf wikipedia dan zie je ook waar de naam vandaan komt het is dus niet zomaar even verzonnen maar het heeft ook een reden waarom het zo heet.

[vlaaing peerd]

hahaha, en daarna monsterbyte en god-like byte?

Vraag me af hoe/of besturingssystemen dit gaan ondersteunen. Geen flauw idee of Fujitsu nu zelf de clusterOSsen maakt/levert, maar het lijkt me toch dat je ook je klant zelf het OS wil laten kiezen.

[Umbrah]

Ik moet zeggen, ik ben benieuwd. Dit zal een rechtstreekse concurrent voor GPFS worden, iets wat veel gebruikt wordt (ook bij mijn werkgever, een 10PB filesystem), maar toch een paar... tsja... apartheden heeft. Zeker bij excessief gebruik gaat GPFS op z'n gat terwijl gewenst gedrag een "begrenzer" zou zijn.