Fujitsu bouwt Portugese 10Pflops-supercomputer met Arm-processors

Fujitsu heeft een contract ter waarde van twintig miljoen euro gekregen voor de bouw van een supercomputer in Portugal. Het gaat om een systeem met een rekenkracht van tien petaflops, op basis van Fujitsu's A64FX-processor. Die Arm-chip zit ook in de snelste supercomputer.

Het systeem krijgt de naam Deucalion, naar de figuur uit de Griekse mythologie en wordt geïnstalleerd in het Minho Advanced Computing Centre in Portugal. Daar zal de rekenkracht ingezet worden voor onder andere onderzoek naar nieuwe materialen en geneesmiddelen, weersvoorspellingen en klimaatverandering. De supercomputer wordt gefinancierd met Europees geld via EuroHPC en geld van de Portugese regering.

Fujitsu bouwt het systeem op met zijn PrimeHPC FX700-hardware. Dat is een 2U-chassis, met daarin vier blades, waar per stuk twee nodes in passen. Iedere node is voorzien van een Fujitsu A64FX-processor met 48 cores en een kloksnelheid tot 2GHz. Per node is er 32GB aan HBM2 aanwezig.

De hardware is vergelijkbaar met die van de Japanse Fugaku-supercomputer. Die supercomputer is veel groter en heeft een piekrekenkracht van 537 petaflops. Daarmee staat het systeem op de eerste plek in de Top500-lijst van supercomputers. MACC is een van de eerste Europese afnemers van de Fujitsu-hardware voor supercomputers.

Fujitsu PrimeHPC FX700

Reacties (36)

[johnkeates]

Een 2U node met 1 SoC met maar 48 cores en 32GB RAM? Dan zou je haast denken dat een OCP rack op z'n minst twee keer meer met die ruimte kan, als niet vier keer meer.

[Femme]

Volgens de specs kunnen er maximaal acht nodes in een 2U chassis, dus 384 cores per chassis.

AnandTech heeft onderaan deze pagina een photo van het blade. Er gaan twee nodes op een blade en maximaal vier blades in een 2U chassis.

[Reactie gewijzigd door Femme op 28 juli 2024 09:59]

[kidde]

Kleine aanvulling:

Het aantal cores is net iets hoger; want er zitten er 52 per CPU.
Echter; 48 daarvan zijn 'computational cores', en 4 daarvan zijn 'support / IO cores'.

Er zijn ook "halve" rekken in de Japanse versie:

The Fugaku machine includes a total of 158,976 nodes, with 384 (computational ed.) nodes per rack × 396 (full) racks = 152,064 nodes and 192 nodes/rack × 36 (half) racks = 6,912 nodes.

Bron

[Reactie gewijzigd door kidde op 28 juli 2024 09:59]

[johnkeates]

Ah ja, dat is een stuk logischer. Nog steeds niet perse heel druk bezet maar komt aardig in de buurt van de SuperMicro Twin doubles. Dan zou directe HBM attachment ook al doorslaggevend kunnen zijn.

[fastedje]

De link hierboven in dit artikel zegt hetzelfde.

[MaDMaRTiGaN648]

De foto onderaan de pagina is van een HPE blade op basis van A64FX, dit is niet een foto van de Fujistu PrimeHPC FX700-hardware.

[Xtuv]

Op de specsheet staat 1 cpu per node en afmetingen van 2U. Vond ik ook wat gek, ben even wat dieper in de specificaties gedoken. De nodes zijn kleiner, er zitten tot vier blades in een 2U-chassis, die ieder twee nodes bevatten. Dus acht nodes/cpu's per 2U.

[johnkeates]

Komt inderdaad een stuk meer in de regio van het standaard spul van OCP en SuperMicro.

[BlacKstaR-]

Denk bewust gedaan, om toekomstige upgrades mogelijk te maken.

[johnkeates]

Volgens mij schrijven ze gewoon complete clusters in z'n geheel af in plaats van upgrades. En ook dan is het niet logisch; je kan nu direct ook al een OCP-based cluster neerzetten, jammer dat ze het prijskaartje nooit helemaal uitspecificeren.

[Rudie_V]

Je kan ook gewoon extra racks met servers neerzetten als je wilt uitbreiden.

https://www.fujitsu.com/g...rcomputer/specifications/
De PrimeHPC FX700-nodes lijken geen plek voor meer CPU's te hebben ook, 1 CPU per node.

[sspiff]

1 SoC per node, 2 nodes per blade, 4 blades per chassis van 2U. Dus 8 SoCs en 256GB aan HBM2 geheugen per 2U chassis.

[lasermen]

Dit: https://www.opencompute.org/

Een samenwerking van de grote (cloud) bedrijven om open computer (deel) ontwerpen met elkaar te delen. Waardoor je makkelijker nog grotere schaal en daarmee kostenbesparing kan verkrijgen.

Met ook een stuk optimalisatie in het ontwerp met bepaalde zaken toevoegen en/of juist weglaten. Ter voorbeeld, 1 grote voeding in de kast zelf en vanuit daar met gelijkstroom naar de nodes gaan. In plaats van dat elk systeem zelf de 230V wisselspanning moet omzetten naar gelijkstroom.

[xmenno]

Interessant, doen @lasermen of @johnkeates daar iets mee dan? Er zijn niet veel mensen in Nederland die er bewust van zijn of er gebruik van maken.

[Reactie gewijzigd door xmenno op 28 juli 2024 09:59]

[lasermen]

Tot op zekere hoogte, ja.
Maar wij gaan niet zo ver met OCP als de grote cloud bedrijven. Want dan ga je ook naar 21" kasten en moet je huidige datacenter compleet verbouwen qua infrastructuur. (zaken die alleen voordelen geeft als je voetbalvelden vol met apparatuur neer gaat zetten)
Ik weet dat ze op CERN hier wel mee hebben zitten testen en achteraf ervoor hebben gekozen om toch niet zo ver te gaan. Want je verliest het gemak en de mogelijkheden om de standaard oplossingen nog makkelijk kwijt te kunnen. En de meeste OCP systemen zijn meer ontworpen op prijs en minder op kwaliteit. Dat was ook iets wat ze terug zagen in hun testen.

Andere OCP ontwikkelingen kom je tegenwoordig tegen bij de bekende merken, zoals het OCP3 slot. Je ziet dit terug bij bijvoorbeeld de Dell R6525 en de Lenovo SR655.
Specs: https://www.opencompute.org/wiki/Server/Mezz
Voorbeeld kaart: https://www.mellanox.com/..._OCP3.0_Adapter_Cards.pdf

Dus in die zin kom je de effecten van OCP wel steeds meer tegen in de normale systemen en maak je automatisch gebruik van de ontwikkelingen die daar uit zijn gekomen.

[xmenno]

En wat doe je er zelf dan mee als ik vragen mag?

[lasermen]

Wij hebben in het verleden ernaar gekeken in combinatie met ONIE, OpenBMC en OpenPOWER. (deze standaarden complementeren elkaar) Test systemen gekocht en daar ervaring mee opgedaan.
Daarnaast ook mee gekeken met de OCP ontwikkelingen op CERN.

Combinatie van dit allen heeft ons doen besluiten om voorlopig bij de meer gangbare merken te blijven. Wat in ons geval goedkoper is qua aanschaf en ook in de verdere TCO berekening.

We zijn wel blij met dat bepaalde aspecten van OCP overgenomen wordt door de rest van te markt. Zoals het OCP3 slot.

[xmenno]

Grappig, ik weet niet waar je die systemen hebt gekocht. Misschien vanwege de kleine aantallen dat het duur was. Wij kopen met grotere batches in en houden wat voorraad zodat we voor het verkopen van test systemen weer minder hoeven te rekenen. En dat halen we weer per container binnen ipv een kleine express zending. Ook zijn we onderdeel van een grote distributeur waar we CPU, geheugen, SSD etc... beter in kunnen kopen. Want het moederbord, chassis en de kast zijn niet echt de grootste kosten.
OpenBMC zijn we ook mee bezig: https://www.linkedin.com/...ivity:6768188372604211200

[lasermen]

Nou we kopen niet klein in hoor
Maar we betere condities vanuit de gangbare merken dankzij onze maatschappelijke/vooruitstrevende positie in de markt t.o.v. wat OCP oplossingen

Toevallig onderdeel van Taurus?

OpenBMC komt toch het beste uit de verf als je het op een OpenPOWER systeem draait. Want dan is je volledige omgeving inclusief "BIOS" omgeving ook netjes open Doen jullie dat ook?

[xmenno]

Inderdaad onderdeel van Taurus. Wij doen nog geen BIOS want we hebben nu 1 FTE ontwikkelaar sinds 3 maanden, die is zich nog in OpenBMC aan het verdiepen. Ooit gaan we wel meer doen met Open System Firmware als we het kunnen funden vanuit hardware verkoop en/of support.

[lasermen]

Je zal nooit volledig open kunnen gaan op x86 systemen. Hou daar wel rekening mee

[xmenno]

Dat weet ik, maar dat is ook niet wat klanten aan ons vragen. Ik heb zelf geen workload die ik ergens kan plaatsen, dat is aan de klant. Die vraagt om x86 op het moment, ze vragen ook om ARM maar nog geen PO voor gezien. Maar ik denk wel dat het tzt handiger is om over verschillende designs of fabrikanten dezelfde basis featureset te hebben en dezelfde manier van aansturen. En om in de toekomst betere support te kunnen geven. Daarom doen we die investering in OpenBMC op dit moment op de Facebook servers en wat Gigabyte.

[xmenno]

Ik ben het trouwens niet helemaal met je eens. Wij hebben op Schiphol in een 40kW ruimte een demo/lab opstelling waar we verder niks aan de ruimte hebben gedaan, alles er ingerold en aangesloten. We hebben ook een 250kW ruimte waar we onder de vloer alles weg laten halen en het verlaagde plafond eruit, stroom en netwerk van boven en rollen de kasten er weer zo in. Eigenlijk is het een veel simpeler design, wat nu ook de blauwdruk is voor andere ruimtes en zo zijn we nog met een 80kW ruimte bezig. Dat zijn allemaal geen voetbalvelden.
Tevens hebben we single mode fiber door het datacenter, dus we kunnen ook 19" racks ergens anders in het DC mixen met 21" en we hebben de 19" routers in de carrier room gezet.
De systemen van Facebook zijn juist ontworpen op kwaliteit, maar ook op efficiëntie in onderhoud en energieverbruik. Er zijn dus minder onderdelen die kapot kunnen gaan, maar als er iets kapot gaat kun je het meestal binnen een minuut repareren. Er gaat wel eens een memory module stuk, maar dat is bij elk systeem het geval. Dit vervang je zonder gebruik van enige tools. Uitval van een hele server maken wij niet mee, we hebben ook systemen die terug zijn gekomen van Facebook en die zijn kwalitatief nog prima behalve dat de CPU een oudere E5-2600v3 is. Bijvoorbeeld de grote fans die er in zitten zijn bij ons na jaren nog niet een keer stuk gegaan en met systemen die continu belast worden (advertentie markt) draaien ze met 2 vingers in hun neus. Ze worden in elkaar gezet door grote ODMs zoals Wistron of Quanta, met componenten van hoge kwaliteit zoals Delta Electronics.

[lasermen]

Hey, zie ik hier een aap uit de mouw komen?

Wanneer het kosteneffectief wordt ligt aan je pand, mogelijke verbouwingskosten en wat voor kortingen je krijgt van de gangbare fabrikanten. Ik ben blij voor je dat het voor een 250kW ruimte (wat niet echt groot is) al kostendekkend is. Voor ons liggen de verhoudingen anders om het kostendekkend te krijgen.

We hebben wel wat meer nodig dan een paar glasvezels om voldoende bandbreedte naar elke kast te krijgen. Ligt daarmee ook heel erg aan je omgeving en type gebruik

Onze + ervaring van CERN is dat we juist mindere bouwkwaliteit zagen in de OCP ontwerpen tov wat bepaalde gangbare fabrikanten aanbieden. Maar we belasten de systemen ook vrij stevig 24x7. Bij de advertentiemarkt moet ik niet denken aan een zware last voor de systemen (met bevestiging van je 2 vingers in de neus opmerking

Uiteindelijk komt het erop neer wat het beste uitkomt voor het gene wat je wilt doen. Anders zouden we allemaal wel merk X rijden als dat perfect zou passen bij iedereen. Maar we blijven OCP zeker volgen en pakken de stukken eruit die wel passen bij ons.

[xmenno]

Zoals ik zei, ik kom nooit mensen tegen die over OCP beginnen hier. Verbouwing zit hier in het DC wat toch al wat ouder is gewoon standaard inbegrepen. Maar ze zijn wel blij want de ruimte is gewoon veel simpeler geworden, zo hadden ze voorheen sensoren boven en onder het plafond en nu is dat hele plafond weg. Kabels trekken is ook veel makkelijker nu.
Als je nog een paar MW wil hebben kunnen we dat ook gewoon regelen, er is nog een 1,7MW ruimte over.
CERN was wel een paar jaar geleden en ik denk dat zij Leopard systemen hebben, van Wiwynn en ik denk ook van QCT. Maar ik merk dus aan de 2e hands Leopard systemen die van Facebook terug komen ook geen issues.
Onze advertentie klant doet echt zijn best op die systemen, het is volledig belast van de ochtend 6 uur tot een uur of 11 in de avond. In de nacht valt het stroomverbruik terug tot tot ongeveer 75% van wat ze overdag doen.

[lasermen]

Je begint wel met de vraag: Wat is OCP?
Terwijl je het antwoord allang weet... Dat is wel een beetje aparte manier om te polsen of er ook andere mensen zijn die zich met de materie bezig houden...
We hebben onze eigen datacenters waar we erg blij mee zijn met meer dan voldoende MW beschikbaar en ook niet echt de behoefte om in Schiphol te gaan staan. (waarom zouden we?)
Maakt het uit dat CERN een paar jaar geleden was? Zo snel gaat de markt nou ook weer niet
Dan heb je nog steeds 7 uur aan rekentijd wat niets staat te doen... Je zou daar nog wat nuttigs mee kunnen doen als mee doen met DPC

[Reactie gewijzigd door lasermen op 28 juli 2024 09:59]

[xmenno]

Omdat ik de term OCP ook wel eens met andere betekenis tegen kom, bijvoorbeeld OpenShift Container Platform, Oracle Certified Professional, etc.... De bekendheid van Open Compute Project in Nederland is gewoon niet zo groot. En een aantal fabrikanten doen een OCP sausje ergens overheen terwijl het totaal niks open is, geen specificaties of design bekend bij de OCP Foundation en toch OCP logo erbij.
De ontwikkeling van een OCP design staat nooit stil, er is een hoop veranderd bij Open Rack v2 waar wij nu gebruik van maken. Bij een traditionele fabrikant zie je de verschillen niet zo, zelfde chassis met een nieuw bordje erin. Bij OCP is het meer CI/CD zoals je bijvoorbeeld ook bij Tesla ziet. En je kunt het via de maandelijkse calls allemaal volgen. Dus niet zoals bij een traditionele fabrikant waar een bepaalde onderdeel niet op voorraad was en verassing de volgende batch van hetzelfde type werkt opeens heel anders.
Maar ook de 3 jaar oude servers van Facebook (die ook al ORv2 zijn) hebben bij ons geen problemen.
Die klant doet niet niets, het loopt alleen terug van 11kW naar 8kW. Het zijn hun systemen, wij doen er sowieso niks nuttigs mee.

[Tweaklyfe]

Maar draait ie Crysis ?

[s.flake]

imagine a Beowulf cluster of these...........

Obligate reacties, worden nooit oud.

[retrosaurus]

Fantastische hardware. Ik ben ook wel geinteresseerd om iemand te horen praten/lezen over welke software oplossingen er gebruikt worden om dit allemaal schaalbaar te maken. Is er iemand die hier meer van weet? Het zal wel geen "gewone" kubernetes of zo zijn denk ik dan?

[martijnbright]

Toevallig weet ik daar wel iets van. Je kan clusters van die Fujitsu nodes installeren en managen met behulp van bijvoorbeeld Bright Cluster Manager (schaamteloze zelf-promotie). Fujitsu levert deze clusters standaard met x86_64 head nodes en login nodes, en de compute nodes zijn dan arm64. Afhankelijk van hoe je je workload wil draaien kan Bright er dan een HPC job scheduler (bijv. Slurm of PBS Pro) op deployen, of Kubernetes, of alle twee.

[juanita]

En waar gaat Portugal hem voor gebruiken?

[ZenTex]

Daar zal de rekenkracht ingezet worden voor onder andere onderzoek naar nieuwe materialen en geneesmiddelen, weersvoorspellingen en klimaatverandering.

Staat nota bene in het artikel.