Intel levert Aurora-supercomputer met 2 exaflops aan rekenkracht af na uitstel

Intel is klaar met het afleveren van de Aurora-supercomputer. Het bedrijf heeft daarmee samen met HPE ruim 10.000 'blades' afgeleverd met in totaal 63.744 gpu's en 21.248 cpu's. De supercomputer moest eigenlijk in 2018 al af zijn, maar is meermaals herontworpen en uitgesteld.

De Aurora-supercomputer bestaat uit 166 serverracks met ieder 64 blades, schrijft Intel in een persbericht. Daarmee is het systeem nu uitgerust met in totaal 10.624 blades met ieder 2 Sapphire Rapids-cpu's van 40 cores en 6 Ponte Vecchio-gpu's. Intel zegt dat de volledige supercomputer is afgeleverd en geïnstalleerd in het Argonne National Laboratory van het Amerikaanse ministerie van Energie. De supercomputer beschikt verder over 10,9 petabyte DDR5-geheugen en 1,36PB HBM-geheugen op de Sapphire Rapids-cpu's. Het systeem heeft ook 1024 opslagnodes met in totaal 230PB opslagcapaciteit en een totale bandbreedte van 31TB/s.

De supercomputer zal onder meer gebruikt worden voor wetenschappelijk onderzoek. Volgens Intel wordt Aurora later dit jaar daadwerkelijk in gebruik genomen. Het bedrijf deelde eerder ook al details over een 'Aurora GPT'-taalmodel dat gericht wordt op wetenschap en gedraaid zal worden op de supercomputer.

Intel verwacht dat Aurora later dit jaar de eerste supercomputer is die theoretische prestaties van 2 exaflops haalt als hij wordt toegevoegd aan de TOP500-lijst. Daarmee zou de supercomputer vermoedelijk op plek een komen te staan. Momenteel staat de Frontier-supercomputer met AMD-hardware op de eerste plek, met prestaties van ruim 1 exaflops.

De Aurora-supercomputer werd in 2015 al aangekondigd. Het systeem had toen een verwachte rekenkracht van 180 petaflops. Het systeem werd later uitgesteld tot 2021. Intel hoogde zijn prestatieverwachting daarmee wel op naar 1 exaflops. Eind 2021 zei Intel dat de supercomputer in 2022 opgeleverd zou worden en 2 exaflops aan rekenkracht zou bieden. Uiteindelijk komt het systeem dit jaar, in 2023, dus online.

De installatie van de Aurora-supercomputer. Bron: Argonne National Laboratory

Reacties (33)

[Balance]

Wat goed is om te zien is dat er supercomputers gebouwd worden met andere hardware dan alleen maar Nvidia-accelerators. In de top 20 supercomputers (in de Top500 June 2023-lijst) staan er vijf met AMD Instinct-accelerator (waaronder de nummer 1 en 3), twaalf met Nvidia-accelerator en drie met enkel CPU-cores. En nu komt Intel dus ook met minstens 1 systeem de top in.

Hier moet software voor ontwikkeld worden, en zeker een computer als Aurora wordt door heel veel researchers gebruikt. Deze software sijpelt door in - veelal open-source - drivers en libraries. En dat is goed, want dat betekend meer concurrentie op elk gebied: Cloud, on-premise, research, software en workstation.

[d3x]

ze staan er weer? oplevering 4-5j te laat en claimen idd 2 Eflops.(ik zeg er duidelijk bij claimen)

Echter tegen een technologie van 4-5j geleden EN zo goed als dubbel aantal CPU en GPU systemen.

cpu
9408 vs 21248
gpu 37632 vs 63744
De Frontier verbruikt 21MW de aurora is geschat op 60MW

Nou dan heb je pas een kat in een zak gekocht. Dit heeft Intel garantie HEEL VEEL geld gekost aan claims om dit staande te houden.

[Reactie gewijzigd door d3x op 23 juli 2024 18:00]

[vlaaing peerd]

Als je er prat op gaat om juist die vergelijking te maken, dan kan je beter kijken naar de Green500

Het klopt dat gewoon meer nodes neerzetten ook gewoon meer rekenkracht oplevert. Dus in die zin is de HPL top500 een simplele oefening als je er maar cores tegenaan blijft gooien.

De Green500 geeft je de rekenkracht per verbruikte energie.

Het is overigens 2 Exaflop, niet Tflop.

[Bulkzooi]

Wat goed is om te zien is dat er supercomputers gebouwd worden met andere hardware dan alleen maar Nvidia-accelerators. In de top 20 supercomputers (in de Top500 June 2023-lijst) staan er vijf met AMD Instinct-accelerator (waaronder de nummer 1 en 3), twaalf met Nvidia-accelerator en drie met enkel CPU-cores. En nu komt Intel dus ook met minstens 1 systeem de top in.

Hier moet software voor ontwikkeld worden, en zeker een computer als Aurora wordt door heel veel researchers gebruikt. Deze software sijpelt door in - veelal open-source - drivers en libraries. En dat is goed, want dat betekend meer concurrentie op elk gebied: Cloud, on-premise, research, software en workstation.

Ja, dat was een zware bevalling voor Intel. Maar ze zijn er weer.. Maar meer als knecht van AMD dan andersom.

Maar qua software hoef je je geen zorgen over te maken aangaande Intel/AMD, maar het is idd niet CUDA, waarmee Nvidia een flinke voorsprong heeft gepakt. En da's goed. CUDA is voor Nvidia nu belangrijker dan dat Tegra dat is, en hun keuze voor een Apple-achtige Cloud-model heeft ze geen windeieren gelegd.

[Reactie gewijzigd door Bulkzooi op 23 juli 2024 18:00]

[dasiro]

5 jaar uitstel is een eeuwigheid en blijkbaar hebben ze Cray sinds 2021 ingeruild voor HPE als leverancier, wat wel een prestatie is voor die laatste om zo'n project over te nemen. Sinds de initiële aankondiging heeft Intel serieus wat problemen gehad en ik vraag me dan ook af of de initiële kostprijs van 200 miljoen dollar in het kader van het Coral project is aangehouden, dan wel volledig de pan uit geswingd is, gezien de vertienvoudiging van de rekenkracht

[d3x]

nee in 2019 heeft HPE gewoon CRAY gekocht...

https://www.hpe.com/us/en...ting-leader-cray-inc.html

[dasiro]

ow thx, dat had ik volledig gemist

[Rataplan_]

Gemakkelijk om een deur in te trappen, want we weten niet wat dit ding allemaal gaat of kan vervangen. Maar in deze tijd van awareness... Iets met energieverbruik? Dat moet toch honderdduizenden kilowatts trekken onder vollast (als zo'n ding überhaupt ooit vollast kan halen)? Is dat verantwoord, weegt dat op tegen de baten? Of is het gewoon een verlengstuk van bepaalde mensen en dus prestige?

[Edit]
Hmm ik zie dat de huidige koploper 'slechts' een dikke 21.000 kWh verstookt. nieuws: Amerikaanse exascalecomputer met AMD-hardware neemt koppositie Top500... Dat valt me gezien alle kracht en het aantal racks nog mee. Maar je zou er ook een dorp mee van stroom kunnen voorzien

[Reactie gewijzigd door Rataplan_ op 23 juli 2024 18:00]

[Silasje]

Terechte opmerking, wat vervangt het en wat is dan de impact nog? Misschien zelfs wel een verbetering.

Sowieso de hele datacenter en stroomverbruik discussie.. Wordt er ook gekeken naar wat het datacenter opwekt of waar de stroom vandaan komt? Een datacenter met windmolen ernaast is energieneutraal om even heel kort door de bocht te zijn. Is voor de ondernemer ook interessant om zijn kosten laag te houden.

Bovendien wordt bij het neerzetten van zo'n supercomputer ook heel goed gekeken waar ze dat doen en of de energietoelevering het aankan. Een groene oplossing is vaak dichtbij

[Tintel]

Maar hoe kan je nu bepalen of het wel of niet nuttig is om heel veel energie te gebruiken?
Want als het wordt gebruikt om vraagstukken m.b.t. bijv. energie opslag te beantwoorden...

Dit ding wordt toch gebruikt om op te gamen? En zelfs daarbij is discussie moeilijk.

Dus ook al vreet dit meer energie dan een hele stad - dat het een zeker nut heeft staat toch wel vast?

Dus @Rataplan_

in deze tijd van awareness...

En dan? Gaan ze 'm undervolten?
Dat somige zaken bijzonder veel energie kosten is toch pas relevant als er een alternatief al beschikbaar is wat dezelfde prestaties neerzet? En zelfs dan - deze dingen komen niet van een productielijn gerold.
Het is enkel belangrijk voor de gebruiker - die zal voldoende budget moeten claimen om de energie rekening te betalen of eigen voorzieningen neer moeten zetten.

[mrwiggs]

Hmm ik zie dat de huidige koploper 'slechts' een dikke 21.000 kWh verstookt.

Niet kWh, maar kW, een belangrijk verschil.

[Rataplan_]

Jip, en dat nog wel voor iemand met een opleiding in electriciteit maargoed als ze m een uur laten draaien heeft ie dat verstookt. Zo dan?

[mrwiggs]

Agree

[Bulkzooi]

Niet kWh, maar kW, een belangrijk verschil

tussen capaciteit en verbruik.. Utilisatie (verbruik) is wat je wilt weten en moet meten.

vandaar ook, betreffende switches en nodes:
100Gb of 100Gb/s... Dat gaat dan over bandbreedte.

[Reactie gewijzigd door Bulkzooi op 23 juli 2024 18:00]

[Bulkzooi]

[Edit]
Hmm ik zie dat de huidige koploper 'slechts' een dikke 21.000 kWh verstookt. nieuws: Amerikaanse exascalecomputer met AMD-hardware neemt koppositie Top500... Dat valt me gezien alle kracht en het aantal racks nog mee. Maar je zou er ook een dorp mee van stroom kunnen voorzien

lol, ik zat zelf aan GigaWatts te denken.

Maar qua compute power per kubieke meter spreekt Nvidia en ARM ook nog een aardig woordje mee. En dan krijg je supercomputer designers, die op een compleet andere schaal denken. Megalomaan vanuit menselijk perspectief.

[Reactie gewijzigd door Bulkzooi op 23 juli 2024 18:00]

[Bulkzooi]

'blades' duidt op een fysieke constraint, zoals een gebouw en een behuizing. Een leuke invalshoek op de duiding van 'supercomputer', hoe wel performance per watt van de installatie toepasselijker is.

In dit geval de performance van 63.744 gpu's en 21.248 cpu's verdeeld over 10.624 blades, over 166 serverracks met ieder 64 blades.

Elke blade betreft dus één fysieke locatie met 2 Xeon CPU-processors van de Sapphire Rapids-generatie met 40 cores en 6 Ponte Vecchio-datacenter-gpu's.
(da's het mooie van AMD, hun array layout waarmee ze nog wel ff x86 multicore leader zullen blijven. HBM is overigens ook uit de AMD/Samsung stal, hoewel andere levs in de APU eindigde volgens mij)

De supercomputer beschikt verder over 10,9 petabyte DDR5-geheugen en 1,36PB HBM-geheugen op de Sapphire Rapids-cpu's. Het supersysteem heeft ook 1024 opslagnodes met in totaal 230PB opslagcapaciteit en een totale bandbreedte van 31TB/s.
(dus in het substratum is het storage systeem helemaal losgetrokken, via een soort proprietary, inhouse pci provider, dus inclusief stroomvoorziening)

Ik bedoel, hoeveel energie verstookt dat ding onder 100% belasting? Da's voor 95% de optelsom van de TDP's van componenten lijkt me. de energie voorziening aan zo'n complex moet enorm zijn.

Ik vraag me ook altijd wat voor software d'r uiteindelijk op loopt en de utilisatie, maar daar kan ik maar weinig informatie over vinden.

edit: verbruik:

The machine is estimated to consume around 60 MW. For comparison, the fastest computer in the world today, Frontier uses 21 MW.

[Reactie gewijzigd door Bulkzooi op 23 juli 2024 18:00]

[Bulkzooi]

5 jaar uitstel is een eeuwigheid en blijkbaar hebben ze Cray sinds 2021 ingeruild voor HPE als leverancier, wat wel een prestatie is voor die laatste om zo'n project over te nemen. Sinds de initiële aankondiging heeft Intel serieus wat problemen gehad en ik vraag me dan ook af of de initiële kostprijs van 200 miljoen dollar in het kader van het Coral project is aangehouden, dan wel volledig de pan uit geswingd is, gezien de vertienvoudiging van de rekenkracht

Dat de Aurora supercomputer vertraging heeft is een understatement

Misschien wel het meest vage project uit de historie van supercomputers.

Aurora was first announced in 2015 and to be finished in 2018. It was expected to have a speed of 180 petaFLOPS which would be around the speed of Summit. [...] Later, in 2017, Intel announced that Aurora would be delayed to 2021 but scaled up to 1 exaFLOP. In March 2019, DOE said that it would build the first supercomputer with a performance of one exaFLOP in the United States in 2021. In October 2020, DOE said that Aurora would be delayed again for a further 6 months and would no longer be the first exascale computer in the US. In late October 2021 Intel announced Aurora would now exceed 2 exaFLOPS in peak double-precision compute.

Source:
https://en.m.wikipedia.org/wiki/Aurora_(supercomputer)
https://en.m.wikipedia.or...ates_Department_of_Energy
Hoewel de rumours al ontstonden rondom het Manhattan Project, in the Fifthies.

En de HPE Slingshot, met 100Gb of 200Gb interconnect switches tussen de nodes:
https://www.hpe.com/nl/en...ingshot-interconnect.html

De prestaties van supercomputers staan of vallen daarom met de interconnects tussen de nodes en clusters (ie. memory en storage).

review: De strijd om de snelste supercomputers

edit: oops, dit is een reactie op @dasiro

[Reactie gewijzigd door Bulkzooi op 23 juli 2024 18:00]

[Blaze85]

De Aurora-supercomputer bestaat uit 166 serverracks met ieder 64 blades, schrijft Intel in een persbericht. Daarmee is het systeem nu uitgerust met in totaal 10.624 blades met ieder 2 Sapphire Rapids-cpu's van 40 cores en 6 Ponte Vecchio-gpu's. Intel zegt dat de volledige supercomputer is afgeleverd en geïnstalleerd in het Argonne National Laboratory van het Amerikaanse ministerie van Energie. De supercomputer beschikt verder over 10,9 petabyte DDR5-geheugen en 1,36PB HBM-geheugen op de Sapphire Rapids-cpu's. Het systeem heeft ook 1024 opslagnodes met in totaal 230PB opslagcapaciteit en een totale bandbreedte van 31TB/s.

Veel stats, maar de TDP hebben ze in het persbericht slim achterwege gelaten

[Keypunchie]

Niet voor niets geleverd aan “Department of Energy” ;-)

(Meer serieus, dat is volgens mij nog een erfenis van de jaren ‘50 en zelfs het Manhattan Project. “Supercomputers” werden destijds vooral voor het nucleaire programma gebruikt, zowel civiel als militair, en dat viel na de oorlog onder Department of Energy (volgens mij ergens in de jaren ‘70 opgericht) en daarmee dus ook supercomputing)

[Reactie gewijzigd door Keypunchie op 23 juli 2024 18:00]

[cold_as_ijs]

Department of Energy overziet het nucleaire arsenaal van de VS. Groot deel wat ze doen op de supercomputers is het nucleaire arsenaal doorrekenen, want de wapens zijn gemaakt in jaren 60 en 70. Het is dus belangrijk om een idee te hebben hoe stabiel en hoe krachtig ze nog zijn. Als ze niet meer bruikbaar zijn worden ze gerecycled en vervangen overigens.

[Deamon002]

TDP: Yes

[bobby022]

gezien de malaise omtrend stroomverbruik + datacenters = Alleen voor AuroraGPT
dan snap ik de selectieve berichtgeving.

wel jammer, maar begrijpelijk

[ragcage]

Waarom dragen die mensen een bouwvakker helm? Staat het plafond daar op instorten of vallen er regelmatig objecten op hoofden in grote server ruimtes zoals deze?

[Tintel]

Als iemand een blade uit een rack trekt boven je hoofd en komt dan omhoog...

Maar ik dacht hetzelfde - vermoedelijk standaard veiligheidseisen. Als in: het is een fabriek dus dan gelden er bepaalde eisen.
Soms zijn de eisen wat overtrokken. Maar ja, ongeluk zit in een klein hoekje zegt men dan.

[familyman]

Principieel zouden ze er een potje doom op moeten spelen.

Wat mij gaaf lijkt, een opdracht verzinnen die echt de hele reut aanroept. En dan in het midden van die computer staan, als de opdracht start.

[Fiber]

Maar draait het ook Doom...?

[Tintel]

Ultra-massive multipleplayer in a single wad met swarms van enemies...

[LordLuc]

Daar zou je wel goed op kunnen gamen! Super intelligente NPCs.
Real physics met atomic simulation.