Nederland staat op 28e plek in Top500 supercomputers dankzij Azure-datacenter

Het Microsoft Azure West Europe-datacenter dat in Nederland staat, is goed voor de 28e plaats op de Top500-lijst van supercomputers. In de afgelopen jaren stonden er geen systemen uit Nederland zo hoog op de lijst. In de top tien staat één nieuw systeem.

Perlmutter-supercomputer

De 57e publicatie van de Top500-lijst, die ieder half jaar een update krijgt, is bovenaan vrijwel ongewijzigd ten opzichte van de publicatie eind vorig jaar. Nieuw is de Amerikaanse Perlmutter-supercomputer van het National Energy Research Scientific Computing Center, die is binnengekomen op de vijfde plek. Dat systeem met AMD EPYC 7763-processors en Nvidia A100-gpu's, werd in mei in gebruik genomen. Perlmutter heeft in totaal 706.304 cores en 390.176GB aan werkgeheugen. Het systeem heeft een piekscore van bijna 90 petaflops.

Aan de top van de lijst is niets gewijzigd. De Japanse Fugaku-supercomputer met 7,3 miljoen Arm-cores staat nog altijd op de eerste plek. Het systeem met een piekrekenkracht van 513 petaflops staat sinds juni vorig jaar op die positie. Er zijn wel diverse exascale-supercomputers in ontwikkeling, die een minimaal dubbel zo hoge rekenkracht hebben. Die zijn echter nog niet in gebruik genomen.

Nederland is te vinden op de 28e plek op de lijst. Daar staat Pioneer-WEU, en dat betreft het Microsoft Azure West Europe-datacenter. Dit cluster bestaat uit AMD EPYC 7V12-processors en Nvidia A100-gpu's. Het datacenter heeft 157.400 cpu-cores en 147.600GB aan geheugen. De piekprestaties komen uit op 24,5 petaflops.

Nvidia merkt op dat acht van de tien systemen in de top 10 gebruikmaken van Nvidia-accelerators. Bij de nieuwe Top500-lijst gebruikt 68 procent van de systemen Nvidia-technieken. Het aantal supercomputers dat Nvidia's InfiniBand gebruikt, is met 20 procent gestegen ten opzichte van vorig jaar. Veel supercomputers gebruiken Nvidia-accelerators voor het uitvoeren van AI-berekeningen.

Top500 juni 2021

Reacties (39)

[batjes]

Toen Azure net gebouwd was heeft MS ook een keer linpack gedraait en kwam zo ergens op plek 25 de ranglijst binnen (nu met een enkele cluster bijna dezelfde plek).

Ergens ben ik wel super benieuwd waar Azure vandaag de dag zou eindigen, mochten ze de mogelijkheid hebben heel Azure daar even voor in te zetten. We zeuren wel over datacenters, maar het is ook wel indrukwekkend wat er allemaal wel niet op o.a. Azure draait wat anders een stuk minder efficiënt bij alle organisaties in een hok zou staan te draaien.

[dasiro]

azure is gewoon een verzamelnaam voor een hoop individuele servers en datacenters die aan elkaar gekoppeld zijn, iets wat heel deze lijst eigenlijk doet en geen "supercomputer" meer is zoals in de oorspronkelijke betekenis

[Getto]

Het klopt dat Azure een verzamelnaam is voor verschillende cloud diensten maar het cluster van dit artikel is daadwerkelijk alleen bedoeld voor HPC toepassingen. Als je bijvoorbeeld VM's af neemt draait het op andere type clusters.

Microsoft heeft wereldwijd nog 3 identieke clusters specifiek voor de HPC toepassingen.(de andere 3 staan op plek 26, 27 en 29)

Het datacenter in Amsterdam heeft totaal veel meer dan de 157.000 cores die genoemd worden bij de specs van dit cluster. Het datacenter van Microsoft in Quincy Washington heeft bijvoorbeeld al een half miljoen fysieke servers staan.

[Reactie gewijzigd door Getto op 25 juli 2024 04:47]

[batjes]

Azure was in het begin 1 systeem, verspreid over meerdere locaties draaide de hele bende op 1 gezamenlijk NT systeem. Ondertussen draait de EU en volgens mij in Azië de boel los van elkaar. Deze HPC clusters zullen ook wel los draaien.

Het hangt dmv NT best indrukwekkend aan elkaar en Azure kan je in principe gewoon zien als 1 (of 2) gigantische supercomputer(s). Vandaar dat ik wel benieuwd ben hoe hoog ze daadwerkelijk eindigen als ze al met 4 losse clusters 4 plekken in de top 30 ingenomen hebben.
Zou me namelijk niet verbazen als Microsoft op dit moment veruit het meeste rekenkracht van de wereld tot zijn beschikking heeft.

[init6]

Tot je met de interface of de API's moet werken, ik krijg geregeld de vraag of ik Azure kennis heb. Meestal van organisaties waarin het een management cultuur en geen tech cultuur is.

Zoals Azure een jaar of 2 nog werd genoemd: the lowest common denominator.

[Reactie gewijzigd door init6 op 25 juli 2024 04:47]

[hooibergje]

Vernoemd naar de grote astrophysicus Saul Perlmutter

[icecreamfarmer]

Hier staat in dat nvidia ook een supercomputer bezit. En krachtiger dan menig land heeft. Waar gebruiken ze dat ding voor?

[Gropah]

Het zou mij niets verbazen als ze het gebruiken voor dingen zoals het trainen van DLSS modellen.

Uit dit artikel:

As for what it intends to do with its new supercomputer, Nvidia writes: “We’re also training neural networks to understand chipset design and very-large-scale-integration, so our engineers can work more quickly and efficiently. Yes, we’re using GPUs to help us design GPUs.”

[batjes]

Denk eerder om simulaties te draaien over hoe ze consumenten een extra poot kunnen uitdraaien of concurrenten extra dwars kunnen zitten.

-1 sjongejonge, hier een smiley om duidelijker te maken dat het een grapje is

[Reactie gewijzigd door batjes op 25 juli 2024 04:47]

[Thomzh]

Crysis

[d3x]

DLSS 2.0

[Rannaa]

Eth minen

[A. Ben]

Woow de nummer 1 staat wel echt dik nummer 1 wat een machine.

[avlt]

Nummer 8 staat in Jülich, dat is pakweg 10km bij Heerlen vandaan. Bijna Nederland dus.

[PageFault]

Het had weinig gescheeld of het was Nederlands: https://nl.wikipedia.org/...na_de_Tweede_Wereldoorlog

Als dat echt was door gegaan, had die top computer daar niet gestaan

[JBVisual]

Off-topic:
Is dat ook zo’n halve Nederlandse gemeente? (net als kranenburg vlakbij Nijmegen meer Nederlandse inwoners heeft dan Duitse)

[itarix]

Het kost wat (gesubsidieerde) groene energie maar dan heb je wel wat https://www.youtube.com/watch?v=OiPoR9OvD0Y

[Noin]

En een halve provincie zit zonder water maaaarrrrrrr er is nog nooit zo snel met aandelen gehandeld dan met die supercomputer.

[Vinnienerd]

Het drinkwater verdwijnt blijkbaar in een zwart gat?

[Anoniem: 1322]

Nee, hoor. En het is ook niet echt een probleem:
nieuws: 'Groei aantal datacenters brengt levering drinkwater Noord-Holland in...
Update, donderdag 25 maart: PWN, verantwoordelijk voor de drinkwatervoorziening in Noord-Holland, benadrukt dat de levering van drinkwater niet in gevaar is, ook niet tijdens hittegolven. PWN-directeur Ria Doedel: "Op dit moment leveren we 0,6 procent van onze totale levering als koelwater, onder andere aan datacenters. Wettelijk is geregeld dat drinkwater altijd voorrang heeft op industriewater."

Google gebruikt bijvoorbeeld oppervlakte water (geen drinkwater dus)
nieuws: Google koelt datacenter Eemshaven voortaan met oppervlaktewater

Daarnaast:
Google werkte samen met het Waterbedrijf Groningen en North Water vijf jaar aan de bouw van een industriële watervoorziening voor de Eemshaven. Het waterbedrijf heeft naast de industriële leiding ook een nieuwe drinkwaterleiding aangelegd om de regio van een grotere drinkwatercapaciteit te voorzien.

Het verhaal hieronder is uiteraard ook gewoonweg niet waar. Datacenters lossen geen water met chemicaliën daarin.

Je hoort veel populistische uitspraken herhalen maar je moet het natuurlijk van twee kanten zien. Mega bedrijven als Microsoft en Google doen echt wel hun best om hun impact op het milieu zo klein mogelijk te krijgen. Die hebben geld als....

Ondertussen lopen de echte vervuilers gewoon rond alsof er niets aan de hand is:
https://www.greenpeace.org/nl/de-grote-vervuilers/
Grootste waterverontreiniging moet je verder ' upstream' zoeken. Dat is de chemische industrie:
https://edepot.wur.nl/403351
https://www.trouw.nl/nieu...-het-drinkwater~b14db281/

[Noin]

Wat ik vanuit mijn zeer beperkte bronnen heb vernomen is dat het drinkwater wordt vermengd met chemicalien en dan terug de rivier in gaat.

Dus eehhh ja?
Het drinkwater verdwijnt en je krijgt er vervuild, ondrinkbaar water voor terug.

[Djerro123]

*Pokes in camp fire, dressed in hazmat suit in apocalyptic setting*

"But you know kids, for a brief shining moment in time, we created a lot of value for the shareholders.."

[Noin]

Die ja !!!!

[ikt]

Waar worden deze Azure (commerciële) supercomputers eigenlijk voor gebruikt? Lijkt mij vooral dat het voor consumenten-doeleinden wordt gebruikt - allerlei diensten hosten?

Van "nationale" supercomputers zie ik het nut wel - berekeningen en simulaties voor onderzoek. Maar een datacenter van bijvoorbeeld Microsoft roept bij mij toch een gevoel op dat het niet zoveel bijdraagt aan de samenleving.

[PolarBear]

Waarom zouden (kleinschaligere) berekeningen en simulaties voor onderzoek niet op een commerciële omgeving gedraaid kunnen worden? Zeker als je het niet dagelijks doet is juist een oplossing in de cloud toch handig?

[KoffieAnanas]

Het zou verstandig zijn als onderzoek gefinancierd uit publiek geld van onze belastingcenten niet op commerciële omgevingen van niet-EU bedrijven plaatsvindt.

Nu al zijn er genoeg (grootschalige) faciliteiten beschikbaar op nationaal niveau in Amterdam bij SURF, nota bene vaak kosteloos beschikbaar voor wetenschappelijk onderzoekers. Wat dat betreft is er ook geen noodzaak uit te wijken naar commerciële providers. En als je al uitwijkt, dan zou het goed zijn als EU bedrijven een kans geboden wordt. In feite zou de overheid het gebruik van faciliteiten van Amerikaanse en Chinese providers moeten verbieden, tenzij hier een absolute noodzaak voor is die onderzoekers moeten onderbouwen.

[Mellow Jack]

Ik werk bij een klant van Surf en kan je vertellen dat gratis rekenen bij Surf maar een fractie is van onze capaciteits behoefte

Was het maar zoals jij schetst. Ik zie persoonlijk zeker een behoefte aan een combinatie van zelf doen, aansluiting zoeken bij commerciële providers en aansluiting zoeken bij Europese initiatieven

Ergens geef ik je gelijk dat Europa zou moeten afdwingen dat we alleen Europese faciliteiten gebruiken maar dan moet de capaciteit en samenhorigheid flink omhoog. Het budget hebben we wel maar we zijn niet zo goed in het opzetten van grote initiatieven...

[Reactie gewijzigd door Mellow Jack op 25 juli 2024 04:47]

[RonJ]

"The goal, Microsoft says, is to make its large AI models, training optimization tools and supercomputing resources available through Azure AI services and GitHub so developers, data scientists and business customers can easily leverage the power of AI at Scale."

https://blogs.microsoft.com/ai/openai-azure-supercomputer/

Dat zorgt er weer voor dat ook het (kleinere) Nederlandse bedrijfsleven, onderwijsinstellingen, etc. kunnen profiteren van de AI-technologie die tot nu toe was voorbehouden aan de grote jongens met héle diepe zakken. E.g. omdat men door MS op die supercomputer getrainde, kant-en-klare AI-modellen heel snel kan inzetten binnen de eigen lokale bedrijfsvoering, onderzoek, etc.

Dat is niet alleen qua kosten en kennis voor de meeste partijen totaal niet haalbaar, maar het merendeel daarvan hebben ook nog niet een klein beetje van de hoeveelheid data die je nodig hebt om zo'n model goed te trainen. Dit concept van MS maakt het bijv. ook mogelijk om van elkaars data AI-modellen te trainen, zonder deze data met elkaar te delen.

En dit is nog maar het topje van de ijsberg, dit concept maakt echt heel veel dingen met AI mogelijk van uiteenlopend maatschappelijk nut, maar dat het een hoop bijdraagt is zeker.

[Reactie gewijzigd door RonJ op 25 juli 2024 04:47]

[KoffieAnanas]

Onderzoekers kunnen grootschalige berekeningen uitvoeren op de nationale supercomputer in Amsterdam, gefinancierd door NWO. In Amsterdam bij SURF staan ook faciliteiten voor kleinschaligere AI behoeftes.

[Djerro123]

MSFT doet heel veel fundamenteel onderzoek, bijvoorbeeld op gebied van Quantum Computing. Uiteraard niet zonder eigen gewin (bedoeling is een competitief voordeel hieruit te halen) maar als maatschappij hebben we zeker benefit daaraan. Ook gelet op de opensource houding die ze de laatste jaren zichzelf aanmeten.

Ik denk dat een balans tussen publiek en privaat onderzoek goed is: het grote (durf)geld komt toch echt uit privaat, terwijl er ook maatschappij breed onderzoek gedaan kan worden uit meer publieke middelen.

[Anoniem: 1201820]

Waar een klein land groots kan zijn: een supercomputer om selfies nog sneller te uploaden!

[B45M4N]

Vraagje tussen door...

Als we straks Quantum computers hebben als supercomputers. Hoeveel Q-bits cores maakt nr 1 Supercomputer?

[Trashed]

Hoera, de vlag mag uit hoor..we tellen weer mee.. al is het maar om de hoeveelheid gesubsidieerde groene energie die we hieraan spenderen.