Universiteit neemt Europa's snelste supercomputer in gebruik

In München heeft de Ludwig Maximilian-universiteit de snelste supercomputer van Europa in gebruik gesteld. De supercomputer, die gebruikt zal worden door wetenschappers uit heel Europa, beschikt over 3 petaflops aan rekenkracht.

De SuperMUC is met zijn 3 petaflops de snelste supercomputer in Europa. De machine zal gebruikt worden door natuurkundigen, geowetenschappers, astronomen, wiskundigen, biologen, ingenieurs en klimaatonderzoekers uit meer dan 24 Europese landen, plus Israël en Turkije. Om gebruik te mogen maken van de machine moet een aanvraag worden ingediend bij een speciaal hiervoor opgericht internationaal orgaan.

Het apparaat weegt meer dan 100 ton en beschikt dankzij 18.432 Intel Xeon Sandy Bridge-EP processors over 147.456 cores. De SuperMUC heeft 288TB geheugen aan boord en beschikt over 12PB opslagruimte. De machine wordt gekoeld door middel van een nieuw ontwikkelde waterkoeling, waarbij het koelwater gebruikt wordt om het gebouw te verwarmen. Dit zou een energiebesparing van maar liefst 40 procent opleveren.

Het rekenmonster is in gebruik gesteld tijdens het vijftigjarige bestaan van het Leibniz-Rechenzentrum, kortweg LRZ, onderdeel van de Bavarian Academy of Sciences in Garching. De bevindingen van het apparaat zullen worden tentoongesteld in een nieuwe studio in het LRZ.

Hoewel de SuperMUC de snelste van Europa is, staat hij momenteel vierde op de wereldranglijst. Vorige maand werd de snelste supercomputer ter wereld, de IBM Sequoia, in het Lawrence Livermore-laboratorium in gebruik gesteld.

Reacties (53)

[Whizzer191]

Zie hier voor nog wat interessante informatie over dit systeem: http://www.lrz.de/service...permuc/systemdescription/

[BeerenburgCola]

stukje text uit het artikel hierboven over het "hot" water cooling systeem:

SuperMUC allows an increased inlet temperature. It is easily possible to provide water having up to 40 degrees Celsius using simple "free-cooling" equipment as outside temperatures in Germany hardly ever exceed 35 degrees Celsius. At the same time the outlet water can be made quite hot (up to 70 degrees Celsius) and re-used in other technical processes - for example to heat buildings or in other technical processes.

[Reactie gewijzigd door BeerenburgCola op 22 juli 2024 18:33]

[WPNL]

Plaatje lijkt gerenderd... maar eh, hot swappable watergekoeld, dat is pas high tech! :-)

edit: excuus voor het missen van de sig in de afbeelding ;-)

Over renderen gesproken:
http://www.youtube.com/watch?v=GxGrLm4ufYE
http://www.lrz.de/presse/...12-06-18-supermuc-top500/

[Reactie gewijzigd door WPNL op 22 juli 2024 18:33]

[hardwareaddict]

bij dit soort megasystemen staat alles er niet ineens. ze willen vast wachten met foto's maken tot hele systeem erstaat en alles netjes is opgeruimd.

meestal wordt de maand juli hiervoor gebruikt omdat dan alle wetenschappers met vakantie zijn.

[Nijn]

Absoluut. Heb daar in november rondgelopen, toen stonden ze op het punt te beginnen met opbouwen.

[hardwareaddict]

het lijkt erop dat ze vertraging hebben opgelopen en enorm ook.
Ze wilden nieuwe intel processors zo lijkt het hiervoor gebruiken.

De E5-2680 is pas net uit. Q1 2012. Dus hij zal zo massaal pas nu leverbaar zijn.

Dat modelleren van aardbevingen, terwijl de connectivity tussen de 'Islands' van 8192 cores toch niet bijzonder veel indruk op mij maakt, eigenlijk is het net genoeg voor linpack, ik vraag me af hoe dat vormgegeven gaat worden.

Wat ik wel mis is het prijskaartje, is wel handig om te weten.

[Compunologist]

Er staat "rendered on SuperMUC by LRZ" onder de foto.

[ZwartePeper]

Op het plaatje staat rechts onder: rendered on SuperMUC by LRZ.

[kevinwalter]

Hier een filmpje over de SuperMUC :
http://www.dumpert.nl/med...omputer_in_duitsland.html

Edit:
zo beter dan??

http://www.youtube.com/watch?v=LzTedSh51Tw

[Reactie gewijzigd door kevinwalter op 22 juli 2024 18:33]

[thepillow86]

A hot water cooled supercomputer, zegt de titel van dit filmpje. Snap ik niet! Hoe kan heet water nu gebruikt worden om te koelen?

[BeerenburgCola]

"heet" is relatief.

Even kort door de bocht (google maar voor meer info):
Met water van 45 graden kun je prima een CPU koelen van 90 naar ~50 graden.
Je hoeft niet perse "koud" water te gebruiken.

[hardwareaddict]

Geweldig systeem. Tot mijn verbazing ook 205 machines met elk 4 sockets @ in totaal 40 cores per moederbord. Die zijn wellicht voor workloads die veel RAM nodig hebben of shared memory met veel cores, want deze machines hebben elk 256GB ram.

Het lijkt me fout om dit als 1 gigantisch systeem te zien overigens. Het gaat praktisch natuurlijk afzonderlijk werken. Natuurlijk wil je een stabiel filesysteem dan, anders ligt half europa ineens plat.

Naar ik aanneem speelt IBM daarin een grote rol.

De keuze voor FDR vind ik logisch. Op dit moment zowel latencywise als bandbreedte het snelste netwerk, terwijl het niet buitensporig duur is, zoals netwerken in verleden nog wel eens waren toen infiniband niet de standaard was.

Laten we nu hopen dat ze niet alleen floating point problemen hierop laten lopen, want anders is de wellicht enorme prijs die hiervoor betaald is, enigszins hoog.

Als ik het goed bereken verwachten ze dat de meeste jobs passen in 1 island die rond de 8192 cores per systeem hebben (16384 logical cores).

De connectivity tussen de islands lijkt met hoegenaamd weggegooid geld, dat is zeker alleen interessant voor linpack, een applicatie die ze toch maar eens moeten weggooien.

Dus het zijn 18 systemen van 8192 echte intel cores en 1 cluster met quad socket machines @ 40 cores per machine. Ook zo rond de 8000 cores dus, maar belangrijker: 256 GB ram per node.

[Reactie gewijzigd door hardwareaddict op 22 juli 2024 18:33]

[ADouma]

Wellicht leuk om te vermelden dat deze computer (uiteraard) op Linux draait.

Operating System: SUSE Linux Enterprise Server SLES 11.1 SP1

[BeerenburgCola]

Duitse computer, dus Duitse linux ?

[Verwijderd]

In de krant "Donaukurier" uit Ingolstadt (beiern) van 21 juli 2012 staat op bladzijde 13 een foto van de supercomputer "SuperMUC" met duizenden oranje en blauwe kabels.
Helaas in deze foto niet op de site "www.donaukurier.de" niet te vinden, maar op deze site staan toch een heleboel interessante gegevens over deze supercomputer.

[Verwijderd]

Dat ziet er echt mooi uit, en professioneel. Dat kan alleen maar IBM zijn ;-)

Wat zou ik daar graag een aantal benchmarks op los laten

[hardwareaddict]

het zijn IBM machines inderdaad, met intel processors en een Mellanox netwerk.

An sich dit alles heel gekke combinatie, maar IBM weet meestal op tijd te leveren en als je direct zaken doet met intel dan gaat dat nogal eens mis met nieuwe cpu's.

[Verwijderd]

Ze weten het in elk geval mooi aan te kleden ja.

[pianodomkop]

Kloksnelheid?

[Silasje]

Over de kloksnelheid van de processoren wordt niks gezegd. Er wordt wel het volgende gezegd: 18.432 Intel Xeon Sandy Bridge-EP processors over 147.456 cores

Echter denk ik dat de kloksnelheid afhankelijk is van hoe intens de machine op dat moment gebruikt word en hoeveel speling het nog heeft in de temperatuur.

[hardwareaddict]

Sandy Bridge-EP, Intel Xeon E5-2680 8C
Die zijn 2.7 Ghz geklokt, 130 watt TDP.


en Westmere-EX Intel Xeon E7-4870 10C van 2.4Ghz

Opvallend dat ze 256GB in die nodes gooien. Er kan makkelijk meer in.
Een paar nodes hebben met maximaal geheugen kan geen kwaad.

[froggie]

In dit soort clusters wil alle nodes gelijk hebben, dit maakt scheduling veel eenvoudiger. RAM draagt op deze schaal aanzienlijk bij aan de energie consumptie van dit soort systemen en op gegeven moment moet je helaas een streep trekken onder je specs. 256GB is een enorme hoeveelheid geheugen en een behoorlijke uitdaging om uberhaupt te kunnen gebruiken zonder je CPUs de bottleneck te laten zijn van je job.

[Verwijderd]

"Het apparaat weegt meer dan 100 ton" Hebben ze het hele gebouw meegeteld ofzo?

[hardwareaddict]

Dat vind ik niet erg veel hoor.

Het zijn 9216 machines met 2 cpu's per node
en 512 machines met 4 cpu's per node.
Dan nog de waterkoeling die ook loodzwaar gaat zijn (van koper naar ik aanneem),
om over het koelwater te zwijgen dat er doorheen gepompt wordt.

Dus we praten over een gemiddeld gewicht afgerekend per machine van zo'n

100k / 9728 = 10.28 kilo per machine gemiddeld. De storage nog niet meegerekend
en harddrives wegen veel...

Ook zonder harddrives is 10 kilo per machientje best weinig.

[Verwijderd]

"De machine zal gebruikt worden door natuurkundigen, geowetenschappers, astronomen, wiskundigen, biologen, ingenieurs en klimaatonderzoekers uit meer dan 24 Europese landen'

Het mag dan een snelle supercomputer zijn maar het zal ook door de vele 'demand' zo verdeeld zijn. Neem alleen al de klimaat-mensen, die hebben al nooit niet genoeg rekenkracht.....

Offtopic: het plaatje ziet er wel strak 'lego-achtig' uit als dat 'm is!

[Reactie gewijzigd door Verwijderd op 22 juli 2024 18:33]

[NBK]

Kwestie van het prijskaartje afstellen op de beschikbare capaciteit en de vraag naar capaciteit. Je moet niet denken dat ze geen geld vragen voor dit soort rekenkracht hoor.

[dasiro]

het is dan ook niet 1 machine, maar gewoon een cluster van nodes.