Europa's krachtigste supercomputer in bedrijf genomen

Gisteren werd met een feestelijk symposium Europa's snelste supercomputer van dit moment in gebruik genomen, zo zien we op de site van het Forschungszentrum Jülich waar het geheel staat. De supercomputer is in staat om 8,9 teraflops per seconde uit te voeren, dit is bijna twee keer zoveel als de vorige nummer een van Europa: de AlphaServer van het Franse CEA. Wereldwijd staat de Duitse supercomputer met gemak in de top twintig, zo vertelt Heise Online. In totaal zal de supercomputer 41 rekennodes bevatten, die bestaan uit een IBM p690-systeem met 32 Power4+ CPU's. Twee van deze processorunits zijn geintegreerd tot een chip en vier van deze chips vormen samen met het cachegeheugen een multichipmodule (MCM).

De rekennodes worden verbonden via een High Performance Switch van IBM, die per link een gemeten bandbreedte kan leveren van 1200Mbyte per seconde met een latentietijd van elf microseconden. De supercomputer, die de naam JUMP heeft meegekregen (JUelich MultiProcessor), kan door alle onderzoeksinstellingen in Duitsland gratis gebruikt worden mits hun onderzoeken zijn goedgekeurd door het onderzoekscentrum Jülich. JUMP zal vooral gebruikt worden voor wetenschappelijk onderzoek zoals theoretische scheikunde, levens-wetenschappen en astrofysica.

Reacties (67)

[Verwijderd]

Wat ik me vaak afvraag is:
Hoe verhoudt de rekenkracht van deze supercomputers zich met, laten we zeggen een state of the art home computer.
1000x sneller, 10000 ?
Want die teraflops zeggen me zo weinig als ons alledaagse computers geen 'flops' specificatie meekrijgen.

[Munters]

Je kunt het in flops bekijken.
Maar ook veel simpeler:
Een Power4+ CPU ligt qua snelheid in dezelfde orde van grootte als de nieuwste P4 of Opteron modellen. Waarschijnlijk ietsje sneller, maar misschien met sommige dingen iets trager. Maar in ieder geval geen factoren verschil.

Nu zal er van de 41 rekennodes eentje nodig zijn voor de interne besturing/afstemming. Houd je over 40 nodes van ieder 32 processoren. Dat zijn dus 1280 parallelle processoren.

Dit ding is dus ruim 1200 maal sneller dan een state-of-the-art pc (maar alleen voor toepassingen die van parallelliteit gebruik kunnen maken).
En omdat dit soort performance gemeten wordt in floating-point-ops (iets waar x86 niet echt heel goed in is, i.t.t. integer stuff), zal het geheel misschien wel tot 2000 maal zo snel zijn als x86 processoren.

[hardwareaddict]

Dit is niet geheel de waarheid. Die is veel ondoorzichtiger namelijk.

Alleen speciale taken die parallelliseerbaar zijn kunnen heel snel uitgevoerd worden op zo'n machine. De latency van deze machine is lachwekkend slecht in vergelijking met bijvoorbeeld de supercomputers van de Nederlandse Staat (zie www.sara.nl)

Dus alleen SIMPLISTISCH parallelliseerbare taken kunnen snel uitgevoerd worden. Bijvoorbeeld matrix calculaties.

Die calculaties zijn dan vaak floating point. Er is geen PC processor die de floating point snelheid bijhoudt van dit soort processors met een sterke floating point unit.

Als het gaat om integers echter of lastig parallelliseerbare taken, dan racet zo'n opteron natuurlijk deze processors een factor 2 voorbij met zijn ogen dicht.

Verder dient men goed in de gaten te houden dat dit soort supercomputers erg uniek zijn in de wereld, dus ze hebben continue problemen. Elke week is er wel een probleem en elke maand crasht zo'n supercomputer wel in zijn geheel.

Het zijn hele delicate machines met heel ondeskundige helpdesks typisch. Op het moment dat namelijk iemand in zo'n helpdesk erg goed wordt, dan stapt hij vaak over naar een andere baan in het bedrijfsleven.

Doordat er zo weinig bekend is over dit soort machines (met name technische specificaties, want de hardware producenten overdrijven nogal graag) is het natuurlijk extra lastig om efficient op zo'n machine te rekenen.

Ook is in de wetenschappelijke wereld vaak de mentaliteit: "liever lui dan moe". Dus iets wat in 1989 geschreven is, dat draait met wat veranderingen nog steeds net zo, terwijl het veel efficienter kan. Dan gaan nog veel andere zaken mis en kunnen andere gebruikers nog roet voor jou in het eten gooien.

Dit komt er vaak op neer dat efficiente PC software op pak hem beet een dual opteron vaak overeenkomt met een processor of 100 van zo'n machine.

Alleen in theorie is het dus zo dat je dus goed parallelliseerbare taken wel een factor 100000 sneller kunt uitvoeren op zo'n machine als op een PC. De praktijk is heel anders.

Dat is dat er dus een paar wetenschappers zijn die echt die cpu power nodig hebben en gebruiken voor bijvoorbeeld heftige floating point calculaties. Dat wordt dan ook supervlug gedaan en is dus factoren sneller als op een PC. 90% van de jobs echter zouden sneller op de pc draaien als er efficiente software gemaakt/gebruikt zou worden.

[ixi]

Een gokje:
Bij sandra heb ik 3000 mflops.
Mega = 1e+6
Tera = 1e+12
Dus +/- 3000x sneller, hoewel dat getal waarschijnlijk weinig zegt aangezien ze voor totaal verschillende zaken gebruikt worden.

edit: ik zit op een XP2400+ op het moment..

[miw]

41 nodes met 32 processing units met 8 CPU's geeft ongeveer de genoemde 1312 CPU's. Met die factor 3000 blijkt 1 zo'n powerPC CPU dus zo'n 2 keer sneller te vermenigvuldigen dan een 2400MHz P4.
Ergens klopt dit niet.

[cc bcc]

Het is dan ook geen PowerPC maar een POWER cpu. Wel familie maar toch anders, zoals een enorm grote cache.

[Kapitein Edward]

Dat kun je met bijv sisoft sandra benchmarken

[Verwijderd]

ik geloof dat de huidige desktop pc's rond de enkele Megaflops zitten,
en Tera is een miljoen keer meer. dus tel uit je winst

[rapture]

KotServer Beta 0.1 benching...
(Celeron Tualatin 1,2GHz)

Whetstone FPU 1644 MFLOPS = 1,6 GFLOPS

De supercomputer doet met 8,9 TeraFlops = 8900 TeraFlops 5562,5 keren sneller.

Dus de supercomputer is te vergelijken met 5562,5x Celeron Tualatin 1,2GHz (ik heb geen rekening gehouden met overhead, dus je heb eigenlijk meer Tualatins nodig).

ik geloof dat de huidige desktop pc's rond de enkele Megaflops zitten,
en Tera is een miljoen keer meer. dus tel uit je winst

Onze desktop computers zitten al op GigaFlops sinds Pentium3 750MHz (volgens Sisoft Sandra).

[Minos111]

OK, dus een supercomputer als deze is zo'n 4000x sneller dan een moderne pc. Dat in ogenschouw nemend is de vinding van Distributed Computing natuurlijk wel geweldig. Ga maar na, een beetje project heeft toch al gauw 10.000 gebruikers die meewerken. Weliswaar is de efficiëntie wel wat lager, maar op die manier biedt Distributed Computing toch wel een geweldig alternatief voor projecten waar wel een hele hoop rekenkracht voor nodig is, maar waarbij het budget het niet toelaat om veel tijd te huren op een supercomputer (bijvoorbeeld in het geval van universiteitsprojecten)!

[hardwareaddict]

Distributed computing draaien zonder uitzondering lachwekkende projecten op.

[SPee]

Waarom gebruiken ze niet gewoon de computers in een netwerk.
Als je alle werkstations in een school aan laat staan en als ze niet gebruikt worden als een node laat functioneren, wat voor een supercomputer krijg je dan

En zo zal het bij veel (grote) bedrijven ook zo zijn denk ik.

Wanneer zal de overheid bepalen dat alle bedrijfscomputers ten alle tijden aan moeten staan en een rekenprogramma ten behoeven van ... moeten draaien. En ter compensatie een kleine belastingverlaging krijgen

[VisionMaster]

Erg leuk voor triviale problemen zoals praktisch alle Distibuted Computing problemen, maar als je je rekenwerk ook nog wil kunnen managen ... dan hebben we het ineens heel ergens anders over.
Als je bijvoorbeeld met zo'n supercomputer het weer wilt voorspellen kan dat ook met Distributed Computing. Goed ... algoritmen moeten zwaar worden veranderd, maar dan nog heb je geen zekerheden over de 'Nodes' van studenten en bedrijfsnetwerken.
Een leuke hype is tegenwoordig meer Grid Computing. Dat is dat je clusters, supercomputers, mass-storage en andere crap als resources (indirect) kan benaderen en gebruiken voor jou doel.
(Voor al in de wetenschappelijke wereld zeer populair, omdat niet ieder instituut zo'n enorme machine heeft staan, maar wel zijn capaciteit kan delen met de community)

[Verwijderd]

Altijd leuk als mensen het weer voorspellen triviaal noemen

Waarom regent het dan altijd als er zon wordt voorspeld.
(Zo voelt het tenminste )

Een triviale weersvoorspeling (En die trouwens in praktijk lastig te verslaan is) is de volgende "Het weer van morgen is hetzelfde als het weer van vandaag"

Echter de meeste modellen zijn wat gecompliceerder.
(Hoop ik tenminste, ik voorspel aandelenkoersen niet het weer )

[TheekAzzaBreek]

Ik heb nog nooit gehoord van toepassing van Distributed Computing (de Power Cows variant, zal ik maar zeggen) buiten hobby/wetenschap. Het werkt perfect, maar alleen als het niet belangrijk is wanneer een bepaalde klus af is. Dat maakt het oninteressant voor het gros van het bedrijfsleven, dat beheerbaarheid, controleerbaarheid en voorspelbaarheid nodig heeft. Ik zie nog niet zo 1-2-3 een bedrijf z'n PC's voor een nachtelijke batch run inzetten.

Grid computing is weer wel interessant, al begrijp ik dat iets anders dan VisionMaster. Het grid is een cluster, waarbinnen nodes dynamisch ingezet worden naar behoefte. Website erg populair vandaag: dan schakelen we automatisch wat webservers bij. Je kan zo een centrale hoeveelheid reservecapaciteit handhaven, in plaats van iedere server apart van voldoende reserve te voorzien. Ook erg leuk is dat je je machinepark simpel kan herindelen voor b.v. nachtelijke batches.

[Pruttelpot]

Dan zal je heel veel problemen krijgen.
Namelijk omdat de stroom kosten gigantisch zullen worden, het netwerk zal gruwelijk veel data moeten verwerken, de werknemers van die bedrijven zitten emt een iet wat tragere bak en een veel trager netwerl, de upload en download van zo'n aagesloten bedrijf naar het onderzoeks instituut zal bakken vol met geld gaan kosten, je hebt meer IT personeel nodig om al die nodes op te houden, van de juiste programatuur te voorzien endergelijken, pc's die langer aanstaan en altijd volgas draaien zullen sneller kapot gaan en ze zullen meer hitte produceren, kortom, meer airco's die aanmoeten wat nog veeeel meer stroom trekt en airco's zijn duur.

Mag het wel een enorme belasting verlaging worden. En wat krijg je dan? Inderdaad. Dan krijg je dat het veel veel veel beter werkt en goedkoper is om een supercomputer aan te schaffen. Ook doordat de lag van zo'n enorm netwerk niet in de hand te houden is. Kortom, het zou kunnen werken voor dingen zoals RSA/DEC enzo, maar voor de klussen die zo'n supercomputer opknapt zal eht neit werken aangezien de individuele nodes daar te lang over doen.

Toch?

[glashio]

Een 'SuperCluster' boven de poolcirkel bouwen ?

[Pruttelpot]

Dan zijn de ijskappen binnen een paar weken helemaal gesmolten Wel een beetje om de natuur denken he?

[rapture]

Is de belastingsverlaging genoeg om de elektriciteit-rekening en slijtage van computers te compenseren?

Meer uren uptime => meer onderhoud (al is het maar voedingen stofzuigen).

[hardwareaddict]

Als je zulke grote machines hebt als deze, die naar ik gok zo'n 2-3 megawatt vreet, dan koop je electriciteit vet goedkoper in. Je begint al bij factor 10 goedkopere stroom namelijk. Natuurlijjk allemaal kernenergie ook, want zoals wij allemaal natuurlijk wel weten maar niet durven op te schrijven draait half Nederland op kernenergie uit het buitenland. Dat heet dan 'groene stroom' overigens, dat is de officiele naam voor kernenergie, al beweren de heren wat anders.

20% van de stroom wordt geimporteerd in Nederland. Het gros van het stroomgebruik gaat echter naar het bedrijfsleven en niet de particuliere markt, dus vandaar dat ik zeg 'half Nederland', want ik doel op de particuliere markt.

Met name Frankrijk is de grote producent van kernenergie die geexporteerd wordt naar het buitenland.

Komende jaren moeten steeds meer centrales in Nederland sluiten (ze worden voor X jaar gebouwd en moeten dan gesloopt worden) en wordt er dus meer kernenergie geimporteerd.

Die is veel goedkoper als de stroom uit de dure Nederlandse centrales.

Dus maak je je geen zorgen over de kosten van het toenemende stroomverbruik. Factor 20 goedkoper daar valt over te praten hoor bij zulke megawatt aantallen. Ze bouwen wel een kerncentrale in Frankrijk erbij om ons te voorzien.

Dus het bouwen van enorme supercomputers is vreselijk slim als het gaat om stroomverbruik. Per processor raak je namelijk al snel rond de 1300 watt kwijt (nee dat gaat niet naar de processor zelf, die vreet relatief weinig) en bij grote machines kun je factor 10-20 de stroom goedkoper inkopen.

[Bl@ckbird]

Maak je over stroom daar maar geen zorgen !!!
Jülich ligt tussen de grootste bruinkoolvelden ter wereld! Er zijn daar verschillende bruinkoolcentrales. (4 of 5 ofzo...) Kool wordt daar met de lopende band continue 7d/24w aangeleverd. Deze lopende banden zijn 2m breed !

Als je eens in de buurt bent... Ga kijken! Absoluut de moeite waard. (Discovery Channel heeft er ooit ook een uitzending aan gewijd.) Autobahn Aachen - Keulen --> Afslag Düren

Dus zolang ze daar dorpen verplaatsen voor de bruinkool, ben ik niet bang dat die super PC zonder stroom komt te zitten :-)

Zie ook:
http://www.rwepower.com/generator.aspx/templateId=renderPage/id=8772

http://www.rwepower.com/generator.aspx/templateId=renderPage/id=8774

http://www.rwepower.com/generator.aspx/templateId=renderPage/id=8776

Overzichtsplaatjes:
http://www.rwepower.com/generator.aspx/templateId=renderPage/id=24090

http://www.rwepower.com/generator.aspx/templateId=renderPage/id=24068

http://www.rwepower.com/generator.aspx/templateId=renderPage/id=24080

PDF met uitkijkpunten:
http://www.rwepower.com/generator.aspx/property=Data/id=37438/aussicht spunkte__pdf.pdf

PDF Bruinkoolstroom...
http://www.rwepower.com/generator.aspx/property=Data/id=34014/Strom__a us__dem__Westen__PDF.pdf

[Verwijderd]

Het bijzondere van de cluster in het bericht is de snelle switch zo te zien. Dat ding zal ook wel zoveel kosten dat het de moeite waard is om ook wat te investeren in de computers die het zo snel kan verbinden. Daarom geen willekeurige computers van scholen, denk ik.

[drZymo]

8,9 teraflops per seconde

Is dat niet wat overdone? 8.9 Tera Floating-point Operations Per Second per seconde

Helaas blijven die getallen altijd erg vaag, want het is leuk te weten dat hij met floating-points snel is, maar hoe is het met de integer operaties?

[Armageddon_2k]

Jah is overdone maar wie zegt tegenwoordig niet LCD-scherm, Liquid Christal Display scherm
zo zijn er vast wel meer dingen, als je tijd overhebt wijd je er maar een topic aan

[hardwareaddict]

8.9 teraflop is dus wat *effectief* gehaald kan worden. Geen theoretische piek.

[Hodgesaargh]

Per seconde per seconde is per seconde kwadraat... kortom, dat ding versnelt met 8,9 TFLOP per seconde

[JeanJeremy]

kan door alle onderzoeksinstellingen in Duitsland gratis gebruikt worden

toch netjes

[gp500]

mits.....

maar toch wel mooi jah, hebben we in NL ook zoiets.

Eigenlijk moet er een opteron-slagschip in NL komen.
I.V.M de innovatie-strijdi n NL

[chewie]

hebben we in NL ook zoiets.

Ja, http://www.sara.nl

[Vrieskist]

Sara, ik heb geen goede openingszin, maar jij hebt rekenkracht, en ik heb zin.

[AntiChris]

Helaas is het gebruik van een bak als Teras alles behalve gratis...

[vanDee898]

En het is nog een stoer ook

[Nimrod|IA]

Shit man. Hier woon ik. gaaf.
Forschungszentrum Juelich is echt groot. Het is een van de grotere Researchcenters in Duitsland. ook een van de bekendere. Hier staat oa ook een deelstjeversneller en er wordt ook aan kernfusie gedaan. Ook werd hier geloof ik door de duitsers in de ww2 onderzoek gedaan naar Atoomenergie (Lees bom).
Voor de rest is er hier nietys te doen. Leuk dorpje, maar uitgaan

[Pruttelpot]

Dan heb je er een leuke opdracht bij in het weekend als je je weer eens verveeld:

Breek in en plant een koetje op dat ding voor de Dutch Power Cows

[Verwijderd]

Om in te halen in de vragen hier...

Hoe groot is zo'n "super computer" ?
Bedoel in omvang.

[hardwareaddict]

Zie url. iets van 40 x 40 meter ruimte constant gehouden op pak hem beet 19 graden en uit de vloer komt continue overal uit allerlei gaten lucht. Overal staan dan pak hem beet 3.5 meter hoge kasten met enorme ventilators erin die continue loeien.

O ja, de deur zit op slot van die ruimte

Erg GOED op slot

[Verwijderd]

Deed Skynet niet iets van 60 terraflops...


Zero Dollar Cluster linkje: http://stonesoup.esd.ornl.gov/

[PowerToTheUsers]

Leeft dat nog? het recentste wat ik daarover kon vinden dateert al van augustus 2001

[Verwijderd]

handig voor Dutch Power Cows

[-=bas=-]

Nu nog iets bedenken waardoor het wetenschappelijk verantwoord is.

[BezurK]

D2OL

[Verwijderd]

Distributed Folding

Staan we in 1 dag meteen boven FreeDC

[marco_balk]

UD-Grid

[Verwijderd]

hmm.. in het kader van 'hij is X keer sneller dan de mijne':
ik haal op m'n PB G4 zo'n 3.5 Gigaflops = 0.0035 teraflop dus is ie 8,9/0,0035= 2542,9 keer zo snel

duss
not bad voor een 867mhz procje ^^

[Glow]

Er staat het verkeerde plaatje bij. Op het plaatje zie je duidelijk allemaal Cray's staan, terwijl het verhaal over de nieuwe supercomputer gaat die opgebouwd is uit IBM p690-systemen