Japanse atoomonderzoekers bestellen supercomputer met 2157 nodes

Fujitsu heeft van het Japanse Agentschap voor Atoomenergie een order voor de bouw van een nieuwe supercomputer gekregen. Als het Linux-cluster volgend jaar online komt, zou het de krachtigste supercomputer van Japan zijn.

De supercomputer, die in maart 2010 opgeleverd moet worden, zal bestaan uit in totaal 2157 Primergy BX900-bladeservers, zo meldt Fujitsu. Elke node beschikt over twee quadcore Intel Xeon X5570-processors met een kloksnelheid van 2,93GHz. Volgens Fujitsu ligt de theoretisch maximaal haalbare rekenkracht van het Linux-cluster op 200 teraflops. Daarmee zou het de snelste supercomputer van Japan worden. Het nog te bouwen cluster moet de twee huidige supercomputers van het onderzoeksagentschap, met rekencapaciteiten van respectievelijk 13 en 2,4 teraflops, gaan vervangen, omdat de atoomonderzoekers tegen de grenzen van deze systemen aanlopen.

Naast het Primergy BX 900-cluster bouwt Fujitsu een extra cluster waarop nieuwe code voor de supercomputer kan worden ontwikkeld en getest. Dit 'ontwikkelcluster' heeft nog altijd een rekenkracht van 12 teraflops en bestaat uit 320 nodes met ieder een quadcore SPARC64 VII-processor van Fujitsu. De opslag wordt verzorgd door een uit 36 servers bestaande Enternus DX80-diskarray, goed voor een opslagcapaciteit van in totaal 1,2 petabyte.

Het Japans Agentschap voor Atoomenergie gaat het Linux-cluster inzetten voor nucleair onderzoek. Zo zal de supercomputer onder andere kernfusie-simulaties gaan draaien, maar het rekenmonster zal ook worden gebruikt voor onderzoek naar de ontwikkeling van snelle kweekreactoren en voor het testen van de aardbevingsbestendigheid van kerncentrales. Hoeveel de nieuwe supercomputer zal gaan kosten, is niet bekendgemaakt.

Reacties (44)

Waarom wordt er nog niet meer gebruik gemaakt van grafische kaarten in super computer clusters? Een Ati Radeon HD4870 heeft al een theoretische grens van 1.2 teraflops. Ik weet dat dit niet op double precision is, voor double precision ligt de theoretische grens van grafische kaarten lager. Maar toch lijkt het me een stuk goedkoper om een paar honderd grafische kaarten aan het werk te zetten.

Zou het interessant kunnen zijn voor AMD of nVidia om speciale versies van grafische kaarten uit te brengen die in de basis hetzelfde zijn, maar iets beter toegespitst op het pure rekenwerk? Bijvoorbeeld kaarten met meer geheugen erop zodat grotere modellen in z'n geheel op de grafische kaart geplaatst kunnen worden (kan me voorstellen dat dit snel een limiet is).

Gaan we dit in de toekomst zien? Clusters waarin grafische kaarten het voornaamste rekenwerk voor hun rekening nemen?

die kaarten zijn er al met de naam tesla maar ik denk dat ze geen grafische kaarten gebruike in verband met de hitte die het met zich mee brengt.

edit:
Overigens slijt een graka vele malen sneller als een processor ( als je het over een hd4870 hebt) zo'n graka gaat 2-3-4 jaar mee terwijl je met een processor wel 10 jaar+ kan doen

[Reactie gewijzigd door Xenomorphh op 16 juli 2009 14:19]

Misschien ook niet vanwege het ontbreken van goede software om zo'n cluster aan te sturen. Voor zover ik weet kan je bijvoorbeeld geen MPI installeren op een cluster van grafische kaarten. Dat betekent dat alle software opnieuw gemaakt moet worden; een duur grapje. Verder is het niet makkelijk om grafische kaarten efficient te programmeren, de performance karakterestiek is heel anders dan die van CPUs. Wederom moet dan alle software aangepast worden en opnieuw geprofiled etc.

Verder denk ik ook dat dingen als hitte, stroomverbruik en fout tolerantie/gevoeligheid mee spelen. CUDA gooit geen exception bij een falende processing unit, maar gaat waarschijnlijk gewoon door met foute data. Je moet zeker weten dat wat je berekent ook daadwerkelijk juist is.

In clusters word gebruik gemaakt van ECC RAM, zo ver ik weet is dat er nog niet voor GDDR geheugen. Daarnaast staat het hele GPU cluster gebeuren nog in de kinderschoenen. Als je zo veel uitgeeft dan wil je wel dat alles werkt zonder problemen. De ontwikkeltijd voor GPU applicaties is momenteel nog veel hoger dan voor CPU applicaties en niet elke berekening is geschikt om uitgevoerd te worden op een GPU.

Het gaat in de toekomst wel komen, zeker nu opengl 3.1 uit is, kan men relatief simpel aan het ontwikkelen slaan.

[Reactie gewijzigd door Emptor22 op 16 juli 2009 14:32]

Ik denk dat het met een aantal dingen te maken heeft:
- Rekenkundige betrouwbaarheid. CPUs maken minder rekenfouten denk ik dan GPUs. GPUs hebben sowieso andere toleranties omdat het grafisch niet zo enorm groot probleem is als er een bitje omvalt. Bij atoom berekeningen kan dat grote gevolgen hebben.
- hardware betrouwbaarheid. Als er voortdurend nodes tussenuit vallen om GPUs te vervangen zijn de onderhoudskosten hoger dan bij CPUs
- Een GPU heeft een hogere TFLOP dichtheid wat op een kleine ruimte koelingsproblemen kan veroorzaken.
- CPUs zijn meer general purpose toe te passen dan GPUs

Dergelijke dingen zie je toch al vaker? Dan niet direct met graka's, maar ik heb toch al regelmatig gezien dat er bijvoorbeeld een hele cluster PS3's wordt gebruikt om een bepaalde code te kraken omdat deze dat sneller en/of efficiënter kunnen dan de meeste doorsnee CPU's.

Waarschijnlijk omdat een cluster met PS3's veel goedkoper is dan een cluster van blade servers

Omdat men nu gewoon gebruik kan maken van standaard hardware: blade-enclosures die men volsteekt met blade-servers.

Komt toch neer op 17256 cores

De software zal ontzettend efficiënt moeten omgaan met hoe de resultaten weer te combineren, anders is het langer bezig met het aggregeren van de resultaten dan met de daadwerkelijke berekeningen. Een dergelijk effect heb ik wel eens gezien bij een SQL query die over 2 processoren verdeeld een factor 100 langzamer was dan met 1 processor, totdat het parallelisme niveau naar 1 processor per query werd teruggebracht. in 1 % van de tijd hadden beide processoren de resultaten, maar deden daarna 100 keer zoveel over om alles bij elkaar te rapen en te presenteren.

Misschien is dit een domme vraag, maar waarom kunnen hier geen grafischekaarten voor worden gebruikt? Een fors aantal GTX295's zouden toch ook die 200 TerraFLOPS halen, of leent CUDA zich hier niet voor?

Double precision IEEE754 floating point is lang niet zo snel als single precision op die nVidia kaarten, maar je hebt er inderdaad wel minder van nodig. Ik gok echter dat zij zoals zovele verstokte fysici nog het liefst in FORTRAN rommelen, en daar is geen CUDA-taalvariant van. Ook kan de beperkte hoeveelheid geheugen een limitatie zijn; de gebruikte Nehalems alhier kunnen tot 48 Gibyte per processor aan (naar ik meen).

Omdat Grafische kaarten maar voor een paar bewerkingen heel snel zijn en voor een heleboel bewerkingen niet.

Wat een vreemd aantal blade servers: 2157. Weet iemand waarom juist voor dit aantal is gekozen?

Zoals hierboven al wordt gezegd wrs om 200 teraflops te halen of omdat er mss simpelweg geen genoeg plek voor was ofzo.

Wat ik mij weer afvraag, hoeveel energie verbruikt dit wel niet? Of gaan ze een kern reactor neer zetten om kern reactors te onderzoeken?

De 1105 teraflop roadrunner gebruikt 2,4 MW

nieuws: NSA bouwt groot rekencentrum dat 65 megawatt verstookt
En als je dan bedenkt wat de NSA over het algemeen doet... alleen maar veiligheidszaken. Dan vind ik 1 supercomputer voor nucleair onderzoek niet heel veel. En deze heeft dan nog de mogelijkheid om zich "terug te verdienen" omdat met goede optimalisatie in het splijting of later fusie proces ook kosten besparend werkt. Daarnaast vinden ze misschien hier wel een goede oplossing voor opslag van het rest materiaal.

offtopic:
Beste oplossing voor het milieu is het zover verrijken dat het geschikt is als wapen plutonium want hiervan is de straling zeer gering

Ja want kern reactors onderzoeken is hetzelfde als atomen onderzoeken

Maakt toch niet uit waar ze de energie vandaan halen, halen ze het uit kolen en gas gaat er weer extra kernenergie de huizen in en andersom...

lees eens:

Zo zal de supercomputer onder andere kernfusie-simulaties gaan draaien, maar het rekenmonster zal ook worden gebruikt voor onderzoek naar de ontwikkeling van snelle kweekreactoren en voor het testen van de aardbevingsbestendigheid van kerncentrales

Ik lees er dus uit dat kernfusie-simulaties ook zou kunnen betekenen, de simulatie van een kernfusie zoals in de waterstofbom.
Samen met oudere verhalen over hun snelle kweekreactor en de broeder hier
kan het zijn dat er tevens politiek militaire behoefte is om als de nood aan de man komt (Noord-Korea) snel een eigen weerwoord te fabrieken.

Je zou toch zeggen dat de japanners al genoeg ervaring hebben met atoombommen

[Reactie gewijzigd door tes_shavon op 17 juli 2009 08:47]

het zal waarschijnlijk gewoon gaan om kernfusie als in "in potentie maximaal energie producerend" en niet zo zeer naar waterstof bommen... Japan heeft kernwapens naar mijn weten afgezworen...

Ik vermoed om aan die theoretische grens van 200 teraflops te komen. Meer nodes voegt waarschijnlijk te weinig toe. Deze 2157 zal daarom denk ik het zogeheten 'magische getal' zijn om aan de verwachte prestaties te kunnen voldoen.

Misschien wel omdat het bijvoorbeeld gaat om 3 kastenrijen met ruimte voor 720 blades (incl een hotswappable spare)
Is maar een gokje natuurlijk

[Reactie gewijzigd door 80466 op 16 juli 2009 14:43]

Waarschijnlijk om 200 teraflops te halen.

In een Primergy BX900 chassis passen max 18 CPU blades, maar er kunnen ook storage blades tussengevrot worden. Een storage blade is zo te zien de helft van het formaat van een CPU blade. Als er per chassis 17 CPU blades en 2 storage blades gebruikt worden, en er 127 chassis gebruikt worden (32 42U racks), dan kom je aardig in de buurt als je ook een paar chassis wat afwijkend invult (misschien eentje per rack een CPU minder)

Was de pincode van de baas.

Elke node beschikt over twee quadcore Intel Xeon X5570-processors met een kloksnelheid van 2,93GHz.

...

Dit 'ontwikkelcluster' heeft nog altijd een rekenkracht van 12 teraflops en bestaat uit 320 nodes met ieder een quadcore SPARC64 VII-processor van Fujitsu.

Waarom een ontwikkelcluster bouwen met een andere CPU dan het echte cluster? Dan weet je nog niet zeker of het werkt.

Ligt er aan wat ze willen testen! Ik denk wel dat de software die dit alles aan gaat sturen redelijk hardware onafhankelijk zal zijn.... Anders bouw je iets wat je over 5 jaar niet meer kunt updaten/upgraden....

Dat vroeg ik me nou ook af, d8 eerst dat ik het verkeerd gelezen had.
Blijkbaar maakt in deze ontwikkelomgevingen het type CPU niet uit, maar vraag me wel af hoe ze dan specifieke applicaties gaan optimaliseren voor deze CPU.

Vreemd dat de ontwikkelomgeving een andere architectuur gebruikt als de productieomgeving.

Viel mij ook al op. Waarom gebruiken ze voor de ontwikkelomgeving niet gewoon een kleinere versie van de productie omgeving? Ze kunnen zelfs de 13 TFlops huidige omgeving blijven gebruiken als de architectuur blijkbaar niets uitmaakt...

Vroeger keken ze gewoon naar boven, om het weer voor morgen te voorspellen...

Anyway; het is wel een mooi idee, zo absurd veel computers bij elkaar, dus samen 200 teraflops halen. Misschien dat het onderzoek, en het simuleren van kernreacties, het daadwerkelijk laten afgaan van die dingen 'om te testen' zo goed als overbodig maakt. Ik ben wel benieuwd naar het prijskaartje...

geen idee maar een flauwe zou zijn: Het geld was op

Kernfusie, zijn ze al jaren over aan het leuteren, kost bergen met geld en heeft tot hiertoe nog niets opgeleverd.
Halen ze dat telkens boven om toch maar weer geld te krijgen?
Wat moeten we trouwens met kern-fusie als we zonne/wind-energie kunnen opslaan als waterstof, laat ze daar geld in steken want dat systeem werkt en kan nog een boel ontwikkeling gebruiken.

Enig idee hoeveel zonnecellen en windmolens er nodig zijn om de hele aarde van energie te voorzien? Idealisme is goed maar dat is gewoon onrealistisch. En dat terwijl het rendement van zonnecellen en windmolens al relatief dicht bij het theoretisch maximum zit. Kernfusie heeft echter alles wat een ideale energiebron moet hebben (brandstof is in overvloed aanwezig en het heeft geen afval). Al duurt het nog 50 jaar voordat het goed toegepast kan worden, dan zou het alsnog mooi zijn.

Niets opgeleverd?

Sinds 2006 werkt de fusie-gemeenschap aan een groot internationaal fusie-experiment, de ITER. ITER staat voor International Thermonuclear Experimental Reactor, en is een project tussen Europa, Rusland, de VS, Japan, China, India en Zuid-Korea. ITER, die naar verwachting rond 2018 in bedrijf komt, moet aantonen dat fusie op aarde mogelijk is. ITER zal 500 megawatt produceren, tien maal meer dan nodig is om de reactie op gang te brengen. De reactor wordt in Cadarache in Zuid-Frankrijk gebouwd.

http://nl.wikipedia.org/wiki/Kernfusie

@BasMSI
Lees je eerst eens goed in de materie in voordat je met dit soort uitspraken komt. De hoeveelheid energie en het rendement dat je met kernfusie kunt bereiken is vele malen groter dan met zonne- & windenergie, naast het feit dat je de productie kunt regelen en aanpassen aan de behoefte, hét grote manco van zonne- & windenergie. Het is nog niet productierijp, maar dat is met alle technologie in het begin.

Hm, die rendement en opbrengst vielen tot nu toe nog een beetje tegen.
Volgens mij was het zo dat er meer energie nodig was om het proces op gang te houden dan de energie die het opbrengt. Er is nog niet veel te zeggen over de bruikbaarheid van kernfusie. In ieder geval is het op dit moment nog helemaal niet zeker of het werkelijk toepasbaar is op grote schaal.

Maar wat is er nou altijd zo speciaal aan die supercomputers? Voor zover ik weet heeft een stapel processors altijd een rekenkracht die evenredig oploopt met het aantal.
Het zou me niet verbazen dat de prestaties van de meeste supercomputers ook te halen zijn met een berg ouwe Pentiums oid.

[Reactie gewijzigd door blorf op 17 juli 2009 09:57]