Cookies op Tweakers

Tweakers maakt gebruik van cookies, onder andere om de website te analyseren, het gebruiksgemak te vergroten en advertenties te tonen. Door gebruik te maken van deze website, of door op 'Ga verder' te klikken, geef je toestemming voor het gebruik van cookies. Je kunt ook een cookievrije versie van de website bezoeken met minder functionaliteit. Wil je meer informatie over cookies en hoe ze worden gebruikt, bekijk dan ons cookiebeleid.

Meer informatie

Door , , reacties: 184, views: 63.724 •
Submitter: MBI

Het KNMI heeft vrijdag zijn aangepaste computersysteem met een nieuwe supercomputer in gebruik genomen. Het instituut gaat de BullX B500 met 4752 cores gebruiken voor weersverwachtingen en klimaatonderzoek.

Het BullX B500-cluster van de Franse bouwer Bull bestaat uit een 22-blade-chassis met 18 dualsocket-nodes of -blades. Die bevatten elk op hun beurt twee Intel Xeon 5675-hexacores met een kloksnelheid van 3,06GHz en tdp van 95W. Het totaal aantal cores komt daarmee op 4752.

De supercomputer kan verder over 9,5 terabyte werkgeheugen beschikken; 24GB ddr3 per node. Elke blade heeft daarnaast de beschikking over 240GB opslag en een first-level 36-port InfiniBand QDR-interconnectswitch. Het hart van de interconnect-architectuur wordt gevormd door 18 Voltaire Grid Director 4036-switches, terwijl het opslagsysteem een LSI 5400-array met onder andere X15K7 sas-schijven van Seagate met een opslagcapaciteit van 600GB is. De totale opslagcapaciteit van de BullX B500 bedraagt 60 terabyte.

De totale rekenkracht van het systeem komt uit op 58,2 teraflops. Daarmee is het systeem de op een na krachtigste supercomputer van Nederland. De toppositie wordt ingenomen door Huygens, bij onderzoekscentrum SARA, die een rekencapaciteit van 65 teraflops heeft. De BlueGene/P, die bij de Universiteit Groningen staat, is verstoten naar de derde plek: deze heeft een rekenkracht van 41,8 teraflops.

Het cluster is veertig keer sneller dan het oude systeem. De Bull wordt gebruikt voor het doorrekenen van weersverwachtingen en klimaatmodellen. Die berekeningen kunnen nu sneller en nauwkeuriger, terwijl ook complexere modellen dan voorheen berekend kunnen worden. 

Volgens het KNMI gaat het om een energiezuinig systeem waarbij de besparing onder andere afkomstig is door het gebruik van waterkoeling. Ook de rest van het verbouwde rekencentrum zou energiezuinig en duurzaam zijn. Onder andere heeft het weerinstituut gekozen voor een systeem waarbij het luchtkoelingsysteem op het dak in de winter voor koeling van het computercentrum zorgt en daarbij ook grondwater afkoelt, dat daarna ondergronds wordt opgeslagen. 's Zomers wordt het centrum vervolgens gekoeld met dit grondwater. Het opgewarmde water wordt opnieuw ondergronds opgeslagen.

Bull-supercomputer KNMI Bull-supercomputer KNMI

Reacties (184)

Reactiefilter:-11840155+189+215+31
1 2 3 ... 8
O wee als ze weer een vals weeralarm afgeven!
Hehe ja dat was ook mijn eerste gedachte. Voortaan is code rood nu ook echt code rood? Geen gezeik meer met al die foutieve meldingen. Dan brengt hij echt zijn geld op :)
Ik denk dat we beter een extra kleur kunnen toevoegen. Bruin ofzo. Voor elke poep of scheet krijg je nu al een code oranje. Als ze nou gewoon beginnen bij geel, dan oranje en rood als echte uiterste (lees: grote vloed, overstromende rivieren oid)
Code rood is niet voor rivieren die overstromen of dijken die doorbreken, als een dijk plots doorbreekt laten ze eerder het luchtalarm afgaan. Als rivier buiten zijn oevers dreigt te treden dan worden de gebieden geheel geŽvacueerd, zoals de ooij in 1995. Daar is code rood van KNMI niet voor bedoeld!

Code rood is voor de bijvoorbeeld bij hevige sneeuwval, of harde windstoten, maar ook bij hitte kan code rood gegeven worden, etc. KNMI gebruikt code rode dan ook gepast, helaas weten mensen niet altijd wat het inhoud.
Hoog water heeft niet altijd iets met het weer te maken. Althans niet alleen met het weer in Nederland. Vaak komt dat water ergens vandaan, daar gaat het al fout.

Als er een dijk op doorbreken zou staan zou ik niks van het KNMI verwachten, eerder van rijkswaterstaat. Het KNMI kijkt omhoog, rijkswaterstaat naar beneden.
Toen ze dat afgaven een paar maanden geleden, stond allang op de officiele lijstjes dat KNMI *dit* systeem gebruikte; nu een aankondiging dat het in gebruik genomen wordt komt dus enigszins als een trage verrassing...
Mensen letten gewoon beter op. Vaak is het lokaal zeker van toepassing.
O wee als ze weer een vals weeralarm afgeven!
ik kan het je haast garanderen, wij snappen het weer nog niet voldoende. Maar na iedere verrassing kunnen ze bij het KNMI (en elders) de modellen aanpassen, waardoor die supercomputers nog beter worden in analyse, detectie en voorspelling. Alleen moet voor het continue bijwerken van de modellen de supercomputer wel meegroeien.

het dus geen lineaire vergelijking: meer CPU's -> Betrouwbare weersvoorspellingen. Maar zonder die CPU's kunnen ze niet eens beginnen met het creŽren van meer betrouwbare voorspellingen. :)
Nice design :):)
Haha Ik zag het ook al! Ziet er idd leuk uit!
Valt idd wel op.

Indrukwekkende bak...
Erg jammer alleen dat hij BullX heet.

Bij het KNMI verwacht je op z'n minst een indrukwekkende weer-naam voor hun eigen supercomputer. Iets als de

Tornado
Stormkracht 12
Bliksem
Frontje
SolarPower

klinkt wat leuker in de pers voor een weersvoorspellende computer...
WOEI

Leuk apparaat, maar voorkomt helaas niet dat een blaadje op een rail treinen laat vertragen.
Idd, maar dan wel weer jammer dat er een bulk met lelijke 3 fasen connectors aan hangt!?
Als er nou eens een europese samenwerking komt, nou worden er denk ik een hoop weersimulaties naast elkaar gedraait die vrijwel hetzelfde berekenen...
Die is er al, dat model is het ECMWF. Die berekent de weersituatie voor de hele wereld, maar op een vrij lage resolutie. Dit wordt dan vaak als beginsituatie gebruikt voor de lokale modellen met een hogere resolutie. De Britten hebben UKMO, de Nederlanders HIRLAM, etc... allemaal geoptimaliseerd voor hun eigen regio. Een hoge resolutie over de hele wereld kost nog veel te veel rekenkracht om voldoende snel te berekenen (6 uur vooruit berekenen waar je 8 uur over doet is niet zo handig :P).
Staat zo'n weer supercomputer nu 24x7 te rekenen of staat het vaak idle? Ik kan me voorstellen dat op een gegeven moment alles is berekend en pas bij nieuwe input 1 uur later het weer wat kan doen.
Het ECMWF draait twee runs per dag om 00 en 12 UTC. Die doen er ongeveer 8 uur over (beetje een schatting). Dus dan zit je met twee keer 4 uur ertussen.
Er zijn wel supercomputers waarbij je tijd kan "inkopen", maar of dat bij die van het ECMWF of deze van het KNMI ook zo is zou ik niet weten.
Bij haast elke supercomputer is wel tijd te kopen. De RuG heeft heel veel dingen erop te berekene en krijgen hem toch nog lang niet vol. Daarom is er tijd te koop, levert weer wat geld op. Het probleem daarmee is echter wel dat als hij kapot gaat hij wel zsm gefixed moet worden. Moet normaal ook, maar dan zit er nog wat meer spoed achter.

Schijnt op een gegeven moment een professor te zijn geweest die dat ding moest maken toen hij flink stuk was. Meer dan 30 uur op, vervolgens een uur college gegeven om weer aan het ding te gaan knutselen. Schijnt een erg productief college te zijn geweest :+
Schijnt op een gegeven moment een professor te zijn geweest die dat ding moest maken toen hij flink stuk was.
Ik neem aan dat er gewoon een onderhouds/garantiecontract op zit voor de gehele periode dat die supercomputer er is. Dat dus een willekeurige professor (die normaal gesproken les geeft daar) hem eigenhandig gaat zitten repareren, gaat er bij mij niet zo in. Dit lijkt me een broodje aap.
- wie zegt dat het een 'willekeurige' professor was, ook degenen die zich met interne (automatiserings-) projecten bezighouden kunnen een college geven hoor.

- onderhoudscontract helemaal niets, aangezien die dingen vol staan met custom software van de RuG, ook al komt er een onderhoudsmonteur kijken, die fixt niet alles en zal er best wel wat gesleuteld moeten worden door de RuG zelf om het weer functionerend te krijgen.
ECMWF is het Europese centrum voor "Medium Range Weather Forecast", staat in Reading bij Londen.
Als er nou eens een europese samenwerking komt, nou worden er denk ik een hoop weersimulaties naast elkaar gedraait die vrijwel hetzelfde berekenen...
Dat denk je verkeert; er is al lang Europese samenwerking.

EUMETNET
"...netwerk van Europese weerdiensten momenteel onder voorzitterschap van KNMI..."
http://www.knmi.nl/cms/content/81016/eumetnet

Mag ik vragen waar je negatieve vooroordeel op is gebaseerd?
En dan alsnog niet goed het weer van overmorgen kunnen voorspellen :+
En dan alsnog niet goed het weer van overmorgen kunnen voorspellen :+
Het weer van gisteren is al lastig, met dezelfde gegevens.
Ben benieuwd naar de afweging Intel vs AMD.
Intel is nog steeds meer performance per watt
op 2 socket gebied is het geen vraag: intel domineert compleet en AMD zet zich compleet buitenspel met bulldozer.

Die vreet wel zo ongelooflijk veel stroom die bulldozer en is takketraag.

Bovendien is de latency naar de RAM retetraag van bulldozer. Random blocked reads zitten rond de 160+ nanoseconde (8 byte reads random door de gigabytes geheugen die zo belangrijk zijn voor het knmi), dat al bij 1 socket systemen, zal rond de 220+ liggen bij 2 sockets bij bulldozer en bij dit soort nehalem systeempjes zit dat op 90+ nanosecondes per read en bij 1 socket i7 systemen is dit rond de 60 a 70 nanosecondes.

Dus random reads door het geheugen met alle cores bezig, al die streambenchmarks gebruiken maar 1 core bezig van hele chip, dus die nummertjes kun je niet serieus nemen.

Dan is er nog de compiler issue. Voor dit soort software is de intel c++ compiler absoluut superieur. Weet niet precies welke applicatie knmi gebruikt, maar op AMD hardware loopt die compiler voor geen meter, terwijl hij extra speed afgeeft aan intel en veel zaken weet te vectoriseren waar GCC en andere compilers het totaal afleggen.

Dat is misschien hardware technische niet interessant, maar vanuit KNMI gerekend zullen die simpelweg kijken naar welke performance ze krijgen tegen welke prijs.

HOE je het dan oplost interesseert niet natuurlijk.

De echt goed geoptimaliseerde software, die wint snel 5% aan intel c++ versus andere compilers op intel hardware, die je in de meeste benchmarks niet zo terugziet, maar die er in dit soort HPC omgevingen wel is.

Dus vandaar dat op 2 socket systemen op dit moment intel totaal superieur is en AMD beetje harakiri heeft gepleegd met bulldozer.
Daarnaast vermoed ik dat het KNMI dit systeem as-is gekocht heeft en dan ligt de keuze bij de partij die zo'n 'product' op de markt zet :)
Supers worden heus niet "zomaar" gekocht, daar wordt uitgebreid test mee gedraaid met de software/modellen/datasets die de klant ook daadwerkelijk wil gaan gebruiken.

Pas als dat naar genoegen is verlopen komt de koehandel mbt prijs etc ter sprake.
In dit geval is het nog wat erger.

Ik heb de hele procedure van dichtbij meegemaakt. Tijdens de gesprekken met vendoren werd al snel duidelijk dat het KNMI voor een dubbeltje op de eerste rang wilde zitten. De nieuwe te gebruiken code(Harmony) was nog niet eens in de BETA fase, en het KNMI vroeg de vendoren hun code te optimaliseren voor het vendor specifieke systeem. de code was een verschrikkelijke spaghetti-ware met allemaal losse delen die samengevoegd moesten worden om uberhaupt werkend te maken. hierdoor zijn er verschillende vendoren geweest die niet hebben aangeboden (o.a. HP, DELL, NEC etc)

Overigens was zoals zo vaak bij HPC aanvragen de prijs vooraf al beapaald (bij HPC is het meestal zo: dit is mijn zak met geld, dit is mijn aplicatie, dit zijn mijn randvoorwaarden (stroom, ruimte, vloerbelasting etc) en vendor, biedt maar iets aan waardoor de solvation zo snel mogelijk gaat (meestal uitgedrukt in TFLOPS).

het KNMI wilde erg graag dat dit systeem de Nr1 zou worden in Nederland, maar ondanks het meerdere malen vuur aan de schenen leggen kon BULL niet meer dan 58 TFLOP leveren voor de 4.5 Mln. ze zijn behoorlijk door de mangel gehaald.

Overigens is het wel grappig te zien dat dit 1 van de erg weinige HPC systemen is waarbij beschikbaarheid wel als belangrijk wordt ervaren. meestal is bij een HPC de beschikbaarheid ondergeschikt aan performance, maar het KNMI wil logischerwijs per se binnen een gestelde termijn een (output) voorspelling hebben. in de normale HPC wereld wordt meestal geen redundantie toegepast, hooguit een HA opstelling van de masternodes. een nodeuitval is dan ook niet erg door het groot aantal nodes in een dergelijk systeem.

als laatste wil ik nog wel even opmerken dat de Huygens wel te boek staat als snelste, maar het in de praktijk niet is. er zijn bedrijven en instellingen die dubbel so snelle HPC's hebben draaien, maar de score niet gesubmit hebben aan de top500.org deze komen dus niet op de lijst voor. de bedrijven/instellingen hebben er dan ook geen enkel belang bij hun rekenkracht kenbaar te maken.
Typische Holland Top weer.

Voor een verouderd systeem 4.5M neerleggen en de ingangseisen zodanig maken dat je met Bull blijft zitten - en alle alternatieven volledig buitenspel zetten.

Voor 4.5M kun je nu met gemak een SandyBridge systeem kopen van 150 TF met FDR en 2PB DDN storage. Zo'n systeem is 2-3x zo snel..!!! CPU in dit systeem is nu al verouderd. Dan kan je nog zo'n mooie samenwerking/code porting/dineetjes hebben met je vendor: voor +1M marge willen dat er vast wel veel meer.

Rip-off.
Hebben ze nog een "cluster" in de planning?
2e foto links boven, hier hangen nog 6 ongebruikte stekkers.

best klein voor zo'n systeem lijkt me, maar wel een leuk design.
Dit is een cluster, geen supercomputer.
4752/6=792 sockets x 95w x 24hr = 1804kwu x 365 = 658752kwu x 0.22 eurocent
144.925,44 aan stroomkosten van alleen de cpu's wat nou energiezuinig.

[Reactie gewijzigd door Yisrael48 op 17 maart 2012 00:43]

Je gaat hier uit van het maximale vermogen, wat ik veel gevallen niet gehaald wordt. In de meeste gevallen zit je zelfs onder de helft, dus laten we zeggen zo'n 70§. Is natuurlijk niet niks maar het totaal moet je natuurlijk relatief zien. Als ze op dat hele kantoor de lampen vanzelf uit zouden laten gaan als er niemand loopt, zou je die bedrag al weer evenaren.
hij heeft het over 144 000 op jaarbasis, niet 70 euro per dag oid...

Daarnaast moet je er met supercomputers echt niet van uit gaan dat het 50% is. Het zal inderdaad niet de hele tijd full load draaien, maar dat wil je toch wel zo veel mogelijk, anders verlies je immers tijd en performance. Denk dat 80% een betere benadering is.
Jawel joh dit draait 24/24 bijna altijd, ga daar maar vanuit.
Ga zeker uit van een load van 70% op jaarbasis, mogelijk meer.

Die machines kunnen hoegenaamd niet idlen in HPC anders gaat opstarttijd of unidle time wel een paar uur kosten. Dat is natuurlijk een beetje lang.

Dus enige vormen van idlen zijn zeer beperkt.

Het green dit en dat voor clusters is natuurlijk een farce en niet van toepassing op KNMI, want zij hebben enorme RAM nodig, ervan uitgaande dat ze moderne weersoftware hebben.

Zoveel enorme clusters zijn er niet in Nederland, dus het mag ook wel wat stroom vreten dan natuurlijk.

Dat klimaatverhaal snap ik niet zo. de meeste klimaatsoftware moet maandenlang 24/24 rekenen op duizenden cores, om niet al te amateuristisch over te komen.

dan kun je in die tijd natuurlijk die cores niet gebruiken voor een betere weersvoorspelling.
Green ten opzichte van wat? Ik weet niet wat er hiervoor stond, maar als dat ding dezelfde hoeveelheid stroom gebruikte hebben we het hier over een verbetering van een factor 40. Of misschien hadden ze meerdere offertes liggen, die allemaal ongeveer dezelfde rekenkracht boden maar 20% meer energie nodig hadden?

Je hebt gelijk als je stelt dat het nieuwe cluster veel energie gebruikt, maar je moet wel de context meenemen.
Afgezien van performance/watt en efficiŽnte koeling zou dit systeem pas ťcht energiezuinig zijn als ze wat zouden doen met die verwarming.
Nu wordt er vooral genoemd dat er weinig energie gebruikt wordt om het systeem te koelen, maar dit staat natuurlijk los van het verbruik van de supercomputer zelf.

Wanneer ze de afgevoerde warmte zouden gebruiken voor bijvoorbeeld wijkverwarming, is het opgewarmde water ineens geen afval meer, maar een nuttig product waardoor dit geen verlies is maar een opbrengst.

Versimpeld voorbeeld: nu wordt er 10 uitgegeven aan rekenkracht en 10 aan koeling en 10 aan verwarming van een wijk. Schitterende computer, lekker warme huizen voor een bedrag van 30 dus.
Wanneer de koeling van deze computer nou benut wordt om de huizen te verwarmen, zodat deze geen 10 aan verwarming nodig hebben, maar nog slechts 2; dan zou dit systeem pas serieus slim met energie omgaan.
Tuurlijk niet. Zo'n systeem als dit staat in een zwaarbeveiligde bunker, Je wilt niks geen communicatie met de buitenwereld natuurlijk op dit soort knullige manieren als wijkverwarming voor dat ene clustertje van het KNMI.
Zwaarbeveiligd? Waarvoor?
En communicatie met warm water is misschien geen SSL of VPN, maar wel degelijk veilig.
Alleen denk ik niet dat deze server zoveel warmte opleverd dat je een stel huizen kunt verwarmen voor minder dan het nu kost. Je zit met transport, aanlegkosten en ga zo maar door.
De kantoorruimte is wellicht een ander verhaal.
22 ◊ 18 blades met twee processors van 95W (TDP) levert grofweg 40kW

Dat is genoeg voor ongeveer 4 matig geÔsoleerde rijtjeshuizen.
Of genoeg voor ongeveer 10 vrijstaande passief(=goed geÔsoleerde) huizen.

En dat is dan voor verwarming als het -10 vriest en de kachel vol aan staat. Als je daar nog wat buffering en/of back-up vermogen aan toe voegt kunnen er nog dubbel zoveel woningen aan. Maar goed, denk niet dat ze die warmte hoeven te verslepen naar een woonwijk, die zullen ze wel kwijt kunnen in een kantoorpand.

Wel ideaal dat ze trouwens waterkoeling gebruiken. Intel processoren mogen best warm worden (~100C), dus zelfs als je een ruime veiligheidsmarge van 30K houd is het nog mogelijk om watertemperatuur van 60C te halen. Met lucht als tussenmedium zou dat nooit mogelijk zijn en kom je in een best-case scenario op ~30C watertemperatuur, waar je dan nog net een ZLTV verwarming mee kunt voeden, terwijl 60C genoeg is om nuttig toe te passen in traditionele verwarming!
De (warmte-)energie wordt wel degelijk gebruikt, in de wintermaanden voor verwarming van het pand en in de zomer maanden voor koeling. (grondwater opslag).
Grootverbruikers hebben een veel lager energietarief. 22cent is de consumentenprijs. Alleen de energiebelasting zakt al met 10 cent. Bron
behalve als je in een bunker stroom afneemt en ook in tijden van oorlog stroom wilt hebben, lees eigen noodgenerator. wat voor mooi weer verhalen ze hier ook schrijven, dat gaat allemaal bij hpc niet op. verder zijn het overheidslieden. De stroomrekening betaalt de overheid wel, maar budget om de computer te kopen hadden ze weer nauwelijks zo lijkt het en hebben ze 't beste ervan gemaakt.
Je vergeet de koeling.
Je mag er vanuit gaan dat bedrijven of instellingen die dit soort vermogens trekken uit het net, zeer waarschijnlijk met hun eigen trafo, een lager tarief afgesproken hebben met hun leverancier dan wat wij als consumenten betalen.

Reken maar met §0,10 per Kwh, inclusief transport en energiebelasting.
Waarom staat er niet bij welk OS er op komt te draaien?
Gaan ze alle blades inzetten als losse clusternodes via een masterserver of komt er een Unix variant op te draaien die er een soort mainframe van maakt?
De meeste computers (ja zo heet het nog steeds...) van dit formaat zullen een vorm van linux draaien zie ook: http://i.top500.org/stats (moet je wel even operating systems kiezen voor een overzicht..)
Weersvoorspellingen: a load of bull... ;)

Hopelijk gaan ze de extra rekenkracht inderdaad inzetten voor complexere modellen, zodat de betrouwbaarheid van de voorspelling omhoog gaat, vooral ook bij de langetermijnvoorspellingen.
1 2 3 ... 8

Op dit item kan niet meer gereageerd worden.



Populair: Samsung Gamecontrollers Smartphones Sony Microsoft Apple Games Consoles Politiek en recht Smartwatches

© 1998 - 2014 Tweakers.net B.V. Tweakers is onderdeel van De Persgroep en partner van Computable, Autotrack en Carsom.nl Hosting door True

Beste nieuwssite en prijsvergelijker van het jaar 2013