Cookies op Tweakers

Tweakers maakt gebruik van cookies, onder andere om de website te analyseren, het gebruiksgemak te vergroten en advertenties te tonen. Door gebruik te maken van deze website, of door op 'Ga verder' te klikken, geef je toestemming voor het gebruik van cookies. Je kunt ook een cookievrije versie van de website bezoeken met minder functionaliteit. Wil je meer informatie over cookies en hoe ze worden gebruikt, bekijk dan ons cookiebeleid.

Meer informatie

Door , , 184 reacties, 65.438 views •
Submitter: MBI

Het KNMI heeft vrijdag zijn aangepaste computersysteem met een nieuwe supercomputer in gebruik genomen. Het instituut gaat de BullX B500 met 4752 cores gebruiken voor weersverwachtingen en klimaatonderzoek.

Het BullX B500-cluster van de Franse bouwer Bull bestaat uit een 22-blade-chassis met 18 dualsocket-nodes of -blades. Die bevatten elk op hun beurt twee Intel Xeon 5675-hexacores met een kloksnelheid van 3,06GHz en tdp van 95W. Het totaal aantal cores komt daarmee op 4752.

De supercomputer kan verder over 9,5 terabyte werkgeheugen beschikken; 24GB ddr3 per node. Elke blade heeft daarnaast de beschikking over 240GB opslag en een first-level 36-port InfiniBand QDR-interconnectswitch. Het hart van de interconnect-architectuur wordt gevormd door 18 Voltaire Grid Director 4036-switches, terwijl het opslagsysteem een LSI 5400-array met onder andere X15K7 sas-schijven van Seagate met een opslagcapaciteit van 600GB is. De totale opslagcapaciteit van de BullX B500 bedraagt 60 terabyte.

De totale rekenkracht van het systeem komt uit op 58,2 teraflops. Daarmee is het systeem de op een na krachtigste supercomputer van Nederland. De toppositie wordt ingenomen door Huygens, bij onderzoekscentrum SARA, die een rekencapaciteit van 65 teraflops heeft. De BlueGene/P, die bij de Universiteit Groningen staat, is verstoten naar de derde plek: deze heeft een rekenkracht van 41,8 teraflops.

Het cluster is veertig keer sneller dan het oude systeem. De Bull wordt gebruikt voor het doorrekenen van weersverwachtingen en klimaatmodellen. Die berekeningen kunnen nu sneller en nauwkeuriger, terwijl ook complexere modellen dan voorheen berekend kunnen worden. 

Volgens het KNMI gaat het om een energiezuinig systeem waarbij de besparing onder andere afkomstig is door het gebruik van waterkoeling. Ook de rest van het verbouwde rekencentrum zou energiezuinig en duurzaam zijn. Onder andere heeft het weerinstituut gekozen voor een systeem waarbij het luchtkoelingsysteem op het dak in de winter voor koeling van het computercentrum zorgt en daarbij ook grondwater afkoelt, dat daarna ondergronds wordt opgeslagen. 's Zomers wordt het centrum vervolgens gekoeld met dit grondwater. Het opgewarmde water wordt opnieuw ondergronds opgeslagen.

Bull-supercomputer KNMI Bull-supercomputer KNMI

Reacties (184)

Reactiefilter:-11840155+189+215+31
Moderatie-faq Wijzig weergave
1 2 3 ... 8
Ik moet zeggen dat deze supercomputer verhoudingsgewijs best compact is. Ik heb al een tijdje geen afbeeldingen meer van zo'n ding gezien maar deze zou ik nog in huis kunnen nemen ;)
Wat word er hier op dit forum een hoop onzin verteld!
Om duidelijkheid te krijgen over de complexiteit en de manier van berekening van weermodellen en zijn geschiedenis, zou ik iedereen willen aanraden om eens wat na te lezen zonder dat allerlei kul wordt verteld zonder enige toelichting.

http://en.wikipedia.org/wiki/Weather_forecasting
http://en.wikipedia.org/wiki/Numerical_weather_prediction
http://en.wikipedia.org/wiki/Atmospheric_model

Het betekent dat de 40-voudige versnelling niet meteen een zekere voorspelling voor weer en klimaat met zich meebrengt. Echter op de korte termein zullen de voorspellingen precieser worden. Honderd procent zekerheid kun je nooit krijgen.
Wat mij meteen opvalt is dat dit een cluster is zonder GPU's. Blijkbaar zijn de weermodellen dus niet geschikt om op grafische kaarten te worden berekend, aangezien wanneer GPUs wel toepasbaar zijn deze vele malen efficienter zijn in performance/watt dan Intel Xeons.

Maar het kan natuurlijk ook zo zijn dat de simulatie developers van het KNMI er nog niet aan willen/durven of er gewoonweg geen ervaring mee hebben. Waarschijnlijk kunnen ze nu gewoon hun bestaande simulatie software hercompileren voor deze machine en daar een flinke winst mee bereiken. Waarschijnlijk is het aanpassen van wat simulatie parameters voldoende om de accuraatheid van de modellen op te schroeven.
Mijn inschatting is dat deze software juist wel uitermate geschikt is voor GPU's. Ten eerste is er ook nu sprake van veel parallellisme. Het grootste probleem is natuurlijk het schrijven van code hiervoor. Dit is gewoonweg lastig. Verder kan je GPU wel over 512 cores beschikken, maar dit betekent niet automatisch dat ook de cores volop aan het werk kunnen. Een typische probleem bij GPU's is het geheugen. Het ‘shared’ geheugen van enkele KB's kan bijvoorbeeld 32 threads gelijktijdig van een 32 bit float voorzien. Alleen, algoritme technisch is het vaak moeilijk dit optimaal te benutten.
Verder zijn juist de snelle implementaties van wiskundige bewerkingen op GPU's iets minder precies. Meestal is dit niet erg, maar er moet wel rekening mee gehouden worden.
Met wat oudere software had je gelijk gehad, maar er zijn recentelijk wat nieuwere, betere algoritmes voor weer ontwikkeld die dus de RAM enorm goed kunnen benutten. Vandaar dat ze ook de volle mep aan RAM in deze machine hebben liggen.

Of voltaire dan de juiste keuze is betwijfel ik overigens, maar Bull kon die vast goedkoper inslaan. de mellanox switches zijn stevig duurder (en beter), maar per node uitgerekend is dat bijna geen extra kostprijs.

De meeste weer+klimaatsoftware doet het prima met voorspellen op de korte termijn, maar algoritmisch, vergeleken met de encryptieachtige software is het gebouwd door misschien wel briljante weerkundigen, maar geen algoritmische helden (netjes gezegd?).

Ze snappen niet veel van hoe je met manycores rekenen moet nog. Nu zie je hoe het KNMI continue toch relatief weinig budget lijkt te hebben voor hardware, dus ik vraag me af of ze wel ueberhaupt geld zouden hebben om state of the art software te kopen, laat staan dat ze budget hebben voor geniale figuren die goed zijn in HPC rekenen. Ook SARA huurt die van geen meter in en die werken over het algemeen in hun eentje en niet supergoedkoop.

Dit alles zorgt ervoor dat het allemaal niet zulke koshere software is t.o.v. wat mogelijk zou zijn.

Op het moment dat je zulke figuren wel betaalt, dan port je dat wel naar een paar tesla's. Betekent wel algoritmische aanpassingen, want juist meer RAM werkt dus voor het naieve algoritme nu heel veel beter en geeft enorme versnelling.

Dus de keuze van het KNMI is een hele logische. relatief goedkoper Xeons, met switches die door veel bedrijfjes al niet meer verkocht worden (QDR is uit, FDR is de nieuwe standaard) en maximaal geheugen erin.

Het moest op een koopje duidelijk.

Dus dan zal er vast weinig budget zijn voor betere software.
Wat betreft het eigenlijke rekenwerk en algorithmes denk ik wel dat je gelijk hebt. Das toch veel van haal de waarden van de meetcel (n bij n kilometer) op, reken gradienten en weet ik wat door voor je eigen cel en gooi er de waardes voor het volgende tijdstip uit.

Maar er zijn een paar probleempjes met GPU's zoals ze nu gebruikt worden
- Data op de kaart krijgen
- Data/Resultaten van de kaart afhalen

En weermodellen werken met nogal flinke datasets. En als je langer bezig bent met de data op de grafische kaarten te krijgen (en de resultaten eraf), dan dat je er overdoet om door de data heen te rekenen dan levert een GPU ook niet zoveel extras meer op.

En ik ga er maar vanuit dat als het efficienter was geweest om een cluster met grafische kaarten (of bijv PS3's) neer te zetten dan was dat ook wel gebeurt :)

[Reactie gewijzigd door Pep7777 op 17 maart 2012 11:42]

Die zijn er al wel, maar dan voor simulaties op een veel kleinere schaalgrootte / hogere resolutie (LES; Large Eddy Simulation). Bijvoorbeeld GALES, ontwikkeld uit DALES (Dutch Atmospheric LES), wat weer is onstaan uit een samenwerking tussen o.a. de TU Delft, KNMI, Wageningen, ... Grote probleem daarbij is nog altijd de beschikbare hoeveelheid werkgeheugen, dat is voor dit soort simulaties nogal fors. Maar ook het herprogrammeren is inderdaad een probleen, voor GALES hebben ze DALES van Fortran naar C++ moeten herschrijven, wat nogal wat werk is.

Maar het kan natuurlijk ook zo zijn dat de simulatie developers van het KNMI er nog niet aan willen/durven of er gewoonweg geen ervaring mee hebben.
Als dat een forse tijdswinst zou opleveren dan zouden ze wel omschakelen :) Zie bijv. het bovenstaande voorbeeld van DALES -> GALES.

"Waarschijnlijk is het aanpassen van wat simulatie parameters voldoende om de accuraatheid van de modellen op te schroeven."
Zeer waarschijnlijk schroeven ze nu (in eerste instantie) alleen de resolutie omhoog (= dimensie gridcellen naar beneden). Daarmee kan je processen op een kleinere schaalgrootte (fysisch) gaan oplossen, wat de simulaties zou moeten verbeteren.

[Reactie gewijzigd door julby op 16 maart 2012 23:58]

Een beperking die je met dit soort toepassingen daarmee wel eens ziet is de de doorvoer snelheid van de data. GPU's zijn snel met berekeningen, maar iets minder geschikt om hele grote volumes aan data door te pompen. In CUDA wordt data bijvoorbeeld altijd eerst naar lokaal GPU geheugen gekopieerd via een niet hele snelle bus (link) voordat er iets mee gedaan kan worden en dat is relatief traag. Gezien de ram en disk-volumes per blade en mijn vermoeden dat weer simulatie gepaard gaat met het verstouwen van heel veel data denk ik dat het zoiets is.

[Reactie gewijzigd door Planck op 16 maart 2012 20:39]

GPU's halen rond de 20GB/s+ op pci-e 2.0 nu.

Heb hier paar tesla's die dat handsdown halen.

Dus dat is zelfde snelheid als de cpu's naar de RAM.

GPU's met huidige weersoftware gok ik kunnen niet gebruikt worden omdat RAM belangrijk is voor weerberekeningen. De ram versnelt de berekeningen enorm (exponentieel).

Het is niet eenvoudig daar GPU programma's voor te bouwen, maar die gaan ongetwijfeld komen, want manycores zijn wel de toekomst.
Wat mij meteen opvalt is dat dit een cluster is zonder GPU's.
GPU's zijn gespecialeerd in berekeningen voor spelletjes. Het is maar net welk soort PU qua efficientie het dichtst bij weersberekeningen komen. De GPU die dus vrij specialistisch is, zal dit niet zijn.
In theorie zou je ook hardwarematige PU's kunnen ontwerpen die gespecialieerd zijn voor de betreffende weersberekeningen.
Maar het is niet efficient dat een relatief kleine tak zoals weersinstituten eigen PU's gaat ontwikkelen. Kijk maar na AMD: die heeft een groter marktaandeel dan als je alleen de weerinstituten samen, en AMD moet al redelijk vechten voor zijn voortbestaan in de strijd tegen Intel. En als je klimaatmodel opeens verandert door nieuwe inzichten, dan zijn je specialistische PU's direct lang niet meer zo efficient.

[Reactie gewijzigd door kimborntobewild op 17 maart 2012 10:24]

"...berekeningen voor spelletjes."

is wel weer heel kort door de bocht natuurlijk ;) zijn gespecialiseerd in floating point en matrix berekeningen etc, toevallig veel gebruikt in spelletjes, maar mocht je een 'real-world' berekening moeten maken die dit ook doet zou een GPU een goede keuze kunnen zijn...
Maar het kan natuurlijk ook zo zijn dat de simulatie developers van het KNMI er nog niet aan willen/durven of er gewoonweg geen ervaring mee hebben.
Oooohh is dat het! Gelukkig komt een alwetende tweaker ze wel even bijpraten over de mogelijkheden. Denk je nu serieus dat ze daar nooit aan GPUs gedacht hebben? Geloof me, zij waren daar al mee bezig toen de grote massa er nog nooit van gehoord had. Juist dit soort werkvelden zijn gebaat bij alternatieven en zullen ook zeker GPUs bekeken hebben.

Er zullen genoeg redenen zijn om het bij CPUs te houden. Aan het einde van de dag is alles een kostenplaatje. Wellicht werken GPUs beter, maar als het meer kost om de software om te bouwen dan het oplevert, dan schiet je er niks mee op. En dat is niet simpelweg een kwestie van een compiler setting anders zetten. Meteorologische data is voor sommige werkvelden van levensbelang, dat wordt tot op het bot getest!
Iets minder afzeikend mag IMO ook wel. We mogen toch allemaal onze mening hebben? Laat iemand dan gewoon in zijn of haar waarde als je het er niet helemaal mee eens bent en geen normale reactie daarop kunt formuleren.
Leuk, dan te bedenken dat dell ook al vrolijk servers verkoopt met 2TB DDR3 (12Gen) werk geheugen :p
Oracle ook. Een 8 node Xeon kost rond de $200k met 512GB.

Maar het gaat natuurlijk om prijs. Dit zijn 22 racks keer 18 nodes = 396 machines.
Nu wat zal prijs zijn per node, dat is beetje gissen.

Het is oud netwerkje (QDR ipv dus het nieuwere FDR van mellanox,
dat vorig jaar geintroduceerd werd), dus dat is de prijs niet. Zal zo'n 700 dollar per port zijn maximaal. Dan de processor an sich had een introductieprijs van tegen de $1440, zit nu zo op de $1191 op pricewatch. Als je dat massaal inkoopt bij intel krijg je fiks korting natuurlijk.

48GB aan DDR3 ligt even aan dimmgrootte dan. 8 GB keer 6 dimms ligt niet voor de hand, want is vast duur, zou ook 12 keer 4GB kunnen zijn. Vanaf 30 dollar ligt het op ebay massaal, maar dan ook massaal per 4GB dimm.

per dimm. 12 * $30 = $360 per machine.

An sich wel gekke scheve verhouding $360 voor de RAM.

dus de prijs waarvoor bull deze ondertussen toch al wat oudere processors heeft verkocht bepaalt alles.

Dat zal vast een lagere prijs zijn dan als jij of ik voor een paar machines gaan babbelen bij intel.

zeg $900 per stuk.

Dan mainboard. bull neemt daar stevig wat van af. Die slaan dat in voor $200.
helft van prijs hooguit.

rackmount case en psu, iets van $150 voor bull.

$200 + $1800 + $700 + $360 + $150 = $3210
In euro's is dat 2469 per node, BTW eventjes niet meegerekend.

dus 2500 euro per node.

Dat is overigens zonder i/o.

Dat verpatsen ze dan vast voor rond de 4k euro per node met wat i/o.
Komen we uit op 4k * 396 = 1.6 miljoen euro

Het zal geen factoren schelen vermoed ik. Of beter mag ik hopen voor het KNMI :)

Kijk daar koop je niet al te veel van die 8 socketmachines van. Maar iets van een stuk of 8.

En in dit geval dus een cluster van rond de 400 nodes. Dan liever dat cluster natuurlijk want dat beukt natuurlijk 8 machines van 8 sockets compleet weg, want dat zijn maar 64 sockets in totaal en dit 800.
Als er nou eens een europese samenwerking komt, nou worden er denk ik een hoop weersimulaties naast elkaar gedraait die vrijwel hetzelfde berekenen...
Die is er al, dat model is het ECMWF. Die berekent de weersituatie voor de hele wereld, maar op een vrij lage resolutie. Dit wordt dan vaak als beginsituatie gebruikt voor de lokale modellen met een hogere resolutie. De Britten hebben UKMO, de Nederlanders HIRLAM, etc... allemaal geoptimaliseerd voor hun eigen regio. Een hoge resolutie over de hele wereld kost nog veel te veel rekenkracht om voldoende snel te berekenen (6 uur vooruit berekenen waar je 8 uur over doet is niet zo handig :P).
Staat zo'n weer supercomputer nu 24x7 te rekenen of staat het vaak idle? Ik kan me voorstellen dat op een gegeven moment alles is berekend en pas bij nieuwe input 1 uur later het weer wat kan doen.
Het ECMWF draait twee runs per dag om 00 en 12 UTC. Die doen er ongeveer 8 uur over (beetje een schatting). Dus dan zit je met twee keer 4 uur ertussen.
Er zijn wel supercomputers waarbij je tijd kan "inkopen", maar of dat bij die van het ECMWF of deze van het KNMI ook zo is zou ik niet weten.
Bij haast elke supercomputer is wel tijd te kopen. De RuG heeft heel veel dingen erop te berekene en krijgen hem toch nog lang niet vol. Daarom is er tijd te koop, levert weer wat geld op. Het probleem daarmee is echter wel dat als hij kapot gaat hij wel zsm gefixed moet worden. Moet normaal ook, maar dan zit er nog wat meer spoed achter.

Schijnt op een gegeven moment een professor te zijn geweest die dat ding moest maken toen hij flink stuk was. Meer dan 30 uur op, vervolgens een uur college gegeven om weer aan het ding te gaan knutselen. Schijnt een erg productief college te zijn geweest :+
Schijnt op een gegeven moment een professor te zijn geweest die dat ding moest maken toen hij flink stuk was.
Ik neem aan dat er gewoon een onderhouds/garantiecontract op zit voor de gehele periode dat die supercomputer er is. Dat dus een willekeurige professor (die normaal gesproken les geeft daar) hem eigenhandig gaat zitten repareren, gaat er bij mij niet zo in. Dit lijkt me een broodje aap.
- wie zegt dat het een 'willekeurige' professor was, ook degenen die zich met interne (automatiserings-) projecten bezighouden kunnen een college geven hoor.

- onderhoudscontract helemaal niets, aangezien die dingen vol staan met custom software van de RuG, ook al komt er een onderhoudsmonteur kijken, die fixt niet alles en zal er best wel wat gesleuteld moeten worden door de RuG zelf om het weer functionerend te krijgen.
ECMWF is het Europese centrum voor "Medium Range Weather Forecast", staat in Reading bij Londen.
Als er nou eens een europese samenwerking komt, nou worden er denk ik een hoop weersimulaties naast elkaar gedraait die vrijwel hetzelfde berekenen...
Dat denk je verkeert; er is al lang Europese samenwerking.

EUMETNET
"...netwerk van Europese weerdiensten momenteel onder voorzitterschap van KNMI..."
http://www.knmi.nl/cms/content/81016/eumetnet

Mag ik vragen waar je negatieve vooroordeel op is gebaseerd?
Mag ik vragen wat een dergelijk systeem op dit moment kost?
Specifiek het apparaat zelf weet ik niet, maar alles eromheen, inclusief verbouwing van het rekencentrum enzo, heeft ongeveer 5 miljoen euro gekost, als ik dit artikel (voor de ruimte) en dit artikel (voor de computer zelf) mag geloven

Dit is dan wel inclusief beheer, en voor een periode van 10 jaar.

Valt heel erg mee dus :)

[Reactie gewijzigd door wildhagen op 16 maart 2012 18:58]

Ze kunnen ook de restcapaciteit doorverkopen aan derden die ook even een sterke rekenmachine nodig hebben maar niet het hele ding willen kopen.
Kan je nog wat geld terug krijgen als je hem toch niet 24/7 100% belast.
Ben met name benieuwd wie dit gaat betalen, daar ben ik dan weer nederlander voor. Ik vond het oude systeem goed genoeg ook al was dat niet perfect dat zal nu trouwens ook niet het geval zijn.
Ben met name benieuwd wie dit gaat betalen
http://nl.wikipedia.org/wiki/KNMI:
"Het KNMI is als agentschap van het Ministerie van Verkeer en Waterstaat een volledig publiek instituut dat de gewenste gegevens aan onder meer de private sector levert."
Als daar voor wordt betaald door de private sector (dat staat er niet bij), dan gaan de inkomsten voor een deel via zaken die jij in de private sector afneemt. En het overige gaat dan via de belastingen.
Als de bulk van de inkomsten van de KNMI via die private sector zou binnenkomen, dan gaat er dus van jouw geld weinig naar de KNMI als je niet bij de betroffen bedrijven in die private sector betrokken bent. (Maar dan moet je eigenlijk ook zo eerlijk zijn niet naar het weer te kijken op NL1, 2 of 3 ;).)
Maar ik denk eigenlijk dat de KNMI de gegevens gratis levert.

[Reactie gewijzigd door kimborntobewild op 18 maart 2012 16:31]

Jij en ik gaan dat betalen. Oftewel de belastingbetaler. En daar is niks mis mee.

Als je je ergens druk over wilt maken op dit front dan weet ik er wel eentje: JSF
Mag ik vragen wat een dergelijk systeem op dit moment kost?
"Als je dat moet vragen kun je het vemoedelijk niet betalen", zegt men vaak.
weet iemand hoeveel redundancy KNMI heeft? als dit systeem 40x zo krachtig is als zijn voorganger dan is het best wel een probleem als ie stuk gaat.
Dat is in deze onbekend, maar de meeste supercomputers, ook bij SARA, hebben als building block meestal raid6. Dus dat is raid5 met extra spare.

Dat is gewoon goedkoper namelijk.

Dan is het afhankelijk van welk netwerk geleverd er wordt hoe dat dan verder opgebouwd is en ook de manufacturer.

De nodes hebben natuurlijk ecc.

Overigens zijn voorspellingen altijd enorm lossy, dus an sich is het geen ramp er 1 node wat bits hier en daar fout zou zitten.

Kijk of er nu een paar regendruppels vallen op een plek waar verder 100% zonneschijn is, daar gaat het globale weerplaatje niet veel van veranderen.

Er zijn al zoveel onzekerheden en aannames en meetafwijkingen overal in het systeem, dat je natuurlijk wel erover kunt spreken dat zulke voorspellingssoftware een dying node over het algemeen wel overleeft, tenzij het een ongelukkige node is die net de geest geeft.

Het is dan afhankelijk van met welk programma ze rekenen of dat dit supported is of niet.
O wee als ze weer een vals weeralarm afgeven!
O wee als ze weer een vals weeralarm afgeven!
ik kan het je haast garanderen, wij snappen het weer nog niet voldoende. Maar na iedere verrassing kunnen ze bij het KNMI (en elders) de modellen aanpassen, waardoor die supercomputers nog beter worden in analyse, detectie en voorspelling. Alleen moet voor het continue bijwerken van de modellen de supercomputer wel meegroeien.

het dus geen lineaire vergelijking: meer CPU's -> Betrouwbare weersvoorspellingen. Maar zonder die CPU's kunnen ze niet eens beginnen met het creŽren van meer betrouwbare voorspellingen. :)
Hehe ja dat was ook mijn eerste gedachte. Voortaan is code rood nu ook echt code rood? Geen gezeik meer met al die foutieve meldingen. Dan brengt hij echt zijn geld op :)
Ik denk dat we beter een extra kleur kunnen toevoegen. Bruin ofzo. Voor elke poep of scheet krijg je nu al een code oranje. Als ze nou gewoon beginnen bij geel, dan oranje en rood als echte uiterste (lees: grote vloed, overstromende rivieren oid)
Code rood is niet voor rivieren die overstromen of dijken die doorbreken, als een dijk plots doorbreekt laten ze eerder het luchtalarm afgaan. Als rivier buiten zijn oevers dreigt te treden dan worden de gebieden geheel geŽvacueerd, zoals de ooij in 1995. Daar is code rood van KNMI niet voor bedoeld!

Code rood is voor de bijvoorbeeld bij hevige sneeuwval, of harde windstoten, maar ook bij hitte kan code rood gegeven worden, etc. KNMI gebruikt code rode dan ook gepast, helaas weten mensen niet altijd wat het inhoud.
Hoog water heeft niet altijd iets met het weer te maken. Althans niet alleen met het weer in Nederland. Vaak komt dat water ergens vandaan, daar gaat het al fout.

Als er een dijk op doorbreken zou staan zou ik niks van het KNMI verwachten, eerder van rijkswaterstaat. Het KNMI kijkt omhoog, rijkswaterstaat naar beneden.
Toen ze dat afgaven een paar maanden geleden, stond allang op de officiele lijstjes dat KNMI *dit* systeem gebruikte; nu een aankondiging dat het in gebruik genomen wordt komt dus enigszins als een trage verrassing...
Mensen letten gewoon beter op. Vaak is het lokaal zeker van toepassing.
Ben benieuwd naar de afweging Intel vs AMD.
Intel is nog steeds meer performance per watt
op 2 socket gebied is het geen vraag: intel domineert compleet en AMD zet zich compleet buitenspel met bulldozer.

Die vreet wel zo ongelooflijk veel stroom die bulldozer en is takketraag.

Bovendien is de latency naar de RAM retetraag van bulldozer. Random blocked reads zitten rond de 160+ nanoseconde (8 byte reads random door de gigabytes geheugen die zo belangrijk zijn voor het knmi), dat al bij 1 socket systemen, zal rond de 220+ liggen bij 2 sockets bij bulldozer en bij dit soort nehalem systeempjes zit dat op 90+ nanosecondes per read en bij 1 socket i7 systemen is dit rond de 60 a 70 nanosecondes.

Dus random reads door het geheugen met alle cores bezig, al die streambenchmarks gebruiken maar 1 core bezig van hele chip, dus die nummertjes kun je niet serieus nemen.

Dan is er nog de compiler issue. Voor dit soort software is de intel c++ compiler absoluut superieur. Weet niet precies welke applicatie knmi gebruikt, maar op AMD hardware loopt die compiler voor geen meter, terwijl hij extra speed afgeeft aan intel en veel zaken weet te vectoriseren waar GCC en andere compilers het totaal afleggen.

Dat is misschien hardware technische niet interessant, maar vanuit KNMI gerekend zullen die simpelweg kijken naar welke performance ze krijgen tegen welke prijs.

HOE je het dan oplost interesseert niet natuurlijk.

De echt goed geoptimaliseerde software, die wint snel 5% aan intel c++ versus andere compilers op intel hardware, die je in de meeste benchmarks niet zo terugziet, maar die er in dit soort HPC omgevingen wel is.

Dus vandaar dat op 2 socket systemen op dit moment intel totaal superieur is en AMD beetje harakiri heeft gepleegd met bulldozer.
Daarnaast vermoed ik dat het KNMI dit systeem as-is gekocht heeft en dan ligt de keuze bij de partij die zo'n 'product' op de markt zet :)
Supers worden heus niet "zomaar" gekocht, daar wordt uitgebreid test mee gedraaid met de software/modellen/datasets die de klant ook daadwerkelijk wil gaan gebruiken.

Pas als dat naar genoegen is verlopen komt de koehandel mbt prijs etc ter sprake.
In dit geval is het nog wat erger.

Ik heb de hele procedure van dichtbij meegemaakt. Tijdens de gesprekken met vendoren werd al snel duidelijk dat het KNMI voor een dubbeltje op de eerste rang wilde zitten. De nieuwe te gebruiken code(Harmony) was nog niet eens in de BETA fase, en het KNMI vroeg de vendoren hun code te optimaliseren voor het vendor specifieke systeem. de code was een verschrikkelijke spaghetti-ware met allemaal losse delen die samengevoegd moesten worden om uberhaupt werkend te maken. hierdoor zijn er verschillende vendoren geweest die niet hebben aangeboden (o.a. HP, DELL, NEC etc)

Overigens was zoals zo vaak bij HPC aanvragen de prijs vooraf al beapaald (bij HPC is het meestal zo: dit is mijn zak met geld, dit is mijn aplicatie, dit zijn mijn randvoorwaarden (stroom, ruimte, vloerbelasting etc) en vendor, biedt maar iets aan waardoor de solvation zo snel mogelijk gaat (meestal uitgedrukt in TFLOPS).

het KNMI wilde erg graag dat dit systeem de Nr1 zou worden in Nederland, maar ondanks het meerdere malen vuur aan de schenen leggen kon BULL niet meer dan 58 TFLOP leveren voor de 4.5 Mln. ze zijn behoorlijk door de mangel gehaald.

Overigens is het wel grappig te zien dat dit 1 van de erg weinige HPC systemen is waarbij beschikbaarheid wel als belangrijk wordt ervaren. meestal is bij een HPC de beschikbaarheid ondergeschikt aan performance, maar het KNMI wil logischerwijs per se binnen een gestelde termijn een (output) voorspelling hebben. in de normale HPC wereld wordt meestal geen redundantie toegepast, hooguit een HA opstelling van de masternodes. een nodeuitval is dan ook niet erg door het groot aantal nodes in een dergelijk systeem.

als laatste wil ik nog wel even opmerken dat de Huygens wel te boek staat als snelste, maar het in de praktijk niet is. er zijn bedrijven en instellingen die dubbel so snelle HPC's hebben draaien, maar de score niet gesubmit hebben aan de top500.org deze komen dus niet op de lijst voor. de bedrijven/instellingen hebben er dan ook geen enkel belang bij hun rekenkracht kenbaar te maken.
Typische Holland Top weer.

Voor een verouderd systeem 4.5M neerleggen en de ingangseisen zodanig maken dat je met Bull blijft zitten - en alle alternatieven volledig buitenspel zetten.

Voor 4.5M kun je nu met gemak een SandyBridge systeem kopen van 150 TF met FDR en 2PB DDN storage. Zo'n systeem is 2-3x zo snel..!!! CPU in dit systeem is nu al verouderd. Dan kan je nog zo'n mooie samenwerking/code porting/dineetjes hebben met je vendor: voor +1M marge willen dat er vast wel veel meer.

Rip-off.
4752/6=792 sockets x 95w x 24hr = 1804kwu x 365 = 658752kwu x 0.22 eurocent
144.925,44 aan stroomkosten van alleen de cpu's wat nou energiezuinig.

[Reactie gewijzigd door Yisrael48 op 17 maart 2012 00:43]

Afgezien van performance/watt en efficiŽnte koeling zou dit systeem pas ťcht energiezuinig zijn als ze wat zouden doen met die verwarming.
Nu wordt er vooral genoemd dat er weinig energie gebruikt wordt om het systeem te koelen, maar dit staat natuurlijk los van het verbruik van de supercomputer zelf.

Wanneer ze de afgevoerde warmte zouden gebruiken voor bijvoorbeeld wijkverwarming, is het opgewarmde water ineens geen afval meer, maar een nuttig product waardoor dit geen verlies is maar een opbrengst.

Versimpeld voorbeeld: nu wordt er 10 uitgegeven aan rekenkracht en 10 aan koeling en 10 aan verwarming van een wijk. Schitterende computer, lekker warme huizen voor een bedrag van 30 dus.
Wanneer de koeling van deze computer nou benut wordt om de huizen te verwarmen, zodat deze geen 10 aan verwarming nodig hebben, maar nog slechts 2; dan zou dit systeem pas serieus slim met energie omgaan.
Tuurlijk niet. Zo'n systeem als dit staat in een zwaarbeveiligde bunker, Je wilt niks geen communicatie met de buitenwereld natuurlijk op dit soort knullige manieren als wijkverwarming voor dat ene clustertje van het KNMI.
Zwaarbeveiligd? Waarvoor?
En communicatie met warm water is misschien geen SSL of VPN, maar wel degelijk veilig.
Alleen denk ik niet dat deze server zoveel warmte opleverd dat je een stel huizen kunt verwarmen voor minder dan het nu kost. Je zit met transport, aanlegkosten en ga zo maar door.
De kantoorruimte is wellicht een ander verhaal.
22 ◊ 18 blades met twee processors van 95W (TDP) levert grofweg 40kW

Dat is genoeg voor ongeveer 4 matig geÔsoleerde rijtjeshuizen.
Of genoeg voor ongeveer 10 vrijstaande passief(=goed geÔsoleerde) huizen.

En dat is dan voor verwarming als het -10 vriest en de kachel vol aan staat. Als je daar nog wat buffering en/of back-up vermogen aan toe voegt kunnen er nog dubbel zoveel woningen aan. Maar goed, denk niet dat ze die warmte hoeven te verslepen naar een woonwijk, die zullen ze wel kwijt kunnen in een kantoorpand.

Wel ideaal dat ze trouwens waterkoeling gebruiken. Intel processoren mogen best warm worden (~100C), dus zelfs als je een ruime veiligheidsmarge van 30K houd is het nog mogelijk om watertemperatuur van 60C te halen. Met lucht als tussenmedium zou dat nooit mogelijk zijn en kom je in een best-case scenario op ~30C watertemperatuur, waar je dan nog net een ZLTV verwarming mee kunt voeden, terwijl 60C genoeg is om nuttig toe te passen in traditionele verwarming!
De (warmte-)energie wordt wel degelijk gebruikt, in de wintermaanden voor verwarming van het pand en in de zomer maanden voor koeling. (grondwater opslag).
Je gaat hier uit van het maximale vermogen, wat ik veel gevallen niet gehaald wordt. In de meeste gevallen zit je zelfs onder de helft, dus laten we zeggen zo'n 70§. Is natuurlijk niet niks maar het totaal moet je natuurlijk relatief zien. Als ze op dat hele kantoor de lampen vanzelf uit zouden laten gaan als er niemand loopt, zou je die bedrag al weer evenaren.
hij heeft het over 144 000 op jaarbasis, niet 70 euro per dag oid...

Daarnaast moet je er met supercomputers echt niet van uit gaan dat het 50% is. Het zal inderdaad niet de hele tijd full load draaien, maar dat wil je toch wel zo veel mogelijk, anders verlies je immers tijd en performance. Denk dat 80% een betere benadering is.
Jawel joh dit draait 24/24 bijna altijd, ga daar maar vanuit.
Ga zeker uit van een load van 70% op jaarbasis, mogelijk meer.

Die machines kunnen hoegenaamd niet idlen in HPC anders gaat opstarttijd of unidle time wel een paar uur kosten. Dat is natuurlijk een beetje lang.

Dus enige vormen van idlen zijn zeer beperkt.

Het green dit en dat voor clusters is natuurlijk een farce en niet van toepassing op KNMI, want zij hebben enorme RAM nodig, ervan uitgaande dat ze moderne weersoftware hebben.

Zoveel enorme clusters zijn er niet in Nederland, dus het mag ook wel wat stroom vreten dan natuurlijk.

Dat klimaatverhaal snap ik niet zo. de meeste klimaatsoftware moet maandenlang 24/24 rekenen op duizenden cores, om niet al te amateuristisch over te komen.

dan kun je in die tijd natuurlijk die cores niet gebruiken voor een betere weersvoorspelling.
Green ten opzichte van wat? Ik weet niet wat er hiervoor stond, maar als dat ding dezelfde hoeveelheid stroom gebruikte hebben we het hier over een verbetering van een factor 40. Of misschien hadden ze meerdere offertes liggen, die allemaal ongeveer dezelfde rekenkracht boden maar 20% meer energie nodig hadden?

Je hebt gelijk als je stelt dat het nieuwe cluster veel energie gebruikt, maar je moet wel de context meenemen.
Grootverbruikers hebben een veel lager energietarief. 22cent is de consumentenprijs. Alleen de energiebelasting zakt al met 10 cent. Bron
behalve als je in een bunker stroom afneemt en ook in tijden van oorlog stroom wilt hebben, lees eigen noodgenerator. wat voor mooi weer verhalen ze hier ook schrijven, dat gaat allemaal bij hpc niet op. verder zijn het overheidslieden. De stroomrekening betaalt de overheid wel, maar budget om de computer te kopen hadden ze weer nauwelijks zo lijkt het en hebben ze 't beste ervan gemaakt.
Je mag er vanuit gaan dat bedrijven of instellingen die dit soort vermogens trekken uit het net, zeer waarschijnlijk met hun eigen trafo, een lager tarief afgesproken hebben met hun leverancier dan wat wij als consumenten betalen.

Reken maar met §0,10 per Kwh, inclusief transport en energiebelasting.
Je vergeet de koeling.
1 2 3 ... 8

Op dit item kan niet meer gereageerd worden.



LG G4 Battlefield Hardline Samsung Galaxy S6 Edge Microsoft Windows 10 Samsung Galaxy S6 HTC One (M9) Grand Theft Auto V Apple iPad Air 2

© 1998 - 2015 de Persgroep Online Services B.V. Tweakers vormt samen met o.a. Autotrack en Carsom.nl de Persgroep Online Services B.V. Hosting door True