Rekencentrum stelt Nederlands krachtigste supercomputer in bedrijf

Nederland neemt op vrijdag zijn nieuwste supercomputer in gebruik. De Cartesius-supercomputer is op rekenpark SURFsara geïnstalleerd en zal de snelste computer van Nederland worden. Op volle snelheid moet het systeem 1Pflops halen.

Cartesius wordt in fases opgeleverd, waarbij staatssecretaris Dekker van OCW de eerste fase van de supercomputer in gebruik zal nemen. Over omstreeks een jaar moet Cartesius zijn maximale prestaties kunnen leveren; dan moet de laatste constructiefase worden afgerond. De supercomputer moet onder meer gebruikt worden voor berekeningen aan klimaatmodellen. Cartesius zal de huidige Huygens-supercomputer opvolgen en tot tienmaal de prestaties van die supercomputer kunnen leveren. Huygens is in staat berekeningen tot 100Tflops te maken. Leverancier Bull draagt zorg voor de installatie van Cartesius.

Cartesius moet ongeveer 13.000 cores krijgen, die bestaan uit Intels Xeon-processors met Ivy Bridge-architectuur. De processors worden opgedeeld in nodes, waarbij elke node twee octacores krijgt. De nodes worden met een InfiniBand FDR14-netwerk aan elkaar geknoopt en verbonden met een opslagsysteem van 180TB en uiteindelijk nog eens 5PB tot 7PB totale opslagcapaciteit. In de laatste fase moet ook de rekenkracht van ongeveer 270Tflops worden uitgebreid tot 1Pflops. Dat moet met extra nodes en gpgpu-kaarten gebeuren. Daarvoor zouden Nvidia's Tesla-kaarten of Intels Xeon Phi-coprocessors gebruikt gaan worden.

Reacties (64)

[superrock]

Zou deze supercomputer als stadsverwarming kunnen dienen? Deze supercomputer zal veel hitte produceren en zo kunnen we tenminste nog een deel van de warmte nuttig hergebruiken.

[Anoniem: 73017]

Zou deze supercomputer als stadsverwarming kunnen dienen? Deze supercomputer zal veel hitte produceren en zo kunnen we tenminste nog een deel van de warmte nuttig hergebruiken.

Het temperatuurverschil is bij dit systeem veel kleiner dan als bij zijn voorganger. Zal dus niet echt rendabel zijn.

De waterkoeling bij dit systeem begint bij 30graden (inlet). Er wordt dus gekoeld met warm water Als je een systeem hebt waarbij je "koud " water nodig heb, dan lukt dit niet alleen met koeltorens. Dus moeten er extra koelssystemen (en dus energie) toegevoegd worden. Alleen in de winter zou dit dan werken, dan is het water wel koud genoeg.

Aangezien het niet zo vaak voor komt dat het boven de 30 graden is, kun je het koelwater dus nu wel met koeltorens genoeg koelen voordat het weer retour gaat.
(info uit TW no.22 2013)

[Reactie gewijzigd door Anoniem: 73017 op 25 juli 2024 08:27]

[hardwareaddict]

Dus eerst stop je de supercomputer in een bunker en je hebt enorme voorzieningen om te voorkomen dat NSA's van buitenlandse mogendheden die supercomputer kunnen hacken.

Er ligt zelfs een sloot om die gebouwen heen.

Ook de toegang tot de supercomputer daar kom je niet zo eenvoudig bij.

Dan wil jij toch dat koelwater op 1 of andere manier van die supercomputer, waarmee het heel lastig is om geavanceerde vormen van spionage te voorkomen, dat die toch nuttig gebruikt wordt op 1 of andere manier in gewone woonhuizen ofzo, of bijvoorbeeld maar voor de uni die er recht tegenover ligt?

Eerst tientallen miljoenen uitgeven aan infrastructuur om dan een paar duizend per jaar aan verwarmingskosten te besparen.

Dat lijkt me zelfs vanuit security opzicht al geen goed idee.

[Alex3]

Het gebouwencomplex wordt al sinds 1980 verwarmd door het koelwater van de daar opgestelde computers. Toen werden twee CDC Cyber 170/750's gekocht, overigens geen supercomputers.

[DoeEensGek]

En in het weekend lekker bitcoins minen als de baas niet kijkt .

[Minimadness]

met de huidige bitcoinprijzen zou je m waarschijnlijk nog redelijk snel terug verdienen ook

[hardwareaddict]

Even zien. 13000 cores. Delen we door 16 xeon cores per node.
Kom ik uit op rond de 813 nodes.

Nu prijs van FDR infiniband per node is eenvoudig in te schatten. Zo'n 1000 dollar per port.
Misschien iets meer bij 813. Die prijs gaat rap omhoog per port op het moment dat het netwerk groter wordt.

Ik heb gegokt zo rond de 2.4Ghz Xeons, zonder verder enorm te googelen wat ze krijgen, want daarmee kom ik op tegen de 0.3 Pflop uit.

Adviesprijs van de Xeon Phi / Nvidia Tesla lijkt misschien op eerste gezicht enorm verschil. De tesla heeft advies prijs van zo'n 3700 dollar per stuk en de Xeon zit stuk lager.

Echter als je gewoon open bidding doet bij beide manufacturers dan zou er stuk scherpere prijs uitkomen. Zeg dat ze die voor 2000 dollar per stuk weten in te slaan. Je moet dan niet kieskeurig zijn en de goedkoopste nemen.

Dan is de vraag waarvoor de Xeon nodes dus per stuk zijn ingeslagen.

Er zal vast ook stevig wat RAM inliggen, wat de prijs ook niet goedkoper erop maakt.
Een probleem met die Xeon processoren is toch wel dat intel de hoofdprijs vraagt voor de 8 core Xeons.

Je zou bijna een oude 6 core Xeon op lage klok nemen met een tesla of xeon phi op elke node en dan gewoon stuk meer nodes nemen.

Het lijkt erop dat dat niet de keuze is geworden. De 2.4Ghz Xeon :

http://ark.intel.com/prod...40-GHz-8_00-GTs-Intel-QPI

Die heeft advies prijs $1440 als je er 1000 inslaat bij intel en er is niet bepaald veel concurrentie voor, dus de vraag is of je ueberhaupt korting gaat krijgen van intel.

We hikken dus al snel aan tegen een enorme prijs per node. Dat is al snel inclusief tesla zo tegen de 6000 euro per node.

Dan moeten we dus nog zien dat die Tesla/Xeon Phi op tijd geleverd wordt (gaat vast probleem worden met de Xeon Phi) en met Nvidia heb ik zelf al eens onderhandeld. Dat zijn geen frisse lui als 't gaat om onderhandelen.

813 nodes * 6000 euro = 5 miljoen euro.

Naar ik hoop is het contract al wel getekend hoeveel Pflop aan manycores erin komt en tegen welke prijs volgend jaar, anders dan zit directeur SARA daar weer met een simpel probleem, want door voor de Xeons te kiezen ligt in elk geval ibm al uit de race, terwijl die natuurlijk soms enorm scherpe biedingen doet.

Minder concurrenten = lastiger goede prijs die rekenkracht voor te krijgen.

Met 5 miljoen euro zou het een stuk goedkoper zijn dan voorgaande systemen. Maar met een prijs van rond de 6000 euro per node. Dan hebben we 't nog niet over systeembeheer kosten en infrastructuur kosten elk jaar, daarmee kun je natuurlijk niet lucratief bitcoins minen.

[Reactie gewijzigd door hardwareaddict op 25 juli 2024 08:27]

[Anoniem: 64119]

Afgezien van het feit dat deze oversized rekenmachienes ws geen weekend hebben ken ik bij toeval de baas daar en die let echt wel op dat er geen hobby projectjes gedraaid worden.........
_{(deed ie 15 jaar geleden bij Dyme ook al....)}

[Reactie gewijzigd door Anoniem: 64119 op 25 juli 2024 08:27]

[windwarrior]

Helaas, er worden maar een beperkte hoeveelheid bitcoins per tijd uitgegeven, dus, in het slechtste geval trek je de hele gegenereerde bitcoinstroom naar je toe, maar maak je daar niet genoeg winst mee om dit datacentrum van energie te voorzien.

[jordy2811]

Die correctie vindt pas plaatst als er eerst 'teveel' bitcoins zijn gemined, in eerste instantie kun je dus maximaal profiteren van de rekenkracht .

[UniqKoenie]

Haha! Ik dacht precies het zelfde :P!

[KleineJoop]

Ben je binnen seconden rijk.

[k.theuws]

en dan maar afvragen of het wel rendabel is qua stroomrekening xD

[Anoniem: 454685]

Mwah, als iemand anders die rekening betaald..

[Anoniem: 58485]

Zonde als daar uitsluitend nvidia kaarten in zitten. AMD doet het met bitcoin stukken beter.

[Harry_Sack]

Mooi hoor, ik heb Teras destijd van dichtbij gezien en ik dacht dat dat nog wel een tijdje 'nieuw' zou blijven.

[hardwareaddict]

Teras was 1 teraflop.

Ja het gaat keihard met die manycores nu. Een enkele Xeon phi is 1 teraflop en een enkele Nvidia Tesla is 1.3 Teraflop (Tesla K20X).

[Niemand_Anders]

Ja, het is natuurlijk volstrekte onzin dat je als burger wilt weten wanneer het water het hoogste punt heeft bereikt. En of de opwarming nu komt door de mens of natuurlijk proces staat hier volledig buiten, want het is wel een feit dat de temperatuur stijgt en dat er daardoor veranderingen optreden in het klimaat..

Deze computers worden gebruikt om te berekenen wat de gevolgen zijn als de zeespiegel 10 centimeter stijgt. Door de gemalen in Nederland doet het grootste deel van Nederland ook nog eens zakken.. Als Nederland hebben wij extreem veel kennis betreffende water management..

Toen halverwege jaren negentig Limburg meerdere malen achter elkaar te maken kreeg met hoogwater, hebben ze bij o.a. het SARA gekeken (berekend) hoe en waar we het beste het water meer ruimte kunnen geven. Die plaatsen zetten we nu in als uitloopgebieden en uiterwaarden.

Ook worden berekeningen gedaan voor de medische en chemische industrie. Daarnaast worden oudere supercomputers gebruikt door Universiteiten om studenten te leren hoe ze super computers het beste kunnen inzetten..

[B00m3rang]

Jij gebruikt zeker nooit buienradar enzo??

[zxcvb]

Wel leuk al die rekenkracht maar hij wordt dus gebruikt voor:

Cartesius will be used for research areas such as sustainable energy, climate change, water management, product and process optimization, reduction of noise pollution and improvement of medical treatments.

[007Nightfire]

Hoewel ik eerlijk moet bekennen dat ik niet weet hoeveel we hier aan hebben, is het toch fijn om te weten dat we zelf onze berekeningen kunnen doen en hierin niet continue afhankelijk zijn van het buitenland.

[Anoniem: 291608]

Tja we staan toch bekent om water managment en zie hier toch zeker het nut van in. Kijk maar eens naar duitsland op het moment.

[Sando]

Altijd weer nieuwere supercomputers die klimaatberekeningen doen... en ik vraag me dan af waarom die regenbuienvoorspelplaatjes van het KNMI zo'n lompe extrapolatie van de laatste meting met enkele motion vectors lijkt te zijn. Dat ding zie je ook op buienradar. Die "3 uur vooruit" oogt nogal 1995. Volgens mij kan de computerkracht van mijn smart-tv dat ook wel live berekenen. En dan nog in een scherpere resolutie ook.

[hardwareaddict]

het KNMI heeft een eigen supercomputer voor het weer. Klimaatberekeningen zoals stijging zeewater dat wordt dus af en toe gedaan op SARA. Overigens in verleden rekende ook Japan hard mee aan de klimaatberekeningen - het is niet zo dat ze dit op eigen houtje doen. Japan zette destijds ook de Earth supercomputer (destijds snelste supercomputer ter wereld) in voor de klimaatberekeningen.

Zo'n Klimaatberekening kan maanden nonstop 24 uur per dag rekenen en slikt al snel de helft van je hele supercomputer in. Je zou dan problemen krijgen om elke dag een goede weersvoorspelling af te geven zo lijkt me, als de KNMI supercomputer voor lange termijns klimaatberekeningen ingezet wordt.

[Sando]

het KNMI heeft een eigen supercomputer voor het weer.

Kijk Dan staat mijn vraag nog steeds. Supercomputer voor het weer?
Die schietsimulatie op legerbasis Ermelo draait ook op een toentertijd state-of-the-art computer. Namelijk een 286'er. (note: true story!)

Als ik naar weermodellen en 'de wolkjes' kijk dan vraag ik me af of de mensen die er over gaan wel in staat zijn zoveel processorkracht fatsoenlijk te benutten.

[DinX]

http://nl.wikipedia.org/wiki/Weer_(meteorologie)

http://nl.wikipedia.org/wiki/Klimaat

Eerst het verschil tussen weer en klimaat leren.

[Sando]

Meteorologie en klimatologie hebben logischerwijs veel met elkaar te maken. Het klimaat is een soort weergemiddelde. De zelfe mensen werken vaak in beide vakgebieden. Als je 10 keer een supoercomputer hebt die de oude overbodig maakt, dan houd je op een gegeven moment iets over om in die andere afdeling aan het werk te zetten. Beetje gezond verstand gebruiken om het verband te zien..

[Reactie gewijzigd door Sando op 25 juli 2024 08:27]

[blobber]

Het blokkerige komt door het grid van sensoren etc. Je kunt nu eenmaal in nederland niet op elke vierkante kilometer zo'n kastje neerzetten.Bovendien is het weer een chaotisch systeem, meer sensoren levert niet per definitie een betere voorspelling op (kustlijn van Engeland opmeten met steeds fijnere meetlatten verhaal).

[Sando]

Nee joh, dat zijn toch geen grondsensors, die beelden worden berekend aan de hand van satelietbeelden. En dat zou niet alleen scherper kunnen, die 'voorspelling' AKA 'verwachting' wordt zoals ik aangaf wel erg onintelligent berekend.

[FreezeXJ]

KNMI draait simulaties niet alleen van Nederland, daar heb je geen bout aan. Weer (niet klimaat dus) bereken je over een veel groter gebied, vaak over heel noord Europa of erger. Daarnaast zijn buienradar-plaatjes natuurlijk niet representatief voor wat men er aflevert, HIRLAM, GFS en andere serieuze systemen geven veel betere info, en meer, maar dat moet je dan wel kunnen interpreteren.

Verder zijn klimaatsimulaties een nog riskantere sport, met honderden parameters die niet exact bepaald kunnen worden, en een nauwkeurigheid die dus ernstig beperkt wordt. Meerdere sims naast elkaar is standaard (en dan een pluimgrafiek ervan maken), maar goed, alles netjes uitzoeken kost weer rekenkracht. Voila, dat komt nu langzaam.

[Sando]

Duidelijke info. Ik snap niet waarom jullie 0 (en ik -1) krijgen, maar ik mag jullie niet modden.

Anyway, met die betere beelden van de juiste satelieten, en het 'alsmaar' wereldwijd opleveren van supercomputers voor klimaatberekeningen zou toch doen vermoeden dat men een keer een 'oude' supercomputer overheeft om die regenplaatjes e.d. wat moderner/intelligenter te maken.

[hardwareaddict]

Beetje geleuter lees ik hier. Voor de prijs van 2 windmolens, die compleet weggesmeten geld zijn, krijgt de wetenschap hier een puike supercomputer.

Nederland is een klein landje dat erg noordelijk ligt met pak hem beet rond de 80% onder het zeenivo.

Enkel en alleen al voor klimaatberekeningen is zo'n supercomputer dus al nuttig, terwijl deze natuurlijk een nog veel bredere functie dan dat heeft. Namelijk alle publieke wetenschappers in Nederland de gelegenheid geven, zo ze daar software voor hebben, om een blik in de toekomst te werpen.

Als je je realiseert dat China al enige jaren geleden vele malen meer Pflop tot haar beschikking had, dan zul je je realiseren dat het zelfs niet eens luxe is om zo'n supercomputer voor de wetenschap in Nederland te hebben.

Wel is natuurlijk de vraag welk budget je ervoor over hebt. Als ik dat zo bekijk dan lijkt het alsof dat factor 5 minder is dan 't was.

[pibara]

Klimaatwetenschap (als je het zo nog mag noemen) is helaas nogal gecorumpeerd door politieke belangen en een pervers onderzoeksfinancieringssysteem. Getuigen ook climategate. Als er dus een ding is waar je vooral je rekenkracht NIET aan zou moeten verspillen dan is het wel aan klimaatsimulaties. Gebruik zo'n ding alsjeblieft voor ECHTE wetenschap.

[Anoniem: 399807]

Jij hebt een heel grote mond over 'climategate'. Climategate is geen climategate. Het is een aanval van (cyber)criminelen op privé gegevens om daaruit selectief en zeer doelbewust frases te halen die aanleiding zouden gaan vormen voor scepsis over de resultaten van o.a. Michael Mann's studies.

Cllimategate e is al lang debunked. Als jij anno 2013 nog steeds jezelf laat prostitueren een spreekbuis te zijn voor cybercriminelen en de energie lobby en corporate interests, dan ben je niet serieus te nemen in wat je ook schrijft.

Als je betrouwbare informatie wilt i.p.v. de belangen van de energie industrie te behartigen kijk dan eens hier:

http://www.desmogblog.com/

[pibara]

@Vendar,

Hmm, dus 'jij' schildert Stephen Mcintire af als 'crimineel' en komt vervolgens met een soort conspiricy theory m.b.t. de energie industrie en 'ik' zou niet serieus te nemen zijn in wat ik ook schrijf.

https://www.youtube.com/watch?v=JlCNrdna9CI
https://www.youtube.com/watch?v=_reUlZhbU4o
https://www.youtube.com/watch?v=XvhouGwqVt4

De politieke belangen die spelen zijn overigens veel groter dan de belangen van de energie industrie de en hebben meer te maken met de belangen van ontwikkelde landen vs de belangen van opkomende economieen. Gevolg, helaas, de klimaatwetenschap is een politieke speelbal, wetenschappelijke fraude wordt door de ene partij extra uitvergroot om vervolgens door de andere (veel machtigere) kant met de mantel der liefde te worden bedekt.

Het zelfreinigende vermogen dat de wetenschap binne alle andere takken van sport wel heeft is binnen de klimaatwetenschap daardoor ver te zoeken. Als je verder ziet wat voor felle reacties en polarisatie (terechte) kritiek van exteme standpunten teweeg brengt bij grote groepen mensen (inclusief jouw felle reactie hier), dan lijkt het soms wel of het eigenlijk om religies gaat. De CO2 appocolipici versus de groep mensen die mischien nog durven te overwegen dat niet plat is, maar er heilig van overtuigd zij dat het klimaat dat vast en zeker wel is en de mens daar al helemaal niets aan kan veranderen.

De waarheid zal ergens in het midden liggen, maar hoewel ik er nog wel vanuit durf te gaan dat de meeste klimaatwetenchappers integer zijn, is het speelveld van pseudo religieuze vooringenomenheid in combinatie met een beslist niet politiek ongekeurd financieel speelveld er een waar het volgens mij niet mogelijk is om de integriteit van de klimaatwetenschap als een geheel te waarborgen.

[Anoniem: 145867]

Zo dat zijn dus dan 15 Mac Pro 2013's ??
(Zou dat dan niet compacter zijn?)

Hoezo -1? 1 Mac Pro = 7 Teraflops... x 15 = 105 teraflops.. je kan toch daisychainen ?

[Reactie gewijzigd door Anoniem: 145867 op 25 juli 2024 08:27]

[larsg]

Het gaat hier om serieële berekeningen

GPU's produceren paralelle berekeningen.
GPU's zijn veel sneller dan cpu's in wat ze doen.

[GrowMyHair]

Het lijkt me dat het hier ook om parallelle berekeningen gaat. Anders heb je niet zo veel aan 13.000 cores... Dit systeem gaat ook uitgebreid worden met GPU's om de 1 pflop te kunnen halen.

Daarvoor zou je echter wel 143 Mac Pro's in de dikste uitvoering nodig hebben, 10 keer zo veel dus.

[sfranken]

@larsg
Ligt aan floatingpoint yay of nay

[zonoskar]

En dan nog maal 10, dus 150 Mac Pro's aangezien de nieuwe super computer 1 PetaFlops heeft = 1000 TeraFlops.

[Anoniem: 399679]

Ben je nou echt serieus?

[ZpAz]

Wel vaker gebeurt

http://www.youtube.com/watch?v=vLujLtgBJC0

Tien jaar terug. 2003.

1100 power mac G5s made into the worlds 3rd fastest super computer via clustering.

Met een whopping 10 teraflops.

In het einde zag je zelfs nog dat het een hele goedkope supercomputer was. Pssh, wie zegt nog dat Apple's overpriced zijn.

edit: Woah, 2 van deze "prullenbakjes" samen geeft meer dan 14 terraflops. Da's een beste sprong vooruit in 10 jaar.

[Reactie gewijzigd door ZpAz op 25 juli 2024 08:27]

[Anoniem: 399679]

Je bent nog altijd goedkoper en beter uit zelf wat in elkaar te fietsen. Ook is er een groot verschil tussen cpu power en gpu power. Dit slaat dus echt totaal nergens op.

[ZpAz]

Sure, maar met 1100 macs en 2200 processoren denk je aan behoorlijk geparaliseerde berekeningen, iets waar een videokaart goed in is.

Uiteraard is er meer verschil, maar nog steeds impressive.

[hardwareaddict]

Je hebt een Infiniband FDR netwerk voor zo'n supercomputer nodig. Dat werkt niet zo eenvoudig op de mac.

Dus op de mac kun je niet de 1100 machines goed laten samenwerken voor die enorme datastromen die je per seconde moet uitwisselen tussen de machines.

FDR infiniband levert met zijn ogen dicht 8 gigabyte van elke computer naar elke computer. Er zijn overigens verschillende FDR standaarden. De meest gebruikte is 54.54 gbit/s. Dat is dus de praktische datarate. Dus de user datarate.

Als je 10 gbit ethernet kaartjes in die macs gooit, dan is dat hooguit 1 gigabyte per seconde, terwijl dat dan meestal ook nog niet eens DMA is.

Dus de highend netwerk kaarten die versturen en halen data op zonder de processoren te een knal te geven (en dus effectief eventjes te stoppen), terwijl de lowend kaartjes en met name ingebouwde gigabit ethernet dat wel doen.

Verder werkt volgens mij voor matrixberekeningen de library niet zo best van intel/nvidia op hun gpgpu monster.

Je hebt dus gewoon linux nodig.

Dus het woord 'mac' is al direct nutteloos in deze context daar je toch linux erop moet installeren. Het is dan geen mac meer toch?

Verder heeft SARA in Amsterdam op de kruislaan beperkt ruimte. Dus je wilt alle 16 core Xeon machines dus in racks hebben. Liefst zo klein mogelijk maar wel zo dat er 2 Tesla's of Xeon phi's inpassen per node.

Als je van die grote macpro kasten in SARA gaat neerzetten dan denk ik dat de bunker gelijk volzit en er niks meer bijkan in de bunker

[HEY_DUDE]

Waar staat dat ding in Nederland?

[Anoniem: 348537]

Waar staat dat ding in Nederland?

Staat er toch? SARA
Stichting Academisch Rekencentrum Amsterdam

[theemstra]

In het Rekencentrum te amsterdam

[Redesign1]

En nu een benchmark gaan draaien

[Keneo]

Ik ben zeker dat ze dit wel zullen gedaan hebben,

Het resultaat zal je morgen te weten komen, want dan wordt de nieuwe top500 van supercomputers aangekondingd op de international supercomputing conference in Leipzig., en deze zal wel in de top200 zitten.

Edit:
Cartesius is blijkbaar nog niet in de top500 lijst opgenomen, het zal dus nog 6maand wachten zijn voor we hem/haar/het zien.

[Reactie gewijzigd door Keneo op 25 juli 2024 08:27]

[aryan1171]

Mooi apparaat wel, ik vind het wel leuk dat het niet zo'n saaie zwarte bak is!

[fre0n]

kinky rack-deurtjes. Maar begrijp ik goed dat dit ding gewoon modulair is? Op het moment dat je nog meer rekenkracht nodig hebt, schuif je er gewoon nog een paar 1U doosjes in??

[Keneo]

Tot op een bepaalde hoogte,
momenteel kunnen ze waarschijnlijk nog 1 tesla of xeon phi bijschuiven in elke servernode,
Maar zomaar een rack bijzetten zal niet lukken.

Het infiniband netwerk is een heel duur deel van een supercomputer, dit verbind elke node met elke andere node met een non blocking link van 56gbps, meestal gebeurd dit via een fat tree topology.


Je kan hier niet zomaar een switch in dit netwerk toevoegen zonder dat je nu ongebruikte poorten hebt in de andere switches (wat niet efficient is nu) of een extra level aan de tree toe te voegen (wat heel duur zou kunnen uitkomen, wegens de prijs van infiniband switches en kabels)

In de praktijk zal deze computer binnen 3-5jaar vervangen worden door een nieuwe van gelijkaardige prijs, en 3-10x zo snel.