Cartesius' upgrade

Nationale supercomputer nog sneller

Supercomputer krijgt nieuw Intel-eiland

In het Amsterdam Science Park is een opvallende, 72 meter hoge toren verrezen: de Amsterdam Data Tower of AMS1 van Digital Realty. De ict-organisatie voor Nederlands onderzoek, SURFsara, huurt er twee verdiepingen, waarvan er een gebruikt wordt als nieuwe thuishaven voor Cartesius. Dit is de nationale supercomputer, die door Nederlandse wetenschappers kan worden ingezet voor complexe rekentaken, zoals voor klimaatonderzoek, watermanagement, medische toepassingen, chemie en productoptimalisatie.

Tweakers ging eerder dit jaar al op bezoek bij Cartesius: De nationale supercomputer - Op weg naar exascale-computing.

Cartesius is in de afgelopen maanden verhuisd van zijn oude stek bij SURFsara naar de datacentertoren. "De reden dat we de hoogte in moesten, is de hoge grondprijs hier in Amsterdam", vertelt Anwar Osseyran, directeur van SURFsara. Dat toch voor de dure grond van het Science Park is gekozen en niet voor een datacenter ergens in de polder, heeft te maken met de beschikbaarheid van netwerken met hoge bandbreedte.

Op het Amsterdam Science Park is namelijk sinds jaar en dag Nikhef gevestigd en dit onderzoeksinstituut heeft al sinds de jaren zestig behoefte aan veel rekenkracht en data-uitwisseling. In 1965 werd om die reden al een Control Data 3200-computer naar binnen getakeld bij Nikhef om data van een elektronenversneller te verwerken. Door de toegenomen samenwerking tussen verschillende Europese onderzoeksinstanties en de komst van de CERN-deeltjesversneller, ontstond er behoefte om snel grote hoeveelheden data te kunnen delen. Vervolgens raakten de technici van Nikhef betrokken bij de ontwikkeling van internet en uiteindelijk het www. In het midden van de jaren negentig leidde de samenwerking van Nikhef, SURFnet, CWI en SARA tot de start van de internetexchange AMS-IX. SURFsara zit daarmee rechtstreeks op een van de voornaamste internetknooppunten ter wereld, een knooppunt dat onlangs de barrière van 5Tbit/s doorbrak.

De organisatie heeft van de gelegenheid van de verhuizing gebruikgemaakt om Cartesius een opfrisbeurt te geven. Het gaat om een flinke upgrade, maar, zo haast Osseyran zich te zeggen, we moeten geen hogere plek van Cartesius in de prestigieuze Top500 van krachtigste supercomputers verwachten. Volgens hem is dat ook geen doel op zich. "We streven naar een gebalanceerd systeem. We willen alle gebruikers bedienen door zoveel mogelijk applicaties te ondersteunen. Daarom streven we bijvoorbeeld ook naar een hoge bezettingsgraad van de machine, in tegenstelling tot de supercomputers met een hoge ranking, die vaak een lage bezetting hebben."

"Bovendien is de benchmark voor de ranking, Linpack, helemaal niet berekend op een systeem met de verschillende onderdelen waaruit Cartesius nu bestaat", valt Hugo Meiland de SURFsara-directeur bij. Meiland is hpc-specialist bij Atos Big Data & Security en verantwoordelijk voor de hardwareondersteuning van Cartesius. De upgrade is immers geen gebruikelijke; anders dan het simpelweg bijzetten van wat racks met processors van een nieuwere generatie, kiest SURFsara voor de implementatie van een 'Bull sequana cell' van Atos.

Vanaf deze week kunnen wetenschappers deze cell inzetten voor hun rekenwerk en het is voor het eerst dat gebruikers dit clustertype kunnen benutten. In de racks zelf zitten 177 nodes met Xeon-processors van de Broadwell-generatie, aangevuld met 18 Xeon Phi-nodes van de in de afgelopen zomer uitgebrachte Knights Landing-lijn. In totaal leidt de cell tot een toename van de rekenkracht met 284Tflops.

Bull sequana X1000 cell
Systeem	Node-type	Cores	Cpu	Kloksn.	Geheugen	Aantal nodes	Aantal cores	Tflops
sequana X1110	thin	32	2x 16-core Xeon E5-2697A v4 (Broadwell)	2,6GHz	64GB	177	4248	284
sequana X1210	Xeon Phi	64	1x Xeon Phi 7230 (Knights Landing)	1,3GHz	112GB (96GB + 16GB on die)	18	1152

Het sequana-onderdeel is een toevoeging aan het bestaande cluster, dat onder andere nog uit nodes met Sandy Bridge-, Ivy Bridge- en Haswell-processors bestaat. Daarnaast was er al een gpu-eiland met Tesla K40M-accelerators.

Systeem	Node-type	Cores	Cpu/gpu	Kloksn.	Geheugen	Aantal nodes	Aantal cores	Tflops
bullx B720	thin	24	2x 12-core Xeon E5-2690 v3 (Haswell)	2,6GHz	64GB	1080 (eiland: 3x360)	25.920	1078
bullx B710	thin	24	2x 12-core Xeon E5-2695 v2 (Ivy Bridge)	2,4GHz	64GB	540 (eiland: 1x360+1x180)	12.960	249
bullx R428	fat	32	4x 8-core Xeon E5-4650 (Sandy Bridge)	2,7GHz	256GB	32	1024	22
bullx B515	gpu	16	2x 8-core E5-2450 v2 (Sandy Bridge), 2x Nvidia Tesla K40M	2,5GHz	96GB	66	1056/ 132 gpu's	210

Aan de buitenkant van het nieuwe onderdeel valt op dat dit niet de mooie deurtjes en de groene verlichting van de vorige kasten heeft. Daarnaast is duidelijk dat het blok erg compact is. Het bestaat uit drie kabinetten waarvan twee aan zowel de voor- als achterkant 24 blades heeft, met ertussen een kabinet voor de switches. Dit symmetrische ontwerp vergemakkelijkt het beheer en leidt tot ruimtebesparing, volgens Meiland.

De blades bestaan op hun beurt uit drie nodes; elke blade bevat dus ofwel drie keer twee Xeon E5-2697A v4-processors, ofwel drie keer een Xeon Phi Knights Landing-kaart. Bij het ontwerp is rekening gehouden met waterkoeling, legt hij uit. "We nemen de losse onderdelen van Intel of Nvidia af en waar we in het verleden nog wel eens moederborden van SuperMicro afnamen, hebben we de blades nu zelf ontwikkeld. Daarbij hebben we ons eigen systeem voor waterkoeling geïntegreerd, dat zowel de nodes als de switches op temperatuur houdt."

De sequana X1110 met 3x2 Xeon E5-2600 V4 (links) en de X1210 met 3x Xeon Phi

De pompen voor de waterkoeling zitten aan de onderkant van de kasten. Het datacenter is al voorbereid op waterkoeling en de leidingen lopen onder de vloer. Vandaar wordt het verwarmde water, van ongeveer 40º Celsius, naar het dak geleid om af te koelen tot ongeveer 30º Celsius. "Bij deze generatie worden de voedingen boven in de kabinetten nog met lucht gekoeld, bij de volgende generatie gaan we die ook vloeibaar koelen", meldt Meiland.

Wat Atos bij komende generaties ook naar voren wil schuiven, is zijn eigen interconnect, de Bull eXascale Interconnect of BXI. Dit is de basis waarmee het bedrijf de sequana-cellen aan elkaar wil knopen en uiteindelijk tot exascalecomputing wil komen. Het is een pci-e 3.0 x16-interconnect die een theoretische bandbreedte van 100Gbit/s biedt en die initieel tot aan 64.000 nodes met elkaar kan verbinden.

Of SURFsara bij toekomstige supercomputers het sequana-platform trouw blijft, is nog niet zeker. De huidige cell is in ieder geval nog met traditionele Mellanox FDR-lijntjes met de rest van het cluster verbonden; intern maakt het systeem gebruik van de nieuwere EDR-generatie, die een bandbreedte van 100 in plaats van 56Gbit/s biedt, evenals een lagere latency.

"Technologisch gezien zou het logisch zijn om verder te bouwen op sequana", zegt Walter Lioen, Unit Manager Compute Services bij SURFSara. "Maar we gaan een Europese aanbesteding doen, waardoor sequana slechts een van de opties is. In oktober 2018 loopt het servicecontract voor de sequana-cell af. In de loop van volgend jaar starten we met de procedure om Cartesius te vervangen", aldus Lioen. Hoe die vervanging eruit komt te zien, is nog niet bekend.

"De applicaties blijven leidend", zegt Lioen hierover. Zo is voor de uitbreiding ook bewust voor de Xeon Phi-accelerators gekozen. "Deze zijn vanwege de parallelle verwerking geschikt voor machine learning, waar steeds meer vraag naar is. Het is niet makkelijk om software op een efficiënte manier geschikt te maken voor manycores, maar we werken samen met Intel om wetenschappers hiervoor te trainen." Met Xeon Phi probeert Intel een antwoord te geven op het toenemende gebruik van gpu's voor hpc-toepassingen.

Lioen: "We hadden ook voor nieuwe gpu's kunnen gaan, maar de Nvidia Tesla K80-kaarten vonden we te veel op de K40's lijken die we al hebben in een eiland. De Tesla P100 met Pascal-gpu kwam dan weer te laat voor deze upgrade. Het voordeel van de Xeon Phi Knights Landing is de veelzijdigheid. Je kunt ze gewoon booten met Linux." Daarnaast noemt hij de ondersteuning voor AVX-512 en daarmee voor 512bit-simd-instructies als voordeel. Dit kan bij hpc-applicaties flinke snelheidswinsten opleveren.

Een beperkende factor bij het vervangen van Cartesius kan komen te liggen bij het verbruik. SURFsara heeft volgens het contract met het datacenter een limiet van 1MW, terwijl Cartesius nu al bij belasting met Linpack meer dan 900kW verbruikt. Bij de huidige uitbreiding speelde verbruik al een rol. In de top 50 van de Top500 van krachtigste supercomputers zitten op dit moment maar een paar systemen die minder dan 1MW verbruiken en de verwachting is dat dit er alleen maar minder worden.

Is een hoge notering daarmee uitgesloten voor de volgende nationale supercomputer? Lioen maakt zich er weinig zorgen over. Volgens hem veranderen de eisen wat vloeroppervlakte en vermogen betreft niet zoveel, terwijl de technologie juist wel verandert. Meiland meent dat je ook helemaal niet moet willen concurreren met de VS en China, die over enorme budgetten beschikken om nieuwe clusters te bouwen. Mocht de overheid flink willen investeren om met een nieuwe supercomputer een topnotering te bemachtigen, dan blijkt de 1MW-grens toch niet zo hard; Digital Realty kan deze grens oprekken als andere klanten in het datacenter het vermogen niet nodig hebben.

Reacties (96)

Valt me op hoeweinig Tflops ze hebben. 1843 Tflops uitgaande van bovenstaande.


16 Tflops voor 1500 Dollar
nieuws: AMD introduceert Radeon Pro Duo-videokaart met twee Fiji-gpu's


116 van deze kaartjes = 174.000 USD
In ergste geval kan je er 1 in een systeem kwijt dus 116 servers met 64GB RAM & Xeon E5-2695 v2 (=5 jaar oude cpu!) & voldoende storage 5000 USD per stuk = 580.000 USD

Totaal 754.000 USD.

40 units in een rack (ruimte voor KVM/switch) = 3 racks en energie verbruik zal een fractie zijn van wat ze nu gebruiken. 3A * 220 * 116= 76,5 KW.

Ja, dan is er nog de software.... voor het geld dat je zal besparen (alleen al op je energie kosten) kan je makkelijk alles herschrijven.

Ik hoop dat ze bij nieuwe aanbesteding gewoon naar pure TFLOPS kijken en hoe dat zo voordelig mogelijk gerealiseerd zijn ipv aan bepaalde merk/leverancier geplakt te blijven.. het is gewoon onze belasting geld.

Als je gaat kijken naar de nummer 1 op dit moment:
Chinese Sunway TaihuLight met 10 miljoen cores max 125.435 TFLOPS Energie 15MW

Is performance maar 68x sneller. Maar zelfs dat kan je op bovenstaande (simplistische) tegen fractie van kosten en energie behalen.

Overigens als je deze lijst van november bekijkt:

https://www.top500.org/list/2016/11/

Dan merk je op dat BULL gebaseerde machines significant "slechter" presteren.
Misschien dat er een tijd was waarin je voor supercomputers niet om bepaalde partijen heen kon, maar dat is nu wel anders.


Update:
Voordat ik kritiek krijg dat supercomputer zoals ik dat voorstelde te simpel gedacht is.

Lees dit artikel eens:
nieuws: Nvidia kondigt Tesla P100-accelerator met Pascal-gpu en 16GB hbm2-geh...

DGX-1 uit, naar eigen zeggen een 'supercomputer', die is voorzien van acht Tesla P100-accellerators. De kaarten communiceren onderling met de Nvidia nvlink-interface, die vijf keer de snelheid van pci-e-3.0 biedt. Een enkele node is goed voor 170 teraflops aan rekenkracht met fp16-halfprecisie. Met rack vol van deze servers is 2 petaflops mogelijk. In de Nvidia DGX-1, die 129.000 dollar kost, zitten twee Intel Xeon E5-2698 v3-processors, 512GB ddr4-ram en vier 1,92TB-ssd's in raid 0-opstelling.

Dus met 11 van deze machines zit je op huidige TFLOPS nivo.
1.419.000 USD ben je klaar, 3.2 KW per stuk = 35,2 KW

bron: http://images.nvidia.com/...p-Learning-Letter-WEB.pdf

En wederom de energie kosten zijn gigantisch. Indien je het nog niet wist, maar naar mate je MEER energie afneemt, naar mate je meer per KWh betaald.

Stel ze betalen nu 25 cent per KW/h * 900kW = 225 euro per uur = bijna 2 miljoen per jaar.
Terwijl met die NVIDIA oplossing ze 78.000 per jaar kwijt zijn.

Met andere woorden in een jaar tijd hebben zullen ze investering terug verdienen.
En aangezien ze er een budget voor hebben, kunnen ze elk jaar meer TFLOPS erbij gooien.
Om maar te zwijgen over de hoeveelheid en floorspace die je ermee kunt uitsparen (en dus kosten).

[Reactie gewijzigd door totaalgeenhard op 15 december 2016 07:43]

En toch denk je er te simpel over, maar ik begrijp wel waarom je er zo over denkt Videokaarten/acceleratorkaarten hebben een beperktere instructieset. TFLOPS worden gebruikt om performance te vergelijken, maar zo eenvoudig is het niet, de ene berekening is de andere niet. General purpose CPU's, zoals de Xeon en (volgens mij) Xeon Phi zijn makkelijker te gebruiken dan de streamprocessoren van nvidia. Je kunt dus niet zomaar een berg CPU's vervangen door GPU's.
Je ziet ook dat ze al gebruik maken van nvidia grid kaarten.

Dergelijke supercomputers draaien telkens andere programmas van verschillende onderzoekers. Het is voor de onderzoekers makkelijker om 'generieke berekeningen' uit te laten voeren dan wanneer ze deze berekeningen moeten optimaliseren voor acceleratorkaarten.
Wanneer je een supercomputer voor één doel bouwt, bijvoorbeeld het voorspellen van het weer, dan heeft het zin om 'goedkopere' hardware te gebruiken en meer energie te steken in het optimaliseren van je software.

[Reactie gewijzigd door Abom op 15 december 2016 19:32]

CUDA?
Bovendien om kleinschalig je code te maken en te testen kun je al met een goedkope kaartje in de weer. Zodra je code af is kan je hem bij SurfSARA los laten.

Nee, helaas heeft via ook zijn beperkingen. Je kan niet alles op een GPU wat je op een CPU kan. "Makkelijk alles herschrijven" bestaat (helaas) dus niet.
Wij hebben hier bij de TU/e en afstudeerder gezet op zo'n project, en die kwam er achter dat bottleneck zat in het synchroniseren van alle threads op de GPU. Dat moet in het GP RAM gebeuren, waardoor de throughput daarvan (en van de PCIe interface) de beperkende factor is.

Edit: overigens heeft SurfSara (heb ik nml ook een account) en specifieke testomgeving. Beter daar te testen, zodat je zeker bent dat het gedrag op het grote systeem hetzelfde is.

[Reactie gewijzigd door MeMoRy op 15 december 2016 09:49]

Nvidia gebruikt voor haar systemen eigen link die 5 to 8 keer sneller is dan PCIe 3.0 met een piek bandwith van 80Gb/s

http://info.nvidianews.co...20Performance%20Brief.pdf

(ik weet niet of link werkt, aangezien je eerst moest registreren)

Ben ik mee bekend, al is die pas geïntroduceerd bij de p100. Die kan je alleen niet altijd optimaal benutten. Ze noemen zelf het voorbeeld van een 2D FFT: dat maakt uit. Maar bij een 1D FFT heb je niet veel winst. Ik kan helaas niet de onderzoeksresultaten van de student delen, want die zijn onder NDA, maar daarin had hij mooie vergelijkingen gemaakt.
Je zou zelf eens wat code moeten proberen om te schrijven, dan merk je beperkingen. Er is bijvoorbeeld een MATLAB CUDA toolbox.

Moet ik eerst een casus vinden waarbij ik zoveel reken kracht nodig heb.

John de ripper ?

Zijn waren het MeMoRy + betrouwbaarheid ook niet een probleem?

Betrouwbaarheid vanwege het feit dat er af en toe een "bitje corrupt" raakt (gelimiteerde foutcorrectie) wat bij een videospel niet erg is maar bij een berekening soms wel. (Het schatten van een matrix inverse schijnt vrij robuust te zijn voor kleine fouten)

MeMoRy vanwege het feit dat je al het geheugen deelt met alle cores terwijl een CPU node vaak een paar honderd gigabyte geheugen voor zichzelf ter beschikking heeft.

(Het delen van MeMoRy kan daarentegen natuurlijk ook weer z'n voordelen hebben)

[Reactie gewijzigd door vladimirN op 16 december 2016 10:53]

Dan nog ben je even bezig voor je iets geoptimaliseerd hebt voor je GPU, vooral op geheugengebruik. Pure FLOPs zijn zelden de doorslaggevende factor, het gaat er ook om hoe snel je iets draaiend hebt op redelijke snelheid.

Oh en ja je _kunt_ inderdaad op je eigen mini-kaartje testen, maar hoeveel mensen doen dat? Te weinig om een GPU-only-cluster neer te zetten, en voor de mensen die het doen is er het K40-rack al, dus je kunt al rekenen ermee.

(verder zegt testen op een klein kaartje net zoveel als testen op je eigen CPU, it's the scaling, stupid!)

CUDA voorziet in de scaling.....

er zijn genoeg applicaties die juist erg op het geheugen leunen, en dan is een GPU zwaar in het nadeel (ondanks de hoge "snelheid" tegenover een cpu die naar ratio veel sneller geheugen beschikbaar heeft (lagere timings over het algemeen)

Ik hoop dat ze bij nieuwe aanbesteding gewoon naar pure TFLOPS kijken en hoe dat zo voordelig mogelijk gerealiseerd zijn ipv aan bepaalde merk/leverancier geplakt te blijven.. het is gewoon onze belasting geld.

Nou ik als belastingbetaler hoop iig dat ze mijn geld niet vergooien om te kunnen pronken met een of andere TFLOPS waarde, maar kijken naar wat ze nodig hebben.
Leuk ook die getunede handpicked benchmarks in het marketingmateriaal van nVidia, maar hoe weet jij zo zeker dat hun workload precies hetzelfde zal zijn? Misschien hebben ze wel meer behoefte aan andere OPS dan FLOPS, weet jij veel. Dat blijkt ook uit alle CPU power die ze hebben bijgekocht, blijkbaar is dat meer nodig dan GPUs (die ook beschikbaar waren).

Overigens als je deze lijst van november bekijkt [...] Dan merk je op dat BULL gebaseerde machines significant "slechter" presteren.

Wat maakt dat nou weer uit? Als klanten niet meer FLOPS nodig hebben, en Bull een goed passend aanbod heeft dat behalve FLOPS ook nog aan hun tig andere eisen voldoet, dan kopen ze die. Ze staan nota bene op plek 34 van de snelste computers ter wereld, daar kom je niet zomaar hoor.
Tot slot, er staat in het artikel uitgelegd waarom ze niet die Tesla P100 hebben genomen, en er staat in het artikel waarom ze niet om de Top 500 geven.

Ik doelde op toekomstige investering, dat ze overwegen om niet aan BULL vast te houden.

Vergelijk eens Bull op 35 met Cray op 33 significant verschil in flops/energie verbruik.

Nummer 28:
United States DGX SATURNV - NVIDIA DGX-1, Xeon E5-2698v4 20C 2.2GHz, Infiniband EDR, NVIDIA Tesla P100Nvidia cores 60,512 peak 4,896.5 350KW

Ik denk dat jij teveel naar de cijfertjes kijkt. Je weet toch ook dat bij videokaart benchmarks fabrikanten trucjes toepassen om hoger te scoren. Dat zo'n systeem hoger scoort op een bepaalde benchmark bekent dus niet dat hij in elke situatie sneller is.
Goodhart's law: "When a measure becomes a target, it ceases to be a good measure."

[Reactie gewijzigd door MeMoRy op 15 december 2016 09:51]

Dat zijn geen truukjes: De HPL-benchmark van de Top500 waarmee de teraflopsen gemeten worden is gewoon erg geschikt voor GPU's. GPU's zijn dus daadwerkelijk snel in HPL, ze snijden geen bochten af. Maar, HPL is een extreem voorbeeld van een synthetische benchmark en geeft amper indicaties voor de praktijkprestaties van een systeem.

Maar ze hebben gekozen voor een benchmark waarbij systemen met GPUs dus beter scoren, al is er zo een applicatie te verzinnen die daar optimaal gebruik van kan maken, en waarbij een supercomputer lager in de ranglijst sneller blijkt.
Dan vind ik de benchmark dus niet representatief...

[Reactie gewijzigd door MeMoRy op 15 december 2016 19:56]

Dat de benchmark niet representatief is, daar is men het in de HPC-wereld helemaal mee eens. Echter is het gebruik van HPL historisch zo gegroeid. De voorganger van HPL, Linpack dateert uit 1979. HPL is een parallelisering van Linpack en zo ontworpen dat als je met 1 processor rekent, dat precies hetzelfde algoritme uitgevoerd wordt als de originele Linpack uit 1979.

Dat betekent dat de benchmarkresultaten van computers van de afgelopen 37 jaar vergelijkbaar zijn. Een knappe prestatie. In 1979 waren vlottendekommaberekeningen bijzonder duur in vergelijking tot de code eromheen. Daarmee het zinnig een benchmark te verzinnen die het aanta flops van een machine meet. Destijds was de benchmark daarom stukken representatiever dan hij vandaag is.

Rond HPL is de Top500 gegegroeid, wat een zeer prestigieuze ranglijst is van supercomputers. De combinatie van vergelijkbaarheid met resultaten uit het verleden en het feit dat HPL-resultaten supercomputers roem opleveren via de Top500, zorg ervoor dat we nog altijd HPL gebruiken en dat HPL voorlopig gebruikt zal blijven worden.

Doordat GPU's een relatief recent verschijnsel zijn, is de afgelopen jaren wel veel kritiek gekomen op HPL en de Top500. Dit heeft ertoe geleid dat de regels strenger zijn geworden om wat "stuntmachines" genoemd worden te ontmoedigen: Een supercomputer moet generieke problemen kunnen berekeken. Als de machine enkel specifieke hardware heeft om HPL uit te voeren, dan behoudt men zich het recht voor om de inzending te weigeren.

Meer structureel is dat twee nieuwe ranglijsten zijn opgesteld: de HPCG-500 en de Graph500. Die hebben andere benchmarks, zijn nog steeds synthetisch, maar voor veel applicaties een stuk representatiever en ze zijn dan ook minder GPU-vriendelijk.

Vanwege de status die de Top500 en HPL hebben, zijn we voorlopig nog niet van deze benchmark verlost.

[Reactie gewijzigd door dmantione op 15 december 2016 21:54]

Ik mag je niet modereren, dan maar een symbolische +2 voor informatief van mij

Ja, ik weet het, die heeft veel meer FLOPS/W, maar <include driekwart_van_mijn_vorige_reactie>.

En, ze hebben in het verleden al o.a. IBM, SGI, Cray gehad. Bull is pas sinds 2013.
Ik neem aan dat als ze wat beters kunnen krijgen, ze weer switchen.

Helemaal mee eens. Ik denk dat ze hun bestelling hebben gedaan op basis van wensen die zijn voortgekomen uit hun ervaring met de huidige configuratie. Dat marketing gezeik altijd met die harde nummers, heel leuk allemaal, maar het zegt heel weinig.

Ik heb er alle vertrouwen in dat ze heel goed weten waar ze mee bezig zijn en wat ze aanschaffen.

Een opmerking over de stroomprijs, zo'n club betaalt 4-6 cent per kWh. Veel minder iig dan consumenten.

Ik vond ook de hoeveelheid tflops tegenvallen, ik heb recent een r9 290 aageschaft voor 125 €, dat ding heeft ruim 5 tflops.

Telecity zal elektriciteit gewoon op de beurs kopen (zoals de meeste grote DC's) :

http://www.nieuwestroom.n...beurzen/apx-handelsbeurs/

Ze zullen deze prijzen niet direct 1 op 1 in rekening brengen bij klant maar daar een hele veilige marge overheen gooien.

Vervolgens heb je netbeheerder, de prijs voor leidingen die binnen komen zijn afhankelijk van capaciteit, naar mate je meer energie beschikbaar wilt hebben naar mate je daar meer voor gaat betalen.

En tot slot gaat daar nog belastingen overheen.

Per saldo zullen ze waarschijnlijk rond de 25 tot 35 cent per kWh zitten.

DC's verdienen hun geld op drie manieren:

1) vloeroppervlak verhuur (of racks)
2) connectiviteit (of via leverancier die PoP heeft in DC)
3) energie

Ik heb zelf ook twee r9 290x en die zitten elk op 5,5 tflops.

Bedoel je datacenter stroomprijzen? Want kale stroomprijs is max 8 cent zoiets.

Als consument incl. Btw en energiebelasting (die boven de 10.000 kWh vervalt) betaal je rond de 20 cent per kWh. Ik kan mij niet voorstellen dat zo'n grote afnemer meer betaalt, alleen al omdat ze die energiebelasting en btw niet betalen.

[Reactie gewijzigd door SpiceWorm op 15 december 2016 08:42]

energiebelasting is er ook gewoon boven de 10.000kwh/jaar lol, waar je dat vandaan haalt dat het vervalt is me een raadsel;

http://www.belastingdiens...3b-4c97-bc7a-802790bd1110

even naar beneden scrolls, vanaf 10miljoen kwh/jaar word er nog steeds één tarief gerekend, echter dat is de hoogste schaal/laagste belastinggraad

Je hebt gelijk, ik bedoelde 50MWh. Boven de 10MWh halveert de energiebelasting en boven de 50.000 kWh betaal je echter maar 1/10 van de energiebelsting, in vergelijking met de eerste 10.000 kWh is dat niks. Zo'n datacenter zit dik boven de 50MWh. Nog een categorie hoger is hij te verwaarlozen.

Boven 10 miljoen kWh kunnen bedrijven vrijstelling EB krijgen als ze meedoen aan het convenant energie efficiency MJA3/MEE. Ga er maar vanuit dat de datacenters dat doen.

Ik weet niet of je boven die 10MW/h BTW en energie belasting vervalt.

Maar als dat vervalt, is dat voor de inkoper en dat is Telecity.

Stroom op beurs kostte gemiddeld 6 cent (2015).
De vaste aansluitkosten en transport en die prijzen stijgen wel naarmate energie toeneemt.

Het lijkt me sterk dat een commerciële partij een semi-overheid tegen kostprijs gaat leveren. Misschien kunnen we het wel WOBben :-)

Als iemand die voor werk heel wat colocatie contracten ziet langskomen kan ik je 1 ding vertellen, DC's verdienen (zo goed als) niet op energie, enkel op vierkante meters en connectiviteit. De gemiddelde kWh prijs is zo'n 12-14 cent (ex btw). waarvan ongeveer een halve cent marge is. Wij draaien wel volledig groene stroom wat enigszins de marge eraf haalt, andere aanbieders zullen misschien een iets grotere marge hebben. De prijzen zijn overal ongeveer hetzelfde though.

Belangrijk detail is dat de 12 tot 14 cent per kWh inclusief energiekosten voor de koeling is. De werkelijke kWh prijs is dus nog lager.

Je vergeet dat lang niet alle wetenschappelijke berekeningen/analyses geschikt zijn om te doen met GPUs, laat staan zich linear laten vertalen naar hoeveel FLOPS er nodig zijn om het efficient te doen.

En wederom de energie kosten zijn gigantisch. Indien je het nog niet wist, maar naar mate je MEER energie afneemt, naar mate je meer per KWh betaald.

Dit is alleen zo voor consumenten en kleinzakelijk gebruik. Voor de grote afnemers geldt dit helemaal niet.

Het is allemaal maar moeilijk vergelijken. Supercomputers zijn nogal gespecialiseerde apparaten die meestal zijn gespecialiseerd op een bepaald type bewerking. Performance in een enkel getal vatten is daarom niet te doen als je verschillende soorten bewerkingen moet vergelijken. Carthesius is geen F1 racewagen maar een bestelbus. Niet zo snel als een F1 maar voor de meeste mensen een stuk praktischer voor hun dagelijkse werkzaamheden en het is nog altijd veel sneller dan fietsen.

En wederom de energie kosten zijn gigantisch. Indien je het nog niet wist, maar naar mate je MEER energie afneemt, naar mate je meer per KWh betaald.

Stel ze betalen nu 25 cent per KW/h * 900kW = 225 euro per uur = bijna 2 miljoen per jaar.
Terwijl met die NVIDIA oplossing ze 78.000 per jaar kwijt zijn.

Die schatting van elektriciteitskosten klopt niet helemaal...

De prijs van elektriciteit voor prive (<10.000kWh jaarlijks) bestaat voor ~66% uit belasting! Als je veel gebruikt gaat dat energiebelasting stapsgewijs omlaag. Dit om ervoor te zorgen dat Nederlandse fabrieken kunnen concurreren met het buitenland en om ervoor te zorgen dat de energiebesparing bij de burger meer beloond wordt.

kale Elektriciteitskosten: 3,72 ct/kWh (groene stroom zelfs, bron)
Opslag Duurzame energie: 0.23 ct/kWh (indien boven 50.000kWh jaarlijks)
Energiebelasting 0,01 ct/kWh (indien boven 50.000 kWh jaarlijks)

Elektriciteitskosten (incl belasting en opslag): 3,96 cent/kWh !

[Reactie gewijzigd door maykoga op 15 december 2016 21:46]

http://www.nieuwestroom.n...beurzen/apx-handelsbeurs/

Wie de originele control data 3200 reclamefolder wil bekijken

http://archive.computerhi...C.3200.1963.102646086.pdf

Cool! Weet iemand waar de nummers op de console op slaan? Ze zijn op alle foto's hetzelfde...

Zie ook https://en.wikipedia.org/wiki/CDC_3000 voor meer informatie over die generatie machines. CDC 3200 was de eerste 24 bit versie van die generatie.

Jammer dat het warme water het dak wordt opgepompt en daar afkoelt, het zou mooi zijn om het nuttiger te kunnen gebruiken b.v. om nabije kantoren op te warmen.

In de praktijk lukt dat meestal niet. In het artikel zie ik dat het warme water 40 graden is. Dat is gewoonweg niet heet genoeg om een kantoor mee te verwarmen.

En dat is vaak het probleem. De af te voeren warmte is zelden heet genoeg voor hergebruik.

Zelfs al zou je van een conventionele CV setup uitgaan dan is het voorverwarmen van het water dat aan de CV ketel wordt aangeboden al interessant (warmteterugwinning). De ketel hoeft dan een minder groot temperatuursverschil op te brengen. Een andere optie is energie aan dit water toe te voeren via een water/water warmtepomp (bijvoorbeeld deze van Daalderop).

Technisch is dus best het nodige mogelijk. Economisch is inderdaad een tweede. Maar hoe groter de warmtestroom, hoe interessanter er iets mee te doen.

Je hebt laag warmte radiatoren.

https://www.milieucentraa...agetemperatuurverwarming/

Uit eigen ervaring kan ik je wel vertellen dat ik van ouderwetse normale temperatuur radiator /CV installatie houd.

Aangezien bij die temperatuur je minder energie hebt, meet ik aan de bovenkant van mijn grote radiator 40 graden maar aan de onder kant 20 graden. Dus ze worden nooit helemaal goed warm, dus het duurt ook langer voordat ruimte op temperatuur is.

Verder heb je ook gewoon warmtewisselaar die 40 graden kan opwarmen naar 80 graden zodat je gewoon reguliere radiator (of opwarmen warm water) kunt gebruiken.
Waarbij de winst zit dat ipv van dat je van b.v. 15 graden naar 80 graden je alleen maar energie hoeft gebruiken om van 40 naar 80 te gaan.

Maar uiteindelijk kost het gewoon veel geld. En als je die extra kosten weg gaat zetten tegen ROI dan is dat jaren.

??? ik heb mijn water temp ook op 40 graden staan (vloerverwarming icm LTV radiatoren (is juist een ideale temperatuur ....

Vloerverwarming wil je idd niet op de 60°C die door een normale radiator heen gaat hebben nee

En in de zomer dan

Een nerdalize radiator kan/mag alleen aan een buitenmuur worden gemonteerd zodat in de zomer de warmte naar buiten afgevoerd kan worden. Jammer dat je persé klant van Eneco moet worden voor dit mooie initiatief...

In de grond pompen voor wamte opslag ...

Kosten/baten.

Check www.nerdalize.com die gasten doen zoiets

Het warme water gaat ook voor een deel de grond in en wordt ook gebruikt om de kantoren in het gebouw te verwarmen. En daarbij hoeft men maar 10 graden Celsius terug te koelen. En als zij echt willen kunnen zij er ook voor kiezen om de temperatuur op te laten lopen naar 35 graden Celsius.

Het warme water gaat ook voor een deel de grond in en wordt ook gebruikt om de kantoren in het gebouw te verwarmen. En daarbij hoeft men maar 10 graden Celsius terug te koelen. En als zij echt willen kunnen zij er ook voor kiezen om de temperatuur op te laten lopen naar 35 graden Celsius.

Interessant artikel en mooi om te lezen dat er wordt gekozen voor praktisch nut i.p.v prestige. Wel vraag ik me af hoe het kan dat de hpc-specialist bij Atos Big Data & Security ook SURFsara-directeur is.

Anwar Osseyran is directeur van SURFsara.
Hugo Meiland is hpc-specialist bij Atos Big Data & Security.

Hmmm ben benieuwd naar die aanbesteding dan. Zal wel Bull Sequana worden!

iemand meer informatie over wat een 'Bull sequana cell' van Atos inhoudt?
op de website: https://bull.com/sequana/
zie ik "gewoon" blades met processoren, wat is hier zo uniek aan?

Directe waterkoeling. Maar voor de rest zijn het inderdaad gewoon x86-servers.

maar dat hebben de B700 chassis ook al, alleen die zijn gelimiteerd tot 130W per cpu, nu kunnen we ook de 145W cpu's van Intel aan... en ongeveer 100Kw per rack koelen (dus 200kW in een sequana cell)

en wat voor ons nog veel belangrijker is: de integratie met de interconnect, bij SURFsara Mellanox EDR. In de oudere eilanden was hier een apart rack voor met luchtgekoelde L2 switches, nu zijn deze samen met de L1 switches in een veel kleiner rack en zijn ze ook watergekoeld. De onderlinge verbindingen kunnen we nu uitvoeren met koper ipv glas doordat de afstanden veel kleiner zijn, zelfs op 100Gb...

We hebben nu 2 soorten blades in productie: de broadwell versie met 3 nodes x (2x xeon cpu) en de knl versie met 3 nodes x (1x knights landing). In de planning staan een gpu blade 1 node + 4x pascal (die hier trouwens wel onderling NVlink gebruiken). Wat verder weg staat ook nog een ARM blade, met 3 nodes x (ARM cpu)....

In tegenstelling tot dit nieuwe data center, met heel veel oppervlakte hebben veel klanten van ons een uitdaging mbt ruimte. Het denser maken van de systemen is dus er belangrijk voor ons.

Wat mij verbaasd is het kleine aantal voedingen, die bovenin de kast zitten, voor zoveel nodes. Ik weet niet wat één slof PSU aan power kan leveren, maar dan nog.

Ik weet het niet zeker, maar het kan zijn dat dit systeem op 48V draait, zoals wel vaker het geval is in datacenters.

Om helemaal compleet te zijn: het systeem draait in de racks op 54 volt DC, de chassis hebben dus ook alleen DC aansluitingen; met gedeelde voedingen boven in de compute racks; we hebben in geval van compute meestal aansluitingen op 400V, waarvan we vaak zelfs 6 of 9 fasen gebruiken (2 of 3 32A stekkers per rack dus)

Nee, op 400volt 3 fasen.

Nee, op 400volt 3 fasen

ongeveer 3kW per voeding.... en er zitten altijd redundante voedingen boven in een kast...

Ik beschouw mijzelf graag als een vrij ervaren PC tweaker/tinkerer, en dit verhaal.... Ik wordt er stil van.
Ik begrijp niet veel van de termen en dat is spannend, er valt weer iets te leren.

Alleen de schaal van de computer wind me al mild op .

Beste redactie mooi artikel!

* PcDealer leest het artikel en wordt er blij van
Het heeft een hoog stijve plasser-gehalte.

Interessant, maar zoals in het vorige artikel stond : "Daar snijdt de Atos-medewerker een belangrijk onderwerp aan: hoe zit het met de software? "

Serieuze server porno. Lekker hoor. Jammer dat het plaatje met die blades niet groter kan. Was wel even benieuwd naar een close-up. Ik vind het ook een prima idee om niet per se in de top 500 te willen komen, "wie heeft de langste", maar het streven naar een gabalanceerd systeem lijkt me goed.

groter plaatje gaat niet helpen: het zijn renderings en alles wat echt leuk om te zien is, zit onder de koelplaten verstopt...

Mooi bericht en heel duidelijk uitgelegd waarom is gekozen voor bepaalde keuzes.
Ik vind het zeer goed van ze dat ze door bouwen op deze manier. Uitbreiden in wat benodigd is ipv uitbreiden voor een of ander puntenlijstje.
Vraag en aanbod daar moet je aan voldoen, goed om te lezen dat dat hier ook gedaan word!