In het Amsterdam Science Park is een opvallende, 72 meter hoge toren verrezen: de Amsterdam Data Tower of AMS1 van Digital Realty. De ict-organisatie voor Nederlands onderzoek, SURFsara, huurt er twee verdiepingen, waarvan er een gebruikt wordt als nieuwe thuishaven voor Cartesius. Dit is de nationale supercomputer, die door Nederlandse wetenschappers kan worden ingezet voor complexe rekentaken, zoals voor klimaatonderzoek, watermanagement, medische toepassingen, chemie en productoptimalisatie.
Tweakers ging eerder dit jaar al op bezoek bij Cartesius: De nationale supercomputer - Op weg naar exascale-computing.
Cartesius is in de afgelopen maanden verhuisd van zijn oude stek bij SURFsara naar de datacentertoren. "De reden dat we de hoogte in moesten, is de hoge grondprijs hier in Amsterdam", vertelt Anwar Osseyran, directeur van SURFsara. Dat toch voor de dure grond van het Science Park is gekozen en niet voor een datacenter ergens in de polder, heeft te maken met de beschikbaarheid van netwerken met hoge bandbreedte.
Op het Amsterdam Science Park is namelijk sinds jaar en dag Nikhef gevestigd en dit onderzoeksinstituut heeft al sinds de jaren zestig behoefte aan veel rekenkracht en data-uitwisseling. In 1965 werd om die reden al een Control Data 3200-computer naar binnen getakeld bij Nikhef om data van een elektronenversneller te verwerken. Door de toegenomen samenwerking tussen verschillende Europese onderzoeksinstanties en de komst van de CERN-deeltjesversneller, ontstond er behoefte om snel grote hoeveelheden data te kunnen delen. Vervolgens raakten de technici van Nikhef betrokken bij de ontwikkeling van internet en uiteindelijk het www. In het midden van de jaren negentig leidde de samenwerking van Nikhef, SURFnet, CWI en SARA tot de start van de internetexchange AMS-IX. SURFsara zit daarmee rechtstreeks op een van de voornaamste internetknooppunten ter wereld, een knooppunt dat onlangs de barrière van 5Tbit/s doorbrak.
De organisatie heeft van de gelegenheid van de verhuizing gebruikgemaakt om Cartesius een opfrisbeurt te geven. Het gaat om een flinke upgrade, maar, zo haast Osseyran zich te zeggen, we moeten geen hogere plek van Cartesius in de prestigieuze Top500 van krachtigste supercomputers verwachten. Volgens hem is dat ook geen doel op zich. "We streven naar een gebalanceerd systeem. We willen alle gebruikers bedienen door zoveel mogelijk applicaties te ondersteunen. Daarom streven we bijvoorbeeld ook naar een hoge bezettingsgraad van de machine, in tegenstelling tot de supercomputers met een hoge ranking, die vaak een lage bezetting hebben."
"Bovendien is de benchmark voor de ranking, Linpack, helemaal niet berekend op een systeem met de verschillende onderdelen waaruit Cartesius nu bestaat", valt Hugo Meiland de SURFsara-directeur bij. Meiland is hpc-specialist bij Atos Big Data & Security en verantwoordelijk voor de hardwareondersteuning van Cartesius. De upgrade is immers geen gebruikelijke; anders dan het simpelweg bijzetten van wat racks met processors van een nieuwere generatie, kiest SURFsara voor de implementatie van een 'Bull sequana cell' van Atos.
Vanaf deze week kunnen wetenschappers deze cell inzetten voor hun rekenwerk en het is voor het eerst dat gebruikers dit clustertype kunnen benutten. In de racks zelf zitten 177 nodes met Xeon-processors van de Broadwell-generatie, aangevuld met 18 Xeon Phi-nodes van de in de afgelopen zomer uitgebrachte Knights Landing-lijn. In totaal leidt de cell tot een toename van de rekenkracht met 284Tflops.
| Bull sequana X1000 cell | ||||||||
|---|---|---|---|---|---|---|---|---|
| Systeem | Node-type | Cores | Cpu | Kloksn. | Geheugen | Aantal nodes | Aantal cores | Tflops |
| sequana X1110 | thin | 32 | 2x 16-core Xeon E5-2697A v4 (Broadwell) | 2,6GHz | 64GB | 177 | 4248 | 284 |
| sequana X1210 | Xeon Phi | 64 | 1x Xeon Phi 7230 (Knights Landing) | 1,3GHz | 112GB (96GB + 16GB on die) | 18 | 1152 | |
Het sequana-onderdeel is een toevoeging aan het bestaande cluster, dat onder andere nog uit nodes met Sandy Bridge-, Ivy Bridge- en Haswell-processors bestaat. Daarnaast was er al een gpu-eiland met Tesla K40M-accelerators.
| Systeem | Node-type | Cores | Cpu/gpu | Kloksn. | Geheugen | Aantal nodes | Aantal cores |
Tflops |
|---|---|---|---|---|---|---|---|---|
| bullx B720 | thin | 24 | 2x 12-core Xeon E5-2690 v3 (Haswell) | 2,6GHz | 64GB | 1080 (eiland: 3x360) | 25.920 | 1078 |
| bullx B710 | thin | 24 | 2x 12-core Xeon E5-2695 v2 (Ivy Bridge) | 2,4GHz | 64GB | 540 (eiland: 1x360+1x180) | 12.960 | 249 |
| bullx R428 | fat | 32 | 4x 8-core Xeon E5-4650 (Sandy Bridge) | 2,7GHz | 256GB | 32 | 1024 | 22 |
| bullx B515 | gpu | 16 | 2x 8-core E5-2450 v2 (Sandy Bridge), 2x Nvidia Tesla K40M |
2,5GHz | 96GB | 66 | 1056/ 132 gpu's |
210 |
Aan de buitenkant van het nieuwe onderdeel valt op dat dit niet de mooie deurtjes en de groene verlichting van de vorige kasten heeft. Daarnaast is duidelijk dat het blok erg compact is. Het bestaat uit drie kabinetten waarvan twee aan zowel de voor- als achterkant 24 blades heeft, met ertussen een kabinet voor de switches. Dit symmetrische ontwerp vergemakkelijkt het beheer en leidt tot ruimtebesparing, volgens Meiland.
De blades bestaan op hun beurt uit drie nodes; elke blade bevat dus ofwel drie keer twee Xeon E5-2697A v4-processors, ofwel drie keer een Xeon Phi Knights Landing-kaart. Bij het ontwerp is rekening gehouden met waterkoeling, legt hij uit. "We nemen de losse onderdelen van Intel of Nvidia af en waar we in het verleden nog wel eens moederborden van SuperMicro afnamen, hebben we de blades nu zelf ontwikkeld. Daarbij hebben we ons eigen systeem voor waterkoeling geïntegreerd, dat zowel de nodes als de switches op temperatuur houdt."
De sequana X1110 met 3x2 Xeon E5-2600 V4 (links) en de X1210 met 3x Xeon Phi
De pompen voor de waterkoeling zitten aan de onderkant van de kasten. Het datacenter is al voorbereid op waterkoeling en de leidingen lopen onder de vloer. Vandaar wordt het verwarmde water, van ongeveer 40º Celsius, naar het dak geleid om af te koelen tot ongeveer 30º Celsius. "Bij deze generatie worden de voedingen boven in de kabinetten nog met lucht gekoeld, bij de volgende generatie gaan we die ook vloeibaar koelen", meldt Meiland.
Wat Atos bij komende generaties ook naar voren wil schuiven, is zijn eigen interconnect, de Bull eXascale Interconnect of BXI. Dit is de basis waarmee het bedrijf de sequana-cellen aan elkaar wil knopen en uiteindelijk tot exascalecomputing wil komen. Het is een pci-e 3.0 x16-interconnect die een theoretische bandbreedte van 100Gbit/s biedt en die initieel tot aan 64.000 nodes met elkaar kan verbinden.
Of SURFsara bij toekomstige supercomputers het sequana-platform trouw blijft, is nog niet zeker. De huidige cell is in ieder geval nog met traditionele Mellanox FDR-lijntjes met de rest van het cluster verbonden; intern maakt het systeem gebruik van de nieuwere EDR-generatie, die een bandbreedte van 100 in plaats van 56Gbit/s biedt, evenals een lagere latency.
"Technologisch gezien zou het logisch zijn om verder te bouwen op sequana", zegt Walter Lioen, Unit Manager Compute Services bij SURFSara. "Maar we gaan een Europese aanbesteding doen, waardoor sequana slechts een van de opties is. In oktober 2018 loopt het servicecontract voor de sequana-cell af. In de loop van volgend jaar starten we met de procedure om Cartesius te vervangen", aldus Lioen. Hoe die vervanging eruit komt te zien, is nog niet bekend.
"De applicaties blijven leidend", zegt Lioen hierover. Zo is voor de uitbreiding ook bewust voor de Xeon Phi-accelerators gekozen. "Deze zijn vanwege de parallelle verwerking geschikt voor machine learning, waar steeds meer vraag naar is. Het is niet makkelijk om software op een efficiënte manier geschikt te maken voor manycores, maar we werken samen met Intel om wetenschappers hiervoor te trainen." Met Xeon Phi probeert Intel een antwoord te geven op het toenemende gebruik van gpu's voor hpc-toepassingen.
Lioen: "We hadden ook voor nieuwe gpu's kunnen gaan, maar de Nvidia Tesla K80-kaarten vonden we te veel op de K40's lijken die we al hebben in een eiland. De Tesla P100 met Pascal-gpu kwam dan weer te laat voor deze upgrade. Het voordeel van de Xeon Phi Knights Landing is de veelzijdigheid. Je kunt ze gewoon booten met Linux." Daarnaast noemt hij de ondersteuning voor AVX-512 en daarmee voor 512bit-simd-instructies als voordeel. Dit kan bij hpc-applicaties flinke snelheidswinsten opleveren.
Een beperkende factor bij het vervangen van Cartesius kan komen te liggen bij het verbruik. SURFsara heeft volgens het contract met het datacenter een limiet van 1MW, terwijl Cartesius nu al bij belasting met Linpack meer dan 900kW verbruikt. Bij de huidige uitbreiding speelde verbruik al een rol. In de top 50 van de Top500 van krachtigste supercomputers zitten op dit moment maar een paar systemen die minder dan 1MW verbruiken en de verwachting is dat dit er alleen maar minder worden.
Is een hoge notering daarmee uitgesloten voor de volgende nationale supercomputer? Lioen maakt zich er weinig zorgen over. Volgens hem veranderen de eisen wat vloeroppervlakte en vermogen betreft niet zoveel, terwijl de technologie juist wel verandert. Meiland meent dat je ook helemaal niet moet willen concurreren met de VS en China, die over enorme budgetten beschikken om nieuwe clusters te bouwen. Mocht de overheid flink willen investeren om met een nieuwe supercomputer een topnotering te bemachtigen, dan blijkt de 1MW-grens toch niet zo hard; Digital Realty kan deze grens oprekken als andere klanten in het datacenter het vermogen niet nodig hebben.
Videokaarten/acceleratorkaarten hebben een beperktere instructieset. TFLOPS worden gebruikt om performance te vergelijken, maar zo eenvoudig is het niet, de ene berekening is de andere niet. General purpose CPU's, zoals de Xeon en (volgens mij) Xeon Phi zijn makkelijker te gebruiken dan de streamprocessoren van nvidia. Je kunt dus niet zomaar een berg CPU's vervangen door GPU's.
Supercomputers
.
