De nationale supercomputer

Op weg naar exascale-computing

Nooit genoeg rekenkracht

Supercomputers zijn de buitencategorie van de computersystemen. Ze spreken al tot de verbeelding sinds het prille begin in de jaren zestig, toen Seymour Cray besloot systemen tot het uiterste te drijven om zoveel mogelijk rekenkracht te verkrijgen. Deels loopt de trend bij de rekenmonsters gelijk met die bij systemen van gewone gebruikers. Ook voor desktops en laptops gold lange tijd dat hoe meer rekenkracht ze boden, hoe beter het was. En net als bij consumentensystemen is ook bij supercomputers het energiegebruik in toenemende mate een hot item.

Desktops en laptops zijn echter in het stadium gekomen waarin de snelheid voor steeds meer gebruikers 'wel goed genoeg' is. Het besturingssysteem en de basisprogramma's draaien vlot, en heel grote sprongen hoeft de processor voor velen niet meer te maken. Bij laptops en 2-in-1-systemen is het verbruik inmiddels veel belangrijker, met het oog op een lange accuduur. Bij gamesystemen is altijd meer grafische rekenkracht gewenst, maar de snelste cpu hoef je al lang niet meer te hebben.

Bij high performance computing is er geen 'goed genoeg'. Er is een continu streven om aanzienlijk meer rekenkracht te leveren, zowel door de cpu's als in toenemende mate door gpu's en dat liefst tegen een zo laag mogelijk energiegebruik. Er is immers steeds meer data om complexe rekentaken op los te laten, zowel in grote bedrijven als bij wetenschappelijke instituten. Steeds meer wetenschappelijke disciplines zien bovendien de voordelen van big data voor het onderzoek in hun vakgebied.

Supercomputers worden gebruikt om realtime sensordata van satellieten over de toestand van bossen te verwerken, om vliegtuigmotoren te simuleren, bij bodemonderzoek door de olie- en gasindustrie, voor simulaties van complexe chemische verbindingen van nieuwe materialen en medicijnen, in het kader van omvangrijke economische modellen, enzovoorts.

Het is daarom dat besloten is door de ministeries van OCW en EZ, en NWO, om de nationale supercomputer een upgrade te geven. Dat gebeurt via Surf, de ict-organisatie voor het onderwijs en onderzoeksinstellingen.

Geschiedenis: CDC en Cray

Nederland telt een aantal supercomputers, systemen die als een geheel aan complexe rekentaken kunnen werken. Het KNMI heeft bijvoorbeeld een omvangrijk cluster, dat werkt aan weer- en klimaatmodellen. Tweakers ging er in 2012 langs voor een videoreport. In Groningen stond lange tijd een IBM Blue Gene-cluster van de Universiteit Groningen en Astron, het instituut voor radioastronomie, realtime-telescoopdata te verwerken. In België biedt het bedrijf Cenaero rekendiensten aan met een bijzonder krachtig systeem en dit jaar moet er een nieuwe Vlaamse supercomputer bij de KU Leuven in werking gezet worden die tot de honderdvijftig krachtigste systemen ter wereld moet gaan behoren.

Van niet ieder systeem is even duidelijk waar en bij wie het staat. Zo staat er in de top vijfhonderd van supercomputers van Hewlett-Packard een Nederlands cluster bij een niet nader genoemde 'it service provider'. Bovendien is lang niet ieder systeem publiekelijk bekendgemaakt. Zo zijn er wellicht high- performance-computingsystemen bij overheidsorganen als inlichtingendiensten waar niets over bekend is.

Een reusachtig rekenmonster

Een systeem dat nadrukkelijk wel in de openbaarheid treedt, is de 'nationale supercomputer'. Dit is het belangrijkste rekensysteem voor de Nederlandse universitaire wereld. Wetenschappers kunnen hiervan gebruikmaken om grote hoeveelheden data te verwerken, taken waar andere systemen weken, maanden of zelfs jaren over zouden doen. Het omvangrijke systeem staat in een relatief bescheiden ruimte bij SURFsara op het Science Park in Amsterdam. Binnenkort krijgt het een plek in het Nationale HPC Datacentrum dat op het Science Park in aanbouw is.

SURFsara is in 1971 opgericht als SARA door de Universiteit van Amsterdam, de Vrije Universiteit Amsterdam en het Centrum voor Wiskunde en Informatica als verantwoordelijk instituut voor de ict-infrastructuur voor onderzoek. In de hoedanigheid van Nationaal HPC Centrum huisvest de organisatie al sinds 1984 supercomputers, te beginnen met de Control Data Corporation Cyber 205, een voor die tijd reusachtig rekenmonster.

Dit systeem bood in zijn eerste configuratie een piekrekenkracht van 0,1 gigaflops, oftewel 100 miljoen floatingpointbewerkingen per seconde. Ter vergelijking: een enkele Core i7-6700K biedt volgens de benchmark Linpack een rekenkracht van meer dan 200Gflops, een GeForce GTX 980 Ti gaat over de 5000Gflops: respectievelijk 200 miljard en 5000 miljard flops dus.

In de jaren tachtig en negentig werd de CDC opgevolgd door Cray-, SGI- en IBM-systemen, en bleef Sara de standplaats voor nationale supercomputers, met namen als Elsa, Teras, Aster en Huygens.

SURFsara Nationale Supercomputers
Jaar	Systeem	RPeak Gflops	kW	Gflops/kW
1984	CDC Cyber205-­611	0,1	250	0,0004
1988	CDC Cyber205-­642	0,2	250	0,0008
1991	CrayY-­MP4/464	1,33	200	0,0067
1994	Elsa: Cray C98/4256	4	300	0,0133
1997	Elsa: CrayC916/121024	12	500	0,024
2000	Teras: SGI Origin 3800	1024	300	3,4
2004	Aster: SGI Origin 3800 +SGI Altix 3700	3200	500	6,4
2007	Huygens: IBM p575 Power5+	14.592	375	40
2008	Huygens: IBM p575 Power6	62.566	540	116
2009	Huygens: IBM p575 Power6	64.973	560	116
2013	Cartesius: Bull bullx B710 + R428 E3	270.950	245	1106
2014	Cartesius: + Bull bullx B515 (Nvidia K40m)	+209.933	+44,4	4728
2014	Cartesius: Bull bullx compleet (+B720)	1.559.155	791	1971

Huygens was de voorloper van de huidige nationale supercomputer, Cartesius. In zijn eerste configuratie, bij de bouw in 2007, bestond Huygens uit 1920 IBM Power5+-processors die op 1,9GHz liepen. De nodes van de IBM System 575 waren via Infiniband verbonden en leverden samen een rekenkracht van 14,6 teraflops. Bij de uiteindelijke configuratie, een jaar later, werden er 3328 Power6-cpu's met een kloksnelheid van 4,7GHz ingeschakeld. Het totale werkgeheugen was toen 15,6TB groot en de diskcapaciteit bedroeg 972TB. Het systeem was in 2008 goed voor plek 53 van de wereldwijde top vijfhonderd van supercomputers.

Huygens oplappen?

Stilstand is achteruitgang en dit geldt vooral voor computers. Na zijn ingebruikname zakte Huygens van kwartaal op kwartaal verder op de ranglijst. Eind 2011 was de achterstand van Neerlands trots ten opzichte van andere supercomputers zo groot geworden dat het systeem uit de top vijfhonderd verdween.

Nederland dreigde achterop te raken bij high-performance-computing en dat wilde de toenmalige minister van Economische Zaken, Landbouw en Innovatie, Maxime Verhagen, niet laten gebeuren. Vol goede moed kondigde hij een upgrade van 7 miljoen euro voor Huygens aan, waarmee 'een topnotering weer in het vizier' moest komen.

Dat was echter te vroeg gejuicht. Oplappen van de IBM System 575 zat er niet meer in. Het was tijd voor een supercomputer van een nieuwe generatie.

De rechte groene lijn tussen 2009 tot in 2013 laat zien dat Huygens door het gebrek aan upgrades langzaam uit de top vijfhonderd (blauwe lijn) verdwijnt

Van Huygens naar Descartes

De nationale supercomputer die in 2013 in gebruik genomen werd, heet Cartesius, de Latijnse naam van René Descartes. Niet toevallig was dat net als Huygens een onderzoeker die veel voor de Nederlandse wetenschap betekend heeft en die bovendien niet vies was van een potje rekenwerk: Apud me omnia fiunt Mathematicè in Natura. Daarnaast is voor René Descartes gekozen vanwege de link met Frankrijk. Het Cartesius-systeem is namelijk afkomstig van het Franse it-bedrijf Atos, dat onder de Bull-merknaam hpc-systemen levert.

We zitten in de kleine ruimte voor de systeembeheerder bij SURFsara. De wand is gevuld met geprinte A4-tjes, met plakband aan elkaar geplakt, waarop de topologie van Cartesius schematisch is weergegeven, een schril contrast met het hightech systeem in de ruimte erachter. We zijn hier op uitnodiging van Hugo Meiland, hpc-specialist bij Atos Big Data & Security en verantwoordelijk voor de hardwareondersteuning van Cartesius. Aanwezig is ook Michel Scheerman, systemprogrammeur bij SURFsara. De aanleiding is de omvangrijke upgrade die Cartesius aan het einde van het jaar krijgt.

"Niet alle wetenschappers waren daar even blij mee"Cartesius is in tegenstelling tot Huygens ontworpen om meer dan eens een upgrade te krijgen. Daarnaast speelden de prestaties van het bestandssysteem en het verbruik een belangrijke rol bij de aanbesteding. Uiteindelijk wist Atos met zijn voorstel de opdracht in de wacht te slepen, maar dit betekende een grote omwenteling: van IBM's PowerPC-architectuur naar Intels x86. "Niet alle wetenschappers waren daar even blij mee, ze moesten delen van hun code herschrijven om optimaal van de andere processorarchitectuur gebruik te kunnen maken", vertelt Scheerman.

Huygens is bij de overstap ontmanteld en in de container gegaan. "De mensen die daarbij hebben geholpen hebben nog steeds zere knieën van het uit de grond trekken van de kabels", grinnikt Meiland. De systemen bij Huygens waren namelijk nog met elkaar verbonden via koperen kabels, die een stuk zwaarder zijn dan de glasvezelkabels van Cartesius. "In totaal had Huygens dertig kilometer aan koperen kabels. Je kon er de hele ringweg van Amsterdam mee beleggen", zegt Scheerman.

Meiland rekent voor dat Cartesius over veertig kilometer kabel beschikt, grotendeels glas. "Dat moet ook wel, want de afstanden tussen de onderdelen zijn te groot. Een koperen kabel mag niet langer dan tien meter zijn voor goede signaaloverdracht. Dat is geen probleem bij de supercomputer van het KNMI, want die bestaat uit zes racks, maar Cartesius bestaat uit veertig racks."

Die racks zijn verdeeld in verschillende onderdelen. In zijn oorspronkelijk opgeleverde vorm, in april 2013, bestond Cartesius nog slechts uit twee racks met 180 thin nodes en 32 zogenoemde fat nodes, systemen met veel cores en geheugen. "Deze nodes zijn bedoeld voor alle gebruikers die van Huygens kwamen. Bij dat systeem hadden alle nodes de beschikking over 256GB. De trend is tegenwoordig minder geheugen per core, maar we hadden nog gebruikers die meer geheugen nodig hadden voor hun rekenwerk." De nodes van dit onderdeel beschikken elk over vier Intel Xeon E5-4650-octacores, die nog op Sandy Bridge gebaseerd zijn.

Bij SURFsara hanteren ze de term 'eiland' om delen van Cartesius aan te duiden. Binnen elk eiland zorgen de onderlinge verbindingen tussen nodes voor de maximale bandbreedte, tussen eilanden is er een verdelingsfactor van 3:1.

Nieuwe eilanden

In 2013 werden twee nieuwe eilanden toegevoegd, die in totaal uit 540 thin nodes bestaan, met elk twee Intel Xeon E5-2695 v2-processors, dit zijn chips met twaalf cores die op Ivy Bridge gebaseerd zijn. Een jaar later kreeg het cluster een uitbreiding met een accelerator-eiland, dat vooral parallelle rekenkracht biedt dankzij de aanwezigheid van Nvidia Tesla K40M-gpu's.

Systeem	Node-type	Cores	Cpu/gpu	Kloksn.	Geheugen	Aantal nodes	Aantal cores	Tflops
bullx B720	thin	24	2x 12-core Xeon E5-2690 v3 (Haswell)	2,6GHz	64GB	1080 (eiland: 3x360)	25.920	1078
bullx B710	thin	24	2x 12-core Xeon E5-2695 v2 (Ivy Bridge)	2,4GHz	64GB	540 (eiland: 1x360+1x180)	12.960	249
bullx R428	fat	32	4x 8-core Xeon E5-4650 (Sandy Bridge)	2,7GHz	256GB	32	1024	22
bullx B515	gpu	16	2x 8-core E5-2450 v2 (Sandy Bridge), 2x Nvidia Tesla K40M	2,5GHz	96GB	66	1056/ 132 gpu's	210

In november 2014 kreeg Cartesius de vorm die hij nu heeft, met een flinke uitbreiding met Intel Haswell-Xeons. Er werden maar liefst 1080 nodes toegevoegd, verdeeld over drie eilanden. Door de uitbreiding werd het aantal cpu-cores uitgebreid naar maar liefst 40.960. De theoretisch maximale rekenkracht komt daarmee uit op bijna 1,6 petaflops, maar in de praktijk kan dit niet gehaald worden.

Voor een plek in de top vijfhonderd moet een hpc-cluster namelijk de synthetische benchmark LinPack draaien, een oude in Fortran geschreven benchmark die vooral om vectorberekeningen draait. Het gaat hierbij om gelijktijdige berekeningen aan floatingpoint-, of drijvendekommagetallen, uitgedrukt in floating point operations per second, of flops. Een supercomputer moet als een geheel deze software draaien en uiteindelijk een enkele uitkomst geven. Bij Cartesius zijn niet alle onderdelen zo met elkaar verbonden dat ze samen tot die uitkomst kunnen komen. De Ivy Bridge- en Haswell-thinnodes kunnen dit wel en bieden samen een theoretische rekenkracht van 1327Tflops. Bij de recentste benchmarksessie werd in de praktijk 1088Tflops gehaald, goed voor plek 69 in de top vijfhonderd. In 2014 wist Cartesius nog plek 45 te halen. De daling op de ranglijst is nog niet significant, maar genoeg om een nieuwe uitbreiding aan te kondigen.

Meer petaflops

SURFsara maakte in februari bekend dat de uitbreiding deels uit Intel-processors van de Broadwell-generatie gaat bestaan en dat de rekenkracht moet toenemen van theoretisch 1,559Pflops tot 1,8Pflops. Dat blijkt echter maar een voorbeeld van wat zou kunnen; de opdracht is nog niet precies ingevuld.

Toch kan Meiland al wel iets meer vertellen. "In feite gebeurt er niet veel anders dan bij eerdere uitbreidingen. We plaatsen een eiland bij. We hebben nu twee switches, daar komt een derde bij om alles met elkaar in verbinding te houden. Waar de uitbreiding precies uit gaat bestaan weten we nog niet. SARA heeft een budget vastgesteld, maar de vrijheid behouden om te kiezen of het iets met Broadwell gaat doen, iets met Intels Xeon Phi Knights Landing-accelerators of dat het Nvidia Pascal-gpu's gaat toepassen."

Atos kan deze onderdelen bieden met zijn Bull Sequana-platform. Dat is het platform waarop nieuwe generaties supercomputers van het bedrijf gebaseerd zijn en waarmee Atos de race naar exascale-computing inzet. Fabrikanten zijn in deze strijd beland met het streven het eerste cluster te bouwen dat een exaflops, oftewel een miljard miljard flops, aan rekenkracht biedt.

Bull Sequana X1000 met aan weerszijden twee kabinetten met plek voor 144 compute nodes en in het midden een switch-kabinet. Onderaan zitten de hydraulische modules voor vloeibare koeling.

Onderdeel van Sequana, en dus van de upgrade van Cartesius, is verder de komst van Infiniband EDR. Infiniband is een standaard van het bedrijf Mellanox voor de communicatie tussen de onderdelen van een supercomputer. Dankzij de hoge doorvoersnelheid en de lage latency is het de meestgebruikte interconnectstandaard voor hpc-systemen wereldwijd. Cartesius gebruikt nu nog Infiniband FDR, met een bandbreedte van 56Gbit/s, opgebouwd uit vier kanalen van 14Gbit/s. Cartesius gebruikt actieve glasvezelkabels met aan het uiteinde een omzetting van glas naar koper waarbij elektronica is geïntegreerd. Dat maakt de kabels duur; ze kosten honderden euro's per stuk. "De integratie garandeert dat de aansluiting optimaal en de latency laag is", noemt Meiland als reden voor de keuze.

Met de overstap naar Infiniband EDR neemt de bandbreedte toe tot 100Gbit/s. Met die bandbreedte is Cartesius voorbereid op de toekomst, maar de echte winst zit volgens de Atos Bull-medewerker in de latency, de tijd die het kost om van de ene naar de andere computer te komen.

"Om stukjes data van een harde schijf te halen zou 11,5 dagen duren" "De verbindingen tussen de onderdelen zijn kritisch. Die zorgen ervoor dat je genoeg data aan je cpu en alu kan blijven voeden om door te rekenen. De interconnectie is wat het tot een supercomputer maakt", zegt Meiland. Hij rekent voor: "Een 1GHz-cpu doet er 1 klokcycle over om zijn eigen registers te benaderen; data uit L1-cache halen doet hij in 2 cycles. Vertalen we dat naar menselijke schaal, dan zou het, zeg, 1 seconde zijn. Bij L2-cache duurt het bij die schaal 2 seconden en data uit het geheugen halen duurt dan 3,2 minuut. Om stukjes data van een harde schijf te halen zou dan 11,5 dagen duren. Je kunt natuurlijk overstappen naar flashgeheugen, dan breng je het terug tot een dag."

Oranje spaghetti

Meiland maakt nu de overstap naar de interconnect. "Op het moment dat je een verbinding hebt en iets uit het geheugen van een andere computer gaat pakken, doe je daar met een 1Gbit/s-koperlijn 3,3 uur over. Dat is heel wat minder dan 11 dagen, maar het kost nog altijd heel wat meer tijd dan het benaderen van het eigen geheugen. Met 10Gbit/s op koper breng je dat aardig terug, naar 50 minuten. Met Infiniband FDR zit je op ongeveer 12 minuten en dan kom je ergens; dan is het nog maar vier keer zo lang als uit het eigen geheugen. Met EDR zitten we straks op ongeveer 8 minuten."

Aan de achterkant van ieder chassis komen 18 glaskabels uit de geïntegreerde Infiniband-switch. In het chassis zitten daar ook nog eens 18 servers op aangesloten. In totaal heeft een Infiniband-switch dus 36 aansluitingen. Die 36 is niet zomaar gekozen, claimt Meiland. "Je kunt daar met je topologie heel veel kanten mee uit; je kunt de touwtjes verdelen over 2, 3, enzovoort. Het maakt je flexibel." Per 18 horizontaal komen ze uit de Level-1 Infiniband-switch, waarna ze naar de Level-2-switches geleid worden en daar verticaal over verdeeld worden. Ook die kruisverbanden hebben een reden. "We praten vanaf een van de nodes met een van de switches en willen naar een andere node. Met die kruisverbanden verdeel je de load over de volgende 18 switches. De reden daarvoor is dat we statistisch gezien geen bottleneck creëren."

Het levert op sommige plekken een enorme oranje spaghetti aan kabels op, aangevuld met de reguliere ethernetkabels die gebruikt kunnen worden voor de overige communicatie met de machines. Kabels worden bovenlangs in goten geleid. Te zien is dat kabelmanagement met glas ondanks de hoeveelheid een stuk eenvoudiger moet zijn dan met koper. Het gpu-eiland van Cartesius werkt nog met zwarte koperen kabels, die een stuk dikker en minder flexibel zijn.

Waterkoeling

In de ruimte waarin Cartesius en andere hpc-systemen staan, klinkt het bijna alsof je in een vliegtuig staat, maar de nationale supercomputer is maar deels verantwoordelijk voor de noise. Een groot deel van het systeem, bestaande uit de bullx B720-blades, wordt namelijk met vloeistof gekoeld, waardoor geen ventilators nodig zijn.

Het gaat om een gesloten koelsysteem, dat de vloeistof via dikke slangen rechtstreeks de systemen inpompt. De processor, de chipset en de overige onderdelen worden van zo dichtbij mogelijk gekoeld. Bull heeft hiervoor zijn eigen chassis ontworpen, waarbij het de kunst was om mogelijkheden voor flexibel beheer te behouden. De blades kunnen gewoon in en uit het kabinet geschoven worden voor onderhoud, zonder dat Cartesius uitgeschakeld hoeft te worden.

Aan de achterkant is hiervoor een connector geplaatst die direct en volledig druppelvrij verbinding met het koelsysteem maakt. Ook de rest van de onderdelen blijft te benaderen. Een systeem van kanalen leidt de vloeistof in de blade langs de processors. De geheugenmodules zitten tussen thermisch geleidend foam met een koperen koelplaat.

"Je hoeft alleen maar te pompen"De vloeistof komt met een temperatuur van ongeveer 30 graden het systeem binnen en gaat er met 35 graden weer uit. Vervolgens wordt de vloeistof bij Cartesius naar het dak van het SURFsara-gebouw geleid om af te koelen. "Je hoeft alleen maar te pompen, er vindt geen actieve koeling plaats, wat weer energie scheelt. Het hoeft buiten alleen maar minder dan 34 graden te zijn om voldoende af te koelen. Dat is het in Nederland meestal wel", zegt systeembeheerder Scheerman.

"Luchtkoeling blijft vast nog wel even, maar waterkoeling is in opmars", vult Meiland aan. "Het hangt van de systemen af. Dit zijn systemen waarbij we in een kleine ruimte ontzettend veel warmte genereren. We willen de computer zo klein mogelijk houden en er zoveel mogelijk cpu-capaciteit in stoppen."

De oudere R428-blades van Cartesius zijn echter nog wel voorzien van koeling met ventilators. Zo worden de fat nodes met vier Xeon E5-4650-octacores en 256GB geheugen nog met lucht gekoeld. Deze systemen zijn rond moederborden van SuperMicro opgetrokken.

Eveneens met lucht gekoeld, maar wel ontworpen door Bull zijn de B515 accelerated blades met Nvidia Tesla-kaarten. Deze systemen hadden wel met vloeistofkoeling kunnen werken, maar daar is niet voor gekozen, omdat SURFsara ondersteuning voor gpu direct wilde, legt Scheerman uit. Dit is een truc die is ontwikkeld door Mellanox en Nvidia om de cpu te omzeilen als je vanuit het ene systeem het gpu-geheugen van het andere wil benaderen. "Hier zit de Infiniband-kaart gelijnd in dezelfde pci-configuratie als de gpu-kaart. Je hoeft dus niet over de Intel Quickpath Interconnect om te praten met het geheugen van de gpu. Dat zou namelijk meer tijd kosten."

Meiland: "Bij de B515 zie je twee sockets op verschillende dochterborden. Het bordje onderaan is een interconnectbord, maar de sockets zelf en het geheugen zitten daar dwars op. Tussenin zitten de grafische kaarten en ze beschikken dus over twee Infiniband-kaarten. Aan de achterkant van die racks zie je ook dat alle 18 poorten bezet zijn, terwijl er maar 9 servers inzitten. Dat klopt, want ze hebben twee Infiniband-kaarten."

Nieuwe ronde, nieuwe benchmarks

Achter de opvallend vormgegeven deurtjes van de kabinetten van Cartesius gaat een interessante mengelmoes van technieken en hardwaregeneraties schuil. Die verscheidenheid gaat nog eens toenemen met de komst van de upgrade, later dit jaar. Nieuwe Xeon-processors, Xeon Phi-accelerators, gpu's op basis van een nieuwe architectuur en dat alles in een enkel eiland op een geheel nieuwe plek in het Nationale HPC Datacenter. Daarbovenop komt nog een upgrade voor Infiniband en wellicht verbeterde vloeistofkoeling.

Het in aanbouw zijnde HPC Datacenter op het Science Park Amsterdam, komende thuishaven van Cartesius

Zo blijft Neerlands nationale computer meedoen met de grote jongens wereldwijd en kunnen wetenschappers er terecht met nog zwaarder rekenwerk en grotere datasets. Atos' hpc-specialist Meiland en systeembeheerder Scheerman kunnen niet wachten tot ze de eerste benchmarks kunnen draaien. "In september, oktober gaan we uitleveren. Ergens daarna zorgen we dat we het systeem vrijhouden, zodat we Linpack een nacht door kunnen laten draaien voor een topvijfhonderdnotering. Dat zijn de mooie momenten waarop we na een nacht vol spanning hopelijk een mooie uitkomst krijgen."

Met de uitbreiding naar in theorie 1,8 petaflops is Cartesius nog ver verwijderd van exascale-computing, maar volgens Meiland is het slechten van de grens van 1 exaflops dichterbij dan het lijkt. "Technisch gezien, met de machines, kan dat binnen afzienbare tijd. Er zijn nog wat technische stappen te maken, maar 2020 gaan we wel halen", voorspelt hij. "Het probleem zit hem bij de software. Linpack, dat kan daarmee overweg, maar ja, dat is een synthetische benchmark. De software schaalt niet genoeg."

Daar snijdt de Atos-medewerker een belangrijk onderwerp aan: hoe zit het met de software? En wat gebeurt er met de opslag, het beheer en het daadwerkelijke gebruik? Genoeg reden om in de toekomst nog eens op bezoek te gaan bij Cartesius.

Reacties (110)

[Speedy_JN]

Maar, wat is de toegevoegde waarde voor de consument na al deze investeringen? Altijd leuk supercomputers etc, maar ik ga er echt niet sneller boodschappen van doen.
Wetenschappers, benchmarks... jaja.... wat is bijvoorbeeld een concreet voorbeeld van eerder behaalde resultaten? Alle ontwikkelingen?

[jamu]

Toevallig ben ik zelf een wetenschapper die dergelijke experimenten uitvoert op de Cartesius, voor het specifieke geval van grondwatermodellen. Deze modellen worden bijvoorbeeld door RWS gebruikt om de waterverdeling binnen Nederland te berekenen in periodes van droogte en zijn erg rekenintensief. Een typische rekentijd is een maand doorlooptijd voor het doorrekenen van een historische reeks van 30 jaar. Om deze berekeningen te versnellen ben ik bezig onze rekencodes te parallelleliseren met MPI (gedistribueerd geheugen) en deels ook met OpenMP (gedeeld geheugen). In mijn geval moet ik dus de grondwatervergelijking oplossen, waarbij de discretisatie op een rooster sec neerkomt op het oplossen van een zeet groot ijl lineair stelsel Ax=b binnen een niet-lineaire lus (Picard/Newton). Dit gebeurt met een zogenaamde Schwarz domein decompositie methode binnen een Krylov methode (CG) waarbij het rekenrooster wordt verdeeld over meerdere subdomeinen en elk subdomein wordt toegekend aan een fysieke CPU core (MPI task). Bottleneck is de (globale) MPI communicatie tussen de subdomeinen, die inherent is aan CG (inwendig producten). De Cartesius heeft gelukkig een zeer snel interconnect (Infiniband) met een lage latentie en een hoge bandbreedte.

Ik gebruik de Cartesius nu om enkel benchmarks te doen om een gevoel te krijgen voor de schaling; het uiteindelijke operationele model gaat elders draaien. De redenen zijn divers: 1) veel van mijn gebruikers willen lekker onder Windows blijven werken; 2) voor niet NWO-ers moet je betalen voor de rekentijd op de Cartesius; 3) wij hebben heel veel data die we het liefst bij onze eigen (Windows) tools willen hebben (o.a. GIS), 4) duizenden cores is leuk, maar vaak is men al met een orde versnelling dik tevredenen. Het punt is ook dat er een inherent serieel gedrag in onze modellen zit omdat ze instationair zijn en veel tijdstappen nodig hebben om door te rekenen.

Dus zelf gebruik ik voornamelijk de Cartesius om onze eigen hardware af te stemmen op onze codes. Vooral omdat we geen duur interconnect hebben is het handig om te weten wanneer communicatie overhead een echte issue gaan worden om zo "coarse grained" mogelijk te kunnen rekenen voor onze klanten.

[Anoniem: 349463]

Mooi en zeer interessant verhaal, maar je hebt nog steeds niet antwoord gegeven op de vraag waar je op gereageerd hebt volgensmij.

Wat is er nu uit die supercomputers gekomen waar de gewone consument profijt van heeft? Of wat voor voordeel heeft die grondwaterberekening voor de gewone consument?

[Ducksy88]

Voor "de gewone consument" komt er uit zeer hoogstaande techniek niet direct iets bruikbaars. De spaceshuttle heeft in de jaren 60 niet direct voor ruimte reizen gezorgd en Formule-1 auto's hebben nog steeds maar mondjes maat hun technologie laten doorsijpelen in consumenten producten. Alles pas jaren na introductie; dat is nu eenmaal hoe zulke ontwikkeling gaat.

De berekeningen en data die zo'n computer, met aansturing van iemand als Jamu, kan maken zijn wel degelijk van belang voor "de gewone consument".

Wil jij over 30 tot 60 jaar nog veilig in de Nederlandse polders wonen zal er flink wat berekend moeten worden. Wilt de gemeente Amsterdam veilig de A10-zuid gaan ingraven zonder dat de halve Zuidas over een half decennium 20meter de grond in zakt, zijn dit soort computers nodig om extreem complexe modellen te kunnen gebruiken. Wilt de Nederlandse economie -verantwoord- gebruik blijven maken van de Noordelijke gaswinning zullen modellen op zulke computers doorberekend moeten worden.

Om het leven van onze "maar" 17miljoen Nederlanders mogelijk te maken is er op de achtergrond een boel (reken)werk nodig waar je als "gewone consument"(of burger) helemaal nooit iets van merkt. Maakt het minder zichtbaar maar zeker niet minder belangrijk.

De vraag is echter of er ooitt nog iets van deze techniek naar de consumentenwereld komt. Zoals het artikel al stelt is er eigenlijk helemaal geen vraag van de consumentenmarkt in supersnelle computers; we zitten op een plateau, het is wel prima. Wellicht dat we zullen zien dat er meer connecties tussen consumenten-systemen/componenten via glasvezel zullen gaan. Koper is duur, zwaar en langzaam en hier zie ik dus wel een verdere ontwikkeling. Nu is maar mondjesmaat internet door Glas (maar ook niet veel verder dan tot aan de voordeur) en een tosslink tussen je audio apparatuur een van de weinige consumenten toepassingen.

[meirnoordermeer]

Er is wel degelijk nut voor supercomputers. Op mijn studie heb ik te maken gekregen met molecuulinteracties en ondanks dat de berekeningen die ik heb uitgevoerd niet al te lang duurde op een normale computer, kan een dergelijke berekening enorm complex worden en zelfs dagenlang duren voor een resultaat.

Wat betekent dat voor de consument? Als deze supercomputers er niet zouden zijn zouden we niet zoveel over de werking van het lichaam weten en zouden we niet verder komen met bijvoorbeeld medicijnontwikkeling. Je hebt er dus misschien niet op een directe manier mee te maken, maar er is best kans dat als je in het ziekenhuis beland deze supercomputers hebben bijgedragen aan jouw gezondheid

[jamu]

Nou, je hebt er dus indirect profijt van dat je als consument Hollandse groenten in de schappen vindt en droge voeten houdt Natuurlijk is het allemaal niet zo zwart-wit, want van hardcore modelresultaten naar feitelijk uitvoerend beleid zitten ook nog de nodige lagen.

[Reactie gewijzigd door jamu op 23 juli 2024 02:25]

[Anoniem: 399807]

Kan van belang zijn denk ik, voor dijk onderhoud? Uitdrogende dijken zijn niet goed. En het grondwaterpeil, zo kan ik me voorstellen, heeft daarop ook betrekking.

[jamu]

Helemaal juist. Samen met een collega werk ik nu aan een nieuwe code voor consolidatie / piping berekeningen rondom dijken ten behoeve van dijkstabiliteit. We werken momenteel aan een project voor Waterschap Rivierenland voor een aantal van pilotlokaties. Punt is dat deze berekeningen zeer traag zijn en we dus aan het paralliseren moeten (lineaire solver). Binnenkort maar even een makefile-tje klussen op de Cartesius en hopen dat alles soepel onder Linux draait. Hopelijk alleen kwestie van wat slashes omklappen

[Dorstlesser]

Tja, je moet het ook zo zien he: ik gebruik die cluster ook, voor m'n werk, en ik ben ook een 'gewone consument' Er zijn in Nederland genoeg wetenschappers die dagelijks van die super computer gebruik maken voor hun werk, dat anders moeilijk gedaan kan worden. Wij zijn ook gewoon mensen; zonder krachtige computer, kan je de universiteiten wel sluiten; of we moeten de rekenkracht ergens anders inhuren.

Ik neem aan dat het niet heel direct invloed zal hebben op IEDEREEN in Nederland, maar in principe kan iedereen, of het nu voor kanker onderzoek of voor klimaatmodellen is, deze computer inschakelen. Of het dan per se 7 miljoen of 8 miljoen moet kosten, daar kan ik niet over oordelen, misschien niet inderdaad, dat is een goed punt, maar een goede supercomputer is wel heel handig hoor

[Skywalker27]

Bij ons worden op deze systemen nieuwe en zuinigere motoren enz. ontwikkeld

[Speedy_JN]

Duidelijk verhaal!

[Anoniem: 221563]

En wat heeft dit te maken met bovenstaand topic?

[pg-expert]

Een aantal jaren geleden werkte ik voor SARA. Er werd toen onderzoek gedaan naar de gevolgen van een stent in de kransslagaderen na een hartinfarct. Door dat onderzoek zijn levens gered: er bleken na simulatie van veel verschillende plaatsings methoden in een aantal gevallen (die echt gebruikt waren bij patienten) een grotere kans op een nieuw hartinfarct.
Andere voorbeelden: verbeterde brandstof injectie systemen voor auto's waardoor de auto zuiniger en minder vervuilend wordt.
Betere medicijnen doordat de chemische invloed op bv menselijke cellen wordt gesimuleerd.
Onderzoek naar erfelijke ziektes dmv DNA vergelijkingen. En een ander belangrijk maatschappelijk voordeel van DNA onderzoek: het is nu veel makkelijker om criminelen en terroristen op te sporen en te veroordelen.

[Anoniem: 221563]

Maar dat geeft nog niet aan wat armoede en honger te maken heeft met Super Computers? Dan kun je dat bericht bij alles wel plaatsen wat je niet interessant vind.

Heb je ooit bijvoorbeeld het weerbericht gekeken? Nou, dan zie je wel degelijk het nut in van super computers

[vgroenewold]

Vraag; wat is het nut van de pc waar je deze reactie op typed? Had je dat geld niet beter kunnen inzetten en doneren?

[Anoniem: 495634]

Meer in algemene zin, veel van de uitvindingen die Seymour Roger Cray heeft gedaan om snelle supercomputers te maken zitten nu nog in je CPU en je zou geen spelletjes spelen zonder dat...

Daarnaast is het niet zo dat wetenschap *direct* 1 op 1 voordeel voor consument dient te hebben. Het is: eerst onderzoeken, dan hopelijk resultaten, dan mogelijk commercialisering. Maar onderzoek kan ook iets uitsluiten.

(Ik heb zelf Huygens wel eens geprogrammeerd, voor wiskundig onderzoek, dit ging om error-corrigerende codes, zonder dat geen ethernet, Wi-Fi, GSM, etc. Uitkomst van dat onderzoek was dat verder research naar een bepaald soort codes geen nut heeft. Ook heel belangrijk!)

Als het je gaat over "geld verspilling", ik zou vechten tegen figuren als PWC, Deloitte, etc; bedrijven die jaren lang onze overheid kaalplukken door gebakken lucht, buggy software en bijbehorende oneindige consultancy te verkopen. Denk aan digitaal strafrecht software (300M€ and rising), OV chipkaart etc...

[Reactie gewijzigd door Anoniem: 495634 op 23 juli 2024 02:25]

[Paul C]

Een goed voorbeeld van de toepassing van supercomputers (niet direct deze) die bijdraagt aan consumenten is het simuleren van auto crashes. Vroeger moest een autofabrikant een daadwerkelijk en extreem duur prototype tegen de muur knallen om erachter te komen hoe een auto zich gedraagt in een crash. Er werden tientallen prototypes en vroege productievoertuigen gecrasht tegen heel hoge kosten en wat vooral veel tijd kost, want als je iets ontdekt wat beter kan, moet je eerst een nieuw prototype bouwen.
Tegenwoordig gaat het crashtesten volledig digitaal. De fysieke crashtest gebeuren helemaal op het einde en alleen om te controleren dat de simulaties 100% correct waren (dat zijn ze doorgaans, het gaat dan vooral nog om de juridische aansprakelijkheid). Doordat het crashen op de computer gebeurt kan er veel sneller en goedkoper onderzoek gedaan worden. Dit betekend dat auto's verder ontwikkeld worden waardoor de auto's veiliger zijn voor consumenten. Op deze manier redden supercomputers dus levens.

[DrSnuggles]

Wetenschappelijke bevindingen hebben tijd nodig voordat concrete toepassingen in de samenleving worden gevonden. Om een voorbeeld te noemen uit eigen huis; integratie van verschillende genoomwijde soorten data (denk aan genetische variatie, in hoeverre genen aan of uit staan en eventuele eiwit expressie) vergt veel computerkracht. Dergelijk onderzoek levert inzicht op voor ziektebeelden die we momenteel niet of nauwelijks begrijpen. Natuurlijk zullen zulke eerste inzichten niet meteen hun weerslag hebben op bijvoorbeeld medicatie of behandelingen, maar op termijn wel.

Knowledge is power.

[supersnathan94]

Buiten dat om wordt in het artikel ook al gemeld dat big data steeds meer in opkomst is. Om het even op consumenten niveau te houden wil ik gebruik maken van Apple's keynote van vorige week maandag. Door een wereldwijd onderzoek naar parkinson en diabetes via researchkit zijn onderzoekers nu tot de conclusie gekomen dat medicatie voor parkinson soms hele andere uitwerkingen kan hebben dan tot nu toe gedacht. Voor een parkinson patiënt is dit dus heel erg belangrijk. Verkeerde medicatie is natuurlijk erg vervelend, maar door de massieve schaal waarop dit gebeurt zijn er nu verbanden zichtbaar. Realtime monitoring van big data vereist enorm veel rekenkracht om statistische anaylses op uit te voeren. Zelf ben ik bezig met een simpele literatuur mining systeem wat alle medline artikelen scant op een lijst termen en vervolgens een overlap berekent met andere lijsten met termen. Gewoon een vrij simpele co-occurence. Op onze vrij redeleijke xeon workstations duren deze berekeningen ongeveer 2 weken. Gezien het feit dat er continue artikele worden toegevoegd moet ik dus een maandelijks update regime hanteren omdat ik anders iedere dag weer opnieuw kan beginnen. Een supercomputer als dit is met een paar minuten klaar (hoogstens 10 afhankelijk van de internet snelheid en download limieten bij ncbi)

Het omrekenen van de gegenereerde tabellen naar json files die we kunnen inlezen met jscript voor visualisatie kost ongeveer 2 minuten per tabel per thread. Met 500 tabellen op een 8-core cpu duurt het dus ongeveer 2-3 uur om dit te doen afhankelijk van de grootte van deze tabellen en de efficiëntie van mijn threading. En dan ga ik ws ook tegen geheugen limitaties aanlopen (64GB ddr4).

Deze supercomputer kan dit in een keer parallel doen en is dus binnen twee minuten klaar (ook hogere clocksnelheden).

Waar het nu dus 1 keer in de maand gedraait kan worden zou cartesius dit dagelijks kunnen doen. Hierdoor wordt de doorlooptijd van "oude" data een stuk korter en kunnen onderzoekers met nieuwe data werken. Nu hebben we het hier alleen over data van pubmed (medline). Gaan we het breder trekken (wat uiteindelijk de bedoeling is) dan komen er twee weken bij voor data uit kegg, 2-3 voor data uit cazy, 3 weken voor pubchem en zo verder. Dat is dan alleen nog maar voor het vergaren van de data. Die moet ook nog gecombineerd en geïntegreerd worden.

Het omrekenen van de tabellen kost dan ineens ook vele malen meer tijd. Het toevoegen van drie databases betekent dat de doorlooptijd van 2 minuten naar enkele uren gaat door de exponentiële groei van de "traagheid" van het algoritme. Met 500 tabellen duurt dit gewoon veel te lang en moeten we dus wel gaan paralleliseren. Voor Big data en vooral het correct implementeren van code voor analyse is een cluster als dit dus essentieel in de ontwikkeling hiervan. Ik heb meerde collega studenten bij verschillende bedrijven die met surfsara werken voor onderzoeksdoeleinden. Ook voor het bedrijfsleven is het dus belangrijk dat dergelijke systemen bestaan.

[DrSnuggles]

Mooi voorbeeld ook. De grote kracht ligt inderdaad bij parallellisatie, al moet daar wel de kanttekening bij worden geplaatst dat, in mijn geval in ieder geval, het nodige extra programmeer werk soms meer tijd in beslag neemt dan dat het oplevert. Ik ga dan ook vaak voor een quick 'n' dirty aanpak als het niet goed schaalt.

Naarmate berekeningen intensiever worden, komen benchmarks om de hoek kijken zoals jamu dat hierboven mooi illustreert.

[supersnathan94]

Bij complexe berekeningen is er vaak een groot deel niet paralleliseerbaar inderdaad (helaas). In mijn geval gelukkig wel omdat het om tekstuele analyse gaat met losse in en output. Bovenstaande voorbeelden zijn dus perfect schaalbaar horizontaal. Het combineren van de data kost echter heel veel tijd en is slechts beperkt te paralleliseren. Daar zit het grootste probleem in. Singlecore performance is dan enorm belangrijk. En daar blinken de xeons in uit.

[paradoXical]

Bij dit verhaal moet ik denken aan een professor welke me vertelde hoe statistiek bedreven werd in de jaren 70 van de vorige eeuw. Hij schreef zijn syntax voor een bepaalde analyse, en deze werd in de avond ingediend bij de ICT afdeling, waarna de computer er in de nacht mee aan de slag ging.

Bleek er in de ochtend een fout in de syntax te zitten en moest dit in de avond opnieuw ingediend worden. Wanneer je er over nadenkt, een hedendaagse smartphone (budget model) heeft al meer dan voldoende rekenkracht voor de analyses welke toen in de nacht werden uitgevoerd

edit: typo

[Reactie gewijzigd door paradoXical op 23 juli 2024 02:25]

[supersnathan94]

Tsja. Bij experimentele wetenschap komen dat soort dingen pas later aan het licht. Dan is een nacht nog niet zoveel. Mijn begeleider heeft in zijn studie tijd een half jaar aan research weg kunnen gooien doordat nog niet bekend was dat een veelgebruikt oplosmiddel alleen voor dat ene experiment niet geschikt was. Dergelijke resultaten zijn natuurlijk erg belangrijk, want dan kan daar in het vervolg rekening mee worden gehouden. Daarom zijn publicaties belangrijk. Anders kan iedere onderzoeker in dat veld een half jaar weggooien . Die komt namelijk op exact dezelfde conclusie.

[DrSnuggles]

Helaas zien dergelijke negatieve resultaten zelden het daglicht, en worden er dus enorm veel resources en tijd weggegooid aan dingen waarvan andere groepen vaak al weten dat het een zinloze exercitie is.

[Tomas_]

Trol?

First hit on google

http://www.livescience.co...-cool-supercomputers.html

[Jorgen]

Niet zo moeilijk toch?

Snellere en betere resultaten bij allerlei onderzoek. Het artikel noemt weersvoorspellingen, vliegtuigmotoren, ziekten en medicatie, enz. Dingen die jou misschien niet opvallen, maar die wel degelijk zeer nuttige vooruitgang boeken.

[uncle_sjohie]

Zelfs je boodschappen gaan er sneller door. AH is bijvoorbeeld al jaren bezig met GIS en bigdata om de locatie en grootte van filialen te bepalen.. Dat soort processen hebben dan wel niet dit soort digitale pk's nodig, maar ook zij hebben baat bij de ontwikkelingen in deze topklasse. Dat soort bedrijven hebben vaak een eigen rekencentrum(pje), en die gebruiken veel hiervoor ontwikkelde concepten en software op een kleinere schaal.

[pg-expert]

Een aantal jaren geleden werkte ik voor SARA. Er werd toen onderzoek gedaan naar de gevolgen van een stent in de kransslagaderen na een hartinfarct. Door dat onderzoek zijn levens gered: er bleken na simulatie van veel verschillende plaatsings methoden in een aantal gevallen (die echt gebruikt waren bij patienten) een grotere kans op een nieuw hartinfarct.
Andere voorbeelden: verbeterde brandstof injectie systemen voor auto's waardoor de auto zuiniger en minder vervuilend wordt.
Betere medicijnen doordat de chemische invloed op bv menselijke cellen wordt gesimuleerd.
Onderzoek naar erfelijke ziektes dmv DNA vergelijkingen. En een ander belangrijk maatschappelijk voordeel van DNA onderzoek: het is nu veel makkelijker om criminelen en terroristen op te sporen en te veroordelen.

[AtlasDev]

Ze worden bijvoorbeeld dagelijks gebruikt om het weer te voorspellen. Bij die voorspellingen worden complexe wiskundige berekeningen gebruikt, waar als er een normale computer wordt gebruikt de dag al lang om is.

[jamu]

Ja klopt, het KNMI heeft het HARMONIE en het HIRLAM model op een eigen bull machine parallel draaien met een Kalman filter. Voor een voorspelling moeten dus een aantal realisaties doorgerekend worden. Dit kan natuurlijk mooi parallel. Voor elke realisatie rekenen ze volgens mij met een beperkt aantal subdomeinen, waardoor ze toch op een fiks aantal cores uitkomen (#realisaties x #subdomeinen).

[PL JNS]

Ik geloof dat Nederlandse supercomputers deels berekeningen doen voor data van CERN. Ze worden gebruikt voor windtunnel data voor de autoindustrie. Ik weet dat het McLaren F1 team een eigen super computer heeft staan die 24 uur per dag bezig is met allerlei simulaties e.d.

[Olaf]

SurfSara is ook een tier1-site voor LHC-data van CERN inderdaad. Die berekeningen worden afgehandeld door GINA. Studenten van de UVA en de VU kunnen van LISA gebruikmaken. Bij Cartesius heb je het bijvoorbeeld over de verwerking van data van fundamenteel natuurkundig onderzoek zoals van de FOM.

[t_o_c]

Alle F1 teams hebben al jaren "super"computers staan voor CFD. Virgin racing had in 2010-2011 zelfs een auto die alleen met CFD, zonder windtunnel was ontworpen.

De laatste paar mogen teams trouwens niet onbeperkt van CFD en windtunnels gebruik maken.

[Anoniem: 753759]

Grafische kaarten, GPU's of GPGPU's kunnen een beperkt aantal functies heel snel vervullen. Ze zijn weliswaar ontworpen om -plat gezegd- te bepalen welk pixel op een scherm aan of uit moet staan, maar daar zijn wel rekenfuncties voor nodig. Ondanks de beperkingen die dat concept met zich brengt is de snelheid waarmee die bepaalde functies vervuld kunnen worden extreem hoog en efficiënt. Daarom kunnen ze gebruikt worden als "versnellers" van het normale rekenproces. In aanvulling op de CPU's. Ze worden ook gebruikt voor snelle real time data analyse. De meeste supercomputers hebben naast de CPU's ook GPU's aan boord. Daarmee halen ze ook makkelijker een hoge theoretische piek-prestatie. En dat is dan weer goed voor de promotie. Dat mes snijdt dus aan twee kanten.

[kimborntobewild]

In feite is je GPU per definitie geen GPU meer zodra je hem als Central Processor Unit of Calculating Processor Unit gebruikt. De term GPU dekt de lading niet zodra die als rekenmachine wordt gebruikt.

[Kortfragje]

Leuk stuk! Leuk te zien wat je nu uitspookt Hugo

Uiteraard ontvouwt zich dan de discussie wat 'we er mee moeten'. Dit soort systemen stelt ons als wetenschappers in staat op wereldniveau mee te onderzoeken, zorgt ervoor dat expertise behouden blijft (om bijvoorbeeld mensen op te leiden die dan een paar jaar naar CERN of de US gaan en vice versa), en levert inzichten en mogelijkheden op die we gewoon nog niet in kunnen schatten. Mijn werk heeft hier bijvoorbeeld direct profijt van : https://www.universiteitl...een-medicijn-tegen-kanker


Maar ook hele sterrenstelsels (galaxies) worden gesimuleerd wat tot nieuwe inzichten kan leiden. http://m.phys.org/news/2014-11-team-milky-simulations.html Om bij Oak Ridge toegang te mogen krijgen, is er een nationale tier 1 een vereiste (zie ook boven)

[spanx]

"bij een niet nader genoemde 'it service provider'"

/aluhoedje: waarom is her een secret?
Consider me triggerd.

[ACM]

Wellicht doen ze dat uit concurrentie-overwegingen. Of wellicht draait ie eigenlijk voor een grote klant die dat weer met dezelfde overweging niet wil laten publiceren.

Het hoeft niet per se gelijk een samenzwering te zijn

[LogiForce]

Mijn gok... Een niet nader te noemen IT provider die hoogst waarschijnlijk services levert aan inlichtingendiensten van nationale en misschien internationale orde. Waardoor voor (inter)nationale veiligheid informatie over de locatie enzovoorts geheim dient te blijven.

[Reactie gewijzigd door LogiForce op 23 juli 2024 02:25]

[nullbyte]

Dus mijn 6700k en 980ti verslaat de Aster: SGI Origin 3800 +SGI Altix 3700uit 2004 met 5200Gflops tegen 3200 Gflops. En met een 3way SLI zou je in de buurt komen van de Huygens: IBM p575 Power5+ met14.592Gflops uit 2007.

[Reactie gewijzigd door nullbyte op 23 juli 2024 02:25]

[vlaaing peerd]

Als flops het enige criterium is voor snel, dan ja. GPU's komen erg goed uit benchmarks, ook de voor de origineel voor CPU ontworpen HPC Linpack. Dit artikel legt goed uit dat ondanks de hoge aantal flops, een systeem niet altijd profiteert van het hoge aantal flops die een GPU met benchmarks weet te halen.

http://pcl.intel-research.net/publications/isca319-lee.pdf

[nullbyte]

Precies, flops zijn eigenlijk alleen handig als je een boel zwevende komma berekeningen wil doen, maar hey, winnen is winnen.

[supersnathan94]

Met floating point operations: ja.

Met big data: absoluut niet. Je hebt dan simpelweg te weinig geheugen beschikbaar om ook maar iets te kunnen met 10 cores. 4GB is niets in de wereld van big data.

[Anoniem: 495634]

Ook niet met floats. Huygens doet 4 x double precision floats PER clockcycle op 6Ghz. Een GPU werkt single precision (AFAIK)... Bovendien heb je paar TB aan geheugen beschikbaar... Dus nee, dat doet je GPU niet. ;-)

[supersnathan94]

De definitie van FLOPS is toch juist dat het single precision floating point operations per seconde zijn?

Dat double precision juist veel belangrijker is weet ik ook wel, maar dat neemt niet weg dat flops juist een universele maatstaaf zijn voor die berekeningen.

[nullbyte]

Waar haal je die 4gb vandaan? de 980ti heeft 6gb VRAM, en de 6700k 4 cores HT. Bovendien een systeem van vandaag de dag kan 128gb aan RAM bevatten wat niet veel minder dan de Aster: SGI Origin met 416 × Itanium II zal zijn. Maar das uiteraard een gokje want dat kan ik zo snel niet op google vinden.

[Particlebox]

Leuk om te zien wat er allemaal gedaan wordt om zo'n dergelijk systeem zo snel mogelijk te houden. Ik was redelijk verbaast over hoeveel kabel er ligt. Ik vraag me alleen af waarom er nog zo'n oud programma gebruikt wordt. Waarschijnlijk is er geen behoefte aan iets nieuws

In het begin wordt alleen gezegd dat consumenten zo ongeveer tevreden zijn met de snelheid. Maar hoe zit het dan met gamers? die willen denk ik nog wel even verder ontwikkelen qua snelheid, nu net 4k gaming aan het groeien is. Vooral als dadelijk VR gewild wordt.

Ik ben benieuwd of er nog een vervolg-artikel komt!

[nullbyte]

In het begin wordt alleen gezegd dat consumenten zo ongeveer tevreden zijn met de snelheid. Maar hoe zit het dan met gamers? die willen denk ik nog wel even verder ontwikkelen qua snelheid, nu net 4k gaming aan het groeien is. Vooral als dadelijk VR gewild wordt.

Dat staat er ook.

Bij gamesystemen is altijd meer grafische rekenkracht gewenst, maar de snelste cpu hoef je al lang niet meer te hebben.

[Reactie gewijzigd door nullbyte op 23 juli 2024 02:25]

[Anoniem: 221563]

Alleen voor de steeds geavanceerdere AI lijkt me een snelle CPU echter wel wenselijk. Zover ik weet draait die code (nog steeds) niet op de GPU.

[ATS]

Dat zou waarschijnlijk voor grote delen van de AI wel degelijk kunnen.

[Stoelpoot]

Zou wel kunnen, maar dat zou de grafische eigenschappen weer omlaag brengen omdat de GPU niet volledig inzetbaar meer is.

[Barsonax]

Snellere cpu mag als gamer echt wel. Genoeg spellen die daar wel baat bij hebben en nee je gemiddelde shooter valt daar dan niet onder.

Je bent wel gek alleen als developer om een spel te maken wat gewoon niet goed draait op een i5 tegenwoordig. Je kan er niet meer vanuit gaan dat over 1-2 jaar de cpu's dan ineens wel snel genoeg zijn.

[Reactie gewijzigd door Barsonax op 23 juli 2024 02:25]

[nullbyte]

Snellere cpu mag als gamer echt wel

Onzin, er is geen enkele benchmark die aangeeft dat er een bottleneck bij de CPU ontstaat bij aansturing van de huidige generaties GPU. Moet je uiteraard wel een i5 of i7 Skylake of Haswell(E) pakken.

Je bent wel gek alleen als developer om een spel te maken wat gewoon niet goed draait op een i5 tegenwoordig

Nogmaals, dit is de omgekeerde wereld, als dat zo zou zijn dan worden er taken onnodig door de CPU uitgevoerd door slecht programmeren. De bottleneck ligt NIET bij de CPU.

[Reactie gewijzigd door nullbyte op 23 juli 2024 02:25]

[F_J_K]

Leuk verhaal. Zo ongeveer elke zes jaar wordt de oude machine vervangen door een nieuwe (leuk hobby-projectje om de oude mee naar huis te nemen ). Dat gaat best snel.

Opvallend dat een aantal keer wordt gesuggereerd dat wordt geüpgraded omdat de machine uit de top-500 verdwijnt.

Dat suggereert dat er een bedrag met vele nullen aan (indirect) gemeenschapsgeld wordt uitgegeven als prestige-object: is het niet meer dat er niet meer aan de vraag vanuit de wetenschap kan worden voldaan? Of gaat men anders naar een andere machine / in een ander land?

[Aragnut]

tot op zekere hoogte die power6, maar zeker die power5+ wil je niet thuis hebben staan, tenzij je ernstig tekort aan verwarmingscapaciteit hebt. Er is een enorme sprong geweest in performance van power6(+) naar power 7, terwijl bij power5(+) naar power 6 voornamelijk de kloksnelheid omhoog ging door de bus langer te maken (dezelfde tactiek als intel heeft gebruikt bij de netburst architectuur).

Volgens mij worden er ook weer rekenkracht verkocht (zie post van jamu), en om concurrerend te blijven moet je inderdaad zorgen dat je wat blijft bieden.

Overigens vind ik het jammer om te zien dat ze van Power architectuur overstappen op x86 architectuur. De power architectuur heeft namelijk hele mooie schaalbaarheid in de performance (hoewel dat mogelijk minder een rol speelt als je meer maar kleinere nodes gaat inzetten).

[page404]

Ik vermoed dat er een aantal redenen zijn. Ten eerste zullen ze processorkracht "verkopen" aan partijen, en die partijen zullen geen genoegen nemen met een achterafserverparkje dat niet kan meekomen met andere supercomputers. Bovendien levert prestige nu eenmaal exposure op.
Ten tweede is het voor Nederland als kennisland belangrijk dat we aangehaakt blijven en liefst een beetje vooroplopen. Dan is het niet alleen handig om know-how in huis te hebben hoe je een supercomputer bouwt en onderhoudt, maar ook dat er rekenkracht beschikbaar is binnen de landsgrenzen en dat high-tech bedrijven daar gebruik van maken. Nederland is een infrastructuur aan het opbouwen van internet (denk aan de grote knooppunten die we hier hebben), serverparken (schiphol, eindhoven) en innovatieve high-end bedrijven. Daar kun je niet gaan beknibbelen op een paar miljoen en daardoor belangrijke schakels in je infrastructuur niet op orde hebben.

[n4m3l355]

Daarnaast loont het zich ook om te upgraden je krijgt meer rekenkracht voor dezelfde hoeveelheid energie. Een kwh kost 0.20 euro (ex btw) zij zullen wel een gereduceerde prijs krijgen laten we we uitgaan van de helft dan is het nog steeds 0.10 euro/kwh. Vergeleken met 2013 uitvoering krijgen ze nu al in 2014 60% meer rekenkracht voor hetzelfde energieverbruik. Ik neem aan dat dit soort systemen 24x7 draaien dus op jaarbasis kost het hun nu al 700.000 euro om het systeem te draaien dus.

Zonder de achterliggende kosten van dergelijke systemen te weten is het toch wel voor te stellen dat je meer doet met minder energiekosten het de investering waard is.

[page404]

Nu je het zegt, viel me ook al op dat de energiebehoefte nauwelijks gestegen was, en soms zelfs daalde. Die kosten zijn ook geen kattepis!

[page404]

Los van dat ik het een buitengewoon cynische redenering vind, die nodeloos tekort doet aan het goede werk wat er in dit soort rekencentra gedaan wordt, denk ik dat je de behoefte aan die rekenkracht voor universiteiten ernstig onderschat. Buitengewoon kortzichtig om deze inspanningen te bagatelliseren als "leuk speelgoed" en "zinloze race". Je zegt nu heel makkelijk "concurrentie bij Amazon is zinloos". Volgens mij vergeet je even dat die jongens ook geen filantropische instelling zijn. Als we de rekenkracht zelf niet hebben moeten we het inkopen.
Lees dit artikel, waar staat "used the service for seven hours at a peak cost of $1,279 per hour."
Vergelijk: EC2 draait op 240TFLOPS, 1/8 van Cartesius. Doe ik een natte-vinger-berekening, dan kom ik op 8*1279*<aantal uur in een jaar> = $89.000.000 per jaar. Over 6 jaar is dat een half miljard. Vallen die paar miljoen subsidie ineens wel mee
Het zou mooier zijn als je zou begrijpen hoe goed het is dat wij als klein landje meedraaien in de top van de wereld op het gebied van supercomputing en wetenschappelijk onderzoek. En dat dat zeer belangrijk is, omdat we als productieland voor commodoties gewoon veel te duur zijn, en onze natuurlijke grondstoffen beperkt zijn en over een tijdje ook op. Maak je maar niet te druk om die paar miljoen subsidie en wees blij dat we deze weg ingeslagen zijn als economie

[Woestijn]

In die berekening ga je er vanuit dat Cartesius nu 24/7 volledig gebruikt wordt, maar het werkelijke aantal uren per jaar zal stukken lager zijn.

Ik kan mij niet voorstellen dat het goedkoper is zelf zon enorme reserve aan te houden, dan die extra rekenkracht extern in te kopen zodra je het nodig hebt (paar keer per jaar).

En natuurlijk ben ik voorstander dat Nederland kan meedraaien in de top op technologisch gebied, ik denk alleen dat dit geld ook aan nuttigere projecten besteed zou kunnen worden. Dus als jij gelijk hebt dat Cartesius juist kosten bespaart, heb ik er geen enkel bezwaar tegen.

[anvil]

Als je ziet dat op oudere clusters bij SARA je regelmatig al dagen, zo niet weken in de wachtrij staat om een job te kunnen runnen vermoed ik dat het op Cartesius niet anders zal zijn... bovendien draait er scheduling software die continue probeert jobs zo te plaatsen dat alle hardware optimaal benut wordt.

Continue 100% bezetting is onmogelijk maar het zal er niet ver naast zitten...

[Kortfragje]

Om toegang te kunnen krijgen tot de echt snelle computers (tier 0) als natuurkundige wetenschapper is het vereist dat je ook toegang / beschikking hebt over tier 1 toegang. Deels om te zorgen dat de expertise er is (en er geen cpu cylces verloren gaan aan snel crashende jobs) en deels om te zorgen dat de investeringen door de community worden gedaan, zie http://home.cern/about/computing/grid-system-tiers

[atlaste]

Het verbaast me eigenlijk dat er zo veel verschillende hardware architecturen door elkaar heen worden gebruikt. Als ik zo snel lees:

- Verschillende CPU instructiesets (oud / nieuw), NVidia, Xeon PHI
- Snelle interconnects en langzamere
- Ik vermoed veel geheugen per blade + minder geheugen...

Als je een programma gaat schrijven voor een gedistribueerd systeem is het heel handig (om allerlei redenen) om te weten dat alle nodes vergelijkbare karakteristieken hebben. Als nodes vergelijkbaar zijn, is je scheduling eenvoudiger waardoor je veel minder data heen en weer hoeft te pompen. Wat ik hieruit opmaak is dat dat absoluut niet het geval is. Volgens mij is dat echt een nachtmerrie om snelle software voor te schrijven...

Vwb. de linpack benchmarks -- ja, die hebben hier inderdaad niet zo veel last van - omdat stress daar vooral in CPU snelheid en aantal CPU's zit...

[Reactie gewijzigd door atlaste op 23 juli 2024 02:25]

[anvil]

Daar heb je de scheduler software voor ; die plaatst jobs zo dat het gaat draaien op een set nodes die het best past bij jou jobs. Wel / geen GPU's , RAM/node, allemaal dingen die een scheduler voor je regelt. Zie http://slurm.schedmd.com/ (waarschijnlijk ook wat er bij SARA draait...)

[atlaste]

Ik heb zelf meerdere gedistribueerd algorithme geschreven incl een tweetal gedistribueerde schedulers.

Schedulers en queues enzo zijn allemaal heel erg leuk en nuttig, maar helpen niet mee als je een gedistribueerde job hebt die werkt met een distributed algorithme... dan geldt in de meeste gevallen gewoon de wet van de "zwakste schakel". Vandaar mijn opmerking.

Voor taken die je op kan lossen als losse jobs werkt het inderdaad prima.

[Reactie gewijzigd door atlaste op 23 juli 2024 02:25]

[anvil]

Beetje laat maar goed : dat is niet hoe dergelijke clusters standaard gebruikt worden...
Ik beheer zelf twee clusters maar jobs buiten een scheduler om is absoluut not done (en dus ook onmogelijk gemaakt)

[atlaste]

Ah oké -- ja, dat verklaart een hoop. Thanks voor de info.

[Anoniem: 753759]

Even vooraf over het historisch overzicht: de machine die in 2000 bij -toen nog- SARA werd geïnstalleerd had als nickname TERAS en niet ASTER. ASTER was de upgrade van TERAS, die uit een apart systeem bestond.

Supercomputers worden voor heel veel verschillende types onderzoek gebruikt. En net als in alle wetenschappen heeft een deel een lange termijn nut, een deel middellange termijn nut en een deel korte termijn nut. Waterbeheer, weersverwachting, milieu effect rapportages, en dergelijke zijn typisch korte termijn domeinen waarin supercomputers essentieel zijn. Middellange termijn gericht is bijvoorbeeld onderzoek naar de warmte/weersverwachting op straatniveau, stromingsdynamica voor de sport, grote economische modellen, het afwateringsgedrag van grote rioolstelsels en bijvoorbeeld het type onderzoek dat bekend staat onder de verzamelnaam Watson (van IBM). Lange termijn gericht is waarschijnlijk het meeste, maar wel erg divers: hoe groeit bot als je bijvoorbeeld een pen in een heup steekt, hoe bereken je het electro-magnetisch veld van een hartslag of hoe stroomt het bloed bij hartafwijkingen; het maken van een database van het voorkomen van gelijke eiwitvolgordes in stukken DNA of RNA van verschillende soorten dieren of planten. Als zulke gelijke eiwitvolgordes door verschillende species heen hetzelfde blijven dan is dat waarschijnlijk een code voor een belangrijke eigenschap. Maar maanden rekenwerk geweest om te maken. Magnetische eigenschappen van nano-clusters, van belang voor de opslag van data. Natuurlijk het klimaat. Wat is de kans dat de Grote Golfstroom omkeert, door zoetwatermenging bij de Noordpool of andere effecten. De berekende effecten van het klimaat die duiden op vaker én extremer extreem weer vragen om verdere analyse. Wat is de precieze oorzaak en wat de gevolgen. Of denk aan de simulatie van opslag van CO2 onder de grond. En niet te vergeten de astronomie. Bij de analyse (soms real time) van datastromen van signalen uit de ruimte of bij de vorming van sterrenstelsels.
Wat je er in het dagelijks leven direct van merkt hangt dus van het onderwerp af, en van wat je onder "merken" of "er aan hebben" verstaat. De voorbeelden zijn maar een selectie. Dat je er bewust of onbewust mee te maken hebt, nu of in de toekomst- lijkt me wel zeker.

[Tiny]

[off topic misschien]
Mag ik even melden dat ik dit een geweldig artikel vond om te lezen.
Super Tweakers!
[/]

Ben ik trouwens de enige die constateert dat sinds de KNMI die supercomputer gebruikt voor hun weer modellen, ze er nog nooit zo vaak naast hebben gezeten wat betreft de weersvoorspellingen?

Dit zal wel niet aan de super computer zel liggen, maar eerder aan de software die er op draait.

[jamu]

~[off topic misschien]
Mag ik even melden dat ik dit een geweldig artikel vond om te lezen.
Super Tweakers!
~

Ben ik trouwens de enige die constateert dat sinds de KNMI die supercomputer gebruikt voor hun weer modellen, ze er nog nooit zo vaak naast hebben gezeten wat betreft de weersvoorspellingen?

Dit zal wel niet aan de super computer zel liggen, maar eerder aan de software die er op draait.
[/quote]

Tja, ik ken een wiskunde professor die zich sterk afvraagt hoe er uberhaupt gerekend kan worden met een klimaatmodel dat in feite een hyperbolische vergelijking oplost en een dusdanige (te) grove maaswijdte hanteert