Snellius, de nationale supercomputer

76.832 AMD-cores en 144 Nvidia A100-gpu's

Snellius

Als alles volgens plan verloopt, trekt SURF op 1 september de stekker uit Cartesius. Het high performance computing-systeem heeft er dan meer dan acht jaar trouwe rekendienst opzitten als de nationale supercomputer van Nederland. In die hoedanigheid konden wetenschappers op Cartesius vertrouwen voor complex rekenwerk dat ze voor hun onderzoek moesten verrichten. Daarvoor kunnen ze vanaf 1 september nog steeds terecht bij de nationale supercomputer, maar die titel wordt dan gedragen door een geheel ander systeem. Dat systeem heeft de naam Snellius gekregen en wordt in opdracht van SURF door Lenovo gebouwd.

De naam Snellius komt van Willebrord Snel van Royen, een vooraanstaand wiskundige die leefde van 1580 tot 1626. Zoals veel wetenschappers uit die tijd was hij ook thuis in andere onderzoeksgebieden, waaronder landmeetkunde, navigatie, hydrografie en astronomie. Zijn grootste bekendheid kreeg hij op het gebied van optica, met de naar zijn Latijnse naam genoemde wet van Snellius, die aangeeft hoe lichtstralen worden gebroken op de overgang van het ene naar het andere medium. In Frankrijk spreken ze overigens van de wet van Descartes, die de brekingswet onafhankelijk van Snellius beschreef. De Latijnse naam van Descartes is dan weer Cartesius, de naam van de voorgaande nationale supercomputer. Dat alles staat los van de keuze van de naam Snellius; die is mede gekozen vanwege de associatie met 'snel'.

Want snel moet de nieuwe supercomputer worden. SURF streeft naar een initiële pieksnelheid van 6,1 petaflops, met hogere pieksnelheden in de jaren erna door uitbreidingen. Daarmee moet de nationale supercomputer weer in de pas lopen met de overige supercomputers in de wereld. De vijfhonderd krachtigste systemen ter wereld bemachtigen een plek in de Top500-lijst, maar een notering in die prestigieuze lijst is ook weer geen doel van SURF, vertelt Walter Lioen, domain manager research services bij SURF. "De huidige lijstaanvoerder is de Japanse Fugaku met 537 petaflops pieksnelheid, meer dan twintig keer zo krachtig als Snellius uiteindelijk zal zijn, maar die kost ook zo'n 800 miljoen euro. Wij hadden maar 20 miljoen euro. We richten ons veel meer op bruikbaarheid voor de wetenschappers."

Rekenkracht van de Nationale Supercomputers tot en met Cartesius

Waarom Lenovo?

Om met een actuele kwestie te beginnen: de VS heeft diverse Chinese supercomputerfabrikanten op de zwarte lijst gezet en Lenovo is een Chinees bedrijf. Heeft SURF geopolitieke ontwikkelingen meegewogen in de beslissing welk bedrijf het in de arm zou nemen voor het systeem?

Lioen: "Natuurlijk, dit gaat niet langs ons heen. We hebben voor de aanbesteding een prekwalificatie gedaan en op dat moment bleek dat Lenovo zich zou kunnen inschrijven als kandidaat en niet als enige Chinese leverancier. "In overleg met de overheid is beoordeeld of er reden was om Chinese bedrijven bij voorbaat uit te sluiten; die is er niet" In overleg met de overheid is beoordeeld of er reden was om Chinese bedrijven bij voorbaat uit te sluiten; die is er niet. Dat betekent niet dat we naïef zijn. Het borgen van veiligheid staat altijd hoog op de agenda, dus ook nu. Als je echter kijkt naar de Top500, is Lenovo een van de grootste leveranciers. Het is een Chinees bedrijf, maar ook aan de beurs genoteerd. Het moet aan alle toezichthouders verantwoording afleggen. Iedereen kent het verhaal van de IBM ThinkPad; dat is een Lenovo ThinkPad geworden. Op een vergelijkbare manier is de HPC-tak van Lenovo ontstaan uit de op Intel gebaseerde HPC-tak van IBM. We krijgen nu ook de Lenovo ThinkSystems. De mensen waarmee we praten, zijn oud-IBM’ers en die kennen we ook in die hoedanigheid. Verder is Lenovo nergens uitgesloten bij aanbestedingen. Het mag tot op de dag van vandaag leveren aan Defensie van de VS."

SURF streefde bij de keuze voor het systeem vooral naar de meeste waar voor zijn geld, dus hoeveel onderzoek het kan faciliteren met de supercomputer, maar ook maatschappelijk ondernemen speelde een rol. Lioen: "We hebben niet alleen naar snelheid gekeken, maar ook naar energiegebruik. Daarbij meet je niet de time-to-solution, maar de energy-to-solution, dus hoeveel kWh kost het om bepaalde sommetjes te doen." Om de prestaties en het verbruik te voorspellen en beloften van leveranciers te analyseren, gebruikt de organisatie de SURF Application Benchmark Suite 2020. Daarin heeft ze de acht meestgebruikte codes opgenomen die wetenschappers op Cartesius draaiden. Die vertegenwoordigen tezamen 45 procent van het gebruik van dat cluster. Verder zijn benchmarks voor gpu, big data en machinelearning toegevoegd om een zo breed mogelijk beeld te krijgen hoe de komende nationale supercomputer zou kunnen presteren bij komend gebruik door Nederlandse wetenschappers. "Daarnaast speelde een belangrijke rol hoe de potentiële leveranciers omgaan met het gebruik van grondstoffen, verpakkingsmaterialen, afvoer van e-waste en de hele supplychain, dat er geen kinderarbeid aan te pas komt bijvoorbeeld", vertelt Lioen.

De keuze viel uiteindelijk op Lenovo, omdat dit bedrijf veel meer nodes voor het bedrag bood dan concurrerende bedrijven. Dat betreft de tweede en derde fase van de bouw van Snellius, die in respectievelijk 2022 en 2023 afgerond moeten worden. Daarnaast scoorde Lenovo volgens Lioen ook het best op het gebied van social responsibility. Op 1 februari van dit jaar werd daarop het definitieve contract getekend en het Chinese bedrijf mag daarmee aan de slag met de bouw van de nieuwe generatie nationale supercomputer.

De Cartesius-supercomputer van Atos Bull

Exit Cartesius

Na jarenlange trouwe dienst wordt daarmee na de zomer niet alleen de stekker uit Cartesius getrokken, maar wordt het hele cluster van Atos Bull ontmanteld. Cartesius werd begin 2013 in elkaar gezet en de laatste uitbreiding dateert van eind 2016. SURF zal de onderdelen wel zoveel mogelijk recyclen en hergebruiken. Hoewel het systeem misschien niet meer met de snelste meekan, kan Cartesius natuurlijk nog steeds een flink potje rekenen. Waarom laat SURF het systeem niet gewoon doordraaien?

Lioen: "Dat is niet rendabel. Bij vervanging krijgen we meer rekenkracht, ergens tussen een factor acht en twaalf, en de energie die dat kost, neemt wel wat toe, maar dan heb je het hooguit over een factor anderhalf. Je energie-efficiëntie groeit eigenlijk mee met de wet van Moore." Als de eerste fase van de bouw is afgerond, trekt Snellius zelfs minder vermogen dan Cartesius, 620kW versus 884kW, terwijl de piekprestatie 3,4 keer zo hoog ligt. Lioen: "In de praktijk zie je dat de systemen 70 tot 85 procent van die hoeveelheden kW verbruiken. Deze waardes zie je alleen als ze bijvoorbeeld de Linpack-benchmark voor hpc draaien, zoals ook gebruikt voor de Top500."

SURFsara nationale supercomputers
Jaar	Systeem	RPeak Gflops	kW	Gflops/kW
1984	CDC Cyber205-­611	0,1	250	0,0004
1988	CDC Cyber205-­642	0,2	250	0,0008
1991	CrayY-­MP4/464	1,33	200	0,0067
1994	Elsa: Cray C98/4256	4	300	0,0133
1997	Elsa: CrayC916/121024	12	500	0,024
2000	Teras: SGI Origin 3800	1024	300	3,4
2004	Teras + Aster: SGI Origin 3800 +SGI Altix 3700	3200	500	6,4
2007	Huygens: IBM p575 Power5+	14.592	375	39
2008	Huygens: IBM p575 Power6	62.566	540	116
2009	Huygens: IBM p575 Power6	64.973	560	116
2013	Cartesius: Bull bullx B710 + R428 E3	270.950	245	1106
2014	Cartesius: + Bull bullx B515 (Nvidia K40m)	480.883	289	1662
2014	Cartesius: + Bull bullx (+B720)	1.559.155	791	1971
2016	Cartesius: + Bull sequana X1110 + X1210	1.843.140	884	2085
2021	Snellius: Lenovo ThinkSystem SR/SD	6.100.000	620	9839
2022	Snellius: + Lenovo ThinkSystem ?	11.200.000	1200	9333
2023	Snellius: + Lenovo ThinkSystem ?	max. 21.500.000	max. 1430	max. 15.035

De verschillende nationale supercomputers door de jaren heen

Lioen wijst op de exponentiële toename van rekenkracht versus de relatief geringe toename van het energiegebruik. "Als je dan kijkt naar hoeveel rekenbewerkingen je per seconde kunt doen per kW, dan zie je ook een exponentiële groei." Om de zoveel jaar een nieuw systeem voor hetzelfde budget aanschaffen, zou dan ook efficiënter zijn dan een verouderd systeem laten draaien. "De ordegrootte van de budgetten blijft gelijk; de vloeroppervlakte blijft gelijk. Tegenwoordig zijn het op racks gebaseerde systemen dus dat blijft gelijk, maar je rekenkracht groeit exponentieel."

Snellius en Cartesius komen in de zomer even naast elkaar te staan, in de Amsterdam Data Tower van Digital Realty op het Amsterdam Science Park. Op de vloer was nog plek doordat op de zaal van Cartesius maximaal 1MW geleverd kon worden. Lioen: "Dat was de beperkende factor voor uitbreiding, dus er was vrij veel ruimte over. Inmiddels is Digital Realty bezig met het upgraden van de elektriciteitsvoorziening. We kunnen beide systemen daardoor tegelijk laten werken."

Digital Realty, Amsterdam Data Tower, AGS Architects

3 petaflops aan gpu-rekenkracht

SURF zet het systeem gefaseerd neer. Het verschil in rekenkracht dat Snellius tegenover zijn voorganger gaat bieden, is daarmee in eerste instantie nog relatief beperkt: 6,1 versus 1,8 petaflops. Bij de opvolgende fasen neemt de rekenkracht toe, tot maximaal 21,5 petaflops halverwege 2023. Ook Cartesius kende upgrades en volgens Lioen is dat een logische strategie. "Het heeft weinig zin voor ons om op dag één een systeem neer te zetten dat tien keer zo groot is, want dan wordt dat op dag twee voor 10 procent gebruikt. Dat gebruik moet even 'ingroeien'. Als de toename een factor twee tot vier betreft, zien we dat het systeem met een jaar vol gegroeid is, oftewel volledig gebruikt wordt. Als we dat met een factor tien tot twintig doen, duurt het een paar jaar voordat het vol gegroeid is."

Prestaties
Cartesius	Snellius
	Fase 1:
47.776 cores	76.832 cores (1,6x)
132 gpu's (210 teraflops)	144 gpu's (3 petaflops, 14x)
Totale piekprestatie: 1,8 petaflops	Totale piekprestatie: 6,1 petaflops (3,4x)
	Fase 1 + 2 samen:
	Totale piekprestatie: 11,2 petaflops (6,2x)
	Volledig systeem inclusief Fase 3-uitbreiding:
	Meer dan 200.000 cores ( > 4x)
	Totale piekprestatie: 13,6 - 21,5 petaflops (7,6 - 11,9x)

Fase 1 bestaat uit cpu-nodes met Lenovo ThinkSystem SR645- en SR665-systemen, en gpu-nodes op basis van de Lenovo ThinkSystem SD650. Alle cpu-nodes bevatten AMD EPYC-processors met 64 cores die hun werk op 2,6GHz doen. Het gaat om 504 nodes met 256GB ram en 72 zogenoemde fat nodes met 1TB werkgeheugen. Deze fat-nodesystemen hebben 6,4TB NVMe-opslag. Verder zijn er vier cpu-nodes met nog meer werkgeheugen: twee met 4TB en twee met 8TB.

Van de gpu-nodes komen er 36 en deze hebben Intel Xeons met Nvidia HGX A100-borden, waarop vier A100-accelerators met 40GB HBM2e geplaatst zijn. De gpu's zijn in een meshnetwerk geplaatst waarbij elke gpu met elke andere gpu kan communiceren. Dat gebeurt via de twaalf NVLink-interconnects per gpu. Elke NVLink biedt 50GB/s bandbreedte voor een totale gpu-naar-gpu-bandbreedte van 600GB/s. Anders dan bij de borden met acht HGX A100-accelerators is er bij de variant met vier gpu's geen NVSwitch aanwezig, wat scheelt in verbruik en kosten.

Lenovo ThinkSystem SR645 (links) en ThinkSystem SD650

"Gpu's die zes jaar oud zijn, die zijn bijna aftands" Het is niet voor het eerst dat de nationale supercomputer een onderdeel met gpu's krijgt. Huygens had dat nog niet, maar Cartesius had al een gpu-eiland met Tesla K40M-accelerators. Lioen: "Bij Cartesius hebben we gezegd: we zetten een op cpu's gebaseerd systeem neer en als er voldoende vraag is, gaan we daar een kleine partitie gpu's bijzetten. Dat hebben we gedaan en die zien we goed gebruikt worden. Bij Snellius hebben we er bewust voor gekozen om een groter deel van de rekenkracht beschikbaar te stellen in de vorm van gpu's. We gebruiken een vergelijkbare hoeveelheid gpu's als in Cartesius, maar dat waren gpu's uit 2014 die in 2015 operationeel zijn geworden. Gpu's die zes jaar oud zijn, die zijn bijna aftands. Er zitten hier al twee generaties van architecturen tussen. We krijgen straks Nvidia-gpu's die op de Ampere-architectuur gebaseerd zijn. Die zijn met dezelfde hoeveelheid gpu's al veertien keer zo snel."

Snellius Fase 1 (medio 2021)
Cpu-nodes, piekprestatie: 3,1 petaflops	Gpu-nodes, piekprestatie: 3 petaflops
Alle nodes: 2x AMD EPYC 7H12 (Rome) met 64 cores op 2,6GHz	36x Lenovo ThinkSystem SD650-N V2 met:
Thin nodes: 504x Lenovo ThinkSystem SR645, 256GB	2x Intel Xeon (sku nog niet uitgebracht)
Fat nodes: 72x Lenovo ThinkSystem SR645, 1TB, 6,4TB NVMe	1x Nvidia HGX A100 (4x A100-gpu, 40GB, Ampere)
High-memory nodes: 2x Lenovo ThinkSystem SR665, 4TB	512GB ram
High-memory nodes: 2x Lenovo ThinkSystem SR665, 8TB

De tweede fase betreft een uitbreiding met alleen cpu-nodes. Het gaat halverwege 2022 dan om systemen met EPYC-processors van een generatie die AMD nog niet heeft aangekondigd. Hoe fase drie ingevuld wordt, moet nog besloten worden. Lioen: "We bekijken hoe het gebruik van de gpu's zich ontwikkeld. Als dat heel erg aantrekt, willen we gpu's gaan neerzetten. Als dat achter zou blijven, gaan we toch voor cpu-uitbreidingen."

Snellius Fase 2 (medio 2022)
Uitbreiding met alleen cpu-nodes, thin nodes, totale piekprestatie: 5,1 petaflops. Totale piekprestatie voor Fase 1 en 2 samen: 11,2 petaflops.
AMD EPYC-cpu's van toekomstige generatie, 2GB per core

Snellius Fase 3 (medio 2023)
Drie keuzes voor uitbreiding (afhankelijk van gebruik/vraag). Totale piekprestatie voor alle fases samen: tussen 13,6 en 21,5 petaflops.
1. Cpu-nodes, AMD EPYC-cpu's van toekomstige generatie, 2,4 petaflops
2. Gpu-nodes, Nvidia-gpu's van toekomstige generatie, 10,3 petaflops
3. Nog te bepalen hoeveelheid opslag

Volgens de SURF-medewerker is het gebruik van gpu's voor wetenschappelijk rekenwerk niet triviaal. "Je moet er veelal compleet nieuwe implementaties van je software voor maken. Als je het over bekende grote pakketten hebt waar wetenschappers mee rekenen, bijvoorbeeld die voor quantumchemische berekeningen, dan heb je het over pakketten van honderdduizenden tot een miljoen regels code. Als je rekenwerk wilt offloaden naar de gpu, dan pak je de rekenintensieve delen. De wet van Amdahl beschrijft dat als je 90 procent kunt optimaliseren voor gpu's, de maximale winst een factor tien betreft. Als je heel groot wilt opschalen, is dat iets wat je tegenhoudt."

Ook bij supercomputers is de trend zichtbaar dat Arm en fpga's in opkomst zijn. SURF kiest hier vooralsnog niet voor. "Arm en fpga's zijn hartstikke relevant, maar als je naar de Top500 kijkt, zie je dat de meeste systemen, zo'n 70 procent, op cpu's gebaseerd zijn. Wat op accelerators gebaseerde systemen betreft, zeven van de top tien, gaat het meestal om gpu's. Er is een aantal systemen met custom accelerators, met name in Azië. De Japanse Fugaku heeft inderdaad Arm-chips, maar met speciaal ontworpen vectorinstructies, vergelijkbaar met de AVX-instructies die Intel-cpu's hebben."

Van 14 naar 800Gbit/s?

Niet alleen op het gebied van cpu's en gpu's maakt de nationale supercomputer een sprong voorwaarts, maar ook met de interconnect, de verbindingen tussen de verschillende nodes. Cartesius-nodes beschikten bij hun ingebruikname over Mellanox Infiniband FDR, met een bandbreedte van 56Gbit/s, opgebouwd uit vier kanalen van 14Gbit/s. Een latere uitbreiding markeerde de stap naar EDR, met 100Gbit/s. De cpu-nodes van Snellius gaan over HDR100 beschikken, met bidirectioneel 100Gbit/s met lage latency. De gpu-nodes krijgen twee keer HDR voor een totale bandbreedte van 400Gbit/s. Bij fase drie zal twee keer NDR voor 800Gbit/s worden gebruikt, als de keuze op uitbreiding met gpu-nodes valt.

Zover is het nog niet. Eerst treffen SURF, Digital Realty en Lenovo de voorbereidingen voor de komst van het nieuwe cluster. In juli moet het systeem opgebouwd zijn en de eerste acceptancetests kunnen draaien. Daarbij wordt gekeken of alles geleverd is, of de kabels correct zijn aangesloten en of de hardware zich gedraagt zoals verwacht. SURF draait daarbij zijn benchmarksuite en een burntest waarbij het systeem een aantal dagen achter elkaar draait. "Een mooie test is het uit- en weer aanzetten", grinnikt Lioen. "Je kunt je voorstellen dat er veel configuratiewerk zit in zo'n complex systeem met tal van subsystemen." In augustus vinden dan het verdere configuratiewerk en de datamigratie plaats, zodat Snellius later die maand aan het werk gezet kan worden.

Kuchjes simuleren bij covid-19-onderzoek

Waar de nationale supercomputer dan zoal voor ingezet wordt, vertelde prof.dr. Dethlef Lohse, natuurkundige aan de Universiteit Twente, onlangs tijdens de SURF Research Week. Hij is verbonden aan de Physics of Fluids-groep van de universiteit. Inzichten in fluid dynamics zijn van groot belang voor onder andere klimaat-, energietransitie-, gezondheids- en hightechonderzoek, maar het beschrijven van het gedrag van vloeistoffen en gassen is bijzonder complex. Lohse: "We leven dankzij de vorderingen van high performance computing in de gouden eeuw van fluid dynamics. Rekenclusters hebben het vakgebied met sprongen vooruitgeholpen."

Hij gaf als voorbeeld onderzoek naar aerosolen vanwege covid-19. Dankzij de inzet van Cartesius wist zijn onderzoeksgroep vorig jaar het gedrag van druppels in kaart te brengen bij spreken en kuchen. Daarbij konden verschillende factoren meegewogen worden, zoals de grootte van druppels, de temperatuur en de relatieve vochtigheid bij uitwaseming. De simulaties toonden dat bij een temperatuur van 10 graden Celsius druppels aanvankelijk groeien na uitwaseming en langer in stand blijven. Door oversaturatie is er sprake van hoge relatieve luchtvochtigheid bij het uitstoten van de lucht en de vochtige wolk blijft daardoor langer in de lucht dan vooraf gedacht. Druppels nemen bij 30 graden Celsius snel in omvang af en verdwijnen vanwege verdamping. De afstand van 1,5 meter die nu aangehouden wordt als veilig, is afgeleid van onderzoek uit 1936 van William F. Wells naar tuberculose. Het onderzoek van Lohse concludeert dat die afstand niet voldoende is voor social distancing en dat de levensduur van kleine druppels veel langer is dan Wells voorspelde.

Het rekenproject dat Lohse door Cartesius liet uitvoeren, is een van de rekenprojecten die vorig jaar betrekking hadden op onderzoek naar covid-19. SURF en NWO besloten eind maart vorig jaar om dit soort onderzoeken voorrang te geven. De organisaties beloofden wetenschappers om binnen drie dagen uitsluitsel te geven bij aanvragen om de supercomputer voor covid-19-rekenwerk in te zetten. Normaal gesproken duurt deze procedure bij omvangrijke voorstellen vier tot zes weken. Cartesius was mede hierdoor goed volgeboekt. Die flexibele inzet toonde het voordeel aan van het hebben van een nationale supercomputer, geoptimaliseerd voor gebruik door zoveel mogelijk wetenschappers. Snellius moet straks verder inspelen op de almaar stijgende behoefte aan meer rekenkracht, om zo onderzoek mogelijk te maken dat nu nog buiten het bereik van veel wetenschappers ligt.

Reacties (106)

[n4m3l355]

"Daarnaast speelde een belangrijke rol hoe de potentiële leveranciers omgaan met het gebruik van grondstoffen, verpakkingsmaterialen, afvoer van e-waste en de hele supplychain, dat er geen kinderarbeid aan te pas komt bijvoorbeeld"

Maar vervolgens gaan ze wel in zee met een bedrijf waarvan de top compleet uit de hoogste politieke figuren bestaat van dezelfde partij die 1 miljoen mensen opsluit zonder verdere reden. Wanneer gaat de Nederlandse overheid nou eens minder naief om met China. Dit kun je anno 2021 niet meer verkopen? Enerzijds verklaren ze openlijk dat China genocide pleegt en anderzijds gaan we wel nog lekker samenwerken op publiek niveau met dezelfde overheid. Stop toch met het verbergen dat dit soort bedrijven niets van doen hebben met de Chinese overheid, dit is gewoon een white lie niets meer.

[Reactie gewijzigd door n4m3l355 op 22 juli 2024 16:35]

[Black Tern]

@n4m3l355
Moet je persé alle contacten met China blokken omdat ze "1 miljoen mensen opsluiten"?
Ik denk dat je dat pas zou kunnen doen als je een stap terug doet en breder nadenkt.
Zie de collum van Luuk van Middelaar in het NRC van 24-03-2021. Hij noemt daarin onderzoek door de EU in 2019.
Link: https://www.nrc.nl/nieuws...ger-de-les-lezen-a4036964
Ik citeer daar het volgende uit, met een aangepaste lay-out:
Treffend analyseerde de EU in 2019 de drie rollen die China speelt.
Partner is China bij het verwezenlijken van mondiale doelen, zoals klimaatbeleid, nucleaire non-proliferatie of bestrijding van pandemieën.
Concurrent is het land op economisch en technologisch vlak.
Systeemrivalen, ten slotte, zijn Europa en China in de zin dat ze alternatieve politieke modellen belichamen, waarbij wij veel waarde hechten aan individuele grondrechten en democratische instituties.

In mijn optiek is het broodnodig dat Nederland, en ook de EU, nadenkt over de relatie met China in de breedste zin en vervolgens beleid formuleert. Dat beleid zou kunnen liggen tussen rigoureus alle contacten verbreken en doen alsof er niets aan de hand is.

[n4m3l355]

Het idee dat je mondiale doelen kunt bereiken met China heeft de afgelopen 30 jaar aangetoond dat dit niet het geval is. China werkt enkel samen in doelen waar ze zelf baat bij hebben, recentelijk zien we wel hoe China wereldwijd reageert wanneer ze terecht worden gewezen dat concentratie kampen niet kunnen.

Concurrent is China niet enkel op economisch en technisch vlak, het is ronduit een dief op beiden. China is verantwoordelijk voor 70% van de IP theft online in 2019. China is ook op politiek niveau een concurrent waar het diens agenda wereldwijd door iedereen zijn strot drukt om gelijk te krijgen en zo niet, wederom weten we hoe China reageert.

Neem in gedachte dat ieder bedrijf dat respectabel is de Chinese partij vertegenwoordigd en zelfs verplicht partij leden moet opnemen inclusief buitenlandse bedrijven. Zij zijn op geen enkel vlak bereid om beter te doen, wederom hoever moet China nog verder afzakken dat we concentratie kampen als een licht puntje zien. China zal enkel verder afzakken en met Xi Jinping die een legacy achter wilt laten. Het kan doemdenken zijn maar we zien enkel meer een meer agressie en Taiwan is op zeer korte termijn ook het haasje. Net zoals Hong Kong (waar dialoog nul uithaalde).

[janbaarda]

Je kan je handel niet alleen op moraal politiek baseren. China heeft de afgelopen 30 jaar een enorme vooruitgang geboekt (ook op mensenrechten gebied). Er zijn landen waarbij de andere kant op gaat, met gigantische gevangenispopulaties van, vooral, minderheden. Landen waar gevangenen gedwongen moeten werken voor een habbekrats. (in de VS is slavernij voor gevangen onderdeel van hun grondwet !).

Als we al dat laten meewegen in onze handelsbeslissingen kunnen we geen handel meer doen (olie uit een dictatoriaal land, chocola uit dictaturen, techniek uit een z.g. democratie - 2 tweepartijensysteem - met meer gevangenen in concentratiekampen dan wie ook, enz.

Onze preferente handelspartner, de VS, is oorlogszuchtig en valt op onwettige wijze landen binnen on valse voorwaarden.

[KotiV10]

Dank voor uw bijdrage, een neutrale evenwichtige en eerlijke benadering van dit thema!

[egeuens]

Xi Jinping wilt een 2de Mao worden in de geschiedenisboekjes.
Taiwan zal niet zo snel overstag gaan, de US is er heer en meester.

[batjes]

Dachten we niet zo lang geleden van Hong Kong ook. Niet zo heel lang geleden dachten we dat Tibet weer zelfstandig zou worden, tegenwoordig accepteerd de hele wereld dat het deel van China is.

[egeuens]

Ik vrees het ook maar Taiwan, is wel bewapend en serieus (ook nukes). Tibet en Hong-Kong waren dat niet en waren niet van strategisch belang voor de USA.

De US heeft Taiwan nodig om controle te hebben over de Chinese zee en om China onder observatie te houden.

[Intronic]

Moet je persé alle contacten met China blokken omdat ze "1 miljoen mensen opsluiten"?
Ja. Die haakjes mag je wel weghalen hoor.

[Dorstlesser]

Eens dat China zwaarder aangepakt moet worden, maar je kan uit één aanbesteding niet opmaken dat er niks gebeurt op dat gebied. Hier op Tweakers worden producten van grote Chinese prodcuenten ook vaak genoeg aanbevolen; daar moet Tweakers dan ook mee stoppen?

Wat Tweakers betreft vind ik persoonlijk dat ze in hun reviews en Best Buy Guides meer aandacht zouden mogen besteden aan de ethische aspecten van producten, waaronder duurzaamheid en mensenrechten. Voor een platform en community als Tweakers is dat relatief makkelijk. Voor overheden is het een moeilijke vraag hoe je dit in de praktijk brengt; het is makkelijk om het erover eens te zijn dat China harder moet worden aangepakt, maar als de Nederlandse overheid een verbod oplegt op de import van Chinese tech-producten dan zal China hier een reactie op geven.

[greatgonzo]

tja, moet je dan ook de CO2 footprint meenemen, of dat ze de grondstoffen uit mijnen uit Congo halen?

Als ik een review lees zoek ik op een technische site naar de technische aspecten van een product.. Anders ga ik wel naar andere sites denk ik (geen idee of die milieu aspecten reviewen)

[Dorstlesser]

Terecht dat de technische aspecten de kern van een review zijn op Tweakers. Maar als jij een product koopt van Merk X, dan betaal je in werkelijkheid mee aan de activiteiten van Merk X om dat product te produceren.

Bij ons in de buurt zaten verschillende fietsenmakers, maar van één ervan was overduidelijk dat ze gestolen fietsen verkochten. Daar ben ik dan niet meer naartoe gegaan, ookal waren ze goedkoop, want ik wil geen fietsendieven financieren. Velen zouden volgens mij hetzelfde doen.

Het is onhandig dat we niet op dezelfde, directe manier zien wat grote, internationale bedrijven met ons geld doen. Als Merk X 10% goedkoper is dan Merk Y, en de reviews zijn nagenoeg hetzelfde voor beide merken, neig ik ernaar Merk X te kopen. Maar, als diezelfde review zou vermelden dat Merk X gebruik maakt van kinderarbeid voor grote delen van hun productieproces en Merk Y niet, dan betaal ik liever 10% extra voor Merk Y. Hetzelfde geldt m.i. voor duurzaamheid of andere mensenrechtenschendingen.

Volgens mij is regelmatig gebleken dat consumenten best bewustere keuzes willen maken als ze hierover informatie krijgen. Platforms als Tweakers, maar ook de community van enthusiastelingen van het eerste uur, zijn uiteindelijk verantwoordelijk voor die informatievoorziening. Daar mogen we als community best wat meer aandacht aan geven, wederom mijns inziens.

Consumenten wijzen vaak naar de overheid; dat de Nederlandse regering het multinationals zou moeten verbieden om te vervuilen, bijvoorbeeld. Maar dat kan gewoon niet. Bedrijven vervuilen niet omdat ze dat zo leuk vinden, maar omdat consumenten hen ervoor betalen. De makkelijkste manier voor individuen om misstanden bij multinationals te bevechten is door bij hun concurrenten te kopen die het beter doen.

[Reactie gewijzigd door Dorstlesser op 22 juli 2024 16:35]

[CAPSLOCK2000]

tja, moet je dan ook de CO2 footprint meenemen, of dat ze de grondstoffen uit mijnen uit Congo halen?

Als ik een review lees zoek ik op een technische site naar de technische aspecten van een product.. Anders ga ik wel naar andere sites denk ik (geen idee of die milieu aspecten reviewen)

Ik moet hier toch even op ingaan, want op een bepaalde manier is CO2 footprint wel degelijk een technisch aspect. We vermelden ook het energieverbruik van apparaten.

Het grote verschil is natuurlijk dat het energieverbruik direct door de klant wordt betaald terwijl CO2 uitstoot en kinderarbeid door anderen worden "betaald". En wat betreft CO2 zullen het vooral onze nakomelingen zijn die de rekening moeten betalen. De enige oplossing is dat al die aspecten op de een of andere manier in de prijs terugkomen, maar daar is de wereld nog niet klaar is. Tot die tijd is informatie bieden zodat mensen zelf kunnen kiezen een waardevolle toevoeging.

Overigens vind ik dat bij dit soort apparatuur de veiligheid ook een erg belangrijk aspect is. We hebben het verhaal van hoe Huawei toegang heeft tot ons telefoonnetwerk nog vers in het geheugen zitten. Nu denk ik dat je sowieso de boel zo moet inrichten dat de leverancier er niet direct bij kan, maar dat is een ander verhalaal.

[Reactie gewijzigd door CAPSLOCK2000 op 22 juli 2024 16:35]

[doltishDuke]

En aan die laatste zin wil ik nog toevoegen dat ook de Nederlandse economie dan ook een opdonder krijgt. Overal wordt Chinees spul gebruikt.

We willen nu eenmaal goedkope troep. Van onze overheid eisen we vervolgens dat de producent van de troep in kwestie wordt aangepakt, maar dan liefst wel zonder de aanvoer van de troep in de weg te zitten. Da's lastig verenigbaar natuurlijk.

[SoundByte]

Cancel culture moet maar lekker wegblijven uit tech. Als doorsnee burger in het westen krijg je alleen maar een kant van het verhaal te horen. 'De ander is altijd slecht maar wij nooit.'

[janbaarda]

Kijk naar Hong Kong waar ze nu een slachting aanrichten

Vertel geen sprookjes. Welke slachting, bedoel je die van 1961 (35 doden door de Britse koloniale macht)?
De meeste concentratiekampen (grootste gevangenis popultie met slavernij - op basis van de grondwet!!) bevinden zich in de VS. Moeten we nu alle VS spullen boycotten (dus geen JSF om maar iets te noemen)?

China (en Rusland) bashen is momenteel erg populair. Je vraagt je af waar al die VS propaganda voor nodig is. Ga op een normale manier concurreren.

[egeuens]

Idem voor Apple en andere bedrijven die resources uit China gebruiken (Foxconn). Dan is het blijkbaar geen probleem

[Henrikop]

En buiten de oeigoeren kwestie. China doet aan allemaal verkapte overheidssteun. Ik zou liever zien dat er meer betaalt wordt voor een Europese partner.

Maar buiten de politiek om. Mooi staaltje techniek. Hoe werkt dat eigenlijk? Hierop je jobs laten draaien?

[goarilla]

Je pushed je dataset naar de juiste plaats via ssh/sftp, logged in op een inlog node, stuurt een jobscript naar je job scheduler (slurm/openpbs/univa/...) voor een queue (= selectie van nodes met bepaalde resources en "tijdsmaximum") en dan wordt dat als alles goed gaat gescheduled en eindigt het voor tijdsmaximum anders wordt je job gekilled.

[Henrikop]

Helder! Klinkt ook heel logisch, maar vroeg het me af.

[Verwijderd]

Hier heb je de leiders van Lenovo wijs even aan welke die "hoogste politieke figuren" zijn zo diep bij de chineze overheid zitten?

https://www.lenovo.com/us/en/about/leaders

[Marsli]

http://www.legendholdings...en/index.aspx?nodeid=1042
grootaandeelhouder, oprichter Liu Chuanzhi is een hoge CCP partijlid. Als lenovo in de problemen komt, krijgt het staatsteun. Als een concurrent lenovo bedreigt, wordt de eigenaar gearresteerd en het bedrijf gesloten.

[Marsli]

het is geeneens een white lie, is gewoon een grote leugen. Lenovo is in handen van de chinese staat, dat is al lang bekend.
zie bijvoorbeeld een artikel uit 2006 http://news.bbc.co.uk/2/hi/americas/4997288.stm

[Verwijderd]

Ik ben eigenlijk eens benieuwd hoe ze eigenlijk die rekenkracht aanspreken.
Als leek, hoe kan je dit nu gaan gebruiken?
Werkt dat met users die bepaalde resources kunnen aanspreken?
Zie ik dit als een 'desktop' waar je rechtstreeks op werkt?

[Dorstlesser]

Onderstaande uitleg is een lekenuitleg op basis van mijn eigen beperkte ervaring. De details zijn in de praktijk wat anders, maar volgens mij geeft dit een aarrdig idee.

Stel, je wil als gebruiker bepaalde simulaties laten doorrekenen over niesdruppeltjes (om even bij het artikel te blijven). De gebruiker programmeert daarvoor een model, of past de code van een model aan wat geschreven is door een collega hier of elders. Dit gebeurt op de eigen computer van de gebruiker. De gebruiker upload de code bestanden en eventuele benodigde data-bestanden naar de supercomputer. Data bestanden kunnen experimentele uitkomsten zijn van experimenten in de echte wereld die het model bv. moet extrapoleren, of waar je een model mee wil trainen.

Om de supercomputer te laten rekenen stuurt de gebruiker vervolgens een commando naar de 'scheduler' van de supercomputer; deze maakt een 'job' aan voor deze wens en verdeelt de nodes/cores/cpus/gpus/RAM volgens de regels van de beheerder en volgens de wensen van de gebruiker. Soms wil een gebruiker meer cores/RAM dan de beheerder aan één job wil geven, bv. omdat er anders niemand anders meer aan de beurt komt. Dit doorgeven van commando's gaat doorgaans via een command-line interface; je logt via een 'terminal' programma op je eigen PC in op de server van de supercomputer en stuurt vandaar commando's zoals 'run Niesdruppel_Model.script met AnalayseSoftwarePackage.exe en stuur mee Data1.csv Data2.csv'.

Vaak wil een gebruiker verschillende modellen laten doorrekenen of trainen, bv. met verschillende parameters of op basis van verschillende datasets. In zulke gevallen kan dezelfde code gebruikt worden en moeten enkel de betreffende parameters worden aangepast die in het model worden ingevoerd (temperatuur, luchtvochtigheid, etc.). Hiervoor kan een gebruiker makkelijke verschillende jobs aanvragen door commando's als 'batch' aan te bieden. De scheduler van de computer zorgt dat alle 'jobs' in een 'batch' netjes achter elkaar worden uitgevoerd.

[Mellow Jack]

Voor de leek is het mooiste misschien wel MPI achtige constructies

Je hebt 1 script... draai_model.sh... deze start je en die verspreid zichzelf over meerdere computers die zichzelf gaan gedragen als 1. Simplistisch gezien heb je niet 10 machines met 4 cores en 16gb ram maar 1 machine met 40 cores en 160GB ram.

[Michael_OsGroot]

Ik weet niet hoe het met dit specifieke model gaat, en het verschilt waarschijnlijk ook per gebruiker, maar als ik bijvoorbeeld kijk naar mijn huisgenoot:
Hij heeft een enorme dataset aan gegevens, pakt daar bijvoorbeeld de 1e 1000 uit, en draait daar een test op op zijn lokale machine: wat werkt ongeveer, zie ik al eerste parameters waarvan ik weet dat ze een relatief gerigne impact hebben op het eindresultaat, convergeert het ergens naar toe.

Als dat vervolgens werkt dan kan hij via de console diezelfde berekening op zijn volledige dataset uitvoeren. Dat kan om diverse redenen niet op zijn desktop PC: allereerst zou het te lang duren, ook loop je tegen zaken als geheugentekorten aan.

Hij is dan overigens niet de enige die op de machine draait: het is niet dat 1 onderzoeker een gehele supercomputer voor zichzelf claimt. Iedereen kan taken inschieten en er zijn intern protocollen hoe je daar mee om gaat, hoeveel resources je mag claimen, wanneer je aan de beurt bent etc.

De interface loopt overigens via de commandline in zijn geval. Dus met een commando je dataset in de juiste map neerzetten en dan gewoon een script aftrappen zoals je dat ook zelf zou doen. Alleen dan met de gedachte dat de machine die het voor je doet 10.000 keer krachtiger is dan je eigen laptop

[Mir]

Ik werk geregeld op Cartesius. Ik heb daarover een keer een artikel geschreven voor PCM. Die is hier nog te lezen: http://www.mirdesign.nl/de-supercomputer.html

[SEtechnology]

Het voorbeeld voor trainen van (complexe) machine learning is makkelijk te volgen en dus een goed voorbeeld. Maar heb toch behoefte om aan te geven dat niet alles datagrdreven black box modelling is.

Wat bij simulaties van 'druppeltjes door een ruimte' waarschijnlijker is; is dat er in een hoge resolutie 3d mach op elk knooppunt gekoppelde differentiaalvergelijkingen worden opgelost (afgeleiden van navier strokes) waarbij bv. stroming, temperatuur en drijfvermogen onderling afhankelijk zijn. Daarbij komt nog een goed model voor de stromingen rond de druppels en turbulentie modellen (beide zijn vereenvoudingen).. Je wilt dit doen voor 1000(en) druppels, en in een redelijke ruimte, eventueel met ventilatie. Je moet dan elke (korte) tijdstap het hele mesh convergeren...

Dan wil je nog een parametrisch onderzoek; x cases simuleren met verschillende inputs en parameters om een beeld van de onzekerheid of gevoeligheden te krijgen. Meetdata kan je uiteraard gebruiken om de startsituatie te bepalen (of de eindsituatie) of het model te kalibreren. En note: hier wordt nog geen actief systeem geoptimaliseerd. Puur druppels door een ruimte. Met supercomputer wordt DNS mogelijk (direct of bijna direct numeriek).

Met CFD trucjes kan het vereenvoudigd worden, machine learning kan ongetwijfeld ook helpen in pre en post processing en aansturing/optimalisatie. Maar dan nog is het een grote rekenopgave.

Je kan je voorstellen dat dit wel wat kracht kost. Deze simulatie laat zich aardig laat distribueren over meerdere cores. Zo kan elke core+stukje ram een druppel of mashpoint representeren. Vroegah deed ik dat met Comsol gekoppeld met matlab. Vergelijkbaar met dit voorbeeld is bijvoorbeeld: energie grid simulatie, weervoorspelling etc. Voor biologische, chemische of nucleaire reacties gelden andere regimes..

[Reactie gewijzigd door SEtechnology op 22 juli 2024 16:35]

[kristofv]

Er is een bepaalde vm template beschikbaar via de aws "store" (niet aws hpc) die in essentie de werking van een supercomputer nabootst via een aantal vm's , de naam ontgaat me even compleet maar ik herinner me wel dat je er quasi zonder aanpassingen jobs op kan runnen die je op de supercomputer van de universiteit van antwerpen zou runnen. Kan je er ook eens mee spelen ;-)

[Mellow Jack]

Network enhanched oid volgens mij. De vms staan dan dicht bij elkaar in een hpc achtig netwerk

[kristofv]

Alces cluster computing was het https://aws.amazon.com/marketplace/pp/B01GC9E3OG/

[BadRespawn]

Zie ik dit als een 'desktop' waar je rechtstreeks op werkt?

Je moet wel een heel groot bureau hebben om er 80 duizend cores en 144 GPUs op of onder te passen.

[Tags NL]

BNR had hier laatst een uitzending over bij de Technoloog en die geluisterd onderweg in de auto, super interessant!

Link : https://www.bnr.nl/podcas...agie-van-de-supercomputer

[Squee]

Ook bij supercomputers is de trend zichtbaar dat Arm en fpga's in opkomst zijn. SURF kiest hier vooralsnog niet voor. "Arm en fpga's zijn hartstikke relevant, maar als je naar de Top500 kijkt, zie je dat de meeste systemen, zo'n 70 procent, op cpu's gebaseerd zijn. Wat op accelerators gebaseerde systemen betreft, zeven van de top tien, gaat het meestal om gpu's. Er is een aantal systemen met custom accelerators, met name in Azië. De Japanse Fugaku heeft inderdaad Arm-chips, maar met speciaal ontworpen vectorinstructies, vergelijkbaar met de AVX-instructies die Intel-cpu's hebben."

Jammer dat ze niet serieus een Arm gebaseerd systeem hebben overwogen (waarom dat samen wordt gezien met accelerators is me een raadsel), vooral aangezien er binnen Europa specifiek gewerkt wordt aan een eigen HPC ontwerp om de afhankelijkheid van de VS en China te beperken. ( Tweakers: Europese Arm-cpu voor supercomputers krijgt 72 cores, ondersteunt hbm2e en ddr5 ) Maar vanuit een perspectief van "veilige keuzes" maken en gaan voor systemen en fabrikanten die zichzelf al bewezen hebben, begrijp ik het wel. Hier boven op kan het natuurlijk ook zijn dat de verwachte beschikbaarheid van EPI systemen niet uit kwam met de planning voor Snellius.

[Reactie gewijzigd door Squee op 22 juli 2024 16:35]

[lasermen]

Je bent afhankelijk van wie er inschrijft op je aanbesteding.
Fujitsu had zich prima kunnen inschrijven en een vergelijkbare oplossing als ze in Japan hebben staan kunnen aanbieden.
Waarom dat niet is gedaan/door hun is gewonnen, zal je aan Fujitsu moeten vragen.

Andere fabrikanten hebben nog geen echte Arm supercomputer oplossingen in het portfolio die je makkelijk kunt inkopen.

Als je de uitnodiging van de aanbesteding opzoekt op tendernet, dan zie je nergens Arm of Power of andere architecturen worden buitengesloten. Meer dan dit kan je niet doen als aanbestedende partij.

De Europese Arm cpu is nog te ver weg in tijd voor Snellius ingezet te kunnen worden. Wie weet dat de opvolger wel een Arm systeem wordt?

In de technoloog uitzending die hierboven wordt genoemd, wordt ook over Arm gesproken en de supercomputer in Japan.

[Squee]

Goed punt wat betreft de aanbestedings procedure, dat zal inderdaad de grootste rol hebben gespeeld.

Andere fabrikanten hebben nog geen echte Arm supercomputer oplossingen in het portfolio die je makkelijk kunt inkopen.

Ja, en nee. Cray was er al even mee bezig bijvoorbeeld en heeft een ThunderX2 gebaseerd systeem indertijd neergezet bij de britse tegenhanger van het KNMI en enkele Amerikaanse overheids instanties. Inmiddels bieden ze Fujitsu's A64fx processors aan als opvolger en worden die ook in de opvolger van dat systeem gebruikt. Deze nodes zijn gewoon beschikbaar bij HPE (wat een tijdje terug Cray heeft ingelijfd)

Maar goed, Cray/HPE gaat een beetje voorbij aan mijn originele punt of EPI geen goede optie geweest zou zijn, vooral ook om de Europese positie te versterken. Maar ik denk dat @Raindeer dat al redelijk goed beantwoord heeft in zijn reactie.

PS - Disclaimer: Ik werk zelf voor Arm, maar was vooral nieuwsgierig naar het beslissings/evaluatie proces. Ik kan helaas niet verder op de technologische aspecten in gaan.

[lasermen]

Het klopt dat Cray/HPE al tijden Arm oplossingen kunnen leveren. Maar ze staan niet te springen om deze aan te bieden (in Europa). Vandaar ook het woord makkelijk in de betreffende zin

Ik hoop dat de 2e generatie A64fx ook het gene gaat doen wat men beloofd vanuit Fujitsu. Want de eerste generatie was wel met een heel duidelijk doel ontworpen

Daarnaast verwacht ik dat Arm adoptie in de server/cluster/super markt een stuk makkelijker zal gaan de komende jaren dankzij de Apple M1 CPU’s.

[Raindeer]

ARM supercomputers gaan vast heel groot worden, want energie is de belangrijkste beperkende factor, het is nu alleen nog geen commerciële realiteit voor een middenklasse supercomputer voor de R en D afdeling van een boerencooperatie uit de Rijndelta

De Japanners betalen 2x zo veel per Petaflop en gebruiken daar custom chips voor. Dat is dus vooral een systeem voor de bragging rights. SIPearl wat de Europese SuperARM chip ontwerpt, hoopt tweede helft dit jaar een werkend stuk silicon op te leveren, dat is de beta versie zullen we maar zeggen. Productie op schaal laat nog even op zich wachten ( en er schijnt ook een tekort aan productiecapaciteit te zijn) Al met al is het de vraag of deze Fransen ooit een chip commercieel beschikbaar maken. Ik zou de nationale supercomputer daar in ieder geval niet van afhankelijk maken.

[Mellow Jack]

[...]


Jammer dat ze niet serieus een Arm gebaseerd systeem hebben overwogen (waarom dat samen wordt gezien met accelerators is me een raadsel), vooral aangezien er binnen Europa specifiek gewerkt wordt aan een eigen HPC ontwerp om de afhankelijkheid van de VS en China te beperken.

SURF maakt dit "ding" voor kennis instituten en universiteiten. Ik zie dit type programma's langs komen en zie al best wat issues bij upgrades van Intel generaties (bijv 1,000000000001 wordt 1,000000000002). Zelfs de overstap naar AMD is al een flinke.

Natuurlijk is niet alles wat bij SURF draait van dat lowlevel spul maar de overstap naar ARM betekent dat bepaalde modellen (waar al tientallen jaren aan wordt gewerkt) flink herschreven moet worden. Voor mijn gevoel is een ARM chip met wat specifieke vector instructies niet voldoende om een general purpose hpc cluster als die over te laten stappen.

[Slavy]

Leuk verhaal maar al die cpu's/gpu's hadden in deze tijd veel beter voor andere dingen gebruikt kunnen worden, iets met chip tekorten...

[jovinkus]

Waarvoor dan? Dit lijkt me toch wel bij uitstek een van de nuttigere dingen om ze voor te gebruiken.

[Thekilldevilhil]

Het is elke keer weer hetzelfde. Je hebt altijd mensen die niet willen snappen hoeveel impact zo'n cluster heeft op Nederland en voornamelijk fundamenteer onderzoek, no ongeacht het onderzoeksveld. Ik ben ook wel een beetje klaar met hetzelfde riedeltje elke keer voordragen bij elk artikel over een supercomputer.

Ik ben in ieder geval ontzettend blij met surf en maak er dankbaar gebruik van. En dan doe ik nog maar relatief "licht" werk en gebruik ik Lisa en niet eens Carthesius (of Snellius).

[jovinkus]

Oeh een gebruiker!

Ik vroeg mij af "hoe" en "waarvoor" het wordt gebruikt.

Ik twijfel echt niet aan het nut en alles. Ik vroeg me vooral af hoe het in de praktijk ingezet wordt.
Is het een soort van portal waar je tijdslots kunt reserveren, of lever je iets aan wat zij dan voor je gaan doen? Heb ik me altijd al afgevraagd haha.

[Thekilldevilhil]

In mijn geval draai ik er voornamelijk sequence data analyse op, dus bijvoorbeeld RNAseq(1) data. Je meet dan alle genen die tot expressie komen (gemiddeld zo'n 11000). Echter omdat je maar kleine stukken kan sequencen krijg je miljoenen kleine stukjes sequentie terug die je allemaal moet mappen op de sequentie van genen. An sich lijkt dat niet eens een probleem en niet eens zo heel veel werk. Maar het probleem is dat veel stukken van verschillende genen met elkaar overeen komen. Dus heel veel stukken zouden van meerdere genen kunnen komen. Echter kun je de unieke sequenties gebruiken om dit probleem op te lossen. Op dezelfde manier als dat je een sudoku op kan lossen terwijl er een hele boel informatie mist. Uiteindelijk krijg je een overzicht van hoeveel mRNA er per gen in een sample zit en weet je dus hoe hoog dit gen tot expressie komt. Dit alignen van de data op het genoom kost een hoop tijd.

Het werkt eigenlijk vrij simpel. Met de kans dat ik de verkeerde IT terminologie gebruik, Lisa werkt op BSD Debian via de command line. Je hebt je eigen account waar je alle packages/scripts die je nodig hebt kunt installeren. Je opdracht gaat vervolgens naar de queue en die spuugt de data (gelukkig met email notificatie...) uit. Data heen en weer syncen gaat via winSCP. Het is allemaal best wel basic, elke onderzoeken moet er in een relatief korte tijd mee kunnen leren werken. Hier meer info:
https://userinfo.surfsara.nl/systems/lisa/description

Maar dit systeem is echt voor vrij simpele opdrachten die maximaal een uur (dacht ik) van de machine in beslag mogen nemen.
Als je meer wilt dan dat moet je Carthesius gebruiken. Dat werkt als ik het goed heb hetzelfde alleen gaat het dan per aanvraag, die al naar gelang de rekentijd (en kosten) of door Surf zelf of door NWO wordt beoordeeld. Als ik even naar mijn eigen onderzoeksgebied kijk, moet je dan eerder denken aan protein simulations of bijvoorbeeld receptor/ligand interactions.

(1)https://en.wikipedia.org/wiki/RNA-Seq

Edit: spelling...

[Reactie gewijzigd door Thekilldevilhil op 22 juli 2024 16:35]

[Tikkels]

Voor wat kan het beter gebruikt worden dan?

[Skyclad]

Ik heb nog steeds een nieuwe gaming PC nodig

[Carn82]

Dat is dus verre van nuttig

[d5stick]

Dat is maar relatief he .

[Alex3]

Aan zo'n nationale computer heeft iedereen iets, direct of indirect. Al waren het maar de berekeningen aan het coronaonderzoek.

[betwetor]

Blijft er wel staan dat de Japanners grofweg de helft per Pentaflop betalen. Is de ene Pentaflop de andere niet? Of is gaat het ook bij deze bedragen nog om grote kwantumkorting?

[theseboetz]

"De huidige lijstaanvoerder is de Japanse Fugaku met 537 petaflops pieksnelheid, meer dan twintig keer zo krachtig als Snellius uiteindelijk zal zijn, maar die kost ook zo'n 800 miljoen euro. Wij hadden maar 20 miljoen euro. We richten ons veel meer op bruikbaarheid voor de wetenschappers."

Dan betalen wij toch de helft per petaflop?

[Alex3]

Dat was ook mijn uitkomst.

[IamFenix]

Blijkbaar hebben m'n Nederlandse collega's hun werk niet goed gedaan. Want begin dit jaar heeft Fujitsu een Fugaku gebaseerde Supercomputer met 10Petaflops voor 20Mio € geleverd in Portugal (and more to come) en dit gebaseerd op Arm technologie.

"The new supercomputer is one of eight being funded by the EU as part of EuroHPC JU. The program’s objective is to foster better science and enhance innovation in Europe by providing access to leading-edge HPC infrastructures and services to a wide range of users from the research and scientific community and the industry and the public sector. It aims to equip the EU by 2021 with an infrastructure of petascale and precursors to exascale supercomputers and develop the necessary technologies and applications to reach full exascale capabilities around 2022/2023."

https://www.fujitsu.com/e...iver-new-10-petaflop.html

[betwetor]

Ik mis iets geloof ik.
Wij krijgen 6,1/20 =0,3 Pflop/m
De Japanners 537/800=0,7Pflop/m
Dus de Japanners krijgen dan toch dubbel zo veel flops per euro?

[Generaal Pep]

Dat heeft Japan inderdaad te danken aan een goede inkoper. Die even een lekkere (quantum) korting heeft afgedwongen.

[Jeoh]

"Krijg ik korting? Ja en nee..."

[Epidemias]

je berekening is fout, maar je vraag is terecht.
De ene petaflop is de andere niet.
Linpack is een test om om de snelheid te benchmarken waarmee een computer floating point operations kan doen. Deze benchmark word gedraaid om met andere systemen te vergelijken.

Echter zijn floating point operations niet even nuttig voor elke workload (vb: AI). Vaak worden generieke CPUs en GPUs gebruikt in supercomputers, maar dat is niet altijd. Soms worden er CPUs specifiek ontwikkeld voor een supercomputer met een specifieke taak. Deze zullen dus slechter presteren op linpack, maar zullen razendsnel zijn voor de taak dat ze ontworpen zijn.

[procyon]

Geweldig om die vooruitgang te zien in efficiëntie. Kijkend naar de tabel van "SURFsara nationale supercomputers". Hoe verhouden onze computers zich tegenover de supercomputer uit het jaar 2000?:

Teras: SGI Origin 3800, met 1024 RPeak Gflops @ 300KW verbruik?
Is mijn Ryzen 5600X met 6900XT nu een betere machine of komt dat nog niet in de buurt?

[Reactie gewijzigd door procyon op 22 juli 2024 16:35]

[MadMarky]

Een moderne cpu als een Ryzen 5950X schurkt tegen de 1000 Gflops/s aan en jouw 6900XT doet ook nog eens zo'n 1400 Gflops, dus ja jouw PC is aanzienlijk sneller dan de Teras supercomputer van 21 jaar geleden.

[Steyn_E]

Poah, van 300KW naar 300W voor ~1000GFLOPS. Dat zijn nog eens stappen.

[RA7]

Maar kun je erop gamen? :-D

[Skyclad]

Waarschijnlijk wel. Maar dan krijg je met deze en gene ruzie. In '98 of '99 (weet niet meer precies wanneer) speelde ik nog af en toe een PvP MUD genaamd 'Genocide'. Het was een Amerikaanse server, met dan ook veel Amerikaanse spelers, en een overrepresentatie van systeembeheerders die er op speelden (kennelijk hebben systeembeheerders meer moordneigingen? )
1 van die systeembeheerders werkte voor de Amerikaanse defensie, en op een gegeven moment zei hij dat hij een nieuwe supercomputer daar moest testen, en via die supercomputer ingelogd zat. Wat hij deed werd wel gelogd, maar een text telnet sessie vielen ze niet zo erg over. Echter toen hij (om te kijken of dat werkte) er ook Doom op installeerde werd hij toch terug geroepen, "Dat was toch niet de bedoeling!".

[RA7]

[greatgonzo]

wil de oude wel overnemen voor bitcoin minen..

[harmvzon]

Ik denk dat de ROI wel een tijdje duurt

[c2h5oh]

in het artikel staat

De keuze viel uiteindelijk op Lenovo, omdat dit bedrijf veel meer nodes voor het bedrag bood dan concurrerende bedrijven.

Dat lijkt verdacht veel op het verhaal van half april over de manier waarop huawei bij KPN kon binnenkomen en daarna in staat was alle mobiele telefoonverkeer af te luisteren (niet: "heeft afgeluisterd").

https://www.nrc.nl/nieuws...heid-van-telecom-a4040288
"

„Onze goedkope mobiele telefonie, daarvan kun je donder op zeggen dat-ie getapt kan worden door leveranciers”, zegt hoogleraar Jacobs. De lage tarieven die Huawei bijvoorbeeld gerekend zou hebben – 25 procent van die van concurrenten – noemt hij „schokkend”. „Dat kan alleen met staatsfinanciering. Het is een beproefde strategie om een inlichtingenpositie op te bouwen.”

[lasermen]

Het zegt niet of het verschil 1 node of 100 of 1000 nodes was. Bij kleine verschillen kan het manier van inkopen/ontwerp van je systemen het verschil hebben gemaakt. Als het wel om zeg 1000 nodes gaat, dan kan er best ergens een potje met geld open getrokken zijn…

Aan de andere kant, ik heb liever dat China extra geld stopt in onze supercomputer. Dan dat ze dat geld gebruiken om bijvoorbeeld wapensystemen te bouwen.

Indien SURF hun communicatie beveiliging op orde heeft. (Ga ik wel vanuit) dan zullen ze verdacht gedrag snel genoeg terug zien als Snellius aanstaat en waarschijnlijk wel maatregelen tegen nemen/in gesprek gaan met Lenovo.