AMD krijgt grote exascale-opdracht overheid VS

Kijk voor exascale heb je 3 mogelijkheden.

a) Nvidia Tesla
b) AMD GPU's
c) IBM

In dat lijstje durf ik de japanse CPU's al bijna niet te noemen, terwijl als je naar de specs van die cpu kijkt, die is best capabel (maar zelfs op email van mij werd niet gereageerd dus het lijken uitsluitend nationale projecten).

Intel levert toch grotendeels tegenwoordig met name de cpu's van de nodes waarin de GPU's geplaatst worden (niet bij IBM natuurlij
k).
Op dit moment lijkt het alsof Nvidia die markt toch wel domineert flopsgewijs wegens CUDA en de goede compilers daarvoor. OpenCL is toch nog wat beginnende technologie met veel kinderziektes (maar veel goedkoper natuurlijk) en zonder ECC. Nu is de ECC overigens niet het grootste probleem want de DDR5 heeft een ingebouwde CRC die ook vrij veel ellende kan voorkomen.

Je ziet dan dus minder dan bij ECC, maar je ziet wel waar er errors optreden en kunt zo'n kaart er dan uitgooien.

Als we puur kijken naar prijs is eigenlijk de zwakke schakel in de GPU clusters dus de dure intel processors, terwijl die niet veel bijdragen aan het gflop geweld van de gpu's.

Verder is een andere limitatie de beperkte bandbreedte die 1 node heeft, ten opzichte van wat 1 gpu kan leveren. Het lijkt niet echt nuttig om meer dan 1 gpu per node te plaatsen.

Dit waar 1 Tesla, de winkelprijs is 2500 dollar. Krijg je vast voor de helft als je er 5000 van besteld, terwijl de intel node vaak veel duurder is.

Ook het netwerk is een gedeelte maar van de prijs van de prijs van 1 node.

Dus vandaar dat er nog niet complete dominantie is voor Nvidia op dit vlak en dat IBM nog zijn bluegenes weet te slijten.

Als we puur naar de prijs van de gpu's kijken versus prestatie en dat vergelijken met bluegene, dan is Nvidia dus factoren goedkoper per gflop.

De interconnect heb ik voor het laatste bewaard. We zien dat de kwalitatief beste interconnects nooit bijster goed verkocht zijn.

Een lachwekkende interconnect als ingebouwde ethernet 1 gigabit versus een QDR infiniband, het verschil in performance bij hetzelfde Nehalem type cluster in de top500 is maar factor 2.

Terwijl de bandbreedte van QDR dus factor 80 hoger ligt en ook nog eens DMA gaat. De latency is honderden malen sneller (one way pingpong latency). Toch resulteert dat voor zo'n kinderbenchmark, de ENIGE die gebruikt wordt bij de top500, in maar factor 2 verschil.

In het verleden resulteerde dat erin dat altijd de goedkoopste interconnect, te weten myri, gebruikt werd.

Toen ik daar latency tests mee deed, was die altijd factoren trager dan de betere interconnects die vrijwel niemand kocht. De bedrijven met goede interconnects gingen dan ook failliet 1 voor 1.

De clusterfabrikanten verkochten simpelweg myri OMDAT ze dan een paar honderd dollar meer winst per node konden maken. Bij zeer weinig supercomputers was de interconnect ueberhaupt reden tot goede analyse van de klant van wat ze nu eigenlijk nodig hadden.

Op dit moment domineert Mellanox natuurlijk met hun FDR infiniband. De prijs daarvan is lachwekkend weinig ten opzichte van de nodeprijs.

De hardware is zoveel beter dan de software momenteel dat het veel handiger zou zijn om als HPC nu te richten op de software. Echter ik heb nog geen serieuze pogingen van de kant van de HPC overheden gezien om experts in te huren waar nodig om software beter te parallelliseren cq algoritmisch sneller te laten rekenen (heel veel berekeningen van natuurkundigen kun je enorm versnellen met methodes waar zij weinig weet van hebben - dat is voor algoritmici geen peuleschil maar ze krijgen het wel voor elkaar). Dit is echter nog niet het geval. De 'hulp' die geboden wordt zijn werknemers die al in dienst daar zijn. Meestal niet de beste programmeurs noch de beste experts.

Het gaat nu om goede software die die gpu's goed gebruiken kan.

Daar is bijzonder weinig vraag naar. Ook als je de contractopdrachten afgaat. Heel zelden zit CUDA of OpenCL erbij en als het erbij zit zoeken ze een student die geen drol kost.

De HPC loopt daarin weer zwaar achter in de westerse landen. In een aantal 3e wereldlanden hebben ze het veel beter opgepakt en bouwen ze al jaar en dag GPU software. Technologisch lopen ze de 1e wereldlanden op sommige gebieden al hard voorbij hierdoor.

De performance per watt is inde HPC totaal irrelevant.

Als jij een supercomputer bouwt die 500 miljoen kost en dan moet je hem in 3 jaar afschrijven met een totale levensduur van 6 jaar.

Zeg dat is een megawatt of 7.

Als je nu kijkt op internet zie je dat een short ton kolen daar in de buurt van Illinois die kost dus rond de $35.

Dus energieprijs is minder dan $0.03 per kilowattuur bij DEZE KLEINE HOEVELHEID STROOM bij 24 uur per dag garantie.

Overigens is 7 megawatt, vanuit de industrie gerekend niet veel. Staalfabrieken vreten
echt honderden keren meer dan dit.

7 megawatt wordt je voor aangeslagen dan.

7000 kilowatt * 24 uur * 365 dagen * $0.03 = 1.8 miljoen dollar per jaar.

Dat is een prijs die beduidend hoger ligt dan de echte prijs die je bedingen kunt als je niet 24/24 gegarandeerd wilt hebben, maar overheden zijn slecht in onderhandelen...
...en willen in tijden van oorlog supercomputers ook van stroom voorzien...

Je zult begrjipen dat dus de prijs per watt niet zo'n vreselijk probleem is als de totale prijs van die supercomputer een half miljard is versus verbruik 7 megawatt kostprijs 1.8 miljoen per jaar.

Aan personele bezetting zijn ze echt factoren meer kwijt, om te zwijgen over de security.