Nieuwe top 500-ranglijst van supercomputers gepresenteerd

Bedenk wel dat de gigaflops in de lijst gemeten zijn en dus niet zomaar vergeleken kunnen worden met theoretische cijfers. Vooral met gameconsoles worden die nogal eens overdreven. Een Woodcrest op 3GHz kan in theorie 24 gigaflops halen, wat ook nogal mager lijkt t.o.v. die Xbox-chip, maar ik betwijfel toch echt dat hij de praktijk >4 keer zo traag is.

Voor de top500 telt double precision flops met name.

Een XBOX chip haalt in theorie op papier rond de 10 gflop.

In vergelijking de CELL processor die in de PS3 zit haalt rond de 30 Gflop double precision in theorie.

Natuurlijk is gflop een onzinnige maatstaf, maar je zult er toch 1 moeten nemen.

De onzin zit hem hierin dat het gros van de supercomputers voornamelijk matrixvermenigvuldigingen of invariant berekeningen doen en een vermenigvuldiging op de meeste chips is zeer traag. Vaak heb je eigenlijk alleen een snelle 'vermenigvuldiging + add' nodig. Dus "load, vermenigvuldig, add, store'. Die sequence.

Juist die sequence is vrij traag op x86. Het traagst op de P4. Opteron is hij ook nog vrij traagjes. Effectief ben je snel 4 cycles kwijt en er is maar 1 execution unit die vermenigvuldigen kan (op zowel k8 als woodcrest); 1 cycle = 1 clocktick en een 2.4Ghz opteron genereert er 2.4 miljard per seconde.

Dus in plaats van dat je dan tot 3 instructies per cycle uitvoert, of in geval van woodcrest 4 per cycle, dat is natuurlijk wel een verschil van factor 12 tot 16. De oplossing die men snel verzint meestal is om dan de zaak al vroeg te issuen, waardoor die factor 12 tot 16 wel behoorlijk terugloopt.

Nu is het wel zo dat je vaak natuurlijk continue memory loads aan 't doen bent. Een flop = floating point operation. Dus memory loads worden niet meegerekend. Echter in dat soort code, elke paar instructies doe je er wel een of meerdere.

Een erg belangrijke benchmark is dus bijvoorbeeld de DGEMM benchmark.

Die meet gewoon hoe snel je enorme matrice vermenigvuldigt.

En codes kraken.....

De grootste machines worden met name gebruikt om kernexplosies te simuleren. Dus die machines zijn uitermate nuttig en milieuvriendelijk, want ze voorkomen enorme ellende in 't milieu.

Daarna is het zo dat enorm veel rekentijd gaat naar allerlei berekeningen waar electronen in materialen zitten en de weermannen hebben zelf weliswaar kneusachtig slechte machientjes in hilversum, maar ze zouden in theorie ook enorme rekenkracht kunnen gebruiken.

Voor simulaties in die richting wordt veel uitgetrokken.

Extreem weinig gaat naar medische berekeningen. Minder als 0.5% systeemtijd; dit ofschoon veel machines gepresenteerd worden als zodanig.

Daar komt bij dat in Europa veel onderzoek in die richting natuurlijk verboden is; lijkt me ook geen fris gezicht om te experimenteren met apen en hun hersenen terwijl ze nog leven zoals bijvoorbeeld in Ramat-Gan gedaan wordt (maak je geen zorgen, Greenpeace zit daar al bovenop en heeft niets weten te bereiken aldaar) alsmede allerlei genetisch onderzoek is verboden en niet elders in de wereld, dus de totale systeemtijd die nodig is voor de medische wereld alhier is lachwekkend weinig.

Daar komt verder bij dat het gros van deze machines enorm prijzig zijn per node. Al snel rond de 5000 tot 6000 euro per node. Alleen in NL ligt dat bedrag nog veel hoger per node wegens gekneus der heren ambtenaren.

Belachelijk veel, ofschoon je natuurlijk voor 4000 dollar nu bij dell een 5160 compleet geconfigureerd kunt kopen.
Hij zit ruim onder de 3000 als je een niet al te snelle woodcrest erin pompt. Dan nog eens rond de 2000 dollar per port en je bent klaar natuurlijk (als je goed onderhandelt). Dat is dan 5000 dollar, oftewel minder als 4000 euro momenteel per node.

Laat staan dus als je er 1000 van inkoopt, dan ben je nog veel goedkoper uit.

PDSH installeren krijgt elke hobbyist wel voor elkaar en systeembeheerders zat om de zaak te replacen.

Als gevolg hiervan hebben we extreem weinig gflops ter beschikking in Nederland, dus is het een enorm gevecht om wat van de brei te krijgen.

Dit is het grote probleem simpelweg bij die grote machines. Op 1 of andere manier krijgt men het voor elkaar in Europa, een enkele uitzondering daargelaten, om des te groter de machine is des te meer geld te uit te geven per gflop.

Voor hetzelfde geld koopt men in USA een systeem met factor 10 meer processors en geen enkele wetenschapper heeft problemen dan om wat rekenkracht in te slaan, zonder al te veel commissies die moeten studeren op je aanvraag.

Men bespaart daar gewoon elk jaar een paar miljoen op commissies.

Als je je dus afvraagt waarom ons weerbericht dagelijks niet klopt, dan weet je dus waarom.

Tekort aan rekenkracht

Ach dat valt reuze mee in werkelijkheid.

Bij SGI is berekend was in totaal 1 machine 'zoekgeraakt' van 512 processors. Dit waar ze in totaal enige honderdduizenden processors verkocht hebben aan totale rekenkracht. Minder als een procentje.

Voor het voorspellen van het weer ligt het anders. In sommige landen (ik meen ook Italie) valt de weerdienst onder het leger.

Hoe geheim is iets als je precies weet wat op die machine berekend wordt?

Houdt rekening met veel verkeerde voorspellingen komende tijd als Iran mot maakt

Systeemtijd krijgen op van die overheidsmachines is simpelweg niet eenvoudig in Europa, daar ze weinig van die machines inslaan. Ze stellen liever een commissie in, om een vrind een goed salaris te gunnen.

Wat overheden meestal doen als het gaat om encryptie is gewoon een eigen chip bouwen. Dat is factor 10000 sneller als een normale processor. Dat doet men niet in Nederland, want die gaan nooit een goed salaris betalen aan goede programmeurs met goede ideeen.

"je kunt tenslotte niet meer verdienen als de baas".

Overigens vind ik dat in hardware stoppen vrij overdreven, want van een slim nieuw algoritme, daarvan zou ik het liever eerst op een quad aan de praat zien en werkend zien, alvorens het direct maar in hardware te gieten. Erg efficient gaat het er dus niet aan toe.

Daar kan natuurlijk geen supercomputer tegenop.

Ook zijn er veel speciale kaarten om matrixvermenigvuldigingen te doen die veel naar die instanties gaan.

Zo kreeg ik in mijn brievenbus weer een berg emails te verwerken van het bedrijf daniel.kidger@clearspeed.com

Die nu een kaart hebben die tegen de 100 gflop haalt op DGEMM. Ik meen dat de kaart tegen de 8000 dollar zit ofzo. Eind 2005 was er een ander bedrijf dat mij spamde met een kaart die rond de 30 gflop haalde voor ik meen rond de 6000 dollar.

Die prijzen kun je fiks op afdingen als je er 1000 van inslaat natuurlijk.

Die snelheden haal je natuurlijk niet met een supercomputer, laat staan pc'tje, terwijl zo'n kaart achteloos in een pci-x 133Mhz slot gegooid kan worden.

Een bedrijf dat dus echt rekenkracht nodig heeft komt er veel simpeler vanaf als de overheid.

Een goedkoop 8 node clustertje van rond de 40k euro (bij voorkeur quadrics, anders infiniband want dat zijn de enige 2 netwerken waar die switch goed van is als het hele netwerk goed is), met 2 kaarten per node, dan zit je dus al direct aan 1.6 teraflop effectief inclusief een massief groot SATA raid10 array.

Dat voor in totaal ruim onder de 2 ton. Dat is inclusief systeembeheerder.

Dat is dan niet echt een supercomputer, maar simpel clustertje.

Dat is dus effectief sneller als een lompe supercomputer van de overheid, neem nu Aster bij SARA. Die haalt dus op *papier* slechts met het supercluster:

256 processors * 5.2 gflop = minder als 1.6 Tflop

Let wel dat van die Itanium processoren is theoretisch en er vallen nog een berg cpu's uit wegens dedicated tasks (i/o cpu's etc). Verder is de prijs bij de overheid aanzienlijk meer. Dan hebben we 't niet over dat je weer een jaar kwijtraakt aan aanvragen voor systeemtijd en dat je die volledige 256 cpu's gewoon NIET krijgt, of de machine is weer eens down en kan ZEKER niet nonstop 3 maanden voor je iets uitrekenen, want hij crasht geheid in die tijd.

Dus voor 2 ton heb je iets stabiels wat factoren sneller is als wat de overheid heeft voor 10+ miljoen euro, zonder dat enig wetenschapper ooit exclusief kan rekenen op dat ding. In werkelijkheid draaien er allemaal van die 4 processor batchjobs op die supercomputer. Die kunnen natuurlijk stukken sneller thuis op een dual woodcrest dual core machine draaien ($4000 bij DELL voor de 3.0Ghz versie inclusief 4GB ram).

Het enige wat die mega supercomputers hebben dat je zelf niet even snel thuis bouwt is dus mega veel RAM dat je tot je beschikking hebt.

Enige nieuwe generatie algoritmes om 't weer te berekenen kunnen stevig gebruik maken van RAM.

Het budget dat echter uitgegeven wordt aan 't weer berekenen is uitermate zuinig. Effectief berekent men dus op totale outdated hardware in Hilversum iets.

Dat zal je tegenvallen.

Hier staat in mijn kantoortje een dual opteron dual core 2.4Ghz met 2GB ram (geef toe, beetje mager).

Zo'n ding bouw je dus voor 3600 euro vrij simpeltjes.

Dus laten we uitgaan dat 1200 euro ervan = 1.33 core.

Dan onze overheid. Lisa is een prachtig cluster, maar de grootste supercomputer is Aster.

Een onding van 416 processors waar de grootste partitie een supercluster van 256 is, waarvan rond de 250 processors inzetbaar.

250 processors * 1/4 uur * 1.3Ghz = 81.25 Ghz uur.

Op 1.33 core van een opteron is dat

81.25 Ghz uur / (4/3 * 2.4 Ghz) = 25.4 uur

Dus binnen 1 dag heb je zo'n supercomputer eruit gerekend, want het kost precies 1 jaar van papieren invullen om systeemtijd te krijgen op die Aster supercomputer. Dan mag je op je knietjes en nog enige volupteuze reports indienen.

Voorsprong in tijd = 1 jaar.

Overigens 1Ghz van die itanium2 is vrij lachwekkend vergeleken met 1Ghz van een opteron. Laat staan woodcrest die 4 instructies per cycle kan doen,
terwijl de itanium op papier wel er 6 kan doen maar in werkelijkheid de 2 nauwelijks haalt wegens limitaties in execution units en andere complexe zaken die men niet vrijgeeft.