Twee nieuwe IBM Linux-supercomputers bij NCSA

Voor wie dacht Shell in Nederland de snelste Linux-cluster zou gaan bouwen volgt hier een 'vervelende' mededeling: het NCSA (National Center for Supercomputing Applications) gaat er ook twee bouwen, ook al gebaseerd op IBM-technologie. Lees het navolgende citaat uit de nieuwsposting en huiver maar even lekker:

The National Center for Supercomputing Applications at the University of Illinois at Champaign and IBM are putting together the world's fastest Linux supercomputer. NCSA will install two Linux clusters using more than 600 IBM x330 thin servers, each with two 1GHz Intel Pentium III processors, running Red Hat Linux. The cluster will be the fastest Linux supercomputer and the fourth fastest supercomputer overall. The other cluster will run Turbolinux and will use Intel's 64-bit Itanium processor. The clusters will have 2 teraflops of computing power and will be used for basic scientific research including the nature of gravitational waves.

Wanneer beide clusters operationeel moeten zijn blijft helaas een beetje onduidelijk, vooral de Itanium-cluster die nu al in concept opgezet is maakt iedereen natuurlijk nieuwsgierig . IBM manifesteert zich dus steeds nadrukkelijker aan het Linux-cluster front, en positioneert zichzelf daarmee natuurlijk ook meteen aan het front van de 'high-end' Linux-cluster bouwers. Wie dit 10 jaar geleden zou hebben geroepen was natuurlijk meteen opgesloten in een al even gesloten afdeling . Met dank aan TeleManiac voor de tip.

Reacties (36)

Verwijderd 19 januari 2001 09:52

Al dat geblaat over `de snelste supercomputer'. Er zijn legio mensen die vinden dat een cluster gewoon geen supercomputer is, omdat zo'n configuratie voor een groot aantal rekenproblemen gewoon niet geschikt is. Natuurlijk, als je alleen het aantal GFLOPS van de nodes optelt, kom je tot een heel groot getal. Of je het daadwerkelijk kunt gebruiken is de vraag, en dat bepaalt wel of het voor jou een `super' is.

cire @Verwijderd • 19 januari 2001 11:55

Waarom zou een cluster samen geen supercomputer vormen?

Je geeft als argument dat zo'n configuratie voor veel rekenproblemen niet geschikt is.

Kun je dan aangeven voor welke rekenproblemen een computer geschikt moet zijn om binnen de categorie supercomputer te vallen?

Een Cray vectorcomputer is namelijk ook voor andere berekening geschikt dan een Cray T3E.
(Worden er eigenlijk nog Vector computers gemaakt?)

Ik heb alleen wat MPI gedraaid op een Cray T3E, maar in principe kan dit ook op een cluster. Waarschijnlijk moet de dan met meer communicatietijd rekening houden.

Volgens mij is de conclusie dat een cluster minder geschikt is parallel programming waar relatief veel communicatie vereisd is.

SvMp @cire • 19 januari 2001 14:26

Kun je dan aangeven voor welke rekenproblemen een computer geschikt moet zijn om binnen de categorie supercomputer te vallen?

Ja ik denk berekeningen die niet gemakkelijk in kleine stukjes zijn te splitsen. Dus een berekening waar steeds enkele antwoorden op stukjes nieuwe rekensommen opleveren. Dit soort dingen kun je op slechts over een paar CPU's verdelen en in zo'n geval heb je niks aan 600 machines.

Maar gelukkig zijn verreweg de meeste berekeningen op te splitsen in brokjes die verdeeld kunnen worden over alle machines.

Verwijderd @SvMp • 19 januari 2001 15:24

Maar gelukkig zijn verreweg de meeste berekeningen op te splitsen in brokjes die verdeeld kunnen worden over alle machines.

Was het maar waar

Verwijderd @cire • 19 januari 2001 15:22

Het punt is dat aankondigingen als `de 4e snelste supercomputer' maar van heel relatieve waarde zijn. Als je een benchmark gebruikt die goed met MPI om kan gaan, haal je hoge cijfers. Geef hem echter een probleem waar alleen double precision floats inzitten en waarbij je het hele geheugen vanaf iedere processor moet kunnen bereiken, dan stort de performance als een kaartenhuis in elkaar in vergelijking met bijvoorbeeld een SGI 3800.

Ik zeg niet dat het een slechte computer is, ik probeer alleen een benchmarking te relativeren.

Scorpion 19 januari 2001 08:19

Kan iemand me vertellen wat de snelste pc eigenlijk is? aangezien dit de op 3 na snelste PC zal worden.

quote:

The cluster will be the fastest Linux supercomputer and the fourth fastest supercomputer overall

edm @Scorpion • 19 januari 2001 08:52

Volgens mij zijn de meeste beowulf projecten RH-gebaseerd. Er is dan natuurlijk wel het een en ander aan getweekt om de netwerk spullen (die meestal redelijk speciaal=duur) met zo weinig mogelijk latency te laten draaien. Ik meende dat de meeste van die dingen 5.2 gebaseerd zijn, maar ik het is alweer een tijdje geleden dat ik hier naar gekeken heb. Verder heb ik het idee dat een aantal mensen niet echt door hebben, dat je meestal eigen software maakt voor dergelijke clusters die je met MPI/PVM 'cluster-enabled' schrijft. PIII-optimalisatie van RH zal dan *vast* wel niet zo belangrijk zijn, omdat tien tegen 1 ook wel niet de default kernel gebruikt wordt. De compiler is meestal ook geen isue, want meestal wordt toch wel voor een commerciele compiler gekozen (betere performace, betere debuggers voor parallele omgevingen).
Verder ben ik eigenlijk best wel al dat gezeik over RH zat. Wij gebruiken RH hier al sinds een aantal jaar en al dat gejammer over vele bug-fixes/beveiliging isues vindt ik persoonlijk een beetje suf. Als je een machine aan het net hangt dan moet je je zowieso realiseren dat je hem *up2date* houdt, of het nu een windows-bak, linux of BSD bak is. Onnodige services draaien, of services niet goed configureren ligt niet alleen aan de packager, maar vooral aan degene die de machine installeert...
Wordt je dan gehackt ach dan heb je je eerste belangrijke les in systeembeheer te pakken, draai geen onnodige services, houdt bug fixes in de gaten en ook je logs...
O ja en voordat mensen beginnen te ouwehoeren over inbraken in dit soort clusters, deze dingen hangen nooit rechtstreeks aan het internet....

Verwijderd @edm • 19 januari 2001 09:23

Chapeau mon frere! De Beowolf groep adviseert zelfs rode hoed te gebruiken, inderdaad nog vaak 5.2. En dat IBM enkele miljarden in Linux investeert en exclusief voor Red Hat kiest zegt ook genoeg.

RH maakt wel eens fouten en stelt bijna inmiddelijk de patches beschikbaar. (Moet je bij Suse eens om komen ...

)

On topic: supercomputers zijn nix nieuws maar het is een hele boeiende ontwikkeling dat er steeds meer gekozen wordt voor clusters van pc's, ipv grote bakken van sun of cray, oid.

Wat zou hier de reden van zijn? Alleen de prijs? Beheersbaarheid?

SvMp @Verwijderd • 19 januari 2001 11:07

Je kunt Linus niet als een soorft God beschouwen. Mensen willen nog wel eens vergeten dat Linux 'enkel' een kernel is en geen OS.

Verwijderd @Verwijderd • 19 januari 2001 13:31

Jah, en DIE stelling wil ik nu wel eens de wereld uit zien. De meeste mensen kijken naar linux als zijnde een O.S met de daaraan verbonden tools en shells, en NIET als alleen de kernel. Trek de vergelijking met Windows maar.

Technisch en op de strepen staand, is linux inderdaad alleen de kernel. Maar dan moeten er ook geen opmerkingen als: 'ik draai linux op mijn pc'tje' gemaakt worden, want dat zou dan ook nergens op slaan... Lekker een kernel, heb je wat aan.

Oh ja, dit alles imho

Verwijderd @Verwijderd • 19 januari 2001 09:47

Red Hat maakt wel eens fouten ? Heb je Linus wel eens gehoord over de nieuwe RH 7.0 ?

Trouwens maar een van de clusters wordt met RH ingericht, voor de Itaniumversie is voor turbolinux gekozen.

Verwijderd @Verwijderd • 19 januari 2001 09:50

Sepans, tis toch makkelijk te verklaren waarom je steeds meer goedkope linux-clusters ziet ipv. dure Sunbakken ?

Meer rekenkracht nodig ? PCtje erbij ...

Verwijderd @Verwijderd • 19 januari 2001 10:23

Heb ik gelezen ja. En ik heb ook een artikel gelezen waar Robert Young 2 weken eerder vel uithaalde naar Linus over het eindeloos uitstellen van kernel 2.4. Misschien heeft dit wel verband met elkaar. In de afgelopen 2 jaar zitten die 2 elkaar doorlopend in de haren en soms lijkt het veel op een vete tussen die 'heren'.

cire @Scorpion • 19 januari 2001 11:45

Kijk eens op http://www.top500.org

Ik zou trouwens niet de aanduiding P(ersonal) C(omputer) gebruiken.

N8w8 19 januari 2001 03:52

Waarom bouwen ze geen custom linux install? (nb ik heb het NIET over die ene redhat install optie!)
Ik weet verder niks van redhat af, maar ik ben weinig distro's tegengekomen die voor de PIII geprecompiled zijn, wat nadelig is voor de snelheid.

Zelf heb ik ook mn volledige install van de grond af gecompiled, wat wel degelijk uit maakt qua snelheid

mullah @N8w8 • 19 januari 2001 04:14

Waarom ze redhat genomen hebben weet ik ook niet zeker, maar ik gok dat er bij redhat wel wat goeie techies rondlopen die die bakken gaan supporten.

Dat niet alles standaard gecompiled is voor een pIII is denk ik geen probleem, voor zo een cluster lijkt het me dat je dat sowieso zelf nog een keer gaat doen.

Verwijderd @mullah • 19 januari 2001 07:57

Als ze het gaan doen met redhat 7.0 wens ik ze veel succes

oude kernel , verkeerde compiler , geen steun meer van thoral voor redhat.

Maar al een leuke cluster
Maar deze worden gebouwd met 600 nodes oke wel 2 keer maar die shell linux Wall is 1024 units in 1 cluster deze zou dan toch sneller moeten zijn ?
of zijn dat uni proc systemen dit zijn duals.

Xinhood @Verwijderd • 19 januari 2001 16:40

nieuwe compiler erop en ff een goeie kernel bakken... da's toch niet zo'n hele klus?

Aaargh! @mullah • 19 januari 2001 18:41

Kan het niet zo zijn dat er een aantal techies van RedHat komen die een custom install doen op die machines ?
lijkt me sterk als ze een off-the-shelf redhat CDtje gaan gebruiken.

N8w8 @mullah • 19 januari 2001 14:00

Niet dat ik Redhat af wil kraken, maar Debian (bijvoorbeeld) heeft veel minder bugs dan Redhat.
Ook heeft IBM Linux-techies a-plenty rondlopen. Ze zijn nu bezig met een journaling filesystem voor Linux (iirc heet het JFS, patches zijn geloof ik al beschikbaar). Ze zouden dus best zelf een install kunnen maken als je t mij vraagt.

Volgens mij is de keuze voor Redhat dus alleen om commerciele redenen gemaakt, maar welke?

Verwijderd @N8w8 • 19 januari 2001 19:27

n8w8 :
Ja klopt van die JFS en die bugs

maar suse heeft hem nu toch zelfs standaard in de bundel zitten ?

Als ibm het maar niet in zijn hooft haalt om weer zo'n ODM database te maken like aix, is mooi maar zo eenzaam.

Denk ook dat er wel een goede image gemaakt gaat worden door ibm zelf en dan distro via netwerk
zo beurt de 600 nodes.
Goed voor linux en dus ons

SvMp 19 januari 2001 11:05

Slackware gebruiken..
Je moet dan wel alles zelf compilen, maar dat zal wel lekker snel gaan op deze machine!

Squee @SvMp • 19 januari 2001 11:38

maar dat zal wel lekker snel gaan op deze machine!

Dat betwijfel ik, want ik zit me af te vragen of iets compileren eigenlijk wel parallel uit te voeren is. Redelijk veel mensen denken altijd wel dat deze dingen alles supersnel kunnen doen, maar dat geld natuurlijk alleen maar voor problemen die goed op te splitsen zijn, en zo dus parallel te berekenen.

Fetherlite:

Al dat geblaat over `de snelste supercomputer'. Er zijn legio mensen die vinden dat een cluster gewoon geen supercomputer is, omdat zo'n configuratie voor een groot aantal rekenproblemen gewoon niet geschikt is.

Voor die supercomputers geld het zelfde hoor, want daar zitten dan bijvoorbeeld 128 processoren in (of nog velen malen meer), maar ook daar kan je alleen maar dat soort berekeningen op doen. Je moet daar ook je programma/probleem op zien te splitsen in kleinere stukjes die tegelijkertijd berekend kunnen worden, en het zo verdelen over de processoren, net zoals je het verdeeld over de nodes in een Beowulf. Een Supercomputer kan alleen wel een shared memory hebben, en volgens mij is dat (nog?) niet mogelijk met Clusters. Verder zal in een Supercomputer de communicatie snelheid tussen de processoren en andere hardware waarschijnlijk sneller zijn dan over een netwerk tussen de Cluster Nodes, maar daar staat natuurlijk ook een veel hogere prijs tegenover.

Verwijderd @Squee • 19 januari 2001 15:35

Je moet daar ook je programma/probleem op zien te splitsen in kleinere stukjes die tegelijkertijd berekend kunnen worden, en het zo verdelen over de processoren, net zoals je het verdeeld over de nodes in een Beowulf.

De overeenkomst is parallelliseren van je code. Maar dan houdt het ook op. Als ik op de ene cluster node een waarde uit het geheugen van een andere clusternode nodig heb, kost dat tijd, veeel tijd. Bij een shared memory architectuur is de penalty veel lager.

Het hangt allemaal van je probleem af.

Een shared memory machine kan alles wat een cluster kan, maar niet andersom. Een voordeel van een cluster is dat als er een node uitvalt, dat niet zo erg is. Als er bij een shared memory architectuur een CPU de geest geeft dan gaat in veel gevallen de hele machine plat. Ik dacht dat alleen de IBM RS/6000 supers hot pluggable CPU's hebben.

Verwijderd @Verwijderd • 19 januari 2001 23:30

Hot pluggable is wel leuk, maar voorkomt niet dat je applicatie onderuit gaat. HP heeft bijvoorbeeld de mogelijkheid om processoren standby te laten draaien. Deze kunnen dan als er te weinig processing is, of evt. als er een andere processor uitvalt worden bijgezet (iCOD) Instant Capacity On Demand.
Echt hot pluggable zou alleen werken als het O.S. ook aan process mirroring doet. Dit doen HP-UX en IBM-AIX in ieder geval niet. Dus zijn ze ook niet meer echt hot pluggable.

cire @Squee • 19 januari 2001 12:02

Ik denk zelf dat een cluster met shared memory per definitie onmogelijk is.

Als een systeem shared memory heeft, is het geen cluster meer.

Als namelijk alle processoren toegang tot dat geheugen moeten hebben, moet dat allemaal wel snel genoeg gaan. Dus moet dat allemaal op z'n minst op een printplaatje worden gebouwd.
En dan spreek je niet meer over cluster.

Jive 19 januari 2001 02:13

Zouden ze daar ook

's hebben draaien ?????

Niet zo mooi vor DPC dan denkik.

Of hebben ze al die kracht nodig om Echelon zonder lag te laten draaien.

Verwijderd @Jive • 19 januari 2001 11:08

Gut oh gut, elke keer als er een nieuwtje op T.net komt over snelle computers en/of CPU's heb je er altijd weer zo'n zwakzinnige tussen zitten die gaat vragen hoeveel zo'n ding zal grazen ofzo.

Get a life dude

Verwijderd @Verwijderd • 19 januari 2001 15:56

Nou hebben ze in ru wel es een testje gedaan met een supercomputer in combinatie met koe.
Kijk es op http://slashdot.org/articles/99/07/18/149206.sh tml