AMD Opteron in vijf nieuwe supercomputer-clusters

Het Simulation Center van de U.S. Army Space & Missile Defense Command heeft in alle stilte een Opteron supercomputer-cluster aangeschaft. Het betreft een systeem met 11 terabyte disk storage en 256 Opteron 246-processors op een kloksnelheid van 2,0GHz. Per node is 1GB RAM beschikbaar. Als interconnect wordt gebruikgemaakt van Myrinet 2000, een communicatietechnologie met een bandbreedte van meer dan 400MB/s. Het cluster werd geleverd in december 2003 en zal naar verwachting volgende maand in bedrijf genomen worden. De aankoop vond al in november 2003 plaats maar is nu pas aan het licht gekomen.

De machine van het Amerikaanse leger is de vierde grote clusterwin van de Opteron in een week tijd. Vorige week werd bekend dat Bristol-Myers Squibb, het Astrofysische Instituut van Potsdam en de Universiteit van Zürich supercomputer-clusters op basis van het Opteron-platform in gebruik zullen nemen. Het systeem van Bristol-Myers Squibb werd geleverd door IBM en bestaat uit 64 eServer 325 nodes met ieder twee Opteron-processors. De Oostenrijkse specialist Quant-X was verantwoordelijk voor het cluster van het Astrofyische Insituut van Potsdam. Het gaat hier om een rekenmachine met 130 dual Opteron 244 nodes en één 4-way Opteron 844. De quad node zal ingezet worden voor de visualisering van de onderzoeksgegevens terwijl de dual nodes de eigenlijke berekeningen zullen uitvoeren. Het cluster in Zwitserland werd samengesteld door het Zwitserse Dalco en zal toegepast worden voor de berekeningen van biochemische, chemische en fysische samenstellingen van complexe moleculaire systemen. Het 'Matterhorn'-cluster bestaat uit 261 dual Opteron 244 nodes. Naast de Universiteit van Zürich zullen twee andere instellingen gebruikmaken van de rekenkracht van dit systeem. Opgeteld leveren de vier clusters werkverschaffing aan 1.170 Opterons.

In een gesprek van Tweakers.net met de regionale sales manager van AMD in Nederland werd duidelijk dat de processorfabrikant zich geen zorgen maakt over de positie van de Opteron in de markt voor HPC (high performance computing). De meeste aandacht ligt bij het populariseren van de Opteron in de Windows-servermarkt. Om dit te bewerkstelligen zal AMD de serveroplossingen van Celestica, onderdeel van het AMD's Validated Server Program, onder de aandacht van lokale serverleveranciers brengen. Celestica levert single, dual en quad Opteron-servers inclusief ondersteuning voor leveranciers.

Update 20:14: Vandaag heeft AMD aangekondigd dat Daimler-Chrysler een Opteron-cluster heeft geïmplementeerd. Het gaat om een systeem dat gebruikt gaat worden voor crashsimulaties en beschikt over 'enkele honderden' processors . De serverprocessors van AMD zijn niet nieuw voor Daimler-Chrysler. Eind 2001 installeerde het concern als één van de eerste grote bedrijven een Athlon MP-cluster. Ook hier ging het om een crashsimulator. Dit brengt de teller op een indrukwekkende vijf clusterwins in één week.

Reacties (33)

[JeroenB]

Het is natuurlijk begrijpelijk en terecht dat ze zo makkelijk voet aan de grond lijken te krijgen in die markt - 64-bits processoren voor deze prijs zijn natuurlijk bijzonder interessant, vooral aangezien ze performen in de buurt van losse high-tech desktop CPUs (meestal zit er in clusters wat minder spul - een snelle SPARC bijv. kan niet echt een 3+GHz P4 bijbenen).

Wat vooral interessant is denk ik is dat Intel nu eigenlijk binnenkort wel moet komen met een tussentijdse 64-bits oplossing om niet teveel marktaandeel kwijt te raken - of met een grote aankondiging komen mbt prijsverlagingen van de Itanium e.d.

Aan de andere kant moeten we ook niet vergeten dat het waarschijnlijk zelfs in dit tempo nog jaren duurt voordat Intel echt significant geld gaat verliezen (zie hun recente recordcijfers), maar dan nog is het leuk aangezien dit er voor kan zorgen dat AMD de komende jaren vooruit kan.

[Verwijderd]

Intel en 64-bits
Daar wordt al 6 jaar over gepraat en geschreven.
Dus kijk maar naar producten die echt werken i.p.v. intel.

[hardwareaddict]

IA64 is 64 bits en werkt al enige jaren 64 bits en is ook te koop.

Natuurlijk niet voor de prijs die de meesten zich hadden voorgesteld. OOk in de toekomst zal itanium onbetaalbaar blijven voor huis en tuin gebruikers, dit ondanks allerlei journalisten die allerlei onzin erover schrijven.

Intel speelt het wel handig door die geruchten niet hard te ontkennen, maar waarom zouden ze ook?

[Femme]

Voorlopig is de Opteron alleen sterk in de HCP-markt. Dat is leuk voor AMD maar de echte volumes komen uit de markt voor gewone single en dual processor Windows of Linux servertjes. Vergeleken met de Xeon heeft de Opteron daar een erg beperkt marktaandeel. Er is momenteel geen enkele tier 1 OEM die specifiek voor die markt een Opteron-oplossing heeft. Dat zal pas veranderen als Sun later dit jaar met zijn Opteron-machines komt en IBM de eServer 325 wellicht wat breder gaat positioneren. Bij lokale serverleveranciers maakt AMD meer kans en daar gaan ze zich nu dus ook op focussen.

[Verwijderd]

Op TheInquirer staat ook een interessant artikel over de Opteron en de positie in de markt ten opzichte van de Intel Itanium.

http://www.theinquirer.net/?article=13692

"Despite the high prices and often hard-to-get chips, Opteron is racing ahead in its quest to possibly become the dominant 64-bit processor architecture on the workstation and server front"

"a quad-CPU Opteron 848 has 25.6 GB/s memory bandwidth, compared to just 6.4 GB/s in a quad-Itanium2"

[Verwijderd]

dit is ook een leuk artikel, gaat over prestaties en downtime van F1 karretjes, ferrari pwrd by opteron en toyota pwrd by itanic:

http://www.theinquirer.net/?article=13669

Niet dat alleen die cpu de kwaliteit van zo'n kar bepaald, maar toch wel grappig.

[Verwijderd]

Dit slaat gewoon nergens op.
Vergeet voor de gemakkelijkheid even dat Ferrari 50 jaar in de F1 zit (en langer in de autosport) en Toyota slechts van 2002 en dat ze helemaal van scratch zijn begonnen.

[Verwijderd]

ff langs de supercomputer top 500 maatlat leggen deze supercomputers:

per opteron: theoretisch maximum 2 Flops/cycle, http://www.amd.com/us-en/assets/content_type/DownloadableAssets/Optimi zation_-_Tim_Wilkens.pdf

* us army: 256 opterons@2Ghz
256*2*2 = 1024 GFlops theoretisch max performance
maximaal haalbare notering op de top 500: plaats 125

* bristol myers: 64 dual = 128 opterons@2Ghz
128*2*2 = 512 GFlops theoretisch max performance
maximaal haalbare notering op de top 500: plaats 332

* potsdam : 130 dual = 260 opterons@2Ghz
260*2*2 = 1040 GFlops theoretisch max performance
maximaal haalbare notering op de top 500: plaats 118

* zurich : 522 opterons@2Ghz
522*2*2 = 2048 GFlops theoretisch max performance
maximaal haalbare notering op de top 500: plaats 38

* us army + bristol myers + potsdam + zurich : 256+128+260+522 = 1166 opterons
1166*2*2 = 4664 GFlops theoretisch max performance
maximaal haalbare notering op de top 500: plaats 12

niet slecht! de opteron komt er wel

edit:
@G-force
Oh zeker weten, de werkelijk behaalde performance is zeker lager dan de theoretisch max performance op basis van de opteron max Gflops specificaties. daarom heb ik het ook over maximaal bereikbare positie. in de praktijk zullen deze opteron supers lager gebenchmarked worden en dus ook lager op de top 500 terechtkomen dan in mijn (virtuele) lijstje.

[Verwijderd]

Het lijkt mij een beetje voorbarig om een maximale haalbare plaats aan te geven. Ik denk namelijk niet dat je het zo theoretisch weer kunt geven. Dit omdat het zeker niet alleen van de processoren afhankelijk is. De eerste AMD opteron cluster dat op de zesde plek staat in de top 500 heeft al 2816 processors nodig. De twaalfde plek heeft nu al een maximale theoretische performance van 6 Teraflops. En dat is wel wat anders dan een paar honderd Gigaflops.
Volgens mij wordt er bij de samenstelling van de top 500 niet uitgegaan van de maximale performance, maar van de "Maximal LINPACK performance achieved". Deze kan heel anders uitvallen dan de theoretische maximale performance.

[hardwareaddict]

Ik zie geen fabrikant naam staan bij de opteron supercomputer. Mocht het geen eigenbouw zijn, dan ruikt het enorm naar een SGI opteron machine die nu al geleverd is, ruim voor het ding in de officiele verkoop gaat.

Bij SGI gebeurd submitten van jobs ook via een LSF systeem. Dat heet letterlijk zo . Bij andere companies heet dat toch anders meestal . Ze hebben ook al veel SGI machines die bekend staan om goede latency bij kleine aantallen processors en dat is precies wat deze bakken nodig hebben. Er zijn ondertussen op het internet hier en daar al geruchten over SGI die opteron platformen heeft gebouwd en dat in haar productlijn binnenkort opneemt. Deze machine is mogelijk er zo 1 .

[Mojo]

Weer een ongelofelijk goede ontwikkeling voor AMD. Hieruit blijkt maar weer dat de opteron zeker waar voor haar geld is!

Bovendien is nog lang niet alle software 64 bits, dus kan je comcluderen dat de opteron het alleen maar beter zal doen.

Nog een kleine vraag van mijn kant, hoe duur is zo een systeem nou?

[Verwijderd]

AMD heeft hier weinig aan.

Laten we wel wezen bij vijf clusters praat je over zo'n 1000 processoren. Dit zou niet echt relevant moeten zijn voor een bedrijf als AMD. Waarschijnlijk verkoopt Dell een veelvoud Xeon processoren per maand.

Ook draaien dit soort clusters over het algemeen niet op windows. Je kan er dan ook van uitgaan dat de relevante (maatwerk) software het optimale uit de hardware weet te halen. Het voordeel van 64 bits software wordt hier dan ook al benut.

Voor AMD is relevant dat bedrijven als HP en Dell hun producten met AMD processoren gaan uitrusten. Dat levert ze geld op en die producten komen bij de normale systeembeheerders terecht. En die moeten uiteindelijk de keuze bepalen voor de nieuwe computers. Zelf ken ik nog geen enkel bedrijf dat 100 á 200 desktops heeft met een AMD processor. Ik kan echter zonder problemen 10 bedrijven opnoemen die het afgelopen jaar zo'n 100 computers met Intel processoren heeft aangeschaft.

[Mojo]

Ik heb het dan ook niet voor de verkoop, maar over de aandacht van de media. Dit soort systemen zie je niet veel. Als er dus eentje komt is dat in het nieuws en deze is dan van AMD. Bedrijven gaan denken, hmmz de Opteron doet het wel goed, die moeten wij ook maar gaan aanschaffen. Tweakers.net

Zo kom je natuurlijk aan veel verkopen.

[hardwareaddict]

Relevante vraag, zoals gewoonlijk gekke manier van modereren.

Software die in de HPC draait is altijd al sinds lange tijden 64 bits. Zeker sinds begin jaren 90. De processors op zich zijn vaak niet het duurst. Je moet denken dat een 64 processor SGI altix3000 zo'n 500k dollar doet met budget processors erin (1.3 of 1.4Ghz dual capable itanium2s). Dus de waarde van de 416 processor itanium2 van de overheid bestaat uit:

6 partities x 64 + 32 = 3 mln + 0.25 mln dollar = 3.25 mln dollar.

Dan komt er nog bij een superdure NUMAFLEX router voor 256 processors. Laten we daar voor gokken dat die rond 1 miljoen dollar kost, dus dan kost je zo'n bak 4.25 miljoen dollar.

Bij 1 dollar = 0.8 euro ==> 3.4 miljoen euro.

Dus als jij of ik zo'n bak kopen dan gaan we voor 3.4 miljoen euro klaar zijn en anders halen we 't bij de concurrent (Nederlandse overheid zal vast factor 4 te veel betaald hebben). Overigens een 2080 processor IBM met 2.0Ghz opterons kostte vorig jaar al < 10 miljoen dollar dus er is stevige concurrentie van de clusters alhier met toch nog vrij snelle IBM interconnects erop.

Dat vreet dan naar ik gokken mag zo'n 1300 watt per processor (de processor zelf iets van 105 watt ofzo voor de 1.3Ghz I2) dus is best veel (maar stroom is meer dan 10x goedkoper als je megawatts afneemt), dus dat kun je zelf uitrekenen. Earth machine bijvoorbeeld vreet 7 megawatt. Dat zijn 5120 processors. Elke processor 500Mhz (vector fujitsu). Dat is de snelste bak ter wereld. De machine zelf was behoorlijke kostenpost. Er zijn hier verschillende bedragen genoemd. Het hangt ervan af wat je allemaal meetelt namelijk. Ik houd aan 500 miljoen dollar. Maar dan heb je ook echt wat .

Clusters zijn per processor dus stevig goedkoper, terwijl de latency van node naar node bij grote aantallen processors bijna net zo goed is als bij grote SGI bakken. Scheelt maar factor 2 hooguit. Dus je koopt zo'n SGI 256 processor machine echt alleen als je veel jobs hebt die kleine aantallen processors vaak gebruiken. Anders zijn clusters heel stevig goedkoper. Duur zijn dus de routers en de speciale mainboards waar aparte processors (hubs/interconnects) op zitten die met dus een EIGEN processor het verkeer richting en van geheugen en van en naar de i/o regelen.

Dus je kunt stevig sleutelen thuis met mainboardjes en netwerk kaartjes, maar je komt niet in de buurt van de interconnect snelheden bij kleine aantallen processors. Bij 256 processors wel. Een 256 processor myrinet gaat met een goede routing dus dezelfde latency halen bij alle fabrikanten. Ik zeg 'zelfde' maar dan word ik bijkans gekeeld door die gasten, want die vinden 10% sneller veel natuurlijk. Echter 5 microsecondes latency of 10 microsecondes latency daar zie ik niet zo'n verschil in. Dus voor veel geld kun je 10 us hebben met myrinet naar 7 us met dedicated SGI numaflex routers.

IBM levert dus spotgoedkope clusters als je het zo bekijkt, maar er zijn er meer hoor. Die liggen allemaal dus op de PCI snelheid vast. Dus de netwerk kaarten zijn het grootste probleem niet. Maar de bussnelheid. De reden hiervoor is dat het heel heel lastig is om boven de 500Mhz uit te komen omdat koperdraadjes in een mainboard dan een soort van transistorantenne vormen die allerlei onzingeluiden opvangt/verstuurd ipv zijn werk binnen 't mainboard te doen. Vandaar dat we nog steeds op de 400Mhz zitten of quad pumped 200Mhz of double pumped 133Mhz etcetera.

De zwakke schakel van die supercomputers is dus de snelheid waarmee je van cpu naar cpu kunt communiceren.

[gp500]

Dat geld heb jij niet op je bankrekening. . Maar dit is m' toch wel wat 1170 opteron's van 1,8 GHz of 2,0Ghz. Zou al blij zijn met een dual-systeem. En nu maar de produktie op peil houden. De meesten zullen inderdaad wel dual server of workstations worden, zoals in het artikel staat.

[SoNoS]

Wat gaat er eigelijk gesimuleerd worden met de "pc" ?

[Verwijderd]

Users will be able to submit jobs via Platform Computing's Load Sharing Facility (LSF) batch scheduler

Dat kan dus van alles zijn wat maar met defensie onderzoek, analyse, decryptie, training, simulatie etc te maken heeft
ProjectReports

[hardwareaddict]

En het gros is integer werk, dus opterons geniaal voor dat werk.

[Luuk1983]

Nah, het wordt door het leger aangeschaft, denk wel duidelijk Wat ik van de artikelen snap is dat ze een eigen systeem willen hebben dat door 'gewone' gebruikers ook goed gebruikt kan worden en niet alleen door computer experts. Omdat andere supercomputersystemen te ingewikkeld zijn of iets dergelijks.

[hardwareaddict]

Ze willen gewoon een snel systeem en geld speelt geen rol, dus je haalt het nieuwste van het nieuwste. In 2002 waren dat altix3000s nu zijn het opteron superclusters, dus halen ze die nu. Simpel toch.

[Verwijderd]

Nou er is ook nog zoiets als prijs performance.

Anders zouden ze wel een Nec setje hebben aangeschaft. (Nog steeds de snelste supercomputer ter wereld) De Opteron presteert trouwens ook vrij goed als cluster. Dus zo gek is het niet dat daar een leuk aantal van wordt verkocht dit jaar.

[EaS]

Er is ook net bekend dat Daimler-Chrysler ook even een AMD Opteron(tm) cluster heeft aangeschaft:

DaimlerChrysler: "After a deep analysis we came to the conclusion that AMD64 technology is the only solution that can offer us the needed performance for such mission-critical applications like car safety, and a smooth migration to 64-bit technology while retaining software compatibility and protecting our corporate investments."

[Femme]

Bedankt voor de link. De info is in de nieuwspost opgenomen.

[mr._Anderson]

In een gesprek van Tweakers.net met de regionale sales manager van AMD in Nederland werd duidelijk dat de processorfabrikant zich geen zorgen maakt over de positie van de Opteron in de markt voor HPC (high performance computing). De meeste aandacht ligt bij het populariseren van de Opteron in de Windows-servermarkt.

Ze zullen er dus wel degelijk zeer blij mee zijn zulke berichten brengen het imago van de AMD Opteron naar een hoger niveau... en dit is nodig om door te breken in het windows servers segment.. (verwacht ik )

[Verwijderd]

Femme,

Dat van Sun duurt niet meer zo lang, we hebben er al 1