AMD en Cray bouwen krachtigste supercomputer ter wereld

AMD heeft een prestigieus contract gewonnen met het Amerikaanse onderzoeksinstituut Sandia National Laboratories. Sandia heeft de befaamde supercomputer-bouwer Cray opdracht gegeven voor het maken van een systeem met een prestatieniveau van 100 biljoen berekeningen per seconde. De supercomputer, Red Storm genaamd, zal daarmee de Japanse Earth Simulator van de troon stoten als snelste supercomputer ter wereld.

Cray heeft bij de selectie van de processor voorkeur gegeven aan de AMD Opteron boven de Itanium 2 processor van Intel. Naar verwachting zijn 16 duizend Opteron CPU's nodig om het gewenste prestatieniveau van 100 teraflops te bereiken. Cray zal met name de technologie voor de snelle processor-interconnects inbrengen. Cray krijgt van Sandia 90 miljoen dollar voor de bouw van Red Storm.

Reacties (92)

[DolleDries]

Kewl !!

Ik denk dat alpha's bus (EV6) in combinatie met lagere prijs hier wellicht in het voordeel van AMD werkt.

Ook al is de Itanium2 wellicht veel vooruit strevender dan Opteron, maar ik geloof dat ze bij cray ook geld over willen houden om het systeem te kunnen bouwen.. aan een bult processors heb je zo weinig

[Beaves]

Ik denk dat alpha's bus (EV6) in combinatie met lagere prijs hier wellicht in het voordeel van AMD werkt.

Je bedoeld dat bij de Hammer iedere CPU zijn eigen geheugen heeft (simpel gezegd), dat klopt, maar de Itanium heeft ook gevanceerde manieren om met het geheugen om te springen en ze gebruiken ook cross-bars om de verschillende CPU's aan elkaar te verbinden om zo een gedeelde bus te voorkomen. Dus ik denk niet dat dat de oorzaak is dat ze voor de Hammer kiezen.

Ik denk dat het twee grote "oorzaken" heeft, de warmte ontwikkeling is veel en veel minder en als je 16.000 CPU's bij elkaar stopt is dat redelijk belangrijk. Anders moet je bij wijze van spreken een kernreactor bouwen om aan de energie behoefte van de CPU's en de airco te voldoen.

Daarnaast is de Hammer veel goedkoper, dat speelt ook mee als je er 16.0000 nodig hebt, dat scheelt toch al snel vele honderd duizenden Euro's.

Daarnaast is de Hammer ook in staat tot het native uitvoeren van x86 code en dat kan ook een voordeel zijn, als ze tenminste x86 software gebruiken.

(Wat ik wel interessant vind, Als AMD 16.000 Hammer's gaat leveren, blijven er in het begin dan nog wel voldoende CPU's over voor de "normale" markt? Zeker in het begin zal de Hammer nog niet in grote getalen beschikbaar zijn en dan kan het wel eens lastig worden).

edit:

Scali: x86-64 is anders ook x86 code, en aangezien de Hammer geen code-morphing ondersteund zie ik geen manier om native andere code te gebruiken behalve dan x86(-64). Je mag me uitleggen hoe het dan wel kan...

[Verwijderd]

Daarnaast is de Hammer ook in staat tot het native uitvoeren van x86 code en dat kan ook een voordeel zijn, als ze tenminste x86 software gebruiken

Lol, je dacht toch zeker niet dat ze x86 rotzooi gaan draaien op die dingen?
"Kom laten we even Word gaan draaien op onze supercomputer".

1) x86 code is lelijk en langzaam (ook x86-64 code, maar goed)
2) supercomputers worden alleen gebruikt voor zeer specifieke taken. Dat betekent in veel gevallen eigen software ontwikkelen.

[jiriw]

Ehhhhmmmm ... ik wil niet veel zeggen hoor, maar die processoren zijn ECHT wel x86(-64) processoren DUS draaien de executables daarop x86(-64) code
Uiteraard is de boel wel geoptimaliseerd en worden er geen oude onzinnige oer-x86 instructies gebruikt die slechts om compatibiliteitsredenen ondersteund worden. Ze pakken natuurlijk wel een moderne assembler die mooie verse geoptimaliseerde code aflevert maar het is en blijft x86 (evt. met 64 bits extenties .... maar ja er zijn er wel meer geweest. MMX, SSE, SSE2, 3DNow)

<edit> 21:37 Ietwat verduidelijkt vanwege de verduidelijkingen van de post boven mij. </edit>

[Verwijderd]

Oi, DolleDries. Er zit geen EV6 bus in de Hammer.
De bus die ze wel gebruiken heet NUMA. Non-Uniform Memory Architecture.

[Femme]

De Hammer heeft geen traditionele frontside bus (als in verbinding tussen processor en northbridge). Er zijn wel HyperTransport links voor de directe verbinding met I/O en andere processors in het systeem.

NUMA is geen bustechnologie maar een geheugenmodel. De Hammer ondersteunt zowel UMA als NUMA.

[JumpStart]

Ook al is de Itanium2 wellicht veel vooruit strevender dan Opteron, maar ik geloof dat ze bij cray ook geld over willen houden om het systeem te kunnen bouwen..

Ik denk dat dit eerder te maken heeft met stroomverbruik dan met prestaties.

Die prestaties zitten trouwens best dicht bij elkaar: Zie http://www.tweakers.net/nieuws/23820/

De opteron/sledgehammer ligt wel wat achter op de Itanium II bij floating point berekeningen, maar die achterstand denkt men in te kunnen halen door de te boeken winst van 20% bij gebruik van x86-64 code. Op integer berekeningen doet de Opteron het nu al beter.

Echter, lees dit stukje ook nog maar eens door: http://www.tweakers.net/nieuws/23675

Een Itanium II verbruikt ongeveer 130 watt. Voor dezelfde hoeveelheid stroom kan je waarschijnlijk (bijna) 2 Opterons laten draaien!

16.000 stuks x 60-70 Watt (Opteron) of 16.000 stuks 130 Watt is een verschil van ongeveer 1 MegaWatt (!!!)

Denk dan ook nog even aan het feit dat je ook nog voor airconditioning moet zorgen om al die warmte af te voeren, en je zit op ongeveer 2 megawatt aan stroomverbruik méér voor een Itanium II gebaseerd systeem. Als je volcontinu aan het rekenen bent, dan tikt de stroomrekening voor 2 MW extra hard aan.

[Femme]

Stroomverbruik zal waarschijnlijk meegespeeld hebben, maar zeker ook de aanschafprijs van de processors. Een Itanium zal al snel twee keer zo duur zijn als een Opteron terwijl de floating point prestaties hooguit zo'n 30 procent hoger zijn (uitgaande van de Madison core). Stel dat Cray 1000 euro per processor bespaard, dan komt dat neer op 16 miljoen euro. Dat is een besparing die best wel de moeite waard is . Waarschijnlijk zal de Opteron dankzij de combinatie van hoge floating point prestaties, 64-bit adressering en de aantrekkelijke prijs zal de Opteron ook populair worden als oplossing voor de kleinere clusters.

[Verwijderd]

Stroomverbruik is ook nauw verbonden aan de koeling en ik kan mij inbeelden dat de firma die dat moet leveren een behoorlijke klus heeft... Ben wel curieus in wat voor packaging en chassis die dingen gaan zitten, ik neem aan dat het hier niet gaat om een beowulf on steroids...

Ik hoop dat ze hun onderzoeksresultaten publiek maken. De inzet van 64 bit's architectuur op zulks schaal is wel een grote doorbraak voor de wetenschap.


{edit} typo

[mars]

Wie zei er ook al weer dat de Opteron niet met de Itanium kon concureren in de markt voor superzware systemen? Een haast ongelooflijk staaltje marketing in het hol van de leeuw. Cray staat toch vooral bekend om snelheid en een betere oppepper voor het imago van de Opteron kan je bijna niet bedenken (zelfs al levert AMD ze gratis dan nog zal deze deal positief uitpakken).

16.000 Opterons

* 786562 mars,

[Beaves]

Wie zei er ook al weer dat de Opteron niet met de Itanium kon concureren in de markt voor superzware systemen?

Natuurlijk kan de Opteron dat wel, als je er maar genoeg van gebruikt

Wat ik bedoel is: je kan met elke CPU een super cluster bouwen (dit wordt een cluster, geen super server), mits je maar genoeg CPU's gebruikt. Ik kan met 100.000 VIA C3's een computer bouwen die sneller is als deze Opteron cluster, betekend dat dan dat de C3 beter is? Ik dacht het niet.

Ik zeg niet dat de Opteron te vergelijken is met de C3, verre van dat, alleen gaat dit nieuws over een cluster, niet over een high-end server. Er zijn in het verleden ook clusters gebouwd gebasseerd op de Athlon.

De Opteron is zeker wel te vergelijken met de Itanium, en ik denk ook zeker dat in de meeste gevallen de Hammer serie de betere keus is, alleen heeft de Itanium een heel andere markt voor ogen. Zo is de Itanium met IA-64 code en specialistische software erg snel te noemen, dat haalt de Hammer niet, alleen is de markt voor de Itanium zo verekte klein vergeleken met de rest van de servermarkt.

[mjtdevries]

Als een bedrijf een afweging maakt tussen 16.000 opterons en 100.000 VIA C3's en vervolgens concludeert dat ze het beste de C3's kunnen aanschaffen, dan betekent dat het wel degelijk dat de C3 beter is (voor hun)

(Waaruit concludeer je overigens zo stellig dat het een cluster is?)

[Femme]

Een cluster (waar het hier waarschijnlijk om gaat) is wat anders dan een groot (8 tot 32-way) multi-processor systeem. Voor de werking van het cluster is het geen probleem als er een paar nodes uitvallen. Een superzwaar multi-processor zal veel degelijker moeten zijn dan de afzonderlijke nodes in een supercomputer cluster.

In de markt voor clusters doet AMD het trouwens al aardig met de Athlon MP. Fujitsu-Siemens heeft o.a. Athlon MP servers in zijn programma van clusternodes.

[Verwijderd]

Aangezien Cray voornamelijk bekend staat om hun zeer-hoge-bandbreedte oplossingen voor supercomputers denk ik eigenlijk NIET dat het hier om een cluster gaat...
Dat lijkt me iig ook niet logisch. Voor clusters is het bijna altijd goedkoper/efficienter om meer processoren te nemen die per stuk langzamer zijn, maar goedkoper per MFLOP.
Clustering wordt gebruikt voor problemen die erg veel rekenkracht vereisen, maar waarvan het probleem in veel kleine deelproblemen kan worden omgezet, die weinig onderlinge interactie hebben. De bandbreedte tussen de clusternodes is dan niet zo vreselijk belangrijk. Bedenk dat zelfs gigabit ethernet maar ~100MB/sec doet, dat is erg weinig in vergelijking met de interconnects tussen processoren in een supercomputer (meestal >>1GB/sec)

De omschrijving van een supercomputer is niet voor niets:
"Een apparaat om een rekenkundig probleem om te zetten in een bandbreedte probleem."

[boner]

Iedereen hier lijkt blij met AMD boven INTEL. Vergeet niet dat CRAY een dochter is geworden van SGI. En die hadden iets tegen WINTEL. Dus da's vast een reden dat het geen intel proc is geworden. Dat Intel uberhaupt mee heeft gedaan in de race is al een teken aan de wand. Als die Itanium niet zo rete goed was geweest hadden ze er helemaal niet eens over gedacht.

Wat ik wel eigenaardig vind is dat we nooit meer iets over non-x86 merken horen. Waarom was PowerPC niet in de race? of MIPS?

[RetepV]

Vergeet niet dat CRAY een dochter is geworden van SGI. En die hadden iets tegen WINTEL. Dus da's vast een reden dat het geen intel proc is geworden.

Als je aan een klant dezelfde rekenkracht voorrekend, waarbij het ene systeem twee keer zo veel stroom nodig heeft, nog eens twee keer zo veel kost en het ook nog eens twee keer zo onzeker is of de onderdelen wel op tijd geleverd kunnen worden, dan kies je voor het andere systeem. Dat is toch simpel?

Het heeft in dit geval _helemaal niets_ te maken met een oorlog tussen AMD en Intel. Als je oorlog gaat voeren en je klant loopt daardoor weg heb je helemaal niets, dus is het niet waard om hier oorlog over te voeren.

AMD en Intel zullen het onderling wel waard vinden, maar dacht je nou ECHT dat Cray een oorlog gaat voeren uit naam van AMD? Cray wil alleen maar geld verdienen en doet dat met het beste systeem voor het minste geld.

Het is simpel. AMD heeft deze ronde 'gewonnen' omdat ze het betere design hebben. Ze kunnen een snelle processor leveren die (in verhouding) weinig stroom levert voor weinig geld. Wat heb je als klant nog meer nodig om te beslissen voor AMD processoren?

edit:

De PowerPC had nog wel eens een concurrent kunnen zijn, die zijn ook erg snel. Maar ik denk dat ook hier de prijs doorslaggevend is.

[Se7enth_son]

Als je aan een klant dezelfde rekenkracht voorrekend, waarbij het ene systeem twee keer zo veel stroom nodig heeft, nog eens twee keer zo veel kost en het ook nog eens twee keer zo onzeker is of de onderdelen wel op tijd geleverd kunnen worden, dan kies je voor het andere systeem. Dat is toch simpel?

Als het erom gaat of onderdelen wel op tijd kunnen worden geleverd, is dat juist niet in het voordeel van AMD. De Opteron is namelijk nog helemaal niet uit! Ook de prestaties van dit ding zijn nog lang niet helemaal duidelijk. Die 16000 CPU's zijn dan ook een schatting waarmee Cray het hoopt te kunnen redden. En dus vind ik het allemaal een beetje natte vinger werk.
Om heel reëel te zijn weten we maar weinig van die Opteron, dus wat ik me afvraag:
Wat doet Cray als blijkt dat bijvoorbeeld wel 18000 Opterons nodig zijn en dus ineens blijkt dat de kosten helemaal niet zoveel lager uit zullen komen in vergelijking met een ander platform.

Ik vind het dus nogal gevaarlijk om andere platformen uit te sluiten terwijl je niet de exacte prestaties weet van die Opteron, en ook de levering (wanneer komt ie uit?, geen paper-launch aub) nog vere van zeker is...

[Femme]

Je mag er rustig vanuit gaan dat Cray 'iets meer' inzicht in de prestaties van de Opteron heeft dan de gemiddelde tweaker die net een nieuwspost heeft gelezen over de SPEC CPU performance schattingen van AMD. Cray zal echt wel goede argumenten hebben om Opterons in een supercomputer van 90 miljoen dollar te stoppen.

[Venator]

Yep, gaat niet alleen om ruwe prestaties. MTBF, warmtedissipatie, materiaalkeuzes (ook in verband met de afgifte van warmte aan de airco), types van interconnects, snelheid interconnects, locatievoorbereiding, operatingkosten, bouwtijd etc. Allemaal een enorme berg planning die Cray's teams vaker doen dan de gemiddelde tweaker

[Femme]

Het is onzin dat SGI anti-Intel is. SGI heeft korte tijd x86 workstations geleverd. SGI is van plan om over te stappen van MIPS (een bedrijf waar ze notabene zelf grootaandeelhouder in zijn) naar Itanium. MIPS en PowerPC vallen af vanwege de slechte performance en/of de hoge prijs. De Opteron scoort op beide gebieden beter.

[bazs2000]

Is er nog meer informatie over te vinden? Ik wil hier graag meer over lezen maar er zit geen bron bij het artikel. Ook is de link die naar de Earth simulator zou leiden (?) dood.

Edit:

Met dank aan Mo heb ik via Google wat gedetailleerdere info kunnen vinden. Mo, bedankt.

http://www.theregus.com/content/53/26440.html

[^Mo^]

And the word of the day is ...... "Google"!
http://www.google.com/search?q=red+storm+supercomputer&hl=en&lr=&ie=UT F-8&oe=UTF-8&sa=n&oq=red+storm+supercomuter

[Femme]

Ik wil hier graag meer over lezen maar er zit geen bron bij het artikel.

De bronvermelding is al 3,5 jaar lang op dezelfde plek te vinden. Zoek eens naar "Bron: Automatiseringsgids".

[Verwijderd]

afgezien van de prestatie verschillen tussen de 2 rivalen Intel en Amd denk ik vooral dit dit een psychologisch voordeel heeft voor AMD.

Het geeft toch een stuk vertrouwen weer in de techniek van AMD. Dit kunnen ze natuurlijk ook mooi gebruiken voor marketing doeleinden. Ben toch wel benieuwd hoe dit in de praktijk gaat uitpakken.

Toch wel leuk voor AMD dat ze zo'n prestieus project binnen halen.

[Verwijderd]

Waar halen mensen de wattages vandaag voor de opteron?? en Wanneer zijn die dingen in genoeg quantiteit te leveren voor een mega cluster??

[Femme]

Fairchild Semiconductor heeft een voltage regulator voor de Hammer aangekondigd. Uit de specs kun je afleiden dat de Opteron niet meer dan 70W gaan verbruiken.

http://www.amd.com/us-en/Processors/ProductInformation/0,,30_118_4699_ 5707%5E6662~55876,00.html

Max 1,55V en typical 42A => 65,1W.

[CARman]

En dat scheelt gewoon 50% met de ItaniumII

Even doorgerekend op basis van hetzelfde aantal Itaniums besparen ze aan energie met de Opteron oplossing meer dan 4000 Euro aan energie per dag en da's ongeveer 1,5 miljoen Euro op jaarbasis.

Katsjingggg, dat scheelt nogal. Niet tevergeten in de apparatuur die je nodig hebt om zo'n cluster een beetje op temperatuur te houden. Want ook hierin kun je dus met 1/2 tot 2/3 van de capaciteit toe die je nodig zou hebben en een ruimte met 16000 Itaniums koel te houden. Dat zal ongetwijfeld nog wel meer dan een half miljoen in ernegieskosten schelen.

[The Source]

Naar verwachting zijn 16 duizend Opteron CPU's nodig om het gewenste prestatieniveau van 100 teraflops te bereiken.

Is dit de eerste verkapte benchmark?

[Milo]

Niet de eerste, maar wel een interessante. Ter vergelijking:

a 9.2 teraflops supercomputer for the DOE's Pacific Northwest national Laboratory that will be based on 1,400 future Itanium processors, a machine that is worth $24.5m.

9.2 : 1.4 = 6.6 Tflops per 1000 future itaniums. Als de getalletjes hierboven kloppen haalt de opteron:

100 : 16 = 6.25 Tflops per 1000 opterons.

Zo op het eerste gezicht is de opteron iets langzamer dan de "future" Itanium (Itanium 3?). Veel scheelt het echter niet, en beide getallen zijn waarschijnlijk schattingen.

Qua price/performance wint de Opteron dik natuurlijk. 100 Tflops voor 90M tegen 9Tflops voor 24.5M.

Als dit zo doorgaat, wordt het nog wel wat met dat Opteron ding.

[Nielsz]

Standaard antwoord bij zulk nieuws:
Koetje?

[bobsnl]

Dan is de lol er snel van af, ben ik bang. In een week is zo'n projectje voorbij met 16.000 Opterons.

[bamboe]

zo te zien hebben zij geen leverings problemen..

[procyon]

Bamboe:
AMD was hier al mee bezig in juli dit jaar:
http://www.tweakers.net/nieuws/22523/

Met de performance nummers zit het trouwens wel goed:

SPECint base2000
Opteron 2Ghz : 1202
ItaniumII 1GHz: 810

SPECfp base2000
Opteron 2Ghz : 1170
ItaniumII 1GHz: 1356

Bovendien verwacht AMD nog 10 tot 20% performance winst met 64 bits code.
Is de AMD denk ik wel 2x zo goedkoop.
Verbruikt de AMD misschien wel 2x zo weinig energie.

goede keuze dit keer dus

[Verwijderd]

Alleen is de 2 GHz Opteron niet verkrijgbaar.
1.4 GHz op dit moment.
1 GHz Itanium II is wel verkrijgbaar, en Itanium III komt binnenkort, die tot 50% beter gaat presteren, volgens Intel.
Verder is floating point performance het belangrijkst en daar was de Itanium II 1 GHz al sneller dan de 2 GHz Opteron.

Maarja als de Opteron daadwerkelijk goedkoper is, is het wel de betere keuze. Supercomputers gebruiken doorgaans niet de snelste CPUs, ze gebruiken gewoon heel veel CPUs.

[voodooless]

Alleen is de 2 GHz Opteron niet verkrijgbaar.
1.4 GHz op dit moment.

Mag je mij zeggen waar ik die 1.4 dan kan kopen ...

Als AMD aan dit project meedoet zullen ze zelf heus wel 2 Ghz exemplaren kunnen leveren

[SG]

Alleen hoeveel itanium's passen in die 90miljoen budged iig 16.000 Opteron's

[Verwijderd]

Op zich wel humor dat Opteron op hogere MHz draait dan Itanium II. Heeft AMd een keer voordeel van de MHz myth.

[Verwijderd]

Reactie op bamboe:

Noem je die cijfers goed ?
De It2 is op 2Ghz (als je het specint cijfer extrapoleert) sneller als de Opteron op 2Ghz.

Wat betreft Floating Point berekeningen: Op 1Ghz is de It2 al sneller dat de Opteron op 2Ghz. Laat staan als de It2 op 2Ghz gaat draaien...

Als Intel een 2Ghz It2 kan leveren heeft AMD wel een probleem in het performance departement.

Ps. ik ben een AMD fan maar ik blijf wel nuchter.

[procyon]

Dit project hoeft ook niet morgen al klaar te zijn, dus dat de itanium vanaag al verkrijgbaar is doet er dus niet toe.

De ItaniumIII zou ergens in q3 van 2003 uitkomen dus dat vind ik niet "binnenkort".

Als je mijn post goed leest zou je zien dat de Opteron ook met FP even goed scoort als de Itanium in 64 bits code.

[Verwijderd]

Die kunnen we goed gebruiken bij Eccp109 daar krijgen we echt Klop

[Twisted]

16000 Opterons.. WOW...

In ieder geval goed voor de economics van AMD die de laatste tijd stukken minder gingen. En natuurlijk de gratis reclame die dat met zich meebrengt.

Ik vraag me af waarvoor die Red Storm gebruikt gaat worden.

[Verwijderd]

sandia is een staatsbedrijf 'that developes science- based technologies that support our national security'

kernactiviteiten:
Nuclear weapons — ensuring the stockpile is safe, secure, reliable, and can support the United States' deterrence policy
Nonproliferation and materials control — reducing the proliferation of weapons of mass destruction, the threat of nuclear accidents, and the potential for damage to the environment
Energy and critical infrastructure — enhancing the surety of energy and other critical infrastructures
Emerging threats — addressing new threats to national security

[Darkvater]

Yep, precies wat de VS allemaal voor staat.

In Japan gebruiken ze hun supercomputer tenminste voor onderzoek aan onze planeet. De VS gaat het alleen maar om oorlog, en hoe ze nog beter dingen kunnen vernietigen

[0siris]

Redelijk naief :
Jij denkt zeker dat dat japanse "onderzoek naar de planeet" niet op de een of andere manier militair gerelateerd is? Er zijn zoveel uitvindingen / onderzoeken die op militair onderzoek gestoeld zijn (zie het internet bijvoorbeeld). Naar het publiek toe heeft zo'n onderzoek niet altijd duidelijk militaire gronden, maar als een onderzoek veel geld kost, zie je toch altijd dat het een onderzoek betreft dat het leger op wat voor manier dan ook ten goede komt.

[Verwijderd]

"would you like to play a game?"
-wargames 1983

[Verwijderd]

Ik wacht met smart tot ie in de pricewatch staat.

[I.R. Overclocked]

90.000.000 / 16.000 = 5625 per CPU, da's best veel eigenlijk... is het niet goedkoper om 32.000 (16.000 * 2 = ovgeveer net zoveel rekenkracht...) opetron systeempjes te clusteren??

[TD-er]

wat denk je dat de opslag van dergelijke hoeveelheden kastjes gaat kosten?

Verder is Cray meestal wel in staat om hele leuke bandbreedte-oplossingen te bieden voor communicatie tussen de CPU's. Dat soort dingen heb je met een gewoon cluster niet.

De omschrijving van een supercomputer is niet voor niets:
"Een apparaat om een rekenkundig probleem om te zetten in een bandbreedte probleem."