AMD Opteron in nieuwe Japanse supercomputer

De mannen van The Inquirer brengen ons het nieuws dat een Japanse universiteit bij de aankoop van een nieuwe supercomputer gekozen heeft voor een systeem met 512 Opterons. Volgens de Nikkei Business Daily zou het systeem de snelste Japanse supercomputer worden, maar die eer komt helaas al toe aan Earth Simulator, die met veertig TFLOPS een aanzienlijke voorsprong neemt op de duizend GFLOPS die de Opteron-machine biedt. Het systeem wordt gebouwd door Visual Tech en zal enkele tientallen miljoen yen kosten. Ace's Hardware weet ons nog te melden dat Earth Simulator 40 miljard yen heeft gekost en speculeert bovendien over de opstelling van het Opteron-systeem. Aangezien de Opteron schaalt tot acht processors zal het wellicht een systeem worden met 64 nodes van acht Opterons elk.

Reacties (23)

[cablepokerface]

Dit is een press release van de officiele 'Earth Simulator' site:

The system is configured with 640 units of high performance nodes which employ eight vector processors and 16 Gbytes of high speed memory (8GFLOPS/CPU) (*4), interconnected via a high speed crossbar network with a data transfer rate of 12.3 Gbytes/s. The Earth Simulator system commenced operations on March 11, 2002 at the "Earth Simulator Center" (Tetsuya Sato, Director) established by JAMSTEC in Yokohama, Japan.

Dit stukje impliceert dat de Earth Simulator 640 units van 8 processoren ieder heeft. 8 * 640 = 5120 proc's.

Nu is de performance van de Earth Simulator +/- 40 x(nl. 40 TFLOPS tegen 1 TFLOP) die van deze nieuwe supercomputer. Echter zitten er exact 10 x zoveel proc's in.

Je zou met deze simpele berekening dus kunnen concluderen dat de Opterons beduidend minder presteren dan de proc's in de Earth Simulator.

[Tha_TE]

Het systeem wordt gebouwd door Visual Tech en zal enkele tientallen miljoen yen kosten. Ace's Hardware weet ons nog te melden dat Earth Simulator 40 miljard yen heeft gekost en speculeert bovendien over de opstelling van het Opteron-systeem.

Je zou met simpel lezen dus kunnen concluderen dat de Opterons veel goedkoper zijn dan de proc's in de Earth Simulator.
Als we aannemen dat "tientallen" ongeveer 40 is en dat x 40 = 1.6 miljard.
Tientallen is dus onder 100 naja dus we kunnen ook nemen dat als het 100 miljoen zal kosten en * 40 is het nog steeds maar 4 miljard yen. Prijsverschil

[edit]
http://www.amd.com/us-en/Processors/ProductInformation/0,,30_118_8796_ 8804,00.html
Hier staat dat de Opteron processor een peak bandwidth heeft van 19.2 GB/s
Volgens de gegevens onder, dat de athlon 2800 5.6Gflops levert, betekent dat het 179 (afgerond naar boven) nodig heeft om 1 Tflop te krijgen. En de Opteron heeft er 512 voor nodig?
Dat betekent dus 1.95Gflop per processor... dat kan toch niet zo laag zijn of wel

[edit2][quote]
With support for up to 88 individual ClusterBlade Servers, a ClusterBlade Array can support up to 176 AMD Opteron processors, 1.34TB of DDR ECC memory and 25.2TB of internal storage with up to 1.2 Teraflops of computing power per rack.
http://www.amd.com/gb-uk/Corporate/VirtualPressRoom/0,,51_104_543_5730 ~69845,00.html
[/quote]
Dit staat op amd.com.
1.2 Teraflops per 176 AMD Opterons is dus 6.82Gflop (naar boven afgerond) per processor!
Dus 512* 6.81818181... = 3490.90 = 3.5 Teraflop dat is weer ongeveer 3.5 keer meer dan wat in het artikel vermeld is.

[Verwijderd]

[...] "the Earth Simulator" achieved the world's highest actual performance of 35.61 trillion floating-point operations per second, or 35.61 TeraFlops (*1).

1.2 Teraflops per 176 AMD Opterons is dus 6.82Gflop (naar boven afgerond) per processor!
Dus 512* 6.81818181... = 3490.90 = 3.5 Teraflop dat is weer ongeveer 3.5 keer meer dan wat in het artikel vermeld is.

Precies, en dat zou dan weer betekenen dat de Earth Simulator slechts 10x beter presteert dan het opteronsysteem aangezien de earth simulator 35,61 TFLOPS heeft en het opteronsysteem eigenlijk 3,5 TFLOPS heeft.
Dus dit zou dan ook kloppen qua aantallen procs, want de Earth Simulator heeft 10x meer CPUs dan het opteronsysteem.

[Verwijderd]

Volgens de gegevens onder, dat de athlon 2800 5.6Gflops levert, betekent dat het 179 (afgerond naar boven) nodig heeft om 1 Tflop te krijgen. En de Opteron heeft er 512 voor nodig?

Net zoals bij dual systemen heb je hier ook niet 512x de performance van de opteron. Bij dual systemen gaat het ook maar 35% beter (in het beste geval) en niet dubbel zo snel.
De procs zitten dan ook nog niet op 1 mobo zoals bij een dualsysteem, dus zal het rendement nog minder zijn.

[Verwijderd]

Het verschil is hier wel dat Tha_TE cluster preformence vergelijkt met cluster preformence terwijl jij een singel en dual proc systeem vergelijkt.
Mijn vermoede is dat voor iedere proc een zelfde percentage "verlies" gerekend kan worden (cluster grote is dus onbelangrijk) en de berekening die Tha_TE voorschreef redelijk accuraat is.

[cablepokerface]

Je zou met simpel lezen dus kunnen concluderen dat de Opterons veel goedkoper zijn dan de proc's in de Earth Simulator

Je zou met simpel lezen van mijn posting ook kunnen weten dat ik geen prijsvergelijking maakte, maar een performancevergelijking. Dat is namelijk ook precies wat het artikel deed.

[procyon]

Elke processor in de Earth Simulator kan 8 Gflops doen.

G4 1250 = 9 Gflops
P4 2800 = 2.8 Gflops
P4 2800 SSE2 = 11 Gflops
Athlon 2800(MHz) = 5.6 Gflops
Opteron SSE2 = ?

** Dit zijn peak scores **
Trouwens de werkelijke performance is niet veertig TFLOPS maar 35.8, efficientie is dus 87%.

[Verwijderd]

Je zou met deze simpele berekening dus kunnen concluderen dat de Opterons beduidend minder presteren dan de proc's in de Earth Simulator.

Als je deze link volgt kun je gelijk zien waarom die procs zoveel beter presteerd als de Opteron. Deze procs zijn speciaal voor dit soort doeleinde ontworpen. Ze vereisen ook speciaal ontwikkelde software.

Maar als je de prijs prestatie verhouding eens gaat bekijken dan zie je dat de Optron server ineens een stuk beter uit de bus komt. De Earth Simulater is namelijk ongeveer 1000 keer duurder dan de opteron terwijl hij maar 40 x beter presteert.

[Verwijderd]

Wat ik me altijd afvraag over die supercomputers is of dit eigenlijk over prestige gaat of dit werkelijk gebruikt zal worden.
Trouwens de grootste supercomputers zijn nog altijd die projecten van Distributed.net of F@H ...

[Dope-E]

Supercomputers zijn nou niet echt doorgaans systemen die puur als bruteforce ingezet worden.
Klimaatsystemen lijkt me nogal lastig om in distributed vorm te berekenen, laat staan die hele earthsimulator.

[feuniks]

Die zouden geloof ik nog best kunnen dienen in distributed vorm. Het grootste probleem denk ik, heb je in bedrijven, waar geheime informatie bewerkt moet worden. Al zouden die dit ge-encrypteerd distributed willen doen, dan houden de eigen statuten dat vaak tegen. Zelfs distributed op het eigen interene netwerk wordt zo onmogelijk gemaakt, omdat een lagere functionaris of een contractor niet bij deze gegevens mag komen. Op geen enkele manier en bij geen enkel bitje. Dan MOET je wel met supercomputers werken.

[Dope-E]

Tis niet zozeer een security issue! Hoe wil je die berekeningen allemaal gaan opdelen? De uitkomst van de ene berekening heeft weer tig keer invloed op andere berekeningen en dat gaat bijna oneindig door.

Oftewel parallel verwerking over de hele wereld bijvoorbeeld is volgens mij onmogelijk!

[reactie op mcB]
Ik zeg ook niet voor niets parallel verwerking over de hele wereld. Das wat anders dan de parallel computing die jij bedoelt.

[mcB]

Je hebt helemaal gelijk, maar je bedoelt waarschijlijk dat distributed computing hierbij onmogelijk is.

Parallel Computing is nu juist wat ze WEL doen. Een supercomputer bouwen van een groot aantal CPU's die parallel aan elkaar de klus klaren.

Oeps, moest een reactie op Dope-E zijn.

[Verwijderd]

Klimaatsystemen worden over het algemeen op parallele systemen gesimuleerd. Op de VU in Amsterdam is dit zelfs een verplicht practicum!

[VisionMaster]

Distributed project zijn evenmin een supercomputer als een cluster.

-Een supercomputer is als alle nodes samen 1 collective systeem vormen.
-Cluster computer is als er een fabric is van onafhankelijke nodes die samen een heleboel individuele (reken)opdrachten kan verwerken.
-En distributed.net projecten zijn uitbestedingen van rekenjobs aan externe computer waar geen systeembeheer van toepassing is (soort P2P computing).

[Verwijderd]

Ter aanvulling: Het belangrijkste functionele verschil is dan ook dat je op een supercomputer gemakkelijk van taak kan wisselen, je start gewoon een andere applicatie. Als je dit bij een distributed project wil doen zullen alle clients of een patch (indien het een kleine weiziging is) moeten uitvoeren of een ander programma installeren wat dus een veel omvangrijkere klus is.
Een distributed project zal daarnaast ook nooit ingezet kunnen worden in realtime bewerkingen omdat het versturen en ontvangen van de data alleen al te veel tijd zou kosten.

[Remy]

Klinkt goed allemaal, mooie reclame en een goeie 'start' boost voor AMD. Maar wat ik me af vraag, waar gaat die supercomp voor gebruikt worden? Het is een universiteit, maar veel meer info staat er niet over. Zal het ook voor simulaties zijn zoals die Earth Simulator? Weet iemand misschien wat meer?

the machine, built by Visual Technology Inc, will churn data at over 1,000 gigaflops but the price of the machine is only likely to be 10s of millions of yen.

Kijk da's natuurlijk goud waard voor de AMD marketeers Kijk onze procs in dat systeem eens! Zoveel power voor zo weinig geld! Is het niet geweldig!

edit: reactie op devoogdt: natuurlijk, distributed computing levert meer rekenkracht op, maar sommige berekeningen/simulaties doe je niet graag buiten de deur Bovendien is een supercomputer op 1 vaste plek makkelijker te managen en niet afhankelijk van users van buitenaf.

edit2: er zit een kleine typo in het artikel > Eart Simulator ipv Earth Simulator

[Verwijderd]

Ik heb laats ook toevallig nog wat gelezen over die Earth Simulator. Hij bezit 5120 parallel geschakelde processoren wat hem een MAXIMALE rekenkracht van 40 teraflops geeft. Echter, dit is een piekcapiciteit. In realiteit haalt hij (maar) 14,5 teraflops.

[Verwijderd]

Gezien de discussie hier over parallele systemen voel ik me toch genoodzaakt om de here Seymour Cray te quoten:

If you were plowing a field, which would you rather use? Two strong oxen or 1024 chickens?

[hardwareaddict]

Hoe waar deze statement is.

Eerst even wat gereken. 1 euro = 140 yen ongeveer volgens: http://teletekst.nos.nl/gif/544-01.html

10 miljoen Yen = 70000 euro grofweg.

Stel we praten over 256 dual opterons hier. Voor hoeveel sleutelen u en ik zo'n dual opteron in elkaar?

Hangt sterk af van snelheid processor natuurlijk. 1.4Ghz is 3xx euro per processor. 1.8Ghz = 1000 euro gemakshalve.

2000 euro + 1000 moederbord+geheugen + 2000 extra + 300 voor netgear GTA621 netwerk card, of als je een paar microsecondes sneller wil zijn dan 1000 dollar nog eens erbij voor myrilnet kaart.

Pak hem beet 7000 euro met wat winstopslag voor arbeidsloon en een berg SCSI disks enzo en wat software.

7000 x256 = 1.8 MLN euro.

1.8 MLN euro * 140 = 250 miljoen yen.

'enige tientallen miljoenen yen'. Ok dat is dan wellicht geen goed netwerk kaartje maar een 10/100mbit rotkaartje van 10 euro. En 1.4Ghz opteron processors doen het ook goed in de markt.

Kom je uit op misschien 100 miljoen yen.

Nog steeds heel wat meer als enige tientallen miljoenen Yen.

Als iemand die dus hier anoniem schrijft, maar wel dagelijks verblijft op supercomputers, kan ik je verzekeren dat dit een lachwekkende cluster wordt.

Lachwekkend uitgaand van 100 mbit kaartjes. Latency van netwerk kaartjes in die orde groote is iets van 200 microseconde.

Helaas is het zo dat veel testsets voor supercomputers dus totaal niet rekening houden met latency. De latency namelijk van die 280 euro netgear gta621 meen ik (of was het 622, in elk geval die category) ligt rond tegen de 10 microsecondes voor one way pingpong. In realiteit kan niemand overweg met 'one way', want je wilt je informatie terug. Dus een elementair bericht ophalen van andere processor is al snel 20 microsecondes.

Die myrilnetwerk kaartjes zijn 5-7 us. 7 voor u en ik, 5 op papier bij IBM.

Er zijn een paar programma's die bandbreedte nodig hebben. Een paar die liefst vector processors gebruiken natuurlijk.

Praten over bandbreedte is vrij theoretische discussie die gevoerd wordt vaak door marketing managers. Zelfs uit zo'n 280 euro kaartje haal je een bandbreedte die je helemaal niet nodig hebt hoor. Latency is vaak belangrijker.

Overigens het gros van de software is zo slecht geoptimaliseerd dat ze eigenlijk alleen een dual opteron thuis nodig hebben. Er zijn weinig programma's die echt 200 de rekenkracht goed kunnen gebruiken.

Wat de latency tussen de nodes is bij die earth machine weet ik niet. Vast wel prima.

40 miljard yen = 285 mln euro. Best wel weinig voor 5000+ processors, dus uitgaande daarvan zal de latency tussen de processors ook wel de latency van de myrilnetwerk kaarten zijn.

De latency van 1 processor naar geheugen ligt vaak zo tussen de 40-50 ns (opteron) tot rond 130 ns (dual PC's als Xeon of K7-MP) tot 190 ns voor de MIPS/NEC R14k.

Dan is in eens een latency (die je dus meet met pingpong programmaatje op eenvoudige manier) van 5 us minimaal voor myrilnetwerk kaarten wel bijna de doodstraf voor parallelle software.

Er is enorm weinig software dat effectief gebruik kan maken van clusters. 95% van de software die claimt dat ze 't kunnen, kunnen door een goede programmeur vaak omgeschreven worden naar oplossingen voor low latency systemen waar je enorme snelheidswinsten op boekt.

Neemt niet weg dat de prijs van die high latency clusters natuurlijk aantrekkelijk is.

Echter u en ik kunnen dit systeem ook zo in elkaar sleutelen. Maar niet voor 10 miljoen yen.

Dan komen er namelijk celerons of durons in

Ik vraag me ook sterk af welke software ze erop gaan draaien. Die opterons zijn bloedsnel. Meestal zijn de dure clusters gebaseerd op cpu's die op het moment dat de cluster er staat, al duidelijk niet meer de snelste cpu's zijn . Waardoor je dus al direct factor 2-4 kwijt bent. Dan raak je aan latency minimaal factor 10-20 kwijt. Dan is vaak 500 processors nog wel sneller natuurlijk als 1 quad systeempje. Liever lui als moe is het devies.

Dus ik neem die 2 ossen als jullie het niet erg vinden.

Die Cray aankondiging om opterons te gaan gebruiken en hypertransport om een sneller latency tussen de nodes te gaan bewerkstelligen is 1 miljoen gewichter als dit bericht. Gek dat die niet zoveel aandacht getrokken heeft.

Als ik niet krap bij kas zat, zou ik nu cray aandelen kopen namelijk. Een goedkope snelle cpu met een snelle en goedkope vorm van transport. Dan Cray engineers erbij en het werkt nog ook goed en snel

[Verwijderd]

beter dan ... ... ?

[killswitch]

beter dan verlies draaien of net winst halen
en beter dan alleen in de consumenten markt echt meespelen