Cray introduceert XC30-supercomputer

Supercomputerfabrikant Cray heeft zijn nieuwste supercomputer geïntroduceerd: de XC30 ging tot voor kort onder codenaam Cascade door het leven. De nieuwe XC30 wordt aangedreven door Xeon-processors en zou 66Tflops per systeemkast moeten halen.

Een system cabinet of systeemkast van Cray's nieuwe vlaggenschip-supercomputer XC30 wordt gebouwd met Intels Xeon-processors uit de E5-2600-serie: daarvan passen er maximaal 384 in een behuizing. De 3072 cores in zo'n behuizing zouden goed zijn voor 66tflops, maar het aantal cores en daarmee de prestaties zouden uitbreidbaar zijn. Elke 'node' bevat twee Xeon-processors en er passen vier nodes in een blade. De blades worden met zestien stuks in een behuizing geplaatst en in een systeemkast passen drie behuizingen, wat het totaal op 192 nodes brengt. Elke node heeft 32 tot 128GB geheugen, met maximaal 117GB/s bandbreedte.

De nodes worden met elkaar verbonden via Cray's Aries-interconnect. Per vier nodes is één Aries-asic aanwezig, die over 48 poorten beschikt. De netwerktopologie die daarbij geïmplementeerd wordt, is Dragonfly en moet voor lage latencies en grote bandbreedte zorgen. Als opslag kunnen disk-arrays met fibre channel-, sas- of InfiniBand-interfaces worden gebruikt. De systeemkasten vergen 88kW aan energie en worden watergekoeld. Toekomstige configuraties van de XC30 kunnen met snellere Xeon-processors en meer cores per processor geleverd worden. Ook zouden Xeon Phi-coprocessors of Tesla-gpu's van Nvidia toegevoegd kunnen worden.

Reacties (40)

[Bauknecht]

88kW, holy fuck gasten. Dat trekt 133A per fase uit een driefasige voeding, dat is het piekverbruik van enkele doorsnee huishoudens, per kast! Als je dan weet dat die dingen niet snel even opgestart worden om je mail te checken, dat draait wss geregeld 24u/24u maanden aan stuk aan full load.
Ineens wordt duidelijk waarom er naar zuinige ARM's of GPU-oplossingen wordt gekeken als mogelijke (zuiniger) alternatieven.

[Garyu]

Een steeds groter deel van de kosten van een datacenter en/of supercomputer gaan dan ook op aan energie. Daarom zijn er ook zoveel initiatieven om datacenters efficienter met energie om te laten gaan. Want elke watt die je gebruikt gaat voor een deel richting warmte en moet dus weer meer gekoeld worden.

De applicaties die dit soort supercomputers gebruiken vind je vooral in de medische en chemische wereld der molecuul- en structuurmodellen, weersmodellen, fysica (modellen voor dynamiek, flow, etc), en GIS. Er is dus een relatief beperkte set aan applicaties voor, maar die hebben nooit genoeg rekenkracht en zijn altijd op zoek naar meer.

Supercomputers lijden overigens net als alle PCs aan de steeds grotere parallelliserings-problemen, omdat dit soort modellen in 3D en 4D steeds meer overlap krijgen en niet zo makkelijk in parallelle processen op te delen zijn. De hoeveelheid communicatie die tussen de cores nodig is is vaak de grootste bottleneck, en dat is ook waar die HPC-centers veel onderzoek naar doen. Het probleem ligt niet in de performance van de hardware, maar in de efficientie van de software. Hetzelfde probleem als op een multicore PC dus, maar dan een beetje groter gedimensioneerd (manycore vs multicore).

Meer informatie over de interconnect die ze gebruiken vind je trouwens hier:
http://users.ece.gatech.e...gies/papers/dragonfly.pdf

[Reactie gewijzigd door Garyu op 25 juli 2024 19:21]

[Aertsvijand]

Klopt helemaal. Hier op de Universiteit Antwerpen hebben we ook een (bescheiden) supercomputer, geïntegreerd in het VSC waar ik in mijn Bachelor al op heb mogen rekenen.

Voor een praktisch voorbeeld: wat er momenteel veel gedaan wordt, is op moleculaire schaal proberen om kwantumchemische modellen door te rekenen op bestaande systemen, vb. katalysatoren. Een grondige kennis van de ruimtelijke structuur, inclusief elektronendistributies en alles wat daarbij komt kijken (vb. een PES, Wikilink) kan helpen om bepaalde mechanismen te verklaren of bloot te leggen en zo verder een reactie/productieproces te ontwerpen of te optimaliseren.

Die berekeningen zijn echter niet min, dat kan ik je wel vertellen. En natuurlijk krijgt niet iedereen zijn eigen minisupercomputer, want dergelijke decentralisatie zou alleen nóg meer kosten betekenen (meerdere koelsystemen, fysieke opslagruimte, back-upsystemen,...) en als je weet dat de jaarlijkse prijs aan energie in de honderdduizenden euro's bedraagt, dan wil je die kosten toch echt wel zo laag mogelijk houden.

Daarom dat, zoals Garyu al aangeeft, parallellisatie heel belangrijk is. Ze geven nu zelfs een (keuze)vak, speciaal gericht opdat wij de (wenige) code die we zelf schrijven, zouden optimaliseren voor parallellisatie. Als we vb. een iteratieproces doorrekenen (wat o.a. bij DFT gebeurt), dan kan het wel eens nuttig zijn om meerdere strings van berekeningen op te starten, die elkaar dan feedback geven en zo het proces aanzienlijk versnellen.

[Verwijderd]

88KW vindt ik nog wel wat mee vallen

ik stook hier nonstop 10kw , en voor energie kosten, daar heb je tegenwoordig genoeg goedkopere oplossingen voor op ebay

de prestaties per watt is bij deze server echter gigantisch veel beter dan wat wij hebben

[Free rider]

En dat is geen gewone 88 kW. Ik had een kleine twintig jaar geleden een excursie bij Shell Exploratie, die ook een supercomputer hadden - ik meen ook van Cray. Die supercomputer wenste 110 V / 60 Hz, en moest Shell aparte elektriciteitshuisjes aanleggen om aan die eisen te voldoen.

[xmen]

110V / 60Hz niet zo speciaal. In amerika is dit zelf de standaard ...

[ElCondor]

Ah, in Rijswijk? Gebouw staat er nu nog, inclusief de vijver die gebruikt werd voor het koelen van de Cray. Ik heb de Cray zelf helaas niet meer meegemaakt. ;o)

[vdburg]

Ah, Shell KSEPL in rijswijk. Ik heb daar heel lang geleden in het computer centrum gewerkt waar de cray ook stond. Met de komst van dat ding verdubbelde het energieverbruik van het complete laboratorium.... Het ding zelf was vrij klein (een luxe zitmeubel) maar je moest niet zien wat er in de kelders aan koeling stond.

[BadRespawn]

Ineens wordt duidelijk waarom er naar zuinige ARM's of GPU-oplossingen wordt gekeken als mogelijke (zuiniger) alternatieven.

Aka "power wall" of "energy wall".

[Shark.Bait]

Several leading HPC centers have signed contracts to purchase Cray XC30 supercomputers, including:

The Swiss National Supercomputing Centre (CSCS) in Lugano, Switzerland
The Pawsey Centre in Perth, Australia, owned by CSIRO and operated by iVEC
The Finnish IT Center for Science Ltd. (CSC)
The Department of Energy's National Energy Research Scientific Computing Center (NERSC) in Berkeley, Calif.
The Academic Center for Computing and Media Studies (ACCMS) at Kyoto University in Kyoto, Japan
The University of Stuttgart's High Performance Computing Center Stuttgart (HLRS) in Germany

DIe laatste had dit ding al in 2010 besteld.

[Soldaatje]

Over een halve eeuw zit deze power in onze Smartphone met quantum-chip
Dan lijkt dit ding alsof het uit het jura tijdperk komt.
Maar goed, als je nu wilt weten of het morgen gaat regenen is het wel handig.

[Plopeye]

Waarschijnlijk wel eerder... als ik deze bewering loslaat op het verleden dan had ik nu een apparaat waar ik mee kon bellen en het telefoonboek zou ik er naast hebben in de vorm van ponskaarten...

[Daileass]

nieuwe SUV van Volvo?

[Verwijderd]

Deze met nieuwe Tesla setup kan ik wel gebruiken als Server voor een nieuwe 3D maps systeem, een soort Googlestreetview, maar dan in 3D en met zoveel mogelijke historische mutaties en toekomstige plannen toegevoegd.

Voor de grachtengordel alleen heb ik aan een Quadro/ Xeon nog niet genoeg.......

[Verwijderd]

tegenwoordig, valt dat nog niet te renderen in realtime,
hooguit een klein dorpje,
zelfs niet op werelds snelste suppercomputer

daarom is de vraag naar meer altijd wenselijk, ik kan wel een Zetaflop gebruiken.
de hele wereld realtime 3d render, dat is levens echt gaming.

het zal nog wel tig jaar duren .

[Verwijderd]

Dit systeem maakt alleen maar bitmaps, de client maakt daar met HTML5 een soort steetview van, het is echt nog geen streaming 3D realtime weet ik veel wat.

[martijnmaas]

En wij maar dokken in deze tijd gvd !

[TECHcrime]

Ik zie niets staan over GPU's.. dus ik denk het niet?

[Nas T]

Ik zie niets staan over GPU's..

Laatste zin artikel:

Ook zouden Xeon Phi-coprocessors of Tesla-gpu's van Nvidia toegevoegd kunnen worden.

Ergo.

Draaitie Crysis op ultra?

Nee, maar hij evenaart wel deze humor (op minimum settings).

Ontopic: alle getallen in het artikel is leuk en indrukwekkend, maar wat zou deze supercomputer kunnen simuleren?

[Reactie gewijzigd door Nas T op 25 juli 2024 19:21]

[Qon]

Zou het niet leuk zijn om hier een 3d mark vantage score van te zien... Ben wel benieuwd hoe hoog ze kunnen benchen met zo'n 'cabinet'.

Wat voor bedrijven gebruiken installaties als dit trouwens?

[Tukkertje-RaH]

Met dit soort apparaten kan je wiskundige of natuurkundige modellen doorrekenen, zoals bijvoorbeeld complexe vloeistofstromingen, je kan er het weer of het klimaat mee proberen te voorspellen, nuclaire reacties, ruwe metingen van seismisch onderzoek mee uitwerken en zelfs (maar dat doet IBM) het apparaat leren schaken en er de wereldkampioen mee verslaan...

Overigens haalt dit apparaat bij lange na de top niet - top500.org heeft een mooie lijst: bovenaan (juni 2012) staat Sequoia met 20.000 Tflops...

http://www.top500.org/list/2012/06/100

Edit: daar moet ik dan aan toevoegen dat je met een zo'n systeemkast dan toch wel de lijst haalt: de laagst genoteerde machine in de top-500 heeft minder van 60 Tflops...
In 2005 was een performance van 66 Tflops overigens nog goed voor een topnotering... Zie je hoe snel de performance in deze markt gaat...

[Reactie gewijzigd door Tukkertje-RaH op 25 juli 2024 19:21]

[Mopperman]

Wil niet vervelend doen hoor, maar waarom zou je met deze de top10 niet kunnen halen? De nummer 1 van IBM, Sequoia, heeft 1572864 cores, deze "maar" 3072.

Als ik even snel reken, haal je met de XC30 (enkel cabinet) dus 66TF / 3072 cores = 0.02148TF per core

De Sequoia is dus 20132.7TF / 1572864 cores = 0.01280 TF per core

Als je de nieuwe Cray dus op dezelfde schaal zou gebruiken sta je met kop en schouders bovenaan Al is de vraag of het technisch mogelijk is met deze jongen...

1572864 cores * 0.02148 TF per core = ~33785TF

** het is een beetje kromme berekening maar gaat om het idee **

[YuriV]

Supercomputers worden voornamelijk ingezet voor wetenschapsdoeleinden of zaken als encryptie/decryptie (zie ook http://nl.wikipedia.org/wiki/Supercomputer)

[Verwijderd]

Supercomputers worden voornamelijk ingezet voor wetenschapsdoeleinden of zaken als encryptie/decryptie (zie ook http://nl.wikipedia.org/wiki/Supercomputer)

Mooi hoor. Maar als ik een paar miljard euro heb en hevig gamer ben... en dan?

[Ome Ernst]

Er is vast wel een linux distro die hier op draait. Ik ga er even van uit, sowieso
RH. En binnenkort komt Valve met spellen voor Linux, Heb jij die paar miljard, dan zijn er vast wel bedrijven die hun games voor jou naar linux willen porten, danwel native willen maken voor een passende vergoeding. Ik zou het wel weten.... ( SWAT 5, Takedown, Richard Burns Rally, iets met F1 en ach nog een paar leuke games.

[Bierdopje120]

In dat geval zal je alsnog nooit een dergelijke computer kopen. Hoe zo'n miljardair je ook bent met quad SLI of crossfire weet ik veel met 4 van de duurste GPU's van het moment kun je altijd alle spellen van dat moment op het hoogst spelen. Misschien zul jij echter als miljardair wat vaker je pc vernieuwen.

[Finraziel]

In principe kun je als miljardair natuurlijk gewoon je eigen games laten ontwikkelen, wellicht dat je dan dus wél een systeem als dit kunt gebruiken om echt baanbrekende VR te creëren?
Voor games die je gewoon in de winkel haalt is het nogal onzin inderdaad.

[arjankoole]

[...]


Mooi hoor. Maar als ik een paar miljard euro heb en hevig gamer ben... en dan?

Als je met die paar miljard euro ook hersens geleverd hebt gekregen: een vette game PC

Dit ding zal je weinig aan hebben.

[arjankoole]

Ontopic: alle getallen in het artikel is leuk en indrukwekkend, maar wat zou deze supercomputer kunnen simuleren?

Wat voorbeelden:

- Het amerikaanse ministerie van energie (DoE) gebruikt het voor simulaties van atoombomtesten, zodat ze geen echte testen meer hoeven te doen.

- USMC heeft een virtuele windtunnel staan, waarmee ze prototypen van vliegtuigen kunnen testen zonder een model te hoeven bouwen en die een echte tunnel moeten plaatsen.

- het KNMI heeft een supercomputer waarmee ze klimaatmodellen draaien/analyseren, waardoor ze beter het weer kunnen voorspellen.

[Iblies]

Die berekeningen maakten ze 10, 20 en 30 jaar geleden ook al, en ze zijn er niet veel verder mee gekomen.

Meer rekenkracht heeft niet geleid tot betere/meer resultaten wat toch wel jammer is.

Ze verbruiken minder energie en zijn kleiner geworden, en dat is dan ook het grootste pluspunt.

[FreezeXJ]

Toch wel hoor, weersvoorspellingen zijn een keertje of 5 nauwkeuriger geworden de afgelopen 10 jaar, op genetisch gebied zijn er de nodige rekenkunstjes uitgevoerd die jaren geleden totaal onmogelijk waren, en over sterrenkundige simulaties is helemaal te veel te vertellen. Overigens betwijfel ik of deze dingen minder energie zuipen dan een ouwe Cray X-MP of soortgelijk, het lijkt wel alsof ze steeds groter worden. Een Cray-1 kon je in een kamer zetten, voeding erbij en klaar. Voor een huidige top-10-computer mag je toch minimaal een voetbalveld aan ruimte reserveren...

[ajdales]

Lekker in je kelder zetten en names DPC folding@home draaien, dan zal de team score lekker om hoog schieten

[Verwijderd]

GPU's zijn niet voor alle taken bedoelt,
de meeste taken moet tog door de CPU gedaan worden,

en als het anders kon, dan had de cpu nooit bestaan

[Jeroen]

Dat GPU's sneller zijn in grafische berekeningen wil niet zeggen dat ze niet mogelijk zijn op een x86 CPU

[[NUT]]

Hoewel de grafische kaart waarschijnlijk niet of nauwelijks iets zal toevoegen, direct cpu rendering zou geen probleem moeten zijn...

Hell, waarschijnlijk kan je crycis in een REALTIME RAYTRACE mode draaien en hou je nog meer dan genoeg kracht over om de te ondersteunen met een flinke bijdrage

[littlebitpwnsu]

In de CryENGINE is bijna alles al realtime ;-)

[Mirved]

Toen ik de titel las wist ik al dat er een of andere domme opmerking zou komen van "kan die spel xxx ook op xxx niveau spelen" of "hoe vet zou het zijn om hier op te gamen" . Standaard bij elk artikel over een supercomputer de afgelopen jaren.

OT:

66tflops per kast.

De nr 1 heeft nu 16324 max t flops dus zou je minstens 248 van die kasten moeten neerzetten om daar over heen te gaan