Blue Waters-supercomputer krijgt 400PB aan opslag

De in aanbouw zijnde Blue Waters-supercomputer, die een geplande piekcapaciteit van 11,5 petaflops zou hebben, krijgt de beschikking over 400PB aan opslag. De storage wordt toegankelijk gemaakt met behulp van het Lustre-bestandssysteem.

De Blue Waters-supercomputer wordt gebouwd door Cray in opdracht van het National Center for Supercomputing Applications. De supercomputer bestaat uit 235 Cray XE6-cabinets waarin 49.000 AMD Opteron 6200-processors zijn geplaatst - goed voor 380.000 cores - en ruim dertig cabinets van de onlangs aangekondigde Cray XK6-supercomputer waarin drieduizend Nvidia Tesla-gpu's zijn geprikt. Blue Waters zou 1,5PB aan werkgeheugen kunnen adresseren over 190.000 dimm's.

Voor de opslag worden Sonexion storage-arrays van Cray gebruikt, zo meldt ComputerWorld. De total opslagcapaciteit is ruim 400PB groot. Circa 380PB wordt opgeslagen op 366 TS1140-tapedrives van IBM. Deze zouden elk data met een snelheid van 240MBp/s kunnen wegschrijven. De tapedrives kunnen via infiniband met 8Gbps communiceren met de rekenclusters.

Cray heeft daarnaast 25PB diskopslag aan het systeem toegevoegd met 17.000 sata-drives. De netwerkinfrastructuur voor Blue Waters zou grotendeels zijn opgebouwd op basis van 40Gbps-ethernethardware van Extreme Networks. Om de enorme opslagcapaciteit te kunnen benutten, heeft Cray gekozen voor Lustre. Dit parallel distributed file system is opensource en door zijn schaalbaarheid en robuustheid met name geschikt voor clusteromgevingen.

De bouw van de 188 miljoen dollar kostende Blue Waters-supercomputer zou eind dit jaar afgerond moeten worden. De petascale-supercomputer zou bij ingebruikname moeten pieken op 11,5 petaflops, al zou deze op normale snelheid een rekenkracht hebben van circa 1 petaflops. Om het rekenmonster te koelen wordt er vooral gebruik gemaakt van waterkoeling.

Reacties (60)

[Maarten21]

Waarvoor ze het willen gebruiken:

quote: http://www.ncsa.illinois.edu/BlueWaters

Scientists will create breakthroughs in nearly all fields of science using Blue Waters. They will predict the behavior of complex biological systems, understand how the cosmos evolved after the Big Bang, design new materials at the atomic level, predict the behavior of hurricanes and tornadoes, and simulate complex engineered systems like the power distribution system and airplanes and automobiles.

[Q]

Lustre is erg interessant voor wie interesse heeft in grote storage. De schaalbaarheid is met name erg mooi.

Er zijn wel wat risico's aan verbonden waar je mee rekening moet houden. Als 1 computer met storage uitvalt, is die data weg / onbeschikbaar. Op die schaal wil je eigenlijk RAID 5/6 maar dan over meerdere computers in plaats van disks. Heb ik eens een blogpostje over gemaakt. De bijbehorende tekening laat mooi zien hoe Lustre is opgebouwd.

http://louwrentius.com/bl...isk-of-serious-data-loss/

Voor storage fans plug ik graag ons eigen forum:

Storage showoff topic - 10+ TB storage systems

[Reactie gewijzigd door Q op 26 juli 2024 09:48]

[matthijs33]

Die tape-drives kunnen misschien goed zijn voor berekende data weg te schrijven, maar om er data van af te halen wordt dit toch "zeer" traag als dit sequentieel gelezen moet worden?
Voor data die continu gelezen moet worden zijn er de harde schijven en de RAM-modules, maar toch vindt ik het wel vreemd. Is dit zoveel goedkoper?
En hoe krijg je 380PB aan data op 366 tapedrives? Op de site van IBM staat dat er maximaal 4TB per tape op kan. Worden de tapes dan nog (al dan niet automatich) veranderd?
bron :http://www-03.ibm.com/systems/storage/tape/ts1140/

[Q]

Ze kunnen ongeveer 88 GB/s aan data sequentieel sturen naar tape. Dat is best pittig rap.
Dat gaat vaak met grote tape robots met duizenden tapes aan capaciteit. Je gebruikt dus gewoon meerdere tapes.

http://computing.fnal.gov.../january/images/robot.jpg

Niet alle data hoeft permanent on-line te zijn. Tape laden, data opzoeken kost het meeste tijd maar daarna gaat het rap.

[Reactie gewijzigd door Q op 23 juli 2024 12:41]

[Arfman]

offtopic:
GlaDOS 0.1!

[MAX3400]

Ik denk dat ook een groot gedeelte van de storage wordt gebruikt voor temporary files of raw data die uiteindelijk wordt doorgerekend en uiteindelijk dan een bepaald getal/resultaat geeft waarvoor deze supercomputer is gebouwd.

De tape-drive geeft waarschijnlijk meer de mogelijkheid om tussenstappen in een berekening weg te schrijven of andere zaken op te slaan die niet direct "online" hoeven te zijn.

[wica]

een swap space dus

[South_Styler]

Wat een capaciteit! Het is geweldig dat zoiets bestaat, al kan ik me niet bedenken dat bijvoorbeeld weerprogramma's en dergelijke zoveel cores kunnen inzetten en zo veel moeten rekenen. Ik ben maar een leek, zodoende ook die opmerking, maar hiermee moet je toch echt alles mee kunnen. Waar ik zelf nog benieuwd naar ben is het stroomgebruik.

[haifisch]

Soms heb je weer van die grafieken met kansen. Ál deze kansen worden door een computer uitgerekend. Zoals je misschien weet is het weer zeer complex en afhankelijk van veel factoren waar rekening mee moet worden gehouden. Dit zou je natuurlijk op je oude Windows 95 computer kunnen doen, maar dan zou je beter naar buiten kunnen gaan want de uitslag komt dan later dan het weer

[Verwijderd]

Het grappige is dat voor een project dat op dit moment bezig is deze computer veel te weinig rekenkracht heeft.

It will generate prodigious amounts of data that have to be channelled through a vast fibre-optic broadband network; and that information will have to be processed by the fastest supercomputer available. The design calls for an exaflop system - a system capable of carrying out a million, million, million (quintillion) floating point operations per second.

Dat is nodig voor het Square Kilometre Array, zie het laatste nieuws hierover.

[RawPeanut]

Ik vraag me af wat er zou gebeuren als die 188 miljoen in onderzoek naar toepasbare quantumcomputers zou worden gestoken? Als dat over 10 jaar een werkend geheel oplevert is je return vele malen hoger...

[0rbit]

Dat mag natuurlijk wel zo zijn, maar met dat argument kun je nooit meer geld uitgeven natuurlijk. Er zijn ook lopende onderzoeken die verder moeten en die afhankelijk zijn van dit soort rekenkracht. Of wat te denken van: Welke rol spelen dit soort systemen juist in het mogelijk maken van quantum-computers? (Het "jezelf aan je eigen haren omhoog trekken" principe).

Tip: Zet al je geld aan de kant en leef zo zuinig mogelijk. Over 10 jaar is er veel betere hardware, kun je elektrisch rijden, heb je een föhn die je na het douchen over je hele lichaam droogblaast etc.

[involver]

... leuk, maar kinderspel vergeleken met wat die mafketels bij de NSA aan het bouwen zijn (en dan vooral met welk doel), zie http://www.wired.com/thre...03/ff_nsadatacenter/all/1

[citegrene]

En de NSA zit nog in het stenen tijdperk als je het vergelijkt met de omvang van google's datacenters.

Een oud artikel uit 2007: http://www.zdnet.com/blog...rehouse-size-computer/213

alleen al in Oregon 2 centers van 100.000 square foot dan is de NSA met 1 center van 25000 square foot wel tiny.

[jmxd]

Hamvraag: Kan ik daar Crysis 3 mee op ultra spelen?

[Xorsist]

Zonder problemen want er zijn 3000 tesla GPU's aanwezig.
Die kunnen met 300 schermen zonder problemen 360 view ondersteunen.

Helaas wordt deze computer daar niet voor gebouwd.

Als ik eerlijk ben vindt ik de daily use stats verre van indrukwekkend (1 Pflop).
Ik denk dat dit inherrent is aan de aanschaffende partij welke diensten aan derden levert.
Momenteel lijkt het alsof dit cluster 900% overbegroot is (mag ik me in die wei parkeren en overtollige cycles opeten ).

[Megamind]

Ja want opslag heeft iets te maken met grafische opstellingen...

[ZwartR]

Met o.a. 49.000 AMD Opteron 6200-processors, 3.000 Nvidia Tesla-gpu's etcetera, wordt die supercomputer wel wat meer dan 'opslag'. De snelste supercomputer ter wereld zelfs.

[Verwijderd]

Wat wel leuk is en blijft is dat ze met al dit soort projecten op AMD chipjes uitkomen. Xeon gebruiken ze wel, maar toch weer minder, ondanks dat je op de desktop met de snelste AMD de langzaamste Intel nog maar net bij kunt benen.

Wat mij wel op valt is dat ze voor Nvidia gekozen hebben en niet AMD voor het OpenCL deel, Cuda is leuk maar OpenCL kan tegenwoordig net zo veel, dus waarom niet gelijk een full AMD package is mij een raadsel.

[Andreazzz]

Ik weet niet wat je nu allemaal uitkraamt, maar de snelste AMD processor (opterons uitgezonderd) is de FX-8150, en die staat op plaats 47 op CPUbenchmark.net. Met zijn 200$ is hij qua prijs/kwaliteit beter dan een i7 2600s, die 110$ duurder is. Dus ik wil niet veel zeggen, maar de snelste AMD verslaat een i7 2600s. Lekker puh!
Van die stomme Intel-fanboys moet ik altijd huilen

[.ScorpionSquad]

Maar is hij wel sneller dan de i5-2500K die nagenoeg gelijk presteert aan de FX-8150? meestal zelfs sneller, behalve bij meer dan 4 threads. Als je nog lager in de prijs wilt is een i5-2400 of i5-2310 ook een goede optie, en die zijn zo'n 50$ goedkoper dan jouw FX-8150 maar misschien 5-10% trager.

intel begint ook langzaam AMD qua prijs/prestatie uit het middensegment te duwen.

[hardwareaddict]

supercomputers draaien met name software die grote matrice met elkaar vermenigvuldigt. Dat zijn floating pointgetallen van met name 64 bits die dus tellen en die dan vermenigvuldigen. Een enkele Tesla veegt daar elke pc processor compleet weg.

Factor 10 verschil ongeveer.

De Tesla's runnen deze code dus compleet.

3000 tesla's voor dit systeem vind ik niet zoveel.

China zal dit systeem met hun nieuwe systeempje wel compleet wegvegen.
Hun vorige had al 5000+ tesla's meen ik.

Dus qua peak zaten ze al op de 9 Pflop en als ze die alleen al maar upgraden naar nieuwe tesla's zijn ze dus al sneller.

Wat hier wel opvalt is dat Cray dus AMD processors gaat leveren volgens dit bericht, terwijl Cray is overgenomen door intel.

Ook is de verhouding CPU versus GPU's ongeveer 50-50 als we de enorme rekenkracht van de Tesla meenemen, wat een goede keuze lijkt voor een modernde supercomputer die alles moet kunnen.

Want 3000 tesla's is wel zo ongeveer gelijk aan 49000 cpu's. Die 6200 processor van AMD is overigens niet vooruit te branden in vermenigvuldigen. Weliswaar heeft elke minicor een eigen multiplication unit, maar de latency ervan is echt takketraag.

Ik zeg dat echt netjes als je de prestatie ervan in ogenschouw neemt. Een willekeurige intel Ivy bridge met 8 cores ramt die 6200 processor echt compleet weg voor vermenigvuldigen.

Goed we zullen zien hoe het systeem eruit ziet als het wordt opgeleverd. Mogelijk was contract al getekend voor intel dus cray overnam voor 140 miljoen dollar.

Wat ook een koopje is overigens.

Het sterke punt van deze machine lijkt met name zijn grote hoeveelheid RAM te zijn als ik het zo op een kladblaadje uitreken is het rond de 4 dimms per cpu en met 49000 cpu's tikt dat snel aan natuurlijk.

De supercomputerjongens van de NSA hebben dus op safe gespeeld met dit systeem zo lijkt het. Zowel inzetten op cpu's met veel RAM als ook op gpu's. Een veilige tussenoplossing. Niet geniaal. Niet dom. Solide. Lijkt me verantwoorde keuze.

Wel trager dan China natuurlijk in floating point en dat zal ze vast dwarszitten, maar enfin de NSA draait ook veel codes die weinig met floating point van doen hebben.

Deze hybride oplossing, wat me zeker geen slechte oplossing lijkt, maakt overigens het systeem wel megaduur. Alleen een systeem met tesla's bouwen is een stuk goedkoper.

Wel gek dat het AMD processors worden hoor. Want ik meende op mijn chat wat oerwoudgeluiden gehoord te hebben over de performance van de nieuwe AMD chip voor crunching software van de NCSA.

[Reactie gewijzigd door hardwareaddict op 26 juli 2024 09:48]

[mad_max234]

Het gaat hier niet om normale cpu benchmarks, die zijn niks waard in dit geval.

Het gaat ook vooral om de configuratie waarin de chip kunnen draaien. AMD heeft op dat gebied veel meer ervaring opgedaan en levert uitstekende support voor multi socket systemen.

AMD dreef de snelste supercomputer van 2010 ook aan, is in 2011 overgenomen door de K computer met SPARC64 VIIIfx cpu's. Lijkt erop dat AMD stokje weer gaat overnemen.

2008 leverde amd(en IBM) overigens ook de snelste supercomputer. 2009 was het intel met AMD GPU's.

[1337mhz]

Leuke vergelijking

leuk dat je de 2600s wilt vergelijken met deze maarja uiteindelijk gaan we dan even naar de 2600k, beetje fout als je de 2006s gaat pakken want deze is geen Sandy Bridge en relatief erg duur voor zijn prestaties.

Overigens gaat Sandy Bridge veel beter mijn zijn processen om dan jou AMD.


want als ik naar de tests hier kijk en de conclusie, dan gaat de 2600k nog steeds boven de FX-8150 en hoeveel is de 2600k duurder? 60 euro? nou wat een verschil.

reviews: AMD's FX-8150: een bulldozer in bedrijf

Hier komt hij ook hoger:

http://www.cpubenchmark.net/high_end_cpus.html

en voor 60 euro meer geeft hij veel betere prestaties. en natuurlijk kan de 2600k goed overclocked worden.

[bantoo]

Waar zijn al die AMD kaarten van jou dan die zo goed te gebruiken zijn in supercomputers?

[Foske76]

Inderdaad, waarom ze toch erg vaak bij AMD uit komen is mij ook niet helemaal duidelijk. Ik vermoed dat de manier waarop de AMD processoren met elkaar praten (In dit geval de HT3 bussen) samen met de Non-Uniform Memory Access (NUMA, iedere chip zijn eigen reepjes RAM, en de rest van het geheugen benaderbaar via de HT3 bussen) zorgen voor een betere schaalbaarheid. Al heb je voor zulke monsters wel iets meer nodig dan deze technieken, dus ik denk dat dit slechts een deel van het antwoord is.

[Verwijderd]

even ter aanvulling het gaat nit alleen over opslag:
en ruim dertig cabinets van de onlangs aangekondigde Cray XK6-supercomputer waarin drieduizend Nvidia Tesla-gpu's zijn geprikt

edit, comment staat nu wel erg ver onder het originele bericht waar ik op wilde reageren dus even ter verduidelijking dit was aan :
Megamind, donderdag 24 mei 2012 18:08

[Reactie gewijzigd door Verwijderd op 26 juli 2024 09:48]

[ThePendulum]

Volgens mij was dat een beetje de 'grap'.

[CuBras]

En dan vind ik het toch jammer dat hij gedownmod wordt!
tsjonge jonge ... Vind ik tegenwoordig een erg slechte mentaliteit hier op T.net. 9 van de 10x wordt je weggemod omdat je een grap maakt die iemand anders niet kan waarderen, maar zodra je een +1 geeft voor een goede burn o.i.d. krijg je gelijk een waarschuwing aan je broek

[Arfman]

Jep. Punten moet je niet bepalen aan de hand van of je het ergens mee eens bent, maar of de reactie inhoudelijk nuttig is. Helaas worden bij diverse nieuwsberichten complete modwars uitgevochten tussen AMD/nVidia/MS/Linux fanboys. En inderdaad, als je een goede burn beloont krijg je een waarschuwing aan je broek, een van de redenen dat ik daar verder ook geen tijd en moeite meer insteek.

[Waterbeesje]

I totally agree... Modding zou op inhoud gedaan moeten worden.
---
Grappig.
---
(als ik hier zou stoppen met mijn reactie zou het dus rood moeten worden)
---

On-topic dan nog even:

Ik vraag me toch af wat dit soort systemen kunnen bijdragen aan de ontwikkeling voor thuis-PC's (ongetwijfeld veel). Buiten een zo efficiënt mogelijke huishouding van onderdelen en communicatie daartussen dan.

Gaan hiervoor ook nog onderdelen worden ontwikkeld die bestand zijn tegen extreme snelheden? Lijkt me dat hier geen DDR3 chips op 1333 MHz in gaan tenminste... Zou jammer zijn van de schaal waarop alles wordt geïntegreerd.

Verder vind ik het erg mooi om te zien dat er AMD voor wordt gebruikt voor zo'n monster. Goede reclame voor een bedrijf dat eigenlijk jaren miskend is door de grotere elektronica/computer verkopers.


PS. Gaan nu de Intel fanaten mij ook down-modden? Lijkt me wel redelijk on-topic

[stresstak]

On-topic dan nog even:
Ik vraag me toch af wat dit soort systemen kunnen bijdragen aan de ontwikkeling voor thuis-PC's (ongetwijfeld veel).

Wellicht dat de fipo-poster zijn spelletje dan wel kan spelen en een beetje opslag is nooit weg natuurlijk voor de thuisgebruiker met een hobby.

[JerX]

Gewoon een extra reactie puntje bijplaatsen "Grappig" en die dan een ander kleurtje geven Problem solved!

[_Thanatos_]

Ik denk het niet, want er zal wrs geen Windows op gaan draaien

[HerrPino]

Dat is nog maar de vraag. Waarschijnlijk wel. Aan de opslagcapaciteit zal het niet liggen. Crysis laat zich alleen lastig schalen over 49.000 processoren. Grote kans zelfs dat slechts 1 processor gebruikt kan worden. En dan blijft de vraag over kun je Crysis op 1 AMD Opeteron 6200 processor draaien en wat voor grafische kaart heeft het tot de beschikking.

[eL_Jay]

@ fipo zeg dan niets.

Ik neem aan dat dit de snelste super computer gaat worden? (totdat er weer wat nieuws komt)
Ik vraag me af of bij een systeem als dit, wanneer superpi zou worden berekend, de beperkende factor de bandbreedte van de verbinding is?

[Blueeyesz321]

Dit vind ik nou eens mooi om op te bouwen. @Twylight Maar je kan er vast wel Crysis 3 op Ultra mee draaien ja.

[Reactie gewijzigd door Blueeyesz321 op 26 juli 2024 09:48]

[Verwijderd]

Hier wil ik wel even een maandje bitcoins op minen.

Serieus, wat gaan ze doen met dit monster?

(edit) oh, zie net reply van Maarten21, donderdag 24 mei 2012 18:12
Ben benieuwd wat dit voor doorbraken mogelijk gaat maken.

[Reactie gewijzigd door Verwijderd op 26 juli 2024 09:48]

[Verwijderd]

Betaal je ook de stroomrekening?