IBM onthult BlueGene/Q-supercomputer

IBM heeft zijn nieuwste rekenmonster tijdens het jaarlijke supercomputing-symposium in Portland gepresenteerd. Het bedrijf gaf details over de hardware van BlueGene/Q prijs; de supercomputer krijgt 16384 cores aan boord.

De eerste opvolger van de BlueGene/P-systemen, die IBM momenteel aan klanten uitlevert, wordt in het Lawrence Livermore National Laboratory gebouwd. Deze BlueGene/Q-supercomputer, met de naam Sequoia, wordt opgebouwd uit 96 racks met hardware. Elk rack wordt op zijn beurt gevuld met 32 zogeheten drawers, die weer ieder uit 32 modules of nodes bestaan. Een node bevat een 64bits-processor met 17 PowerPC-cores en 16GB ddr3-geheugen. Zestien cores zijn voor de hpc-taken, terwijl de zeventiende core voor het besturingssysteem wordt gebruikt. Daarmee komt het aantal hpc-cores per rack op 16384 stuks, met evenzoveel gigabyte aan geheugen.

Het complete systeem met 96 racks bestaat uit 1.572.864 hpc-cores met een kloksnelheid van 1,6GHz, die ieder vier threads aankunnen. De 96 racks van Sequoia worden gebruikt voor berekeningen, terwijl de extra core van elke node zich moet bezighouden met het aansturen van de supercomputer. Die extra cores zijn nodig om de Linux-versie van IBM te draaien. De nodes communiceren onderling via optische fiber-interconnects die de nodes als 5d-mesh-netwerk aan elkaar knopen. BlueGene/Q wordt door waterkoeling op een temperatuur tussen de 15 en 18 graden Celcius gehouden.

De rekenkracht van BlueGene/Q bedraagt voor de Sequoia-uitvoering 20,13 petaflops. Een versie met slechts 48 racks, die voor het Argonnne National Laboratory moet worden gebouwd, krijgt 10pflops aan rekenkracht. Per rack betekent dat bijna 210tflops, een vervijftienvoudiging ten opzichte van de 14tflops per rack van de BlueGene/P-serie. Een door IBM gebouwd half rack haalde in november een Linpack-score van 65,3tflops en bezette daarmee de 114e plaats in de supercomputer Top500-lijst. Sequoia moet in 2012 bijna tweehonderd keer zo hoog scoren.

Reacties (69)

[OPSLAGHOND]

Ik ben altijd wel benieuwd hoeveel ruimte dat nu in beslag neemt.
Heeft iemand een idee?

[Verwijderd]

"Het complete systeem met 96 racks..."
Een volledig datacenter lijkt me zo...

[Reactie gewijzigd door Verwijderd op 24 juli 2024 08:19]

[Snow_King]

Het gaat hier om 96 racks staat er, dat zijn dus 96 19" in racks.

Per rack heb je snel 3m2 nodig (Denk ook aan loopruimte).

Dus kom je op een ruimte van zo'n 300m2, maar wellicht wel 400m2.

Denk dat het eerder interessant is om te weten hoe veel stroom dit verbruikt!

[Verwijderd]

Zie gelinkte artikel:

But the company did not provide many details about the architecture, except that it would pack 1.6 million cores into a single cabinet, would have 1.6PB of storage, a peak performance of 20 petaflops, and burn 6.6 megawatts of juice.

6.6 MW, ongeveer goed voor 7000 huishoudens.

[Reactie gewijzigd door Verwijderd op 24 juli 2024 08:19]

[Dr C]

dat vind ik wel een beetje muggenzifterij. "Stroomverbruik" is gewoon spreektaal en iedereen weet wat je daarmee bedoelt.

[Keypunchie]

Dus kom je op een ruimte van zo'n 300m2, maar wellicht wel 400m2.

Vergeet je nu niet dat er ook ruimte nodig is voor netwerkapparatuur, koelingapparatuur en (redundante) stroom? Ook denk ik dat ze wel een geintegreerde blusinstallatie ergens kwijt willen.

[Neo_revisited]

De racks zullen zijn voorzien met redundante netwerkapparatuur en UPS'en. De racks vormen met elkaar de supercomputer en moeten dus al onderling met elkaar kunnen praten. Door de koeling zal de vloeroppervlakte waarschijnlijk ook niet toenemen. Is dit d.m.v. airconditioning dan is er geen extra vloeroppervlak nodig, doet men dit met een verhoogde vloer dan is de vloeroppervlakte ook afdoende, doet men dit via inrowkoeling dan zijn meer racks nodig, maar kunnen de racks dichter op elkaar staan, waardoor de totale vloeroppervlakte niet hoeft toe te nemen.

[jqv]

Ze verbruiken geen stroom.
Stroom is in ampere
Ze gebruiken ook geen Volt

Ze leveren of verbruiken energie.
Dat druk je uit in KWh

klik hier

[marquis]

Ff ter verduidelijkheid: ze krijgen spanning, ze gebruiken stroom. De som daaruit is vermogen, of Watt. Mischien moet jij ff je cursus bijwerken

[elleP]

De som daaruit is vermogen, of Watt.

Als we de cursus toch updaten kunnen we 'som daaruit' beter vervangen door 'product daarvan'. Anders verkopen we nog steeds lulkoek

[Indigo]

Aangezien het voltage constant is in een land, betekent dat de energie consumptie direct gerelateerd is met de hoeveelheid stroom verbruikt. Daarom zegt met vaak hoeveel stroom het verbruikt ipv energie. Beide zijn correct.

[YopY]

Aangezien het voltage constant is in een land,

nietes. In hoogspanningskabels is het tienduizenden volts, uit je stekker komt 220 - 230, een PC werkt op 5 en 12 volt, etc. Het zou me niet verbazen als een grootverbruiker als een datacentrum zijn stroom op een aparte manier binnenkrijgt (via hoogspanning), of dat de voedingen van deze dingen op iets anders dan 230 volt werken.

[needless to say]

Nog erger: we gebruiken hier wisselspanning (http://en.wikipedia.org/wiki/Alternating_current). Het voltage verandert dus constant. Enkel het gemiddelde is ongeveer 230V. Als ik het wiki-artikel mag geloven is de schommeling van -325V => 0V => 325V

[koraks243]

Klopt, richt maar eens netspanning gelijk met een diodebrug, dan krijg je netjes 322V (230V * SQRT(2)) DC.

[Verwijderd]

nog steeds fout. het gemiddelde van wisselspanning is 0V, maar de effectieve waarde van ons stroomnet is 230V

[pietermx]

Leg het dan wel goed uit

Het verbruik druk je niet uit in (k/M)Watt-uur (Wh) maar in Watt. Je kunt pas iets over Wh zeggen als er een tijdseenheid bekend is....

Het verbruik is in dit geval 6,6 MW. Stel je zet de boel 2 uur aan, dan is er dus totaal 13,2 MWh aan energie verbruikt.

Overigens wordt er ook wel eens gesproken over het stroomverbruik, dit kan van belang zijn voor bijvoorbeeld bekabeling & netkosten wanneer er sprake is van een (relatief) grote blindstroom.

[Alxndr]

Watt is Joule per seconde, het opgenomen vermogen (in Watt) van 6,6 MW x 7200 seconden (=2 uur) levert een verbruik (in KWh) op van 47.520 KWh (is ongeveer wat 14 huishoudens in een heel jaar gebruiken)

[Verwijderd]

@marquis en @Indigo: volgens mij snappen jullie jqv's punt niet: Er LOOPT stroom door een apparaat, maar stroom wordt toch echt niet verbruikt. (Middelbare school voorbeeld: als je 2 lampen in serie achter elkaar zet, dan loopt voor de 1e lamp, tussen de 2 lampen en na de 2e lamp precies dezelfde stroom, er wordt dus geen stroom verbruikt). Het is inderdaad de energie die verbruikt wordt.
Dit is trouwens ook te zien in de definitie van ampere: Ampere is de hoeveelheid lading die LANGS een punt gaat per tijdseenheid, terwijl watt de hoeveelheid energie/kracht UITGEOEFEND OP het object per tijdseenheid is.

[marquis]

Je heb gelijk. K snap nu wat hij bedoelt.

[Verwijderd]

energie wordt ook niet verbruikt, het wordt omgezet.

[DiLDoG]

Zozo, goeie discussie hier. Om er dan nog maar even een schepje bovenop te doen:

Het opgenomen vermogen is inderdaad het product van stroom en spanning, echter we hebben het hier over wisselspanning, en daarbij kan stroom en spanning uit fase lopen. In dat geval geldt: Reële (of Actieve) Vermogen = U * I * Cos(φ)
Waar bij φ de faseverschuiving tussen stroom en spanning is. Dit is het gevolg van een inductieve (=spoel) of reactieve (=condensator) belasting.

Als je dus een zuiver inductieve belasting zou hebben (alleen een spoel) loopt de stroom 90 graden achter, en dus Cos(90) = 0, en loopt er dus wel stroom, maar wordt er geen vermogen opgenomen.

Voor de fans: http://en.wikipedia.org/wiki/AC_power

[Verwijderd]

Een data center in een bezemkast?!?

Een rekencentrum, vaak aangeduid onder de Engelse naam datacenter, is een faciliteit waar bedrijfskritische ICT-apparatuur (bijvoorbeeld servers) kunnen worden ondergebracht. Een rekencentrum is uitgerust met diverse voorzieningen, waaronder klimaatbeheersing door middel van airconditioning, geavanceerde automatische brandblussystemen en backup stroomvoorzieningen. Daarnaast bevat een rekencentrum doorgaans verbindingen met het Internet en is het voorzien van fysieke veiligheidsmaatregelen. In verband met het bedrijfskritische karakter van de apparatuur in een rekencentrum, zijn de voorzieningen doorgaans redundant uitgevoerd.

[bron wikipedia]

knappe jongen die dat in een bezemkast krijgt. (of je hebt hele grote bezems natuurlijk)

[rvec]

een kleine airco, een serverkast, een backup stroom kastje in de serverkast, een slot op de deur en een schuimblusser ernaast?
Ik ken een bedrijf waar dit de serverruimte is. Het wordt dan wel geen datacenter genoemd, maar volstaat wel als ik jou beschrijving kan geloven en het past best in een beetje een grote bezemkast.

[Verwijderd]

Serverruimte is geen datacenter. En dat zijn jou woorden....

[Reactie gewijzigd door Verwijderd op 24 juli 2024 08:19]

[Bilzke]

J7 is right. Het verschil zit in het aantal.

"A server room is a room that houses mainly computer servers. In information technology circles, the term is generally used for smaller arrangements of servers; larger groups of servers are housed in data centers."

[DJ TerraByte]

Daarbij, als die ruimte in de volksmond bezemkast wordt genoemd, en er staat echter geen bezem in, maar meerdere servers...
Dan kan het nog een datacenter zijn!

[MicGlou]

Het zijn niet alleen grote multinationals die datacenters runnen, de lokale bibliotheek heeft ook een eigen 'datacenter' en dat is niet meer dan een flinke bigtower die bij mij makkelijk in de bezemkast past, die berekeningen en dergelijken zijn niet zo ingewikkeld. Aub wel verder kijken dan je neus lang is... Als jij je alleen vasthoudt aan het begrip wat op wikipedia is vastgelegd... tja, dat is een zo'n groots mogelijk opgezet voorbeeld. Maar kleiner kan ook hoor

Tis maar wie de artikelen maakt... zoek bij wikipedia maar eens op 'garage' als in berging... ik versta onder garage een werkplaats, stalling bij de woning of zo'n mooie betonnen doos die je overal in de binnenstad vind waar een paar honderd auto's in kunnen. Het gekke is dat wikipedia dat laatste niet eens beschrijft... is het dan ineens niet zo?

[DiLDoG]

sjongejonge... dan is alles met meer dan 2 verdiepingen ook een flat? 2 winkels zijn een winkelcentrum? Je zegt zelf al 'datacenter'. Bij die lokale bibliotheek staat gewoon een servertje, dat is toch wat anders dan de normale definitie van een datacenter.

Je kan wel zeuren over begrippen, maar het hele idee van taal is toch dat we weten waar we het over hebben als we een woord gebruiken.

[scsirob]

"Een data center in een bezemkast?!?"

Jazeker. Nooit bij de RUG geweest? Daar staan delen van de backup systemen in een voormalige bezemkast onder een trap. Van alle kanten omringd door beton, dusdanig gewapend dat het een brand kan doorstaan.

[Verwijderd]

Daar zeg je het al: Delen van de backup systemen. Geen datacenter dus. Een datacenter bevat alles en niet alleen delen van een backup systeem.

[Bastiaan V]

Ah, dus google heeft geen datacenter ? die hebben ook niet alles op 1 plaats...

[Keypunchie]

Een data center in een bezemkast?!?

Absoluut. In de praktijk is "Datacenter" best vaak gewoon een wat chiquere benaming voor "Serverhok". Dus een handjevol racks, airco en een brandblusser.

[Verwijderd]

Handje vol racks.... heb je een stevige bezemkast voor nodig...

[Yngwie-]

Staat in principe toch in de bron? Ik neem aan dat je wel weet hoe groot een 19" serverrack is? In het artikel staat dat de BlueGene/Q TOT 96 racks groot is (maar er komt dus ook een "kleintje" van 48 racks).

Om een idee te geven, dit is de BleuGene/P, de voorloper:

http://www.alcf.anl.gov/news/media_files/bluegene_p.jpg

[Reactie gewijzigd door Yngwie- op 24 juli 2024 08:19]

[Keypunchie]

Het hangt er een beetje vanaf, maar:

Als je uitgaat dat je per rackserver, met alle ondersteuning van koeling en gangen om te lopen enzo ongeveer 10 m2 (kan wat minder zijn hoor, dit is gewoon wat natte vingerwerk) nodig hebt dan dus 96 * 10 m2 = 960 m2, oftewel laten we zeggen, een ruimte van 20m bij 50m. Dat is dus een forse zaal.

(Ben benieuwd naar schattingen van anderen, die van mij is wat aan de hoge kant).

[Reactie gewijzigd door Keypunchie op 24 juli 2024 08:19]

[NL-RaVeR]

Afgaande van de grote van 1 rack van de BlueGene/P (http://en.wikipedia.org/wiki/File:BlueGeneL_cabinet.jpg) is dat heel wat. Ik gok dat 1 rack zo'n 1x1 meter in beslag neemt met een hoogte van zo'n 2,5 meter. en dat nog is maal 96.

Een performance van 20,13 Petaflops is ongekend hoog. De huidige snelste supercomputer doet 4,7 Petaflops (http://www.top500.org/system/performance/10587). Daarmee zou deze computer dus zo'n 4x a 5x zo snel worden!!

Daarnaast zal het systeem ook wel flink wat stroom vreten met 1.572.864 cores, evenveel 1572TB aan RAM en een enorm uitgebreid waterkoelingsysteem voor al die cpu's!! (6.6 Megawatt zoals hierboven dus is aangegeven )

[Reactie gewijzigd door NL-RaVeR op 24 juli 2024 08:19]

[MicGlou]

Eventjes uitrekenen? Doe eens de moeite... serverracks hebben vrij 'standaard afmetingen' dus een globale berekening mag niet zoveel moeite kosten, Sowieso zal het aantal m2 vrij makkelijk zijn, het aantal m3 is wat lastiger omdat je niet weet hoe hoog de racks zijn (daarin zit wel verschil, maar qua voetafdruk zijn ze meestal vrij vergelijkbaar, ik denk dat als je 80x80 aanhoudt per rack dat je aardig in de buurt komt.)

[Dooxed]

Precies, het is niet zo moeilijk.
Zeg dat een rack 1 x 1 m2 is, en er 100 racks nodig zijn -> 100 m2 voor alleen de racks. Reken maar een redelijk datacentrum.

[Noxious]

Zoiets: http://www.flickr.com/pho...7628/in/pool-1307213@N22/

[mbr01]

Ik moet nog steeds een beetje lachen om een opmerking in de review, die Tweakers.net dit weekend plaatste, van een Nederlandse supercomputer. Daarin stond over het gebruik ongeveer het volgende.

De computer werd onder andere gebruikt om een T-rex dinosaurus te modeleren om verolgens uit te rekenen hoe hard hij kon lopen. Antwoord van de supercomputer: "ongeveer 25 km/h"

Laten we hopen dat dat niet alles is wat ze met die computers berekenen aangezien ze nou niet de meeste milieuvriendelijke apparaten op aarde zijn.

[HesRuud]

Met 6MW (hierboven vermeld geen idee waar dit vandaan komt) kan je wel wat meer dan uitrekenen hoe hard een T-Rex liep , waarschijnlijk zijn er ook wel verschillende weermodelletjes mee uitgerekend.
Wat ik hierbij zo jammer vind is dat je hier nooit wat over hoort, ze zeggen alleen dat de computer xx flops kan rekenen en daar moet je het maar mee doen ;P

[Verwijderd]

Er is teveel om uit te rekenen. Bijvoorbeeld: Met de komst van de algemene relativiteits theorie i.c.m. quantummechanica zijn er zoveel theoretische modellen te maken die gigantische rekenkracht vereisen.

[Umbrah]

Nouja... de aerodynamica van pringles, vloeistofdynamiek in luiers...

Large companies are also examining larger systems for testing and simulation. Procter & Gamble, for example, uses an SGI system to study the aerodynamics of Pringle's potato chips, Snell said. The chips move along a conveyor belt so fast that they actually take flight. Through aerodynamic modeling, the company can change the shape of the chips and speed up manufacturing. P&G also uses the system to study fluid dynamics in disposable diapers.

Read more: http://news.cnet.com/2100...l?tag=cd_mh#ixzz160g22KBJ

[BadRespawn]

Laten we hopen dat dat niet alles is wat ze met die computers berekenen aangezien ze nou niet de meeste milieuvriendelijke apparaten op aarde zijn.

Alsof we niet weten dat berekenen hoe snel een T-Rex loopt niet het enige is dat met die computers wordt gedaan.

En alsof er niet vele nog veel minder milieuvriendelijke apparaten bestaan dan supercomputers.

[HesRuud]

Hoe willen ze dit waterkoelen, gebeurd dit door waterkoelblokken of dompelen ze het geheel onder in gedestilleerd water (geleid geen electriciteit)? Een paar MW aan energie raak je zo nog niet kwijt in de vorm van warmte, kan je bijna een stad mee opwarmen ;P (klein dorpje dan ^^)

[brinkdinges]

Gedestilleerd water geleid geen elektriciteit nee, maar het geleid wel als het water vervuild wordt door een paar stofdeeltjes. Ga er maar vanuit dat hier gewoon koelblokken op gemonteerd worden, anders is onderhoud helemaal niet mogelijk.

[koraks243]

Jep, een koelblokje per module, dus een warmtewisselaar die de warmte van de IC's overbrengt op de vloeistof (idd meestal gedestilleerd water om afzettingen en redox reacties/corrosie te voorkomen). Het water circuleert door de infrastructuur die in de racks is aangebracht, en op een centraal punt (of een aantal punten) staan pompen en warmtewisselaars met fans opgesteld om de warmte af te staan aan de buitenlucht, of aan de verwarming van het pand (maar meestal gewoon de buitenlucht). In feite niks anders dan je thuispc met vloeistofkoeling, alleen met een wat groter volume en een grotere vloeistofflow. En daar kun je prima meerdere MW's mee afvoeren.

Hoe denk je dat ze dat in een energiecentrale doen? Bij een grote centrale heb je het al gauw over een paar honderd MW wat je aan restwarmte kwijt moet. Het enige verschil is dat ze daar de warmte overdragen van het primaire (gesloten) circuit aan een ander circuit waar rivier- of zeewater door stroomt. In (PWR) kerncentrales heb je over het algemeen zelfs 3 circuits: een gesloten primair onder hoge druk, een gesloten secundair water/stoomcircuit om de turbines aan te drijven, en een tertair circuit met water dat door koeltorens geleid wordt.

[MelodyDeluxe]

een mooie totaalshot over de racks op groot formaat:

http://2.bp.blogspot.com/...37_jugene_pm_11_07_05.jpg

[Reactie gewijzigd door MelodyDeluxe op 24 juli 2024 08:19]

[neboekadnezar]

Kijk daar heb je wat aan, dank u.
Laat me denken aan Battlestar Galactica; oude serie

Altijd jaw dropping, dit soort specs. Dat er maar mooi wetenschappelijk onderzoek mee gedaan moge worden.

[Dr-Fruit]

Ach, eigenlijk weinig veranderd in 56 jaar
http://www.columbia.edu/acis/history/norc-banner.jpg

[Dr C]

hehe, geweldig. Waarschijnlijk heb ik dezelfde rekenkracht nu in mijn broekzak zitten.

[flippy]

ik denk eerder in je horloge

[drZymo]

Ik moet zeggen dat ik best onder de indruk ben van het energieverbruik. De 98.304 processoren verbruiken totaal 6.6 MW aan energie. Per processor is dat ongeveer 67 Watt. Dat is best netjes voor een 17 (!) core processor.

[Sk0Ne]

Dit is de nieuwe #1 in de top 500 meest energieëfficiente supercomputers. http://www.green500.org/lists/2010/11/top/list.php

[Bosmonster]

Hebben ze die module door een kleuterschool in elkaar laten plakken?

[Verwijderd]

Wegens plaatsgebrek, moet ik er van afzien
De vrees bestaat dat hier de wijk zonder stroom komt te vallen, als ik hem zou opstarten.

[Holograph]

Wanneer komt de mobile versie uit van dit ding? Ik wil mijn Powerbook wel eens een keer upgraden

[Reactie gewijzigd door Holograph op 24 juli 2024 08:19]