Watergekoelde 20-way Opteron-cluster op CeBIT

Mensen die van plan zijn over enkele weken CeBIT te bezoeken, kunnen een attractie toevoegen aan hun lijst. Op de website van het bedrijf geeft Icebear Systems aan een 20-way Opteron-cluster te laten zien. Eerder werd er nog over een quad-systeem gesproken, maar uiteindelijk is voor een 'meer indrukwekkend' cluster gekozen. De processors zullen gekoeld worden met waterkoeling geproduceerd door de Duitse fabrikant. Verteld wordt dat de cluster zal draaien op Linux, maar meer informatie wordt helaas niet vrijgegeven. Geïnteresseerden vinden het systeem bij AMD in hal 22, stand A24.

Update: Icebear Systems attendeerde ons erop dat bezoekers ook een uit 1U-kasten opgebouwde 64-way Xeon-cluster mogen verwachten. Dit systeem, dat gebruikt wordt voor stromingssimulaties, gebruikt net als de Opteron-cluster Linux als besturingssysteem.

Reacties (36)

Ik ga ff mijn ervaring erop los laten

owkee. Standaart kleine blokjes. beetje dangerden achtig. Maar de duitse fabrikant zal het wel zelf maken. Verder een heel erg betrouwbaar pompje met flow control. iets van de CV achtig iets.

Het cirquit is moeilijker. 12 in serie is het beste. temparatuur stijgt toch maar 0.5 graad per CPU. maar dan krijg je zo'n lange weg. Dus fikse weerstand. Maar toch denk ik dat ze dat doen. Dan raakt er nooit iets verstopt en dit is echt het veiligst. Hoe meer onderdelen hoe meer er stuk kan gaan.

Dan denk ik 1 fixe radiator a 2u behuizing denk ik met daarachter een gigantische radiale wals ventilator die gewoon een tering herrie maakt. Maar dat doen alle servers . Natuurlijk elektronisch bewaking systeem eraan of het blijft draaien. Maar dat heeft luchtkoeling ook.

Voordelen. Koel, stabiel. Meer CPU's per m2 denk ik omdat je de warmte veel effiecienter af voert.

Nadelen is hogere aanschafprijs maar dat is in deze catagorie minder van toepassing. Wel dat het ook iets meer onderhoud vergt. Niet veel, maar luchtkoeling ook helemaal niet.

Het zal iig niet iets zijn met vele pompjes, en radiators en cirquits. Want hoe minder het systeem bevat, hoe minder er kapot kan gaan.

ik zou ze liever paralel zz,
als je de boel maar goed dimensioneerd.
denk maar aan de gewone cv instalatie>ook paralel

Dus ipv 1 quad systeem hebben ze er nu 5 naast elkaar. Ben wel benieuwd welk h2o kitje ze erop hebben zitten.

Ik denk dat ze wel meerdere pompen hebben en meerdere circuits. en de radiator zal wel alsnog behoorlijk actief gekoeld moeten worden, tenzij ie *heel* groot is natuurlijk.

Ik denk dat ze slechts een paar circuits hebben. Een extra CPU warmt het water nog geen halve graad op, dus met één keten en een krachtige pomp kan je al heel wat doen.

2500 l/u lijkt me iets teveel van het goede voor 10 processoren. Dat baseer ik op de volgende (redelijk vrije) redenering, die uitgaat van voldoende volledige overdracht, wat een aannemnlijk uitgangspunt is:

Een opteron verbruikt zo'n 60-70 watt aan electrisch vermogen. Van het gemak wordt uitgegaan dat alles omgezet wordt in warmte. 10 procs vervruiken dan dus zo'n 700 Watt.

Als je dan van een worst case scenario uit gaat dat de procs zeker niet boven de 40°C mogen komen, dan heb je een dT van tien graden tot je beschikking. Dit is gebaseerd op beschikbaar water van 20°C en een minimale driving force in temperatuurverschil van nog eens 10 graden.

Een flow van 2500 l/u (~7e-4m³/s) levert dan een wegkoelbaar vermogen van:

dichtheid*volumeflow*warmtecapaciteit*(temperatuur_water_1 - temperatuur_water_0)

dichtheid=1000 kg/m³
warmtecapaciteit= 4180 J/Kg K

=1000*7e-4*4.18e3*10=~29kW

Dan mag de warmteoverdracht bijzonder inefficiënt zijn om zo'n volumestroom noodzakelijk te laten zijn.

Bovendien krijg je als je 2500 l/u door 18 mm (16 mm inwendig(?)) slangen perst een snelheid van 3.5 m/s en dat wil je niet omdat dat een hoge drukval veroorzaakt over je slang zodat dat ook weer relatief hoge eisen stelt aan je pomp.

Als je eens op ongeveer een derde gaat zitten. Dat wil zeggen nog steeds een kwart liter per seconde. Dan is je snelheid in een 18mm slang nog steeds boven de meter per seconde en kan je nog zeker een 10kW(!!) wegkoelen.

Voor alle duidelijkheid: 2500 l/u is theoretisch. In de praktijk haalt hij slechts zo'n 1000-1500 l/u.

Maar bovenstaande toont wel aan dat het perfect mogelijk is met één keten.

Een flow van 2500 l/u (~7e-4m³/s) levert dan een wegkoelbaar vermogen van:~29kW

hmjah.. maar ga je er dan vanuit dat die 29kW die weg te koelen is op 1 plaats zit? In het geval van een 20-way server zitten er natuurlijk wel 20 plaatsen waar het water wordt opgewarmd.. het lijkt me dat als je de cpu-blokken serieel schakelt dat tegen de tijd dat het water dat over de 1e cpu is gegaan bij de 20e cpu komt er weinig energieabsorberend vermoge meer zit in het water. Tenslotte voegt iedere cpu waar het water langskomt een bepaalde hoeveelheid energie aan toe.

je berekening zal wel ongeveer kloppen, en die 29kW ook wel.. alleen ik denk niet 29kW koelvermoge verdeeld over meerdere warmte bronnen. Het parallel schakelen van de cpu-blokken lijkt me daarom een logischere oplossing, tezamen met meerdere pompen en natuurlijk meerdere of grotere radiatoren.

hmjah.. maar ga je er dan vanuit dat die 29kW die weg te koelen is op 1 plaats zit?

Dat maakt niet uit. Ik kijk naar de macroscopische situatie. Gewoon het totaal weg te koelen vermogen. Als je een redelijke driving force houdt. De eerder genoemde 10 graden verschil tussen koelend medium en af te koelen materiaal, dan kom je altijd met een redelijk te dimensioneren overdragend oppervlak weg. Je gaat er in feite van uit dat je start met een water temperatuur van 20°C en dat hij aan het eind van je in serie geschakelde verhaal maximaal 30°C is. Dat is een versimpelde voorstelling, maar wel een worst case scenario. Zelfs dan kom je er mee weg.

In principe wil je niet graag paralel koelen, omdat flowregulering vaak een probleem is. je probeert je parameters zo te kiezen dat je altijd nog met serieschakeling uitkomt voor dergelijke redelijk eeenvoudige systemen. Het enige wat inderdaad waar is, is dat je voor kritische systemen kiest om twee geregelde pompen parallel te plaatsen zodat ze beiden de flow opbrengen, maar dit ook afzonderlijk zouden kunnen doen.

Een extra CPU warmt het water nog geen halve graad op

.. dus als je 500 cpu's hebt dan wordt het water bijna 250 graden warmer

Ik denk dat het wel degelijk verschillende circuits zullen zijn, je kan anders nooit voldoende watervolume verplaatsen om het totale wattage naar de radiator te verplaatsen. Water raakt ook verzadigd met energie.. dus moet je bij meerdere cpu's meer water hebben.. dus of sneller doorvoer.. of grotere slangen.. of kouder water(!!). Dus tenzij er gebruik wordt gemaakt van 100mm slangen denk ik toch dat ze per 4 cpu's o.i.d. 1 systeem hebben.. of misschien wel een soort parallel systeem met meerder pompen en meerder cpu blokken aan 1 cicuit..

leuke uitdaging om te bouwen in ieder geval

2500 l/u pompje, 18mm slang, en daaraan hang je 10 CPU's... Moet te doen zijn lijkt me.

Gewoon voor de betrouwbaarheid zullen ze met meerdere pompen en circuits werken. Anders hebben ze grote problemen als 1 pomp uitvalt, alles gaat kapot...

Zo'n koelsysteem is eenvoudig te monitoren dus betrouwbaarheid is niet zo'n groot probleem. Het wordt pas een probleem als de applicatie kritisch is, dwz als er bij de minste of gerigste problemen met de koeling iets (destructief) fout gaat.
Heb zelf een aantal maanden gewerkt met een waterkoelingsysteem voor 20*200W, welke niet was opgedeelt in meerdere koelcircuits. De aan/afvoerbuizen zijn echter niet zoals hierboven beschreven 18mm, maar eerder in de buurt van de 25mm.

Dat lijkt me uniek.. Waterkoeling wordt tot dusver voornamelijk louter door overenthousiaste PC-hobbyisten (lees: Tweakers ) gedaan. En nu lijkt het erop of de 'business' de voordelen van waterkoeling ook heeft ontdekt (in ieder geval het temperatuuraspect) en dat ook in de servers gaat toepassen.

Mainframes draaien al jaren met waterkoeling. Twaalf jaar geleden werkte ik op een IBM 3090-300, die waterkoeling had.

Allen het toepassen in van waterkoeling "pc's" is nog niet op grote schaal toegepast.

ja, alleen moderne mainframes zijn net allemaal af-gestapt van waterkoeling.....

Voor grotere serversystemen wordt waterkoeling toch wel vaker gebruikt, vaak ook nog met extra gekoeld water e.d., het is niet wijd verspreid nog, maar nieuw is het zeker niet, het wordt al enige jaren toegepast.

Mainframes draaien al jaren met waterkoeling. Twaalf jaar geleden werkte ik op een IBM 3090-300, die waterkoeling had.

Dat wist ik niet. Dank jullie wel voor de informatie

Voor grotere serversystemen wordt waterkoeling toch wel vaker gebruikt, vaak ook nog met extra gekoeld water e.d., het is niet wijd verspreid nog, maar nieuw is het zeker niet, het wordt al enige jaren toegepast.

Ben ook wel benieuwd naar de opzet jah...
Lijkt mij dat ze geen kits gekozen hebben. Ze zullen het wel helemaal 'custom-made' hebben laten maken, maar dan is het wel interessant hoe ze tot een bepaalde koeling strategie zijn gekomen; wat voor materialen ze gebruiken; etc.. (ze kunnen natuurlijk ook een paar Nederlanders ingehuurd hebben om bij ons in de DOC te spieken )

Verder lijkt het mij namelijk niet dat ze voor elke CPU een apart circuit hebben, zou een beetje overkill zijn. Meer in de richting van 1 circuit per 2 tot max 4 procs. Met een knappe pomp en een goede splitter voor de slangen, moet je wel mooie gelijke stromen kunnen krijgen over verschillende procs.

Misschien heb je ooit gehoord van Cray, of SGI Onyx clusters bijvoorbeeld.. Supercomputers zijn vrij vaak met waterkoeling uitgevoerd in de grotere versies; bijv. een Cray M3E-1200, tot 128 processoren luchtgekoeld en van 64-1024 processoren liquid-cooled.

Zouden ze hem als reclamestunt gaan verloten?

woei, ik hoop het aangezien mij ticketje voor dit jaar weer klaar ligt

Vorig jaar was het allemaal wat minder, niet echt spectaculaire dingen gezien, veel xbox & gf4.
Het kan natuurlijk ook aan het feit liggen dat het die nacht ervoor nogal laat was in die duitse herberg

Dan kun je em dus ook gebruiken als verwarming (of om water mee te verwarmen)

als koffiezetapparaat

De processors zullen gekoeld worden met waterkoeling geproduceerd door de Duitse fabrikant.

Welke fabrikant is dat precies De bron (www.icebear-systems.de/) ?

edit:
Scroll ik omhoog, zie ik het opeens staan, beter lezen dus:

Op de website van het bedrijf geeft Icebear Systems aan een 20-way Opteron-cluster te laten zien.

Woei... dat hebben ze leuk gelobbied bij AMD dan, dat ze daar 20 Opterons voor hebben gekregen... Kennelijk vond AMD een demo met 20 toch ook spectaculairder dan met 4.

Waarom hebben ze er geen pics van

Omdat de CeBIT over enkele weken is, en daar wordt dat ding geshowed.
Als de CeBIT is afgelopen zal je hem vast wel tegenkomen in de (foto)verslagen

waarschijnlijk omdat ze nog een week of wat hebben om 'm in elkaar te schroeven

Ik denk niet dat het bijzonder stil gekoeld is

Waterkoeling is stil en de nieuwe K8 socket HSF specificatie is ook een wat stiller dan socket A ivm de mogelijkheid van grotere FAn's op lagere rpm's dus stiller.

Bleh

Waarom heb ik nu juist examens tijdens CeBit