Servers in bad

Hoe cool is immersiekoeling?

Tot slot

Waar staan we nu met de implementatie van immersiekoeling en wat zijn de alternatieven? De gestegen tdp van processors betekent dat de noodzaak voor alternatieven voor luchtkoeling in de komende jaren alleen maar toeneemt, vooral in datacenters. Bovendien moet er meer datacenterkracht bijkomen voor 5G-toepassingen, clouddiensten, en de inzet van kunstmatige intelligentie en machinelearning. Dat betekent dat er meer ruimte moet worden vrijgemaakt voor datacenters of dat de ruimte efficiënter moet worden besteed. In de komende jaren zullen alternatieven voor luchtkoeling dan ook terrein winnen, vooral bij grote datacenters die veel rekenkracht verwerken.

De kans dat een van die alternatieven immersiekoeling is, is waarschijnlijk gezien de inzet en proeven van zoveel verschillende partijen. Immersiekoeling is een reële oplossing voor datacenters, al houdt de technologie wel een totale cultuurverandering in voor datacenters, als zij helemaal over willen stappen. Een datacenter met immersiekoeling neerzetten en onderhouden is geen kwestie van een ventilator van een server afschroeven en het rack onderdompelen in een vat olie. De oplossingen zijn echter voorhanden en de nadelen nemen af dankzij technologische innovaties.

Dat betekent niet automatisch dat immersiekoeling dé oplossing is voor het koelen van de datacenters van de toekomst. Veel partijen zijn bezig met andere vloeistofkoelingoplossingen, bijvoorbeeld het direct koelen van chips met traditionele vloeistofkoeling, zoals er ook watergekoelde consumenten-pc's zijn. Voor veel datacenterpartijen zal die technologie misschien vertrouwder en minder omslachtig aanvoelen dan immersiekoeling. De kans dat immersiekoeling dan ook één van de oplossingen wordt in een hybride-koelsysteem in een datacenter is het meest waarschijnlijk. Het ene proces blijft dan luchtgekoeld en voor het andere kiest een datacenter tussen immersiekoeling en waterkoeling.

Daar komt bij dat immersiekoeling ook nadelen heeft. De aanleg van een immersiekoelsysteem is veel duurder dan die van luchtkoeling. De meerkosten zitten in de koelbaden, de nodige vloeistofleidingen, de koelvloeistof en nieuwe serverracks die geschikt zijn om ondergedompeld te worden. Dat betaalt zich pas op termijn terug in de vorm van energiebesparing. Ook het onderhoud van servers die in een vloeistof zijn ondergedompeld, blijft omslachtig; aanvullende training of gespecialiseerde apparatuur is nodig. Onzeker is ook wat de gevolgen zijn voor het plaatselijke energiegebruik als dankzij immersiekoeling veel meer servers op een kleinere oppervlakte kunnen draaien. Dat immersiekoeling in de komende jaren gemeengoed wordt, is waarschijnlijk, maar de vraag blijft in welke mate.

Reacties (35)

[apt]

Met immersiekoeling kan de restwarmte bij een hogere temperatuur beschikbaar komen voor hergebruik.
Plan die datacentra met immersiekoeling in steden met een warmtenet en voedt de restwarmte in in het warmtenet. Dan wordt de energie 2x gebruikt en maken we een grote duurzame stap.

[Argantonis]

Dat kan ook met luchtkoeling toch?

[Skyaero]

Dat kan inderdaad met luchtkoeling ook, maar is wel wat omslachtiger.

Er zijn een aantal manieren om restwarmte uit een datacenter te halen. In klassieke datacenters met compressiekoeling kun je een warmtewisselaar plaatsen op de retour van het koelwatercircuit tussen CRAC (de koeleenheid op de datavloer) en de condensors op het dak. In de zomermaanden haal je daar 30- 40 °C warmte uit. In de wintermaanden wordt er echter "vrij" (zonder compressie) gekoeld, waardoor de temperatuur van de restwarmte 15 °C is, soms zelfs lager. Niet ideaal voor een warmtenet die juist in de winter warmte nodig heeft.

Steeds meer datacenters gaan richting compressieloos koelen. Dat betekent dat er alleen lucht gebruikt wordt. Als het echt warm is buiten, wordt daarbij direct of indirect adiabatisch gekoeld. Dat is energiezuinig, maar kost wel veel water. Restwarmte kan onttrokken worden uit de warme gang van het datacenter en zou (bij een goed gemanaged datacenter) zo'n 35 °C zijn, het hele jaar rond. Daar kun je in een warmtenet veel meer mee, maar moet veelal nog wel opgewaardeerd worden met een warmtepomp

Bij immersieve koeling heb je restwarmte met een temperatuur tussen de 50 en 60 °C. Dat kan meestal zo het warmtenet in.

[wlang]

Tijdens het luchtkoelen krijg je ook met de aspecten als luchtvochtigheid te maken wat ook veel energie verbruikt en complex maakt om dat goed in balans te houden.

[YangWenli]

Datacenter neemt ruimte in beslag en in een stad telt iedere vierkante centimeter.

[Sandwalker]

De warmtevraag voor warm water is best variabel met grote pieken tussen zes en acht twee keer per dag. Dat kan op lokaal niveau met een behoorlijke buffer, en in de winter kun je wat met verwarming. Dat schaalt niet heel goed dus je moet nog steeds een hoop warmte dumpen naar de lucht of het water. Dat is niet heel erg, maar maakt je reststroom warmte per geleverde MJ wel een stuk duurder totdat je je realiseert dat iets wat gas bespaard een vergroening is. Het mooie is als je de exit temperatuur van je koelmiddel weet op te krikken tot 130°C of zo, dan kun je er weer een turbine op aansluiten en wat elektriciteit mee opwekken. Ik weet niet of dit technisch kan voor het silicium, maar met verregaande integratie moet het mogelijk zijn om VRM, RAM en Processor te koelen met een vloeistof bij 130°C en de rest van de componenten met lucht bij een lagere temperatuur. Dat zou toch zo’n zestig à zeventig procent van het stroomverbruik van een datacenter kunnen elimineren.

[Puc van S.]

Pff gemiste kans om naar net Tweakers.net kookcursus te linken!
nieuws: Tweakers.net Kookcursus, les 41: De chipbakkerij

(en: nieuws: Plaatje van een echt vloeistof gekoeld systeem )

[Reactie gewijzigd door Puc van S. op 22 juli 2024 22:52]

[SirRosencrantz]

Zeker gemiste kans! Ik heb er wel nog aan gedacht.

[Flaat]

Leuk artikel! Veel koele (pun intended) techniek op de markt en inderdaad niet nieuw maar wel in onze tijdsgeest

Helaas is het grootste issue met immersion een beetje onder belicht: Onderhoud en upgrades, voor hyperscalers is dit allemaal wat minder een probleem, aangezien die hele racks onderhouden en niet losse servers. Maar voor de rest van alle server gebruikers is onderhoud bij immersie echt een drama. Niet om lekkende servers of druppels op de grond, maar om een veel simpelere reden. Tijd en geld...

Een stuk ram vervangen of erbij steken in een normale doos kost tussen de 2 en 15 minuten met 1 persoon, een type personeel die al lastig te vinden is trouwens. In een immersie bak kost het je tussen de 15 minuten en een uur afhankelijk van hoe onmogelijk dicht die bak zit, bij 2 fase koeling dus echt een drama. Maar voor immersie heb je een ITer nodig die ook nog eens geschoold is als part time loodgieter, mensen die dat kunnen zijn al helemaal niet te vinden dus die moet je scholen met leraren die er ook niet zijn, dat kost weer nog meer geld en tijd van nog meer mensen.

Dit betekend gewoon dat je naast nieuwe infra bouwen ook flink aan scholing moet doen, dit allemaal leid ertoe dat je een flinke klauw werk hebt om naar vloeistof koeling over te stappen.

Al met al ben ik niet overtuigd dat we binnenkort meer immersie gaan zien bij de colo, hoewel ik het wel leuk zal vinden. Wellicht dat de hyperscalers over gaan stappen?

[Anoniem: 58485]

Resale value lijkt me vervelend. Bij zulk soort koeling heb je volgens mij aardig wat werk aan het droog krijgen van componenten. Servers, blades en onderdelen blijven niet een leven lang in een DC.

Bij lucht is dat wel anders.

[Gio]

De vloeistoffen die gebruikt worden verschillen. In veel gevallen is de corrosie en dus aantasting van de hardware door deze vloeistoffen aanzienlijk minder tot bijna niet. Je zal geen stofje vinden en omdat de temperatuur van alles op een stuk hardware laag blijft is er lagere uitval. Vloeistoffen komen derhalve overal en koelen directer dan lucht. Je hardware heeft na 3 jaar een nieuwstaat. Veel hardware begint en eindigt in een datacenter. 5 tot 7 jaar en daarna is het wel klaar omdat de ontwikkeling zo hard gaat.
De vloeistoffen verschillen waarbij het bij een aantal echt een kwestie van drogen is. Daar zullen ook wel systemen voor komen of al zijn. Zomaar een doek eroverheen halen is iig niet verstandig.

[Tozz]

5 jaar oude servers die wij uit 't datacenter halen zien er ook uit als nieuw. Geen vuiltje stof en ook geen corrosie. Die machines zien er nog precies zo uit als toen ze 't datacenter in gingen. Bovendien lijkt de mate van corrosie of stof van een oude machine niet zo relevant. Dat spul is tweedehands niets waard dus dat gaat gewoon de recycling in.

[r.koppelman]

Ik mis hier toch her en der wel wat cijfers.
Het is schijnbaar efficiënter, hoeveel dan en waardoor?
Ik kan me voorstellen dat ventilatoren meer energie verbruiken dan natuurlijke convectie.
Daarnaast zal lucht waarschijnlijk onder de buitentemperatuur gekoeld moeten worden (dus airco) om genoeg koelvermogen te hebben. Waarschijnlijk kan je hier met 50C vloeistof temperatuur nog genoeg koelen dus geen airco nodig?
Zijn bovenstaande de redenen of zijn er nog andere?

Ik verwacht van een plus artikel toch iets meer behalve een hele lading mooie praatjes
Kan ik mijn plus artikel punt weer terug krijgen?

[Reactie gewijzigd door r.koppelman op 22 juli 2024 22:52]

[SirRosencrantz]

Ik heb de cijfers bewust in het midden gelaten omdat elke fabrikant met andere, nog indrukwekkendere cijfers komen van de energiebesparing en duurzaamheid en er zo goed als geen onafhankelijk wetenschappelijk onderzoek is gedaan naar deze systemen. En daarbij is elk systeem van elke fabrikant anders. Dus een bad van GRC vergelijken met Asperitas of Gigabyte is erg lastig, net als dat het systeem van Hypotherm moeilijk te vergelijken is met anderen omdat het zo'n ander systeem is. Dit soort vergelijkingen gaan er vast in de komende jaren komen, maar ik kan nu de claims van fabrikanten niet toetsen en daarom leek het mij verstandiger om in het algemeen uit te leggen wat de technologie is en waar het wel en niet geschikt voor is, dan de baude claims van fabrikanten voor waar aan te nemen. Ik hoop zeker nog meer cijfers hierover te kunnen geven, maar het gaat nu niet verder dan beloftes of cijfers uit proefopstellingen.

[uiltje]

Prima onderbouwing van de reden en goede journalistiek, maar omdat het zo belangrijk is had je hierover iets kunnen zeggen in het artikel. Deze vraag moest eigenlijk wel gesteld gaan worden, zeker op Tweakers

[SirRosencrantz]

Je hebt gelijk, dat had ik inderdaad wel wat duidelijker kunnen verantwoorden.

[stoepie2002]

Precies mijn gedachte.

Dit helpt ook niet om te overtuigen een abo te nemen.

[CPOMendez]

Heb ooit de bedrijfsvideo gemonteerd heirvoor (jaartje of 5 terug) Grappig om het nu weer terug te zien op tweakers.

[Wozmro]

Als men een soort olie gebruikt om te koelen. Is het dan niet belangrijk dat deze zo weinig mogelijk in contact komt met zuurstof?
Bij grote transformatoren is dit ook een dingetje. De transformator wordt volledig gevuld met olie en afgedicht of men vult de overtollige ruimte met stikstof.
Als olie begint te degraderen door contact met zuurstof stijgt de elektrische geleidbaarheid en krijg je problemen.
Ik vraag me dus af hoe je zo'n datarackinstallatie onderhoud? Moet je de (dure?) olie om de zoveel tijd vervangen?

Een andere oplossing is gedemineraliseerd water dat is ook elektrisch niet geleidend. Maar moet je ook om de zoveel tijd vervangen en er moeten anti-algen en anti-corrosie producten bij dus bij waterwissel het oude water in de riool lozen mag niet.

Gedemineraliseerd water wordt al heel lang gebruikt bij koeling van bijvoorbeeld vermogenselektronica zoals hoogspanning HF-generatoren(tientallen kW vermogen) waarbij het water direct contact maakt met de onderdelen die onder spanning staan.

Immersiekoeling klinkt cool maar het lijkt mij geen oplossing waar je geen omkijken naar hebt. Hoeft ook niet, maar maar er zal wel aan gerekend worden wat de totale kostprijs van dergelijke oplossing is.

[delphium]

Ik heb in 2002 al eens gekeken naar een in olie ondergedompelde pc. Uiteindelijk vond ik het risico op een lek te groot voor thuis gebruik. Maar zoek maar eens op "oil cooled pc". Je vind talloze plaatjes van emersion cooled pc's. Dit is wel een hele mooie:

https://hackaday.com/2019...ishy-about-this-computer/

[Clogg]

Interessant artikel en een interessante ontwikkeling, echter heb ik er een hard hoofd in. Naar mijn ervaring staat er in veel service contracten dat de partijen direct bij hun moeten hardware kunnen wanneer gewenst. Zo kan ik me herinneren dat er een hoop heisa was rond een datacenter in Halfweg waar ze de zuurstof verlaagde in lucht voor de brandveiligheid. Gevolg was dat we 24 uur van te voren moesten aanmelden dat we langs wilden komen. Dat vond onze klant, en tevens de grootste gebruiker van dat datacenter niet leuk. Dus geen zuurstof verlaging meer.

Lijkt mij dat het met deze immersie koeling ook onmogelijk is om direct bij de apparatuur te kunnen indien gewenst. Maar corrigeer me indien ik dit helemaal verkeerd zie.

[Spinner]

Ik had graag een video clip gezien waar ze een rack uit de vloeistof tillen voor onderhoud.

[mfrank66]

https://www.youtube.com/watch?v=ZJTQX3Htx3g vanaf een halve minuut :-)