Als je denkt aan datacenters, denk je ongetwijfeld aan witte ruimtes met grote serverkasten en het lawaai van ventilators. Maar omdat de vraag naar rekenkracht sneller toeneemt dan processors efficiënter kunnen worden, stijgt de energiebehoefte, waardoor het traditionele datacenter onder druk komt te staan. Binnen een paar jaar volstaat luchtkoeling niet meer om die chips te koelen. Tel daarbij op dat datacenters regelmatig mikpunt zijn van kritiek vanwege hun energiegebruik én vanwege de manier waarop ze koelen.
Niet zo gek dus dat er gekeken wordt naar alternatieven voor de traditionele, luchtgekoelde serverruimtes: datacenters gekoeld met water, of met koelvloeistof via immersiekoeling. Immersiekoeling is het onderdompelen van kritieke apparatuur in een niet-geleidende koelvloeistof. Een techniek die tientallen jaren geleden werd bedacht, maar nog weinig wordt ingezet. Toch is de techniek in potentie dé oplossing voor datacenters die veel rekenkracht moeten leveren, zeggen experts. Immersiekoeling gebruikt veel minder energie dan de huidige koeltechnieken en er is minder ruimte nodig voor de servers, omdat ze dichter op elkaar kunnen zitten. Processors hoeven ineens niet meer van een dikke ventilator te worden voorzien. Toch zie je nog niet in elk groot datacenter een koelbad staan. Waar ligt dat aan en gaat immersiekoeling ooit een serieuze rol spelen in een datacentermarkt die steeds meer onder maatschappelijke druk staat?
Binnen in het koelbad van Asperitas. Foto: Asperitas
Om die vraag te beantwoorden, spraken we met twee Nederlandse bedrijven die zich bezighouden met hun eigen versie van immersiekoeling. Asperitas is een bedrijf uit Amsterdam dat al sinds 2014 werkt aan immersiekoeling, inmiddels in partnership met Shell. Het heeft een koelbad ontwikkeld dat op een servervloer kan staan en waarin een hele server kan worden ondergedompeld. Hypotherm is een start-up uit Ede, opgericht door de voormalige oprichters van webhoster TRUE en internetknooppunt AMS-IX. In plaats van een bad ontwikkelt Hypotherm een gesloten vat om servers te koelen in een traditioneel serverrack. Daarnaast spraken we met Stijn Grove van de Dutch Data Center Association, de branchevereniging voor datacenterhouders.
Ook kijken we buiten de landsgrenzen. Een recent marktonderzoek van MarketsandMarkets verwacht dat de wereldwijde markt voor immersiekoeling in 2026 verdrievoudigd zal zijn. Analisten van Omdia verwachten eveneens dat immersiekoeling de komende jaren écht van de grond gaat komen. Er zijn al grote partijen mee bezig zoals Microsoft, Google en Gigabyte. Hoe ver zijn zij met de inzet van hun toepassingen en wat zijn de voor- en nadelen van immersiekoeling?
Wat is immersiekoeling?
De meeste servers en datacenters gebruiken lucht om apparatuur te koelen die de neiging heeft om te warm te worden, zoals processors en gpu's. Het is een relatief goedkope oplossing, maar kost wel veel energie en vereist veel ruimte. Je moet een datacenter inrichten voor een optimale luchtstroom, servers staan op speciale vloeren, white spaces, en er zijn grote ventilators en koelers nodig om koude lucht rond te pompen of van buitenaf aan te voeren. Is de buitenlucht niet koud genoeg, dan moet die ook nog eens gekoeld worden, al dan niet met water.
De white space van AMS-IX. Foto: AMS-IX
Immersiekoeling is een alternatief voor reguliere waterkoeling, zoals die ook in gamingcomputers wordt gebruikt. Bij immersiekoeling wordt een vloeistof gebruikt die wel warmte geleidt, maar geen elektriciteit. Die vloeistof is aanzienlijk beter in het geleiden van warmte dan lucht. Apparatuur wordt erin ondergedompeld. De vloeistof warmt op, circuleert doordat hij wordt rondgepompt of door natuurlijke convectiestroming en wordt gekoeld met watergekoelde hittegeleiders om vervolgens weer door de apparatuur te worden opgewarmd.
Hiervoor wordt over het algemeen een synthetische vloeistof gebruikt die op olie lijkt. Onder meer Shell en 3M ontwikkelen dit soort koelvloeistoffen. Die vloeistof wordt zo ontwikkeld dat deze goed warmte geleidt en geen kortsluiting of andere schade aan elektrische apparatuur kan veroorzaken.
De ICEtank van Green Revolution Cooling. Foto: GRC
Vloeistofkoeling is geen nieuwe techniek. Voor 1887 werd al vloeistof gebruikt voor het isoleren en koelen van hoogspanningstransformators. In de jaren zestig van de afgelopen eeuw gebruikte IBM al niet-geleidende vloeistof om zijn System 360-computers te koelen en in de jaren tachtig werd immersiekoeling relatief veel gebruikt voor supercomputers en mainframes, omdat luchtkoeling geen optie was voor de warmtedichte mainframes uit die tijd. Luchtkoeling won echter aan populariteit met de opkomst van complementary metal-oxide-semiconductors, of cmos. Deze halfgeleiders zijn veel beter in het afvoeren van warmte, waardoor luchtkoeling mogelijk werd. Luchtkoeling is over het algemeen veel goedkoper dan vloeistofkoeling, gemakkelijker aan te leggen en gemakkelijker te onderhouden.
In de jaren daarna zijn hier en daar wat ideeën voor vloeistofkoeling gerealiseerd, zoals het hybride-waterkoelingssysteem in de GS8900-mainframe van Fujitsu in 2000 en de watergekoelde systemen van IBM uit 2005 en 2008. Het duurde echter tot 2009 voordat immersiekoeling terugkwam. Het Amerikaanse Green Revolution Cooling paste het voor eerst commercieel toe in datacenters. GRC ontwikkelde een koelbad voor datacenters, waarin serverracks in hun geheel ondergedompeld kunnen worden.
De techniek die GRC gebruikt, wordt single-phase immersion cooling genoemd. Dat wil zeggen: de vloeistof blijft in dezelfde staat en vervliegt niet. Een andere techniek die veel wordt gebruikt, is two-phase immersion cooling. Daarbij wordt een vloeistof gebruikt die kookt en in gas verandert zodra het met de warme computeronderdelen in contact komt. Vervolgens wordt het gas via condensors omgezet in een vloeistof om opnieuw in het systeem gebracht te kunnen worden.
Immersiekoeling is gegroeid in populariteit sinds de opkomst van cryptomining. Om een maximumhashrate uit een asic- of gpu-miningrig te halen zonder dat de stroomkosten voor het koelen door het dak gaan, kiezen grote cryptominers vaker voor immersiekoeling. Voor hen wegen de lagere energiekosten zwaarder dan de hogere aanlegkosten.
Asperitas: systeemverandering nodig
Ook Nederlandse bedrijven houden zich bezig met immersiekoeling. De bekendste is Asperitas. Dit bedrijf uit Amsterdam begon in 2014 met de ontwikkeling van een koelbad met niet-geleidende vloeistof. In 2017 bracht Asperitas de eerste versie van de AIC24 uit, een 15"-serverbad. De jaren erna won het verschillende innovatieprijzen en haalde het investeringen binnen van onder meer Shell, waarmee het ook samenwerkt aan de ontwikkeling van de koelvloeistof. Dit jaar werkt Asperitas aan het opschalen van zijn technologie, onder meer door samenwerkingen met Nvidia, Gigabyte en Dell als OEMs.
"We wilden ons eerst richten op de maritieme sector met de ontwikkeling van immersiekoeling voor minidatacenters aan boord van schepen", legt business development manager Maikel Bouricius uit. "In 2015 kwamen we daarop terug en gingen we ons op datacenters richten." Naast de kleine AIC24 15" ontwikkelde Asperitas een model voor 21"-serverracks. "Eigenlijk merk je sinds vorig jaar echt de urgentie van immersiekoeling. Analisten nemen immersiekoeling nu ook mee in toekomstvoorspellingen over de datacentersector."
Die urgentie zit 'm niet eens in de duurzaamheidsvraag, stelt Bouricius. "Immersiekoeling heeft een fantastische duurzame impact, dus dat is zeker belangrijk, maar misschien nog belangrijker is dat het aantoonbaar lastiger wordt om lucht te gebruiken om nieuwe cpu's en gpu's te koelen. De tdp gaat omhoog bij die chips. Nu heb je al 400W-cpu's, maar we gaan naar 1000W-cpu's in de toekomst. Het is al bijna niet meer mogelijk om met lucht te koelen. Dan moeten datacenters nu echt kijken naar alternatieven."
Daar komt bij dat er in datacenterland een trend is van edge computing, ofwel kleine datacenters maken die je niet clustert, maar verspreidt door het land en in de buurt van de gebruiker neerzet. "Mede daardoor heb je steeds hogere dichtheidswensen", stelt Bouricius. "Immersiekoeling zou daar ook uitermate geschikt voor zijn", zegt hij. "Het maakt vrijwel geen geluid, neemt minder ruimte in en er is geen overlast, dus het is geschikt voor de stedelijke omgeving, bijvoorbeeld als je computing nodig hebt voor 5G en AI-toepassingen." Toch staan datacenters er nog niet vol mee. "Dat komt doordat het op schaal doorvoeren van immersiekoeling een systeemverandering is", legt Bouricius uit. "Het is geen optimalisatie. Daarnaast is luchtkoeling de standaard. Dell test op luchtkoeling; er zijn geen immersiekoelingslabs."
Dat betekent volgens Bouricius overigens niet dat immersiekoeling alleen geschikt is voor nieuwe datacenters. "Daar heeft het natuurlijk de meeste impact, maar je kunt ook één rack vervangen. Dat komt doordat je geen echte white space nodig hebt voor immersiekoeling. Je kunt een rack naast andere racks zetten of zelfs in een loze ruimte. Je hebt alleen stroom, water en connectiviteit nodig. Een koelbad kan gewoon op een betonnen vloer staan."
Dat weinig partijen zijn overgestapt, komt ook door een hardnekkig misverstand over immersiekoeling, denkt Bouricius. "Datacenterpartijen denken dat immersiekoeling troep op de vloer veroorzaakt als je een onderdeel moet vervangen. Dat was in het begin misschien zo, maar nu niet meer. We geven tooling en training om goed met de apparatuur om te gaan en dat te voorkomen. Ook hebben we een systeem ontwikkeld dat semi-zelfstandig servers uit een rack kan halen zonder troep."
Desondanks ziet Bouricius beweging in de sector en komt immersiekoeling vaker als optie naar voren. "Je merkt dat er meer spelers op de markt komen en er tractie ontstaat. Cloudpartijen doen ervaring op, de meeste pilots zijn aan het opschalen en nog belangrijker: er worden standaarden ontwikkeld voor immersiekoeling." Dat maakt het voor grote spelers als Dell en Intel interessanter om serverapparatuur te ontwikkelen die geschikt is voor immersiekoeling, legt hij uit.
Hypotherm: in een standaard serverrack
Een van de mensen die enorm enthousiast zijn over de mogelijkheden van immersiekoeling voor datacenters, is voormalig AMS-IX-directeur Job Witteman. Begin 2021 is hij samen met voormalig directeur van hostingprovider TRUE Vincent Houwert het bedrijf Hypotherm begonnen. Hypotherm heeft een makkelijk verplaatsbaar immersiekoelsysteem ontwikkeld, speciaal voor datacenters. Dat idee ontstond toevallig. Na zijn carrière bij TRUE, vertrok Houwert naar de Caribische eilanden om een oude hobby nieuw leven in te blazen: audio- en lichtapparatuur voor festivals verzorgen. Aangekomen in het klimaat daar, merkte hij dat de audioapparatuur slecht kon tegen de warmte, vochtigheid en zilte atmosfeer. "Dus ontwikkelde ik mijn eigen luidsprekersysteem met versterkers, alles in een flightcase", vertelt Houwert.
Job Witteman en Vincent Houwert voor hun serveropstelling. Foto: Hypotherm
Hij maakte gebruik van analoge loadbalancing voor de versterkers. Het nadeel daarvan is dat het heel warm wordt. Gezien de omgeving was de normale oplossing om dat te koelen niet mogelijk. Ventilators waren niet geschikt, omdat ze luid zijn, en zand en zout in de apparatuur kunnen blazen. "Terug in Nederland was ik bij Job op de koffie en kwam het ter sprake. Hij zei: kijk naar immersiekoeling." In potentie een goede oplossing, maar het probleem was dat alle bestaande oplossingen in grote, open koelbaden zaten. "Dat is wel heel goed, maar niet handig als je roadie bent en een versterker bij Lowlands door de modder moet slepen", zegt Houwert. "Dus ik bedacht een gesloten systeem met immersiekoeling, met een speciaal ontwikkelde koelvloeistof op basis van aardgas die niet geleidend en niet bijtend is, en geschikt is voor een gesloten systeem."
Voor het systeem dat Houwert ontwikkelde, richtte hij samen met Vincent Beek in 2020 een bedrijf op in Nederland: iXora. "Het systeem is een soort melkpak vol koelvloeistof met elektronica erin voor de versterker. Het is bestand tegen alles: regen, zand en omdat het een gesloten systeem is, kan het zelfs aan boord van een schip worden gebruikt." Op dat moment dacht Witteman: dit is de immersiekoelingsoplossing waarop datacenters zitten te wachten. "Toen ik zag waar Vincent mee bezig was, dacht ik gelijk: ik wil meedoen. Gooi de versterkers eruit en stop er servers in." Houwert paste het systeem aan zodat het hele gesloten systeem in een standaard 19"-serverrack past. Dat systeem zijn ze nu uitvoerig aan het testen en moet in de komende maand in verschillende datacenters getest worden.
Het recentste prototype immersiekoeling van Hypotherm
De oplossing van Witteman en Houwert is een kleine, afgesloten, lekdichte bak die rechtop in een 19"-serverrack past. In een rack passen drie bakken naast elkaar. De bakken koelen de apparatuur binnenin met convectiekoeling. De server warmt de koelvloeistof op. Die vloeistof loopt langs de buitenkant van het systeem en wordt daar gekoeld met koelelementen. De koude vloeistof zakt naar beneden en koelt de apparatuur opnieuw. Het systeem gebruikt natuurlijke convectiestroming. "Het is niet alleen een bak met vloeistof", legt Houwert uit. "De case is voorzien van sensors die op verschillende punten de temperatuur meten, en alles kunnen zeggen over de oriëntatie van de case en of de vloeistof lekt."
Het voordeel van de bak is dat je geen grote badkuip nodig hebt en er geen vloeistof op de vloer komt. Bovendien pak je hem zo op om hem buiten het datacenter open te maken en onderdelen te vervangen als dat nodig is. Een ander voordeel is dat de koelbehoefte per server kan worden aangepast. Zo hoeft geen heel datacenter constant gekoeld te worden. Staat een rack 's nachts uit, dan hoeft dat ook niet gekoeld te worden. Daarnaast kan dit systeem makkelijk overal gebruikt worden", zegt Houwert. "Dat maakt het interessant voor onderzoek op locatie, aan boord van een schip, bij live mediatoepassingen en voor pincomputers op een festival. Alles wat gekoeld moet worden kan op deze manier, omdat het een gesloten systeem is." Het enige nadeel voor datacenters: er passen relatief minder servers in een bak dan in een groot koelbad, waardoor je uiteindelijk meer apparatuur, ruimte en koelelementen nodig hebt.
"Het idee voor dit systeem komt voort uit de notie dat datacenters zuiniger moeten en kunnen. Ik geloof echt dat immersiekoeling de toekomst is voor datacenters", zegt Witteman. "Maar dan moeten datacenters, leveranciers, de politiek en klanten omarmen dat je een server in een koelvloeistof onderdompelt. De voordelen zijn waanzinnig. Je gebruikt geen ventilators, dat scheelt energie, en dan is het ook nog eens stiller. Een beetje server kan 100dB aan ventilatorgeluid produceren. Daar komt bij dat dit systeem veel compacter is. Daardoor heb je minder grote datacenters nodig voor hetzelfde aantal servers."
Hij gaat verder: "Dankzij AMS-IX is Nederland door datacenters overspoeld. Daar voel ik ook een verantwoordelijkheid voor. Leg maar eens aan de burger uit dat groene stroom aan een lelijke doos wordt gegeven. Je kunt veel zuiniger met de schaarse energie-, water- en ruimtevoorziening omgaan. Als het ons lukt om een praktische oplossing te bedenken voor bestaande immersietechnologie en we kunnen genoeg partijen overtuigen om over te stappen, dan is dit de toekomst."
Wordt immersiekoeling ooit groot?
Als het aan Houwert, Witteman en Bouricius ligt, wordt 2021 het jaar van de immersiekoeling. Ze willen natuurlijk dat deze technologie slaagt, omdat ze er een belang in hebben. Ze zijn echter niet de enigen die zien dat immersiekoeling terrein wint in de datacentersector.
Bovendien zijn het niet alleen meer de kleine start-ups die met immersiekoeling aan de slag zijn gegaan. Zo liet Microsoft in april weten dat het experimenteert met een two-phase-systeem. In een testbad wordt een koelvloeistof aan de kook gebracht. Een team onderzoeksengineers van Microsoft in Redmond heeft de testopstelling gemaakt als proof-of-concept. Microsoft-engineer Christian Balady zegt in het desbetreffende nieuwsartikel dat er steeds meer stroom door een chip wordt gestuurd, waardoor die heter wordt. "Luchtkoeling is niet meer genoeg en dus komen we bij immersiekoeling uit."
Samen met Wiwynn, fabrikant van datacenter-IT, en Liquid Stack, een immersiekoelingsspin-off van cryptohardwarefabrikant Bitfury, ontwikkelde Microsoft daarom de koeltank die nu draait in een datacenter van Microsoft in Quincy, VS. Het gaat om nog maar één tank in één datacenter, maar er zijn wel al plannen om dit jaar nog uit te breiden en de opstelling te testen in meer datacenters. Toch zegt Microsoft niet meteen: dit is de toekomst en dit gaan we overal doorvoeren.
Een serverrack in het koelbad van Microsoft. Foto: Microsoft
Naast Microsoft kijkt ook Lenovo serieus naar immersiekoeling. Het computermerk ontwikkelde eind vorig jaar samen met het Britse immersiekoelingsbedrijf Iceotope een volledig met vloeistof gekoelde microdatacenteroplossing: een ThinkSystem SR670-server met geïntegreerde immersiekoeling van Iceotope.
Google liet in 2018 al zien dat het een combinatie van vloeistofkoeling en immersiekoeling inzet voor het koelen van zijn derde versie van de Tensor Processing Units, de processors die het in datacenters gebruikt voor onder meer machinelearningtaken. En ook Supermicro liet begin dit jaar van zich horen. In maart presenteerde het een containertype-datacenter met volledig geïntegreerde immersiekoeling. Het is ontwikkeld door onderzoekers van het Industrial Technology Research Institute uit Taiwan en telecomprovider KDDI; Supermicro heeft eraan meegeholpen. Deze container kan overal ter wereld worden neergezet en wordt met immersiekoeling gekoeld.
Googles direct-to-chipkoeling op zijn Tensor-chips. Foto: Google
Tel daar nog oplossingen van Gigabyte, Fujitsu en het Spaanse Submer bij op en je hebt inmiddels een hele lijst met aanbieders die immersiekoeling als serieuze oplossing zien voor het koelen van datacenters. Niet gek ook dat marktonderzoekers van MarketsandMarkets verwachten dat de immersiekoelingsmarkt in de komende jaren flink zal groeien. Nu is die markt nog goed voor jaarlijks 243 miljoen dollar en naar verwachting groeit hij naar 700 miljoen dollar in 2026. Die stijging heeft volgens de onderzoekers vooral te maken met een stijgende vraag naar edge computing en een behoefte om meer serverracks op minder oppervlakte te plaatsen. De grote valkuil is volgens de marktonderzoekers het gebrek aan standaardisatie. Daarmee worden inmiddels echter flinke stappen gezet door Asperitas en GRC via het ACS Immersion Cooling-project, onderdeel van het Open Compute-project.
Ook analisten Vladimir Galabov en Greg Cline van onderzoeksbureau Omdia zien dat immersiekoeling steeds populairder wordt. In een onderzoeksrapport van april dit jaar schrijven ze dat de markt voor vloeistofkoeling in de komende vijf jaren verdubbelt en jaarlijks met zestien procent zal groeien. Dat is deels direct-to-chipcooling, dus wat ook in een watergekoelde pc wordt gebruikt. Maar, zeggen de onderzoekers, immersiekoeling is het snelst groeiende segment.
Toch betekent dat niet dat er binnen een paar jaar in elk datacenter een koelbad staat, nuanceert Stijn Grove van de Dutch Data Center Association, de branchevereniging voor datacenters. De reden: als je kijkt naar de huidige datacenters is immersiekoeling lang niet voor allen een geschikte oplossing. "Veel datacenters hebben een vermogen van 1-2kW per rack. Daar zit apparatuur in voor kleine en middelgrote bedrijven. Daar draaien geen hele zware toepassingen. Voor die datacenters zou immersiekoeling volledig overgedimensioneerd zijn. Luchtkoeling is tot 20kW een goede manier om apparatuur te koelen."
Het zijn volgens hem vooral grote hyperscalepartijen die proefdraaien met alternatieve koelmethoden: immersiekoeling, on-chip en backdoorkoeling. "Als je boven de 20kW komt, door zware AI-toepassingen of condensed-cloudtoepassingen, dan is het logisch om daar voor te kiezen. Ik geloof dat bij deze datacenters binnen een jaar grote veranderingen komen en je immersiekoeling gaat zien. Maar ook daar geldt: daar heb je ook netwerkapparatuur, securityapparatuur, storage. Niet alles kan en hoeft in olie gekoeld te worden. Dus je zult hybride-oplossingen zien ontstaan waarbij verschillende processen verschillend gekoeld worden." En dat gebeurt ook al, stelt hij. "Bytesnet en Equinix zijn al met immersiekoeling bezig en Dataplace en Switch Datacenters hadden volgens mij twintig jaar geleden al immersiekoeling staan."
Tot slot
Waar staan we nu met de implementatie van immersiekoeling en wat zijn de alternatieven? De gestegen tdp van processors betekent dat de noodzaak voor alternatieven voor luchtkoeling in de komende jaren alleen maar toeneemt, vooral in datacenters. Bovendien moet er meer datacenterkracht bijkomen voor 5G-toepassingen, clouddiensten, en de inzet van kunstmatige intelligentie en machinelearning. Dat betekent dat er meer ruimte moet worden vrijgemaakt voor datacenters of dat de ruimte efficiënter moet worden besteed. In de komende jaren zullen alternatieven voor luchtkoeling dan ook terrein winnen, vooral bij grote datacenters die veel rekenkracht verwerken.
De kans dat een van die alternatieven immersiekoeling is, is waarschijnlijk gezien de inzet en proeven van zoveel verschillende partijen. Immersiekoeling is een reële oplossing voor datacenters, al houdt de technologie wel een totale cultuurverandering in voor datacenters, als zij helemaal over willen stappen. Een datacenter met immersiekoeling neerzetten en onderhouden is geen kwestie van een ventilator van een server afschroeven en het rack onderdompelen in een vat olie. De oplossingen zijn echter voorhanden en de nadelen nemen af dankzij technologische innovaties.
Dat betekent niet automatisch dat immersiekoeling dé oplossing is voor het koelen van de datacenters van de toekomst. Veel partijen zijn bezig met andere vloeistofkoelingoplossingen, bijvoorbeeld het direct koelen van chips met traditionele vloeistofkoeling, zoals er ook watergekoelde consumenten-pc's zijn. Voor veel datacenterpartijen zal die technologie misschien vertrouwder en minder omslachtig aanvoelen dan immersiekoeling. De kans dat immersiekoeling dan ook één van de oplossingen wordt in een hybride-koelsysteem in een datacenter is het meest waarschijnlijk. Het ene proces blijft dan luchtgekoeld en voor het andere kiest een datacenter tussen immersiekoeling en waterkoeling.
Daar komt bij dat immersiekoeling ook nadelen heeft. De aanleg van een immersiekoelsysteem is veel duurder dan die van luchtkoeling. De meerkosten zitten in de koelbaden, de nodige vloeistofleidingen, de koelvloeistof en nieuwe serverracks die geschikt zijn om ondergedompeld te worden. Dat betaalt zich pas op termijn terug in de vorm van energiebesparing. Ook het onderhoud van servers die in een vloeistof zijn ondergedompeld, blijft omslachtig; aanvullende training of gespecialiseerde apparatuur is nodig. Onzeker is ook wat de gevolgen zijn voor het plaatselijke energiegebruik als dankzij immersiekoeling veel meer servers op een kleinere oppervlakte kunnen draaien. Dat immersiekoeling in de komende jaren gemeengoed wordt, is waarschijnlijk, maar de vraag blijft in welke mate.
Met immersiekoeling kan de restwarmte bij een hogere temperatuur beschikbaar komen voor hergebruik.
Plan die datacentra met immersiekoeling in steden met een warmtenet en voedt de restwarmte in in het warmtenet. Dan wordt de energie 2x gebruikt en maken we een grote duurzame stap.
Dat kan inderdaad met luchtkoeling ook, maar is wel wat omslachtiger.
Er zijn een aantal manieren om restwarmte uit een datacenter te halen. In klassieke datacenters met compressiekoeling kun je een warmtewisselaar plaatsen op de retour van het koelwatercircuit tussen CRAC (de koeleenheid op de datavloer) en de condensors op het dak. In de zomermaanden haal je daar 30- 40 °C warmte uit. In de wintermaanden wordt er echter "vrij" (zonder compressie) gekoeld, waardoor de temperatuur van de restwarmte 15 °C is, soms zelfs lager. Niet ideaal voor een warmtenet die juist in de winter warmte nodig heeft.
Steeds meer datacenters gaan richting compressieloos koelen. Dat betekent dat er alleen lucht gebruikt wordt. Als het echt warm is buiten, wordt daarbij direct of indirect adiabatisch gekoeld. Dat is energiezuinig, maar kost wel veel water. Restwarmte kan onttrokken worden uit de warme gang van het datacenter en zou (bij een goed gemanaged datacenter) zo'n 35 °C zijn, het hele jaar rond. Daar kun je in een warmtenet veel meer mee, maar moet veelal nog wel opgewaardeerd worden met een warmtepomp
Bij immersieve koeling heb je restwarmte met een temperatuur tussen de 50 en 60 °C. Dat kan meestal zo het warmtenet in.
Tijdens het luchtkoelen krijg je ook met de aspecten als luchtvochtigheid te maken wat ook veel energie verbruikt en complex maakt om dat goed in balans te houden.
De warmtevraag voor warm water is best variabel met grote pieken tussen zes en acht twee keer per dag. Dat kan op lokaal niveau met een behoorlijke buffer, en in de winter kun je wat met verwarming. Dat schaalt niet heel goed dus je moet nog steeds een hoop warmte dumpen naar de lucht of het water. Dat is niet heel erg, maar maakt je reststroom warmte per geleverde MJ wel een stuk duurder totdat je je realiseert dat iets wat gas bespaard een vergroening is. Het mooie is als je de exit temperatuur van je koelmiddel weet op te krikken tot 130°C of zo, dan kun je er weer een turbine op aansluiten en wat elektriciteit mee opwekken. Ik weet niet of dit technisch kan voor het silicium, maar met verregaande integratie moet het mogelijk zijn om VRM, RAM en Processor te koelen met een vloeistof bij 130°C en de rest van de componenten met lucht bij een lagere temperatuur. Dat zou toch zo’n zestig à zeventig procent van het stroomverbruik van een datacenter kunnen elimineren.
Leuk artikel! Veel koele (pun intended) techniek op de markt en inderdaad niet nieuw maar wel in onze tijdsgeest
Helaas is het grootste issue met immersion een beetje onder belicht: Onderhoud en upgrades, voor hyperscalers is dit allemaal wat minder een probleem, aangezien die hele racks onderhouden en niet losse servers. Maar voor de rest van alle server gebruikers is onderhoud bij immersie echt een drama. Niet om lekkende servers of druppels op de grond, maar om een veel simpelere reden. Tijd en geld...
Een stuk ram vervangen of erbij steken in een normale doos kost tussen de 2 en 15 minuten met 1 persoon, een type personeel die al lastig te vinden is trouwens. In een immersie bak kost het je tussen de 15 minuten en een uur afhankelijk van hoe onmogelijk dicht die bak zit, bij 2 fase koeling dus echt een drama. Maar voor immersie heb je een ITer nodig die ook nog eens geschoold is als part time loodgieter, mensen die dat kunnen zijn al helemaal niet te vinden dus die moet je scholen met leraren die er ook niet zijn, dat kost weer nog meer geld en tijd van nog meer mensen.
Dit betekend gewoon dat je naast nieuwe infra bouwen ook flink aan scholing moet doen, dit allemaal leid ertoe dat je een flinke klauw werk hebt om naar vloeistof koeling over te stappen.
Al met al ben ik niet overtuigd dat we binnenkort meer immersie gaan zien bij de colo, hoewel ik het wel leuk zal vinden. Wellicht dat de hyperscalers over gaan stappen?
Resale value lijkt me vervelend. Bij zulk soort koeling heb je volgens mij aardig wat werk aan het droog krijgen van componenten. Servers, blades en onderdelen blijven niet een leven lang in een DC.
De vloeistoffen die gebruikt worden verschillen. In veel gevallen is de corrosie en dus aantasting van de hardware door deze vloeistoffen aanzienlijk minder tot bijna niet. Je zal geen stofje vinden en omdat de temperatuur van alles op een stuk hardware laag blijft is er lagere uitval. Vloeistoffen komen derhalve overal en koelen directer dan lucht. Je hardware heeft na 3 jaar een nieuwstaat. Veel hardware begint en eindigt in een datacenter. 5 tot 7 jaar en daarna is het wel klaar omdat de ontwikkeling zo hard gaat.
De vloeistoffen verschillen waarbij het bij een aantal echt een kwestie van drogen is. Daar zullen ook wel systemen voor komen of al zijn. Zomaar een doek eroverheen halen is iig niet verstandig.
5 jaar oude servers die wij uit 't datacenter halen zien er ook uit als nieuw. Geen vuiltje stof en ook geen corrosie. Die machines zien er nog precies zo uit als toen ze 't datacenter in gingen. Bovendien lijkt de mate van corrosie of stof van een oude machine niet zo relevant. Dat spul is tweedehands niets waard dus dat gaat gewoon de recycling in.
Ik mis hier toch her en der wel wat cijfers.
Het is schijnbaar efficiënter, hoeveel dan en waardoor?
Ik kan me voorstellen dat ventilatoren meer energie verbruiken dan natuurlijke convectie.
Daarnaast zal lucht waarschijnlijk onder de buitentemperatuur gekoeld moeten worden (dus airco) om genoeg koelvermogen te hebben. Waarschijnlijk kan je hier met 50C vloeistof temperatuur nog genoeg koelen dus geen airco nodig?
Zijn bovenstaande de redenen of zijn er nog andere?
Ik verwacht van een plus artikel toch iets meer behalve een hele lading mooie praatjes
Kan ik mijn plus artikel punt weer terug krijgen?
[Reactie gewijzigd door r.koppelman op 22 juli 2024 22:52]
Ik heb de cijfers bewust in het midden gelaten omdat elke fabrikant met andere, nog indrukwekkendere cijfers komen van de energiebesparing en duurzaamheid en er zo goed als geen onafhankelijk wetenschappelijk onderzoek is gedaan naar deze systemen. En daarbij is elk systeem van elke fabrikant anders. Dus een bad van GRC vergelijken met Asperitas of Gigabyte is erg lastig, net als dat het systeem van Hypotherm moeilijk te vergelijken is met anderen omdat het zo'n ander systeem is. Dit soort vergelijkingen gaan er vast in de komende jaren komen, maar ik kan nu de claims van fabrikanten niet toetsen en daarom leek het mij verstandiger om in het algemeen uit te leggen wat de technologie is en waar het wel en niet geschikt voor is, dan de baude claims van fabrikanten voor waar aan te nemen. Ik hoop zeker nog meer cijfers hierover te kunnen geven, maar het gaat nu niet verder dan beloftes of cijfers uit proefopstellingen.
Prima onderbouwing van de reden en goede journalistiek, maar omdat het zo belangrijk is had je hierover iets kunnen zeggen in het artikel. Deze vraag moest eigenlijk wel gesteld gaan worden, zeker op Tweakers
Als men een soort olie gebruikt om te koelen. Is het dan niet belangrijk dat deze zo weinig mogelijk in contact komt met zuurstof?
Bij grote transformatoren is dit ook een dingetje. De transformator wordt volledig gevuld met olie en afgedicht of men vult de overtollige ruimte met stikstof.
Als olie begint te degraderen door contact met zuurstof stijgt de elektrische geleidbaarheid en krijg je problemen.
Ik vraag me dus af hoe je zo'n datarackinstallatie onderhoud? Moet je de (dure?) olie om de zoveel tijd vervangen?
Een andere oplossing is gedemineraliseerd water dat is ook elektrisch niet geleidend. Maar moet je ook om de zoveel tijd vervangen en er moeten anti-algen en anti-corrosie producten bij dus bij waterwissel het oude water in de riool lozen mag niet.
Gedemineraliseerd water wordt al heel lang gebruikt bij koeling van bijvoorbeeld vermogenselektronica zoals hoogspanning HF-generatoren(tientallen kW vermogen) waarbij het water direct contact maakt met de onderdelen die onder spanning staan.
Immersiekoeling klinkt cool maar het lijkt mij geen oplossing waar je geen omkijken naar hebt. Hoeft ook niet, maar maar er zal wel aan gerekend worden wat de totale kostprijs van dergelijke oplossing is.
Ik heb in 2002 al eens gekeken naar een in olie ondergedompelde pc. Uiteindelijk vond ik het risico op een lek te groot voor thuis gebruik. Maar zoek maar eens op "oil cooled pc". Je vind talloze plaatjes van emersion cooled pc's. Dit is wel een hele mooie:
Interessant artikel en een interessante ontwikkeling, echter heb ik er een hard hoofd in. Naar mijn ervaring staat er in veel service contracten dat de partijen direct bij hun moeten hardware kunnen wanneer gewenst. Zo kan ik me herinneren dat er een hoop heisa was rond een datacenter in Halfweg waar ze de zuurstof verlaagde in lucht voor de brandveiligheid. Gevolg was dat we 24 uur van te voren moesten aanmelden dat we langs wilden komen. Dat vond onze klant, en tevens de grootste gebruiker van dat datacenter niet leuk. Dus geen zuurstof verlaging meer.
Lijkt mij dat het met deze immersie koeling ook onmogelijk is om direct bij de apparatuur te kunnen indien gewenst. Maar corrigeer me indien ik dit helemaal verkeerd zie.