Intel richt zich op immersiekoeling om energiegebruik datacenters te verlagen

Intel investeert meer dan 700 miljoen dollar in een onderzoeksfaciliteit die zich gaat richten op het zuiniger maken van datacenters. Intel wil vooral het gebruik van immersiekoeling voor datacenters bevorderen.

Intels geplande onderzoekslaboratorium beslaat meer dan 18.500 vierkante meter. Intel wil er datacentertechnieken voor immersiekoeling, het efficiënt gebruiken van water en het opvangen en hergebruik van warmte van de systemen onderzoeken en verder ontwikkelen. Daarnaast wil Intel er zijn huidige en toekomstige datacenterproducten testen, zoals Xeon-processors en Agilex-fpga's. De fabrikant bouwt de faciliteit in Hillsboro in de Amerikaanse staat Oregon. De bouw start dit jaar en moet eind 2023 gereed zijn.

Intels referentieontwerp voor immersiekoeling

Intel richt zich vooral op het vereenvoudigen van het gebruik van immersiekoeling in datacenters. Hierbij dompelen bedrijven hun systemen onder in een niet-geleidende vloeistof om die te koelen. Het voordeel is dat deze wijze van koeling veel minder energie vergt dan bijvoorbeeld luchtkoeling en bovendien kunnen servers dichter op elkaar zitten.

Intel heeft een referentieontwerp ontwikkeld voor immersiekoeling waarvan fabrikanten gebruik kunnen maken. Het gaat om een proof-of-concept dat door Intel Taiwan verder wordt uitgewerkt in samenwerking met fabrikanten van servers. In een later stadium breidt Intel het project buiten Taiwan uit. Intel spreekt van een 'open intellectueel eigendom' voor het referentieontwerp, zodat fabrikanten dit zelf verder kunnen ontwikkelen.

Reacties (41)

[Euronitwit]

Microsoft laat gewoon een heel datacentrum onder water zakken.
bron

[Reactie gewijzigd door Euronitwit op 22 juli 2024 15:16]

[patviev]

Klopt, na 2 jaar hebben ze gekeken wat het resultaat is ervan. nieuws: Microsoft brengt onderwaterdatacenter na twee jaar weer naar boven

[beerse]

Dat rekencentrum gebruikte geen immersie koeling, in die container was het nog steeds luchtkoeling.

[Euronitwit]

Dat weet ik. Staat ook in de bron: een stalen container gevuld met droge stikstof.
Daarom ook de knipoog.

[Amanoo]

Doet me denken aan de mineraaloliecomputers van weleer. Mensen die geen kast maar een heus aquarium gebruikten.

[Bramtweakers]

Ik heb een onderzoek binnen een bedrijf mogen doen. Het gave van deze vorm is dat je ook de fase overgang (en dus de verdampingswarmte) gebruikt in plaats van alleen de soortelijke warmte van de vloeistof. Daarnaast vond ik het bijzonder dat de viscositeit van de vloeistof zo klein was. Zo kan het echt rondom elk component komen. Ik ben benieuwd of dit groot gaat worden, het is namelijk wel erg veel duurder dan conventionele koeling. Toendertijd kwamen we tot de conclusie dat het vooral handig was voor plekken waar de elektronica zeeeer compact moest worden geplaatst. Het scheelt nogal wat ruimte namelijk!

[aadje93]

Het duurste in een datacenter is toch vaak de ruimte, als je dus met immersiekoeling nog meer cpus en gpus in een kubieke meter kan proppen is dat alleen maar mooi meegenomen

[Bramtweakers]

Dat is een kwestie van locatie. Een m² extra serverruimte op Wall Street haal je je winst waarschijnlijk eruit maar een extra m² op het platteland van Roemenie kom je waarschijnlijk met de kosten van de vloeistof niet uit. De door mij gebruikte vloeistof was toedertijd 500 euro per liter, in bulk waarschijnlijk veel goedkoper maar lucht heeft zeker qua kosten nog zijn positieve punten! (Of reguliere waterkoeling)

[Groningerkoek]

500,- klinkt als extreem duur, als ze de lucht droog genoeg houden kunnen ze het gewoon onderdompelen in bijvoorbeeld transformator olie, De olie die wij op de fabriek voor onze trafo's gebruiken was Shell Diala Transformator olie en die kost rond de 900,- Euro per vat (209 Liter) en die prijs kan aardig omlaag als je meerdere vrachtwagens bij Shell zelf koopt.

[EraYaN]

Die heeft denk ik niet een laag genoeg verdampingspunt. Het gaat vaak om die 3M vloeistoffen "Engineered fluids" uit de Novotec range. Die bijvoorbeeld precies rond de 30-35 graden zitten. Sommige wil 3M zelfs niets over zeggen.

[Bramtweakers]

Precies dit dus! En het heeft bijzondere eigenschappen. In principe moet het een materiaal zijn met een hoge soortelijke warmte, met een ontzettend laag oplossend vermogen en een specifiek kookpunt. Erg rare vloeistof om mee te werken. Vooral omdat de chips in deze vloeistof hot swappable waren en je met je handen vlakbij een kokende vloeistof werkt!

[Groningerkoek]

Waarom zou je een laag verdampingspunt willen? Dit wil je juist hoog hebben zodat drukverschil en verdamping zo klein mogelijk blijven. Natuurlijk zullen ze iets synthetisch gebruiken want olie heeft helaas als eigenschap dat het vocht beter aanzuigt dan dat Andre Hazes bier zoop en dus alleen geschikt is voor systemen waarbij de vloeistof niet in contact met de olie komt.

(collega had van 3 vaten de dop afgedraaid voor het weekend zodat volgens hem luchtbubbels sneller naar boven zouden stijgen na het transport, die konden afgevoerd worden.... )

[EraYaN]

Je wil dat juist laag hebben zodat de hardware oppervlakken en de vloeistof zelf op ongeveer die temperatuur blijft. Daarbij is het verdampen/koken een super efficiënte manier om de warmte weg te geleiden (de bubbels veroorzaken stroming). Hier bijvoorbeeld een voorbeeld: https://www.youtube.com/watch?v=cPx4qyKPsw0 Hier het project zelf en de opvolger: https://www.youtube.com/watch?v=V7-QWmT2jfk

https://www.3mnederland.n...plications/dompelkoeling/ De 2 fase variant heeft daar een infographic (zeer erg marketing speak), die foto met al die bubbels geeft wel aan hoe het eruit ziet in bedrijf.

[Reactie gewijzigd door EraYaN op 22 juli 2024 15:16]

[Groningerkoek]

Ja jullie hebben gelijk, ik ben meer van de hoge voltages en zit zoals ik nu merk wat vastgeroest in dat soort vloeistoffen en methoden, maar die zijn onvergelijkbaar (en olie wordt daar meestal niet als koeling gebruikt maar als isolator om overslag te voorkomen)

[dikkechaap]

Ik neem aan dat je een laag verdampingspunt wil omdat de fase overgang van vloeistof naar gas veel energie kost. Je raakt dus heel snel en efficient warmte kwijt. De verdamping is wel minimaal in massa, waardoor er geen problemen zijn met drukverschillen.

[Groningerkoek]

Ruimte is duurder bij de bouw, daarna valt dat heel erg mee. Ook zijn grotere datacenters veel efficiënter per KW it-capaciteit dan kleinere.

[beerse]

Bedenk dan dat je binnen de vloeistof alles dichter bij elkaar kan steken. Een pluspunt voor vloeistofkoeling. Maar in een rekencentrum staat alle apparatuur in een kast met deur voor en deur achter om er bij te kunnen. Dat is met vloeistof vulling toch lastig, zeker als je er 'hot' bij moet zijn.
De meeste immersie systemen die ik op een beurs gezien heb zijn in badkuip vorm waarbij je er van boven bij kan. Bouw hoogte zo'n 60 tot 80 cm. Bedenk dan dat een kast in een lucht gekoeld rekencentrum 2,5 tot 3 meter hoog is.

En met vloeistof koeling word een gevulde kast best wel zwaar, 2 of 3 badkuipen boven elkaar wordt ook een uitdaging als je voor onderhoud bij de middelste of onderste moet zijn.

[mjtdevries]

Maar in een rekencentrum staat alle apparatuur in een kast met deur voor en deur achter om er bij te kunnen. Dat is met vloeistof vulling toch lastig, zeker als je er 'hot' bij moet zijn.

Dat is echter een zeer ouderwetse gedachte.
In een cloud als O365 word gewoon een volledige kast offline gehaald. Het is voor hen niet rendabel om in een kast te gaan rommelen met componenten. Uiteraard is de software er ook specifiek op ingericht.
En dan is die vloeistof vulling veel minder een probleem.

[Jan Onderwater]

Ruimte en Stroom
De stroomkosten van een datacenter zijn gigantisch

[GhostShinigami]

leuk idee, maar zie er ook wel veel problemen mee, vervuiling in vloeistof zoals dat kan op den duur voor geleiding zorgen (en mogelijk dus hele kleine issues / fouten veroorzaken als stroompjes kunnen over springen tot aan kortsluiting op den duur. Maar het nog meer probleem is: hardware vervangen? server uit dat 'rack' trekken en dan? laten uitdruipen?

een ingebouwd waterkoeling systeem waar je een server makkelijk DMV quick (dis)connects aan het DC kan aansluiten (maar dus ook standallone kan werken met wat mindere efficiencie) lijkt mee een veel beter toepasbare oplossing zijn op de lange duur.

[mattie2013]

Ik ben geen expert maar:
de weerstand van het vloeistof monitoren zou zeer eenvoudig moeten zijn. Hierop kunnen ze dan net zoals bij een auto de olie uit laten lekken en nieuwe erin gooien of filteren bijvoorbeeld door de deeltjes neer te laten slaan op elektroden.

Duur van uitdruipen heeft met de oppervlakte spanning en de adhesie van de vloeistof op de hardware te maken. Hiernaast zouden deze ook evt nagespoeld kunnen worden met een geschikte schoonmaak oplossing welke bijvoorbeeld verdampt onder een geventileerde omgeving.

Hiernaast zitten er dan bijna geen bewegende onderdelen in de voeistof en dus zal de slijtage meevallen.

[Jan Onderwater]

de weerstand van het vloeistof monitoren zou zeer eenvoudig moeten zijn.

Klopt, dat is een heel eenvoudige sensor. Denk dat je eerder condens in het systeem krijgt, maar ook dat is eenvoudig op te lossen, dat bezinkt gewoon, net zoals in brandstoftanks.

[DropjesLover]

Gewoon regelmatig een redelijke flow er overheen zetten (~2m/s) is gebruikelijk voor Cleaning-In-Place in de voedingsmiddelenindustrie. De vloeistof dus door kanalen leiden waar je koeling nodig (of vervuiling) hebt, want in gewoon een grote bak is je snelheid natuurlijk 0,0. En bij je pomp zet je een geleidingsmeter en filter.

De hardware die echt koeling nodig heeft zijn de CPU's, de opslag een stuk minder.
Gecombineerd met CIPpen en dus kanaaltjes zit ik meer te denken aan rack met een soort waterdichte lades waarin de hardware zit, met een in/uitlaat quick-connect systeem dat je een defecte module er toch uit kan halen zonder de rest te verstoren.

[Reactie gewijzigd door DropjesLover op 22 juli 2024 15:16]

[Jan Onderwater]

Waterkoeling in een datacenter? LOL ze zien je aankomen.

[IStealYourGun]

Microsoft heeft daar in het verleden wel onderzoek naar gedaan en een poc voor uitgewerkt, dus zo vreemd is het idee niet.

[Jan Onderwater]

Wel eens in een datacenter geweest?
Ik werk met Datacenters , meer dan 20 jaar inmiddels, heb er verschillende gemigreerd en opgezet. De eerste serieuze DC operator die toelaat dat jij een watergekoeld Rack daar neer zet moet ik nog meemaken.
Volgende keer als ik met QTC, Equinix of KPN spreek zal ik het eens vragen, Lachu

[IStealYourGun]

Voor datacenters die rackspace verhuren is het misschien geen oplossing, maar Google gebruikt direct to chip liquid cooling al sinds 2016. Of is dat bedrijf ook een grap?

https://en.m.wikipedia.org/wiki/Tensor_Processing_Unit

En als je wat verder zoekt, dan kan je wel meer fabrikanten vinden die bezig zijn met het ontwikkelen van deze technologie.

[goats]

IBM had wel waanzinnige racks met koelpijp aansluitingen. Maar dat soort dingen vind je alleen in rekencentra waar alles eigendom is van 1 organisatie, niet in een doorsnee datacenter.
De heat transfer vloeistof kan daarna naar een stirling engine die weer stroom voor de koeling kan opwekken.
Maar het hoeft geen water te zijn, olie is mischien zelfs beter, alleen wel veel duurder. Al met al is voor multiclient data centers lucht gewoon het beste.

[Raindeer]

Dit zijn goede ontwikkelingen. Het probleem met immersiekoeling en het hergebruik van warmte van datacenters is op dit moment dat er geen duidelijke standaarden en uniforme manieren van werken zijn. Nederlandse bedrijven als Asperitas en iXora laten zien dat immersiekoeling eenvoudiger kan. Maar, we wachten nog op grootschalige ondersteuning en ecosystemen. Dat kost altijd langer dan dat je denkt en wilt. Deze push van Intel helpt weer om die standaardisatie verder te brengen.

[beerse]

Een paar jaar geleden op een computer beurs eens een aantal computers in een badkuip vol olie gezien. Het grootste nadeel is de opstelling in het rekencentrum: Met luchtkoeling staan de kasten recht op met toegang van voor (knopjes/lichtjes/schroevendraaier) en van achter (stekkers). Dat zelfde rek in een badkuip had de toegang voor onderhoud en verwisselen (de schroevendraaier) alleen van boven, anders loopt de olie er uit. Daarmee kan op een zelfde oppervlak in een rekencentrum niet een rek van 2 a 3 meter hoog maar slechts een kwart tot de helft in de zelfde oppervlakte.

Verder hadden ze daar op praktisch alle ook in de andere reacties genoemde 'nadelen' wel een redelijk antwoord. Vervuiling is er met lucht ook, inclusief ongewenste contacten.

[Mailootje]

Intel richt zich op immersiekoeling om energiegebruik datacenters te verlagen

Als ze dit nou ook veranderen in de consumer products..... Dan is iedereen blij

[Amanoo]

Vroeger was dat best wel in. Dan had je mensen die hun computer onderdompelen in mineraalolie.

[Mailootje]

Klopt inderdaad, dat zag er best wel mooi uit als je het mooi had gemaakt. Tegenwoordig ga je dat niet meer redden helaas😔

[thePiett]

Cool!

[Jan Onderwater]

Vuistregel is dat voor iedere kWh aan DC capaciteit en een kWh aan koeling nodig is, hoe noordelijker je gaat zitten, hoe minder koeling je nodig hebt. Mooi dat intel nieuwe manieren van koeling inbrengt, maar het is ook een beetje het paard achter de wagen spannen. Meer Performance per Watt zoals bij RISK en ARM betekend ook dat je minder moet koelen. Ideaal zou natuurlijk veel performance en een heel zuinig koelsysteem.

[Iblies]

Dat is dus juist milieuvervuiling . Google doet dat ook door zeewater te gebruiken als koeling. Je verbruikt minder energie voor klimaatbeheersing maar ondertussen verhoog je weer temperatuur van het zeewater.
Als dat binnen de normen valt heeft het zogeheet geen effect.


Alleen als alle bedrijven op die manier gaan werken heb je wel een probleem.


Het is een vorm van greenwashing dat je niet wilt hebben.

[EraYaN]

Het is niet alsof wij met onze energie output direct de oceaan kunnen opwarmen. Daar moeten we chemische hulpmiddelen voor uitstoten. De oceaan is gewoon veels te groot.

[Iblies]

Je verwarmt ook niet “de oceaan” op.

Lokaal verhoog je de temperatuur en als delta GEMIDDELD onder een norm zit kom je er mee weg.

Wat er gebeurt is dat lokale leefgebied veranderd.


In Californië hebben ze het al lang verboden,
https://www.powermag.com/...er-plant-ocean-water-use/
en je komt er ook niet meer mee weg,
ze moeten koeltorens en soortgelijk gebruiken alleen kost dat weer energie.

[Jan Onderwater]

Waar ligt het verschil tussen koelen naar lucht of koelen naar zeewater in zin van Milieuimpact?

[Iblies]

Koelen naar lucht heb je meer energie voor nodig en zorgt voor een grotere “CO2-afdruk”,
dumpen in zeewater kost je minder en geeft je veel meer capaciteit.

[Jan Onderwater]

Vertel, waarom kost een warmtepomp meer energie die naar lucht koelt meer dan naar zeewater? Lucht heeft het grote voordeel want niet corrosief of geleidend, en overal aanwezig