Intel test servers met oliekoeling

Intel heeft de resultaten van een proef met oliekoeling voor servers gepubliceerd. Het bedrijf heeft een jaar lang Xeon-servers met minerale olie gekoeld en concludeert dat ondergedompelde servers efficiënt gekoeld kunnen worden.

Een van de grootste verslinders van energie in datacentra is de koeling die nodig is om de servers voor oververhitting te behoeden. De energiebehoefte van een gemiddeld datacentrum is, aldus diverse onderzoeken, als alle overhead voor koeling, verlichting en andere zaken wordt meegenomen, bijna tweemaal zo groot als wat de computerhardware zelf vergt. Gemiddeld zou de zogeheten pue-waarde, de verhouding tussen opgenomen vermogen van de serverhardware en het totale opgenomen vermogen van het datacenter, ongeveer 1,8 bedragen. Een groot deel van de overhead, tot zo'n zestig procent, zou nodig zijn voor de koeling van de hardware. Overigens zijn er ook veel zuinigere datacentra, die een pue-waarde van ongeveer 1,2 of 1,3 halen.

Om de grootste afnemer van energie, na de serverhardware uiteraard, aan te pakken, heeft Intel samen met het Texaanse bedrijf Green Revolution Cooling getracht de koeling zuiniger te maken. Een proef in het Texas Advanced Computing Center, met een looptijd van een jaar, heeft aangetoond dat de koeling inderdaad een stuk zuiniger kan. In plaats van de gebruikelijke luchtkoeling en bijbehorende airconditioning in te zetten, dompelden ze de servers onder in minerale olie in een CarnotJet System.

De elektrisch niet-geleidende olie bleek zeer effectief in het afvoeren van de warmte, zoals hobby-projecten al eerder aantoonden. De pue-waarde van de geteste servers daalde tot ongeveer 1,02 tot 1,03. Bovendien had de oliekoeling geen nadelige invloed op de prestaties van de zeven geteste Xeon-servers. De oliekoeling is overigens maar een van de ongeveer tien nieuwe koeltechnieken waarmee Intel experimenteert.

Reacties (226)

Het grote nadeel is dat als je hardware moet vervangen, dat je het bord met CPU & memory uit de olie moet vissen, schoon moet maken en dan pas een ECC-DIMM kan vervangen. Daarbij is de winst, zoals in het artikel vermeld, voor sommige datacenters "maar" ongeveer 15% zoals een Google of Facebook (welke al zeer efficiente oplossingen hebben).

[Reactie gewijzigd door MAX3400 op 6 september 2012 13:22]

Dat zou niet hoeven. Gewoon een minimale case maken waaraan alle onderdelen verbonden zijn doormiddel van heatpipes, al is het niet optimaal natuurlijk.

De server warmt de olie op, maar wat ik mij dan afvraag; hoe laten ze de olie dan weer afkoelen?

Koude friet erbij gooien.

Mooi, het lokale datacentrum fungeert meteen als snackbar?

Doe er ook maar twee kroketten bij!

De olie heeft een veel grotere massa dan een heat pipe of een paar koel ribben. voordat de olie 100 graden is ben je een heel stuk verder.

Je kunt een bak olie eigenlijk zien als een hele grote koelrib. omdat het oppervlak misschien meer dan een vierkante meter is. koelt deze weer heel snel af waardoor actieve koeling eigenlijk niet meer nodig is.

Actieve koeling is zeker wel nodig. Als je het "aan de lucht" laat koelen word de ruimte vol met warme oliebaden word snel warm en dan kan de olie natuurlijk niet meer passief afkoelen...
en je moet een gesloten systeem houden zodat de olie niet bloot staat aan lucht, anders verdampt er een gedeelte en wordt het sneller oud.

die radiatoren hangen natuurlijk buiten en buiten is het een heel stuk koeler zeker in de nacht

Met een ouderwetse radiator.

Olie kan meer warmte opnemen per liter, dan lucht, en het neemt warmte ook nog eens veel beter op. er hoeft dus veel minder van getransporteerd te worden. Geen honderden fan's en dure airco's maar een paar pompjes en een paar grote fans voor de radiatoren.

Bedrijven als Google of Facebook wachten eerst tot dat x percentage van de servers zijn uitgevallen, voordat ze hardware gaan vervangen. Verkeer wordt dan simpel naar een ander DC geredirect en het DC met defecte hardware gaat tijdelijk offline.

Aanschaf van hardware is maar een fractie van de kosten om een DC up and running te houden. De grootste kosten zijn operationele kosten, zoals personeel en vooral energie.

Is een memory bank van een server kapot, dan is het kosten efficiënter om de hele server te vervangen, dan een enkele memory bank. Oplappen van hardware kan wel buiten het DC gedaan worden.

Nee hoor, die paar datacenters van google vreten maar rond de 20-40 megawatt. 1 grote locatie in de USA zit onder de 100 megawatt overigens.

Industrieel betaal je voor constant verbruik ongeveer factor 10 minder dan je als zakelijke gebruiker betaalt die boven de 10k kilowattuur per jaar variabel afneemt.

Onder voorwaarde dat je meer dan een gigawattuur per jaar afneemt en natuurlijk nooit variabel meer gebruikt.

Dus stroomkosten zijn ze haast niet kwijt. Publieke berekeningen heeft Google niet zoveel gegeven.

In Nederland staan van google zo'n 100k servers volgens de spaarzame informatie die google erover vrijgegeven heeft.

Dat zijn simpele machines. Stel ze gooien er 24 harddisks van 2 TB in, want de simpele raid cards sturen 24 drives aan.

Nu aan redundancies zijn ze overal wat kwijt. Dat is wat lastig inschatten hoe ze
dat met mapreduce hebben geregeld qua redundancy.

Hoeveel kosten 2TB drives?

Stel een stuk of 24 drives keer 100k simpele servers. Dat is 2.4 miljoen diskdrives.

De winstmarge is niet zo enorm groot op die harddrives, dus de 97 euro waarvoor je het koopt. Haal de BTW eraf = 81 euro over. Zelfs bij 50% korting, wat al ingewikkeld wordt om te geven, dan praten we over 2.4 miljoen * 40 euro = rond de 100 miljoen euro alleen al aan harddrives. Vraag is of ze ze voor die lage prijs kunnen krijgen. Marge is echt niet veel op die drives.

Bij 20 megawatt verbruik met weinig afdingen is dat zo rond de :

20 MW * 70 euro per megawattuur bij weinig gebruik * 8760 / factor 10 korting voor gigawatt usage = 1.2 miljoen euro stroomkosten per jaar in Nederland.

Die harddrives moeten ze om de 2 jaar ofzo in zijn geheel upgraden naar nieuwere drives

Personeelskosten, locatiekosten en de superdure internet kabels die ze gebruiken vanaf de noordzee, daar hebben we 't dan nog niet over gehad

Dus stroomkosten is dan maar een paar procent van het geheel, zelfs ALS ze backup noodgenerators op zo'n locatie hebben staan voor geval van nood, want dat is maar eenmalige aanschaf en af en toe testdraaien.

Als we dan de totale kosten aan stroom bij elkaar optellen en afzetten tegen de omzet die google elk jaar maakt, dan verbruikt google enorm weinig stroom voor zijn datacenters.

Hun omzet is in de MILJARDEN en deze kosten zijn een paar MILJOEN.

[Reactie gewijzigd door hardwareaddict op 6 september 2012 15:34]

http://www.pugetsystems.com/submerged.php best wel cool Alleen lastig om spul te verwisselen lijkt me.

toch jammer dat maar weinig mensen de moeite nemen om de website even te checken..

geheugen vervangen:
http://www.youtube.com/wa...k&feature=player_embedded

http://www.grcooling.com/product/faqs/#13

Server Modification & Installation

While the CarnotJet system is being installed in your facility, we will also modify servers at the installation site. Having previously encapsulated server hard drives at GRC’s facility, our technicians now remove server fans (which are stored in case the server is ever reconverted to air use). Conventional thermal grease will dissolve, and so we replace it with a non-soluble thermal interface material solution, a Heat-Spring® by Indium Corp of America (link), which helps enable this technology. Solid State Drives do not require any modification.

Ik begin trek te krijgen van dit topic.

Ik neem aan dat storage niet in olie gedompeld wordt?

Met zijn bewegende delen lijkt me dat ook een stevige warmte generator. Ik heb gezocht op andere sites wat ze over storage zeggen maar niet veel gevonden.

[Reactie gewijzigd door marcovtjetje op 6 september 2012 13:23]

Als je had doorgeklikt naar de artikelen, staat er wel degelijk (en ook elders op internet) dat alle bewegende delen van een server verwijderd zijn (zoals fans) of geseald moeten worden (zoals HDD's). Aangezien dit nogal lastig is, werken de ondergedompelde servers waarschijnlijk allemaal met SAN/NAS-achtige storage en verder iets van een SSD/mSATA-SSD voor local storage.

Duh, dat snap ik. Ik bedoelde de invloed van storage op de efficientie van datacenters.

Die SAN staat ook in dat datacenter, en die blijft luchtgekoeld.

Als het goed is zijn hardeschijven vacuum van binnen en dus volledig lucht dicht. ik zie geen reden om dit niet in de olie te kunnen leggen... een dvd speler daar en tegen kan een beetje lastig zijn

Dat zijn HDs niet. Elke HD die tot nu toe gezien heb heeft een opening, afgedekt met een stukje filter zodat lucht eruit en erin kan stromen en het binnenwerk dezelfde druk heeft als de buitenlucht.

Als het goed is zijn hardeschijven vacuum van binnen

Zeker weten van niet. De lees/schrijfkoppen in een hdd zweven boven de platters op een luchtkussen wat door de rotatie van de platters zelf gecreëerd wordt.

Waarom zit er dan op elke hdd en klein gaatje met de tekst bij: "Do not cover"???

Harde schijven worden niet ondergedompeld, dat is een broodje aap verhaal van jouw kant.

Op zich zijn harde schijven wel 'oliedicht'. Veel harde schijven draaien tegenwoordig in een N2 omgeving, of zelfs in vacuum. Het is wel minder noodzakelijk. De buitenkant van een harde schijf is al van metaal, en kan dus eenvoudig op een koelvlak worden geplaatst.
Er zijn trouwens wel meer componenten die je moeilijk kunt onderdompelen. De CPU is er een. Hoe reageert de koelpasta op de olie?

Wat ik hieruit haal is dat de olie de koelpasta IS... Volgens mij zit er dan ook geen koelblok op. Plus, aangezien de olie niet geleidt, kun je volgens mij prima een CPU onderdompelen in dat spul.

Ik verwacht dat er nog wel koelblokken op zitten om zo het koeloppervlak voor de CPU te vergroten van de normal paar cm2 naar een flinke factor groter.

jawel er moet nog een koelblok op de cpu's, under full load vreten die e5's enorm veel joh.

Waarom is er dan op elke harde schijf die ik gezien heb een gaatje waar op staat 'DO NOT COVER'...

Omdat de warmte anders niet weg kan...

Waarom niet ? olie is toch een goede smeerstof.
alles 100% gesmeerd.

Het vervangen van hardware zal wel seen stuk lastiger zijn.
Maar dit is wel perfect haalbaar voor HP/IBM/MS die volledige container datacenters maken.
Als er daar een server defect gaat vliegt de volledige server offline.
Zo moet er niemand er echt meer bij.

Een dergelijke koeling voor storage en voeding is dus ook nog wenselijk, omdat daar ook veel warmte geproduceerd wordt.

Al moet voeding hier ook wel mee te doen zijn. Blijft de storage nog over.

De koelpasta zit tussen de CPU en de koelvinnen. De koelpasta dient alleen om de warmteoverdracht naar de koelvinnen te verbeteren, en komt dus niet in kontakt met de olie. De koelvinnen doen dat wel, maar die zijn van metaal.

Koelpasta? Je zet er dan uiteraard geen fan meer op.

Hoe kom je op de gedachten dat iets wat bewegend is meer warmte op wekt dan iets wat niet beweegt.

Sterker nog (volgens mij) als een HDD 5watt gebruikt en een CPU ook zal die CPU meer warmte uit stoten, want bij de HDD wordt er ook energie omgezet in beweging, en bij de CPU alleen maar warmte...

[Reactie gewijzigd door watercoolertje op 6 september 2012 14:07]

In een beweging zit wel energie, maar die hoeft er maar een keer ingestopt te worden.

Het vermogen dat wordt gebruikt voor het roteren van de schijven is gelijk aan de frictie, zodat de snelheid gelijk blijft. Deze energie wordt dus niet via elektrische weerstand maar via wrijving omgezet in warmte.

Thanks voor de heldere uitleg netto maakt het dus geen zak uit En de HDD zal niet meer gebruiken dan de CPU, maar andersom dus ook niet...

[Reactie gewijzigd door watercoolertje op 6 september 2012 14:23]

Dat is een redenatiefout; die beweging resulteert netto in exact evenweel warmte als die cpu. Als het nou licht zou geven, dan zou het ter plekke wat minder warm worden, omdat je de energie dan verplaatst.

Weg met de hoge server rekken.
We gaan nu bakken krijgen

Als de olie heet genoeg is kun je er friet in gooien. Ik hoop dat intel er een tempratuur meter in heeft zitten! warmer dan 180 graden je friet bakken is niet gezond

Ontopic:
Maar deze opstellingen met sla olie werden in het verleden al heel vaak gemaakt. Ik heb wel wat filmpjes gezien van mensen die hun hele hebben en houden in een bak sla olie gooide in een aquarium.

Nog een groot voordeel van het in olie onder dompelen van onderdelen, is het feit dat je nooit meer brand krijgt door defecte onderdelen, omdat er simpel weg geen zuurstof bij komt.

Dit is eigenlijk een geniale techniek!

Dit is dan ook absoluut geen sla-olie maar zuiver mineralen olie, aangezien er ook water wordt gebruikt voor sla-olie om de emulsie tot stand te brengen en houden (veel smaken zijn alleen wateroplosbaar vandaar de emulsie).

Een patatje bakken in deze olie lijkt me ook zeker niet echt verstandig, de temperatuur van deze olie zal sowieso nooit 170 graden Celsius worden i.v.m. het uitschakelen van de elektrische apparatuur (meestal 90 graden).

Zelf heb ik een klein testje gedaan met deze vorm van koeling, wel is het verstandig om een soort pompje te installeren die of bubbeltjes of de olie rondpompt. Een simpel aquarium pompje helpt hierbij niet omdat de viscositeit van de olie te hoog is, simpeler gezegd het pompje heeft niet genoeg power om de olie rond te pompen.

Bij het rondpompen van bubbeltjes ontstaat er weer een nieuw probleem, aangezien er waterdeeltjes in de lucht zitten zal er op een gegeven moment een druppel water ontstaan onderin het aquarium die natuurlijk steeds groter wordt, gelukkig is deze makkelijk te verwijderen.

(wees maar niet bang voor beschadigde computer onderdelen, de onderdelen kwamen van de schroothoop en hebben mij dus praktisch 0 euro gekost)

In plaats van de olie in de tank rond te pompen kun je beter de tank zelf in beweging brengen. Bijvoorbeeld door hem te roteren. vergelijkbaar met (zachtjes) schudden van een oplossing om die te mengen. Als je een tank centrifugeert worden zware deeltjes (vuil, water) naar de buitenkant geduwd en de lichte deeltjes (luchtbellen) naar de binnenkant. Dit geeft de mogelijkheid ze af te vangen.

Centrifugeren; interessant idee maar hoe wil je al je aansluitingen gaan doen? Sleepcontacten met hoogfrequente en hoge brandbreedte data lijkt me geen goede combi.

Simpel: aan de bovenkant. Alleen je zijwanden en bodem roteren.

Sterker nog: dit is sowieso nodig. Je wil juist een stroming hebben van de olie langs de hardware. Als de hardware meedraait met de olie en de tank is er nog steeds geen stroming.

google eens op 'mineral oil' en computer op youtube.

Er zijn paar jaar geleden aantal hobbyisten geweest die hele youtube video's hebbe nhoe je zo iets met oude junk hardware doet ine en aquarium

Geweldig om te zien.

Wel snel uitzetten natuurlijk, want het wordt alleen maar heter en heter tot het fikt

Je kunt natuurlijk ook de olie door een radiator pompen (of een warmtewisselaar gevuld met koelvloeistof erin zetten). Die radiator koel je dan met een fan of airco.

Ik vraag me wel af wat er gebeurt als de niet-geleidende olie tussen de DIMM-sloten en CPU--socket komt, dan maken je componenten slecht contact. Zie bijv. deze video, waar hij de besmeurde geheugenmodule terug stopt in de server.

[Reactie gewijzigd door donny007 op 6 september 2012 23:08]

En het grote nadeel is dat componenten vervangen dolle pret zal worden... Ach ja, wet van behoud van ellende zullen we maar zeggen.

Als je de videos in de gelinkte site bekijkt is dat helemaal geen probleem.
Ze pakken allerlei spul wel speciaal in, zoals harde schijven (SSD's niet). Ik zie daar een periode van twee weken voor staan als je het laat doen. Dus een beetje opleiding voor het eigen personeel is wel benodigd.

Wat ik alleen niet kan vinden is de processor koeling. Gaat die er 'naakt' in, of met koelribben?

Ik denk eigenlijk koelribben. Naakt is denk ik niet te doen, vanwege het relatief kleine oppervlak
Daarbij: ik ben geen expert.

En ik maar denken dat al die IT-ers van fastfood hielden...

Je bestelt 1 zo'n aquariumpje natuurlijk alleen voor je kroketten en frikandellen

En geen stof in de fannetjes...

helaas fans kunnen olie niet wegpompen op een betrouwbare manier. Dat lukt alleen gedurende een paar uur als de olie nog vers is

hardwareaddict, al je posts hier getuigen van een totaal gebrek aan kennis m.b.t. fluid immersion cooling.

• de meeste bekende hobby projecten draaien jaren lang 24/7 (je moet de olie natuurlijk wel koelen mbv een radiator he?)
• de olie blijft "vers" als je minerale of synthetische olie gebruikt, zoals in dit voorbeeld
• het kookpunt van de gebruikte oliesoorten ligt zonder uitzondering boven de 200 graden
• bij 140 graden zorgt "1 vonkje" niet voor een "onblusbare brand"
• koeling met olie is niet "verboden" in datacenters (bron?), net zo min als het gebruik van olie in HV toepassingen
• dit is geen broodje aap verhaal (ook al heb je dat zo'n 10 keer beweerd, dat maakt het nog niet waar)
• om olie rond te pompen worden over het algemeen geen fans gebruikt
• er is geen "speciale dure hardware" nodig voor dit soort koeling

je zal nog wel meer onzin hebben geschreven maar ik hou het niet meer bij... snap je motivatie ook niet voor zo'n desinformatiecampagne.

[Reactie gewijzigd door netgrazer op 7 september 2012 20:57]

En hoe doen we dit met de harde schijven? Die moeten wel boven een vloeistof, want daar kunnen ze absoluut niet tegen... weet iedereen die eens zelf heeft zitten pielen hiermee.
SSDs zijn wellicht een oplossing, maar er worden nog steeds heel heel heel veel hard-disks gebruikt.

En hoe doen we dit met de harde schijven?

Gewoon in de olie, uiteraard wel na het dichtplakken van het drukvereffenings ventiel.

Zie: Servers Too Hot? Intel Recommends a Luxurious Oil Bath

Zo krijg je als IT-er ook nog eens zwarte handjes als je naar de datacenter moet

Al vraag ik me af in hoeverre dit milieuvriendelijk(er) is.

Bron:
"The coolant is clear, has a light viscosity, and features high heat-retention ability. It’s also eco-friendly and non-toxic."
Ofwel het is niet giftig en milieu vriendelijk.

Laat de frikandellen dus maar komen!!!

[Reactie gewijzigd door sygys op 6 september 2012 13:39]

Al vraag ik me af in hoeverre dit milieuvriendelijk(er) is.

Zolang de olie goed verwerkt/hergebruikt wordt veel beter, zeker als het verbruik/PUE bijna halveert want dan hoeft er minder gestookt te worden

De olie vervuild in zo'n bak ook niet. die blijft dus een hee tijd houdbaar! in een motor heb je te maken met verbranding en slijtage van motor onderdelen waardoor de olie zwart wordt. maar bij een PC heb je hier dus geen last van.

Het zou ook nog niet zo gek zijn in watergekoelde systemen olie te doen. vaak wordt gewaarschuwd voor lekkage. als deze olielekt is er nog niets aan de hand, want het geleid niet.

Meestal is de viscositeit van olie een pak dikker, waardoor het debiet daalt. Ik denk niet dat e de warmte optijd kwijtgeraakt.

Niettemin een gek idee voor een veilige "water"koeling.

[Reactie gewijzigd door BlaDeKke op 6 september 2012 14:07]

Dat hangt 100% van de gebruikte olie af, sommige zijn bijna zo vloeibaar als water, zeker bij wat hogere temperaturen. Echter als je het echt goed wilt doen pak je fluorinert of andere goedjes (a la de Cray 2, die dat spul ook door z'n chips pompt).

Jawel joh. Deze olie gaat ook door de PSU heen in zo'n aquarium.

Kartonnen onderdeeltjes en giftige plastics, ook in moederboren. Meen dat alleen lood verboden is nu.

Als je daar vloeistoffen doorheen pompt dan ga je al die troep in je olie krijgen

Mineraalolie he, vrijwel kleur- en geurloos.

Minerale olie, ofwel olie van minerale oorsprong, een aardolieproduct dus. Tot op zekere hoogte zeer vergelijkbaar met de 5w40 die in je auto gaat

Minerale olie, ofwel olie van minerale oorsprong, een aardolieproduct dus. Tot op zekere hoogte zeer vergelijkbaar met de 5w40 die in je auto gaat

offtopic:
Beetje offtopic misschien, maar 5W40 is voor zover ik weet synthetische olie, net als 0W30 en 0W40 bijvoorbeeld. Jij bedoelt 10W40 of 15W40, die zijn er in minerale uitvoering.

Het handigst lijkt me om computercases in het vervolg "waterdicht" te maken. Dan kun je met een stel handschoenen hardware vervangen zonder vieze handen te krijgen (want ondanks dat de olie dan misschien niet gitzwart is, wil je het toch niet aan je vingers of kleren krijgen ).

Maar de voordelen zijn legio inderdaad en voor zover ik kan zien kan de olie net zo lang meegaan als de server. Er is niks wat het vervuilt, je kunt het systeem immers volledig gesloten maken.

[Reactie gewijzigd door Grrrrrene op 6 september 2012 14:10]

ipv rack's zo aquaria's in de datacenters ;-)

Het ziet er behoorlijk sci-fi uit

Gaaf ja met zo'n groen achtergrond lampje

Olie dus. Maar was de warmtecoöficient van water niet een van de hoogste?
Maw, water is dus een betere optie lijkt mij.

Wellicht zal het wel iets te maken hebben dat water corrodeert, Geleiden doet puur water in ieder geval niet.

Volgens mij vormt water op zichzelf al in enige mate ionen, volgens de reactie:

H₂O <--> H₃O⁺ + OH^-

Hoewel het misschien niet veel is, lijkt me enige geleidbaarheid al een probleem met de vrij gevoelige circuits op moederborden en dergelijke.

En bovendien neemt water ook CO₂ uit de lucht op, wat het zuurder maakt door diwaterstofcarbonaat te vormen, welke zorgt dat er nog meer H₃O gevormd zal worden.

[Reactie gewijzigd door Thierry88 op 6 september 2012 17:14]

Inderdaad, maar daarnaast heeft water nog meer problemen.
Zuurstof lost er goed in op en in combinatie met de geleidbaarheid bevordert het oxidatie.

Maar het grootste probleem is wellicht de enorme diëlectrische constante (permittiviteit) van water, 80 ivm 2 voor minerale olie en 1 voor lucht.

Dit betekent dat het water tussen twee willekeurige geleiders de elektrische capaciteit sterk doet toenemen. Hierdoor worden signalen ernstig vertraagd en er ontstaat overspraak tussen geleiders.

Dit is hoe een 'capacitive touchscreen' werkt, het detecteert het water in je vingers.

Probleem is dat puur water zeer moeilijk te verkrijgen is.
Wat de meeste mensen kopen als gedeminiraliseerd water is eigenlijk slechts gefilterd.
En bevat bij gevolg nog steeds een fractie zouten.


Als tweede puntje moet je niet enkel rekening houden met de coëficient van het bewegende medium ( voor de kenners de convectiecoefficient) , dit is constante voor het overdragen van de warmte tussen de hittebron en de het medium.

Maar moet je ook rekening houden met de conductiecoeffiecient van het medium, dus van hoe goed de vloeistof de warmte in zichzelf verplaatst.


En als ik eerlijk mag zijn, voor een 1dimensionaal systeem kan ik nog wel een oplossing bedenken. Als er een 2de richting of faseovergangen zijn, dan worden de oplossingen zeer complex.

EDIT:
Een testje om te zien of water echt zuiver is:
Ten eerste is er bij 100 graden wel een faseovergang, maar borrelt het water niet. Het borrelen van het water wordt veroorzaakt door onzuiverheden

Een tweede testje, licht vervuild water vormt pas kristallen bij -2C en echt zuiver water begint pas aan kristalvorming bij -40C.

Probleem bij deze testjes het labo moet perfect zuiver/proper zijn.

[Reactie gewijzigd door kestemodon op 6 september 2012 14:44]

Is convectiecoefficient niets iets anders dan de warmtecoëficient ?

energieoverdrachtcapaciteit vs warmtecapaciteit? (hoeveel watt energie voor één graad verhoging)

Bedankt, tekst is aangepast.

Puur water water is niet zo heel moeilijk te verkrijgen in elk laboratorium komt dat dat met bakken uit een apparaat niet veel groter dan een midi-tower computer kast. Op deze apparaten zitten cartridges die het water deioniseren en zo de geleiding van het water verlagen naar 18 MOhm/cm.

Het verkrijgen van zeer puur water is dus niet zo'n probleem. En imho is alleen de geleiding een probleem.

Het grootste probleem met water is ongetwijfeld dat het overal in gaat zitten en als er lokaal dingen in op gaan lossen, ik zou kunnen denken aan een condensator (ik ben niet zo'n elektrotechnicus, maar ik kan me voorstellen dat die niet helemaal lucht dicht zijn) en dan heeft verversen van het water ook niet zo'n zin meer.

Probleem is dat puur water zeer moeilijk te verkrijgen is.

Hoeveel kubiek meter wil je hebben, wij krijgen op werk gedistilleerd water in 1m³ containers, en op de vrachtbrief stond dat het als ik het nog goed heb, dat het onder de 200 euro was 1m³.
(Keek er na vanwege mijn waterkoelingshobby)

Denk dat 400 euro voor een rek aan water de kosten niet zijn.

Maar moet je ook rekening houden met de conductiecoeffiecient van het medium, dus van hoe goed de vloeistof de warmte in zichzelf verplaatst.

Er is geen vloeistof op aarde dat een betere warmte overdracht heeft als puur water, alleen Red Line Synthetic Oil (WATERWETTER®) dat een niet geleidende watertoevoeging is, kan het verbeteren daar dat het, het de wateroperavlakte spanning makkelijker laat breken, en dus makkelijker contact maakt met oppervlakten van andere materialen.
En er zijn een aantal vergelijkbare producten die het zelfde doen.

Het enige probleem van 100% puur water dat niet geleidend is, is dat het makkelijk word verontreinigt, en dat het dan wel geleidend word.

[Reactie gewijzigd door player-x op 6 september 2012 21:05]

Water opzich is inderdaad een isolator. Het zijn de mineralen en onreinheden in het water dat elektrisch geleiden. Je houd het water geen dag isolerend.

Ook geleid water niet goed warmte. Het is omdat het water zich verplaatst dat dit warmte deftig kan transporteren, denk aan CV. Het verschil met deze olie zal dus minimaal zijn.

Het voordeel dat je hebt dat deze olie elektrisch isoleert doet de voordelen van water teniet, moesten deze er zijn.

het verschil tussen olie en water zit 'm in the warmte capaciteit. olie heeft veel minder energie nodig om de temperature te later oplopen dan water. aangezien de temperatuur van de olie lager moet zijn dan de temperatuur van de processor moet je dus meer olie langs de processor laten lopen (ong 2 keer zoveel, en aangenomen dat er geen phase-change optreed). daarbij heeft olie ook niet het eeuwige leven. afhangelijk van de qualiteit van de olie zal die meer of minder de warmte wisselaar gaan vervuilen waardoor hij steeds minder goed werkt. water doet dat ook maar ja kan dat redelijk goed beperken met een paar mileu onvriendelijke chemicalien.

Geleiden doet puur water inderdaad niet. Maar ultrazuiver water is gigantisch duur om in grote hoeveelheiden te produceren, bij ons in het lab rekenen we een euro per liter en dan heb je nog steeds een meetbare geleidbaarheid welke na een liter al behoorlijk op loopt. Zodra je dit in aanraking brengt met metaal, vooral met spanning erop, schiet je geleidbaarheid omhoog.
Ultrazuiver water is dus geen optie. En de warmtecapaciteit van olie ligt al factoren hoger dan die van lucht (per volume) dus je maakt al een enorme sprong. Om dan nog 10% meer rendement te halen door ultrazuiverwater of glycerine (hoogste warmtecapaciteit van alle normale vloeistoffen per volume) te gebruiken met alle problemen die daarbij komen is totaal niet rendabel en zéér waarschijnlijk onmogelijk.

Geen idee, maar elektriciteitskabels zijn ook oliegekoeld (10kV+)

Er bestaan geen oliegekoelde kabels. Kabels met olie zijn olie-geïsoleerd! Deze worden al jaren niet meer toegepast. Er ligt nog wel duizenden kilometers van deze kabels in de grond in Nederland.

Hoogspanningskabels worden hooguit in speciaal zand aangelegd omdat die de warmte beter afvoert dan klei of veengrond. Maar ook vaak voldoet de aanwezige zanderige grond.

Ontopic: Mooi om te zien dan Intel investeerd in nieuwe methoden om datacenters efficiënter te maken. Voor huis-tuin-en-keuken gebruik zie ik dit nog niet zo snel toepasbaar zijn. Gelukkig wordt consumenten hardware al jaren zuiniger en zuiniger.

Dit komt niet helemaal duidelijk uit het artikel dus ik vraag het bij deze maar even:

Betekent dit dat ze de servers (bare) in de olie dompelen zodat er direct contact is tussen alle hardware en de olie of zit er nog een soort van barrière tussen?

Lijkt me overigens niet echt aangenaam als er dan een component kapot gaat en je deze moet vervangen, kan je lekker in de olie gaan zitten graaien..

In data centers word hardware continu vervangen, vervanging hardware is dus een vette boel, maar de onderdelen zullen vast wel met een petroleum achtig bad als olie oplosser redelijk makkelijk schoon te maken zijn, waarna na stilstand van het reinigings bad er weer een scheiding gamaakt kan worden van oplosmiddel en olie ontstaat van wegen het verschillende soortelijk gewicht.

Maar de vervanging van de olie zelf is ook vast lastig, daar je alle servers uit moet zetten.

Maar denk dat wateropname in de olie het "grootste" probleem is, bij mij op werk, (offshore) is vocht in de (hydraulisch) olie een groot probleem, wij hebben dan ook vocht sensors in de olie, als die boven een bepaald niveau komt gaat er een waarschuwing alarm aan in de controle kamer en moeten we een vacuüm vocht afscheider aansluiten, of op de grotere systeem zit zo een afscheidingssysteem geïntegreerd in het hydraulisch systeem.

Een vacuüm vocht afscheider werkt door olie door een kamer te pompen, waar iets van -0.9 bar onderdruk in staat, bij die lage druk begint het water uit de olie te koken, en word het water als in gas vorm afgevoerd uit de olie, waarna het weer water als het uit de vacuümpomp komt bij de normale luchtdruk

Heb zelf vroeger een PC gehad in een aquarium, gevuld met raapolie en dat werkte prima.
En 20L blikken zijn heel goedkoop.

En hergebruiken en vet vrij maken van onderdelen, hoeft helemaal geen probleem te zijn, er zijn genoeg producten waar mee je bord weer schoon kan krijgen.

Als je een plantaardige olie gebruikt hebt kan je de onderdelen gewoon reinigen met keuken reiniger en heet water, en daarna de onderdelen 2 uur of zo in de oven legen op 60~70c om te drogen, en alles werkt weer prima.
En nee elektronica gaat niet dood van een beetje water, zolang je het maar laat drogen!

Heb je een mineraal olie gebruikt kan je bord prima reinigen met een product als quickleen bv, dat gebruiken we op werk om onderdelen echt schoon te maken, de elctro afdeling die het voor elektronica gebruikt dat onder de vet of olie zit.

[Reactie gewijzigd door player-x op 6 september 2012 21:08]

Betekent dit dat ze de servers (bare) in de olie dompelen zodat er direct contact is tussen alle hardware en de olie of zit er nog een soort van barrière tussen?

Ja . Alle componenten - met uitzondering van de harde schijven, die ingepakt worden omdat daar bewegende onderdelen in zitten - worden ondergedompeld in minerale (niet-geleidende) olie. De ventilatoren worden er ook afgesloopt, die zijn niet gemaakt om rond te draaien in olie.

Het vervangen van onderdelen is inderdaad het grootste probleem met dit soort setups. Gelukkig is het geen frituurvet,

De kabels zelf niet (zou leuk zijn met een kabel breuk, mag er niet aan denken met die smurrie) maar de trafo's zijn al jaren olie gekoeld.

Ook de kabels, wanneer je een 10kv kabel hebt en deze kapot maakt (ondergrondse kabelnetten hebben we het over) dan komt er inderdaad olie uit. En als je pech hebt een gigantische steekvlam!

Ha ok ondergrondse, bovengrondse niet.

Ook bovengronds worden veel componenten olie gekoeld.
Simpel voorbeeld is dat bij de aansturing van een ROV's (ff googlen als je niet weet wat het is) een aantal componenten ondergedompeld zitten in olie gevulde junction boxes. Ook de Trafo ervoor.
Het wordt ook voor "normale" spanning gebruikt niet alleen hoogspanning.


En het wordt niet alleen gebruikt voor koeling. Ook voor drukken tegen te houden voor als het onder water gaat.. Maar nu dwaal ik af..

Gezien water nogal snel verdampt zal het eerder daarmee te maken hebben of het uitzetten ervan vermoed ik. Of dat het geleid weet ik niet - het is iig niet verstandig een broodrooster mee in bad te nemen, maar dat is geen zuiver water.

Ik verwacht dat ze een gesloten systeem hanteren, waarbij er geen water verdampt, maar de hitte via radiatoren afgevoerd wordt. Dat scheelt nogal wat bijvullen, en je efficiency bij temperaturen onder de 60-70 graden is beroerd, op z'n best.

ps, puur water geleidt inderdaad niet, maar zoals hierboven al een keer of 10 vermeld is... dat blijft niet zo. Een hoop zouten en andere materialen lossen op in water, en zeker als er nog wat zuren in oplossen (waardoor er opeens weer meer zouten in oplossen) gaat het hard.

Uitzetten? ik zie daar geen probleem in.
http://www.grcooling.com/...tion-to-fluid-submersion/

Hier zie je gewoon zelfs open bakken staan.

Water heeft nog meer eigenschappen die je wellicht liever niet hebt in zo'n situatie zoals sneller uitzetten en koken bij 100 graden. Water mag dan wel een betere conductor zijn maar olie is nog altijd beter dan lucht en heeft die vervelende eigenschappen niet of pas veel later.

Puur water blijft niet zo lang puur, dat is het probleem.

De hoeveelheid warmte geproduceerd door de servers blijft natuurlijk gelijk, alleen kun je efficienter deze warmte afvoeren door een veel betere warmte overdracht van electronica naar olie. Stuk beter dan een klein koel oppervlakje dat je dan extreem moet gaan koelen (inefficient).
Olie rustig laten circuleren door zuinig pompje, en vervolgens door een zo groot mogelijke warmte wisselaar laten gaan (lees veel oppervlak).
In niet warme landen misschien zelfs passief mogelijk.

Niet echt nieuwe techniek hoor.

Demi-water geleidt nauwelijks, omdat het zeer weinig mineralen bevat. Het probleem is dat om diezelfde reden, mineralen er zéér makkelijk in oplossen (er is zogezegd nog veel ruimte 'over' in het water voor die mineralen). Het functioneert daardoor als redelijk agressief oplosmiddel. Allereerst kan dat natuurlijk je electronica aantasten, maar zoals al eerder door anderen opgemerkt wordt het water dan ook een steeds betere geleider, doordat er langzaam maar zeker meer mineralen inzitten.

De servers worden ondergedompeld in olie en zo word dus echt alle hardware gekoeld.
Omdat water wel geleidend is kun je de server dus niet onderdompelen,
waardoor je dus waterkoelblokken nodig hebt wat het een stuk minder efficiënt maakt.

Water mag dan wel beter koelen, maar alle toevoegingen die nodig zijn om het niet te laten kunnen vervuilen zijn meestal geleidend. Zodra er ook maar iets van vervuiling in het water komt gaat het geleiden. Olie is daar veel minder gevoelig voor, ook zorgt olie gelijk voor een smerende werking in de pompen.
Tevens kookt olie pas bij een paar honderd graden, dus als je zo'n Xeon even heetstookt, krijg je niet gelijk een sauna

Puur water is heel erg bijtend, en binnen een half uur is het pure water zodanig verontreinigd dat het al de koperbaantje van o.a. Het moederbord begint aan te tasten. Daarom zal een moederbord van waterschade er niet meteen mee stoppen. Maar na verloop van tijd begint het te bijten aan het koper, en wanneer je de corrosie ontdekt is het vaak al te laat.

En water heeft van de bij kamertemperatuur vloeibare stoffen (wel goed definiëren) een van de beste coëfficiënten. Maar vloeibaar koper koelt bijvoorbeeld beter, maar dat is niet bruikbaar in deze situatie.

Water kookt te snel

Ik neem aan dat ze hun serverbordjes niet boven de 100C willen laten komen dus koken is geen enkele belemmering. En als het wel kookt, phase change cooling, heb je ook nog eens een veel betere hitteopname omdat een faseovergang veel meer enegie opneemt als een simpele verhoging in temp zonder faceovergang.

Dus koken gebeurt uberhaupt niet, en als het gebeurt is het een voordeel ipv een nadeel.

De olie geleidt niet, daarom kozen ze voor olie.

Maw, water is dus een betere optie lijkt mij.

Hang jij je pc maar eens in een bak met water en zet hem aan
Dit soort "koel" olie is speciaal ontwikkeld/uitgezocht dus ik mag aannemen dat het beter geschikt is dan water.

verdomd ja! een beetje naargeestig decor in dat geval.

Dan ga je als sysadmin met je zwembroek en een snorkel even wat hardware vervangen

Maar eerdere DIY projecten hadden toch het probleem dat er na verloop van tijd metaal oploste en dat de boel ging geleiden? Is natuurlijk wel op te lossen met een filtersysteem natuurlijk.

Zou ik niet doen: Soortelijke massa van olie is ongeveer 780Kg/m3 waardoor je hier onmogelijk in kunt drijven. Het zou zijn als proberen te zwemmen met 25 Kg lood om je middel, je zou het niet overleven.

ze gebruiken natuurlijk niet zware zwarte olie maar gewoon lichte mineraal olie het zwemmen daar in is een heel stuk makkelijker

[Reactie gewijzigd door firest0rm op 6 september 2012 14:27]

De stroperigheid is het probleem niet, het is je drijfvermogen. Water (en dus ook vlees) zinkt in olie.

Totdat het gaar is, dan gaat het ineens drijven

Nederlands kampioenschap olieduiken, anyone?

Ik denk persoonlijk niet dat je hierna de olie nog "steriel" kunt noemen

Gelijk een stuk stiller in die datacenters

ipv rack's zo aquaria's in de datacenters

Aquaria is al meervoud van aquarium...

Als ze het al oliedicht maken dan is het natuurlijk een kleine stap om het meteen gasdicht te maken en alle zuurstof eruit te zuigen of te vervangen door een inert gas.

Ook olie brand niet zonder zuurstof natuurlijk, en sowieso brand het pas bij >330 graden.

Daarnaast, als de olie op een gegeven moment te heet wordt dan is het systeem niet goed ontworpen. Je moet meer warmte af (kunnen) voeren dan dat erin gaat, anders wordt het idd steeds warmer. Ik gok dat Intel dat wel ingecalculeerd heeft.

Verder heb ik ooit eens een PC submersion gekoeld met fluorinert (van 3M). Is volkomen inert en heeft een goede warmtecapaciteit. Alleen dat spul is zo duur

[Reactie gewijzigd door raphidae op 6 september 2012 17:08]

Ik stel me vooral vragen bij data aansluitingen:
- kan je nog een utp kabel insteken als de connector ondergedompeld is en een goede verbinding krijgen?
- hoe zit het met fiber connecties? in sommige connector types zit er nl nog een klein luchtlaagje tussen beide fiber cores. Wat als hier olie tussen komt?
- In een van de filmpjes van grcooling vervangt een technieker een geheugen latje zonder de boel eerst af te kuisen, maar is dit realistisch? (de server wordt niet terug opgezet in het flimpje)

Verder lijkt het me een uitstekend idee

- Ja, je kunt nog steeds een kabel insteken. Wat is het verschil?
Veertjes die olie of lucht (ook een prima isolator) moeten wegdrukken. Het insteken zal wellicht iets zwaarder gaan omdat olie wat minder snel aan de kant gaat, maar dat is dan ook alles.

- Voor fiber hetzelfde verhaal, aangezien het een transparante vloeistof is. Open de diverse linkjes in het bericht even en dan zul je hiervan al de testresultaten zien.

- Waarom zou dit problemen geven, zie 1e punt.

Er is op zich niet veel verschillends tussen lucht en olie in deze, vervang het ene voor het andere en alles blijft werken. Het enige echte verschil is de vele malen hogere warmtecapaciteit van olie.

[Reactie gewijzigd door DB LucF op 6 september 2012 16:23]

Wat betreft die fiber aansluitingen:

1) Die olie lijkt misschien wel transparant, maar heeft een heel andere brekingsindex en dempingsfactor als lucht. Zomaar stellen dat dat niet uitmaakt is wel heel kort door de bocht.
2) Kan je me de linkjes bezorgen waar je op doelt? De enige info die ik hierover kan terugvinden zijn deze 2 sumiere regeltjes op de website van GRcooling: "GRC is working on multiple white papers to be added Spring 2011, including fiber optics and general technology." en "The initial, favorable, results are in from fiber optic testing, with the detailed results available upon request." Maw, er is nog helemaal niets gepubliceerd, als je info wilt moet je er naar vragen.

denk dat de utp kabels geen probleem zijn. het insteken zal iets zwaarder gaan denk ik (omdat je de olie moet verdrijven), maar de contactjes zitten tegen elkaar aangedrukt normaal gesproken. eventuele olie wordt daar denk ik wel tussen uit gedrukt.

optische connecties weet ik eigenlijk niet, maar daar zal vast iets op te verzinnen zijn (als er een probleem is).

hoezo zou je het bord schoonmaken (denk dat je dat bedoelt met af kuisen). je krijgt alleen olie op je vingers van het oude latje. mocht er wat olie in je dimm slot zitten verdrijf je dit wel met het induwen van het nieuwe latje. En deze contacten zitten ook aardig strak, denk dat daar ook niet echt een laag olie tussen blijft zitten.

Maar aangezien het bedrijf de manier van vervangen zo laat zien denk ik dat het geen probleem is

Toch lijkt het me helemaal niets.
Gaat er wat stuk mag je een server uit de olie hijsen, dat is te ranzig voor woorden.
Wil ook wel zien hoe dat gaat met RMA als je zo'n HD + een laag olie terugstuurt naar het bedrijf. Schoonmaken moet je namelijk doen met droge doekjes want je spoelt het er niet even af met water...

Pluspunten voor het idee, maar ze kunnen betere iets bedenken wat de hardware niet daadwerkelijk onderdompeld. Misschien dat je iets als dit kan rondpompen in een gesloten systeem ala waterkoeling?
Misschien is het uberhaupt wel eens een idee om "water"(koelwater) koeling professioneel toepasbaar te maken.
Dat dat werken kan is al jaar en dag een gegeven gezien de meeste veel enthausiaste OC'ers het gebruiken in hun HTK bak.

[Reactie gewijzigd door Alpha Bootis op 6 september 2012 13:58]

Mensen, denk eens na hoe een datacenter werkt en wat voor apperatuur ze hebben. Dat is niet te vergelijken met wat je thuis hebt! Servers zijn vele malen betrouwbaarder en gaan niet snel stuk.

Onderdompelen is gewoon een heel goedkope en makkelijke oplossing in vergelijking met een rondpompsysteem. Die slangen leveren alleen maar meer risico dat iets kapot gaat. Dat willen ze juist niet in een datacenter.

En als je ze al wil schoonmaken, hebben ze er vast een schoonmaak opstelling met een zeepspoeling voor.

Werk je zelf wel met servers? Je zegt het wel dat het niet zo vaak voorkomt maar ik heb hier in de praktijk de afgelopen 5 jaar toch wel het e.e.a. moeten vervangen hoor... Natuurlijk niet vaak maar er gaat gewoon wel eens wat stuk.

Server hardware is net zo goed computerhardware en niet magisch onsterfelijk omdat het serverhardware genoemd wordt.

Ik zeg niet vaak en jij zegt niet vaak. wat is het probleem?

Ja tuurlijk met duizenden computers gaat er wel eens wat kapot. Maar niet zo vaak als bij tweakers thuis.
Ik zeg niet dat het eeuwig mee gaat, alleen dat het van betere kwaliteit is en daarom niet zo vaak vervangen hoeft te worden.

[Reactie gewijzigd door gjmi op 6 september 2012 14:32]

Ik snap niet zozeer wat jou probleem is mijn mijn viesie dat dit netter kan eigenlijk , want dat is het natuurlijk wel om te doen gezien datacentra en doorgaans superstrak uit zien.
Je kan servers ook in een geïsoleerde bak bouwen die bestaat uit koelvinnen waar de hitte op afgegeven wordt en dat op een elegante manier op deze manier koelen, blijft de hardware zelf droog.
Zomaar uit mijn hoofd + een voordeel.

Het is niet zo moeilijk iets te bedenken wat net zo goed niet moeilijk is maar wel prijzen voor elegantie kan krijgen.
Sterker nog het kan wellicht zelfs met minder olie als je het anders aanpakt door die bak olie ergens anders te laten staan en de boel af te voeren met heatpipes, als je daar wat standaarden omheen verzint is daar niets moeilijk of duur aan, althans, hoeft het niet te zijn.

Of we blijven gewoon met airco's werken. Heb je ook nog een kamer om naartoe te gaan op te hete zomerdag.

[Reactie gewijzigd door Alpha Bootis op 6 september 2012 14:46]

Als jij van die goede ideeen hebt die de experts niet hebben, dan zou ik maar eens gauw gaan soliciteren

Pluspunten voor het idee, maar ze kunnen betere iets bedenken wat de hardware niet daadwerkelijk onderdompeld. Misschien dat je iets als dit kan rondpompen in een gesloten systeem ala waterkoeling?

Dan zit je weer met allerlei complexe slangen, pompen en koelblokken, dompelen is veel simpeler/goedkoper/robuuster.

Wat is er complex aan een slang, pomp en koelblok? Veel logischer wordt hardware niet. Als je dat moeilijk vind zit je in het verkeerde beroep.

Als ik dit nieuwsbericht lees is het hem te doen om de koelkosten en daarmee eigenlijk automatisch co2 voetafdruk te minimaliseren.
Gewoon je server in een bak olie lazeren is in mijn ogen een nogal neanderthaler manier om hier mee om te gaan en weinig elegante en vooral viezige oplossing.
Goed ontwerp kan hier echter wel wat moois van maken.

Het is niet complex, maar wel duurder en minder simpel en meer arbeidsintensief dan onderdompelen.

Duizenden computers met duizenden slangetjes en pompjes die kapot kunnen gaan, of een paar grote bakken met olie met een paar pompen (die je gemakkelijk dubbel uitvoerd voor als er 1 kapot gaat)...

Datacenters willen zo weinig mogelijk uitval (of de kans daarop). Dus waarom een duurdere oplossing kiezen met meer kans op uitval?

Het gaat niet om mooi, het is een datacenter, daar ga je niet bewonderen hoe mooi de servers wel niet zijn. Ze moeten goed en goedkoop werken, al is dat ondergedompeld in een laag olie.

Dat jij dat vies vindt..... tja...

De tandwielen van de versnellingsbak in je auto (als je die hebt) liggen ook gewoon in olie, het halve binnenwerk van de motor ook....

[Reactie gewijzigd door gjmi op 6 september 2012 14:28]