Microsoft brengt onderwaterdatacenter na twee jaar weer naar boven

Microsoft heeft zijn onderwaterdatacenter voor de Schotse kust weer naar de oppervlakte gebracht en de staat van de 864 servers in de buis onderzocht. Volgens het bedrijf hebben relatief weinig servers problemen vertoond.

Microsoft heeft eerder deze zomer zijn 'datacenter' die bij het Schotse eiland Orkney in zee lag naar boven gevist. De buis met twaalf serverracks lag op een diepte van meer dan 35 meter en moest grondig schoongespoeld worden voordat deze geopend kon worden. Microsoft had de buis in de lente van 2018 onderwater gelaten als onderdeel van Project Natick.

Sinds die tijd analyseerde Microsoft de prestaties en betrouwbaarheid van de 864 servers in de afgesloten ruimte. De hypothese was dat de betrouwbaarheid van servers in een op de zeebodem gelegde afgesloten container hoger zou zijn, onder andere omdat onder deze omstandigheden geen negatieve invloed van roest door zuurstof, vochtigheid, temperatuurschommelingen en mensen zou optreden. Voordat Microsoft de container in 2018 afsloot, vulde het bedrijf de ruimte met stikstof.

In de twee jaar op de bodem van de zee, bedroeg de failure rate een achtste van die van datacenters op land, volgens Microsoft. De BBC schrijft dat het om acht servers gaat die problemen vertoonden. De initiatiefnemers denken dat vooral het gebruik van stikstof en de afwezigheid van mensen die systemen kunnen aanstoten verantwoordelijk is voor de relatief goede probleemratio. De teamleden van het project denken de inzichten te kunnen gebruiken voor de verbetering van datacenters op land.

Volgens projectmanager Ben Cutler kan Microsoft de bevindingen van Project Natick ook gebruiken voor zijn datacenter sustainability-strategie om verbruik, afval en watergebruik te minimaliseren. Cutler voorziet de combinatie van een onderwaterdatacenter met een windmolenpark op zee, waarbij een glasvezelkabel naar het land nog een back-upkabel voor de voeding bevat.

Reacties (194)

In het vorige bericht werd nog gesuggereerd dat dit een test is die gaat bepalen of ze dit gaan uitbreiden. Uit het huidige bericht maak ik op dat het een test was waarvan de uitkomsten worden toegepast in reguliere datacenters. Ik ben benieuwd of het hier bij blijft of dat het vaker toegepast wordt. 1/8 van de storingen lijkt me een redelijke kostenbesparing.

[Reactie gewijzigd door Sharky op 15 september 2020 10:19]

Het is natuurlijk mooi dat er maar 1/8 van het aantal storingen was, maar het lijkt me dat als er een storing is, het een stuk moeilijker en duurder is om die te verhelpen als je niet zo makkelijk fysiek bij de servers kan.

Ga maar even een harddisk vervangen als dat ding op de zeebodem ligt in een afgesloten container... of zelfs als de server gewoon in een gebouw op land zou staan maar in een luchtdichte omgeving gevuld met pure stikstof, dan is het nog steeds stukken moeilijker, tijdrovender en duurder om dat soort onderhoud te plegen.

Dus het is de vraag of het verminderen van het aantal storingen opweegt tegen de extra kosten om storingen op te lossen in zo'n afgesloten omgeving.

Ja dat doe je dus gewoon niet. 8 van de 864 servers is ~1% verlies van capaciteit per twee jaar.
Die moet je dus gewoon maar slikken.
Dat soort werkzaamheden zorgen er dus ook voor vocht en temperatuurschommelingen.
Is het beter om 1 server aan capaciteit te verliezen of 8 reparaties uit te voeren?

[Reactie gewijzigd door crackletinned op 15 september 2020 10:35]

Precies.

Vergeet daarbij niet ook de kosten van beveiliging, locatie en elektra.

Ik kan me heel goed voorstellen dat dit in de toekomst gebruikelijk gaat worden, bij een windmolenpark in de Noordzee worden gewoon ook een stel servers neergegooid, op een plek waar toch al een onderzeese kabel loopt. Die worden gewoon niet weggehaald, totdat het park ook opgeruimd wordt. Meteen groene stroom erbij en efficiënte koeling.

Daarnaast kan je slimme keuzes maken in welke servers je hier neerzet, dus juist niet je storage vol met harde schijven, maar compute/memory intensive servers die minder onderhoud behoeven, meer hitte produceren en een lagere failure rate hebben.

Het fysiek beveiligen van een dergelijke infrastructuur lijkt me geen sinecure eerlijk gezegd.Groot net er om heen en een stuk of 100 witte haaien laten patrouilleren lijkt me ook geen optie.

Daarnaast vraag ik me ook af of kosten en baten wel tegen elkaar opwegen vs een vergelijkbare opstelling op het land. Een grote kuil van 30 meter diep met een tunnel naar de ingang zou m.i. een enigszins vergelijkbare situatie kunnen creeëren.

Jouw grote kuil gaat wel helaas afschuwelijke koeling geven, grond houdt erg goed warmte vast en beweegt niet (of als het dat wel doet heb je nog een groter probleem), dus je moet bovengronds alsnog vanalles doen om de servers redelijk gekoeld te krijgen. En dan heb je de problemen van buitenlucht, dus geen homogeen niet-reactief gas erbij.

Als je deze dingen bij windmolenparken legt (wat het plan is), dan deel je waarschijnlijk de beveiliging (die aanwezig maar spaarzaam is, het is verboden hier in de buurt te varen), en is de container opheisen erg veel werk en buiten opheisen kan je enkel destructief aanvallen, of het krijgt een hoog James-Bond gehalte.

Ondergronds op 30 meter brengt erg veel uitdagingen qua bouw met zich mee, overigens. Denk o.a. aan de tram/zwemtunnel in Den Haag en hoe lang dit duurde. Al met al zie ik erg veel nadelen.

Vergeet niet dat een bestaande ondergrondse bunker hergebruiken als datacenter iets is wat een hoop praktischer is en zeker al gedaan wordt (o.a. CyberBunker was een zeer dubieuze partij, maar er schijnen ook minder dubieuze opties te zijn die nu nog draaien).

Ik denk eigenlijk dat die beveiliging nog wel zal meevallen.

Je kan toch niet zomaar de deur opendoen en binnen wandelen? Op james-bond-gewijs gaten branden en binnensluipen zal ook wel één of andere sensor opgepikt worden.

Het lijkt me standaard al een stuk veiliger dan op land

Op james-bond-gewijs gaten branden en binnensluipen zal ook wel één of andere sensor opgepikt worden.

Plus het feit dat het datacentrum dan geheel volloopt met zout zeewater

Sabotage is een stuk makkelijker dan data stelen.

Ik zat dan ook niet te denken aan data diefstal maar sabotage. stroomkabeltje doorknippen, gaatje boren, o.i.d. Uiteraard zijn daar ook weer oplossingen voor maar vandaar mijn punt over kosten/baten.

Nou, er zijn ook twee Nederlandse marineschepen van de bodem verdwenen die als oorlogsgraven dienden.

Camera er op en klaar Het valt wel op als er een schip boven hangt om een serverruimte op te hijsen. Er zit geen deur in ofzo.

Heb je die container gezien? Na 2 jaar vol gegroeid met algen. Denk je dat een camera zichzelf schoon houdt of moet er iedere 2 weken iemand de lens gaan schrobben?

Een normaal datacenter heeft ook gewoon 24 uurs beveiliging, ik zou niet weten waarom dat hier niet kan. In plaats van in een kantoortje zit ie dan in een bootje met wat meetapparatuur. En iedereen die in een x-zone komt kan je gewoon oppakken/wegsturen.
Volgens mij hoeft de beveiliging van zo'n sloot tube's onderwater helemaal niets zo heftig anders te zijn dan een normaal DC op land.

[Reactie gewijzigd door Polderviking op 16 september 2020 10:49]

In de snelheid van groei die op dit moment plaatsvind binnen de op land gebaseerde datacenters voor Microsoft worden er ook geen servers vervangen. Ze worden uitgezet en op het moment dat x% van een rack stuk is wordt hele rack vervangen (of gewoon uitgezet en laten ze staan)

Het is niet rendabel om nog individuele componenten te vervangen (of servers). Mocht dit op grote schaal gaan gebeuren dan zullen de componenten die stuk zijn gewoon worden uitgezet en via softwarematige HA en DR oplossingen doorwerken op de gedeeltes die het nog doen.

Economisch gezien heb je denk ik wel gelijk, arbeid is duur. Dat geldt zowel op land als op zee, maar hier nog wat meer.
Maar ruimte- en milieu technisch gezien?
Laat je die dingen dan voor de rest van hun bedachte levensduur kapot zijn? Hoe makkelijk je ze ook kan repareren/vervangen'?

Als ze op grotere schaal op deze manier servers onder water plaatsen, hoe lang blijven ze daar dan?
En wat is de impact, in welke vorm, op de plaatselijke natuur?

De impact op de natuur die ik kan bedenken is het opwarmen van het water op de plek waar dat ding ligt. Hierdoor kan je dus wellicht planten en dieren afstoten of juist exotische soorten aantrekken. Met één zo'n ding zal het effect minimaal zijn maar als je er veel meer bij elkaar in zee gooit kan je de natuur wel verstoren.

Dat valt heel erg mee. Omgeving moet je hier definiëren als: "binnen een halve meter". Dat wil zeggen er is een mogelijke impact, maar die is lokaal en beperkt tot waar de pods zich bevinden.

Zonder stroming zou een pod het water binnen een halve meter van de pod 1,5 graden warmer maken dan de omgeving. Dat is een significant verschil, maar nog steeds binnen acceptabele waarden in de noordzee. Met een getijde stroming en bepaalde aannames voor de turbulentie e.d is het effect nagenoeg 0,0 voor de omgeving.

Voor Nederland zou dat betekenen: voorzichtig en extra onderzoek in het ijsselmeer, prima 300m uit de kust.

Dat valt heel erg mee. Omgeving moet je hier definiëren als: "binnen een halve meter". Dat wil zeggen er is een mogelijke impact, maar die is lokaal en beperkt tot waar de pods zich bevinden.

Of dat meevalt is nog maar te bezien. Althans als je, zoals @Piemol aangeeft, op grotere schaal servers op de zeebodem gaat plaatsen. Alleen Google al verbruikt met haar Nederlandse data centra circa 130 MW aan stroom. De warmte die dat bij elkaar produceert is een hele grote waterkoker. Hoewel het echt wel even duurt voordat je de Noordzee een paar tienden van graden hebt opgewarmd is 130 MW niet meer de categorie "boiling the ocean with a matchstick". Op de schaal van het IJsselmeer moet je je denk ik op termijn (de warmte afgifte is continu) al zorgen gaan maken.

Bottom line: een mooi idee en wellicht ook op schaal interessant. Maar daar moet je echt eerst goed onderzoek naar doen.

130 MW klinkt heel erg veel. totdat je bedenkt dat dat de hoeveelheid warmte is die de zon afgeeft aan diezelfde zee op een oppervlak van zo'n 400x400 meter. Als je wil compenseren voor dag/ nacht zeg 1200x1200 meter.

130MW heeft grofweg net zoveel effect op de temperatuur van de zee als de zee een vierkante kilometer groter maken. Gezien Nederland alleen met polders al 100 vierkante kilometer heeft afgesnoept van die zee zit dat wel goed

Er wordt sowieso nu bij windmolenparken genoemd. Die krijgen we gelukkig niet op het IJsselmeer. Edit: dus wel

Dan kan je speculeren over een lokale verstoring van het ecosysteem, maar die heb je daar nu toch al ontzettend: omdat er geen vissers tussen de windmolens mogen heb je ineens daar een hele toename van vis die daar lekker beschut zit, en er makkelijk zeeplanten en dieren aan de windmolens hechten. Sowieso geen "natuurlijke" situatie dus.

[Reactie gewijzigd door Niet Henk op 15 september 2020 13:47]

Naar het schijnt worden zeezoogdieren doof van windmolens, nog een reden voor visjes om daar uit te hangen.

Dit is enkel bij het bouwen, bij het heien van de palen worden de trommelvliezen beschadigd. Als de molens gebouwd zijn is dit niet meer het geval.

Tevens is er een apparaat wat specifieke tonen uitzend om vooraf de kwetsbare zoogdieren af te schrikken, een zogeheten acoustic harassment device. Een kennis van mij heeft onderzoek gedaan naar deze apparaten specifiek om dit te voorkomen bij de bouw van windmolenparken, met goede resultaten, ik weet echter niet zeker of dit nu ook in de praktijk wordt toegepast.

Er was vorige week (of zo, gekke tijden tegenwoordig) weer een wetenschapper die dove (en dus dode) dolfijnen had aangetroffen nabij windmolenparken. Ik vrees dat voortschrijdend inzicht niet perse met terugwerkende kracht wordt toegepast. Ach, nog altijd beter dan bruinkool.

Er wordt sowieso nu bij windmolenparken genoemd. Die krijgen we gelukkig niet op het IJsselmeer.

Was dat sarcastisch bedoeld? ;-)
https://www.nrc.nl/nieuws...t-een-vogel-niet-a4007761

Oeps, dacht dat ze dat nog niet vol gingen bouwen maar dat had ik dus verkeerd...

Sterker nog, er staan al windmolens in het IJsselmeer. Bij de kust van de Noordoostpolder

Volgens mij is het IJsselmeer niet echt diep genoeg. Volgens mij is het bijna nergens dieper dan 5 meter

Volgens wikipedia gemiddeld 5,5m. Max diepte zo'n 7m
Bron: https://en.wikipedia.org/wiki/IJsselmeer

Dit zal minder opwarming geven dan op het land.

Op het land heb je voor de koeling apparatuur nodig die van zichzelf al warmte creëert. (airco's/compressors).
In zee niet dan is water van zichzelf voldoende koud.

Resultaat de hoeveelheid warmte die je in de natuur dumpt zal in totaal een stuk minder zijn.

Klopt, maar lokaal zal dit voor meer verwarming zorgen dat lokaal rondom een datacentrum het geval is, daar wordt op gedoeld.

Erm... Nee, je maakt een denkfout. De warmte uit een landdatacentrum wordt ook afgegeven aan de omgeving. Iets als een airco of wat voor 'koel' installatie zorgt er alleen voor dat het op plek X kouder en dat het de warmte verplaatst ergens anders naartoe, er verdwijnt geen warmte (tenzij je warmte kan omzetten naar een andere vorm van energie die je kan opslaan). Die airco's kosten stroom, stroom wordt (indirect) omgezet in warmte. Dus een landdatacentrum zal over het algemeen (veel) meer warmte afstaan aan de omgeving dan dit soort zee containers ivm. dat er geen enorme installaties nodig zijn om de boel te koelen, die enorm veel stroom trekken.

En dat zal inderdaad op beide locaties niet goed zijn voor het milieu, maar uiteindelijk heeft de zeecontainer minder totale impact op de aarde 'biosphere'. Helemaal als je ook de deployschepen elektrisch maakt ipv. diesel...

Niet al te hard overdrijven: moderne koeling heeft cicra 10% overhead. Maar goed, 10% besparing is nog steeds de moeite.

Helemaal begrijpen doe ik het niet, maar op de 1 of andere manier schijnt energie wel te kunnen verdwijnen.

https://www.avrotros.nl/d...l/item/koelen-met-geluid/

Als dit goed werkt snap ik niet dat er nog niet veel meer worden verkocht.

Als ik het filmpje kijk hebben ze het over 25kWatt energie halen uit 50kWatt restwarmte. Dus goed dat de helft van de energie kan worden hergebruikt, maar verdwijnen doet het niet. Feitelijk doet een stoommachine iets gelijks: de (rest)warmte van de kachel wordt gebruikt om mechanische energie te genereren.

Het zou nog beter zijn als je helemaal geen warmte zou genereren, maar dat kan dus nog niet voor de besproken koffiebrander.

Zoals ik schreef, ik snap niet hoe ze het doen, maar schijnbaar worden deze dingen, waar je veel hitte in moet stoppen, via de tussenstap van geluid, ingezet als koelers.

En als die restwarmte dan normaal gesproken de lucht ingaat en dan die lucht dus verwarmd en hiermee dus niet lijkt me dat geweldig.

Je legt nu weer hetzelfde uit. Ik snap dat het totale energieverbruik lager is (kan zijn eigenlijk, want we weten t niet).

Maar afhankelijk vd stroming verwacht ik dat het water lokaal meer zal opwarmen dan de omgeving rond een datacenter dat zal doen.

Maar de omgeving is toch het zeewater? En dat zal de warmte toch redelijk snel verspreiden?

Er is niet zoiets als lokaal. Ja, echt tegen de capsules aan zoals hierboven als genoemd. Maar de stromingen van de zee zijn gigantisch En de zee stroomt snel.

Check
https://images.app.goo.gl/84Yox46b2dD3Fkb66

Lava kan amper het zeewater tot een graad of 80°C opwarmen binnen een meter van het contactpunt, een 100 meter verder zit je al direct terug op normale zee temperaturen. Denk niet dat een data center een probleem gaat vormen.

Waarom niet? Servers hebben een levensduur van 5 jaar voor veel toepassingen. Aangetoond is nu dat er een lage MTBF is. Na 5 jaar is er na verwachting, gebaseerd op dit experiment, ongeveer net zoveel kapot als in een gewoon serverpark na 1 jaar.

Na 5 jaar haal je gewoon 1 van deze containers omhoog, schuif je er een nieuw rek in en laat het weer zakken. De extreem goedkope koeling en locatie-prijs doen waarschijnlijk de rest van het economische plaatje

Invloed op de omgeving is minimaal.

dat zij nu juist de punten van het expiriment om de zowel de feasability als de natuur en ecologische impact te bepalen.

Ik denk dat het voor velen niet zozeer gaat om de afgenomen capaciteit, maar wel voor dataherstel (waar je dus lang op moet wachten tot je weer bij de data van de kapotte server kan). Redundantie is dus erg belangrijk, maar dat lost niet alle problemen op.

Daarnaast is het wel de vraag hoe de hardware dan stuk gaat. Als je moet blussen, dan maakt dat alle data stuk. Met meer stikstof krijg je natuurlijk wel minder snel een fik, maar het is volgens mij niet onmogelijk. Het feit dat er niets zo kapot is gegaan, lijkt me ook 1 van de belangrijke uitkomsten van dit project.

Ik ben ook nog benieuwd wat de temperaturen zijn geweest en hoeveel ze het zeewater eromheen hebben opgewarmd. Maar de grootste vraag lijkt me wel: is het rendabel? Ik kan me voorstellen dat het neerleggen, van stikstof voorzien en daarna weer opgraven toch aardig duur is. Voor dit experiment wellicht minder van belang, maar wel een reden om door te gaan of niet.

Wanneer dit een mega cluster waar je een berg redundantie in zowel compute als storage hebt, is dataherstel niet relevant en wordt een defecte server gewoon niet meer gebruikt.

Daarnaast is het wel de vraag hoe de hardware dan stuk gaat. Als je moet blussen, dan maakt dat alle data stuk. Met meer stikstof krijg je natuurlijk wel minder snel een fik, maar het is volgens mij niet onmogelijk. Het feit dat er niets zo kapot is gegaan, lijkt me ook 1 van de belangrijke uitkomsten van dit project.

Zolang er geen zuurstof aanwezig is, is het echt onmogelijk. Als ze die buis inderdaad vacuum hebben getrokken en daarna gevuld hebben met puur stikstof kan er dus geen brand in ontstaan.

'Klassiek' vuur, dus stoffen die verbranden in zuurstofhoudende atmosfeer is inderdaad niet mogelijk. Maar er zijn ook chemische reacties mogelijk tussen de materialen onderling in de apparatuur, die wel degelijk hitte, vlammen en rook produceren. Het meest voor de hand liggende voorbeeld zijn accu's. Een uitbrandende accu kan een hoop rook- en hitteschade veroorzaken.

Het zou me ook niet verbazen als er een energiebuffer in de vorm van een stapel accu's aanwezig is.

Weer wat geleerd! Blijkt dat niet zuurstof, maar een oxidant een van de drie benodigde onderdelen van vuur is. Zuurstof is gewoon de meest gebruikelijke oxidant, maar het kan bijvoorbeeld ook chloor- of fluorgas zijn.

Tijd om m'n geld terug te vragen bij de natuurkundeleraar van dertig jaar geleden.

[Reactie gewijzigd door HooksForFeet op 15 september 2020 12:13]

De oxydator hoeft niet eens een gas te zijn. Buskruit doet het ook in vacuum.

En er zijn natuurlijk ook nog stoffen die zichzelf ontleden. Die noemen we explosieven

Buskruit bevat zuurstof gebonden in een kaliumzout: KNO3, kaliumnitraat.

Tijd om m'n geld terug te vragen bij de natuurkundeleraar van dertig jaar geleden.

Je toenmalige scheikundeleraar hier: ga inderdaad maar even informeren bij mijn oud-collega

Ga je nou je oude natuurkunde leraar lastig vallen over een scheikundige kwestie?

Geloof het of niet maar wij kregen op de havo de vuurdriehoek bij natuurkunde. Nog een reden om m’n geld terug te vragen.

Als je moet blussen, dan maakt dat alle data stuk. Met meer stikstof krijg je natuurlijk wel minder snel een fik, maar het is volgens mij niet onmogelijk.

Er zat geen zuurstof in de tank, dat betekent dus dat fik dus onmogelijk is. Zonder zuurstof geen vuur.

Nee, een fik heeft brandstof en een zuurstofcomponent nodig. Zuurstof kan ook ergens anders in zitten als dat niet uit de lucht komt. Het betekent alleen dat er geen zichtbare vlam is, maar dat maakt het nog niet meteen onmogelijk. Nou is het even van de hardware afhankelijk of er een zuurstofcomponent aanwezig is, maar zeg nooit nooit.

Nee, een fik heeft brandstof en een zuurstofcomponent nodig. Zuurstof kan ook ergens anders in zitten als dat niet uit de lucht komt. Het betekent alleen dat er geen zichtbare vlam is, maar dat maakt het nog niet meteen onmogelijk. Nou is het even van de hardware afhankelijk of er een zuurstofcomponent aanwezig is, maar zeg nooit nooit.

Brand is eigenlijk een felle oxidatie reactie.
Wij zien dit vaak als een reactie tussen brandstof en zuurstof.

Tijdens mijn opleiding heb ik filmjes gezien van een oxidatie reactie van natrium (brandstof) en chloorgas (oxidator), met "vlammen" en al.

Nu helpt stikstof wel in het voorkomen.

Dataherstel? Als in een datacenter op het land een schijfje uitvalt hoef je ook niet te wachten tot de schijf vervangen en de backup teruggelezen is.
Redundantie zorgt dat de data beschikbaar blijft, als de schijf vervangen is wordt deze weer opgenomen in het cluster. Dat vervangen zal onder water simpelweg niet gebeuren. Na vijf of misschien wel zeven jaar wordt het hele cluster vervangen door een nieuw.

De failure rate is 1/8 vergeleken met de normale 'landopstelling'. Dus het percentage defecte servers zou wel eens een stuk hoger kunnen liggen.

Volgens het artikel:

De BBC schrijft dat het om acht servers gaat die problemen vertoonden.

.
Het gaat dus om 8 van de 864 servers die problemen vertoonden.

Er staat in het artikel dat de failure rate 1/8 vergeleken met een normaal datacenter was, maar ook dat dat in absolute getallen om 8 defecte servers ging. Die 1% van @crackletinned klopt dus gewoon. Het is gewoon toeval dat 1/8 in dit geval uitkomt op 8.

en op land zouden dat dus 64 servers zijn geweest (8x8)

Dat is 1/8 van wat er op land gemiddeld kapot gaat, wat dus 64 servers zouden zijn, of ~8%.

Klopt. Dat doen ze nu ook al niet bij grote datacentra. Stuk is stuk, en op een gegeven moment is de hele hal te oud en vervang je gewoon alles in 1 keer. Het hoeft ook maar een beetje energie-efficienter te worden met nieuwe hardware en het kan al uit om alles te vervangen.

Zie het als een vervanging van scheepscontainer-based datacenters. je krijgt een complete container aangeleverd met daarin 864 servers. De container en de servers er in zijn volledig high-available ingericht. Dus storage tiering, storage replicatie, netwerk redundantie, een overcapaciteit aan CPU en RAM.

In dergelijke containers wordt een defecte harde schijf niet vervangen. Die laten ze lekker zitten. Pas als er > 20 % van de servers storingen vertoond en er dus misschien redundantie issues kunnen gaan optreden, wordt de container vervangen, want er staat in zo'n datacenter niet 1, maar wel 20 containers, die onderling ook voor extra redundantie zorgen.
Je zou dus een zo'n container kunnen zien als een enkele node in een cluster. Node uit het cluster halen, container verwijderen, nieuwe container plaatsen en terug in het cluster zetten. Cluster zelf zorgt er weer voor dat storage, CPU en RAM weer eerlijk over alle container-nodes wordt verdeeld.

Als een 'zeecontainer' zoals deze dus maar 1/8e van de storingen heeft t.o.v. een regulier datacenter, zou je dus ook minder vaak de gehele container hoeven verwisselen en daarmee bespaar je dus ook kosten
Nog een extra bijkomend voordeel. In het filmpje van google (toegegeven is al wat ouder) is pakweg 25% van het vloeroppervlak van dat datacenter gereserveerd voor koeling. Daar heb je dus op 35 m onder water geen last van. Daarnaast zal het ontbreken van koeling een een aardige besparing op stroomkosten zijn.

Ik vind het een mooi idee en ik hoop dat dit goed doorontwikkeld wordt. Je zou in theorie ook een datacenter zo in een inham van de Maas of de Rijn kunnen leggen, zorg voor elektriciteitsopwekking door middel van het stromen van de rivier en je bent weer een heel stuk groener bezig.

Daar heb je dus op 35 m onder water geen last van.

Als ik het me goed herinner, liep er ook een onderzoek naar wat er met het zeeleven rondom gebeurt door de lokale opwarming van het zeewater. Nou is één datacenterbuis misschien wat te weinig voor enig effect. Maar bij een paar honderd van die dingen bij elkaar wordt het wel interessant.

Ergens anders in dit draadje is hier al iets over gezegd.
Als de container in stilstaand water zou liggen, zou de omgevingstemperatuur van het water (dus tot ongeveer een halve meter van de container af) met 1.5 graad stijgen.
Dat klinkt als heel veel, maar dan hebben we het pakweg 50 badkuipen met stilstaand water. Water in de zee staat voor zover ik weet niet stil, dus die 1.5 graad stijging zal niet bereikt worden. Ook is het dan nog eens zo dat alleen de zon al meer water in 1 minuut opwarmt dan een dergelijke cilinder die de hele dag actief is. De zon zelf warmt het water tot pakweg 1 meter direct op, waarna het tot wel 100 meter diepte wordt afgevoerd. De cilinder ligt op 35 meter diepte en doet daar dus hetzelfde.

Ik zal niet zeggen dat er geen invloed is op de watertemperatuur, want die is er wel, maar deze is te verwaarlozen met de invloed van de zon op de watertemperatuur. Zeker als je indenkt hoeveel warmte er bijvoorbeeld door een golfstroom wordt afgevoerd uit de tropen richting de polen.

In de Golfstroom kunnen stroomsnelheden van 3 meter per seconde voorkomen, waardoor de scheepvaart en dan vooral de zeilvaart er enige hinder van kan ondervinden. De Golfstroom vervoert per seconde tot 1,5×108 kubieke meter water, dat is meer dan 100 keer zo veel als alle rivieren in de wereld. De stroom vertegenwoordigt 5 petawatt (5×1015 W) vermogen, wat overeenkomt met ongeveer drie miljoen moderne grote kerncentrales.

Dus de energie die uit de datacentercilinders komt is wel te verwaarlozen. Zelfs al zijn het er 500.

Alleen naast energie produceert zo'n datacentercilinder nog een heleboel andere dingen.

Bijv : Geluid, onnatuurlijk spul op de bodem etc etc.
En daarvan is het maar net de vraag wat dat met de flora en fauna gaat doen...

Wat betreft onnatuurlijk spul op de bodem lijkt me het antwoord al vrij duidelijk. De cilinder zit onder de zeepokken en wier. Dus dat zal weinig issues opleveren.
Geluid kan inderdaad wel een issue zijn of worden en het lijkt mij dat daar rekening mee is gehouden. Je kunt zien dat alle servers via een rails in de cilinder zijn geschoven, om ook schokken te voorkomen zal die rails via rubbers of iets van een dempende vering zijn verbonden met de cilinder. Schokken opvangen is ook geluid dempen. Maar de servers zelf zullen inderdaad ook wel geluid maken.

Ik vraag me inderdaad af hoeveel geluid er uit de cilinder in zee terecht komt en hoe dit geluid zich verhoudt tot bootschroeven, het geruis van windmolens of gewoon het geluid van de branding.

Dus het is de vraag of het verminderen van het aantal storingen opweegt tegen de extra kosten om storingen op te lossen in zo'n afgesloten omgeving.

Waarom zou je individuele storingen oplossen? Alles is redundant, van individuele onderdelen tot gehele servers.

Al zou men dit op grote schaal doen, dan zou men een geheel onderwaterdatacenter vervangen zodra een vooraf vastgesteld degradatieniveau bereikt is. Men gaat zich dan niet meer druk maken over kleine storingen.

[Reactie gewijzigd door The Zep Man op 15 september 2020 11:51]

Wat is er lastig aan het dragen van een ademluchtmasker?
Luchtsluis tussen de gewone wereld en de server ruimte. Luchtsluis afvullen met stikstof als er iemand de serverruimte in moet, dat is echt geen rocket science.

~78% van de gewone lucht bestaat uit stikstof.

Op ademen na kan je in stikstof met normale temperaturen prima rondlopen.
Niet voor super lange tijden want ook de huid zelf ademt, maar het vervangen van iets in een datacenter met een ademlucht setje op moet toch kunnen.

Groot voordeel: Geen zuurstof? Geen brand!

[Reactie gewijzigd door EwickeD op 15 september 2020 10:39]

Heb jij wel eens een duiker gezien?
Wat denk jij, dat al die bellen zijn, die uit zijn ademautomaat komen?
Hoe wil jij die bellen gaan afvangen in een met stikstof gevuld datacentrum, zodat er toch geen CO2 en vocht in de omgeving komt? Moet men dan een ruimtepak gaan dragen?

Dat is wachten op de eerste dode. Ook is zo'n opstelling erg duur om te onderhouden, zeker voor zo'n enorme ruimte.

Aan iedere ruimte/plek waar mensen zich zullen begeven is er altijd kans op een ongeluk met een mens.
Duikers en brandweermannen wagen dag in / dag uit hun leven met ademluchtflessen, het is echt geen russisch roulette.

En als die opstelling zich terugbetaald met veel betere performance en reliability van je verdienmodel... ;-).
Wat is er overigens te onderhouden aan een gasdichte ruimte afgevuld met stikstof? Niet bijzonder veel hoor.

Dat is misschien waar, maar als ik dat zou moeten doen... wil ik toch wel een gevarenpremie. Dit valt echt niet tot mijn standaard takenpakket (ook al zullen ze dat dan wel beargumenteren)

Daar heb je gelijk in, extra training die überhaupt nodig is helpt je heel sterk in zo'n geval.
Ik kan me zo indenken dat die gevarenpremie echt wel op weegt tegen die 8 keer hogere failure rate ;-).

Nope, je krijgt geen gevarenpremie, er vindt gewoon geen onderhoud aan die dingen plaats.

Als er genoeg uitval is dan wordt gewoon het hele ding vervangen en na x tijd wordt dat ding automatisch vervangen omdat er nieuwere / efficientere hardware is.

Wel eens geprobeerd om te werken met leeflucht? Dat is nog best pittig. Daarnaast moet je met zijn tweeën naar binnen, of een goed reddingsproces hebben en zo zijn er nog wel wat haken en ogen aan werken in een zuurstof-arme omgeving.

Zo zijn er ook nogal wat haken en ogen aan datacenters waar mensen in en uit lopen, brand kan ontstaan, vocht in de lucht hangt in combinatie met aanwezige zuurstof.

Tsja, het leven an sich is helemaal niet makkelijk als je er echt over na wilt gaan denken.

Natuurlijk zitten daar haken en ogen aan, maar de wetgever verwacht dat we in de eerste plaats de omgeving veilig maken en alleen als dat echt niet kan, PBM's in gaan zetten.
Daarnaast dwing je op deze manier extra warmtewisselaars af, want je recirculatiemedium (stikstof) is een ander dan je warmteafgifte medium (lucht). Ik vraag me serieus af of die kosten (landed capital+verzekeringspremies) voordelig uitpakken voor een stikstof datacentrum.

Servers waar mensen bij moeten kunnen nemen vele malen meer ruimte in dan zoiets, dus de ruimte die je luchtdicht en compleet stikstof moet maken is al een stuk lastiger.

Dan heb je nog koelen, hoe ga je dat doen? Normale luchtkoeling is lastig omdat je moet die stikstof in die ruimte afkoelen. Waterkoeling is misschien een optie maar moet dan ook over een lange afstand.

Al met al wordt het al gauw een stuk duurder en riskanter.

Niet dat alleen, wat voor load hadden de servers tov hun referentie data? Want ik lees nergens dat ze een identieke opstelling hadden staan met dezelfde load bijgevolg is het bewijs niet volledig zuiver wat mij betreft.

Natick was used to perform COVID-19 research for Folding at Home and World Community Grid.

De servers hebben de afgelopen 2 jaar dus flink nummer lopen crunchen voor een goed doel.

The servers in Natick Northern Isles showed a failure rate of 1/8th that of our land-based control group.

Microsoft zal voor zo'n test deze servers nooit integreren in een openbare dienst als Azure.

[Reactie gewijzigd door Ethirty op 15 september 2020 10:42]

Ik denk dat Microsoft meer dan voldoende datacenters heeft om vergelijkbare data aan te kunnen leveren. Geen enkele server of geen enkel serverpark draait dezelfde load bovendien.

dat zou toch de bedoeling moeten zijn van een test, dat je een vergelijkbaar testpark hebt staan. Nu dankzij het antwoord van @Ethirtyweet ik dan wel weer het antwoord :-). Daar kan ik uit afleiden dat ze wel degelijk een vergelijkbaar park op de grond hadden staan :-).

[Reactie gewijzigd door Yoshi op 15 september 2020 12:49]

dat zou toch de bedoeling moeten zijn van een test, dat je een vergelijkbaar testpark hebt staan.

Nee, dan heb je namelijk nog steeds te maken met flukes etc die je getallen beinvloeden.

Je wilt gewoon een gemiddelde van een zooitje datacenters nemen wat de flukes al uitsluit op je landdata...

Daarvoor is het aantal te klein.

Ik begrijp ook niet waarom die buis onder water moet...
Op land kan je zo'n ding toch ook met stikstof vullen en hermetisch afsluiten ?!?

Maar op land heb je geen constante temperatuur. Onder water (als je diep genoeg zit) heb je vrijwel continue dezelfde temperatuur. Op land zul je een dergelijke tank moeten gaan ingraven..

Daarnaast verwacht ik dat ze middels het zeewater en een warmtewisselaar ook de ruimte hebben kunnen koelen.. (afvoer warmte van processors e.d.). Op die manier hebben geen traditionele airco systeem nodig gehad. Voor veel data centers vormt koeling een aanzienlijk deel van hun energie rekening..

Een groot deel van het energieverbruik van een datacenter is koeling. Onder water is die zowat gratis en de fysieke toegangsbeperking is ook inherent aan de opstelling.

gratis koeling? Is 40% van de kosten van het draaien van een server of zo.

Omdat er meer ruimte is in de zee en je de water als koeling gebruikt. Land is duur.

Volgens mij heeft dat te maken met temperatuur consistency. Als je op voldoende diepte ligt blijven temperaturen redelijk stabiel.

Ze hebben daar een constante temperatuur die ze niet tot verwaarloosbaar opwarmen, dat lukt je niet op land. In een datacenter is koeling een van de grootste problemen, kost gigantisch veel stroom en je moet die hitte ergens kwijt.

Maar dan heb je nog niet de stabiele temperatuur. Dat valt natuurlijk wel te regelen met de nodige klimaatinstallaties, maar dat vraagt een hoop energie. Onder water krijg je die stabiliteit gratis.

Voor (gratis) koeling en om temperatuurschommelingen tegen te gaan.

Microsoft heeft Service Credits met Uptime voor bedrijven

<99.9% vergoeding -> 25%
< 99% vergoeding ->50%
< 95% vergoeding -> 100%

Dus ik gok dat juist die downtime zo belangrijk is en als dat met een factor 8 afneemt dan kunnen ze er rekening mee houden en aangezien je met verschillende datacenters zit zou je ( Microsoft met jouw als klant) dus als er iets fout gaat tijdelijk over kunnen schakelen.

Het testen van de Thesis kan aardig centen opleveren in de toekomst.

https://azure.microsoft.c...r%20availability%20issues.

[Reactie gewijzigd door Zyphlan op 15 september 2020 10:38]

Het gaat niet over downtime, het gaat over hardware falen.

Hardware falen leidt zelden tot downtime als je je datacenter goed hebt ingericht. Het leidt enkel tot kosten omdat je de weggevallen capaciteit moet vervangen of aanvullen.

Ik ben geen IT-er dus kan incorrect zijn maar als je de kennis nu opgedaan combineert met een goed ingericht datacenter dan zou het toch in theorie kunnen betekenen dat je nog minder uitval hebt en dus minder kans op downtime? ( puur logische redenatie maar IT wil ook wel is niet logisch zijn )

Hoezo "storingen oplossen"? Ik mag toch aannemen dat er voldoende rekening mee gehouden wordt bij het berekenen van de gewenste redundancy, dat er ruime overcapaciteit aanwezig is en dat uitgevallen hardware mág uitvallen...? Deze testperiode van twee jaar heeft al aangetoond dat, met een kleine mate van "overkill/overhead", de productiviteit er absoluut niet onder hoeft te lijden.

Als je op deze manier gaat werken wordt de maintenance totaal anders ingericht. Een device met een storing neem je gewoon uit service. Google is hier jaren geleden al mee begonnen. Zij gingen als 1 van de eerste werken met standaard, goedkoop spul in hun data centers waar anderen hele dure purpose built machines gebruikten. Als daar een probleem mee was moest het binnen een paar uur worden gerepareerd. Google ging goedkoop spul gebruiken en bouwde de middleware zodanig dat kapotte devices uit services werden genomen. Eens in de maand ging men kapotte spullen verwijderen of vervangen. Die manier van werken heeft ze een gigantisch kostenvoordeel opgeleverd. Nu met cloud computing begint dat gemeengoed te worden. Ik zie het ook bij mijn klanten. In het verleden hadden we SLA met 4 uur reparatietijd. Tegenwoordig wordt die tijd steeds langer waardoor de OPEX flink afneemt.

Mja het is ook niet zo raar, de meeste taken die servers uitvoeren kun je prima op meerdere locaties opslaan en met meerdere machines laten berekenen en verwerken. Dan is een kapotte schijf niet zo belangrijk. Het herstellen van de data is dan belangrijker. Dat is volgens mij ook de reden dat veel datacentra niet zoveel grotere schijven is gaan gebruiken, want dan kost dat herstellen gewoon langer. Dan is het makkelijker om 10 schijven van 1TB te pakken, dan 1 van 10TB. De kans dat die alle 10 kapot gaan is klein en kost een fractie van een tijd om te herstellen vs de 10TB schijf. Uiteraard heb je met raid wel wat meer schijven, maar het voorbeeld blijft vergelijkbaar.

[Reactie gewijzigd door Martinspire op 15 september 2020 11:10]

Het is uiteraard afhankelijk van de schaalgrootte maar het vervangen van harddisks e.d. kan in principe al door een robotsysteem worden gedaan.
Je moet dan alleen een voorraadje spares voorhanden hebben in de buis ( en een vuilnisbak waar je de overleden onderdelen in kunt dumpen)

Het is natuurlijk mooi dat er maar 1/8 van het aantal storingen was, maar het lijkt me dat als er een storing is, het een stuk moeilijker en duurder is om die te verhelpen als je niet zo makkelijk fysiek bij de servers kan.

Je maakt hier een denkfout, namelijk dat je er vanuit gaat dat Microsoft een hardwarefout wil (laten) repareren. Dat willen partijen als Microsoft, Amazon en Google namelijk niet. Deze partijen kopen servers namelijk niet per stuk, maar per container in en een kapotte harddisk boeit ze geen reet. Het uitzetten van de server of het desbetreffende stukje hardware is simpelweg goedkoper dan het vervangen ervan.

Je hoeft immers geen duur personeel aan te nemen en je hoeft ook geen duur onderhoudscontract voor een HP server af te nemen. Direct winst dus.

Als de apparatuur na een paar jaar is afgeschreven, worden ze doorverkocht voor de beste prijs en wordt de kapotte hardware alsnog wel vervangen.

Op de schaal van Amazon/AWS vervang je geen harddisks, servers of zelfs individuele racks. Dat is small/mid-sized business thinking. Zij hebben geen jongens die naar het datacenter rijden om individuele reepjes RAM of losse schijfjes in te bouwen. Ze hebben een bootlading identieke servers die allemaal hetzelfde soort werk doen. Alle VMs, Database services e.d. wordt uitgesmeerd over tienduizenden dezelfde servers en onderliggend is je data op meerdere plekken gerepliceerd.

Je wacht tot er een heel blok naar de klote is en die vervang je dan door een identiek blok. De manier waarop zij hun cloud runnen zorgt ervoor dat geen van de hardware een uniek ding is waarop de data van een x aantal klanten leeft. Mochten ze dit verder uitrollen en 200 van die tanks naast elkaar in de zee gooien, dan wordt enkel de gehele tank vervangen wanneer het merendeel stuk is.

[Reactie gewijzigd door ItsNotRudy op 15 september 2020 10:45]

Het idee is dat het vervangen van de harde schijven te duur is. Op zich wel logisch. In de duur dat ik dit bericht schrijf zullen er misschien al zes harde schijven gefaald zijn bij microsoft. Dan is het misschien goedkoper dat een administratieve medewerker een extra blade met harde schijven besteld (aanvinkt) dan dat technici op zoek gaan naar de harde schijven.

In de huidige cloud omgeving worden disken ook niet vervangen, servers zitten in vergelijkbare containers en als de failure rate van een container te hoog wordt, wordt deze uit bedrijf genomen.
Dit zijn de zogenaamde ITPACs
Daarna worden deze waarschijnlijk gerefurbished, maar daar heb ik geen verdere info over.

De cloud draait daar natuurlijk niet volledig meer op, er zijn ook colocations, maar de containers bestaan volgens mij nog steeds

[Reactie gewijzigd door Ryaka op 15 september 2020 11:06]

Afgezien van het redundantiepunt dat anderen al aanhalen: als het inderdaad vooral de stikstofvulling en de afwezigheid van mensen is die voor deze resultaten zorgt, zoals de onderzoekers vermoeden, dan hoef je die buizen dus niet per se op de zeebodem te leggen om dezelfde vergelijkbare resultaten te halen. Als je dan een uitval van >20% in een buis hebt is het een stuk eenvoudiger om die buis te openen en onderhoud te plegen.

[Reactie gewijzigd door HooksForFeet op 15 september 2020 11:25]

Hoezo, daar heb je gewoon robots voor die de HDD’s kunnen vervangen. Arm er heen, HDD eruit, HDD erin en Raid configureren en knallen maar weer. Komt geen man aan te pas in de tube. En voor uitgevallen servers kan je een rack fallback servers plaatsen. HDD’s eruit en plaatsen in de fallback server en knallen maar weer. Nee, de ratio kan zelfs snel naar 0 als ze zoiets hanteren op afstand.

RAID wordt nagenoeg niet gebruikt in cloud-based storage oplosssingen.

Iedere machine heeft een JBOD storage met virtual disks. De virtual disks worden tussen meerdere servers/datacenters/locaties gerepliceerd. Hiermee haal je een hogere performance, maar heb je dezelfde beschikbaarheid. 1 Virtual disk bevind zich dus op minimaal 2 fysieke machines, meestal meer.

Daarnaast zul je bij JBOD een defecte disk niet hoeven te verwijderen, want dankzij de redundantie van de virtuele disks, kan de data die op de defecte disk stond, worden gekopieerd van een andere machine naar deze machine (geen RAID rebuild, maar alleen kopiëren missende data) en op een andere fysieke disk worden geplaatst. Je hoeft dan ook de RAID redundantie niet opnieuw op te bouwen, Dat kost namelijk weer disk read/writes, waardoor een andere disk weer defect kan gaan.

Ik ben dan waarschijnlijk nog old fashioned. Komt er in ieder geval op neer dat er geen mankracht meer nodig hoeft te zijn.

Voor kleinere omgevingen (lees: Terabytes in plaats van Petabytes) is RAID nog wel een prima oplossing. Zog er dan wel voor dat je RAID sets binnen enkele uren opnieuw opgebouwd kunnen worden. Veel kleinere disks dus in plaats van maar een paar grote disks, zodat je een hoge I/O kunt halen.

op het land kan je een geautomatiseerde sluis maken waarbij je het replacement part er in steekt en een robot het onderdeel vervangt, net zoals je een tape ook niet manueel in een grote library in z'n target slot steekt, maar via mailslots voedt.

Het is natuurlijk mooi dat er maar 1/8 van het aantal storingen was, maar het lijkt me dat als er een storing is, het een stuk moeilijker en duurder is om die te verhelpen als je niet zo makkelijk fysiek bij de servers kan.

Ik neem aan dat ze daar aan gedacht hebben en minder kwetsbare / gevoelige onderdelen gebruikt hebben. Waarschijnlijk is onder meer daaraan te danken dat er zo weinig storingen zijn.

Ze kunnen ook hier op voortborduren en iets met robots doen of een specifiek platform ontwikkelen waarbij ze deze dingen snel kunnen deployen maar ook snel weer uit het water kunnen halen.

Van wat ik begreep vervangen ze geen individuele componenten meer, maar worden complete containers met racks vervangen als deze oud zijn of teveel defecten hebben.

Waarom dan niet de servers ieder in hun eigen vat met stikstof? met een boei om ze boven te vissen.

Een paar rails, wat code en een robot. Alle "human accessability" uit de racks verwijderen en een pallet aan foutgevoelige onderdelen mee naar beneden. Ik zie het probleem niet echt. De roi op de koeling, veiligheid etc. is hoger en bijvoorbeeld lege schijven mee naar beneden kost dan niet veel/c.q. doet niet veel aan de bottomline.

Edit:
Je zou zelfs nog een aan- en af- koppelbare vuilnisbak+reserve unit kunnen ontwikkelen. Dit kan dan ook ervoor zorgen dat de tijd tot obsolete verlengd wordt. Als een buis verouderd is qua hardware maar nog wel voldoet aan low-spec eisen en je de kapotte onderdelen kan vervangen wordt de levensduur ineens nog langer.

[Reactie gewijzigd door dutchshadow op 17 september 2020 08:48]

Microsoft en AWS (misschien Google ook) hebben een heel andere lifecycle voor hun PODs (point of delivery). Als er teveel capaciteit uitvalt in een POD, wordt deze afgeschakeld en OF gereviseerd (dus componenten vervangen) OF kijgt het een enkeltje /dev/null wanneer de economische waarde lager is dan de kosten van vervanging.

Zoiets simpels als even een HDD of SSD vervangen hebben ze niet in de processen staan.
Uiteindelijk is dit op de langere termijn goedkoper en is er vaak voldoende capaciteit beschikbaar.

Alsnje de laatste zin leest was dit inderdaad een experiment met plannen voor de toekomst.

En inderdaad een hele besparing als er maar voor 1/8 van de landserverparken optreedt.

Nadeel is wel als er een eventuele upgrade van het serverpark moet komen ze het weer moeten opvissen.

https://tweakers.net/nieu...rs-voor-schotse-kust.html

Ik lees toch iets anders in het bericht van 2018

De initiatiefnemers denken dat vooral het gebruik van stikstof en de afwezigheid van mensen die systemen kunnen aanstoten verantwoordelijk is voor de relatief goede probleemratio

Welke problemen hebben ze willen tackelen? Want ook op afstand kan er voldoende voor problemen gezorgd worden door mensen. Ik noem maar een shutdown commando per ongeluk uitvoeren ofzo....

Meh, na een shutdown commando kun je altijd nog bij de remote console/hardware interface komen (HP iLO, Dell DRAC, IBM RMM) en de machine weer aanslingeren.

En zelfs dat is niet nodig, je kunt met VMware Vcenter (maar ook met Microsoft VMM) gewoon er voor kiezen om fysieke machines uit te schakelen als er maar weinig load is en ze dan weer op te starten als de load weer groeit.
Dus voor een datacenter dat alleen lokaal diensten levert, waarbij na 18:00u de serverload met 75% af zal nemen en je dus minder CPU/RAM en I/O nodig hebt, kun je de VM's gaan verplaatsen, zodat je met 30-40% van de fysieke machines alle VM's host (en wat ruimte over houdt voor een plotse piek), de fysieke hosts die dan geen VM's meer hosten kun je uitzetten.
ALs je weet dat de serverload vanaf 07:00u weer gaat toenemen, kun je VCenter/VMM gewoon de opdracht geven om vanaf 06:30 weer fysieke machines aan te gaan zwengelen en VM's te gaan verplaatsen.

Schaalbaarheid is de kern, je moet snel op kunnen schakelen, maar ook omlaag schakelen moet mogelijk zijn. De grootste kostenpost is elektriciteit, als je daar gedurende de helft van de dag tot 60% van kunt besparen is dat aan het einde van het jaar een leuke bedrijfsborrel voor de ICT afdeling.

[Reactie gewijzigd door walteij op 15 september 2020 14:42]

Ik neem aan dat ze meer problemen bedoelen zoals stukke servers of kabels die losgaan etc. Niet software problemen.

En harde schijven die uitvallen.
Normaal gesproken vervang je zo'n schijf.

Je denkt te klein. Op schaal van een wereldwijde service is zelfs honderden harddisks vervangen nutteloos.

Op een land setup hier gaan er meestal tussen 2 en 5 reserve disks in een server omgeving. Aantal is afhankelijk van de risico factor. Voorkomt dat iemand in de nacht/weekend op pad moet en dus ook geen kosten hoeft te maken.

Daar heb je hardware interfaces voor, zoals iLO of iDrac.

dat is nog eens next level waterkoeling van een systeem

Ik snap niet waarom je bericht als off-topic wordt gemod. Je brengt het in de vorm van een grap maar het is natuurlijk wél zo. Op 35m diepte heb je een vrijwel constante temperatuur en het zou heel goed mogelijk moeten zijn om bv. heatpipes te verbinden met de wand van de buis zodat het zeewater de warmte kan afvoeren. Dat zal heel wat minder energie kosten dan een actief koelsysteem zoals een datacenter op het vaste land en omdat het passief is waarschijnlijk ook betrouwbaarder. Een volgende stap zou kunnen zijn om de buis te vullen met een niet-geleidende vloeistof i.p.v. stikstof, dan heb je én betere warmte afvoer én betere drukbestendigheid. Ten slotte zijn er ook al overclockers geweest die hun PC in een bak met olie hebben gezet...

[Reactie gewijzigd door Kurgan op 15 september 2020 14:08]

Op 3m onder de grond heb je ook vrijwel constante temp, dat is wel wat makkelijker te realiseren dan onder water.

Maar 3 meter onder de grond is het juist veel moeilijker om de warmte die je hardware genereer af te voeren.
Iets dat onder water vele malen makkelijker is.

Thanks, t was inderdaad een grap, maar ben wel gefascineerd door het idee en blijkbaar liegen de resultaten er ook niet ook met aanzienlijk minder mankementen.

omdat onder deze omstandigheden geen negatieve invloed van roest door zuurstof, vochtigheid, temperatuurschommelingen en mensen zou optreden.

Dit wordt bij een "normaal" datacenter toch sterk gereguleerd? Ik vind het opvallend dat dit zo'n enorm verschil maakt.

Wat is dat ding vies geworden trouwens

Nou, bij een normaal datacentrum zijn er wel mensen en ook zuurstof . Wij ademen ook vocht uit, wat ook niet zal helpen en de koude/warme gangen zijn best leuk, maar elke keer dat je zo'n deur open doet is er toch een (minieme) schommeling van de temperatuur. Het lijkt dus zeker van invloed te zijn.

De uiteindelijke resultaten zullen op een later tijdstip nog wel komen, ik ben benieuwd!

En ja, na 2 jaar op de bodem gelegen te hebben, wordt zo'n ding best vies

is niet vies ,is natuur (zeepokken)
https://upload.wikimedia....ns/7/71/Seepocke_fg02.jpg

https://nl.wikipedia.org/wiki/Zeepokken

[Reactie gewijzigd door scorpio op 15 september 2020 10:41]

Natuur kan ook best vies zijn.

Aan de foto's te zien is het meer modder en algengroei dan zeepokken. Dat kan misschien na verloop van tijd wel een probleem worden voor de afvoer van warmte. Er zullen best beestjes en plantjes zijn die graag op zo'n lekker warm ondergrondje gaan zitten.

[Reactie gewijzigd door Kurgan op 15 september 2020 14:12]

Evengoed niet handig voor je koeling. Alle warmte van die 864 servers moet het zeewater in, en dan zitten die schelpen in de weg.

Stapel UV ledjes op de buitenkant dan maar

Veel datacenters voeren buitenlucht aan voor de koeling, dat wordt uiteraard wel geklimatiseerd maar is soms toch te vochtig. Buren van ons in een datacenter (die toevallig ook weer klant van ons waren) hadden veel last van roestvorming op hun apparatuur, ik weet de exacte details niet meer maar volgens mij was de hypothese dat dit kwam door aanvoer van te vochtige buitenlucht. (En om niet teveel stroom te verspillen werd die bij bepaalde temperaturen maar matig geklimatiseerd.)

Gewoon condensatie dus. En erg slecht van dat datacentrum, je moet uit altijd zorgen dat het dauwpunt laag genoeg is om condensatie te voorkomen

Gereguleerd of niet; het is aanwezig. In dit datacenter is het afwezig.

Ik zit op projecten bij grote containerschepen om die wat zuiniger te maken, en met sensordata zie je grote verschillen in efficiency als een schip in de tropen vaart of op plekken waar de luchtvochtigheid lager is. De vochtige lucht die de motoren en koelsystemen aan trekken zorgen voor veel roest en vocht problemen in de systemen dan andere lucht.
Dus ik denk dat dat ook wel bij dat soort datacenters zou kunnen.

In een normaal datacenter moet je daar heel veel voor regelen, zeker de temperatuurregulatie. Op de zeebodem is de temperatuur veel stabieler dus hoef je veel minder te doen om de temperatuur te regelen.

De volgende keer misschien wel helemaal met vloeistof gevuld? Dat biedt nog gelijkmatigere koeling en scheelt nog meer bewegende delen.

Aan de ander kant: Nu is de status na nog geen 3 jaar, vaak de economische afschrijvingstermijn. Wat is de staat na 5 jaar, wat wel eens als technische afschrijfingstermijn wordt gebruikt? Of liggen er nog een paar in zee voor de volgende test?

Dat is niet eens zo'n gek idee.
Ik kan mij herinneren een keer een PC gezien te hebben, in een "aquarium" gevuld met een transparante olie.
Weet niet meer of dit de Cebit of een Game beurs was, is alweer een flink aantal jaar terug.

Je bedoeld waarschijnlijk mineral oil? Linus heeft er ook zo eentje gebouwd. Ziet er mooi uit maar ik vertrouw het zelf voor geen haar.

Als je de build wil zien van Linus --> https://www.youtube.com/watch?v=2V06LLTNxc4

LTT heeft ook een keer zo'n computer gebouwd met mineralen olie, inderdaad een erg interessante optie.

https://www.pugetsystems.com/mineral-oil-pc.php

Helaas is het project gestopt vanwege patenten op het koelen van PCs met minerale olie.

Microsoft heeft al wel e.e.a. aan testen gedaan met koeling door middel van water op de componenten, maar zijn hier vorig jaar ook weer mee gestopt.

https://www.datacenterkno...t-says-its-not-ready-dive

Ik heb hier wel eens een filmpje over gekeken op YouTube maar die kan ik zo gauw niet meer vinden

In de twee jaar op de bodem van de zee, bedroeg de failure rate een achtste van die van datacenters op land, volgens Microsoft. De BBC schrijft dat het om acht servers gaat die problemen vertoonden

De initiatiefnemers denken dat vooral het gebruik van stikstof en de afwezigheid van mensen die systemen kunnen aanstoten verantwoordelijk is voor de relatief goede probleemratio.

dit verbaasd mij eigenlijk niets; het is op deze manier het ideale klimaat, geen invloed van externe factoren (vuil etc)

en als je je park zo kan inrichten dat je een uitval van een percentage kan opvangen met een (onderhouds) window van 2 a 3 jaar - kan het financieel wellicht zelfs interessant zijn.

echter ben ik zeer benieuwd naar de WARMTE uitstoot van de capsule: hoe verhoud zich de warmte op 0 tot 200cm vanaf de capsule t.o.v. een nul-meeting en op 100 meter afstand? Wat heeft dit invloed op de watertemperatuur en dus ecosysteem in de directe omgeving?

Dat laatste vraag ik mij dus ook af.
De koraalriffen zijn zo goed als allemaal afgebleekt maar ondertussen gebruiken we wel zeewater om een serverpark te koelen. Zijn de effecten hiervan dan onderzocht?
Wat als iedereen opeens zijn servers gaat verplaatsen wat is dan de mogelijk impact hiervan?

Voor de mensen die graag meer willen weten over het afsterven van de koraalriffen, bekijk dan eens deze documentaire die door Netflix nu gratis te bekijken is op Youtube.

De uitslag maar even afwachten. Ben in ieder geval blij dat ze de resultaten beschikbaar maken. Voor zichzelf houden, had ze wellicht wel een voorsprong op de concurrentie gegeven.

Thermodynamisch gezien kunnen wij de oceaan niet eens opwarmen, fysiek niet eens mogelijk. De warmte die wij als mensen opwekken is een peulenschil vergeleken met de bron van de warmte op aarde, namelijk de zon. De reden van hogere temperaturen en gebleekte koraalriffen is ook dat we door Co2 in de atmosfeer meer warmte vasthouden van de zon.

De temperatuur van de zee/oceaan is een evenwicht met de atmosfeer.
Ik weet dus niet of het veel verschil maakt of die warmte in het water terecht komt of in de lucht.
Misschien is het zelf beter aangezien aircosystemen op zichzelf ook warmte produceren.

Het spreekt voor zich dat niet elke locatie geschikt is want lokaal zal het inderdaad wel invloed hebben.

[Reactie gewijzigd door catfish op 15 september 2020 11:47]

Ik heb er al iets over geschreven, er is wel invloed, maar die lijkt redelijk beperkt te zijn.Helemaal als je het gaat vergelijken met de energie die al in het water zit.....

Nog nooit een cloud onder water gezien!

Zijn genoeg dieren die clouds maken in de zee; of je daar in wilt zwemmen is een ander verhaal. .

Iemand een idee wat die "failures" waren?

Waarschijnlijk de gebruikelijke failures in elke server: overgrote deel zal zijn de harddisks, en eventuele cooling fans. De bewegende delen dus.

Misschien een enkele falende voeding hier en daar. De overige onderdelen in een server gaan maar zelden kapot.

Als het op de zeebodem ligt blijft iedereen er met zijn / haar tengels vanaf, dat scheelt.
Zou mooi zijn als het geheel passief gekoeld zou kunnen worden. Dat kan ik in het artikel niet terug vinden

Niet passief, wel zonder airco en forced cooling. Je hebt convectie nodig om de warmte uit de server te krijgen

Binnen dit en vijf jaar kunnen we het volgende zien: datacenters die enkel met stikstof gevuld zijn en afgesloten (geen zuurstof, geen luchtvochtigheid, ...) en IT'ers die met zuurstofmaskers enkel de hoogstnodige interventies doen. Met een veel lagere failure rate kan je dat inbouwen/meerekenen waardoor je defecte hardware eventueel gewoon op afstand kan afkoppelen/uitsluiten. Aandacht in hardware kan gaan naar redundantie en uitschakelen ipv hotswap etc...
Indien fysieke toegang veel zeldzamer is, kunnen elementen anders gepositioneerd worden tov elkaar.
Ik verwacht een bepaalde certificering voor dergelijke datacenters, een sluis (ritssluiting bv) om toegang te verschaffen tot de ruimte etc....
Na verloop van tijd ga je misschien vergelijkbare systemen op kleinere schaal zien (sealed serverkast met navuloptie, ...)

Of ben ik nu te naïef?

Waarom niet gelijk naar gesealde kasten met 1 of een paar racks? Die kun je indien nodig ontluchten en navullen, maar als de failure rate lager is dan is het een simpele rekensom. De kosten van zo'n kast & bijbehorend vulsysteem versus minder ingrijpen.