Cookies op Tweakers

Tweakers maakt gebruik van cookies, onder andere om de website te analyseren, het gebruiksgemak te vergroten en advertenties te tonen. Door gebruik te maken van deze website, of door op 'Ga verder' te klikken, geef je toestemming voor het gebruik van cookies. Wil je meer informatie over cookies en hoe ze worden gebruikt, bekijk dan ons cookiebeleid.

Meer informatie

Microsoft brengt onderwaterdatacenter na twee jaar weer naar boven

Microsoft heeft zijn onderwaterdatacenter voor de Schotse kust weer naar de oppervlakte gebracht en de staat van de 864 servers in de buis onderzocht. Volgens het bedrijf hebben relatief weinig servers problemen vertoond.

Microsoft heeft eerder deze zomer zijn 'datacenter' die bij het Schotse eiland Orkney in zee lag naar boven gevist. De buis met twaalf serverracks lag op een diepte van meer dan 35 meter en moest grondig schoongespoeld worden voordat deze geopend kon worden. Microsoft had de buis in de lente van 2018 onderwater gelaten als onderdeel van Project Natick.

Sinds die tijd analyseerde Microsoft de prestaties en betrouwbaarheid van de 864 servers in de afgesloten ruimte. De hypothese was dat de betrouwbaarheid van servers in een op de zeebodem gelegde afgesloten container hoger zou zijn, onder andere omdat onder deze omstandigheden geen negatieve invloed van roest door zuurstof, vochtigheid, temperatuurschommelingen en mensen zou optreden. Voordat Microsoft de container in 2018 afsloot, vulde het bedrijf de ruimte met stikstof.

In de twee jaar op de bodem van de zee, bedroeg de failure rate een achtste van die van datacenters op land, volgens Microsoft. De BBC schrijft dat het om acht servers gaat die problemen vertoonden. De initiatiefnemers denken dat vooral het gebruik van stikstof en de afwezigheid van mensen die systemen kunnen aanstoten verantwoordelijk is voor de relatief goede probleemratio. De teamleden van het project denken de inzichten te kunnen gebruiken voor de verbetering van datacenters op land.

Volgens projectmanager Ben Cutler kan Microsoft de bevindingen van Project Natick ook gebruiken voor zijn datacenter sustainability-strategie om verbruik, afval en watergebruik te minimaliseren. Cutler voorziet de combinatie van een onderwaterdatacenter met een windmolenpark op zee, waarbij een glasvezelkabel naar het land nog een back-upkabel voor de voeding bevat.

Door Olaf van Miltenburg

Nieuwscoördinator

15-09-2020 • 10:13

194 Linkedin

Submitter: MilanMeu

Reacties (194)

Wijzig sortering
Ja dat doe je dus gewoon niet. 8 van de 864 servers is ~1% verlies van capaciteit per twee jaar.
Die moet je dus gewoon maar slikken.
Dat soort werkzaamheden zorgen er dus ook voor vocht en temperatuurschommelingen.
Is het beter om 1 server aan capaciteit te verliezen of 8 reparaties uit te voeren?

[Reactie gewijzigd door crackletinned op 15 september 2020 10:35]

Precies.

Vergeet daarbij niet ook de kosten van beveiliging, locatie en elektra.

Ik kan me heel goed voorstellen dat dit in de toekomst gebruikelijk gaat worden, bij een windmolenpark in de Noordzee worden gewoon ook een stel servers neergegooid, op een plek waar toch al een onderzeese kabel loopt. Die worden gewoon niet weggehaald, totdat het park ook opgeruimd wordt. Meteen groene stroom erbij en efficiënte koeling.

Daarnaast kan je slimme keuzes maken in welke servers je hier neerzet, dus juist niet je storage vol met harde schijven, maar compute/memory intensive servers die minder onderhoud behoeven, meer hitte produceren en een lagere failure rate hebben.
Jouw grote kuil gaat wel helaas afschuwelijke koeling geven, grond houdt erg goed warmte vast en beweegt niet (of als het dat wel doet heb je nog een groter probleem), dus je moet bovengronds alsnog vanalles doen om de servers redelijk gekoeld te krijgen. En dan heb je de problemen van buitenlucht, dus geen homogeen niet-reactief gas erbij.

Als je deze dingen bij windmolenparken legt (wat het plan is), dan deel je waarschijnlijk de beveiliging (die aanwezig maar spaarzaam is, het is verboden hier in de buurt te varen), en is de container opheisen erg veel werk en buiten opheisen kan je enkel destructief aanvallen, of het krijgt een hoog James-Bond gehalte.

Ondergronds op 30 meter brengt erg veel uitdagingen qua bouw met zich mee, overigens. Denk o.a. aan de tram/zwemtunnel in Den Haag en hoe lang dit duurde. Al met al zie ik erg veel nadelen.

Vergeet niet dat een bestaande ondergrondse bunker hergebruiken als datacenter iets is wat een hoop praktischer is en zeker al gedaan wordt (o.a. CyberBunker was een zeer dubieuze partij, maar er schijnen ook minder dubieuze opties te zijn die nu nog draaien).
In de snelheid van groei die op dit moment plaatsvind binnen de op land gebaseerde datacenters voor Microsoft worden er ook geen servers vervangen. Ze worden uitgezet en op het moment dat x% van een rack stuk is wordt hele rack vervangen (of gewoon uitgezet en laten ze staan)

Het is niet rendabel om nog individuele componenten te vervangen (of servers). Mocht dit op grote schaal gaan gebeuren dan zullen de componenten die stuk zijn gewoon worden uitgezet en via softwarematige HA en DR oplossingen doorwerken op de gedeeltes die het nog doen.
De impact op de natuur die ik kan bedenken is het opwarmen van het water op de plek waar dat ding ligt. Hierdoor kan je dus wellicht planten en dieren afstoten of juist exotische soorten aantrekken. Met één zo'n ding zal het effect minimaal zijn maar als je er veel meer bij elkaar in zee gooit kan je de natuur wel verstoren.
Dat valt heel erg mee. Omgeving moet je hier definiëren als: "binnen een halve meter". Dat wil zeggen er is een mogelijke impact, maar die is lokaal en beperkt tot waar de pods zich bevinden.

Zonder stroming zou een pod het water binnen een halve meter van de pod 1,5 graden warmer maken dan de omgeving. Dat is een significant verschil, maar nog steeds binnen acceptabele waarden in de noordzee. Met een getijde stroming en bepaalde aannames voor de turbulentie e.d is het effect nagenoeg 0,0 voor de omgeving.

Voor Nederland zou dat betekenen: voorzichtig en extra onderzoek in het ijsselmeer, prima 300m uit de kust.
Dat valt heel erg mee. Omgeving moet je hier definiëren als: "binnen een halve meter". Dat wil zeggen er is een mogelijke impact, maar die is lokaal en beperkt tot waar de pods zich bevinden.
Of dat meevalt is nog maar te bezien. Althans als je, zoals @Piemol aangeeft, op grotere schaal servers op de zeebodem gaat plaatsen. Alleen Google al verbruikt met haar Nederlandse data centra circa 130 MW aan stroom. De warmte die dat bij elkaar produceert is een hele grote waterkoker. Hoewel het echt wel even duurt voordat je de Noordzee een paar tienden van graden hebt opgewarmd is 130 MW niet meer de categorie "boiling the ocean with a matchstick". Op de schaal van het IJsselmeer moet je je denk ik op termijn (de warmte afgifte is continu) al zorgen gaan maken.

Bottom line: een mooi idee en wellicht ook op schaal interessant. Maar daar moet je echt eerst goed onderzoek naar doen.
130 MW klinkt heel erg veel. totdat je bedenkt dat dat de hoeveelheid warmte is die de zon afgeeft aan diezelfde zee op een oppervlak van zo'n 400x400 meter. Als je wil compenseren voor dag/ nacht zeg 1200x1200 meter.

130MW heeft grofweg net zoveel effect op de temperatuur van de zee als de zee een vierkante kilometer groter maken. Gezien Nederland alleen met polders al 100 vierkante kilometer heeft afgesnoept van die zee zit dat wel goed ;)
Dit is enkel bij het bouwen, bij het heien van de palen worden de trommelvliezen beschadigd. Als de molens gebouwd zijn is dit niet meer het geval.

Tevens is er een apparaat wat specifieke tonen uitzend om vooraf de kwetsbare zoogdieren af te schrikken, een zogeheten acoustic harassment device. Een kennis van mij heeft onderzoek gedaan naar deze apparaten specifiek om dit te voorkomen bij de bouw van windmolenparken, met goede resultaten, ik weet echter niet zeker of dit nu ook in de praktijk wordt toegepast.
Dit zal minder opwarming geven dan op het land.

Op het land heb je voor de koeling apparatuur nodig die van zichzelf al warmte creëert. (airco's/compressors).
In zee niet dan is water van zichzelf voldoende koud.

Resultaat de hoeveelheid warmte die je in de natuur dumpt zal in totaal een stuk minder zijn.
Waarom niet? Servers hebben een levensduur van 5 jaar voor veel toepassingen. Aangetoond is nu dat er een lage MTBF is. Na 5 jaar is er na verwachting, gebaseerd op dit experiment, ongeveer net zoveel kapot als in een gewoon serverpark na 1 jaar.

Na 5 jaar haal je gewoon 1 van deze containers omhoog, schuif je er een nieuw rek in en laat het weer zakken. De extreem goedkope koeling en locatie-prijs doen waarschijnlijk de rest van het economische plaatje

Invloed op de omgeving is minimaal.
Wanneer dit een mega cluster waar je een berg redundantie in zowel compute als storage hebt, is dataherstel niet relevant en wordt een defecte server gewoon niet meer gebruikt.
'Klassiek' vuur, dus stoffen die verbranden in zuurstofhoudende atmosfeer is inderdaad niet mogelijk. Maar er zijn ook chemische reacties mogelijk tussen de materialen onderling in de apparatuur, die wel degelijk hitte, vlammen en rook produceren. Het meest voor de hand liggende voorbeeld zijn accu's. Een uitbrandende accu kan een hoop rook- en hitteschade veroorzaken.

Het zou me ook niet verbazen als er een energiebuffer in de vorm van een stapel accu's aanwezig is.
De oxydator hoeft niet eens een gas te zijn. Buskruit doet het ook in vacuum.

En er zijn natuurlijk ook nog stoffen die zichzelf ontleden. Die noemen we explosieven :+
Zie het als een vervanging van scheepscontainer-based datacenters. je krijgt een complete container aangeleverd met daarin 864 servers. De container en de servers er in zijn volledig high-available ingericht. Dus storage tiering, storage replicatie, netwerk redundantie, een overcapaciteit aan CPU en RAM.

In dergelijke containers wordt een defecte harde schijf niet vervangen. Die laten ze lekker zitten. Pas als er > 20 % van de servers storingen vertoond en er dus misschien redundantie issues kunnen gaan optreden, wordt de container vervangen, want er staat in zo'n datacenter niet 1, maar wel 20 containers, die onderling ook voor extra redundantie zorgen.
Je zou dus een zo'n container kunnen zien als een enkele node in een cluster. Node uit het cluster halen, container verwijderen, nieuwe container plaatsen en terug in het cluster zetten. Cluster zelf zorgt er weer voor dat storage, CPU en RAM weer eerlijk over alle container-nodes wordt verdeeld.

Als een 'zeecontainer' zoals deze dus maar 1/8e van de storingen heeft t.o.v. een regulier datacenter, zou je dus ook minder vaak de gehele container hoeven verwisselen en daarmee bespaar je dus ook kosten
Nog een extra bijkomend voordeel. In het filmpje van google (toegegeven is al wat ouder) is pakweg 25% van het vloeroppervlak van dat datacenter gereserveerd voor koeling. Daar heb je dus op 35 m onder water geen last van. Daarnaast zal het ontbreken van koeling een een aardige besparing op stroomkosten zijn.

Ik vind het een mooi idee en ik hoop dat dit goed doorontwikkeld wordt. Je zou in theorie ook een datacenter zo in een inham van de Maas of de Rijn kunnen leggen, zorg voor elektriciteitsopwekking door middel van het stromen van de rivier en je bent weer een heel stuk groener bezig.
Ergens anders in dit draadje is hier al iets over gezegd.
Als de container in stilstaand water zou liggen, zou de omgevingstemperatuur van het water (dus tot ongeveer een halve meter van de container af) met 1.5 graad stijgen.
Dat klinkt als heel veel, maar dan hebben we het pakweg 50 badkuipen met stilstaand water. Water in de zee staat voor zover ik weet niet stil, dus die 1.5 graad stijging zal niet bereikt worden. Ook is het dan nog eens zo dat alleen de zon al meer water in 1 minuut opwarmt dan een dergelijke cilinder die de hele dag actief is. De zon zelf warmt het water tot pakweg 1 meter direct op, waarna het tot wel 100 meter diepte wordt afgevoerd. De cilinder ligt op 35 meter diepte en doet daar dus hetzelfde.

Ik zal niet zeggen dat er geen invloed is op de watertemperatuur, want die is er wel, maar deze is te verwaarlozen met de invloed van de zon op de watertemperatuur. Zeker als je indenkt hoeveel warmte er bijvoorbeeld door een golfstroom wordt afgevoerd uit de tropen richting de polen.
Dus de energie die uit de datacentercilinders komt is wel te verwaarlozen. Zelfs al zijn het er 500.
Dus het is de vraag of het verminderen van het aantal storingen opweegt tegen de extra kosten om storingen op te lossen in zo'n afgesloten omgeving.
Waarom zou je individuele storingen oplossen? Alles is redundant, van individuele onderdelen tot gehele servers.

Al zou men dit op grote schaal doen, dan zou men een geheel onderwaterdatacenter vervangen zodra een vooraf vastgesteld degradatieniveau bereikt is. Men gaat zich dan niet meer druk maken over kleine storingen.

[Reactie gewijzigd door The Zep Man op 15 september 2020 11:51]

Heb jij wel eens een duiker gezien?
Wat denk jij, dat al die bellen zijn, die uit zijn ademautomaat komen?
Hoe wil jij die bellen gaan afvangen in een met stikstof gevuld datacentrum, zodat er toch geen CO2 en vocht in de omgeving komt? Moet men dan een ruimtepak gaan dragen?
Meh, na een shutdown commando kun je altijd nog bij de remote console/hardware interface komen (HP iLO, Dell DRAC, IBM RMM) en de machine weer aanslingeren.

En zelfs dat is niet nodig, je kunt met VMware Vcenter (maar ook met Microsoft VMM) gewoon er voor kiezen om fysieke machines uit te schakelen als er maar weinig load is en ze dan weer op te starten als de load weer groeit.
Dus voor een datacenter dat alleen lokaal diensten levert, waarbij na 18:00u de serverload met 75% af zal nemen en je dus minder CPU/RAM en I/O nodig hebt, kun je de VM's gaan verplaatsen, zodat je met 30-40% van de fysieke machines alle VM's host (en wat ruimte over houdt voor een plotse piek), de fysieke hosts die dan geen VM's meer hosten kun je uitzetten.
ALs je weet dat de serverload vanaf 07:00u weer gaat toenemen, kun je VCenter/VMM gewoon de opdracht geven om vanaf 06:30 weer fysieke machines aan te gaan zwengelen en VM's te gaan verplaatsen.

Schaalbaarheid is de kern, je moet snel op kunnen schakelen, maar ook omlaag schakelen moet mogelijk zijn. De grootste kostenpost is elektriciteit, als je daar gedurende de helft van de dag tot 60% van kunt besparen is dat aan het einde van het jaar een leuke bedrijfsborrel voor de ICT afdeling.

[Reactie gewijzigd door walteij op 15 september 2020 14:42]

Ik snap niet waarom je bericht als off-topic wordt gemod. Je brengt het in de vorm van een grap maar het is natuurlijk wél zo. Op 35m diepte heb je een vrijwel constante temperatuur en het zou heel goed mogelijk moeten zijn om bv. heatpipes te verbinden met de wand van de buis zodat het zeewater de warmte kan afvoeren. Dat zal heel wat minder energie kosten dan een actief koelsysteem zoals een datacenter op het vaste land en omdat het passief is waarschijnlijk ook betrouwbaarder. Een volgende stap zou kunnen zijn om de buis te vullen met een niet-geleidende vloeistof i.p.v. stikstof, dan heb je én betere warmte afvoer én betere drukbestendigheid. Ten slotte zijn er ook al overclockers geweest die hun PC in een bak met olie hebben gezet...

[Reactie gewijzigd door Kurgan op 15 september 2020 14:08]

Maar 3 meter onder de grond is het juist veel moeilijker om de warmte die je hardware genereer af te voeren.
Iets dat onder water vele malen makkelijker is.


Om te kunnen reageren moet je ingelogd zijn


Apple iPhone SE (2020) Microsoft Xbox Series X LG CX Google Pixel 4a CES 2020 Samsung Galaxy S20 4G Sony PlayStation 5 Nintendo Switch Lite

'14 '15 '16 '17 2018

Tweakers vormt samen met Hardware Info, AutoTrack, Gaspedaal.nl, Nationale Vacaturebank, Intermediair en Independer DPG Online Services B.V.
Alle rechten voorbehouden © 1998 - 2020 Hosting door True