Cookies op Tweakers

Tweakers maakt gebruik van cookies, onder andere om de website te analyseren, het gebruiksgemak te vergroten en advertenties te tonen. Door gebruik te maken van deze website, of door op 'Ga verder' te klikken, geef je toestemming voor het gebruik van cookies. Wil je meer informatie over cookies en hoe ze worden gebruikt, bekijk dan ons cookiebeleid.

Meer informatie

Microsoft brengt onderwaterdatacenter na twee jaar weer naar boven

Microsoft heeft zijn onderwaterdatacenter voor de Schotse kust weer naar de oppervlakte gebracht en de staat van de 864 servers in de buis onderzocht. Volgens het bedrijf hebben relatief weinig servers problemen vertoond.

Microsoft heeft eerder deze zomer zijn 'datacenter' die bij het Schotse eiland Orkney in zee lag naar boven gevist. De buis met twaalf serverracks lag op een diepte van meer dan 35 meter en moest grondig schoongespoeld worden voordat deze geopend kon worden. Microsoft had de buis in de lente van 2018 onderwater gelaten als onderdeel van Project Natick.

Sinds die tijd analyseerde Microsoft de prestaties en betrouwbaarheid van de 864 servers in de afgesloten ruimte. De hypothese was dat de betrouwbaarheid van servers in een op de zeebodem gelegde afgesloten container hoger zou zijn, onder andere omdat onder deze omstandigheden geen negatieve invloed van roest door zuurstof, vochtigheid, temperatuurschommelingen en mensen zou optreden. Voordat Microsoft de container in 2018 afsloot, vulde het bedrijf de ruimte met stikstof.

In de twee jaar op de bodem van de zee, bedroeg de failure rate een achtste van die van datacenters op land, volgens Microsoft. De BBC schrijft dat het om acht servers gaat die problemen vertoonden. De initiatiefnemers denken dat vooral het gebruik van stikstof en de afwezigheid van mensen die systemen kunnen aanstoten verantwoordelijk is voor de relatief goede probleemratio. De teamleden van het project denken de inzichten te kunnen gebruiken voor de verbetering van datacenters op land.

Volgens projectmanager Ben Cutler kan Microsoft de bevindingen van Project Natick ook gebruiken voor zijn datacenter sustainability-strategie om verbruik, afval en watergebruik te minimaliseren. Cutler voorziet de combinatie van een onderwaterdatacenter met een windmolenpark op zee, waarbij een glasvezelkabel naar het land nog een back-upkabel voor de voeding bevat.

Door Olaf van Miltenburg

Nieuwscoördinator

15-09-2020 • 10:13

194 Linkedin

Submitter: MilanMeu

Reacties (194)

Wijzig sortering
Naar het schijnt worden zeezoogdieren doof van windmolens, nog een reden voor visjes om daar uit te hangen.
Er was vorige week (of zo, gekke tijden tegenwoordig) weer een wetenschapper die dove (en dus dode) dolfijnen had aangetroffen nabij windmolenparken. Ik vrees dat voortschrijdend inzicht niet perse met terugwerkende kracht wordt toegepast. Ach, nog altijd beter dan bruinkool.
Er wordt sowieso nu bij windmolenparken genoemd. Die krijgen we gelukkig niet op het IJsselmeer.
Was dat sarcastisch bedoeld? ;-)
https://www.nrc.nl/nieuws...t-een-vogel-niet-a4007761
Oeps, dacht dat ze dat nog niet vol gingen bouwen maar dat had ik dus verkeerd...
Sterker nog, er staan al windmolens in het IJsselmeer. Bij de kust van de Noordoostpolder
Volgens mij is het IJsselmeer niet echt diep genoeg. Volgens mij is het bijna nergens dieper dan 5 meter
Volgens wikipedia gemiddeld 5,5m. Max diepte zo'n 7m
Bron: https://en.wikipedia.org/wiki/IJsselmeer
Zoals ik schreef, ik snap niet hoe ze het doen, maar schijnbaar worden deze dingen, waar je veel hitte in moet stoppen, via de tussenstap van geluid, ingezet als koelers.

En als die restwarmte dan normaal gesproken de lucht ingaat en dan die lucht dus verwarmd en hiermee dus niet lijkt me dat geweldig.
Je legt nu weer hetzelfde uit. Ik snap dat het totale energieverbruik lager is (kan zijn eigenlijk, want we weten t niet).

Maar afhankelijk vd stroming verwacht ik dat het water lokaal meer zal opwarmen dan de omgeving rond een datacenter dat zal doen.
Maar de omgeving is toch het zeewater? En dat zal de warmte toch redelijk snel verspreiden?
Er is niet zoiets als lokaal. Ja, echt tegen de capsules aan zoals hierboven als genoemd. Maar de stromingen van de zee zijn gigantisch ;) En de zee stroomt snel.

Check
https://images.app.goo.gl/84Yox46b2dD3Fkb66
Daarnaast is het wel de vraag hoe de hardware dan stuk gaat. Als je moet blussen, dan maakt dat alle data stuk. Met meer stikstof krijg je natuurlijk wel minder snel een fik, maar het is volgens mij niet onmogelijk. Het feit dat er niets zo kapot is gegaan, lijkt me ook 1 van de belangrijke uitkomsten van dit project.
Zolang er geen zuurstof aanwezig is, is het echt onmogelijk. Als ze die buis inderdaad vacuum hebben getrokken en daarna gevuld hebben met puur stikstof kan er dus geen brand in ontstaan.
Buskruit bevat zuurstof gebonden in een kaliumzout: KNO3, kaliumnitraat.
Ga je nou je oude natuurkunde leraar lastig vallen over een scheikundige kwestie? :+
Geloof het of niet maar wij kregen op de havo de vuurdriehoek bij natuurkunde. Nog een reden om m’n geld terug te vragen. :P
Nee, een fik heeft brandstof en een zuurstofcomponent nodig. Zuurstof kan ook ergens anders in zitten als dat niet uit de lucht komt. Het betekent alleen dat er geen zichtbare vlam is, maar dat maakt het nog niet meteen onmogelijk. Nou is het even van de hardware afhankelijk of er een zuurstofcomponent aanwezig is, maar zeg nooit nooit.
Brand is eigenlijk een felle oxidatie reactie.
Wij zien dit vaak als een reactie tussen brandstof en zuurstof.

Tijdens mijn opleiding heb ik filmjes gezien van een oxidatie reactie van natrium (brandstof) en chloorgas (oxidator), met "vlammen" en al.

Nu helpt stikstof wel in het voorkomen.
Dataherstel? Als in een datacenter op het land een schijfje uitvalt hoef je ook niet te wachten tot de schijf vervangen en de backup teruggelezen is.
Redundantie zorgt dat de data beschikbaar blijft, als de schijf vervangen is wordt deze weer opgenomen in het cluster. Dat vervangen zal onder water simpelweg niet gebeuren. Na vijf of misschien wel zeven jaar wordt het hele cluster vervangen door een nieuw.
en op land zouden dat dus 64 servers zijn geweest (8x8)
Dat is 1/8 van wat er op land gemiddeld kapot gaat, wat dus 64 servers zouden zijn, of ~8%.
Klopt. Dat doen ze nu ook al niet bij grote datacentra. Stuk is stuk, en op een gegeven moment is de hele hal te oud en vervang je gewoon alles in 1 keer. Het hoeft ook maar een beetje energie-efficienter te worden met nieuwe hardware en het kan al uit om alles te vervangen.
Alleen naast energie produceert zo'n datacentercilinder nog een heleboel andere dingen.

Bijv : Geluid, onnatuurlijk spul op de bodem etc etc.
En daarvan is het maar net de vraag wat dat met de flora en fauna gaat doen...
Wat betreft onnatuurlijk spul op de bodem lijkt me het antwoord al vrij duidelijk. De cilinder zit onder de zeepokken en wier. Dus dat zal weinig issues opleveren.
Geluid kan inderdaad wel een issue zijn of worden en het lijkt mij dat daar rekening mee is gehouden. Je kunt zien dat alle servers via een rails in de cilinder zijn geschoven, om ook schokken te voorkomen zal die rails via rubbers of iets van een dempende vering zijn verbonden met de cilinder. Schokken opvangen is ook geluid dempen. Maar de servers zelf zullen inderdaad ook wel geluid maken.

Ik vraag me inderdaad af hoeveel geluid er uit de cilinder in zee terecht komt en hoe dit geluid zich verhoudt tot bootschroeven, het geruis van windmolens of gewoon het geluid van de branding.
Aan iedere ruimte/plek waar mensen zich zullen begeven is er altijd kans op een ongeluk met een mens.
Duikers en brandweermannen wagen dag in / dag uit hun leven met ademluchtflessen, het is echt geen russisch roulette.

En als die opstelling zich terugbetaald met veel betere performance en reliability van je verdienmodel... ;-).
Wat is er overigens te onderhouden aan een gasdichte ruimte afgevuld met stikstof? Niet bijzonder veel hoor.
Nope, je krijgt geen gevarenpremie, er vindt gewoon geen onderhoud aan die dingen plaats.

Als er genoeg uitval is dan wordt gewoon het hele ding vervangen en na x tijd wordt dat ding automatisch vervangen omdat er nieuwere / efficientere hardware is.
Natuurlijk zitten daar haken en ogen aan, maar de wetgever verwacht dat we in de eerste plaats de omgeving veilig maken en alleen als dat echt niet kan, PBM's in gaan zetten.
Daarnaast dwing je op deze manier extra warmtewisselaars af, want je recirculatiemedium (stikstof) is een ander dan je warmteafgifte medium (lucht). Ik vraag me serieus af of die kosten (landed capital+verzekeringspremies) voordelig uitpakken voor een stikstof datacentrum.
Servers waar mensen bij moeten kunnen nemen vele malen meer ruimte in dan zoiets, dus de ruimte die je luchtdicht en compleet stikstof moet maken is al een stuk lastiger.

Dan heb je nog koelen, hoe ga je dat doen? Normale luchtkoeling is lastig omdat je moet die stikstof in die ruimte afkoelen. Waterkoeling is misschien een optie maar moet dan ook over een lange afstand.

Al met al wordt het al gauw een stuk duurder en riskanter.
Ik denk dat Microsoft meer dan voldoende datacenters heeft om vergelijkbare data aan te kunnen leveren. Geen enkele server of geen enkel serverpark draait dezelfde load bovendien.
dat zou toch de bedoeling moeten zijn van een test, dat je een vergelijkbaar testpark hebt staan. Nu dankzij het antwoord van @Ethirtyweet ik dan wel weer het antwoord :-). Daar kan ik uit afleiden dat ze wel degelijk een vergelijkbaar park op de grond hadden staan :-).

[Reactie gewijzigd door white modder op 15 september 2020 12:49]

dat zou toch de bedoeling moeten zijn van een test, dat je een vergelijkbaar testpark hebt staan.
Nee, dan heb je namelijk nog steeds te maken met flukes etc die je getallen beinvloeden.

Je wilt gewoon een gemiddelde van een zooitje datacenters nemen wat de flukes al uitsluit op je landdata...
Daarvoor is het aantal te klein.
Een groot deel van het energieverbruik van een datacenter is koeling. Onder water is die zowat gratis en de fysieke toegangsbeperking is ook inherent aan de opstelling.
gratis koeling? Is 40% van de kosten van het draaien van een server of zo.
Omdat er meer ruimte is in de zee en je de water als koeling gebruikt. Land is duur.
Volgens mij heeft dat te maken met temperatuur consistency. Als je op voldoende diepte ligt blijven temperaturen redelijk stabiel.
Ze hebben daar een constante temperatuur die ze niet tot verwaarloosbaar opwarmen, dat lukt je niet op land. In een datacenter is koeling een van de grootste problemen, kost gigantisch veel stroom en je moet die hitte ergens kwijt.
Maar dan heb je nog niet de stabiele temperatuur. Dat valt natuurlijk wel te regelen met de nodige klimaatinstallaties, maar dat vraagt een hoop energie. Onder water krijg je die stabiliteit gratis.
Voor (gratis) koeling en om temperatuurschommelingen tegen te gaan.
Het gaat niet over downtime, het gaat over hardware falen.

Hardware falen leidt zelden tot downtime als je je datacenter goed hebt ingericht. Het leidt enkel tot kosten omdat je de weggevallen capaciteit moet vervangen of aanvullen.
Ik ben geen IT-er dus kan incorrect zijn maar als je de kennis nu opgedaan combineert met een goed ingericht datacenter dan zou het toch in theorie kunnen betekenen dat je nog minder uitval hebt en dus minder kans op downtime? ( puur logische redenatie maar IT wil ook wel is niet logisch zijn :+ )
Mja het is ook niet zo raar, de meeste taken die servers uitvoeren kun je prima op meerdere locaties opslaan en met meerdere machines laten berekenen en verwerken. Dan is een kapotte schijf niet zo belangrijk. Het herstellen van de data is dan belangrijker. Dat is volgens mij ook de reden dat veel datacentra niet zoveel grotere schijven is gaan gebruiken, want dan kost dat herstellen gewoon langer. Dan is het makkelijker om 10 schijven van 1TB te pakken, dan 1 van 10TB. De kans dat die alle 10 kapot gaan is klein en kost een fractie van een tijd om te herstellen vs de 10TB schijf. Uiteraard heb je met raid wel wat meer schijven, maar het voorbeeld blijft vergelijkbaar.

[Reactie gewijzigd door Martinspire op 15 september 2020 11:10]

Het is natuurlijk mooi dat er maar 1/8 van het aantal storingen was, maar het lijkt me dat als er een storing is, het een stuk moeilijker en duurder is om die te verhelpen als je niet zo makkelijk fysiek bij de servers kan.
Je maakt hier een denkfout, namelijk dat je er vanuit gaat dat Microsoft een hardwarefout wil (laten) repareren. Dat willen partijen als Microsoft, Amazon en Google namelijk niet. Deze partijen kopen servers namelijk niet per stuk, maar per container in en een kapotte harddisk boeit ze geen reet. Het uitzetten van de server of het desbetreffende stukje hardware is simpelweg goedkoper dan het vervangen ervan.

Je hoeft immers geen duur personeel aan te nemen en je hoeft ook geen duur onderhoudscontract voor een HP server af te nemen. Direct winst dus.

Als de apparatuur na een paar jaar is afgeschreven, worden ze doorverkocht voor de beste prijs en wordt de kapotte hardware alsnog wel vervangen.
Op de schaal van Amazon/AWS vervang je geen harddisks, servers of zelfs individuele racks. Dat is small/mid-sized business thinking. Zij hebben geen jongens die naar het datacenter rijden om individuele reepjes RAM of losse schijfjes in te bouwen. Ze hebben een bootlading identieke servers die allemaal hetzelfde soort werk doen. Alle VMs, Database services e.d. wordt uitgesmeerd over tienduizenden dezelfde servers en onderliggend is je data op meerdere plekken gerepliceerd.

Je wacht tot er een heel blok naar de klote is en die vervang je dan door een identiek blok. De manier waarop zij hun cloud runnen zorgt ervoor dat geen van de hardware een uniek ding is waarop de data van een x aantal klanten leeft. Mochten ze dit verder uitrollen en 200 van die tanks naast elkaar in de zee gooien, dan wordt enkel de gehele tank vervangen wanneer het merendeel stuk is.

[Reactie gewijzigd door ItsNotRudy op 15 september 2020 10:45]

Het idee is dat het vervangen van de harde schijven te duur is. Op zich wel logisch. In de duur dat ik dit bericht schrijf zullen er misschien al zes harde schijven gefaald zijn bij microsoft. Dan is het misschien goedkoper dat een administratieve medewerker een extra blade met harde schijven besteld (aanvinkt) dan dat technici op zoek gaan naar de harde schijven.
In de huidige cloud omgeving worden disken ook niet vervangen, servers zitten in vergelijkbare containers en als de failure rate van een container te hoog wordt, wordt deze uit bedrijf genomen.
Dit zijn de zogenaamde ITPACs
Daarna worden deze waarschijnlijk gerefurbished, maar daar heb ik geen verdere info over.

De cloud draait daar natuurlijk niet volledig meer op, er zijn ook colocations, maar de containers bestaan volgens mij nog steeds

[Reactie gewijzigd door Ryaka op 15 september 2020 11:06]

Afgezien van het redundantiepunt dat anderen al aanhalen: als het inderdaad vooral de stikstofvulling en de afwezigheid van mensen is die voor deze resultaten zorgt, zoals de onderzoekers vermoeden, dan hoef je die buizen dus niet per se op de zeebodem te leggen om dezelfde vergelijkbare resultaten te halen. Als je dan een uitval van >20% in een buis hebt is het een stuk eenvoudiger om die buis te openen en onderhoud te plegen.

[Reactie gewijzigd door HooksForFeet op 15 september 2020 11:25]

Hoezo, daar heb je gewoon robots voor die de HDD’s kunnen vervangen. Arm er heen, HDD eruit, HDD erin en Raid configureren en knallen maar weer. Komt geen man aan te pas in de tube. En voor uitgevallen servers kan je een rack fallback servers plaatsen. HDD’s eruit en plaatsen in de fallback server en knallen maar weer. Nee, de ratio kan zelfs snel naar 0 als ze zoiets hanteren op afstand.
RAID wordt nagenoeg niet gebruikt in cloud-based storage oplosssingen.

Iedere machine heeft een JBOD storage met virtual disks. De virtual disks worden tussen meerdere servers/datacenters/locaties gerepliceerd. Hiermee haal je een hogere performance, maar heb je dezelfde beschikbaarheid. 1 Virtual disk bevind zich dus op minimaal 2 fysieke machines, meestal meer.

Daarnaast zul je bij JBOD een defecte disk niet hoeven te verwijderen, want dankzij de redundantie van de virtuele disks, kan de data die op de defecte disk stond, worden gekopieerd van een andere machine naar deze machine (geen RAID rebuild, maar alleen kopiëren missende data) en op een andere fysieke disk worden geplaatst. Je hoeft dan ook de RAID redundantie niet opnieuw op te bouwen, Dat kost namelijk weer disk read/writes, waardoor een andere disk weer defect kan gaan.
Ik ben dan waarschijnlijk nog old fashioned. Komt er in ieder geval op neer dat er geen mankracht meer nodig hoeft te zijn.
Voor kleinere omgevingen (lees: Terabytes in plaats van Petabytes) is RAID nog wel een prima oplossing. Zog er dan wel voor dat je RAID sets binnen enkele uren opnieuw opgebouwd kunnen worden. Veel kleinere disks dus in plaats van maar een paar grote disks, zodat je een hoge I/O kunt halen.
op het land kan je een geautomatiseerde sluis maken waarbij je het replacement part er in steekt en een robot het onderdeel vervangt, net zoals je een tape ook niet manueel in een grote library in z'n target slot steekt, maar via mailslots voedt.
Het is natuurlijk mooi dat er maar 1/8 van het aantal storingen was, maar het lijkt me dat als er een storing is, het een stuk moeilijker en duurder is om die te verhelpen als je niet zo makkelijk fysiek bij de servers kan.
Ik neem aan dat ze daar aan gedacht hebben en minder kwetsbare / gevoelige onderdelen gebruikt hebben. Waarschijnlijk is onder meer daaraan te danken dat er zo weinig storingen zijn.
Ze kunnen ook hier op voortborduren en iets met robots doen of een specifiek platform ontwikkelen waarbij ze deze dingen snel kunnen deployen maar ook snel weer uit het water kunnen halen.
Van wat ik begreep vervangen ze geen individuele componenten meer, maar worden complete containers met racks vervangen als deze oud zijn of teveel defecten hebben.
Waarom dan niet de servers ieder in hun eigen vat met stikstof? met een boei om ze boven te vissen.
Een paar rails, wat code en een robot. Alle "human accessability" uit de racks verwijderen en een pallet aan foutgevoelige onderdelen mee naar beneden. Ik zie het probleem niet echt. De roi op de koeling, veiligheid etc. is hoger en bijvoorbeeld lege schijven mee naar beneden kost dan niet veel/c.q. doet niet veel aan de bottomline.

Edit:
Je zou zelfs nog een aan- en af- koppelbare vuilnisbak+reserve unit kunnen ontwikkelen. Dit kan dan ook ervoor zorgen dat de tijd tot obsolete verlengd wordt. Als een buis verouderd is qua hardware maar nog wel voldoet aan low-spec eisen en je de kapotte onderdelen kan vervangen wordt de levensduur ineens nog langer.

[Reactie gewijzigd door dutchshadow op 17 september 2020 08:48]

Microsoft en AWS (misschien Google ook) hebben een heel andere lifecycle voor hun PODs (point of delivery). Als er teveel capaciteit uitvalt in een POD, wordt deze afgeschakeld en OF gereviseerd (dus componenten vervangen) OF kijgt het een enkeltje /dev/null wanneer de economische waarde lager is dan de kosten van vervanging.

Zoiets simpels als even een HDD of SSD vervangen hebben ze niet in de processen staan.
Uiteindelijk is dit op de langere termijn goedkoper en is er vaak voldoende capaciteit beschikbaar.
Alsnje de laatste zin leest was dit inderdaad een experiment met plannen voor de toekomst.

En inderdaad een hele besparing als er maar voor 1/8 van de landserverparken optreedt.

Nadeel is wel als er een eventuele upgrade van het serverpark moet komen ze het weer moeten opvissen.
Op een land setup hier gaan er meestal tussen 2 en 5 reserve disks in een server omgeving. Aantal is afhankelijk van de risico factor. Voorkomt dat iemand in de nacht/weekend op pad moet en dus ook geen kosten hoeft te maken.
Thanks, t was inderdaad een grap, maar ben wel gefascineerd door het idee en blijkbaar liegen de resultaten er ook niet ook met aanzienlijk minder mankementen.
De temperatuur van de zee/oceaan is een evenwicht met de atmosfeer.
Ik weet dus niet of het veel verschil maakt of die warmte in het water terecht komt of in de lucht.
Misschien is het zelf beter aangezien aircosystemen op zichzelf ook warmte produceren.

Het spreekt voor zich dat niet elke locatie geschikt is want lokaal zal het inderdaad wel invloed hebben.

[Reactie gewijzigd door catfish op 15 september 2020 11:47]

Ik heb er al iets over geschreven, er is wel invloed, maar die lijkt redelijk beperkt te zijn.Helemaal als je het gaat vergelijken met de energie die al in het water zit.....


Om te kunnen reageren moet je ingelogd zijn


Apple iPhone SE (2020) Microsoft Xbox Series X LG CX Google Pixel 4a CES 2020 Samsung Galaxy S20 4G Sony PlayStation 5 Nintendo Switch Lite

'14 '15 '16 '17 2018

Tweakers vormt samen met Hardware Info, AutoTrack, Gaspedaal.nl, Nationale Vacaturebank, Intermediair en Independer DPG Online Services B.V.
Alle rechten voorbehouden © 1998 - 2020 Hosting door True