Datacenters in New York gaan offline door orkaan Sandy

Als gevolg van wateroverlast door de orkaan Sandy is een aantal datacenters in en rond New York City offline gegaan. Onder andere hoster Datagram is uit de lucht doordat de kelder waarin diesel voor de noodgeneratoren was opgeslagen, volliep met water.

Orkaan Sandy bereikte maandagnacht de Amerikaanse oostkust en heeft een spoor van vernieling aangericht. Onder andere New York City is zwaar getroffen. Een aantal datacenters is uit de lucht gegaan, waaronder hoster Datagram. Het bedrijf heeft een datacenter in Manhattan en zag dinsdag zijn kelder vollopen met water. Datagram slaagde er niet in om zijn backup-generatoren in te schakelen omdat de dieselvoorraden in de kelder waren opgeslagen. Door de stroomuitval zijn diverse blogsites van Gawker offline gegaan, zoals Gizmodo en Buzzfeed. Het is nog onduidelijk wanneer het water weggepompt zal zijn en de hoster de dienstverlening kan hervatten.

De firma Internap kampte met soortgelijke problemen en kon onvoldoende diesel uit zijn reservevoorraden halen om zijn noodgeneratoren te laten draaien. Bovendien heeft het bedrijf zijn datacenter moeten ontruimen. Internap heeft zijn klanten geadviseerd om hun websites of cloudservers zelf af te sluiten.

Ook hoster Peer 1 Hosting heeft veel last van de overstromingen. Het bedrijf weet zijn servers nog in de lucht te houden via zijn noodgeneratoren door de dieselvoorraden steeds aan te vullen. De waterstanden zouden inmiddels wel dalen. Andere bedrijven die last hebben van Sandy zijn 111 8th Avenue en Atlantic Metro. Aan de Amerikaanse oostkust zouden verder miljoenen mensen zonder stroom zitten.

Reacties (127)

[ExIT]

Datacenters werken vaak met redundantie. Niet alleen als het aankomt op stroomvoorzieningen, maar ook als het gaat om bekabeling, koeling etc. Dit drukt men vaak uit in Tiers. Als de stroom uitvalt dan schakelen direct de generatoren in. Omdat de meeste racks een eigen UPS (mini-stroomvoorziening) hebben is deze "drop" van voeding te overbruggen. De brandstoftanks zijn vaak met vele liters gevuld en kunnen gemiddeld 4 tot 8 uur backup-stroom leveren alvorens iets moet gebeuren.

Het is echter net als verzekeren. Je bekijkt welke risico's je loopt, hoe groot de kans is en wat de (financiële) gevolgen zijn als je deze risico's ondergaat. Omdat datacenters tegenwoordig altijd met een off-site mirror werken (kopie van de data in een datacenter kilometers verderop), zal de klant weinig hinder ondervinden. Het verkeer zal naar de off-site backup locatie geroute worden.

Dat men geen rekening gehouden heeft met een overstroming is.. niet zorgvuldig. Maar nogmaals, het is een afweging. Wellicht is er besloten dat dit risico verwaarloosbaar is, of financieel te overzien.

In een datacenter is weinig dat wél onder water mag komen te staan; er zal dus altijd wel íets op de begane grond moeten staan. Aangezien dieselgeneratoren (vaak omgebouwde motoren uit de scheepvaart van enkele tonnen) niet makkelijk in de lift passen, staan deze op de begane grond. Leuk om te weten is dat ze de ruimte voor deze generatoren vaak compleet ophangen in rubbers zodat de trillingen geen verdere schade veroorzaken. Omdat een goed datacenter eens per maand volledig overgaat op alle backup-faciliteiten, om deze te testen en waar nodig te onderhouden, zijn dat heel wat trillingen namelijk, die invloed hebben op de integriteit van het pand.

Afijn, geen schokkend nieuws dus. Gecalculeerd risico naar alle waarschijnlijkheid. Schade dekt de verzekering. Klanten dienen geen claims in omdat de off-site backup live ging neem ik aan... niets aan de hand.

(En ja, een paar sites gingen offline. Maar dat zijn vaak klanten die zelf het risico incalculeren en om financiële redenen geen backup faciliteiten afnemen. En die paar uur downtime valt dan ook prima binnen de 99,8% SLA die zegt dat men 8 uur uit de lucht mag zijn per jaar)

*edit: typfouten

[Reactie gewijzigd door ExIT op 24 juli 2024 23:18]

[EnigmA-X]

Het lijkt me logisch dat er niet zoveel rekening wordt gehouden met het risico van zo'n overstroming, die zich kennelijk (op deze schaal) eens in de 100 jaar voordoet. Iemand moet natuurlijk ook de rekening betalen om dat risico eventueel af te dekken.

Klein rekenfoutje: 99,8% SLA betekent een toelaatbare downtime van ~17,5 uur.
Ze hebben dus nog even

[Reactie gewijzigd door EnigmA-X op 24 juli 2024 23:18]

[ExIT]

Mijn fout, 99,9% is 8 uur.

En inderdaad, de kans lijkt erg klein. Ik ben wel benieuwd of de verzekering deze schade dekt, of dat ze het zelf op overmacht/onvoorzien natuurgeweld gooien.

Hosting is geen vetpot meer tegenwoordig, dus een dergelijke schade dekken uit eigen zak betekend dat je een spaarpotje moet hebben. En zo niet; marktwerking natuurlijk. Another one bites the dust. Maar voor de klanten is dat wel knap lastig.

[kjast]

Dit valt sowieso niet binnen de normale SLA. Een orkaan is een natuurramp en die zijn niet gedekt .

[CyBeR]

Als de stroom uitvalt dan schakelen direct de generatoren in. Omdat de meeste racks een eigen UPS (mini-stroomvoorziening) hebben is deze "drop" van voeding te overbruggen.

Hoewel ik me voostel dat een dergelijke set-up ook voorkomt, werken de meeste commerciele datacenters met een centrale UPS die de tijd tussen het uitvallen van netstroom en het bedrijfsklaar zijn van de generatoren te overbruggen.

[OneTimer]

Heeft youtube ook servers in NY staan?
Krijg nog al vaak Internal Server Error 500 vandaag.

[Melkunie]

Jep, bij mij ook. Kwam speciaal naar Tweakers om te kijken of er toevallig wat nieuws over was. Vanmorgen rond half tien heb ik Youtube ook nog gebruikt, toen was er niets mee aan de hand.

[actionInvoke]

Same here! Vreemd, ik was in de veronderstelling dat google zijn data altijd over de hele wereld heen mirrored zodat je altijd een locale versie ophaalt.

[BlueMonday]

nog niet bekend wat er aan de hand is:
http://www.nu.nl/internet...ternationale-storing.html
niet overal zijn problemen zo te zien:
http://www.isitdownrightnow.com/youtube.com.html
en het ergste is al achter de rug lijkt het:
http://downrightnow.com/youtube

[Revres]

Nu je het zegt, veel traagheid op youtube moet ik toegeven (sinds gisteravond). Bij bijna alle filmpjes zelfs op 240p moeitje om te bufferen maar de kans lijkt me klein dat dit komt omdat één datacenter eruit ligt in NY.

[Reactie gewijzigd door Revres op 24 juli 2024 23:18]

[AjDuLion]

peer 1 gaat afsluiten tanks beginnen leeg te raken en nieuwe voorraden komen niet op tijd.

http://forums.peer1.com/v...?f=37&t=7532&p=9463#p9463

bron stond in het bericht maargoed..

05:00 PT - At this point we have an estimate of 4 hours for the fuel left on our generators. Our techs and facility are continuously working to get emergency fuel delivery on time and was looking to set-up a temporary tank and pump since the basement is still flooded. In the event of not receiving the fuel on time, worst case scenario is we will have to gracefully shutdown the facility. More updates to follow once available.

06:30 PT - We are going to implement a controlled shutdown of NY Data Center at 10:45 ET. Customer communications is being prepped.

[Reactie gewijzigd door AjDuLion op 24 juli 2024 23:18]

[The__Virus]

Interessant bericht, maar dan moet je wel een bron vermelden.

[AjDuLion]

bron staat in het nieuws zelf.... maar staat er nu bij

[jurgenr7]

Staan er eigenlijk belangrijke dns-servers in NY, waardoor het internet in het algemeen trager wordt?

[ExIT]

DNS is een gedecentraliseerd systeem. Er zijn wel root DNS servers die aan top staan, maar als die uitvallen dan blijft alles er onder min of meer gewoon werken

Het is een misvatting dat deze alleen in Amerika staan. Er staan ook root DNS servers in Canada en Europa bijvoorbeeld.

Omdat DNS een decentraal systeem is, is dat ook de reden dat een nieuw domein vaak pas na enkele uren te gebruiken is; eerst moet dat domein met IP-adres rondgaan langs alle DNS servers.

[Reactie gewijzigd door ExIT op 24 juli 2024 23:18]

[jongetje]

Het internet wordt dan niet trager, maar hoogstens het resolven van een domeinnaam naar ip-adres. Als dat eenmaal gedaan is dan wordt dat local, en bij je provider gecached dus lijkt me niet zo'n heel groot probleem.

[rdfeij]

Misschien wel, maar je locale hoster cached ook dns records, dus voordat het hele internet traag wordt moeten er al heel wat dns TTL's verlopen zijn.
Bovendien staan de (root) DNS servers verspreid dus zo'n vaard zal het niet lopen

[Kisters]

Als je dicht langs de kust je bedrijf hebt zitten en het vaker voorkomt dat er overstroming gevaar is zou je toch verwachten dat je deze noodvoorzieningen niet in de kelder hebt staan. Lijkt mij tenminste.

Hoop voor de mensen en bedrijven dat zij weer snel stroom hebben.

Edit type fout

[Reactie gewijzigd door Kisters op 24 juli 2024 23:18]

[Anoniem: 19339]

Als je dicht langs de kust je bedrijf hebt zitten en het vaker voorkomt dat er overstroming gevaar is zou je toch verwachten dat je deze noodvoorzieningen niet in de kelder hebt staan. Lijkt mij tenminste.

Wat wil je dan? De generatoren naar boven (succes met vloerbelasting en goederenliften), en de servers zelf in de kelder? De data is vaak meer waard dan de hardware, dus ik zou liever hebben dat vervangbare generatoren onderlopen dan harddisks.

Je laat de kelders ook niet onbenut, dat is zonde van het geld wat je ervoor betaald hebt.

[Reactie gewijzigd door Anoniem: 19339 op 24 juli 2024 23:18]

[Anoniem: 419371]

generatoren kunnen prima ergens anders in een gebouw staan en volgens mij gebeurt dat ook wel! Meestal staan ze in de kelder want anders gebruik je die ruimte toch niet,en gebruiken ze alles bovengrond liever voor iets anders!

[firest0rm]

alsof een airco ook niet op het dak kan van een gebouw durf te wedden dat zon generator niet veel zwaarder zou dus prima kunnen

[HJR]

heb je weleens gehoord van vloerbelasting? dit soort dingen kun je nieteens hoger in het gebouw plaatsen.

new york is natuurlijk een belagrijk internet-knooppunt, waardoor je dus veel hosters dichtbij de core-routers wilt hebben. dit zie je ook in nederland.
waarom anders dan zoveel hosters in 020....

[devino]

NSA's en de bijbehorende diesel kun je prima hoger in een gebouw plaatsen. Ben bezig met de energievoorziening van een DC in Amsterdam en daar liggen alleen de ontvangsthal en de kantoren op straat nivo, de rest minimaal op de 1e verdieping, ook de brandstoftanks. Heeft volgens mij iets te maken met de TIER klasse waaraan ze willen voldoen.

[Anoniem: 419371]

De veluwe is een beter plaatst ervoor!!!

[tha_crazy]

Onder andere hoster Datagram is uit de lucht doordat de kelder waarin diesel voor de noodgeneratoren was opgeslagen, volliep met water.

Beetje raar, lijkt me toch wel dat dit een aardig gesloten systeem is, welke alleen geopend zal worden bij het vullen dan.
Maar ik heb er dan verder ook niet al te veel verstand van....

[godofal]

als de diesel in tonnen (oid) zit, die bewaard worden in een kelder, en de kelder vervolgens onderloopt is het nogal lastig om die tonnen uit de kelder te krijgen
zonder diesel kunnen de noodgeneratoren niet draaien, en is er dus geen stroom voor de servers

[thunder8]

Lijkt me toch erg sterk als je je dieselvoorraad in tonnen laat aanleveren. Je wil je backup generators zo snel mogelijk online hebben bij een stroom onderbreking, zodat je minimaal je UPS'en hoeft te belasten. Om die generators dan te voeden, wil je beschikken over een bulktank (of meerdere) die via een gesloten systeem kan worden aangevuld. Het aanslaan van een ton met diesel zal handmatig moeten plaatsvinden en dat lijkt me nu het laatste wat je wil bij een noodvoorziening.

Wij hebben als bedrijf een noodaggregaat met ingebouwd dieselreservoir. Zodra de stand van de diesel te laag wordt, komt onze dieselboer hem bijvullen.

Daarom kan ik me ook wel vinden in de opmerking van tha_crazy. Je gaat er normaal gesproken van uit dat je bulktank diesel een gesloten systeem is, waarbij water niet de tank kan binnendringen.

Echter kan het natuurlijk zo zijn dat de tank aardig laag in het gebouw zit, waarbij de waterdruk dusdanig hoog is dat het water alsnog de tank binnen dringt via een ontluchting o.i.d.

[Timo002]

Ik vind het ook een vreemd verhaal en een slecht stukje engineering. Wellicht zoals al geopperd is, is de electrinca erom heen niet water bestendig, of de ontluchting zit in de zelfde ruimte, waardoor er nu dus geen lucht de bulktank in kan op het moment dat de diesel uit de tank gehaald wordt.

Maar dan nog zijn er UPS'n waarbij een dagtank aanwezig is, welke een paar meter boven de dieselmotor staan en zo door zwaartekracht de diesel motor van brandstof voorzien. Zodoende heb je altijd voor ongeveer een uur of 2 een voorraad diesel welke vanzelf je diesel motor instroomt. Pas als de dagtank leeg is ga je deze bijvullen met brandstof uit de bulktank (in de kelder). Zo kun je dus sowieso de eerste klap opvangen mocht je bulktank leeg zijn of mocht je daar geen brandstof uit kunnen pompen.

[Anoniem: 415735]

...
Maar dan nog zijn er UPS'n waarbij een dagtank aanwezig is, welke een paar meter boven de dieselmotor staan en zo door zwaartekracht de diesel motor van brandstof voorzien. Zodoende heb je altijd voor ongeveer een uur of 2 een voorraad diesel welke vanzelf je diesel motor instroomt. Pas als de dagtank leeg is ga je deze bijvullen met brandstof uit de bulktank (in de kelder). Zo kun je dus sowieso de eerste klap opvangen mocht je bulktank leeg zijn of mocht je daar geen brandstof uit kunnen pompen. ...

Maar hoe goed is dat stukje engineering als er geen rekening wordt gehouden met een falende dieseltank boven een warme generator en bovendien om onbekende reden ook nog een vonk optreedt? Om maar iets onwaarschijnlijks te noemen.

Het is heel makkelijk om open deuren in te trappen zodra iets faalt. Maar meestal zijn door de criticasters dan niet alle ontwerpcriteria gewogen meegenomen. Daarnaast is het makkelijk om het tijdsaspect (meso) te negeren. Zie bijvoorbeeld ook april jl brand Vodafone Nederland (bron: tweakers).

Edit: en voor zover ik kan opmaken lijkt er (iig) bij InterNAP (bron: Punica-) sprake te zijn van gracieus verval. Afhankelijk van het type geboden service lijken er dus nog wat alternatieven beschikbaar om de "dataschade" te minimaliseren.

[Reactie gewijzigd door Anoniem: 415735 op 24 juli 2024 23:18]

[Anoniem: 132385]

_{Het is heel makkelijk om open deuren in te trappen zodra iets faalt. Maar meestal zijn door de criticasters dan niet alle ontwerpcriteria gewogen meegenomen. Daarnaast is het makkelijk om het tijdsaspect (meso) te negeren. Zie bijvoorbeeld ook april jl brand Vodafone Nederland}

Je noemt het open deuren intrappen maar new york heeft in zijn geschiedenis al meerdere overstromingen meegemaakt dus hadden ze hier rekening mee moeten houden tijdens de ontwerpfase. Het is dus gegronde kritiek aangezien achteraf blijkt dat het ontwerp niet goed genoeg was. Of dit te maken heeft gehad met kosten of het falen van de risico-analyse is een tweede maar ergens is er iets fout gegaan wat ze van tevoren hoorden te weten. Namelijk dat er overstromingen kunnen plaatsvinden in NY en hier schijnbaar geen rekening mee hebben gehouden.

[indigo79]

New York heeft inderdaad al heel wat overstromingen meegemaakt. Dat wil niet zeggen dat het economisch verantwoord is alles volledig overstromingsbestendig te maken. Het is inderdaad perfect mogelijk om het hele backupsysteem te voorzien op dit soort situaties. De meerprijs hiervoor moet in de praktijk echter doorgerekend worden naar de klant, en die heeft (behalve deze week) echt geen zin dat te betalen.

Je kan je ook afvragen of wanneer enkele miljoenen mensen afgesloten zitten van de wereld, zonder elektriciteit, het even afwezig zijn van deze datacenters echt een probleem is. Voor veel services eigenlijk niet. Voor de services waarvoor het wel een probleem is, had de eigenaar voor een degelijke backup moeten zorgen (en dan is een eenvoudige backup aan de andere kant van de wereld vermoedelijk goedkoper en zekerder dan datacenters te bouwen die aan dit noodweer kunnen weerstaan).

[Anoniem: 415735]

Je doet voorkomen alsof het risico op overstroming in New York overal hoog is. Misschien heb je hier wat aan: coastal flooding New York. Ik kan me zo voorstellen dat de gemeente gedetailleerde overstromingskaarten beschikbaar heeft (niet ongebruikelijk).

Daarnaast even inhoudelijk: verhoogde risico's zijn dmv contigencies af te vangen, mits deze werken. Daarmee kan er in de ontwerpfase prima rekening met een dergelijk risico zijn gehouden, maar zou om onbekende reden een contigency in de praktijk evengoed kunnen falen.

edit2:

Het is dus gegronde kritiek aangezien achteraf blijkt dat het ontwerp niet goed genoeg was.

Er zal trouwens nog moeten blijken dat het ontwerp niet goed was. Wie zegt dat er geen rekening is gehouden met falende reserve-systemen. Zolang er sprake is van gracieus verval of transitie van het risico naar andere partijen, lijkt er ruimte om de schade te minimaliseren.

[Reactie gewijzigd door Anoniem: 415735 op 24 juli 2024 23:18]

[mjtdevries]

Hoogstwaarschijnlijk vond men de extra kosten gewoon niet de moeite waard.

Waarom zou je al die extra kosten maken als het niet erg is dat je websites een paar dagen uit te lucht zijn tijdens een storm?

[ReDnAx1991]

Als ik het verhaal ook zo lees krijg ik een beetje het idee dat deze datacenters wat krenterig met hun geld om zijn gegaan en niet (naar Amerikaanse standaard) "dure" diesel wil kopen voor het online houden van hun datacenters.

Een systeem zoals Thunder8 dat beschrijft zou ik dan wel verwachten, ach nu kunnen ze het op de verzekering gooien en zijn alleen de klanten de klos.

[Anoniem: 310408]

Een verzekering betaalt je echt niet uit als je de schade makkelijk had kunnen voorkomen. Ik denk dat dat je geen idee hebt over de omvang van dit soort data centra en de omvang van deze storm.

De windkracht bleef dan wel iets onder de verwachting maar de impact is enorm. Een gebied zo groot als Nederland heeft zeer beperkte verbindingen, stroom problemen. Minstens een tunnel (update, 8(!) tunnels onder de East River) die Manhattan met het vaste land verbinden staan onder water. Het openbaar vervoer ligt nog steeds plat. Ziekenhuizen zijn ontruimt. enorm veel wegen zijn nog dicht, veel bedrijven zijn gesloten.

Denk nu echt dat de overheid daar veel aandacht heeft voor een data centrum dat diesel nodig heeft? Die diesel is wellicht nodig voor veel belangrijkere zaken.

[Reactie gewijzigd door Anoniem: 310408 op 24 juli 2024 23:18]

[TimSeve]

komt onze dieselboer hem bijvullen.
maar in dit geval zou dat al niet mogelijk kunnen zijn, als bij jullie alles onder water staat kan er ook geen dieselboer komen en ben je blij als je alles in tonnen hebt opgeslagen

[thunder8]

Als onze dieselboer niet meer kan bijvullen, gaan we shutdownen, want dat kunnen wij ook niet werken.

[chrisO]

Dus je vindt het raar dat Datagram offline gaat, omdat hun kelder met dieselvoorraaden volstaat met water, maar als jullie dieselboer om een of andere reden niet meer kan bijvullen, dan gaan jullie down? Ik zie overeenkomsten...

[thunder8]

Wij zijn geen datacentrum en nee ik vind het niet raar dat ze bij deze omstandigheden offline gingen. Wij hebben de aggregaat buiten op het terrein staan en als teveel water staat, kunnen wij ook niet meer bij het pand, cq ons werk verrichten.

Ik zei ook nergens dat ik het raar vind dat Datagram down gaat, want met een dergelijk scenario zal kostentechnisch geen rekening worden gehouden.

Echter kon ik het me niet voorstellen dat je je generatoren met losse vaten diesel gaat bijvullen. Als er een normale landdurige stroomstoring is, kunnen wij gewoon doorwerken en dat was bij Datagram ook niet anders geweest.

[DaManiac]

Waarbij je er gemakshalve ook vanuit gaat dat het gehele systeem dat om de dieseltank heen zit (pompen, filters, elektronica) ook waterdicht is en blijft functioneren als het onder water staat?

[Anoniem: 419371]

Hier in nederland houden we rekening met dit soort ding in de vs lang niet altijd! Ze denken daar meer van het zal wel niet gebeuren!

[Reactie gewijzigd door Anoniem: 419371 op 24 juli 2024 23:18]

[Proxx]

kan ook zijn dat apparatuur gewoon niet goed werkt (pomp of iets) doordat er water is.
misschien iets elektronisch of wat dan ook.

niet alles kan zo goed tegen water probeer maar eens een vel te printen als je printer onder water staat.

[styno]

Een luchtdichte tank waar je een vloeistof uit haalt (diesel) zal dichtklappen, iets wat je meestal niet wilt. Dus zijn dieseltanks met beluchting uitgevoerd waardoor water in de tanks kan komen, een van de redenen dat de dieselgeneratoren bij Fukushima het niet deden en misschien ook hier het geval.

Edit: Ah, hieronder beschrijft Punica de werkelijke reden (dieselpompen onder water).

[Reactie gewijzigd door styno op 24 juli 2024 23:18]

[Mathijs]

Ik heb tijdens de storm meerdere statusupdates van Internap ontvangen, waarin staat dat de reden waarom ze geen diesel uit de noodvoorraad kunnen gebruiken omdat de pompen onder water staan.
Het systeem is dus wel gesloten, maar de pompen zijn niet waterdicht.
Ze gaan daar in een datacenter dus niet uit van overstromingen bij de aanleg van noodvoorzieningen.

[procyon]

Ik denk niet dat er handmatig tonnen brandstof versleept moeten worden.
Wat eerder het geval zou kunnen zijn is dat bijvoorbeeld de ontluchting van dieselopslag tanks (anders wordt het een vacuum) niet meer werkt en er water in de diesel loopt als de tank onder water staat.
Water is zwaarder dan diesel dus dan heb je direct een probleempje.

Daarnaast zou het zo kunnen zijn dat de pomp die de diesel wegpompt naar de generator niet goed werkt als deze is ondergelopen, zelfde voor de accu's.

[Punica-]

Daarnaast zou het zo kunnen zijn dat de pomp die de diesel wegpompt naar de generator niet goed werkt als deze is ondergelopen, zelfde voor de accu's.

Wat je omschrijft betreffende de pompen is dus wat er gebeurd is, dit is een officieel bericht van InterNAP:

Please be advised that the NYM-EXT1 facility is experiencing significant flooding in the sub-basement of the 75 Broad Street building as a result of Hurricane Sandy. The flooding has submerged the site's diesel pumps and is preventing fuel from being pumped to the generators on the mezzanine level. The available fuel reserves on the mezzanine level are estimated to support customer loads for approximately 5-7 hours. Once this fuel supply has been exhausted the generator will no longer be able to sustain operation and critical customer power loads will be lost. We urge all Internap customers to take necessary remote action, if shutting down equipment in a more graceful fashion is possible before the outage occurs.

The building itself is being evacuated and no remote hands support will be available to assist in any equipment shutdown. Life safety is our number one priority and we are making plans to completely exit the facility. No customer access to the building is possible at this time either. Due to the evacuation, Internap will not be able to provide any exact updates on when the fuel will be exhausted and critical customers loads lost, but as noted, we believe it will take place in approximately 5-7 hours from now.

Er schijnen meer DC's te zijn met hetzelfde probleem.

[bigbadbull]

ik denk eerder aan het laaste, als je diezelpomp niet meer werkt of de generator zelf, dan heb je geen electriciteit.
Normaal staan die ook in de kelder en als die onderlopen, werken ze ook niet meer.

[Anoniem: 419371]

Een diesel motor kan ook onderwater werken als de lucht toevoer maar boven water zit! Het grootste probleem zijn mensen die niet verder nadenken,maar alleen aan kosten besparing denken! In de praktijk is het vaak anders dan op papier! Ze bedenken allerlei dingen die niet werken!

[bonus]

Ik denk dat ze het back-up programma dan toch eens serieus moeten herzien. Back-up betekend in deze niet alleen het veilig wegzetten van de data maar ook zodanig dat het dan alsnog bereikt kan worden. Als op deze manier de back-up dan alsnog lam gelegd wordt dan doe je toch iets niet goed.

Zal me niks verbazen als er na deze orkaan een stevige vergadering gevoerd gaat worden over hoe een back-up moet werken Maar goed, van je fouten kun je leren...

[thunder8]

Het vraagstuk zal eerder zijn: Hoeveel kans was er op een dergelijke overstroming op die specifieke locatie? Als er gebouwd en ge-engineerd is op het feit dat er een dergelijke overstroming maar 1x in de 1000 of 10.000 jaar voor komt, dan moet je afwegen of het kostentechnisch verantwoord is om je voorzieningen zo te bouwen dat je ook tijdens die uitzonderlijke situatie nog online kan zijn.

Het ging hier om een superstorm gevormd door 2 depressies die aan land kwam tijdens een hoogwater situatie. Dit is hoogst uitzonderlijk.

Je kan je datacenter wel engineeren op basis van elk denkbare rampscenario, maar wat gaat je kastruimte voor de klant kosten en ben je dan nog concurrerend genoeg tov je competitie?

Het is op zich al goed dat de generatoren goed werken, totdat de eerste buffer op is. Hoevaak lees je wel niet dat een ziekenhuis zonder stroom zit, omdat de noodgeneratoren domweg niet aanslaan? Dat komt helaas ook veel te vaak voor. Bij ons wordt de generator elke maand getest en dan nog is het geen garantie dat hij het goed doet als het echt nodig is.

[NBK]

Bij een klant meegemaakt dat de generator op vrijdags nog z'n proef/warmdraai rondje heeft gedraait en op maandag niet meer wou starten omdat er een accu plotseling defect was geraakt. Nou gaf de druppellader daar wel alarm op maar ze zaten vanaf dat moment wel zonder backup.
Meestal is het zo dat als er 1 ding fout gaat de rest ook in de soep loopt...

[mjtdevries]

Reken maar niet dat ze op 1x in de 1000 of 10.000 jaar rekenen in de VS.
Hun dijken om de bevolking te beschermen gaan daar niet eens van uit. Dat kunnen wij ons in Nederland niet voorstellen waar 1x in de 10.000 jaar de norm is, maar in de VS vinden ze 1x in de 100 jaar al netjes.

[Anoniem: 419371]

Dit soort overstroming gaan meer voorkomen in de toekomst daar waarschuwen de weerdeskundigen ons volgens mij al sinds een jaar of 10 voor! Ons klimaat is de laatste 200 jaar veel te rustig geweest volgens sommige weerkundige! Onze delta werken zijn ook niet voor niks gemaakt! Het zou mij niet verbazen dat het in de toekomst amersfoort aan zee is en niet zandvoort!

[bigbadbull]

Dat heet geen backup maar DRS, Disaster recovery system.
En meestal houd dat in dat deze in een remote site staan, zodanig dat als er iets met een site gebeurd, de DRS het werk met minimaal verlies aan data het kan overnemen.

Meestal bewaar je daar ook je offline backups.

[Jormungandr]

Correct. er is een groot misverstand dat Backup = DRS. DRS kan backup omvatten, maar is bij voorbaat gewoon continuïteit. Sync en aSync mirrors naar een offsite datacenter is daar de key. Wat de RPO en RTO betreft is dat dan heel sector/bedrijfsspecifiek.

[Anoniem: 19339]

Interessant vraagstuk, maar het lijkt me niet de verantwoordelijkheid van de datacenters. Die leveren alleen maar huisvesting en bandbreedte voor apparatuur van hun klanten. Die klanten mogen zelf kiezen of ze elders nog een uitwijklocatie willen, en daar bereid zijn voor te betalen.

Je kunt alles wel driedubbel redundant en geografisch gespreid gaan hosten, maar wegen de drievoudige kosten op tegen de kosten van een mogelijke uitval?

[Revres]

Ik ben wel bang dat de datacenters zelf reclame maken met kreten als "goede nood voorzieningen", "99.999 uptime" en "geen reden om niet te draaien" iets in die trend.

[Edddd]

Ik ben wel eens in een datacenter van American Express geweest in New York. Zij hadden een eigen (!) kabel liggen naar hun center in New Jersey, voor opslag en back ups. Boeiend. Ook de aggregaten gezien, voor in situaties als deze. Lang geleden, maar wel indrukwekkend toen. (evenals het bezoek aan een restaurant in Chinatown, waar we midden in de nacht eerst in de rij moesten staan om wat te kunnen eten ).

Wel een raar verhaal dat pompen niet meer werken. An sich kan dat, maar het betekent dat niet geanticipeerd is op dergelijke situaties. Terwijl je juist daarvoor je back up energievoorziening hebt.

[Biinjo]

Een insight view van een grote jongen (Fog Creek Software) die daar ook zijn apps host (o.a. Stack Overflow):
http://blog.serverfault.c...stack-exchange-for-sandy/

En meer over de situatie in het datacenter (vanuit hun point of view):
http://fogcreekstatus.typepad.com/

[Reactie gewijzigd door Biinjo op 24 juli 2024 23:18]

[Bunzz]

Oef..Dat is nogal wat. Hoe zit het eigenlijk met de DowJones?

[Stefandepefan]

Die handel is stilgelegd vanwege de storm (net als de NASDAQ).

Wat mij verrast is de schade die het land nu dagelijks heeft (10 miljard p.d.), maar dat ze er bar weinig tegen hebben gedaan (door middel van het bouwen van dijken of andere waterwerken) om dit voorkomen. Vorig jaar was er ook deze storm en toen viel het nog mee. Ik hoop dat ze door deze malaise inzien dat er wat Nederlands watermanagement die kant op moet gaan. Die 10 miljard die ze nu missen kunnen ze net zo goed onze kant opsturen

[Anoniem: 93986]

Iets zegt mij dat een storm van dat formaat onze dijkjes niet gaan tegenhouden. Voor normaal hoog water en een flinke storm zijn onze dijkjes prima.

Wij hebben die dijken omdat wij voor een groot deel onder het NAP liggen. New York niet. Dat gedeelte stroomt natuurlijkerwijs niet vol. Alleen met zo'n orkaan.

[kjast]

Jawel hoor,

Sterker nog, er is een Nederlands plan voor dat in 2009 is afgekeurd. Te duur (circa 6 miljard)

Hier een filmpje van de desbetreffende barrier:
http://www.youtube.com/wa...MVJa5elEU&feature=related

[Janberto]

Precies,

Nederlandse dijken zijn zo gedimensioneerd dat er eens in de 1.000 (en zeedijken zelfs eens in de 10.000) jaar een overstroming kan plaatsvinden.

In New Orleans bijvoorbeeld hadden ze helemaal geen dijken. Slecht betonnen muren die niet veiliger waren dan eens in de 10 jaar.

Nu heeft New York nog het voordeel dat het niet onder de zeespiegel ligt zoals delen van New Orleans, waar al het water daadwerkelijk kan wegstromen de stad in, en je het er ook niet zomaar weer uit krijgt.

De schade in New York is nu al geschat op 10 miljard. En de desbetreffende plan (waterkering plus vele dijkophoginen) van Arcadis in 2009 had een groot deel van deze schade kunnen voorkomen. Een goede investering (6 Miljard) lijkt mij zo.

Al was dat plan sowieso te laat gekomen voor deze storm twee jaar later.

[Ook al Bezet]

Iets zegt mij dat een storm van dat formaat onze dijkjes niet gaan tegenhouden.

Dat valt best mee. Bij New York hadden ze te maken met een stormvloed van bijna vier meter. De Nederlandse kust is berekend op ca. 5 meter boven NAP.

[ZpAz]

Nederland is de absolute top als het om waterwerken gaat op de wereld.

[Soulshaker]

Dat moet ook wel .
Nederland ligt voor een groot deel onder het zeeniveau.

[alt-92]

Wat mij verrast is de schade die het land nu dagelijks heeft (10 miljard p.d.), maar dat ze er bar weinig tegen hebben gedaan (door middel van het bouwen van dijken of andere waterwerken) om dit voorkomen. Vorig jaar was er ook deze storm en toen viel het nog mee.

Deltawerken hebben totaal dik 30! jaar tijd gekost, en dat besloeg een gebied wat een fractie van de Greater NY area is.

Ja hoor, die dijkjes heb je in een jaar wel voor elkaar.

[Supermario16]

Nee, de VS worden al jaren geteisterd door stormen van dit formaat. New Orleans enkele jaren geleden nog, Florida bijna jaarlijks, nu de gehele oostkust. Een gebied dat zo belangrijk is als NYC, wat zo dicht aan de kust ligt, en waar zoveel mensen wonen moet gewoon beter beschermd zijn tegen dit soort fenomenen.

Vergeet niet dat de Deltawerken door de Amerikanen verklaart zijn tot één van de zeven moderde wereldwonderen. M.a.w., ze kunnen nog flink wat van ons leren

[donny007]

Het verbaast me niks als ze de huizen weer van plywood bouwen en de kabels ophangen aan houten paaltjes.... Bij een volgende storm kunnen ze alles weer oprapen en hetzelfde doen. Kabels ingraven is veiliger, mooier en vooral duurzamer. Veel branden zijn ontstaan door de combinatie houten huis en slingerende kabel.

Damage pics - Meer Sandy ravage en informatie

[biglia]

Daar gaat hun 99,9999999% uptime. Hopelijk zijn ze hiervoor wel ingedekt in het land van de schadeclaims.

[subcultural]

Even realistisch blijven. Je kan geen 99,9999999% uptime garanderen als al je data/servers maar op 1 site (datacenter) draaien. Geen enkele Cloud provider is zo gek om dat te garanderen op zijn SLA's en al zeker niet met slechts 1 site

Leuk om de commentaren op "Cloud" weer voorbij te zien komen.
Moest orkaan Sandy over de bedrijven van deze "nay-sayers" razen, dan zal diens eigen netwerk en server infrastructuur natuurlijk nooit downtime ervaren.... Als een rots in de branding trotseert diens infrastructuur de storm als een lachertje en komt er zonder schrammetje door... (HINT: sarcasme)

Realiteit: Bij de minste scheet die er gelaten wordt is er wel weer een probleem bij de meeste interne infrastructuur, maar als infrastructuur in de "Cloud" (wat een overused marketingterm overigens) eens downtime krijgt, dan is het hek van de dam! Dat kan toch niet!

Net zoals bij de Amazon downtime is het steeds wijselijk je servers op verschillende sites en best nog bij 2 verschillende providers te hebben, als het dan toch quasi 99,9999999% uptime moet hebben.

Maar daar betaal je dan natuurlijk ook weer flink voor.

[Reactie gewijzigd door subcultural op 24 juli 2024 23:18]

[HMS]

Natuurrampen zijn bijna altijd uitgesloten in SLA's . Dus deze downtime telt dan niet mee.

[AjDuLion]

Staat ook onder water hele floor is op het moment vol met water.

een oud klasgenoot van mij woont in New York en heeft itt tot veel andere Amerikanen wel stappen gezet. heel veel mensen zitten half in paniek vast in hun flats en kunnen nergens heen.

gisteren moest ik echt tennenkrommend zien hoe op het nieuws wat mensen zeiden dat ze alcohol en wat eten hadden (wat gebakken moest worden door gas/elec) die mensen waren totaal niet voorbereid..

ben blij dat hij me nog kon smsen dat alles ok was en zijn voorraad blikvoer hem de komende week nog wel in leven kon houden

[Ook al Bezet]

Staat ook onder water hele floor is op het moment vol met water.

Da's een gerucht dat niet waar bleek te zijn. Bijna jammer eigenlijk, had mooie grappen over haaien op de beursvloer opgeleverd.

[tinoz]

Echte preppers zijn wel goed voorbereid In Nederland adviseren ze om voor 3 dagen water en eten op te slaan, maar ik denk dat de meeste mensen al in paniek raken na 2 dagen zonder water...

[analog_]

Dat doen ze daar ook hoor. FEMA.

[Supermario16]

Beurs is dicht vandaag:
http://www.destentor.nl/n...w-dicht-vanwege-Sandy.ece

[Mattie112]

Currently, PEER 1's onsite datacenter staff, building and mechanical engineers have been able to successfully sustain our generators and fuel supply through an estimated time of 2:00PM EST.
A fuel delivery is en route to the facility but due to the various street closures and general road conditions caused by Hurricane Sandy, the expected ETA of the fuel truck is approximately 1 hour.
If the fuel delivery is not able to be made before 2:00PM EST, PEER 1 will need to initiate a suspension of all services at our affected facility beginning approximately at 2:15PM EST.

Given these circumstances, we want to ensure our customers are aware of every option available to you.
Your current options are to:
1. immediately power up your solution with the understanding that you will most likely need to power them back down at 2:00PM EST if no fuel confirmation is made by PEER 1.
2. wait until the fuel refill confirmation is provided by PEER 1 via these forums and then safely power up your solution on our generator power.
Both options will require monitoring these forums for additional updates due to the nature of the circumstances currently being experienced at our New York City facility.

We thank you for your patience and understanding as we work to minimize the impact this event has had to our services.
Thanks very much,
Michael Gardner

Hoop voor ze dat de brandstof optijd is... zou zonde zijn een heel DC "uit" te zetten...

[Rockvee2]

Kom op man, het is internet , niet een eerst levensbehoefte .

[analog_]

Hangt er maar net vanaf wat er allemaal wordt aangestuurd en gemonitord vanuit dat DC. Het DC zelf niet maar de interactie met de wereld is meer dan een paar onbereikbare websites.

Of wat dacht je van de kleine zelfstandige internet ondernemer (ecommerce)?

[hylke94]

Als ik het goed begrijp zijn de servers zelf niet aangetast door het water. Ze hebben alleen geen stroom op te kunnen 'draaien'. Dit betekent dat de data er dus nog wel gewoon is, anders zou het een duur grapje worden...

Of begrijp ik het nu helemaal verkeerd?

[AjDuLion]

op het moment zijn de servers veilig ja alleen hebben ze dus simpelweg geen diesel meer voor de generatoren.

zoals het nu te lezen is lijken de servers hoger te staan dan de diesel reserves.

PEER1 is al bijna 24 uur op noodstroom en die zijn simpelweg ''op'' dus gaan ze alles controlled afsluiten.

[michaelkamen]

Ik vind eerlijk gezegd dat veel mensen erg negatief zijn over deze datacenters.
We hebben het hier niet over een jaarlijks terugkerend fenomeen.
Dit is een storm die misschien 1 keer in de honderd jaar voorkomt.
Je kunt je nu eenmaal niet tegen alles indekken.

Ik heb er ook op andere fora over gelezen, en het is heel normaal dat de dieselgeneratoren in de kelder staan. Sterker nog, bouwtechnisch gezien mogen ze niet eens hoger staan. (Vanwege het gewicht).

[ExIT]

Vergeet niet dat koeling vaak meer weegt dan de generatoren. En deze installaties staan op het dak. Datacenters worden hiervoor ontworpen en kunnen veel meer hebben dan je denkt.

In het oosten is een aantal jaar geleden nog een winkelcentrum ingestort omdat deze zonder airco ontworpen was, maar later door de eigenaar wel op het dak getild werd.

Vergis je dus niet in een datacenter, het zijn niet zomaar gebouwen. In Tilburg staat een datacenter genaamd The Red Brick, eerder van Interpolis en tegenwoordig van NBrix (Noord Brabant Internet Exchange). Dit gebouw is speciaal ontworpen als datacenter en heeft de dieselgeneratoren op de tweede verdieping in een speciale ruimte geïsoleerd met rubber om de trillingen te dempen.

[Reactie gewijzigd door ExIT op 24 juli 2024 23:18]