Microsoft kampt met grootschalige storing webdiensten

Microsoft heeft te kampen met een grootschalige storing. Diverse webdiensten van de softwarefabrikant zijn compleet onbereikbaar, waaronder Office 365, Live.com en Hotmail.com. De storing werd veroorzaakt door een dns-probleem.

Internetters wereldwijd klagen over het niet kunnen bereiken van de diverse Microsoft-diensten. Zo zijn in ieder geval op het moment van schrijven Hotmail, Outlook.com en Microsofts clouddienst Office 365 onbereikbaar.

In een reactie bevestigt Microsoft de storing en stelt de fabrikant dat er aan een oplossing wordt gewerkt. Het bedrijf zou inmiddels een manier hebben gevonden om de zaken weer te herstellen en deze fix momenteel aan het uitrollen zijn.

Omdat aanvankelijk nog niets over de oorzaak van de storing bekend was, werd gespeculeerd dat een mogelijke oorzaak een grootschalige stroomstoring die afgelopen nacht San Diego trof zou kunnen zijn. In een verklaring heeft Microsoft echter gesteld dat de oorzaak lag een een dns-storing. De totale storing duurde 3,5 uur en zou inmiddels verholpen zijn.

Begin vorige maand werd de BPOS-clouddienst van Microsoft nog getroffen door downtime als gevolg van een stroomstoring bij een datacenter in Dublin. Bij diezelfde storing werden ook de Europese hostingdiensten van Amazon getroffen.

Hoewel de jongste storing BPOS niet lijkt te treffen, zijn er wel klachten van beheerders die geen toegang meer hebben tot de Azure Platform Management Portal en zouden diverse SQL Azure-databases onbereikbaar zijn.

Update 12 uur - informatie over oorzaak storing toegevoegd

Reacties (83)

[wildhagen]

Een mogelijke oorzaak is een grootschalige stroomstoring die afgelopen nacht San Diego trof.

Niet alleen San Diego, maar ook grote delen van Californië, Arizona en delen van Mexico. In totaal 6 miljoen mensen zitten daar nu zonder stroom. Een monteur had een onderdeel offline gebracht wat absoluut online had moeten blijven (zie ook NOS Teletekst 129).

Overigens kan ik zowel Hotmail als Outlook.com gewoon bereiken...

[Reactie gewijzigd door wildhagen op 22 juli 2024 20:15]

[MAX3400]

Begrijp niet geheel hoe die stroomstoring ervoor kan zorgen dat clouddiensten als Office 365 verstoord kunnen worden. In tegenstelling tot Amazon enige tijd geleden, heeft Microsoft dit beter op orde en zou een mogelijke stroomstoring in een enkele regio geen problemen mogen opleveren.

Daarbij zouden extra voorzieningen zoals aggegraten ook ervoor moeten zorgen dat een datacenter netjes in de lucht blijft.

[wildhagen]

Die stroomstoring zou een mogelijke oorzaak kunnen zijn geweest. Inmiddels weten we dat dat niet zo is, en dat de daadwerkelijke oorzaak een probleem met de DNS was, dat inmiddels is opgelost.

En ja, je kan wel mooi aggegraten hebben, dan blijft je datacenter in de lucht. Als de hele regio zonder stroom zit, komt alleen je data niet naar buiten, omdat de lijnen plat liggen.... effectief ligt je datacenter dan dus ook plat, omdat het onbereikbaar is.

Uiteraard vang je dat dan weer op met een een datacenter in een compleet andere regio, maar in dit geval had ook dat weinig geholpen. Bij een DNS-probleem heb je dan immers nog altijd hetzelfde probleem.

[walteij]

Microsoft meld dat de problemen opgelost zijn voor Office 365. Aangezien de Microsoft diensten in dezelfde datacenter zitten, zou alles opgelost moeten zijn:
http://twitter.com/#!/Office365/status/112050954978861056

Oorzaak van de problemen: DNS issues.
http://twitter.com/#!/Office365/status/112046068186873856

[Helsie]

Exchange Online
Incident Ex479
Begintijd van incident: 9 sep 2011 5:30
Datum en tijd Status Details
9 sep 2011 8:38 Service hersteld Het connectiviteitsprobleem is opgelost en gebruikers zouden toegang moeten hebben tot hun e-mail.
9 sep 2011 8:30 Service wordt gecontroleerd We controleren of het probleem is opgelost en zullen bijgewerkte informatie verstrekken zodra deze beschikbaar is.
9 sep 2011 8:08 Service wordt hersteld Service continues to come back up gradually. We are working on fully restoring the service as quickly as possible. We will continue to post regular updates until this incident is resolved.
9 sep 2011 7:14 Service wordt hersteld Some customers continue to experience intermittent client connectivity issues. The service is gradually being brought back online. We continue to work on fully restoring connectivity for all customers. We will continue to post regular updates until this incident is resolved.
9 sep 2011 6:39 Service wordt hersteld We werken aan een oplossing voor het probleem en zullen bijgewerkte informatie verstrekken zodra deze beschikbaar is.
9 sep 2011 6:36 Wordt onderzocht Service is being restored. We will continue to monitor and post updates.
9 sep 2011 6:09 Wordt onderzocht Veel gebruikers hebben momenteel geen toegang tot hun e-mail.

Probleem was bij mij rond 8:25 opgelost, volgens de twitter van @office365 was het een DNS probleem. Dat leek mij ook, want ik kreeg niet eens een ip bij een ping:

ping portal.microsoftonline.com
Ping request could not find host portal.microsoftonline.com. Please check the name and try again.

en nu:

ping portal.microsoftonline.com
Pinging boxprdadmin.glbdns.microsoft.com [94.245.108.85]

[Reactie gewijzigd door Helsie op 22 juli 2024 20:15]

[Kecin]

Beetje slechte zaak. Meeste bedrijven verhuizen naar de cloud omdat het daadwerkelijk uptime kan genereren. Wanneer dit aan de stroomstoring ligt is het een erg slechte zaak.

[SunnieNL]

Als stroom uitvalt in een volledig gebied kun je generatoren hebben wat je wil, maar dat heeft dan geen nut. Dan ben jij online, maar alles om je heen niet, waardoor er geen verkeer bij je kan komen

De uptime bij een cloud is zo'n beetje net zo hoog als je in je eigen hosting kan genereren. De problemen bij een cloud zijn echter hoger als er uitval is, want je hebt geen inzicht in wat er is gebeurd en hoe snel het wordt opgelost. Dat is ook bij de uitval van Amazon wel gebleken en bij de uitval bij Google een paar dagen terug.

Bij een cloud zit je echter op gezamelijke infrastructuur en backup en dat maakt het wel goedkoper dan je het zelf kunt doen. De vraag die veel mensen zich zouden moeten stellen, is of je er mee kan leven dat je geen zeggenschap hebt over de achterkant en of je er mee kan leven dat je dus niets kan doen op het moment dat het uitvalt, dan wachten tot de boel weer is gestart.

[Kecin]

Wat ik eigenlijk dus wou zeggen; over het algemeen word er geadverteerd met de cloud alsof het niet down te krijgen is. Verder vind ik dat bedrijven die flinke centen kwijt zijn aan office 365 gewoon 2 locaties zouden moeten hebben. Je kan toch een cloud aan de westkust zetten en één aan de oostkust? Desnoods Europa. Redudant uitvoeren die meuk, in een normaal datacenter hebben ze toch ook 2 stroom leveranciers?

[walteij]

De Office 365 cloud is behoorlijk redundant uitgevoerd hoor.
Alleen al voor EMEA heeft Microsoft 1 datacenter in Dublin (primair) en 1 in Amsterdam (fallback). Er moet alleen heel erg veel misgaan willen ze een failover doen naar Amsterdam (iets dat wel getest wordt overigens) en zo'n failover is niet zoals in een 2-node cluster in 10 seconden voltooid, dat heeft iets meer tijd nodig en de impact is ook stukken groter.

Maar zoals al eerder gezegd is dit geen lijn of stroom probleem geweest, maar een DNS issue. Hierdoor was simpelweg niet bekend waar het verkeer voor de Microsoft diensten naartoe moest.

[RielN]

Je moet je afvragen wat meer voor de hand liggend is en wat je uiteindelijk de meeste downtijd gaat kosten. De cloud, met weinig grip op zaken, of alles in eigen beheer, met alle kopzorgen van dien en net zo weinig (of veel) garantie op uptime?

[arjankoole]

mensen verhuizen doorgaans maar om 1 reden naar de cloud: goedkoop.

[RielN]

Gemak.
Onze Clouddiensten zijn veel stabieler dan de interne Exchange-omgeving hoe hard je ook schreeuwt van niet. Laat staan het ongemak van het onderhoud, alleen al de avondjes dat er 'onderhoud' gepleegd moet worden. Niet handig voor thuiswerkers en een bron van irritatie.

De cloud is de toekomst.

[Verwijderd]

Als je een lokale stroomstoring hebt, dan werkt ook niets meer, zelfs als alles in de cloud hangt...

Daarnaast is het probleem van MS waarschijnlijk een foute DNS geweest, dus dan werkt niets meer, zelfs met stroom of backup servers.

@arjankoole: op het moment is "de cloud" niet veel goedkoper dan alles offline draaien, zeker als je de SLA's e.d. erbij rekent.

[tweaker2010]

Het is niet helaas niet de eerste keer dat dit gebeurd. Door al die storingen vraag ik me af of het bedrijfsleven nog wel toekomst ziet in clouddiensten. Hoe zit het trouwens met de aanspraak op compensatie (SLA)?

[wildhagen]

Dat hangt er maar net vanaf welke voorwaarden in de SLA staan natuurlijk. Geen enkele aanbieder garandeert ooit een 100 procent uptime, omdat dit onmogelijk te garanderen is.

Meestal word er een uptime van 99,0 of 99,9 procent ofzo gegarandeerd (het two- of three-nines principe). Juist om dit soort dingen uit te sluiten.

[walteij]

Microsoft hanteert de volgende SLA garanties per maand:

• < 99.9% uptime, 25 % bonificatie
• < 99 % uptime, 50 % bonificatie
• < 95 % uptime, 100%bonificatie

Niemand kan 100% uptime garanderen inderdaad. Voor zover ik in heb kunnen schatten heeft deze storing voor EMEA minder dan 2 uur geduurd. Dat is dus meer dan 99,9 %, er zal dus voor zakelijke klanten niets aan de hand zijn.

[KoploperMau]

Ja maar Microsoft is niet verantwoordelijk voor deze storing. Valt deze dan niet buiten deze uptime?

[walteij]

Waarom zou Microsoft niet verantwoordelijk zijn voor een DNS storing? De DNS servers voor Office 365, hotmail, Live enzovoorts worden echt gewoon beheerd door Microsoft zelf.

[MichaelB74]

Het privacy aspect daargelaten, is er een rekensom te maken of het interessant is voor een bedrijf.

In eigen beheer heb je zo nu en dan ook te maken met down time. Dit kan het hele bedrijf betreffen, maar vaker individuele gebruikers. Als je al die tijd bij elkaar optelt, plus de kosten die je moet maken om het op te lossen, dan kan het nog steeds interessant zijn om gebruik te maken van een clouddienst.
Puur gerekend naar up time en TCO.

Een dikke vette no-no blijft voor mij en hopelijk VEEL bedrijven, het privacy aspect. Je data staat in een ander land met andere wetgeving en god weet wie er allemaal bij je data kan komen zonder dat je daar ooit weet van hebt of krijgt.

[RielN]

Het is maar helemaal hoe belangrijk dat voor je bedrijf is. Voor het overgrote deel zal het ze een zorg zijn of een of andere regering bij je mails kan. Veel plezier ermee, zou het antwoord zijn.

Dit is zo'n veelgehoord argument dat enkel voor een paar bedrijven echt een issue is. Bovendien is Nederlands grondgebied net zo weinig garantie als jij zaken doen met Amerikaanse bedrijven.

[Garyu]

Ach, alsof je eigen IT afdeling niet af en toe een vergelijkbare storing heeft. De downtime is dan al snel langer dan de downtime bij Microsoft. En daar krijg je ook geen geld terug.

[spartacusNLD]

ik had hier afgelopen maandaag heel de dag ook al last van.. toen was hotmail.com ook al hele tijd down..

www.hotmail.com werkt niet
www.hotmail.nl wel why?

[Reactie gewijzigd door spartacusNLD op 22 juli 2024 20:15]

[Kevjoe]

Andere servers I guess. De nederlandse versie zit waarschijnlijk in een ander datacentrum.

[Ventieldopje]

Sterker nog, die zal hier in Nederland gehost worden denk ik

[walletje-w]

Dit is erg jammer voor microsoft omdat internet steeds meer de cloud lijkt in te gaan willen mensen betrouwbare diensten waar ze altijd bij kunnen. Door dit soort storingen kom je minder betrouwbaar over. Zeker als je een naam hebt als Microsoft dan kom je nogal snel in het nieuws als er iets fout gaat.

Niet dat dit niet in het nieuws hoort te komen, zeker wel.

[_JGC_]

Dat is het risico wat je loopt als je met je hoofd in de wolken loopt. Ten eerste ben je compleet afhankelijk van je internetverbinding, ten tweede ben je compleet afhankelijk van je cloudleverancier.

[sieuwe]

Ik vraag mij af wat men exact bedoeld met op het moment van schrijven, want ik heb van 8u tot 8u30 steeds mijn mailbox kunnen bereiken via hotmail.com en live.com. Alsook de website van outlook.com is nog steeds bereikbaar. En na controle kan je ook nog op de website van Office 365.
Volgens mij is dit enkel een probleem in de VS.

[MJ-Princeps]

Nee dit was niet enkel in de VS, ik kon deze morgen niet in mijn hotmail komen. Nu werkt het wel maar er was wel degelijk een probleem. Ook op facebook verschenen er verschillende berichten dat hotmail niet werkte.

[Xubby]

Google heeft Google-docs, Microsoft heeft Office 365 364.
Zal mij benieuwen wie van beiden de meeste klanten voor hun "cloud" office versie trekt en blijft houden. Want dit soort storingen is bij cloud-diensten toch wel vervelend en een nadeel t.o.v. "ouderwets" op de pc geinstalleerde software ...

[Fireshade]

Google heeft Google-docs, Microsoft heeft Office 365 364.

Wat wil je daarmee zeggen? Dat Google gevrijwaard is van dit soort uitval?
Een artikel uit 2010:
"Google had 12 outages. Amazon had five. He reported that Microsoft had four outages. Saleforce.com had two."
We zijn nu een jaar verder, en zowel Google als Microsoft hebben intussen ook uitval gehad.
Wel erg naief om zoveel vertrouwen in een bedrijf te hebben. Het komt uiteindelijk neer op technologie en mensenwerk, en dat kan altijd falen. Net als met die kerncentrales in Japan (ach, de kans is zooo klein...).
Dit soort cloud-uitval zullen geen goed doen voor Chromebooks. Dan maar een ouwerwetse pc.
Edit: link

[Reactie gewijzigd door Fireshade op 22 juli 2024 20:15]

[RielN]

Toch kan Microsoft hier grotere slagen maken. De Clouddiensten van Google, een van hun grootste concurrenten, zijn veel meer redundant. Microsoft moet dit toch kunnen evenaren?

Dit is een belangrijk koopargument namelijk voor mensen die schipperen tussen Google Apps en 365.

Google is veel gevrijwaarder van dit soort uitval. Hoe lang waren de outages? 7 minuten per maand in 2010, KLIK. Tegenover enkele uren per maand voor Microsoft. In periodetjes van paar seconden. In mijn ervaring met Google (2 jaar) nog geen uitval gehad waardoor ik niet kon werken.

Alles kan, maar Google heeft het nu beter voor elkaar. Microsoft moet al zijn zeilen bijzetten om straks geen onbetrouwbaar imago te krijgen: dit is essentieel voor een clouddienst. De concurrentie is erg belangrijk nu in deze markt, laat ze nu niet te vroeg over de kop gaan.

[Reactie gewijzigd door RielN op 22 juli 2024 20:15]

[The Underminer]

Hoe kan dit, vraag ik mij altijd af, ik meen ergens gelezen te hebben dat er wereldwijd zeker 13 DNS root nodes zijn oid. Die gaan toch niet allemaal down?

[Verwijderd]

De DNS root nodes vertellen je in feite enkel welke DNS servers verantwoordelijk zijn voor welke TLDs.