Kapotte switch AMS-IX zorgt voor internetproblemen

Zondag hebben tienduizenden internetters gedurende enkele uren last gehad van een internetstoring, die zorgde voor problemen bij het openen van websites. De oorzaak bleek een kapotte switch van AMS-IX bij de colocatiesite van Nikhef.

De problemen staken voor zover bekend zondagmiddag de kop op. Door de problemen konden internetters sommige websites niet of nauwelijks openen en had ook ftp- en ssh-verkeer last van wegvallende verbindingen. Op diverse fora, waaronder GoT en Webhostingtalk.nl, werd driftig gespeculeerd over een mogelijke oorzaak.

Volgens AMS-IX werd de storing veroorzaakt doordat een van zijn bij Nikhef geplaatste switches niet meer in staat was het van een van de zestien backbones afkomstige netwerkverkeer goed te verwerken. Hierdoor trad er vertraging in het netwerkverkeer op, wat bij internetters voor haperende verbindingen zorgde. Kort voor middernacht heeft AMS-IX de bewuste switch vervangen, waarna de vertraging afnam.

Volgens Henk Steenman van AMS-IX heeft het dit keer door een samenloop van omstandigheden erg lang geduurd voordat de storing werd opgemerkt. "Ons monitoringsysteem heeft deze storing niet opgemerkt. Dat had wel moeten gebeuren als het verkeersniveau op een van de lijnen ineens lager is. We gaan uitzoeken hoe dit komt. Ook hebben we dit keer geen klachten van onze klanten ontvangen. Blijkbaar hebben eindgebruikers dus wel problemen ervaren, maar providers niet."

Reacties (45)

[Verwijderd]

Toch problematisch lijkt me: internetuitval is niet alleen persoonlijk irritant, maar natuurlijk ook voor veel bedrijven funest. Misschien zou de overheid ook eens internetrampenscenario's moeten schrijven of vooraal; hoe deze voorkomen kunnen worden.

Kan mij namelijk best voorstellen dat wanneer een kwaadwillende zich verdiept, of door een ongelukkige samenloop van omstandigheden, datacenters kunnen uitvallen waardoor half Nederland zonder internet zit. Of wanneer er weer een kabelbreuk op de bodem van de oceaan is, of door welke oorzaak dan ook grote delen van Nederland/de wereld zonder internet kunnen komen te zitten, waar vast veel scenario's voor zijn.

Misschien inderdaad tijd het internet iets serieuzer te beschouwen en een niveau hoger te tillen.

[Arjan A]

Blijkbaar hebben eindgebruikers dus wel problemen ervaren, maar providers niet.

Ik denk ook niet dat veel providers hun helpdesk op zondag open hebben. Dat zal ook wel meegespeeld hebben.

[siepeltjuh]

KPN, HetNet, voormalig Planet zijn altidj van 8 tot 22uur open. (ok op feestdagen)
XS4All volgens mij ook.

Ik denk dat de meeste voip providers open zijn op zondag en op feestdagen. Dit omdat er nogal wat regelgeving is omtrent beschikbaarheid van telefonie.

[!GN!T!ON]

Ziggo is op Zaterdag en Zondag ook bereikbaar van 9 uur 's ochtends tot 10 uur s' avonds

[HoppyF]

Volgens Henk Steenman van AMS-IX heeft het dit keer door een samenloop van omstandigheden erg lang geduurd voordat de storing werd opgemerkt. "Ons monitoringsysteem heeft deze storing niet opgemerkt. Dat had wel moeten gebeuren als het verkeersniveau op een van de lijnen ineens lager is. We gaan uitzoeken hoe dit komt. Ook hebben we dit keer geen klachten van onze klanten ontvangen. Blijkbaar hebben eindgebruikers dus wel problemen ervaren, maar providers niet."

Tijd om het monitoring systeem te gaan vervangen dus!
Als provider moet je er blind op kunnen varen dat de backbone (netwerk/switches e.d.) in orde is en, wellicht nog belangrijker, dubbel is uitgevoerd zodat bij defecten alles door blijft lopen.

Het is niet de bedoeling dat eindgebruikers bij de Helpdesk moeten gaan klagen omdat de backbone niet werkt. Dat is de omgekeerde wereld. De Helpdesk moet de klanten informeren over problemen, bijvoorbeeld door een bericht op hun "storingen/werkzaamheden" pagina te zetten.

[CyBeR]

wellicht nog belangrijker, dubbel is uitgevoerd zodat bij defecten alles door blijft lopen.

De betreffende link is zestienvoudig uitgevoerd. Goed genoeg?

[MRic3]

Wat ik dan zo grappig vind is dat veel users meteen denken dat het probleem bij hun lokaal ligt en meteen van alles beginnen te herstarten en opnieuw te configureren. Misschien heeft het iets te maken met ongeduldig zijn of onkunde?

Ik had het ook wel gemerkt dat er vanalles traag binnenkwam en mis ging maar mij 1e ged88 was toch echt, ik ben benieuwd waar ik binnenkort kan lezen of er een storing is geweest... en dat heb ik nu gelezen.. tweakers ftw.

[Verwijderd]

Ongeduldig wel... onkunde minder.

Het komt nou eenmaal niet vaak voor dat er dergelijke problemen zijn. (Het zou ook helemaal niet voor mogen komen!) Dus is het niet zo raar dat mensen lokaal de zaken gaan controleren...

[Loekie]

Tja, omdat als je een inconsistent probleem hebt, het soms wel soms niet laden van pagina's, het nogal lastig is dit bij je provider aan het verstand te peuteren en je de std stappen al doorlopen wil hebben.

[JordyOnrust]

Zelf gister bijna niet op internet geweest dus geen last van gehad.
Wel vaag dat het zo laat werd opgemerkt.

"Ons monitoringsysteem heeft deze storing niet opgemerkt. Dat had wel moeten gebeuren als het verkeersniveau op een van de lijnen ineens lager is.

Ben benieuwd wat de oorzaak dan was dat ze het zo traag hebben opgemerkt. Hopelijk komt daar ook nog een berichtje over.

[minimumtweaker]

eerst Google probleem, nu dit, amai, Internet begint oud te worden, we hebben iets nieuws nodig

[kozue]

Vind het uit zou ik zeggen

[Splorky]

toch raar dat veel websites niet te berijken waren, ik heb altijd gedacht dat als er een switch uit valt dat dat automatisch wordt gedetecteerd en dat die weg wordt afgesloten door de aanliggende routers. de routers weer melden de uitval aan de omgeving doormiddel van RIP updates. De uitval zou eigenlijk geen ... uitval moeten kunnen veroorzaken hooguit dat het minder snel gaat doodat er een 'omleiding' is.

[RedShift]

De switch was dan ook helemaal niet uitgevallen, hij verwerkte alleen het verkeer te traag.

[To_Tall]

Maar jou router ziet dat niet. jou router is een modem voor de buiten wereld,

[CyBeR]

RIP wordt niet gebruikt in het internet, ten eerste.

Ten tweede: wat hier gebeurde is dat een enkele link van een aggregated link kapot was. Stel dus dat er een verbinding is tussen twee switches die uit vier losse verbindingen bestaat. Om het even simpel te houden gaat dat gewoon round-robin: binnenkomend frame 1 gaat over link 1, frame 2 over 2, ... 4 over 4 en 5 weer over 1 enzovoort. Je hebt dan dus 4x zo veel capaciteit. Stel nou dat er iets is waardoor een van die links niet meer goed functioneert. Bijvoorbeeld de switchpoort die daarvoor gebruikt wordt gaat kapot, zonder dat de hardware dat detecteert. Dan heb je een probleem: om de 3 frames raak je er eentje kwijt. Dat is wat hier gebeurde: packetloss. Dat heeft betrekkelijk weinig invloed op de routing (mischien dat er af en toe een BGP pakketje kwijt raakt) maar wel veel effect op het proberen op te zetten van verbindingen.

[Raven]

Ah, dit verklaart waarom die automatische reload van de frontpage gister telkens een time-out gaf en na een F5 de frontpage wél laadde...

Ik dacht ook dat 't aan mijn router lag

Maar 't gekke was dat alleen de frontpage (en af en toe het forum) van Tweakers problemen gaf, de rest van de sites leek gewoon normaal te werken

[-=bas=-]

Vrijdag ging het volgens mij al fout.
De hele dag kon ik om de haverklap geen site bereiken.

En ik maar denken dat het aan mijn modempje lag.

[Vos021]

Hmm, als je denk dat het aan je modem ligt moet je gaan uitsluiten.

Dit helpt:

1. Ping naar je lokale default-gateway.

- Lukt dat niet, heb je zeker een lokaal probleem
- Lukt dat wel, ga je het verderop zoeken:


2. Ping naar eigen, publieke IP-adres.

- Lukt dit niet: modem dood, lease verlopen en/of DSL/Cable down
- Lukt dit, is je modem/DSL-verbinding naar alle waarschijnlijkheid wel ok.
en ga je het verderop zoeken.

3. Ping een DNS-server van de provider.

etc.etc.

[elnaeth]

Zondag inderdaad veel bezig geweest met coderen aan mijn website. Constante disconnects van de FTP en nog meer van dat soort onzin.

Toch fijn om te weten dat ik niet de enige was die er last van had