Verstoring bij AMS-IX veroorzaakt internetproblemen in Nederland - update

Internetknooppunt AMS-IX heeft woensdagmiddag te maken met verstoring van zijn diensten. De verstoring zorgt landelijk voor internetproblemen in Nederland, onder andere bij providers en internetdiensten.

De statistieken van de AMS-IX tonen voor woensdagmiddag een grillig verloop als gevolg van de verstoring. Als gevolg van de technische problemen ervaren meerdere providers waarvan het verkeer via het knooppunt verloopt, landelijk hinder bij hun dienstverlening.

Zo heeft provider A2BInternet de poort met AMS-IX gesloten vanwege de storing. Ook Tweak maakt melding van de problemen bij de Amsterdam Internet Exchange. Die provider heeft het verkeer via AMS-IX stopgezet en laat verkeer via internetexchanges zoals Speed-IX, Asteroid en zijn eigen transitverbindingen verlopen.Tweak meldt dat een van zijn corerouters instabiel is geworden door de verstoring.

Op Gathering of Tweakers klagen glasvezelklanten van T-Mobile over haperingen bij hun verbindingen. Hostingbedrijf Rootnet ziet verbetering optreden en meldt dat technici van AMS-IX bezig zijn met het technische mankement. Servers in Amsterdam zouden nog wel problemen ondervinden. Volgens Bit begonnen de problemen rond 15.30.

Update, 17.26: Volgens Bram Semeijn, woordvoerder van de AMS-IX zijn de problemen opgelost: "We hebben inderdaad een crash gehad op drie linecards van een router bij een van de veertien locaties van de AMS-IX. Die kaarten zijn gecrashed door een nog onbekende oorzaak. Ze zijn vervolgens gereboot maar daarna ontstond er weer een crash. We hebben daarop het verkeer omgeleid naar een back-uprouter, Klanten hebben er nu geen last meer van en engineers zijn in contact met hen. We gaan onderzoek verrichten naar de oorzaak van de crash."

Reacties (49)

Bericht van AMS-IX die we hebben ontvangen:

Dear member/customers,
Three 36x100G linecards at the PE router, located at Equinix AM7, rebooted unexpectedly causing many customer ports and Backbone connection to flap for several minutes. At this moment the linecards recovered their operational status, but we are still unaware of the root cause. We will investigate the issue and monitor the situation.
Our apologies for the inconvenience
Kind Regards
AMS-IX NOC

BEWERKING 17:22, ER IS INMIDDELS EEN UPDATE:

Dear members/customers,

During our process to retrieve the crash files from the affected PE unit in order to investigate and open a case with our vendor, 2 linecards from the problematic device crashed again and the PE router became unstable.

Thus, AMS-IX engineers used the PXC devices and swapped all customers to the back-up PE router (GEMASKEERD). So at this moment, there is no customer with active connection being terminated at the faulty unit.

Our apologies again for the inconvenience.

Er waren dus ook nog problemen nadat ze de linecards hadden geswapt op de core router. Nu is alles overgeschakeld.

[Reactie gewijzigd door Hardwareseller op 1 juli 2020 17:26]

Welk merk line card en core routers zou de organisatie van de AMX-IX gebruiken?

[Reactie gewijzigd door Xieoxer op 1 juli 2020 19:54]

De AMS-IX gebruikt volgens mij Extreme routers (tenminste volgens de Extreme homepage). En dan zal het wel gaan om SLX 9850 series routers want die hebben 36x100G linecards.

Er staat wat informatie op de website van AMS-IX. Daar staat niet specifiek iets over de line cards, maar ik denk dat je op basis van de gegeven informatie wel wat aannames kunt doen.

Als ik google op ' 36x100G linecard' krijg ik voornamelijk Cisco hits

Volgens mij hebben ze Cisco NCS5500 series staan.

Hier een highlevel plaatje bij het verhaal waarin de PXC en PE router staat
https://eu-e25b.kxcdn.com...ll-amsterdam-platform.png
www.ams-ix.net/ams/documentation/ams-ix-topology

PXC is de Port Cross(X) Connect (het device die de glaspaden omzet naar tussen CE en PE omzet naar CE en backup PE)
CE is Customer Edge (member equipment)
PE is Provider Edge (ams-ix spullenboel)

[Reactie gewijzigd door SpamLame op 2 juli 2020 05:09]

ter info : ik krijg een 502 bad gateway op jouw linkje...

kennelijk mag deeplinken niet..

"Er waren dus ook nog problemen nadat ze de linecards hadden geswapt op de core router. Nu is alles overgeschakeld."

Er zijn geen linecards geswapt. De fysieke connecties zijn met Glimmerglass apparatuur (waar elke 10GE/100GE connectie op aangesloten is, extreem versimpeld uitgelegd een mechanische switch) naar een andere switch omgezet.

Email van de AMS-IX:

Onderwerp: [AMS-IX] (NOC24X7-58580) Unexpected reboot of 3 linecards at the PE router stub-tel-239 at Equinix AM7

Ticket: NOC24X7-58580 <https://jira.ams-ix.net/browse/NOC24X7-58580>
Subject: Unexpected reboot of 3 linecards at the PE router stub-tel-239 at Equinix AM7
Status: open
Opened: 2020-07-01 15:48:15 +0200 GMT
Type: scheduled
Scope: AMS-IX NL
Start: 2020-07-01 15:21:00 +0200 GMT
End: 2020-07-01 15:35:00 +0200 GMT

DESCRIPTION:

Dear member/customers,

Three 36x100G linecards at the PE router "stub-tel-239", located at Equinix AM7, rebooted unexpectedly causing many customer ports and Backbone connection to flap for several minutes. At this moment the linecards recovered their operational status, but we are still unaware of the root cause. We will investigate the issue and monitor the situation.

Our apologies for the inconvenience

Kind Regards

AMS-IX NOC

Opvallend dat er opeens zulke milde reacties komen nu het AMS-IX betreft. Eenzelfde soort storing bij een provider zou tot een storm van kritiek leiden waarom het allemaal niet redundant is uitgevoerd....

Het verschil is dat providers relatief vaak een storing hebben, maar AMS-IX hoogst zelden.

Frequentie is niet eens zozeer een probleem.
Maar meer het enorme gedoe en de hoeveelheid tijd die eroverheen gaat om het opgelost te krijgen.
Heel simpel gesteld, hoe meer mensen er last van hebben, hoe sneller en professioneler het vaak opgelost wordt.
Als een significant deel van het verkeer van NL (Europa?) last heeft van een storing, zoals hier het geval is, dan is de response tijd in de orde van een kwartier zoals nu.

Als er lokaal een probleem is met een wijk-centrale waarbij poorten klapperen kan het maar zo zijn dat je weken bezig bent om het gefikst te krijgen. (ervaring van de verbinding bij mijn ouders, paar jaar geleden)
Dat is nogal een verschil in hoe je als eindgebruiker de problemen ervaart en hoe ernaar gehandeld wordt.

Voor iemand die op de beurs handelt waarbij msec vertraging een verschil kan zijn tussen winst of verlies is dit soort problemen heel vervelend.
Voor een thuisgebruiker kan deze storing van vandaag ongemerkt voorbij zijn gegaan.

Dat komt omdat wij de providers veel geld betalen om het goed op orde te hebben.

We betalen AMS-IX ook gewoon geld hoor (indirect dan wel).
Maar ik vind dit ook geen reden om te klagen, een korte dip.

[Reactie gewijzigd door mr_evil08 op 1 juli 2020 21:34]

als je kijkt naar de snelheid waarmee ze het oplossen vind ik het niet echt reden om te klagen. Ze hebben hun zaakjes goed op orde en amper storingen.

De AMS-IX wordt gebruikt om verkeer uit te wisselen tussen verschillende netwerken. Een storing daar heeft altijd maar beperkte invloed op eindgebruikers omdat geen een provider 100% afhankelijk is van de AMS-IX voor hun verkeer en bij problemen snel zal overschakelen op andere exchanges of transit verbindingen.

Stuurlui een wal vraagje uit interesse: waarom hebben ze niet als protocol eerst naar zsm een backup swappen zoals ze later deden, dus dat kan kennelijk, aldus probleem zsm tackelen, en dan foutief device offline trouble shooten?

Of waarom draait het uberhaubt niet redundant over 2 losse apparaten?

Kan best N+1 draaien. Maar uit ervaring weet ik dat PE's niet altijd complete down gaan, waardoor ze in split brain blijven en er issues ontstaan in de services.

De partij die diensten afneemt bepaald en betaald, het is een keuze.

Het is redundant (overgaan op de backup device is ook een vorm van redundantie).
Maar goed ik denk dat je iets bedoelt als active-active, wat is het nut daarvan als je even iets verder kijkt.
De kosten zijn hoog die uiteindelijk door de members betaalt moet worden.
Laat die members nu net (iig de meeste grote akamais/googles) redundantie regelen door niet alleen op AMS-ix te zitten, maar ook bv op andere exchanges als NLix DEix.
Wellicht met minder throughput en meer latency door het omleiden van verkeer bij een storing, maar zo zijn de members niet geheel afhankelijk van 1 ix.

Aanname, omdat het omzetten naar een ander device iedereen op dit device raakt, ipv alleen de klanten van die op 1 van de 3 linecards zat.

Ook een aanname is dat ik denk dat er vast zo'n protocol is, alleen niet voor dit type/eerste storing.
Bij de 2de keer dat er lijnkaarten onderuit gingen hebben ze dus gekozen het device ertussen uit te halen.

Ik merkte inderdaad een storing bij Tweak en zag online op allestoringen.nl dat Google, whatsapp en een aantal andere sites een zelfde piek liet zien. Leek me inderdaad ook geen toeval en centraler te liggen dan alleen bij de provider.

Zelf had ik inderdaad ook storing, ook Tweak. Maar met het rebooten van mijn FritzBox loste de problemen op, dus ik zocht er niks achter. Maar dit verklaart wel wat. Nu geheel geen issues meer.

Zelfde probleem. Het was vooral heel traag. Na een reboot weer iets beter. Nu werkt alles weer prima.

Ook hier, liep al te mopperen op Tweakers (berichten via v&a sturen ging tergend traag en op dhlparcel (kreeg m’n track and trace maar niet in beeld).
Nu is alles weer goed bereikbaar.

Er is een lijnkaart gecrashed en de oorzaak wordt nog onderzocht. Ondertussen worden klanten overgeplaatst naar een andere router.

Klanten zijn inmiddels overgeplaatst zo ver het bekend was ;-)

Kan dit gevolgen hebben voor PIN transacties?

Jazeker, dat kan als die connectie toevallig een tussenstop op de AMS-IX maakt

Zou dit ook de reden zijn dat eind van de middag VOD van NPO niet goed werkte (wel starten, maar na enkele seconden weer stoppen), maar VOD van Disney+ probleemloos ging?

Kan, ik merkte ook wisselende resultaten. Iets opzoeken op Google lukte niet, terwijl bing.com probleemloos laadde en zoekresultaten gaf. Als bij jou alles zo rond half 6 gistermiddag weer vlekkeloos werkte, dan had het waarschijnlijk met deze storing te maken.

Waarschijnlijk wel rond die tijd inderdaad.

Kan het zijn dat deze storing nog na-ijlt bij providers en/of websites ? wilde zojuist een bioscoopbezoek reserveren maar website ligt plat, andere websites zijn wel bereikbaar maar sommige voelen erg traag aan...

Het kan altijd zo zijn dat er webservers zodanig (slecht) geconfigureerd zijn dat ze na een interruptie niet snel genoeg restarten of, erger nog, dat dit handmatig moet gebeuren.

Hoe is dit relevant voor een routingprobleem?

Volgens Bit is alles opgelost nu? Ow toch niet: "Het probleem heeft zich nogmaals voorgedaan op de Amsterdam Internet eXchange. "

[Reactie gewijzigd door BerArtVD op 1 juli 2020 17:20]