Internetknooppunt AMS-IX kampt met uitval - update 2

Internetknooppunt AMS-IX kampte woensdagmiddag met uitval. Veel sites, waaronder GeenStijl, Facebook, NU.nl en Tweakers, waren daardoor gedurende een korte tijd niet of slecht bereikbaar. De problemen traden op bij onderhoudswerkzaamheden.

Op de statistieken van de AMS-IX is te zien dat het verkeer over het internetknooppunt, het belangrijkste van Nederland en een van de grootste ter wereld, iets na 12 uur 's middags tot het nulpunt daalt. Dat wil niet zeggen dat al het verkeer over het knooppunt uitviel: bij de storing viel het meetsysteem uit. Inmiddels is de storing weer verholpen, laat een woordvoerster van de AMS-IX weten.

Volgens webhoster GreenHost handelde AMS-IX ongeveer tien procent van het gebruikelijke internetverkeer af. De AMS-IX kan dat percentage niet bevestigen. Als gevolg van de storing kampten veel grote websites - waaronder GeenStijl, Facebook, NU.nl en Tweakers - met bereikbaarheidsproblemen. Ook het pinverkeer was woensdagmiddag verstoord.

De AMS-IX stelt dat het probleem werd veroorzaakt tijdens een fout bij onderhoudswerkzaamheden. In een mail aan leden van de AMS-IX, waarvan Tweakers de authenticiteit heeft bevestigd, meldt de AMS-IX dat een installatiemedewerker per ongeluk een loop op een vlan aanmaakte. Dat gebeurde op de AMS-IX-locatie in het AM3-datacenter van Equinix. Daardoor raakten de systemen van het knooppunt overbelast, waardoor veel border gateway protocol-sessies werden beëindigd. Het bgp-protocol wordt gebruikt om individuele netwerken aan elkaar te knopen.

Volgens de AMS-IX heeft de storing 'maximaal tien minuten' geduurd. Het gebeurt zelden dat de AMS-IX, die is verspreid over meerdere locaties, voor zo'n groot deel stil ligt; voor zover bekend is dat de afgelopen jaren niet gebeurd.

In de statistieken van Tweakers is te zien dat de backup-locatie van de techsite het werk van de hoofdlocatie grotendeels moest overnemen. Beide locaties zijn aangesloten op de AMS-IX, maar allebei op een andere route.

Update, 13:17: Reactie AMS-IX toegevoegd.

Update, 13:39: Meer informatie over oorzaak toegevoegd.

Reacties (242)

[Stewie!]

Wij zagen even 40 Gigabit AMS-IX wegvallen - gelukkig rerouten we alles direct automatisch, maar omdat dit dure BGP berekeningen zijn voor routers duurt het even voordat alle ISPs direct een nieuwe alternatieve route kiezen. Daardoor duren dit soort storingen minuten ipv seconden en hebben veel internet gebruikers last van trage verbindingen of downtime en ondervind men dus hinder.

Het probleem is dat alle ISPs dat ook doen, en dat enkele minuten kan duren bij routers die (zeer) veel verkeer afwikkelen (denk een UPC, Ziggo, etc).
De packet loss ontstaat omdat onze routers, maar ook die van de ISPs zoals Ziggo en UPC, deze nieuwe routes moeten leren. Dat kost CPU kracht. Omdat het halve internet in Nederland over de AMS-IX gaat moeten die routers enorm veel nieuwe routes leren, en dus gaan ze even (tijdelijk) over de kop. Dan krijg je packet loss.

UPDATE 13:33:
De AMS-IX meldt dat de storing verholpen is:
DESCRIPTION:

Dear Tech-L subscribers,

Today Wednesday 13/05/2015 at 12:20 UTC+2 an installation engineer working on the PE under maintenance in EQUINIX AM3, while testing one of the newly installed 100GE modules, accidentally placed a loop on the ISP peering VLAN.


DETAILS:

The loop caused a high CPU on all backbone and customer modules resulting in many BGP sessions dropping.
The incident lasted 10 minutes.
BGP sessions are restoring.

[Reactie gewijzigd door Stewie! op 22 juli 2024 14:12]

[Verwijderd]

Ik vraag mij wel af wat er gebeurd als er langer een storing was geweest. Ondanks dat het verkeer gererouterd was mijn verbinding rampzalig. Het leek alsof het internet het gewoon niet deed.

In tijden van

• Veiligheidsdiensten die zich bemoeien met internet verkeer.
• Grote landen die andere landen willen hacken.
• Cyber oorlogen.

Zou ik ook wel de reden willen weten waarom het internet het niet meer deed.

[CH4OS]

Terwijl het ook een technische storing binnen AMS-IX kan zijn. Geen idee waarom het gelijk zoiets groots maar moet zijn.

[aadje93]

Het is groots omdat ongeveer het halve Nederlandse internetverkeer, en mischien zelfs nog wel meer door AMS-IX heengaat. Stel je voor dat knooppunt ouderijn opgeblazen is, dan duurt het ook even voordat verkeer het doorkijgt, en dus andere routes gaat zoeken. Die zullen dan ook zwaar belast worden (kleinpolderplein over den-haag/rotterdam, rijsnweerd over andere kant utrecht)

Zoals gemeld gaan gelijk meerdere sites "plat" omdat zij een directe link met AMS-IX hebben. Om deze reden is het best groot nieuws, ook mede gezien het uberhaupt gebeurt. Door zo'n klein foutje als een vlan loop gelijk heel AMS-IX plat gooien, mijn (toch wel goedkope) HP managed switch kan al vlan-loops of poort loops voorkomen

[Reactie gewijzigd door aadje93 op 22 juli 2024 14:11]

[Dysmael]

Er is een configuratiefout gemaakt. Zo'n fout kan ook worden gemaakt bij het inschakelen van loopdetection zoals STP. Daarnaast heb je ook met een goed geconfigureerde loopdetection last van verstoring. Het zorgt er alleen voor dat de lus wordt uitgeschakeld en alles z.s.m. zonder handmatige aanpassingen weer verder werkt.

[Lennie]

Ze gebruiken geen loopdetection volgens mij.

Het probleem is dat je daarvoor een protocol moet gebruiken en eigenlijk al die protocollen hebben geen beveiliging als ik mij goed herinner.

En zolang dat zo is kan het zo zijn dat als 1 van de aangesloten partijen iets verkeerd zou sturen met het zelfde protocol dan gaat het natuurlijk direct mis.

Je kunt dat verkeer ook niet filteren want dan werkt loop detection natuurlijk niet meer.

Eigenlijk zou zo'n protocol een hash met key moeten gebruiken net als bijvoorbeeld VRRP of CARP.

[CH4OS]

Ik weet wat de omvang van AMS-IX is, ik doelde meer op de reden van de storing en waarom dat gelijk iets in de trant van een aanbal moet zijn. Wat gelukkig gezien de reactie van AMS-IX ook totaal niet blijkt te kloppen.

[Reactie gewijzigd door CH4OS op 22 juli 2024 14:11]

[ShadyNetworker]

Een cyberaanval zou er volgens mij precies zo uitzien, qua effect.
Alleen de duur zou dan langer zijn.

[Ulysses]

Nee, een cyberaanval (DDOS bijv.) ziet er uit als een ongelovelijke piek in je netwerkverkeer op de grafiek, totdat je alle aanvallende PC's hebt geblockt of de techniek waarmee aangevallen wordt hebt gefilterd in je firewall ... of totdat je netwerk klapt. Dit was een loop, genereert ook veel verkeer, maar dan in de switch/VLAN zelf zodat op een gegeven moment de processortjes van de switch het opgeven en er gewoon mee kappen. Er wordt dus niet super veel bandbreedte globaal verstookt en pakketjes van verschillende locaties afgevuurd, maar de apparatuur kapt er gewoon mee.

[Verwijderd]

DDOS is een vorm van cyberaanval, maar een beetje serieuze cyberwarrior heeft geen hopen bandbreedte en botnets nodig om je netwerk te vervelen.
Je weet hopelijk dat "een cyberaanval" niet betekent "een DDOS" maar ook wel degelijk directe aanvallen op routers of andere infrastructurele onderdelen kan inhouden.
Een aanvaller die controle over een router weet te verkrijgen en daar met VLANs gaat zitten modderen kan exact zo'n loop creeëren bijvoorbeeld.

[TD-er]

[...]
Een aanvaller die controle over een router weet te verkrijgen en daar met VLANs gaat zitten modderen kan exact zo'n loop creeëren bijvoorbeeld.

Sterker nog, als je de BGP-sessies weet te onderscheppen en te modificeren, dan kun je met heel weinig bandbreedte al heel erg veel ellende op het netwerk veroorzaken.

Zo zijn er veel meer soorten netwerken die je met relatief weinig onderuit kunt halen.
Wat denk je bijvoorbeeld van het elektriciteitsnetwerk? Schakel een grootverbruiker zoals een stad of stadsdeel een paar keer onverwacht aan/uit/aan/uit en moet je eens kijken hoe groot het deel is wat op zwart gaat.
Hoe groter de netwerken, hoe groter de impact van een storing kan worden, zelfs met relatief weinig middelen.

Wat dat betreft is het goed dat dit een keer is gebeurd, zonder echt al te grote gevolgen.

[Fairy]

Jouw HP managed switch hoeft geen vele Terabits per seconde te verstouwen

Dit soort coreswitches werken wat dat betreft vrij basic. Als je die gaat belasten met loop-detection of ddos detection vraagt dat veel te veel capaciteit. Ik denk dan ook dat men van de expertise van de engineer uitgaat dat een loop niet optreed, maar waar gewerkt wordt kunnen nu eenmaal foutjes voordoen, dat is niet te voorkomen.

Ik ben wel benieuwd naar het gezicht van die engineer toen zich dit voltrok. Die zou wel een momentje hebben van "kuuhuuuuuudt"

[Reactie gewijzigd door Fairy op 22 juli 2024 14:11]

[gepebril]

1

[Reactie gewijzigd door gepebril op 22 juli 2024 14:11]

[PolarBear]

Zou ik ook wel de reden willen weten waarom het internet het niet meer deed.

Moet je waarschijnlijk nog even op wachten dan. De AMS IX is over het algemeen vrij tranparant, verwacht dat het wel duidelijk wordt wat er mis is gegaan. Overigens de laatste keer dat het echt hard mis ging daar was 29 mei 2006 toen er een grote stroomstoring in Amsterdam was en een groot deel van het Nederlandse internetverkeer uit viel. Dat is alweer 9 jaar geleden. Valt reuze mee, zeker omdat de vorige grote stroomstoring eerder dit jaar nauwelijks impact had om de AMS IX.

[dehardstyler]

2006 6 jaar geleden?

[bogy]

ik kon vanuit belgie een heleboel sites niet meer openen ....

djees, wat zijn wij afhankelijk geworden van NL ....
mijn snode plannen om amsterdam te nuken zal ik maar in de kast steken want anders valt het internet weer uit bij ons...

_{(uiteraard heb ik geen nukes; en dus ook geen plannen ....)}

[Kevinp]

Ik denk dat een groot deel van Europa ook gebruik maken van deze lijn.

Ik weet niemand of iemand het kan bevestigen. Maar volgens mij was deze lijn de eerste niet Amerikaanse Inet Aansluiting. (waarschijnlijk inmiddels al lang geupgrade natuurlijk ).

Om maar aan te geven hoe lang Nedeerland al een knooppunt in het geheel is.

[bogy]

ik geloof dat er in een tweakers docu over het rekencentrum vermeld wordt dat de eerste europese (contintale) verbinding met de US (het internet) vanuit dat rekencentrum werd gemaakt; via dial-up uiteraard

[joo5ty]

So what happend to the engineer?

[Giftcard]

Ik begrijp niet waarom dat je eerste vraag is?

Uiteraard kan je de engineer verwijten dat hij zijn werk niet gecontroleerd heeft, maar dat hoeft nog niet te betekenen dat hij eigenhandig de boel gesloopt heeft..

Het is te makkelijk om in een zeer korte tijd een mes in de rug van de engineer te rammen, het zou bijvoorbeeld best kunnen zijn dat iemand die port, op afstand, verkeerd heeft geconfigureerd en dat de engineer daardoor een loop heeft veroorzaakt..

Nogmaals, controleren is altijd beter, maar ik vind dat de engineer best in bescherming genomen mag worden totdat er 100% duidelijk is wat er fout is gegaan..

// Ontopic:
Waarom worden werkzaamheden uitgevoerd tijdens werktijden?
Er zijn genoeg, kritieke, bedrijven die alleen maar 's nachts werkzaamheden uitvoeren, of alleen maar in de weekenden.
Alhoewel het voor AMS-IX het handigste lijkt om dit op maandag en dinsdag nacht te doen, aangezien mij dit de rustigste momenten van het NL-se internet lijkt.

[Reactie gewijzigd door Giftcard op 22 juli 2024 14:11]

[Kees]

Waarom worden werkzaamheden uitgevoerd tijdens werktijden?

Zoals Cyber ook al zegt: Het is beter voor je engineers.

's nachts werken is niet lekker, mensen zijn vermoeider, minder geconcentreerd en er is minder ondersteuning en het is duurder voor de werkgever. Door de vermoeidheid kunnen ze sowieso minder werk doen, door het concentratieverlies treden er meer fouten op, door de mindere ondersteuning duurt het langer voordat het probleem is opgelost (je moet mensen uit bed bellen, andere mensen (bv van isp's of leveranciers) die kunnen helpen slapen op dat moment, de storing word minder snel opgemerkt dus je hebt zelfs kans dat de engineer al weer weg is.

Verder is een patch plaatsen iets waar je normaal gesproken geen downtime voor hoeft te verwachten, dat is gewoon routine 'onderhoud' wat je prima overdag kan doen en zelfs overdag wil doen want dan kan de andere partij (voor wie de patch is) ook meteen controleren of alles goed geplaatst is en werkt zonder dat daar ook mensen de hele nacht op moeten blijven.

Eigenlijk moet elk onderhoud op elk moment plaats kunnen vinden; alles moet zo uitgevoert zijn dat je zonder downtime elk gedeelte van het systeem kan vervangen. Volgens mij is dat bij de ams-ix ook wel het geval, alleen vereist dat waarschijnlijk enige voorbereiding en zal dat ook gewoon gebeuren bij onderhoud, waardoor je dat onderhoud ook weer overdag kan doen.

Onderhoud 's nachts moet je alleen doen als daar een goede reden voor is; bijvoorbeeld omdat je bijvoorbeeld bij een bedrijf werkt en er na 8 uur toch niemand meer is die last heeft van de downtime.

[goovy75]

Nou waar ik werk werken wij in shift nachtdiensten zijn dan 6 uur werken. Overdag heb je vaak de deployment en savonds de onderhoud en Amerika is dan ook "wakker" en ben je meestal hun helpen. Qua moeheid vind ik de shift op de dag het meest vermoeiend van 14:30 t/m 0:00u en het heeft ook idd met downtime en shutdown approval te maken.

[CyBeR]

Waarom worden werkzaamheden uitgevoerd tijdens werktijden?

Omdat dat het beste is voor je engineers. En AMS-IX kent geen rustige momenten, alleen rustigere momenten.

[Giftcard]

[...] Omdat dat het beste is voor je engineers.

"het beste" is relatief..
Als het een standaard proces is om changes in een bepaalde nacht/avond te doen en je zet er als bedrijf de juiste compensaties tegenover, dan zie ik niet waarom dit niet 'het beste' voor je personeel kan zijn.
Het vereist veranderingen in de manier van denken, maar onmogelijk is het niet.

[...]En AMS-IX kent geen rustige momenten, alleen rustigere momenten.

Dan lijkt het mij, met bijv de continuiteit en imago schade in ogenschouw gehouden, het beste om de rustigere momenten te targeten voor onderhoud..

[Reactie gewijzigd door Giftcard op 22 juli 2024 14:11]

[JackBol]

Daar is al een paar jaar een oplossing voor; BGP PIC.

[OverSoft]

En nou juist dat protocol zorgt er voor dat er zoveel berekening nodig zijn als er een grote route wegvalt. Dus ja: het is een oplossing, maar nee, niet voor dit probleem (paar minuten downtime)

[JackBol]

Het gaat meer om het "PIC" gedeelte dan het "BGP" gedeelte...
Heb je de link uberhaupt geopend?

FYI, met BGP PIC kan de convergence van BGP teruggebracht worden naar millisecondes.

[Reactie gewijzigd door JackBol op 22 juli 2024 14:11]

[OverSoft]

Ja, sorry, zag het nu ook pas.
Ik vermoed dat BGP PIC nog niet overal ondersteund wordt. Implementaties duren (vooral op dit soort grote sites) nogal lang, daarnaast moeten de buren ook lief meespelen. (Tenzij PIC backwards compatible is naar een non-PIC implementatie)

Het is meer een presentatie (waar nogal wat context uit mist) dan documentatie, dus kon even niet zo snel opmaken dat het een addendum was. Daarnaast zie ik alleen maar Cisco engineers als schrijvers, wordt BGP PIC ook ondersteund door bijvoorbeeld Juniper of Brocade?

[SED]

Juniper: http://www.juniper.net/do...pic-edge-configuring.html

[Verwijderd]

maar omdat dit dure BGP berekeningen zijn voor routers duurt het even voordat alle ISPs direct een nieuwe alternatieve route kiezen.

Slechte bgp-implementaties dan. Hoeft helemaal niet zo traag en zwaar te gaan.

... accidentally placed a loop on the ISP peering VLAN.

Een loop in een VLAN.
Daar komt de echte aap uit de mouw.

Spanning Tree.
Altijd weer fucking Spanning Tree.

[Reactie gewijzigd door Verwijderd op 22 juli 2024 14:11]

[Gannicus]

Inderdaad, ze hadden “BGP PIC” en/of “BGP advertise best external”, etc. kunnen gebruiken. Of anders (indien mogelijk) een default route accepteren van je directe eBGP neighbor(s).
Maar er zal een hoop traffic engineering plaatsvinden tussen de peers, dus zomaar een default accepteren zou te simpel zijn

[Lennie]

Default route ? Naar wie dan op de AMS-IX ? Niemand gaat jouw verkeer accepteren en doorgeven. AMS-IX is peering verkeer, dus alleen verkeer tussen netwerken (en evt. hun klanten) onderling.

[Gannicus]

Dat zeg ik toch: “default route is te simpel”.
Als je één peering partner zou hebben zou je met een default klaar kunnen zijn. Zodat je niet de gehele IPV4/IPv6 internet tabel niet hoeft in te lezen, scheelt in je convergentie tijd,etc. Peering partners kunnen onderling afspraken maken over wat ze wel of niet van elkaar accepteren. Maar binnen de AMS-IX ga ik er van uit dat je er minimaal 2 of meer peering partners hebt afhankelijk van je design.

[TrailBlazer]

Bij een beetje serieuze router staat de control plane los van de dataplane. Dus een drukke CPU als gevolg van het berekenen van nieuwe routes zal geen impact mogen hebben op de forwarding van pakketen.
Er is namelijk geen enkele core router die in staat is om in de CPU linerate 96 maal 10 gigabit te routeren. Dit gebeurt allemaal in specialiste ASICS die geconfigureerd worden vanuit de CPU.

[aadje93]

een ASIC kun je niet "realtime" programmeren, dat zijn de FPGA's. Een ASIC word ontworpen vanaf de grond om een specifieke taak te verichten, zij het inderdaad packets routeren. Maar je kunt hem niet on the fly aanpassen, het is een fysieke chip die 1 taak kan doen, en omdat ie speciaal daarvoor gemaakt is kan hij het ontzettend efficient/snel.

[CyBeR]

Je kunt een ASIC niet aanpassen nee maar een ASIC is feitelijk een zeer specialistische CPU en die kun je afhankelijk van de implementatie wel degelijk configureren.

[CyBeR]

Configureren en programmeren zijn heel verschillende dingen.

[PolarBear]

Goed geregeld. Maar ja je mist toch wel een stuk peering en je bent als gemiddelde gebruiker ook afhankelijk van de 'andere' kant. Als je ISP het wel goed geregeld heeft maar de hosting van de website die je wil bezoeken niet heb je nog niets.

En voor kantoor werkend Nederland geluk bij een ongeluk dat het juist tijdens de lunch was, scheelt toch wel weer iets in de impact.

[Reactie gewijzigd door PolarBear op 22 juli 2024 14:11]

[citruspers]

Dat is precies wat ik hier thuis ook voorbij zag komen, met doorverkoper van bit.bv als ISP:
http://i.imgur.com/a0ALc7H.png

Geen directe storing, vooral heel veel pakketverlies.

[dabbeljoedzjie]

Tnx voor de duidelijke uitleg!

[Drumstel]

Super uitleg idd, thnx. Het geeft meer uitleg op het artikel van Tweakers

[MrManuel]

Mooie uitleg

[sygys]

Wij hadden op de zaak en ik zelfs op mijn telefoon enkele minuten geen internet

[Verwijderd]

Jullie hebben alles weer geactiveerd op de AMS-IX maar nog steeds hebben we enorme packetloss:

Host Loss% Snt Last Avg Best Wrst StDev
1. 91.148.252.33 0.0% 193 13.8 6.2 2.2 34.5 6.1
2. xe-1-1.rt1.ams2.baseip.com 0.0% 193 20.1 7.3 2.6 42.9 6.9
3. amsix.router1.dcga.ams.transip.net 43.5% 192 3.2 6.1 3.0 46.1 8.9
4. 149-210-181-94.colo.transip.net 44.3% 192 3.1 3.6 3.0 20.5 1.9

[Spykie]

Via AMS-IX mailing lijst:

Today Wednesday 13/05/2015 at 12:20 UTC+2 an installation engineer working on the PE under maintenance in EQUINIX AM3, while testing one of the newly installed 100GE modules, accidentally placed a loop on the ISP peering VLAN.

DETAILS:
The loop caused a high CPU on all backbone and customer modules resulting in many BGP sessions dropping.
The incident lasted 10 minutes.
BGP sessions are restoring.

ACTIONS:
We will re-review and adjust our maintenance procedures where necessary.
We sincerely apologize for any inconvenience this may have caused.

[Reactie gewijzigd door Spykie op 22 juli 2024 14:11]

[sj31]

ik ben een engineer bij een ISP (internet service provider zoals KPN, Ziggo, etc.).
Bij AMS-IX was storing waardoor al het verkeer opzoek is naar een omleiding, hierdoor kwam er een te grote druk op de rest van de apparatuur te staan omdat deze allemaal een nieuwe route moesten bereken om het internet verkeer wel langs te laten gaan, deze apparaten moesten hiervoor te veel CPU gebruiken en hierdoor zou de verbinding heel traag zijn of helemaal niet tot stand kunnen komen.

Ook zou via het buitenland tijdelijk geen verbinding mogelijk zijn geweest naar Nederland, dit omdat de AMS-IX ook gebruikt wordt door bijvoorbeeld ATOM86 en Level 3 die er voor zorgen dat er verbindingen zijn tussen bijvoorbeeld Azie en Europa, daar valt Nederland dus ook onder en omdat de AMS-IX werdt gebruikt is het niet mogelijk geweest om te verbinden met Nederland.

Storing zou al weer opgelost moeten zijn en langzaam aan zou alles weer stabiel moeten worden. M'n baas was gelijk helemaal over de zeik dat alles kapot was, bleek dat het aan de AMS-IX lag en hij zei gelijk dit gaat in het nieuws komen.

Zowat heel Nederland heeft last gehad van de storing en bij ons stond de telefoon rood gloeiend maar momenteel bellen wij onze klanten alweer terug dat het langzaam aan weer stabiel wordt.

Zoals hier te zien is, iets na 12 uur een daling van ongeveer 2,2TB/s aan internet verkeer naar 0TB/s, dit betekend dat er een 100% packet los zou zijn geweest voor een aantal seconden en misschien zelfs minuten.
Edit:
zover ik weet was er 1 iemand onderhoudt aan het verrichten tijdens de storing bij de locatie waar de storing zich heeft plaats gevonden. Alle verbindingen komen langzaam weer up en alles wordt langzaam weer stabiel

Oorzaak:
Er was tijdens onderhoud een nieuwe patch geplaatst, dit resulteerde in een loop bij systemen bij AMS-IX, na een aantal minuten kwamen ze hier achter en hebben ze dit gelijk opgelost.

Today Wednesday 13/05/2015 at 12:20 UTC+2 an installation engineer working on the PE under maintenance in EQUINIX AM3, while testing one of the newly installed 100GE modules, accidentally placed a loop on the ISP peering VLAN.

DETAILS:
The loop caused a high CPU on all backbone and customer modules resulting in many BGP sessions dropping.
The incident lasted 10 minutes.
BGP sessions are restoring.

ACTIONS:
We will re-review and adjust our maintenance procedures where necessary.
We sincerely apologize for any inconvenience this may have caused.

[Reactie gewijzigd door sj31 op 22 juli 2024 14:12]

[MrManuel]

Today Wednesday 13/05/2015 at 12:20 UTC+2 an installation engineer working on the PE under maintenance in EQUINIX AM3, while testing one of the newly installed 100GE modules, accidentally placed a loop on the ISP peering VLAN.

[CreX]

+2 voor je begrijpelijke uitleg, zo kan ik t ook een beetje volgen

[Reactie gewijzigd door CreX op 22 juli 2024 14:11]

[sj31]

Thanks, ik dacht niet iedereen zal alles begrijpen wat gezegd wordt dus ik probeer het redelijk uit te leggen.

[CreX]

Nee inderdaad, ik ben best een tech geek en beschouw mijn computer vaardigheid als bovengemiddeld, maar zodra er met ict jargon gesmeten wordt raak ik de draad snel kwijt.

[Froos]

Dit is redelijk uniek. Volgens mij is AMSIX nog nooit plat gegaan.. ik vroeg me al af waarom ik google niet meer kon bereiken en tweakers wel. Kennelijk is er met oversees routing ook iets niet zo lekker..

[Paffelton]

Ik kon juist Tweakers niet bereiken en Google wel.

[Verwijderd]

Ik kon vrijwel alles nog bereiken, maar wel met zo'n 90-95% packet loss.

[OttoNL]

Hier wou hij in het begin alleen geen 9gag gifjes en facebook comments (als ik 'meer comments' klikte) laden. Daarna internet 100% down. Windows gaf me ook de melding dat ik was verbonden met het netwerk, maar dat er geen internetverbinding was.
Modem, Router, PC rebooten hielp niet maar na een paar minuten kwam het allemaal weer terug.

[Tozz]

Google is voor jouw vanuit Nederland niet oversees. Google zit in Eemshaven (Groningen) en in Ierland voor zover ik weet.

[wha]

Google is nog niet in Nederland gevestigd zijn nog aan het bouwen van het datacenter.

[casperbakker]

Google heeft al vele jaren het grootste gedeelte van het TCN SIG datacenter in gebruik in Eemshaven. Het schijnt zelfs dat het datacenter inmiddels van Google is sinds TCN SIG failliet is gegaan, maar daar kan ik zo snel geen bevestiging van vinden.

[SED]

http://www.tcndatahotels....els/en/location/eemshaven

Google was vanaf dag 1 de huurder en zelfs de bouwheer.
Voor/tijdens het faillisement heeft google de zaak ontrrokken via de curatoren. mogelijk via een tussenpersoon.

[Tozz]

De beide datacentra (in zowel Groningen als Eemshaven) zijn niet failliet en ook niet verkocht. Alleen de bovenliggende BVs zijn failliet verklaard, maar de BVs die de datacentra in bezit hebben en exploiteren zijn niet failliet.

[Tozz]

Onzin. Google zit al minstens 5 jaar in Eemshaven en daarvoor al in Groningen.

[d.drenth]

En Google zit nog steeds in Groningen gewoon in TCN datahouse Groningen. Ze hebben alleen niet meer zoveel ruimte in gebruik sinds de opening van de TCN Eemshaven die alleen zij Google in gebruik heeft.

Nieuwe DC van Google is in ontwikkeling, laatste nieuws: http://www.dvhn.nl/nieuws...ven-vordert-12434883.html

[Reactie gewijzigd door d.drenth op 22 juli 2024 14:11]

[Malarky]

Ik kreeg mijn reactie niet geplaatst op Tweakers en Nu.nl laadde ook niet, terwijl mijn router zei dat alles in orde was, alle kanalen online.

[Odie]

Jawel, jaren terug was er een fikse stroomstoring op het Science Park en sloegen de generators niet aan. Dat was ook heel erg goed krak...

[Wirehub]

AMS-IX is al te vaak weggevallen bij Generator testen . Komt niet vaak voor ,maar het gebeurt

[PolarBear]

29 mei 2006 was de vorige keer (http://www.zdnet.be/europ...ernetverkeer-haperde-even)

[bento smit]

Ik zit me ook af te vragen hoeveel redundancy dat knooppunt heeft. Zeker off-site een extra centrum neerzetten lijkt me geen slechte zaak met het eeuwig groeiende verkeer

[Verwijderd]

Verdiep je eens in hun architectuur Op https://ams-ix.net is genoeg publieke info te vinden; genoeg redundantie daar. Ze halen genoeg 9's aan uptime (99,veel), 100% is gewoon niet mogelijk.

[bento smit]

bedankt voor de link, geheel on topic besluit deze pagina bij mij echter niet te laden op dit moment . De vraag die ik hierover nog had is hoe het zit met de redundantie op de intercontinentale lijn. Niet heel veel verstand van wat ze daar allemaal doen maar dat blijft een knelpunt voor mij

[Verwijderd]

Er is niet "een intercontinentale lijn", er zijn allerlei intercontinentale verbindingen die ook weer geografisch verschillende routes volgen. Dat staat echter los van de AMS-IX.

Zie de AMS-IX als een heeeel grote redundante switch die verspreid is over een aantal locaties in Amsterdam. Het is een koppelvlak voor ISP's (KPN, Ziggo, XS4All etc), content providers (Facebook, Google, etc), hosting providers waar kleinere partijen hun servers onderbrengen en "grote jongens" die transit diensten bieden. Voor zover ik weet heeft een aangesloten partij geen BGP peering met de AMS-IX zelf maar hebben ze BGP-sessies met andere op de AMS-IX aangesloten partijen.

Die intercontinentale lijnen worden dus niet gebruikt door de infrastructuur van de AMS-IX maar juist door tier 1 networks / transit providers als Level3, Tata & Cogent (http://en.wikipedia.org/wiki/Tier_1_network). Wikipedia heeft ook wel info over de diverse intercontinentale links, zie bv http://en.wikipedia.org/w...ine_communications_cables.

Ik hoop dat dit het nog iets duidelijker maakt.

edit: dit is ook nog een leuk linkje waar een paar intercontinentale links worden genoemd incl capaciteit en eigenaar/hoofdgebruiker: http://en.wikipedia.org/w...ntic_communications_cable

[Reactie gewijzigd door Verwijderd op 22 juli 2024 14:11]

[Verwijderd]

De AMS-IX is nu al over meerdere gebouwen verspreid en in hoge mate redundant. Redundantie is echter geen garantie voor een failover zonder down-time. Bovendien kan het probleem dat het originele systeem platlegt ook de redundante systeem platleggen.

[Odie]

Elke vorm van redundancy is te slopen. Ams-IX is redelijk redundant over heen veel sites.

[egelalexander]

Internet deed hier ook vreemd, we hadden de switch en router al een herstart gegeven. Nu werkt het internet in het algemeen wel weer maar bijvoorbeeld outlook.com kunnen we niet bereiken.

Outlook.com geeft de volgende fout : ERR_CONNECTION_TIMED_OUT

[Reactie gewijzigd door egelalexander op 22 juli 2024 14:12]

[Gertjuhjan]

Dan lijkt het er op dat meerdere microsoftdiensten plat lagen. Skype lag er bij mij ook 10 minuten uit.

[alt-92]

De dienst niet, maar de verbinding vanuit EU naar die diensten.

[Gertjuhjan]

Voor mij lag de dienst plat, want ik kon het niet gebruiken.

[MrManuel]

Aah ok.. lekkere beredenering..
Pinpas is doormidden gebroken, kan hem dus niet gebruiken maar kan daardoor ook niet pinnen in een pin automaat.

De pin dienst bij de bank is dus plat?

[Vickiieee]

Hier doet outlook.com het gewoon, even geduld tot het weer hersteld is. Dan zal jij er ook weer bij kunnen .

[StefanTs]

Was ook mijn eerste reactie, kon alle apparaten tot aan de router prima benaderen. Router een schop geven is dan sneller dan het daadwerkelijke probleem opzoeken. En beschikbaarheid is op dat moment belangrijker dan de reden van uitval. Dat interesseert een gebruiker weinig.

Gezien dit bericht vermoed ik dat het weinig nut heeft om verder onderzoek te doen naar dit incident.

[Verwijderd]

Dit moet een BGP probleem zijn. Een nieuwe medewerker met een verkeerd commando?

Ik blijf het altijd lichtelijk bizar vinden dat mijn gehele bedrijf stil staat wanneer "het internet" even stil staat. Bankieren, pinnen, boekhouden, remote support, bellen en zelfs de IP deurbel doet het niet meer.

i love the AMS-IX even more now.

[Reactie gewijzigd door Verwijderd op 22 juli 2024 14:12]

[Iblies]

Het is een euvel waar nog weinig ondernemers bij stil staan maar dat vandaag de dag steeds meer consequenties zal hebben.


Je kunt beargumenteren dat het van nationaal belang is omdat enkele dagen stilstaan effect heeft op bruto nationaal product. Maar we moeten een paar keer op onze bek vallen voordat we het helemaal beseffen.

[CivLord]

Het is maar een relatief korte onderbreking geweest, dus de gevolgen zijn te overzien.

Maar de gevolgen van een internet storing zijn voor veel bedrijven vergelijkbaar met de gevolgen van een elektriciteitsstoring.

[OverSoft]

Wij hebben hier op de zaak 2 verbindingen. Een zakelijke glasvezel lijn via Claranet en een zakelijke ADSL verbinding via XS4All als backup.
Maar in dit geval begin je weinig, als de feitelijke backbone van het Nederlands internet weg valt. Iets wat hierdoor pijnlijk duidelijk wordt (ook al duurde het niet zo lang).

[eborn]

Hopelijk is er bij de 'hosting jongens' in Nederland niet teveel vastgelopen. Dit zijn situaties die natuurlijk niet vaak voorkomen en toch altijd weer effect kunnen hebben op je mooie redundant omgeving.

[Yariva]

Bgp neighbors zijn er hier niet uit geknald

[MrManuel]

Het was een loop op het ISP peering VLAN.. Oops

DETAILS:

The loop caused a high CPU on all backbone and customer modules resulting in many BGP sessions dropping.
The incident lasted 10 minutes.
BGP sessions are restoring. 

[friggler]

En wat denk je van een computerreparatiebedrijf? Probeer alle updates maar eens binnen te krijgen na een nieuwe installatie van Windows

[Reactie gewijzigd door friggler op 22 juli 2024 14:12]

[freaky]

Die download je serieus iedere keer? Factureert per uur zeker?

[friggler]

Downloaden of offline updaten via WSUS offline update scheelt heelmaal niet zoveel hoor.

[cyberbetica]

Slipstreamen wel..

[computerjunky]

Precies slipstreamen lijkt de manier tegenwoordig aangezien je niet meer zomaar 1 windows voor iedere hardware kan maken.
Vroeger maakte ik 1 installatie van windows XP en maakte daar een ghost van en binnen 3 minuten was windows geïnstalleerd.

[Shamalamadindon]

Ik heb Win7 toch anders in een kwartiertje op het bureaublad staan hoor.

Dat hoeft zelfs op de "normale" manier niet zo lang meer te duren.

[qbig1970]

Ja ok, kale windows misschien wel... maar als je daarna alle updates en Servicepacks erop moet knallen, ben je nog wel even zoet... in de ict moet dat sneller en efficienter! Dat is wat er bedoeld wordt.

[AcidBanger]

Als je 1 reparatie per week doet niet nee. Doe je er net zoals ons 5-10 tegelijk dan ramt WSUS ze wel lekker snel doorheen.

[freaky]

Als je dik internet hebt en het mee zit wellicht niet.

Downloads van bijv. MSDN fluctueren bij ons tussen de 0.6MB/s en 60-70MB/s afhankelijk van welke server we hitten en wellicht het tijdstip. Windowsupdate is vaak niet veel anders, maar houd de download snelheid daar over het algemeen niet in de gaten .

[Azerion]

Updates inbakken in de installatie elke 3 maanden een keertje doen, scheelt je een hoop updaten.

[firest0rm]

heb hier een Gbit lan netwerk incombinatie met WSUS offline en het werkt net zo traag(trager) dan gewoon via de update feature van windows zelf verder installeert WSUS offline niet iedere update waardoor er alsnog een handeling gedaan moet worden om veel updates te downloaden.

[Reactie gewijzigd door firest0rm op 22 juli 2024 14:11]

[BGB4rn]

Toch haalt een profi reparateur niet alle updates van internet (wsus offline)

[friggler]

WSUS offline vindt na de installatie van alle binnengehaalde updates toch steeds nog nieuwe updates als ik de update functie van Windows weer laat zoeken.

[Verwijderd]

Misschien een WDS overwegen? Met een goeie image?

[Tozz]

WDS images maken is (vindt ik) vrij tijdsintensief en moet je met de vaart waarin updates uitkomen dus vrij regelmatig doen. Je moet wel veel machines installeren wil dit qua tijd efficienter zijn.

[Verwijderd]

Die kun je lokaal cachen. Nginx, Squid alsmede vele commerciële bedrijfjes hebben daar mooie how-to's/producten voor.

[Rataplan_]

Jeetje.. als je dat vaker dan pakweg 5x moet doen maak je toch een sysprep image aan waar de updates al in zitten tot een bepaald punt, en de rest doe je offline of in elk geval gecached...

[Epiecs]

Idd, of je zet gewoon even een fog servertje http://www.fogproject.org/ op met daarin een gesysprepte NL en een EN image van windows die je geregeld bij houdt qua updates. Drivers en programma's doe je dan met snapins/ninite.

Zo leer ik het toch aan de 40 tal techniekers die ik per jaar opleid. Is perfect voor de gemiddelde pc winkel en je kan ook een volledige image trekken van de pc van een klant voor wanneer er iets aan scheelt (scheelt hem ook weer een pak aan drivers...)

[firest0rm]

Werkt dit ook op verschillende pc's totaal andere hardware structuren?
en dan met name dat ze de updates binnen harken als ze ook drivers doen is dat mooi mee genomen.

[Reactie gewijzigd door firest0rm op 22 juli 2024 14:11]

[Epiecs]

Yeps, Fog gebruikt alle image types die aanwezig zijn in clonezilla. En mocht een van die image types niet werken kan je nog steeds met dd werken. Dit is wel omslachtig groot maar werkt altijd (is letterlijk bit per bit).

Qua drivers en programmas werkt dit ook gewoon. Fog heeft een service die op de machines zelf draait. Jouw taak is wel om iets te bundelen in een snapin. Een snapin kan je vergelijken met een msi pakket maar dan in zip formaat. Hier kan je programma's, drivers etc... in proppen.

[Shamalamadindon]

Vergeet PL, RU en DE niet.

[Epiecs]

Idd, je moet je images natuurlijk afstellen op de markt waar je werkt. Maar voor mijn uitleg in Belgie voldoen EN en NL perfect ^^

[Arumes]

Dit moet een BGP probleem zijn. Een nieuwe medewerker met een verkeerd commando?

Of een schoonmaker, had even een stopcontact nodig voor de stofzuiger.

[Odie]

BBP?

[mkools24]

Bruto binnenlands product.

[Odie]

Als je me dan de les wil lezen, begrijp dan eerst even dat BBP hier niet relevant is. Ik denk dat de poster BGP bedoelde. En zelfs dat was niet de reden.

[Keypunchie]

Grappig om het piekje ook bij alle sites op Allestoringen.nl terug zien,

Ik durf overigens best te wedden dat Allestoringen.nl dit straks gewoon meeneemt in hun statistieken wanneer volgens hun de banken een "storingsdag" hebben.

[Reactie gewijzigd door Keypunchie op 22 juli 2024 14:12]

[Verwijderd]

Dat is ook correct. Ik kon immers niet bankieren. Willen de banken naar een nog hogere bereikbaarheid zullen ze met alle ISP's een directe verbinding moeten leggen. Zoals bij veel dingen zijn de laatste procentjes het duurst (en wat mij betreft onnodig.)

[OverSoft]

En vrijwel onhaalbaar. ISPs hebben verschillende fysieke toegangspunten tot het internet. KPN heeft bijvoorbeeld andere entrypoints tot de AMS-IX dan Ziggo.
Logisch natuurlijk, je kunt moeilijk alle ISPs in een gebouw proppen. (Praktisch niet, maar natuurlijk ook single-point of failure niet)

Dus zou iedere bank, vanaf zijn data center (of iig de data centers waar ze gehost zijn) een kabel moeten gaan trekken naar de entry points van iedere provider, zelfs de kleinste lokale providers. (Darkfiber telt niet, dat loopt meestal via grote knooppunten en zijn dus niet onfeilbaar)

You can only do so much. Als het internet uitvalt (en dan bedoel ik letterlijk: het internet zoals vandaag is gebeurd voor korte tijd), dan werkt niets wat met internet te maken heeft, dus ook geen internetbankieren. Dat ligt niet aan de banken.

[Verwijderd]

Het is inderdaad overdreven duur, maar je zal gek kijken als er toch banken zijn die het doen. In de begin dagen van A2000 was er zelfs sprake van een directe lijn naar Mirabilis voor ICQ. Dat is uiteindelijk niet doorgegaan, maar er werd serieus met Mirabilis besproken.

[OverSoft]

Als er veel data over de lijn zou gaan, zou ik het misschien (maar dan ook echt maar heel misschien) met je eens zijn, maar dat is echt niet zo in het geval van banken.

Overigens wouden ze peeren met Mirabilis, geen directe lijn trekken, en dat is toch even wat anders.

[Verwijderd]

Peeren was toen nog geen optie. De twee plannen (waar ik toch echt zelf bij aanwezig was) waren of een "ICQ server" of een directe lijn naar Mirabilis.

[MrManuel]

Dit heeft niet met een ISP te maken maar met hoe het verkeerd wordt gerouteerd.
Ookal zou je meerdere ISP's hebben.. dan zal je nog steeds moeten wachten tot de ISP's hun verkeer anders hebben gerouteerd.

[Reactie gewijzigd door MrManuel op 22 juli 2024 14:11]

[tsanders]

Die weddenschap ga je inderdaad winnen.
Allestoringen meldt het aantal dagen waarop internetbankieren niet werkte. We kijken niet naar de oorzaak van een storing, maar constateren dat het niet werkt.

Tom Sanders
Allestoringen.nl

[Gomez12]

Dus als enkel bij jullie de internetconnectie eruit knalt dan heeft iedereen zogenaamd een storing?

[Powermage]

Waren een paar interessante minuten hier op kantoor
Eerst merkte ik dat veel weg viel, check bij ons hoofdkantoor gaf alleen maar meer vraagtekens, want ook die hadden issues met 2 andere providers, vervolgens op mijn telefoon wat email alerts dat bepaalde verbindingen (tussen 2 andere providers) ook weg vielen....

[eborn]

Bij dit soort grappen start ik altijd meteen even een trace. Vaak zie je dan al direct dat er een gekke routering is (lusje) of dat de routering op één vaste plek stopt. In dit geval liepen alle niet werkende hosts tot aan OpenPeering goed. Daarna werd het stil.

[Powermage]

Eerste stap is ping naar een paar bekende plekken (server in ons DC, google of open DNS) als die niet reageren een trace en ruggespraak met collega's (ik zat achter ISP1, hun hadden problemen met ISP2 en ISP3 (de fallback lijn) dan weten we al dat t niet echt ons domein is, maarja, al die klanten die bellen.....

[ArcticWolf]

Hier viel eerst de glasvezel weg (KPN) en toen mijn telefoons geprobeerd (Vodafone zakelijk en prive) en die deden het ook niet, dan weet je dat het serieus is

[Technomania]

Dat het pinverkeer verstoord was vind ik wel een kwalijk iets.

Sowieso vind ik dat zoiets over de veiligere analoge telefoonlijn moet. En anders een ingebouwde backup naar Analoog.

Sta je dan met je karretje vol boodschappen in de buurtsuper.

[Rataplan_]

kosten / baten. Na vandaag zullen er weer heel wat dual-wan routers verkocht wordne in het MKB. Over een maand ebt dat weer weg want 'dat komt toch haast nooit voor'.

[Verwijderd]

Dual WAN had in dit geval geen nut gehad (ik heb het hier zelf). Zowel bij Ziggo als bij KPN lag alles plat.

[Rataplan_]

niet alle providers peeren met AMS-IX. Mijn KPN 3G gedeelte bv kon gewoon overal bij tijdens de storing. Maar ik snap je punt; je zou voor pinverkeer een directe dial-up bij ... Interpay? willen hebben of wie daar ook over gaat.

Hoe dan ook wel goed om te relativeren zoiets en te merken hoe afhankelijk we zijn van internet.

[Gomez12]

En dan heb je een directe dial-up bij interpay en dan kan die je saldo niet verifieren bij je bank want dat gaat dan weer via ams-ix

[Technomania]

Zijn nog steeds winkels waar je onder x bedrag moet betalen voor pinnen.

Dus de consument is de sjaak in dit geval.

edit: pinverkeer is ook gunstig voor mkb. Weinig cash in kassa en er hoeft niemand met een dik gevulde portemonnee naar de bank. Daar mag je als ondernemer best wat voor betalen. . Zie het als "service"

[Reactie gewijzigd door Technomania op 22 juli 2024 14:11]

[rik86]

Tja, als je 5-10c voor een transactie betaald voor iets dat een euro kost dan verdwijnt je marge erg hard. Dus ik kan me ergens wel voorstellen dat winkeliers dit nog door willen berekenen.

[Lennie]

Wat mijn ervaring is dat het pin-verkeer gebeurt is dat de provider een router levert met een aparte poort voor pin en direct het verkeer al apart houd voordat het de lijn op gaat.

Het pin-apparaat is gekoppeld aan die lijn.

Dus al zou ik het willen ik zou voor pin-verkeer dus geen dual-wan kunnen gebruiken.

Je zou dus 2 providers moeten nemen en 2 pin-automaten met bijhorende dienst.

Lijkt mij nogal duur.