Backupnetwerk Ams-ix had moeite met datastroom na storing

De Amsterdam Internet Exchange is kort na drie uur getroffen door een kortstondige storing op het hoofdnetwerk. Omdat er op dat moment werd gesleuteld aan het backupnetwerk kon deze het verkeer maar met moeite opvangen.

Zoals op de pagina met verkeersstatistieken van de Ams-ix is te zien, viel de verbinding iets na drie uur terug van 300Gb/s naar ongeveer 20Gb/s. Dit duurde ongeveer een kwartier, waarna het dataverkeer weer zijn oude niveau bereikte.

Henk Steenman, technisch directeur van Ams-ix, laat aan Tweakers.net weten dat zijn technici zijn geschrokken van de omvang van de plotselinge storing. Het zou gaan om één van de grotere storingen van de laatste jaren, maar een directe verklaring voor de problemen op het hoofdnetwerk en de moeizame doorschakeling naar het backupnetwerk heeft Steenman nog niet. De beheerder zal naar eigen zeggen de zaak grondig gaan onderzoeken om vergelijkbare problemen in de toekomst te kunnen voorkomen. Volgens Steenman zal het per provider verschillen hoeveel last de eindgebruiker heeft gehad van de storing; veel isp's hebben meerdere paden waarlangs het dataverkeer kan lopen.

Reacties (62)

Is wel geing om te zien dat het data verkeer op dat moment hard omhoog gaat op de linx in londen.

https://www.linx.net/pubtools/trafficstats.html

https://www.linx.net/pubtools/trafficstats.html?stats=day


Ok zie dat op NLIX ook het verkeer hard omhoog schiet, zie deze link:

http://www.nl-ix.net/traffic.php

Gemiddeld gaat hier zo'n 12,26 Gb door heen en met de blackout op de de AMS-IX schiet het data verkeer omhoog naar ruim 41 Gb.

[Reactie gewijzigd door NDSFREAK op 31 mei 2008 11:52]

kan toeval zijn hoor: als je naar die grafiek kijkt zie je dat die donderdagavond een paar uur een dergelijke belasting had waarop hij rond 3 uur vanmiddag piekte...

en dat de traffic van tweakers.net opeens verschrikkelijk hard daalt

http://tweakers.net/stats

Hij gaat lekker, SIDN, KPN en nu AMSIX. Al vaker wordt er gewaarschuwd dat naarmate netwerken complexer worden ze steeds minder goed begrepen worden door de mensen die ze beheren. Met vreemde en lastig op te lossen storingen tot gevolg. Terminator gaat z'n typemachine maar weer eens afstoffen.

een hikje als deze kun je niet vergelijken met de grote KPN outage, SIDN past weer meer bij de KPN storing in dat opzicht, maar duurde wel een stuk korter. (root nameservers zijn ook lang niet zo moeilijk als een ATM netwerk)

een van de foundry big irons zal wel weer over de stuiter zijn gegaan. (althans, dat was het vroeger meestal als de AMS-IX even wat had)

In weze is het netwerk van de AMS-IX ook best simpel (abstract gezien), je hebt gewoon een hoop poortjes die allemaal met elkaar kunnen praten en BGP4 over en weer kletsen. Voor de rest is het haast een hele grote super switch. (met heeeeel veel bandbreedte)

Ik zou eerder denken dat de Glimmerglass bij Nikhef een stuiter gemaakt heeft. Daar loopt praktisch alles door heen.

Daar valt alleen niet zo veel aan te stuiteren. Dat ding is gewoon een geautomatiseerd patchpanel.

Als de stroom uitvalt van dat ding, dan zou ik zo'n dip verwachten. Maandag effe vragen wat er loos was.

Zo complex is het allemaal niet. De CLI werkt allemaal het zelfde en ja je moet natuurlijk wel bij blijven! Het enige waar je rekening mee moet houden is dat je als grootste internet exchange te maken hebt met het nieuwste van het nieuwste op het gebied van netwerkapparatuur.

Nu hoor ik vaak in de wandel gangen vallen dat het "weer" foundry is.... argument van niets natuurlijk. Foundry wordt gebruikt bij de AMSIX; werelds grootste Internet Exchange.... en ja dan kan er wel eens iets mis gaan. (en het ging dit keer om een menselijke fout!).

Artikels in de media die vertellen dat het internet vol begint te raken (even niet over IPv4 gesproken, maar over bandbreedte) is natuurlijk ook volstrekte onzin. Het mooie van het hele netwerk gebeuren is dat het zo verschrikkelijk makkelijk up te graden is. Link vol? Hup extra 10GigE aansluiten en we kunnen weer vooruit.

Zodadelijk met de invoering van de 40GigE en de 100GigE standaard verdubbelen we de capaciteit met 400 en 1000% enkel op single lijnen!

AMSIX -> menselijke fout.
KPN -> software fout bij Alcatel Lucent in de firmware.

Grappig, tijdens de storing van KPN enkele weken geleden nergens last van gehad. Maar nu met deze storing had ik toch wel aardig vaak een wegvallende verbinding. Misschien dat planet niet zo lekker route oid?

als zoiets als de AMS-IX onderuit stuiterd, is het haast onmogelijk om het niet te merken Iedere ISP in dit land zit er op en wisselt er met conculega's verkeer over uit. Als dat plat gaat duurt het even voor BGP zo is omgeklapt dat alles weer werkt (en een stuk trager, omdat je dan over tragere transits gaat)

Het hele idee van de AMS-iX is dat je het verkeer lokaal houdt, en daarmee goedkoop.

Maar hoe zie je dat voor je? De AMS-IX is fysiek de locatie waar de ISP's en peering partijen bij elkaar komen. Daarnaast is de AMS-IX de routeerder/switcher tussen die partijen. Maar de reden dat ik niets gemerkt heb is waarschijnlijk te wijten aan het eerste puntje vooral. De ISP's die in die ruimte samen zitten maken onderlinge afspraken met een glasvezeltje over en weer. Dit zijn direct verbindingen die buiten de AMS-IX routering en switching infrastructuur lopen en niet meegeteld worden in de bandbreedte statistieken die in de AMS-IX ruimtes zich afspelen.

vraag mij eigenlijk af of bij de AMS-IX al het verkeer op dezelfde manier word behandeld of dat er prio's worden gegeven alla telefonie via je isp.
Bijv downloads van newsgroupen die op een laag pitje komen te staan.

Het zou een goede tijdelijk oplossing zijn, om het surfen toch nog een beetje op gang te houden.

De AMS-IX is een Internet Exchange, geen Internet Service Provider. Een ISP koopt bijvoorbeeld een 10 GigE verbinding in en deze kan deze vervolgens volledig benutten. Wil deze ISP zijn verkeer pre's mee geven dan kan deze dat doen binnen zijn eigen netwerk.

De AMSIX is simpelweg een marktplaats (uitwisselcentrum) van en voor ISP's.

Alles heeft dezelfde prioriteit.

Aha, dat verklaart de hoge packet loss deze middag. Maar goed dat ik de ISP er niet mee lastig heb gevallen.

Daar is je ISP voor. Als ze maar genoeg calls krijgen, kunnen ze het probleem doorschuiven naar AMS-IX.

Ik kan je met grote zekerheid vertellen dat naar mate er meer mensen bellen dergelijke problemen alleen maar minder snel worden opgelost.

Het zou voor een hoop isp's en waarschijnlijk ook voor ams-ix een stuk productiever zijn als niet iedereen meteen begint te mekkeren maar ze de technici daar de kans geven een probleem op te lossen en later een verklaring de deur uit te doen.

Een goede provider heeft een gescheiden team voor telefonische ondersteuning en reparatie...

En hoe komt de telefonische ondersteuning te weten hoever ze zijn

Juist ja, ze gaan die mensen bellen en lastig vallen. En wat gebeurd er dan; ze worden gestoord en leggen het werk even neer. Dus duurt het weer een telefoontje langer om het op te lossen.

De telefoonploeg kan dat via een monitor vast wel waarnemen. Even als monteur de status bijwerken, en hoppa.

Een goede ISP heeft ook zodanige redundantie dat ze niet afhankelijk is van AMS-IX

Dacht dat alles langs de AMS-IX moet i.v.m. de tapwetten e.d.

uuuuuh nee

AMS-IX = een peering platform (IX staat voor Internet Exchange).

Taps werken doormiddel van het mooie "monitor" commando op de switches, kwestie van een mirror opzetten van een gebruiker binnen het netwerk naar een tapdoos.

kwestie van een mirror opzetten

Het begint oftopic te varen, maareh. Gelukkig is het niet zo makkelijk als jij het neerzet

Een storing van maar een paar minuten is te weinig om alle sessies om te gooien.

Op zich mee eens, maar omdat alle grotere ISP's uit Eiropa OOK op de AMS-IX zitten merk je het vaak toch: peering schakelt als het goed is wel keurig over naar -bijvoorbeeld- DE-CIX maar de ISP routers krijgen wel een hele hoop BGP route updates, en als er wat ''klappert' dan zorgt BGP er ook nog voor dat niet alle updates worden doorgevoerd (damping). Alleen is dat niet altijd helemaal optimaal geconfigureerd, waardoor je peering bijv. keurig overstapt naar DE-CIX en vervolgens gaat het verkeer in het netwerk van de peeringpartner alsnog naar de AMS-IX voor een andere peer of eigen backbone danwel transit boer.
Als een exchange als AMS-IX problemen heeft merk je dat altijd - al is het maar door hoge latency of verhoogde packetloss (wat de hogere OSI layers moeten opvangen: niet elke packetloss geeft dataloss op app-nivo....)
1 x uitvallen en na 15 min weer terug is door goede ISP's met goede peers en transits prima op te vangen; klapperende peer-infra is een drama; hoe redundant je ISP ook is.
Als voorbeeld kan je bij noc.bit.nl mooi zien dat peering op DECIX en LINX vrijdagmiddag flink piekt: http://noc.bit.nl/newgrap...it.nl&target=xe-0-0-0_800

[Reactie gewijzigd door tonkie67 op 2 juni 2008 15:20]

Leuk dan dat we zwelden klagen bij Versatel maar toch minstens eens in de week het signaal voor een uur of langer verliezen, fijn dat ze zo goed profiteren van de rust die wij ze bieden...

Ik kan je met grote zekerheid vertellen dat naar mate er meer mensen bellen dergelijke problemen alleen maar minder snel worden opgelost.

Het zou voor een hoop isp's en waarschijnlijk ook voor ams-ix een stuk productiever zijn als niet iedereen meteen begint te mekkeren maar ze de technici daar de kans geven een probleem op te lossen en later een verklaring de deur uit te doen.

Meestal heb je wel meer mensen dan alleen technici in dienst:
Eerste lijns support - Telefonischie helpdesk
Tweede lijns support - Middelmatige kennis
Derde lijns support - Technische afdeling

Als er een storing is, kan dat heus wel door iemand van de tweede lijn of de derde lijn gemeld worden naar de eerste... Om zo gebruikers / klanten te informeren dat er problemen zijn...

Vandaar dat ik een tijdje via m'n ene provider wel Last.FM kon bereiken, en via m'n andere niet

Ik kon compleet ook niets meer met Concepts ICT. Heb m'n server eerst een schop gegeven omdat ik dacht dat er wellicht iets gaande was ermee. Zag wel dat het modem nogsteeds verbonden was, en een IP-adres gaf aan m'n router, maar daarmee hield het ook op.

ik heb er helemaal niets van gemerkt. Best lullig dat er een storing voorkomt precies op het moment dat er onderhoud gepleegd wordt aan het backup netwerk Murphy ftw

Gaat het internet verkeer van Belgie ook via Ams-ix ?

Soms. Je weet niet hoe alle pakketjes gaan. De goedkoopste/snelste route wordt automatisch uitgekozen. Dankzij TCP/IP kan zoiets als de AMS-IX eruit gaan, het verkeer wordt gewoon omgeleid naar ergens anders.

Je bedoelt bgp.

BGP draait bovenop TCP/IP dus technisch gezien heeft C00P gelijk;-)

Hou het maar op bgp.

IP maakt het in de eerste plaats mogelijk dat een pakket via een willekeurige route naar zijn eindbestemming wordt gerouted. Of je nou via BGP of via je eigen RouterBabbel TM protocol routeupdates uitwisseld doet daar niets aan af. Je hebt niets aan BGP als het netwerkprotocol (IP) het routingmodel niet ondersteund.

Je hebt de BNIX en de FreeBIX in Brussel, echter zijn die twee samen nog niet zo groot als de AMS-IX volgens mij, en een groot deel van het europese verkeer gaat via de AMS-IX

[Reactie gewijzigd door mace op 30 mei 2008 18:47]

Daar kan je gelijk in hebben. Zo ver ik weer zijn geen enkele 2 knooppunten ter wereld zo groot als AMS-IX.

Ik merkte al dat er vanmiddag willekeurige sites slecht tot niet bereikbaar waren (zoals die van mij en mijn provider) terwijl Tweakers.net nergens last van had...

Grappig, die tien minuten vanmiddag dat ik even gebruik wilde maken van internet.
(hotmail en tweakers.net) had ik er knap last van. Opende even helemaal niets meer.

Zo zie je maar dat het per provider flink kan verschillen bij een storing als deze.