Ams-ix kortstondig uit de lucht door storing

Door een storing bij de Ams-ix waren grote delen van internet korte tijd niet of nauwelijks bereikbaar rond vier uur. De oorzaak is nog onbekend, maar door het overschakelen naar het backupnetwerk waren de problemen snel verholpen.

De dagelijkse statistieken van de Ams-ix laten rond de vier uur een flinke dip zien, hoewel het verkeer niet volledig tot stilstand kwam. Onder andere google.com, blogger.com en picasa.com waren voor veel Nederlanders niet bereikbaar. Het uitvallen van de Ams-ix betekent niet direct dat het Nederlandse internet van de buitenwereld is afgesloten, aangezien de meeste providers aangesloten zijn op meerdere knooppunten. Desondanks is de Ams-ix wel ’s werelds grootste internetknooppunt en daarmee veruit het belangrijkste internetknooppunt van Nederland.

Eerder dit jaar was de Ams-ix ook al kortstondig uit de lucht toen het backupnetwerk moeite had om het verkeer over te nemen van het hoofdnetwerk. Tijdens die storing verwerkte het knooppunt gedurende een kwartier slechts 20Gb/s aan verkeer, terwijl een bandbreedte van 300Gb/s gevraagd werd.

Reacties (67)

Ons hele severrack was niet bereikbaar tussen 10 uur vanachtend tot een uur of 1 vanmiddag. Dus geen http,ftp of ping was mogelijk - ik raakte al lichtelijk in paniek dus hahaha maar zou dit de oorzaak zijn geweest, ben er nog steeds niet achter dus... mss nu dan wel

/edit - Het lijkt er niet op idd, maar wel erg toevallig iig. Dit is de eerste keer dat dit gebeurde, dacht in eerste instantie dat een server down was maar toen ik verder ging kijken kon ik geen enkele server meer bereiken. Ik zit zelf in Spanje. Maar idd, tweakers was wel bereikbaar.... ghost in the machine zullen we mar zeggen dan he.... mss dat er nog opheldering komt vanuit de hostingpartij.

[Reactie gewijzigd door ocdaan op 19 juni 2008 18:38]

Het Noord Hollands Dagblad weet te vertellen dat de storing veroorzaakt werd door een "doorgebrande schakel"".

De storing waar jij het over hebt kan onmogelijk gevolg zijn geweest van deze storing, deze storing startte om 16:10 en duurde tot 16:20 (tevens, NHD als bron).

Deze storing begon ongeveer om 15:45 en alles werkte weer enigsinds rond 16:10 (backup systemen waarschijnlijk?) en dat was dan ook de tijd dat ik richting huis ging

Zou "schakel" niet een foute vertaling van "switch" zijn?

Dat zou best wel eens kunnen.
Hebben waarschijnlijk de tekst door een vertaalmachine gegooid.

Dat lijkt me niet. Als deze storing om 16:00 was en jij maar tot 13:00 storing hebt gehad

Er is toch een tijdje geleden ook iets gepost dat dat knooppunt tegen zn MAX aan begon te lopen qua doorvoersnelheid? Dit zou dan komen doordat er nu ook veel video over de datalijnen gaat (Youtube en HD televisie)

Zou dit daar al een van de oorzaken van kunnen zijn? Aangezien het in 'korte tijd' al de 2e keer is.

Als er een switch uitklapt, zoals hier gebeurt schijnt te zijn, moet andere switches en routers een nieuwe route zien te vinden naar hun bestemming. Dat duurt even, waardoor een omschakeling naar bijvoorbeeld een backupnetwerk niet direct effect heeft (routing tabellen moeten worden bijgewerkt ed, en het protocol daarvoor heeft een 'configuratievertraging' zowel omdat het eventjes duurt om het juiste alternatief te vinden, maar ook om omgewenste effecten zoals route-flapping (continu omzetten van de routingtabellen tussen een werkende en een kapotte verbinding) ed te voorkomen).

Dit heeft niet te maken met bandbreedte ed.

Misschien een beetje offtopic maar op de yearly graph op de ams-ix zie je dat binnen een jaar het verkeer ongeveer verdubbeld is. Waarom is dit?

Dit komt voornamelijk doordat nederlanders steeds meer gebruik gaan maken van Internet ook worden veel connecties die naar andere landen gaan via het netwerk van AMS-ix geregeld. Het is namelijk één van de grootste internet knooppunten in de wereld volgens mij zelfs de grootste. Iedergeval als iemand vanuit duitsland naar amerika wil dan kan het dat die via amsterdam gaat.

Dit komt voornamelijk doordat nederlanders steeds meer gebruik gaan maken van Internet ook worden veel connecties die naar andere landen gaan via het netwerk van AMS-ix geregeld. Het is namelijk één van de grootste internet knooppunten in de wereld volgens mij zelfs de grootste. Iedergeval als iemand vanuit duitsland naar amerika wil dan kan het dat die via amsterdam gaat.

Nou niet alleen Nederlanders hoor... Voor zover ik weet en begrepen heb, voorziet de AMS-IX een kleine 80% van de West Europeanen toegang tot de websites gehost in onder andere de Verenigde Staten...

Volgens mij was daar ook nog niet zo lang geleden een nieuwspost over. AMS is idd het grootste knooppunt.

Video, newsgroups, torrents. Steeds meer leken ontdekken alle geneugten van het internet

Oei, das minder.. gelukkig zijn er altijd backup netwerken natuurlijk maar toch, zo'n storing mag niet voorkomen. Verder heb ik er zelf niets van gemerkt, en ik hoop maar dat ze snel de storing opsporen!

Ik dacht dat onderhand er nog niet echt bekend is gemaakt waarom het backupnetwerk het toen niet heeft getrokken.

[Reactie gewijzigd door Mizitras op 21 juni 2008 01:19]

Dan heb jij absoluut niet goed gelezen. De vorige keer schakelde om een nog onbekende reden het gewone netwerk om naar het backup netwerk. Op dat moment was men echter met onderhoud aan het backup netwerk bezig waardoor dat netwerk niet werkte zoals het zou moeten. Zie ook het artikel waar tweakers.net naar linkt in bovenstaand bericht: nieuws: Backupnetwerk Ams-ix had moeite met datastroom na storing

Dat was geen onbekende reden.. Dat was human-error.. Deze keer was het arp sponge die in de weg zat, hoogstwaarschijnlijk.

en dan de ams-ix nieuws pagina http://www.ams-ix.net/news/ ..... helemaal niets over deze storing, een pagina waar alleen het positieve nieuws gemeld wordt, jammer.

edit: de kopjes zijn ook allemaal roze, roze brilletje op daar??

[Reactie gewijzigd door bitflusher op 19 juni 2008 20:26]

Dat zijn persberichten. Storingen worden vaak niet via persberichten naar buiten gebracht.

Het valt mij ook op dat er opeens een drop was tijdens 16u, of bedoelt iedereen deze dip ?

Want je hebt twee keer een dip, eerst een dal in de grafiek bij 04.00 en 05.00, maar dan ook nog eens een downfall net voor 16.00...

Dat dal is 's nachts wanneer 90% van NL/EU ligt te slapen

Het gaat natuurlijk over die van 16u die tussen 4 en 5 is normaal en logisch aangezien er rond die tijd veel minder mensen op internet zitten dan later op de dag.

Ik merkte inderdaad dat bepaalde websites het niet meer deden, waaronder tweakers.net
Het dipje in de grafiek van Ams-ix is ook terug te vinden in de pageviewstatistieken van tweakers.net, maar dan in mindere mate.

Y-Less had laatst nog een filmpje over de Ams-ix op z'n tweakblog gezet.

@ ThePiratemaster: lache

[Reactie gewijzigd door Joep op 19 juni 2008 18:36]

Ik kon hier vanuit Noordwijk en ook vanaf thuis in Utrecht heel veel Nederlandse sites niet meer bereiken. Ik kon dus wel vanuit Noordwijk via RDP mijn pc in Utrecht overnemen, anders had ik de situatie thuis niet kunnen vaststellen . Google deed het bij mij nog wel en sites als tweakers.net, nu.nl, telegraaf.nl niet, zo kwam ik al snel tot de conclusie dat de storing net als vorige keer bij AmsIX moest zijn.

Bij ons begon de storing om 15:47. Ik was net klaar met het uploaden van een groot bestand naar onze eigen webserver, die -net als tweakers.net- bij true in colo staat. Ik doe onmiddelijk na zo'n upload altijd even een downloadtest en die mislukte (timeout, server unavailable). Mijn collega die het bestand nodig had kon dat gek genoeg om 15:54 wel gewoon downloaden (hij zat op dat moment in het Amsterdamse stadsdeel Geuzenveld/Slotermeer), terwijl ik toen nog helemaal geen beeld had.

Vind het wel een mooie en interessante grafiek, waar je zeer veel uit kunt afleiden.
Ik ben er door geïntrigeerd
Maar wat was nu de oorzaak? Doorgebrande schakel dus

Hoe komt het dat er meer output is dan input? Van waar komt die extra trafic?

[Reactie gewijzigd door g4wx3 op 19 juni 2008 18:54]

Er is niet meer output dan input. De output en input zijn nagenoeg gelijk, omdat we spreken over (simpel uitgedrukt) switches. Die zijn niet in staat om 'data op te slaan', maar alleen door te voeren. Wat je er aan de ene kant induwt, moet er dus aan de andere kant weer uitkomen

De blauwe output lijn geeft de grenswaarde aan. Als je de input ook als lijntje zou tekenen, zouden de lijnen over elkaar vallen. Daarom wordt het groene vlak gekleurd, dan is de grafiek wat gemakkelijker te interpreteren

Dat er meer output ligt eraan dat multicast en broadcast berichten meer bandbreedte innemen dan unicast berichten. (1 multicast pakketje in => veel multicast pakketjes uit)

Echter in de grafiek lijkt er iets meer output, maar in de cijfertjes eronder zie je dat er iets meer input is, toch?

Ik kreeg al op me donder op me werk.
Waarom doet internet het niet!!

En zonder de oorzaak te vinden, werkt het weer.

Heb dit artikel even naar de baas gemailt

Vandaar dat ik mn server in @ Transip slecht kon bereiken, alles ging traag als maar kon. Zelfs SSH (putty) ging erg traag..

Maar dat was even later inderdaad weer opgelost.