Storing Ams-ix mogelijk door 'ongewenst protocol' - update

De storing donderdag op de Ams-ix is mogelijk veroorzaakt door een ongeoorloofd routeringsprotocol van een nog onbekende partij. Het onderzoek naar de exacte oorzaak loopt echter nog.

Afgelopen donderdag kende het internetknooppunt een kortstondige storing waardoor een groot aantal websites tijdelijk onbereikbaar was. De problemen zijn in ieder geval te herleiden tot een 10Gbps-switch van Telecity. Het backup-systeem van de Ams-ix, dat geheel redundant is, wist echter de verbindingen weer te herstellen.

De beheerders van de Ams-ix vermoeden dat een ongeoorloofd netwerkprotocol de boosdoener is geweest, zo meldt Computable. Nieuwe deelnemers die een aansluiting willen op het internetknooppunt worden eerst in quarantaine geplaatst, waarna de gebruikte routeringsprotocollen worden geïnspecteerd. Bestaande partijen zijn echter lastiger te controleren. Waarschijnlijk heeft een al aangesloten partij bewust of onbewust niet toegelaten protocollen gebruikt, waardoor de routering in het honderd liep. Onduidelijk is echter welke partij dit geweest zou kunnen zijn. De beheerders van de Ams-ix willen pas definitieve conclusies trekken als het onderzoek is afgerond.

Update, maandag 23 juni, 9.15: De Ams-ix blijkt vrijdagochtend al aan zijn leden te hebben meegedeeld dat twee defecte 10GE-modules in een edge-switch de storing veroorzaakt hebben: "De twee modules zijn met succes vervangen en de switch is weer volledig operationeel. De modules gaan terug naar de leverancier voor nader onderzoek."

Reacties (62)

[Reinstein]

Thuis heb je maar 1 router, dus dan heb je dit soort problemen niet...

Als je zeg maar van de ene kant van het dorp naar de andere kant wilt, dan moet je via een aantal kruispunten. Elk kruispunt is een router. Wat die routers doen is elkaar vertellen welke kruispunten (routers) ze kunnen zien via een routing protecol. Zo weten de routers dan ze via via elkaar kunnen berijken, en kun jij van de ene kant naar de andere kant. De intelligente routing protecollen melden ook nog dingen over de type verbinding. O.a. bandbreedte/kosten/load net als met wegen een 70km rondweg is sneller als een 30km zone. Tenzij er file staat (load = erg hoog), dan kun je beter door de 30km zone.

Probleem is nu dat als er verkeerde informatie doorgegeven wordt alle routers dat gaan over nemen...stel dat een router vind dat de rondweg vol is...dan moet iedereen door de 30km zone...gevolg opstopping.

[Anoniem: 231832]

Thuis kun je dat probleem wel degelijk hebben. Denk aan een wifi -router of -kaart die d.m.v. mac-spoofing hetzelfde mac - adres heeft als die van jou. Geheid dat er dan vreemde dingen gebeuren. Ik spreek uit ervaring want ik heb dit experiment al een keer uitgevoerd. Het gevolg was toen dat de betreffende wifi router meteen uit de lucht ging en dat ook een tijd bleef. Een soort Big MAC-attack zeg maar.

Verder is het ook nog zo dat een aantal mensen thuis zowel een apart modem als een router gebruiken, wat ook tot zeer grote ergernis kan leiden als je niet heeeel goed weet waar je mee bezig bent. Dan ontstaat een situatie waar in sommige gevallen toch beter een netwerk beheerder met veel verstand van TCP-IP en hulp protocollen aan te pas kan komen.

Als je zelf TCP - IP wilt leren doorgronden kun je eens "Teach yourself TCP-IP in 24 hours" van SAMS lezen. Dat is een goed begin. Het boek is gratis online te lezen volgens mij.

Als je weinig verstand van netwerken hebt kun je het beste een zelf-configurerende routermodem kopen van bijvoorbeeld linksys, met een configuratie knop die automatisch encryptie e.d. instelt.

[Reactie gewijzigd door Anoniem: 231832 op 4 augustus 2024 08:35]

[Anoniem: 233094]

hunk, wist niet dat dit ging?
betekend dit dat indien iemand toegang heeft tot mijn lan, hij dus ook men router kan neergooien?

of slaag ik hier de bal totaal verkeerd?

[Nefiorim]

Dat kan op meerdere manieren... Enkele voorbeelden:
-PC handmatig tzelfde IP adres geven als je router
-PC instellen als DHCP server te functioneren (conflicteert met eventuele DHCP service van je router)

Zo lag de infrastructuur van 2 gebouwen op de UT vorig jaar in de zomer een dag plat omdat iemand een router ergens had ingeplugd waar 'ie dat beter niet had kunnen doen

[indy911]

Op de AMS-IX zal je echt wat meer moeten doen.

Routeringsprotocollen werken dynamisch. Dat betekent dat routers luisteren naar andere routers op het netwerk en zo een soort kaart van het netwerk opstellen. Natuurlijk is er een aantal mogelijkheden om er voor te zorgen dat alleen betrouwbare en juiste informatie wordt verwerkt. Een goed, solide ontworpen netwerk zal daar heel veel aandacht aan (moeten) besteden. Toch zijn er scenario's te bedenken waarbij verkeerde informatie het netwerk ingestuurd wordt, waardoor routers een verkeerd beeld van het netwerk krijgen. Het is goed mogelijk dat daardoor data de verkeerde kant op gaat en hele gedeeltes van het Internet onbereikbaar worden.

Bij een nieuwe aansluiting wordt natuurlijk alles tot op de bit gecontroleerd, bij een bestaande aansluiting zal het wat makkelijker mis kunnen gaan. Dat is waar het artikel op doelt.

Blijf erbij dat het slordig is, zowel aan de kant van de AMS-IX als de prutsers die het onderuit gehaald hebben. En bij "maar" 10 minuten downtime zou bij mijn werkgever het dak eraf gaan.

[Dennizz]

als je veel peers hebt op de ams-ix zou je een blackhole route kunnen distribueren. Het lijkt mij echter dat als dit het geval was dat de oorzaak reeds lang bekend was dmv log files op de routers van de peers. Ook zouden de peers een goed bgp filter moeten hebben op een ams-ix peer. Je ontvangt daar denk ik geen full internet routing tables, maar provider of klant specifieke subnetten waar je op kan filteren.

Ik heb helaas geen ervaring met routering op zulke knooppunten, maar vind het erg interessant om te horen wat hier precies is misgegaan.

[Pmf1971]

Jaartje of 10 terug was er op het demon netwerk een loop-route ontstaan geloof ik. heel veel IP verkeer kwam in een eindeloze lus terecht, en de hoeveelheid werd steeds meer. Ik had toen ISDN dial-up, en in de loop van een uur of zo zag ik de snelheid van 7 k/s naar 0,5 k/s vallen

[Odie]

Als er een loop ontstaat heb je _helemaal_ geen verkeer meer. Overigens heeft Ip een ingebouwd mechanisme wat voorkomt dat het verkeer eindeloos in de loop blijft rondzingen, na een korte periode gaat het verkeer vanzelf in de bittenbak.

Maar 10 jaar geleden draaide het netwerk van Demon op nogal ehh arcane techniek en ditto zelfgeschreven routeringsprotocollen (BURP, anyone?).

[Anoniem: 254433]

Nou, van wat ik op de UT geleerd heb is dat preventiemechanisme niet perfect.

Aangenomen dat je doelt op het Dijkstra Algoritme.

Maar dat is een beetje offtopic: de vraag is hier vooral of het expres was of niet (lijkt me).

[CyBeR]

Nee, hij doelt op de Time To Live field.

[JeroenB]

de vraag is hier vooral of het expres was of niet (lijkt me).

Expres lijkt me zeer onwaarschijnlijk. Wie hier ook de oorzaak van is, er komt wel boven water wie het was. En om dan zulke risico's (afsluiting, schadevergoeding, etc.) te nemen voor onduidelijke redenen... Lijkt me niet.

[Reactie gewijzigd door JeroenB op 4 augustus 2024 08:35]

[sirdupre]

Nou, van wat ik op de UT geleerd heb is dat preventiemechanisme niet perfect. Aangenomen dat je doelt op het Dijkstra Algoritme.
Volgens mij heeft dat niks te maken met het preventiemechanisme: Dijkstra's Algoritme bepaalt de kortste route tussen een punt en alle andere punten in een graaf te vinden en werkt daarvoor wel perfect, mits je edge-weights niet negatief kunnen zijn. Nu lijkt het me in het geval van netwerkverkeer erg knap als je negatieve edge weights krijgt, want dan is je data aan het tijdreizen .

Het lastige aan routing over internet is natuurlijk dat de topologie van het netwerk permanent verandert (het kan zijn dat er ergens een verbinding uitvalt, of de hoeveelheid verkeer over een bepaalde verbinding heel groot wordt en een omweg dus ineens sneller zal gaan). Daar komt nog eens bij dat een router eigenlijk vooral de informatie heeft van zijn eigen locatie in het netwerk en de verbindingen met zijn buren en van de rest van het netwerk niets weet. Om toch een zo goed mogelijk beeld te krijgen van de topologie van het netwerk, wisselen routers daarom met elkaar hun eigen routing tabellen uit en voor deze communicatie heb je dus de routeringsprobtocollen waar het in dit stuk over gaat.

Ik kan me trouwens voorstellen dat zo'n Time To Live field bij een loop als gevolg heeft dat veel pakketjes opnieuw gestuurd gaan worden en dat je door al die retries toch een stijging in je hoeveelheid netwerkverkeer krijgt. Maar goed, ik ben ook geen echte specialist op dit gebied...

[Anoniem: 233094]

dus, als het ip van mijn router hetzelfde maak als mijn huidige gateway (van belgacom) heb ik kans dat ik deze belgacom router neergooi en hiermee dus verschillende personen in mijn straat/wijk mee neertrek?

[Anoniem: 168548]

Voor zover ik weet niet. Je neemt immers het IP adres over van je eigen modem. Hiermee heb je dus alleen jezelf te pakken.

[geerttttt]

Nee, omdat jouw internet ip vast staat. Daar kun je niet zelf zomaar iets voor verzinnen.

Evt als je bedoelt dat je je internet deelt met een (deel van een) straat en samen een router hebt. Ja, dan kun je het ip aannemen van je router en dan gaat dat waarschijnlijk op zn bek.

[Rixard]

dus, als het ip van mijn router hetzelfde maak als mijn huidige gateway (van belgacom) heb ik kans dat ik deze belgacom router neergooi en hiermee dus verschillende personen in mijn straat/wijk mee neertrek?

Bij @Home was dit (in het begin) wel mogelijk. Wanneer ik een vast ip instelde van iemand anders (bijvoorbeeld mijn buurman), dan kon die persoon niet meer op internet komen. Ik weet niet hoe dat nu is, maar dat was in het begin wel zo.

Ik had destijds een script gemaakt die uitzocht welke ip-adresen online waren op een bepaald moment. Na enkele uren/dagen draaide ik dit script weer. Door de uitkomsten te vergelijken kon ik verschillende ip-adressen gebruiken van mensen waarvan de pc uit stond.

[Rey Nemaattori]

hunk, wist niet dat dit ging?
betekend dit dat indien iemand toegang heeft tot mijn lan, hij dus ook men router kan neergooien?

of slaag ik hier de bal totaal verkeerd?

In principe wel, hoewel 't wat meer voeten in de aarde heeft dan alleen binnen dringen. Zo'n IX is wel wat gecompliceerder dan je thuisrouter, dus er kan gewoon veelm eer verkeerd gaan. Als mensen hun protocollen verkeerd instellen en daarmee andere protocollen van de lijndrukken of juist verkeerde routering doorgeven waardoor 't ergens intern vastloopt(dat ding bestaat uit honderden routers die ook onderling naar elkaar data toespelen)..en dan heb je ook nog dubbele adressen, verkeerde poorten en ogd mag weten wat nog meer

[Reactie gewijzigd door Rey Nemaattori op 4 augustus 2024 08:35]

[needless to say]

Dit kan op 1001 manieren .

Manueel IP instellen, MAC-spoofen, IP-spoofen, ARP-spoofen, DHCP-server opstellen met lager MAC-adres, DOS-attack op router, etc...

Het leukste is natuurlijk wel root-acces verkrijgen op een deftige router. Dan kun je zelf rechtstreeks een trace op de router zelf doen.

[Anoniem: 93798]

Zoals al eerder gezegd, dat kan ja

Ik vond het een handige manier om het verkeer waar ik op kot was te regelen
In plaats van dat de mede-studenten een IP kregen van de router van het kot, kregen ze een IP van mijn router Het was dan ook snel gedaan met al die leechers die de lijn plat trokken

[IceStorm]

Waarschijnlijk heeft een al aangesloten partij bewust of onbewust niet toegelaten protocollen gebruikt

Bewust kan ik me bijna niet voorstellen. Behalve aantonen dat je de boel kunt verneuken zie ik niet zo veel redenen namelijk
Onbewust kan natuurlijk 'altijd' gebeuren, het is toch enigszins complexe materie. Ik ga er van uit dat het onderzoek wel wat oplevert en waarschijnlijk een forse tik op de vingers wordt voor 1 van de leden. En afhankelijk van wat de exacte oorzaak is geweest lijken me (technische) maatregelen ook wel op zijn plaats.

[sandr]

ik denk wel heel wat mee dan alleen een forse tik op de vingers, als het bewust is gedaan komt er denk ik toch wel een flinke boete aan.

[Pjerry]

Die boete zal er sowieso wel komen als de de dader kunnen achterhalen. Bewust of onbewust.
Er zijn een hoop kosten gemaakt (foutherstel, backup opzetten, onderzoek uitvoeren) en er is schade gelden.... Met een beetje pech gaan ook nog alle partijen die eruit hebben gelegen (hoe kort ook) een schadeclaim indienen.

Ik denk dat de veroorzaker niet gelukkig gaat worden.

[IceStorm]

AMS-IX is een vereniging waarbij de aangesloten leden ook meteen de AMS-IX als geheel vormen. Leden tekenen voor een Quality Statement waarin staat dat ze zich netjes aan de regels zullen houden maar ook meteen aangeven dat ze elkaar bij problemen niet met boetes mogen bestoken.
Vandaar dat ik verwacht dat het gewoon bij een 'tik' blijft.

Met wat bijspijkeringevingen uit het originele artikel ;)

[peak]

Mensen,
De routertjes die jullie thuis hebben kunnen dit niet veroorzaken. Dus als jij thuis wat zit te kloten met je router dan heeft dat alleen voor invloed op jouw thuis netwerk.

een routing protocol is de manier waarop routers onderling met elkaar communiceren. Vaak zijn dit de routes naar bepaalde delen van het internet toe.

voorbeeld:
router 1 weet waar het netwerk 192.168.1.0 zit maar router 2 weet dat niet.
door een routing protocol kunnen ze elkaar vertellen hoe ze er kunnen komen.
En de routers die zij gebruiken zijn een stuk duuuuuuhuuurder en groter en geadvanceerder

[needless to say]

Je hebt ook specifieke routeringsprotocollen die op zoek gaan naar de kortste weg voor een pakket (en niet enkel de mogelijke routes vertelt). Een verkeerd ingestelde router kan hier weldegelijk roet in het eten gooien.

[Anoniem: 149075]

Je bedoelt BGP

[Anoniem: 265486]

Wie weet, was dit een testje van een kwaadwillende partij?
Wanneer een belangrijk knooppunt als de Ams-ix op zo'n ogenschijnljk simpele manier lamgelegd kan worden, dan lijkt er niet veel nodig te zijn om het hele internet plat te krijgen.

[Zontar]

Dat denk ik niet. Een kwaadwillende partij zou mijns inziens zo hard mogelijk vanuit het niets willen toeslaan, om de meeste schade aan te kunnen richten.

Door eerst zo'n test uit te voeren waardoor alle alarmbellen gaan rinkelen op de Ams-ix en bepaalde protocollen verscherpt of beter nageleefd worden, gooit zo'n kwaadwillende partij zijn eigen glazen in. De gebruikte methode zal namelijk bij een tweede poging mogelijk helemaal niet meer werken/eerder gedecteerd worden/minder kunnen veroorzaken.

[Reactie gewijzigd door Zontar op 4 augustus 2024 08:35]

[IceStorm]

Hoho, niet overdrijven. Het leverde een korte storing op die volledig opgevangen is door de achterliggende techniek die daar ook voor bedoeld is. En zelfs als de AMS-IX compleet plat ligt heb je bij lange na nog niet bereikt dat 'het internet' ook plat ligt. natuurlijk.
Ik zeg niet dat dit fraai is maar ik heb niet het idee dat we meteen de schuilkelders op moeten gaan zoeken. Sowieso, eerst maar eens het onderzoek afwachten, voor hetzelfde geld heeft een schoonmaker zijn emmer sop omgestoten op een minder handige plek.

[ls470]

Ik denk wel dat, als je de mogelijkheid hebt om AMS-IX plat te leggen, de kans groot is dat je dat ook met de andere belangrijke knooppunten van internet kunt doen. Als alle grote knooppunten gelijktijdig aangevallen worden wordt de kans al vrij groot dat 'het internet' platgaat (of toch onbruikbaar veel packet loss geeft als er nog ergens een 64kbit lijntje wel nog up is maar dat al het youtube verkeer daar door wordt gestuurd)

[ep667]

Een IX is nog geen knooppunt, bij een IX is inderdaad alles aan elkaar gekoppeld en die is dus plat te leggen maar zelfs als je alle internet exchanges op de wereld tegelijk plat legt is het internet nog niet 'dood'.

Ander belangrijk onderdeel van internetknooppunten is namelijk dat er heel veel verbindingen los van zo'n IX zijn, private peers buiten een IX om door providers en natuurlijk de verbindingen met de transitproviders om verkeer dat niet via de IX kan langs te routeren.

Je zal internet dus wel een klap toebrengen, want alles zal inderdaad langzaam gaan (niet op 64kbps hoor) omdat dan alles via transit moet maar down zal het niet gaan. Overigens was de AMS-IX ook niet lang down, zonder menselijke ingrepen was die weer zo up zoals je hebt kunnen lezen.Dus heel veel eer behaal je er ook niet aan.

[AMDFreak]

Ahhh, dat verklaard al die telefoontjes
maarja, dit soort dingen kunnen nou eenmaal gebeuren

[corl]

Sorry? maar dit soort dingen mag niet zomaar (kunnen) gebeuren! Ik heb er geen verstand van maar een derde partij met een fout protocolletje dat het halve nederlands internet verkeer lam legt zou echt niet mogelijk moeten zijn.
En redundante systemen die pas na ruim 20 minuten werken noem ik niet redundant.

[Marcks]

Het gebeurt ook niet 'zomaar'. Ik heb liever dat de AMS-IX eens in de drie jaar tien minuten plat ligt, dan dat elk pakketje zorgvuldig geïnspecteerd wordt, waardoor mijn internet stukken trager wordt - we spreken over honderden gigabits per seconde - en het systeem nog steeds niet waterdicht is.

Dat het back-upsysteem nogal laat op gang kwam, lijkt me ook niet heel onredelijk. Juist bij zo'n belangrijk knooppunt is het van belang om eerst eens te kijken met wat voor probleem je te maken hebt. Er is niet iets als een grote, rode knop waar een label 'fix the internet' onder hangt; het is niet ondenkbaar dat alle redundante systemen ook niet zouden werken zodra je ze inschakelt; dan ben je nog veel verder van huis.

[Reactie gewijzigd door Marcks op 4 augustus 2024 08:35]

[bitflusher]

het was TNO die tijdens een onderzoek vaar kwetsbaarheid van nederlands internet een veld test hield http://www.netkwesties.nl/editie57/artikel3.html (via nieuws: 'Kans op uitval internet in Nederland gering'

[fevenhuis]

Hehe, één of ander TNO onderzoek ergens in 2003 is denk niet zo relevant, inmiddels weten we ook al een stuk meer over de vermeende ICT kennis (OV-kaart) van TNO.
En de aarbevingen in Azië lijken ook niet zoveel met dit voorval te maken te hebben.

[Antwan46]

Vermoed dat het een soort hackvorm is geweest, die willen en wetens iets uitgeprobeerd heeft.

[mabarto]

Dat moet dan wel de provider zijn geweest die eerst ADSL aanbood en nu usenet-only is

[Reactie gewijzigd door mabarto op 4 augustus 2024 08:35]

[LanTao]

Teleurstellend dat de redactie geen contact opneemt met de besproken partij voor tot publicatie wordt overgegaan. Het Computable-artikel verscheen zeker twaalf uur nadat AMS-IX de oorzaak van de storing had gevonden en aan haar leden had gemeld. Dit had niets van doen met ongewenste protocollen, overigens.