Verizon ontregelde deel van het internet door verkeerde routering van verkeer

Verizon ontregelde maandagochtend een deel van het wereldwijde internet, doordat het Amerikaanse bedrijf verkeer routeerde naar de netwerken van een internetprovider en metaalbedrijf in de staat Pennsylvania. Deze netwerken konden dit verkeer echter niet aan.

De internetproblemen begonnen volgens Cloudflare bij een internetprovider in de Amerikaanse staat Pennsylvania, DQE Communications. Dit bedrijf gebruikte een bgp optimizer van Noction, waarmee netwerkverkeer dankzij omleidingen kan worden geoptimaliseerd. Deze optimizer speelde de routering door naar een klant van DQE, een metaalbedrijf in dezelfde staat. DQE Communications gaf de routeringsinformatie vervolgens ook automatisch door aan zijn transitprovider Verizon, die de 'optimale route' vervolgens aan het internet aankondigde. Het gevolg was dat Verizon, Allegheny en DQE een grotere hoeveelheid verkeer te verwerken kregen dan ze aankonden.

Cloudflare had door het incident naar eigen zeggen vijftien procent minder wereldwijd internetverkeer dan normaal. Volgens BGPmon.net gingen 20.000 prefixes voor 2400 netwerken via het netwerk van het metaalbedrijf en gingen Facebook en Amazon door de storing offline. Discord had ook last van de storing.

Uiteindelijk werden de routeringsproblemen opgelost omdat Cloudflare contact opnam met DQE Communications. DQE zorgde er daarna voor dat de 'snelle routes' niet meer via het netwerk van het staalbedrijf naar andere netwerkproviders werden gecommuniceerd.

Cloudflare wijst in zijn blogbericht met de beschuldigende vinger naar Verizon en zegt dat er meerdere manieren zijn om zulke routeringsfouten met betrekking tot netwerkverkeer te stoppen. Zo kunnen bgp-sessies een maximum aan prefixes krijgen, waardoor zo'n sessie wordt gestaakt als dat maximum is bereikt. IRR-based filtering had volgens Cloudflare ook kunnen werken, dit werkt op basis van een database waarin prefix-lijsten staan. Volgens Cloudflare maakt Verizon geen gebruik van filtering, terwijl dit juist het routeringsprobleem had kunnen voorkomen.

In het blogbericht schrijft Cloudflare gebruik te maken van een rpki-framework, dat er onder meer voor zorgt dat prefixes die specifieker zijn dan een door Cloudflare aangegeven grootte, niet worden geaccepteerd. Cloudflare roept Verizon dan ook op om gebruik te maken van dit framework, zodat een dergelijke storing niet meer voor hoeft te komen.

Cloudflare nam contact op met Verizon, maar zegt nog geen reactie over het voorval te hebben ontvangen. Tegen The Register zegt Verizon dat er een 'sporadische onderbreking' was, maar dat het bedrijf deze verstoring inmiddels heeft verholpen.

Reacties (28)

[BHQ]

"In het blogbericht schrijft Cloudflare gebruik te maken van een rpki-framework, dat er onder meer voor zorgt dat er niet meer dan twintig prefixes worden gerouteerd per bgp-sessie."

Ehm, dat is niet wat er staat.

"The prefixes Cloudflare announces are signed for a maximum size of 20. RPKI then indicates any more-specific prefix should not be accepted, no matter what the path is."

Dat impliceert dat prefixes vanuit Cloudflare een /20 zijn, en dat een meer specifieke prefix (bijvoorbeeld een /21) niet geaccepteerd mag worden als route, zelfs niet vanuit Cloudflare zelf.

Dit heeft niets te maken met 'twintig prefixes per BGP-sessie'.

[Hayte]

Ah ja dat ging niet helemaal goed inderdaad. Bedankt voor het opmerken, is aangepast

[Yariva]

Je heb helemaal gelijk. Maar ik vind het verhaal dat Tweakers ervan maakt toch leuker

[xares]

-knip- foutje

[Reactie gewijzigd door xares op 23 juli 2024 04:58]

[bbob]

Als je dit leest moet je toch tot de conclusie komen hoe fragiel het hele internet is. Het kan bijna als een kaartenhuis in elkaar vallen, cq wereldwijd veel problemen geven als er een klein foutje ver weg gemaakt wordt.

Stel nu eens voor als er een echte gecoördineerde aanval komt. Hoe groot is de kans dat het hele internet plat gaat.

[Niet Henk]

BGP is een protocol wat opereert op basis van vertrouwen. Als ISP vertrouw je andere ISPs met betrekking tot wat zij via BGP aangeven, en als klant vertrouw je je ISP.

Als een provider ineens vreemde dingen op BGP gaat doen, kan dat het wereldwijde internet enigzins platleggen. Maar het is wel duidelijk voor alle andere ISPs waar de fouten vandaan komen (en vaak de occasionele tweaker, je ziet best eens dat iemand voordat het publiek is een storing naar BGP bij een specifieke provider herleid heeft), en ze kunnen dan die specifieke ISP uit hun netwerk gooien. Dat houdt dan wel in dat er geen internet meer via die ISP loopt, hun klanten hebben dan geen internet, en als ze knooppunten in beheer hebben werken deze ook niet meer.

Internet is in opzet vrij modulair, wat je ook bijvoorbeeld in landen als Noord-Korea en China ziet. Je kan vrij veel blokkeren zonder dat dit direct een probleem vormt. Maar de ISPs die je niet blokkeert, die moet je wel vertrouwen.

[blorf]

Voordeel is dat het niks anders is dan een boel software die de protocollen verzorgt. Tot op het metaal kan in theorie alles overboord en decentraal opnieuw opgebouwd worden.
In een scenario waarin het hele internet, dus ook alle providers down gaat maar de bedrading wel blijft bestaan zou ik als eerste kijken of we iets met de buurtkast en de buurt kunnen. Als dat een netwerk kan worden kunnen we zoeken naar een andere buurt die wil meedoen, en misschien eens kijken of we zelf van die kasten kunnen regelen. Het zal een jaar of 20 duren maar uiteindelijk zou het ideale internet ontstaan.

[Reactie gewijzigd door blorf op 23 juli 2024 04:58]

[Yezpahr]

Je hebt zojuist het plot van een toekomstige blockbuster movie gevormd!
Ik koop alvast een kaartje

Het klinkt ook nog realistisch in de oren, want Kabel werkt ook echt op die manier. ADSL is misschien nog het minst te recyclen in dat scenario want dat heeft het hart en hersens bij de ISP liggen, ipv het buurtkastje.

[blorf]

Dat wordt dan een maffia van levensgevaarlijke elektronica-hobbyisten. Die krijgen Den Haag nog op de knieen. Anders zorgen ze ervoor dat niemand daar nog iets van opvangt.

[bbob]

Wat ik aangeef is nu is het een fout, wat als dit opzettelijk gedaan zou worden bij meerdere providers tegelijk.

Lees nu al bij deze provider facebook, amazon problemen.Vertrouwen is goed, maar lijkt me toch dat controle ook nodig is.

[Niet Henk]

Als je vele grote providers hackt, kan je al hun internetverkeer platleggen, natuurlijk. En omdat websites meer dan eens gebruik maken van diensten van anderen bij andere providers, zal dat zeker een impact hebben.

Het hacken van een provider zou echter een erg lastige taak moeten zijn, en we hebben nog niet één bevestigde grootschalige hack van de netwerkinfrastructuur of BGP servers van een ISP gehad, zover ik weet. Het gaat tot nu toe enkel om technische fouten. Dus als er vele tegelijk gehackt zouden zijn, dan is er wel iets eigenaardigs aan de hand.

Hacks via BGP hebben het nadeel dat ze in de regel erg transparant zijn. Ja, ze verstoren erg, maar het is meteen out in the open.

In het kader van een oorlog o.i.d. is het slopen van knooppunten en onderzeese kabels mogelijk nog makkelijker, we hebben wel incidenten gehad waarbij er grote problemen door een opzettelijk vernietigde kabel waren. En de locaties van zulke kabels zijn semi-publiek.

[mjz2cool]

Het is alleen makkelijk te herleiden, ik denk niet dat hackers er op zitten te wachten dat de hele wereld naar ze wijst.

[ajolla]

En zodra ze gekke dingen beginnen te doen blokkeer je ze. No harm done.

[Yariva]

Het probleem met een "gecoördineerde aanval" is dat het hele internet, alle peerings en alle AS's doorhebben wat er gebeurd. Dus ja je kan het hele internet er belachelijk hard mee onderuit trekken. Maar wil je dat wel, want 2 uur later wijzen alle vingers naar de schuldige toe.

Net zoals Cloudflare hier het probleem heeft opgelost. Het probleem zat niet bij een van de directe BGP peering partners van CF. Echter kunnen zij door de globale internet routeringen wel kijken wat er veranderd is, waar de routes nu op staan etc. Sterker nog middels BGP looking glasses kan iedereen dit bij meerdere partijen die een full table hebben.

[DaTuX]

goed artikel erover : https://tweakers.net/revi...net-de-jaren-tachtig.html

[veltnet]

Wat is "het hele internet"?

[Nas T]

Volgens wikipedia:

Het internet is een wereldwijd openbaar netwerk van computernetwerken, waarvan de afspraken worden beschreven in de Request for Comments die worden beheerd door de Internet Engineering Task Force.

En dan (dus) het hele netwerk.

[Keypunchie]

Als een Zwitserse partij het doet dan gaan meteen de aluhoedjes op: nieuws: Zwitsers bedrijf routeerde KPN- en ander Europees verkeer via China T...

Omdat toevallig China Telecom betrokken is. Gaan we nu ook meteen de CIA verdenken van een 'aanval'?

Het BGP-systeem heeft updates nodig, maar dat is een kwestie van lange adem. Ook IPv6 zal helpen met routering, maar ook die transitie zal morgen niet compleet zijn (if ever).

@Sissors
Ik heb geen zin om ze op te zoeken, maar die 3 posters gaat het in ieder geval over. Fijn dat ze op -1 zijn geëindigd, want nee dat is juist het hele punt. Dat was toen net zomin de Chinese geheime dienst als dit de CIA is.

Maar dat ik dat laatste vind had je met een minimale hoeveelheid begrijpend lezen kunnen doorhebben.

[Reactie gewijzigd door Keypunchie op 23 juli 2024 04:58]

[Sissors]

Welke posts zijn dat dan precies? Als ik zo snel in dat topic kijk vind ik 2 of 3 posters die zich afvragen of het bewust is geweest van China, en die staan allemaal op -1. Daarnaast ook nog iemand die de standaard "Ja maar de VS is evil" post moet doen (en ook op -1 staat).

En jouw posts is vergelijkbaar met die laatste. Zo goed als niemand verdacht toen China, maar blijkbaar moeten we nu ineens wel de CIA gaan verdenken?

[ajolla]

Ja, dit was natuurlijk een poging om, naast het FedEx postverkeer, ook het Chinese internetverkeer door de USA te leiden, door een telefoonmodempje nog wel...

[TheCaptain]

Ook al gaan we met zijn alleen filtering toepassen. Dan moeten we het wel allemaal gaan doen of anders gaat dit op grote delen alsnog stuk.

Als de echt grote transits en perring partijen dit toepassen zal de impact een stuk kleiner zijn. Hoe afhankelijk we zijn van een partij zoals cloudflare. Bizar de impact die je dan weer ziet.

Ook met dit ga je telkens weer kijken, hoeveel wil je als partij afhankelijk zijn van externe diensten. Hoe meer we digitaliseren en we dingen uit handen geven hoe groter dat risico van uitval. Tuurlijk een risk assessment is natuurlijk hierbij alles.

Op de grafiek van de AMS-IX zag je een mooi dipje.
https://stats.ams-ix.net/...=totalall;interval=weekly

[Reactie gewijzigd door TheCaptain op 23 juli 2024 04:58]

[xmenno]

Prachtig product dat Noction, volgens mij was dat ook wat weken geleden pinproblemen veroorzaakte?
nieuws: Storing bij provider leidt tot landelijke pinproblemen in Nederland -...

[xares]

Het verbaast mij dat een grote partij zoals Verizon (TIER 1?) geen filtering heeft op een BGP sessie met een klant.

RPKI invalid = reject en goede filtering zou helpen. RPKI gaat nog wel even duren voordat dit overal is uitgerold. Dit zou wel enorm helpen tegen dit soort "foutjes".

Noction wordt ook afgebrand op internet. Maar als de filters in orde waren geweest aan de kant van Verizon en DQE Communications was dit nooit gebeurd. Verder zou ik zelf Noction ook niet gebruiken in een netwerk.

[CAPSLOCK2000]

Cloudflare heeft gelijk, het is schandalig dat een partij als Verizon geen RPKI gebruikt. We zijn al jaren bezig met heel internet dicht te spijkeren maar Verizon blijft op de jaren 80 manier werken. Ik moet er wel bij zeggen dat ze bepaald niet de enige zijn die dat doen en dat er ook wel redenen zijn waarom het lastig te veranderen is, maar ik vind dat het nu wel lang genoeg geduurd heeft. Er zijn genoeg grote partijen die wel met RPKI werken dat een club als Verizon het ook zou moeten kunnen.

Ik vraag me af of er nog iemand gaat proberen om schadevergoeding te krijgen van Verizon. Dit soort geintjes kosten miljoenen. Verizon heeft het weliswaar niet met opzet gedaan, maar ze zijn wel nalatig geweest in het beveiligen van hun netwerk. Wie vergeet om de handrem op z'n auto te zetten krijgt ook de rekening als de auto berg af rolt.

[ajolla]

Ja, boetes zouden een mooie incentive zijn om de put te dempen voordat het kalf verdrinkt.

[Zapato]

Zou dit verband kunnen hebben met de KPN/112-storing?

[Yariva]

Nee. Hoogstwaarschijnlijk niet.

[ajolla]

Maar misschien dus ook wel.