Google-diensten waren tijdelijk niet bereikbaar door bgp-fout

Verkeer van onder andere de zoekdienst van Google, G Suite en Google Cloud-diensten is maandag omgeleid via onder andere China, waardoor de diensten tijdelijk niet bereikbaar waren. Waarschijnlijk lag de oorzaak bij een foute instelling bij een Nigeriaanse provider.

In totaal werden 212 reeksen van ip-adressen van Google, aangeduid met prefixes, omgeleid, meldt BGPMon.net, dat een lijst publiceert. Hierdoor waren diverse Google-diensten niet bereikbaar. Het kostte Google bijna twee uur voordat het probleem verholpen was. Ook verkeer van Cloudflare-prefixes werd verkeerd gerouteerd, aldus BGPMon.net.

ThousandEyes, een bedrijf voor netwerkanalyse, komt na een analyse tot de conclusie dat de oorzaak bij de Nigeriaanse provider MainOne lag. Die provider heeft peeringconnecties met China Telecom en met Google. De systemen van MainOne verklaarden ten onrechte dat de betreffende 212 ip-adressen van Google via zijn ip-netwerk, oftewel AS37282, te bereiken waren. Het AS4809-netwerk van China Telecom accepteerde die route, evenals het AS20485-netwerk van het Russische bedrijf Transtelecom.

Niet alleen waren Googles diensten daardoor kort niet bereikbaar, maar ook liep het verkeer van het bedrijf daardoor via providers in landen met een lange geschiedenis van internetsurveillance, aldus ThousandEyes. Niet bekend is of het om een onbewust foutieve configuratie of om kwaad opzet gaat; tegenover Ars Technica laten zowel Google als Cloudflare weten ervan uit te gaan dat de fout per ongeluk gemaakt is.

Het lek via het border gateway protocol, het routeringsprotocol dat het verkeer tussen providers regelt, volgt op claims over een bgp-kaping door China Telecom, dat volgens de berichten met opzet internetverkeer van onder andere Amerikanen via zijn netwerken liet lopen. Oracle bevestigde dat het verkeer gemanipuleerd werd, maar het is onduidelijk wat de achterliggende reden hiervan is.

Reacties (39)

[oef!]

Uit het gelinkte artikel:

Cloudflare:
If there was something nefarious afoot there would have been a lot more direct, and potentially less disruptive/detectable, ways to reroute traffic. This was a big, ugly screw up. Intentional route leaks we’ve seen to do things like steal cryptocurrency are typically far more targeted.

Google:
The Google representative said officials suspect the leak was accidental and not a malicious hijack. The representative also said all affected traffic was encrypted, a measure that limited the harm that could result from malicious hijackings.

Het artikel:
Readers are reminded that the border gateway protocol that routes Internet traffic from autonomous system to autonomous system around the globe is as fragile as it is intricate. While its foundation of trust was never designed to withstand the hostile actors that so often populate today’s Internet, the intricacies of BGP are enough to make major blunders a fact of life. While it’s too early to declare this routing mishap an accident, indications at this point aren’t supporting the suspicions this was a deliberate hijacking.

En dan speelden er nog een paar zaken. Als het al expres was zullen we er nooit achterkomen.

[Rudie_V]

Het AS4809-netwerk van China Telecom accepteerde die route, evenals het AS20485-netwerk van het Russische bedrijf Transtelecom.

Verkeer dat per ongeluk wordt gerouteerd via china of rusland door een fout in nigeria

[bbob]

Tja je gaat denken dat de Nigeriaanse oplichters met dollars en andere verhaaltjes high tech ontdekt hebben en 2 uur google aan china en Rusland kunnen verkopen.

[the_stickie]

Sja, het gaat om een globaal netwerk, met complexe interacties tussen de componenten.
Het gaat om een foute configuratie, maar ook, en vooral, het accepteren ervan. Maw beide kanten tonen de (of het gebrek aan) professionaliteit van de betrokken bedrijven.

[theduke1989]

Ik blokkeer ook op mijn server de 212 IP-addressen vanuit China. Hebben niks te zoeken op mijn website(shop) maar merkte inderdaad dat mijn Analytics en AdWords het niet meer deden.

[fantafriday]

Vond het al bijzonder dat de titel bij https://www.nu.nl/interne...and-en-china-storing.html stelt dat Google het zelf deed.

[RGAT]

Nu heeft sowieso niet echt kwaliteit in de berichten
Hun eigen bron in dat artikel haalt hun verhaal al onderuit.

[relinquir]

De eerste 3 reacties onder een nu.nl artikel zijn doorgaans correcties op het artikel.

[Tadream]

Typfout in de ip prefix list, kan gebeuren.
Het heeft alleen zulke grote consequenties.

[Vexxon]

maar ook liep het verkeer van het bedrijf daardoor via providers in landen met een lange geschiedenis van internetsurveillance

In dat rijtje past Google ook dus er is eigenlijk geen verschil

[Banath]

BGP route leaks zijn op dit moment dé manier om ongestoord internetverkeer af te luisteren. China telecom is een chinees staatsbedrijf met sterke connecties met de chinese inlichtingendiensten. Naast het spioneren van de eigen bevolking is de staat china sterk geïnteresseerd in wat er verder via google wordt gecommuniceerd, immers google is verboden in china dus ze moeten ergens inprikken om data uit google te halen. Gezien de belangen die china heeft in nigeria (spoorwegen en andere infra voor olie!!!) is het niet verwonderlijk dat ze daarbij grote invloed hebben over het internet aldaar. En gezien de armoede zullen veen nigerianen alles doen voor chinees geld.

[PegOpDeWeg]

staat toch ook in het stuk "Oracle bevestigde dat het verkeer gemanipuleerd werd, maar het is onduidelijk wat de achterliggende reden hiervan is." De rede lijkt mij vrij duidelijk lijkt mij.

[robvanwijk]

"Oracle [..] onduidelijk wat de achterliggende reden hiervan is."

Okee, dus Oracle zegt dat het onduidelijk is.

De rede lijkt mij vrij duidelijk lijkt mij.

Oh maar wacht, jij zegt dat het wel duidelijk is.

Dan moet ik dus één van jullie twee geloven. Een groot bedrijf dat weet waar ze het over hebben, of iemand die letterlijk probeert om "het is onduidelijk" te gebruiken als onderbouwing voor "het is wel duidelijk"... Je zult begrijpen dat ik voorlopig even meer vertrouwen heb in Oracle (totdat / tenzij je alsnog met een hele goede onderbouwing komt).

[Rudie_V]

Grote amerikaanse bedrijven die stellen dat bgp routeringsfouten, waardoor internetverkeer toevallig naar china of nu ook rusland wordt gerouteerd, elke keer menselijke fouten zijn. Het kunnen natuurlijk inderdaad menselijke fouten zijn, maar gezien de globale ontwikkelingen tussen landen als amerika, china en rusland en hun onderlinge cyberwarfare, gaat mijn onderbuikbullshitradar toch voorzichtig af. In verband met nationale veiligheid kan het ook best zijn dat deze bedrijven opgedragen zijn mooi weer te spelen.

[robvanwijk]

In verband met nationale veiligheid kan het ook best zijn dat deze bedrijven opgedragen zijn mooi weer te spelen.

Hoezo dat dan? De Amerikaanse inlichtingendiensten grijpen elke kans die ze hebben aan om Rusland en China (en Noord-Korea, maar dat is hier niet van toepassing) overal van te beschuldigen wat ze maar kunnen bedenken. Zelfs in situaties waarin het nog maar heel erg de vraag is of die beschuldigingen wel ergens op gebaseerd zijn (behalve dan "nou ja, je weet het nooit zeker... dus gebruik voor de veiligheid toch maar liever Amerikaans spul"). Denk bijvoorbeeld aan Kaspersky en Huawei. Waarom zouden ze dan een prachtige kans om China lekker zwart te maken niet alleen laten schieten, maar zelfs hun bedrijven opdracht geven om het te ontkennen? Ook zie ik totaal niet in hoe de Amerikaanse nationale veiligheid hier iets mee te maken heeft?

[Rudie_V]

Om een lopend onderzoek naar deze praktijken niet te dwarsbomen? Als je direct met een beschuldigende vinger naar deze landen wijst heb je de kans dat ze ophouden met waarmee ze bezig zijn en dan kan je het niet verder onderzoeken. Zolang men zich van de domme houdt, in de media dan, heb je meer kans dat de landen door blijven gaan met waarmee ze bezig zijn. Gezien deze 'routeringsproblemen' natuurlijk niet onopgemerkt blijven, ook door storingen in de dienstverlening van getroffen bedrijven, moeten deze bedrijven natuurlijk wel met een verklaring naar buiten komen.

Helaas leven we in een wereld waar je niets meer voor zoete koek aan kan nemen, zeker niet gezien wat er allemaal op internet gebeurd achter de schermen tussen deze betreffende landen met hun gehack, spionage en cyberwarfare.

Wat de waarheid is weet ik niet, misschien ben ik wat wantrouwend, maar ik weet wel dat naiviteit in het geloven van overheden ook niet meer van deze tijd is, zeker niet op dit vlak.

[robvanwijk]

Om een lopend onderzoek naar deze praktijken niet te dwarsbomen? Als je direct met een beschuldigende vinger naar deze landen wijst heb je de kans dat ze ophouden met waarmee ze bezig zijn en dan kan je het niet verder onderzoeken. Zolang men zich van de domme houdt, in de media dan, heb je meer kans dat de landen door blijven gaan met waarmee ze bezig zijn.

Maar je wilt juist dat ze ophouden, dus dat zou alleen maar meer reden zijn om aan de bel te trekken.

Al betwijfel ik of het zo werkt; als er opzet is, dan weten ze van tevoren dat "de andere kant" erachter gaat komen (hoe wou je dit verborgen houden?) en de boel gaat onderzoeken (zelfs als ze dat in het openbaar niet toegeven). Als jij en ik weten dat de NSA (en co) dit tot in detail gaan uitpluizen, zelfs al is het maar voor de zekerheid, is het dan realistisch om aan te nemen dat de Chinese overheid dat niet zelf kan bedenken totdat het in de krant komt?

Wat de waarheid is weet ik niet, misschien ben ik wat wantrouwend, maar ik weet wel dat naiviteit in het geloven van overheden ook niet meer van deze tijd is, zeker niet op dit vlak.

Ik ga voorlopig even uit van never attribute to malice that which is adequately explained by stupidity.

[Rudie_V]

Wie zegt dat ze willen dat ze ophouden? Voor het onderzoek is het juist van belang dat ze niet ophouden, anders kan je het niet meer onderzoeken. Door het verkeer dan maar bewust door chinese of russische providers te laten verlopen kan je misschien nog onderzoek wat er mis gaat, denk ik zo dan maar even.

Als je zegt dat deze routeringsproblemen bewust worden veroorzaak zal de tegenpartij voorzichtiger te werk gaan, misschien zelfs stoppen. Als je doet alsof het een menselijk fout was dan kan je de tegenpartij misschien nog een beetje voor de gek houden in de hoop dat ze doorgaan .

Ik snap de uitspraak van hanlon, maar hoe weet je of dit echte domheid is of vooropgezette domheid?

Weet je, we zullen het nooit weten en we kunnen eindeloos blijven discussieren, maar we verschillen gewoon van mening denk ik dan maar . Maar zoals ik al eerder zei gezien de globale ontwikkelingen tussen amerika, china en rusland ga ik er eigenlijk niet meer blind vanuit dat iets als dit echte domheid is, maar blijf ik wantrouwend.

https://en.wikipedia.org/...E2%80%93Nigeria_relations

Bilateral trade reached US$3 billion in 2006 – up from $384 million in 1998.[3][6] During Chinese President Hu Jintao's visit in 2006, China secured four oil drilling licenses and agreed to invest $4 billion in oil and infrastructure development projects in Nigeria,[5] and both nations agreed to a four-point plan to improve bilateral relations – a key component of which was to expand trade and investments in agriculture, telecommunications, energy and infrastructure development.

[robvanwijk]

Wie zegt dat ze willen dat ze ophouden?

Ik neem toch even aan dat in elk geval het uiteindelijke doel is dat ze ophouden...!?

Voor het onderzoek is het juist van belang dat ze niet ophouden, anders kan je het niet meer onderzoeken.

Jouw redenatie lijkt ongeveer als volgt te zijn. "We hebben een probleem, dat willen we uiteindelijk oplossen. Ja okee, we kunnen tegen de dader zeggen dat we het doorhebben en dan houdt ie meteen op. Maar wacht even, wat nou als we doen alsof we dom zijn? Dan gaat ie lekker door (met alle schadelijke gevolgen van dien) en kunnen we tot in detail uitpluizen wat ie precies doet. En als we dat helemaal uitgewerkt hebben, dan kunnen we zorgen dat ie stop!" Nee sorry, die logica zie ik niet. (Nog los van het feit dat ik er niets van geloof dat de Chinezen denken dat niemand het door heeft totdat een geheime dienst in de krant komt uitleggen dat ze het onderzoeken... da's niet bepaald hoe geheime diensten meestal werken.)

Ik snap de uitspraak van hanlon, maar hoe weet je of dit echte domheid is of vooropgezette domheid?

Met absolute, onomstotelijke zekerheid? Door een machine te bouwen die iemands gedachten kan lezen en de technicus die de fout heeft gemaakt daarin te zetten. Ja, ik maak een aanname... net zoals jij dat ook doet.

https://en.wikipedia.org/...E2%80%93Nigeria_relations

Ehm ja, dus? Het is nogal een sprong van "twee landen hebben goede economische relaties" naar "hun geheime diensten spelen dusdanig onder één hoedje dat bedrijven in het ene land taken uitvoeren voor het andere land".

[Reactie gewijzigd door robvanwijk op 27 juli 2024 16:48]

[Rudie_V]

Tuurlijk is het uiteindelijke doel dat ze ophouden, maar je begript toch wel dat zodra het is opgehouden dat je het ook niet meer kan onderzoeken?

Jouw redenatie lijkt ongeveer als volgt te zijn. "We hebben een probleem, dat willen we uiteindelijk oplossen. Ja okee, we kunnen tegen de dader zeggen dat we het doorhebben en dan houdt ie meteen op. Maar wacht even, wat nou als we doen alsof we dom zijn? Dan gaat ie lekker door (met alle schadelijke gevolgen van dien) en kunnen we tot in detail uitpluizen wat ie precies doet. En als we dat helemaal uitgewerkt hebben, dan kunnen we zorgen dat ie stop!" Nee sorry, die logica zie ik niet.

Dan is dat jouw probleem beperking als je dat niet kan snappen. Het is een taktiek die veel gebruikt wordt om meer informatie te vergaren.
Hetzelfde gebeurd bijvoorbeeld met malware ten behoeve van spionage, als je het gedetecteerd heb kan je het wel gelijk verwijderen, maar als je het gecontroleerd z'n gang laat gaan kan je veel meer informatie te weten komen. Dit lijkt mij niet zo heel lastig om te begrijpen of de logica er vanin te zien, maar dat ben ik dan .

[robvanwijk]

als je het gecontroleerd z'n gang laat gaan

... in een afgeschermde omgeving! Maar wat hier gebeurt is het probleem (malware, bgp-hacking, whatever) in het wild lekker door laten gaan. Als er bij een bedrijf of overheidsinstantie malware wordt gevonden, dan kan ik me prima voorstellen dat je die in een virtual machine wilt analyseren. Maar wat jij voorstelt is om niet in te grijpen, lekker achterover te leunen en het ding alle echte machines binnen de organisatie te laten infecteren zodat je het kunt bestuderen. Dat lijkt me een heel slecht plan, zeker als het alternatief is om in de media te roepen "hey, we zien wat er aan de hand is" en je daarmee de aanvaller zo hard kunt laten schrikken dat ie zijn aanval meteen stopt en zich de komende tijd mooi koest houdt.

[Rudie_V]

Je snapt dus nog steeds niet wat ik eigenlijk bedoel. Probeer mijn reacties nog eens zonder je vooringenomenheid te lezen en probeer te snappen wat ik nou precies zeg. Gewoon simpel, niet direct de vinger wijzen naar de schuldige, maar doen alsof je neus bloed en het gewoon een menselijke fout was, terwijl je wellicht wel beter weten dat het weldegelijk een vooropgezette bewuste acties was. Dit alles om dit soort acties in de toekomst niet af te schrikken om uit te kunnen zoeken waar ze precies mee bezig zijn. Die malware vergelijking was puur een vergelijking, maar jij gaat het weer precies 1 op 1 spiegelen, zoals ik al zei, je snap niet wat ik zeg, je maakt er gelijk een heel groot verhaal van en denkt er vanalles bij wat ik niet eens bedoel.
Voor iemand met een internet badge achter z'n naam had ik wel verwacht dat je mijn simpele zienswijze, ongeacht of ik gelijk heb of niet, wel zou snappen, maar je maakt van een mug een olifant en blaast de boel helemaal op, terwijl ik gewoon iets simpels zegt. Of ik nou gelijk heb of niet, of dat jij gelijk heb is niet het punt, het gaat puur om mijn zienswijze dat men wellicht doet alsof dit een menselijke fout was puur om de mogelijke verantwoordelijken met een mogelijke bewuste acties niet af te schrikken. Maarja, dat wil je maar niet snappen en ga erg moeilijk doen over iets wat het niet is.

[robvanwijk]

Je snapt dus nog steeds niet wat ik eigenlijk bedoel.

Ik snap prima wat je bedoelt, maar denk dat het uitermate onwaarschijnlijk is dat je gelijk hebt en probeer uit te leggen waarom ik dat denk.

Of ik nou gelijk heb of niet, of dat jij gelijk heb is niet het punt

Hoezo is dat niet het punt? Wil je graag je theorie uitleggen, zonder stil te staan bij de vraag of die theorie ook maar enige kans heeft om correct te zijn...!?

Zonder in het hoofd te kijken van degene die de fout gemaakt heeft, kunnen we niet met zekerheid zeggen of het een blunder was of juist opzet, maar wat is het nut van het bespreken van extreem onwaarschijnlijke scenario's waar geen enkele onderbouwing voor is (en zonder uit te mogen leggen waarom ze zo onwaarschijnlijk zijn)?

[Yggdrasil]

Het gaat hier over twee verschillende BGP issues.

[robvanwijk]

Het gaat hier over twee verschillende BGP issues.

In het artikel: ja. In de post waarop ik reageerde: nee, daar gaat het alleen over het tweede punt.

[jesse!]

"Dan moet ik dus één van jullie twee geloven. Een groot bedrijf dat weet waar ze het over hebben, of iemand die letterlijk probeert om "het is onduidelijk" te gebruiken als onderbouwing voor "het is wel duidelijk""

Een groot bedrijf dat niet alles openbaar kan maken
vs
Een Tweaker die zegt dat het HEM (persoonlijk) vrij duidelijk lijkt.

Ik zie wel degelijk een groot verschil.

[Verwijderd]

Op zich hoeft hetgeen een groot bedrijf via de communicatie-afdeling naar buiten brengt niet per definitie gelijk te zijn aan de waarheid, en is het dus best mogelijk dat Jaenster en PegOpDeWeg dichter bij de waarheid zitten dan de waarheid die Oracle publiek verkondigt.

edit: naamcorrectie.

[Reactie gewijzigd door Verwijderd op 27 juli 2024 16:48]

[LOTG]

Dat was een andere (erg recente) BGP issue. Het is wel een beetje verdacht dat het 2x in korte tijd gebeurt.

[Verwijderd]

BGP route-leaks gebeuren al zo lang als BGP bestaat. 25-30 Jaar dus. Leaks gebeuren iedere dag. Alleen als een bedrijf als Google onbereikbaar wordt, dat krjgt het wat meer aandacht in de media.

Niks te zien. Gewoon allemaal doorlopen.

[Verwijderd]

De reden staat ook gewoon in dat artikel: MainOne wil dat verkeer voor Google via IXP loopt en niet China Telecom. Dus maakten ze daar een eigen route voor aan.

Tot dusver allemaal prima en normaal. Waar het fout gaat is dat ze die route vervolgens adverteren via BGP. Zodra je dat doet krijg je het probleem wat we nu zien.

Ik zie er niet per se opzet in. Erg dom is het wel.

[kuurtjes]

Ondertussen is het gewoon een spelletje geworden

Maar denk er wel aan dat er veel verschillende mogelijkheden zijn, mocht dit geen vergissing zijn.

De leukste zijn natuurlijk:
- Chinese surveilance aanval
- False flag tegenover China Telecom

[Verwijderd]

Het is geen vergissing maar vermoedelijk wel een onopzettelijke fout. MainOne heeft (volgens het artikel) peering overeenkomsten met IXP en China Telecom. Om te voorkomen dat verkeer naar Google via China Telecom loopt (en mogelijk ergens vast komt te zitten in de Chinese vuurmuur) hebben ze intern eigen routes aangemaakt die forceren dat verkeer voor Google via IXP loopt.

Het lijkt erop dat deze routes, bedoeld voor intern gebruik binnen MainOne en haar klanten, per ongeluk zijn gelekt (via BGP aangekondigt) waarna China Telecom deze aankondiging (automatisch) heeft overgenomen. Zodra dat gebeurt is het hek van de dam en zal China Telecom aan alle peers (en dat zijn er wereldwijd nogal wat) verkondingen dat zij de routes naar Google verzorgen.

[CCJJVV]

Als je je aannamens nou eens beargumenteerd in plaats van luk raak naar wat te roepen zal een hoop minnetjes schelen.

[mkools24]

Zeggen dat het wel gedownmod zal worden in de hoop dat het daardoor niet gedownmod wordt

Oracle bevestigde dat het verkeer gemanipuleerd werd, staat gewoon in het bericht dus je hoeft al niet meer te speculeren.

[heuveltje]

gebaseerd op welke informatie behalve jouw onderbuik ?