Cookies op Tweakers

Tweakers is onderdeel van DPG Media en maakt gebruik van cookies, JavaScript en vergelijkbare technologie om je onder andere een optimale gebruikerservaring te bieden. Ook kan Tweakers hierdoor het gedrag van bezoekers vastleggen en analyseren. Door gebruik te maken van deze website, of door op 'Cookies accepteren' te klikken, geef je toestemming voor het gebruik van cookies. Wil je meer informatie over cookies en hoe ze worden gebruikt? Bekijk dan ons cookiebeleid.

Meer informatie

Facebook: verkeerd commando en audit-tool-bug veroorzaakte de grote storing

De urenlange storing bij Facebook en zijn diensten werd veroorzaakt door een verkeerd commando tijdens routine-onderhoud. Het commando haalde onverhoopt het hele backbone-netwerk offline, wat een volgend probleem met het border gateway-protocol veroorzaakte.

Het betreffende commando dat bij het reguliere onderhoud werd gegeven zou de "wereldwijde beschikbaarheid van de backbone" in kaart hebben moeten brengen, zo legt Facebook in een blogpost uit. In plaats daarvan werd onbedoeld het hele backbone-netwerk offline gehaald, waardoor Facebooks datacenters als het ware volledig ontkoppeld werden van het internet. "Onze systemen zijn ontworpen om dit soort foutieve commando's tegen te houden om zo fouten als deze tegen te gaan, maar door een bug in de audit-tool gebeurde dat niet."

Daaropvolgend ontstond er een tweede fout, in dat geval bij kleinere datacenters waar DNS-verzoeken verwerkt worden. "Om te zorgen dat die betrouwbaar werken, trekken [de betreffende datacenters] BGP-advertisements in als ze niet kunnen communiceren met onze datacenters." Die BGP-advertisements zorgen ervoor dat andere netwerken de Facebook-diensten kunnen vinden op het internet. Vanwege het offline geraken van het backbone-netwerk waren de DNS-servers niet bereikbaar en werden de BGP-advertisements geweigerd. "Het eindresultaat was dat onze DNS-servers onbereikbaar werden, ook al deden ze het nog wel."

Uiteindelijk kon de kettingreactie van technische problemen niet op tijd opgelost worden omdat werknemers fysiek bij de servers moesten komen. Vanwege fysieke- en systeemtechnische beveiligingsmaatregelen bij Facebooks datacenters is dit extra moeilijk; op deze manier wordt misbruik voorkomen. Ook het aanpassen van de routers, servers en andere systemen is om diezelfde reden extra moeilijk gemaakt, wat voor langere debugtijden zorgde.

Na de wereldwijde storing van Facebook en zijn diensten werd veel gespeculeerd over de mogelijke onderliggende redenen. Kort daarna kwam het sociale medium met een relatief beknopte verklaring over wat er de avond ervoor gebeurd was. Tweakers publiceerde dinsdagavond een achtergrondartikel over de storing en de rol van het BGP-protocol, waarbij dieper op de onderliggende techniek ingegaan wordt.

Update, 22.00: In het oorspronkelijke artikel werd 'border gateway-protocol' meermaals foutief afgekort als 'BPG'. Dat is gecorrigeerd. Met dank aan mario963 en markvw.

Wat vind je van dit artikel?

Geef je mening in het Geachte Redactie-forum.

Door Yannick Spinner

Nieuwsposter

05-10-2021 • 21:33

167 Linkedin

Reacties (167)

Wijzig sortering
Als jullie dan toch fouten blijven corrigeren: BGP-protocol is dubbelop, maar goed.

Ontopic: blijkbaar waren er dus 3 dingen nodig die niet goed waren ingesteld om dit voor elkaar te krijgen: fucked up commando, audit tools die door een fout niet goed controleerden en de DC's die adverts introkken. Man man man, dat verzin je toch niet.

Over schuld: als FB een echte tech company is, gaat niemand hier de schuld van krijgen maar doen ze wat ze prediken: fail fast and fail hard. Ik ben benieuwd.
Dat laatste is juist de bedoeling, als je het oorspronkelijke bericht van FB leest ligt het wat genuanceerder.

Verder neem ik aan dat er vooraf bepaald wordt wat er uitgevoerd gaat worden en dat niet iemand een beetje gaat lopen klooien in een systeem. Dit gebeurt allemaal redelijk automatisch bij FB incl audit tool
Ik snap dat dat de bedoeling is, daarom vermeld ik het ook. Ze zouden dus nooit iemand aan moeten spreken als ze hun motto naleven.

Dat automatische gebeurt natuurlijk pas na een beslissing om een change goed te keuren...maar inderdaad. Maar zoals je aan geeft, de automatische controle faalde door een fout in die audit tools.
Heb ook moeten denken aan de persoon die dit overkomen is dat je je op een afgrijselijke manier vergallopeerd met nu wel hele verstrekkende gevolgen. Bijna de hele wereld doet iets met whatsapp, facebook of instagram. Is me ook wel overkomen een hele nare misser (wie niet?), en het beste is dan dat maar zo snel mogelijk te melden met het schaamrood op de kaken. Maar denk ook, shit happens.

Verder zou ik er niet te veel achter zoeken, los wat van facebook is.

[Reactie gewijzigd door wimdebok op 6 oktober 2021 08:49]

Op het werk kloegen vandaag enkele collega's over het uitvallen van Facebook en Instagram gisteren zoveel dat het toen pas duidelijk voor me werd hoe ziek sommige mensen zijn. Een van hen is zelfs vroeger gaan slapen omdat ze niets anders kon doen. Een andere is zoveel met haar uiterlijk bezig dat je je toch vragen gaat stellen over hun mentale gezondheid. Dat constant "perfect" moeten overkomen voor de rest van de wereld, wie constante drang om te tonen wat je hebt, etc.

Ik denk dat sommige mensen dringend naar de dokter moeten. Wat mij betreft was de wereld gisteren 5 uur vrij van de grootste epidemie die de mensheid ooit heeft geraakt. Ik heb al 7 jaar geleden Facebook verlaten omdat ik het over het algemeen een artificiële wereld vind. Ik vind het letterlijk fake. En ja er zijn voorbeelden waar Facebook wel een geweldige rol heeft gespeeld zoals mensen met elkaar verbinden die elkaar al jaren niet meer hebben gesproken en/of gezien. Maar wat mij betreft heeft Facebook z'n potentieel niet vervuld. Ze hebben de wereld slechter gemaakt i.p.v. beter.

[Reactie gewijzigd door diskopogo op 5 oktober 2021 21:44]

Op het werk kloegen vandaag enkele collega's over het uitvallen van Facebook en Instagram gisteren zoveel dat het toen pas duidelijk voor me werd hoe ziek sommige mensen zijn.
First World Problems ten voete uit.
En ja er zijn voorbeelden waar Facebook wel een geweldige rol heeft gespeeld zoals mensen met elkaar verbinden die elkaar al jaren niet meer hebben gesproken en/of gezien.
Nou... daar heeft Facebook mij nog nooit mee geholpen. Jaren terug wel eens een oude klasgenoot tegen het lijf gelopen die de magische worden sprak "ik voeg je vanavond toe op Facebook, dat is wel zo handig voor de uitnodiging van de reünie". De uitnodiging van de reünie kwam via de post, de uitnodiging op Facebook is er nooit geweest. Het is sowieso een feel good verhaal, mensen terugvinden op Facebook. Gebeurd echt alleen als beide partijen elkaar toevallig op dat moment zoeken. Ik heb echt wel een handje vol oude klas/studiegenoten niet geaccepteerd op Facebook (en LinkedIn) omdat ik bewust niet wilde dat ze een kijkje in mijn privé leven hadden.
Achja, en anderen zijn zo bezig met sport, games, series, breien of welke andere 'hobby'. Wie ben jij om te bepalen wat wel een 'gezonde' hobby is?
Het is toch mooi dat ik iets leer van deze post... kloegen! Ik had er nog nooit van gehoord :) https://taaladvies.net/klagen-kloeg-of-klaagde/
Hmmm. Je post je ergernissen op een publiek forum, let niet op taalfouten en reageert op reacties op jouw bericht. Hoe is dit anders dan Facebook?
Dat is dan waarschijnlijk de meest dure typo ooit.

Vermorgen van Zuckerberg met 6 miljard gekrompen, en daarnaast vast nog een hoop andere kosten en misgelopen opbrengsten.
Weet nou niet zo wat dat zegt. Die koers trekt wel weer bij, stelletje paniekvoetballers. Het is ook niet alsof hij (of het bedrijf) er echt armer op geworden is.
Dat denk ik ook. Google had dit jaar met ChromeOS een gelijkaardig iets, veroorzaakt door een typfout, waardoor je niet meer kon inloggen op ChromeOS. Maar het is niet alsof Google daardoor veel geld verloren is (qua waarde dan).
En lekker goed de headlines over die whistleblower op de achtergrond geduwd. Wat een toeval.
Ja ik denk het wel, het offline gaan van Facebook en Instagram heeft waarschijnlijk meer aan misgelopen advertentiekosten gekost dan wat PR problemen waar Facebook al jarenlang mee kampt.
Nou, de koers zit sinds begin vorige maand in een neergaande trend als ik het zo zie. De vraag is of het een tijdelijke dip in de opgaande lijn is of dat er sprake is van een kentering.

[Reactie gewijzigd door Odie op 5 oktober 2021 23:07]

Daaropvolgend ontstond er een tweede fout, in dat geval bij kleinere datacenters waar DNS-verzoeken verwerkt worden. "Om te zorgen dat die betrouwbaar werken, trekken [de betreffende datacenters] BPG-advertisements in als ze niet kunnen communiceren met onze datacenters." Die BPG-advertisements zorgen ervoor dat andere netwerken de Facebook-diensten kunnen vinden op het internet. Vanwege het offline geraken van het backbone-netwerk waren de DNS-servers niet bereikbaar en werden de BPG-advertisements geweigerd. "Het eindresultaat was dat onze DNS-servers onbereikbaar werden, ook al deden ze het nog wel."
BPG moet zijn BGP neem ik aan.

[Reactie gewijzigd door markvw op 5 oktober 2021 21:43]

Het staat in ieder geval wel structureel verkeerd. :)
Wel toevallig op het moment dat in de media genoemde Klokkenluider komt met de beschuldiging dat Facebook algorithmes aan laat staan waardoor mensen een fellere discussie laat voeren, mensen vaker laat terugkomen en dit zelfs uit te lokken door gerelateerde content te laten zien en te promoten op persoonlijk niveau en hier bewust van is.

Dit aan laten staan is volgens mij wel een van de tekenen van o.a. Stephan Hawking ons voor gewaarschuwd heeft. Dit soort media en instanties hebben onbewust, soms voor zichzelf een behoorlijke impact op de algehele samenleving.
Zwaar kl*te voor de netwerkbeheerder die de commando's heeft ingetikt. De aandelen van Facebook zakten toen vrij snel met een paar miljard dollar en met het standaard spelletje in Amerika om iedereen voor alles voor de rechter te slepen zou je leven zomaar 'klaar' kunnen zijn voordat het nog echt is begonnen.

[Reactie gewijzigd door TescoRay op 6 oktober 2021 00:25]

Facebook wil dit zou gauw mogelijk vergeten, dus dan is een rechtzaak niet in hun belang. Voor je het weet komen er aandeelhouders die dan moelijke vragen gaan stellen en zelf rechtzaken gaan beginnen - "is het wanbeleid van Facebook dat dit door 1 persoon veroorzaakt kon worden?"

Nee, dan is de logica van Facebooks huidige statement beter te begrijpen. "Onvoorzienbare samenloop van omstandigheden, die zeldzaam genoeg is dat het binnen het normale risico-profiel van een bedrijf valt". Aandeelhouders kunnen niet over alles klangen.
Buy the dip zeggen ze dan toch? ;-)
Ik ben niet voldaan als ik dit lees.
Wat was nou die bug? Wsl zullen we het nooit weten, maar dat is toch echt wat een IT professional wil weten.
De rest gaat om onbelangrijkere zaken: leuk dat ze een tool hebben om te meten hoe de backbone er uit ziet, dat ze toegang tot hun datacentras goed op orde lijken te hebben zitten.
Maar niets verklaart nou wat dit veroorzaakte, welk detail in de software?
Welke regel code? Waar is een developer de mist in gegaan?
Verkeerd commanda en audit tool-bug? Wie geloofd dat?
Ze hebben een compleet nieuw audit systeem geïmplementeerd, alleen hiervoor moest het Facebook systeem compleet plat om dit zonder feel opzien Facebook wereldwijd breed uit te rollen.

Facebook is namelijk momenteel aan het zinspelen via congress om congressionele actie te ondernemen voor nog meer censuur, waarbij men zich al voorbereid heeft op een uitspraak hierover. Dit doordat de lobby hiervoor bij congresleden reeds geslaagd was.
Zie bijvoorbeeld ook hoe Rosmann van Right-to-Repair hier achter kwam dat je eerst moet lobbyen bij congresleden via het inhuren van lobbyisten, want dat is waar de ware strijd word gestreden en niet bij het publieke toneelstuk achteraf.

Ik zou dus even de ogen open houden als ik nieuwslezend Nederland was, en kijken of er zoals ik dus beaam ook nog andere beweegredenen kunnen zijn. ;)
Haha, ik had niet eens door dat ze uit de lucht waren. (is zeker ook weer niet goed, ben ik wel van deze wereld?)

Op dit item kan niet meer gereageerd worden.


Nintendo Switch (OLED model) Apple iPhone 13 LG G1 Google Pixel 6 Call of Duty: Vanguard Samsung Galaxy S21 5G Apple iPad Pro (2021) 11" Wi-Fi, 8GB ram Nintendo Switch Lite

Tweakers vormt samen met Hardware Info, AutoTrack, Gaspedaal.nl, Nationale Vacaturebank, Intermediair en Independer DPG Online Services B.V.
Alle rechten voorbehouden © 1998 - 2021 Hosting door True