Facebook: downtime kwam door configuratiefout backbonerouters

De urenlange downtime waar Facebook en zijn diensten maandagavond mee te maken had, kwam door een wijziging bij de backbonerouters voor zijn datacenters. Er waren al aanwijzingen dat de oorzaak bij een BGP-update van Facebook lag.

Details over de configuratiewijzigingen die tot de grootschalige problemen leidden geeft Facebook niet. Wel meldt het bedrijf dat de verstoring resulteerde in een sneeuwbaleffect waardoor de diensten van het bedrijf onbereikbaar werden. "De onderliggende oorzaak van de uitval had ook impact op veel interne tools en systemen die we in ons dagelijks werk gebruiken, waardoor het moeilijk was om snel het probleem te constateren en te verhelpen", meldt het bedrijf. Facebook biedt zijn verontschuldigingen aan gebruikers aan.

De melding bevestigt berichten die al snel na de downtime van maandag online verschenen, onder andere van een Reddit-gebruiker met de naam Ramenporn die werkzaam zou zijn bij het team dat de verstoring onderzocht. In berichten die inmiddels zijn verwijderd, beweerde hij dat de oorzaak lag bij configuratiewijzigingen met betrekking tot BGP-peering.

Die zou maken dat de Facebook-netwerken niet meer bereikbaar waren via de routingtables en de beheerders dus niet meer op afstand de routers konden benaderen om het probleem te fixen. Systeembeheerders moesten daarom fysiek bij de routers komen om wijzigingen door te voeren, maar die zouden niet de juiste kennis daarvoor hebben, waarbij het gebrek aan communicatie de kennisoverdracht zou bemoeilijken. Volgens een redacteur van de New York Times zou een extra obstakel zijn dat medewerkers de datacenters niet konden betreden omdat hun badges niet meer werkten.

Facebook past BGP op zijn eigen wijze op grote schaal toe in de netwerken van zijn datacenters, zo omschreven technici van het bedrijf eerder in een paper met de titel Running BGP in Data Centers at Scale. De Facebook-technici stellen hierdoor onder andere 'snelle incrementele updates' door te kunnen voeren.

Cloudflare legt in een analyse uit dat Facebook voorafgaand aan de problemen inderdaad BGP-updates bij zijn netwerken doorvoerde. BGP staat voor Border Gateway Protocol en is het protocol dat de netwerkcommunicatie tussen netwerken van Autonomous Systems regelt. Via BGP adverteren netwerken zich met prefixes op internet, zodat deze bereikbaar zijn met routingtables. Door de update bij zijn backbonerouters stopte Facebook met zich aankondigen, waardoor netwerken wereldwijd niet meer reageerden op DNS-queries met betrekking tot Facebook en zijn diensten. Dit leidde op zijn beurt tot verdere problemen omdat clients wereldwijd de nameservers van Facebook bleven benaderen, met een stortvloed aan DNS-verkeer tot gevolg, waardoor DNS-resolvers overbelast konden raken. Ook nam het verkeer naar andere diensten toe, zoals Twitter. De uitval duurde uiteindelijk zo'n zes uur.

Beschikbaarheid van DNS-naam Facebook.com op Cloudflares resolver

Reacties (346)

[Zeebaard]

Blijkbaar was impact van deze storing zo bijzonder dat er op Wikipedia zelfs een pagina over is gemaakt.

[ikt]

Op zich ook wel een beetje belachelijk dat zoveel mensen en diensten er zó afhankelijk van zijn geworden dat het op veel nieuwswebsites gewoon voorpaginanieuws was.

[Archcry]

nu.nl heeft er zelfs een liveblog aan gewaagd. Persoonlijk ben ik van mening dat de wereld gisteren even een paar uurtjes een betere plek was maar ik kan mij voorstellen dat anderen daar heel anders over dachten. Ik denk dat de nieuwswebsites hier qua traffic mooi van geprofiteerd hebben en dat is natuurlijk ook de reden waarom ze erover schrijven. Advertentie-inkomsten door meer kliks is helaas de drijvende kracht achter nieuwswebsites tegenwoordig i.p.v. kwalitatief goed nieuws.

[Reactie gewijzigd door Archcry op 22 juli 2024 14:20]

[ZinloosGeweldig]

Persoonlijk ben ik van mening dat de wereld gisteren even een paar uurtjes een betere plek was

Heb je werkelijk verschil gemerkt?

[Archcry]

De wereld kan een betere plek zijn zonder dat ik het merk

[Sp3ci3s8472]

Ik heb er eigenlijk niks van gemerkt, maar ik heb zelf ook geen Facebook en die paar keer dat ik whatsapp per dag check is nu niet speciaal.
Telegram werkt gister gewoon prima .

[Blizz]

Telegram was de hele dag door periodes langzaam en lag ook gewoon compleet plat op verschillende momenten, dus die ervaring deel ik niet met je.

[Rouwette]

Ik merkte het pas toen ik het op het nieuws zag laat in de avond

[nero355]

Persoonlijk ben ik van mening dat de wereld gisteren even een paar uurtjes een betere plek was maar ik kan mij voorstellen dat anderen daar heel anders over dachten.

Advertentie-inkomsten door meer kliks is helaas de drijvende kracht achter nieuwswebsites tegenwoordig i.p.v. kwalitatief goed nieuws.

Mwahahaha!!! Helemaal mee eens!

[Anoniem: 501293]

Ik zeg het al een hele tijd, maar eigenlijk is het triest gesteld met de wereld dat Facebook voorpagina nieuws haalt

Oprechte nieuwsgierigheid eigenlijk. Waar zijn bedrijven eigenlijk van afhankelijk als het om Facebook gaat?

[eric.1]

Wat ik me zomaar kan bedenken;

- Business pagina's op FB, wordt door kleinere ondernemingen nog wel eens gebruikt als hoofdzakelijke website, inclusief "helpdesk" via Messenger.
- Whatsapp for Business, soms de enige communicatielijn met een helpdesk
- Instagram, stukje marketing
- ads
- FB-login API

[blazez]

Ik heb wel eens ergens een artikel gelezen over het gebruik van whatsapp. Waar (hier) de meeste mensen whatsapp gebruiken voor heen en weer berichtjes tussen vrienden en kennissen bijvoorbeeld zijn er andere werelddelen waar het veel intensiever gebruikt wordt.
Uit mijn hoofd bijvoorbeeld ergens in zuid Amerika waar het gebruikt wordt in de geestelijke gezondheidszorg. Waarbij mensen echt een afhankelijkheid hebben voor crisis tijden om te communiceren met hun hulpverleners.
En dat dat daar heel gangbaar en gebruikelijk is. Wellicht omdat het laagdrempelige toegang heeft (qua apparatuur en inrichting) zonder dat je zoals hier allemaal eigen beveiligde communicatie platformen hoeft op te zetten.

Als het platform er dan uit ligt, dan hebben heel veel mensen echt een serieus groot probleem. Dat gaat dus een stuk serieuzer en verder dan alleen maar even een berichtje naar vrienden toe.

En nee, dan ga ik niet verder de discussie openen of dat je voor zoiets wel of niet what’s moet gebruiken. Alleen dat dat in dat artikel zo al een geheel normaal en geaccepteerd platform is daar.

[Creesch]

Waar zijn bedrijven eigenlijk van afhankelijk als het om Facebook gaat?

Er zijn enorm veel bedrijven die met klanten communiceren via social media platforms zoals facebook. Vaak via twitter maar ook heel vaak via facebook. Het ligt een beetje in het verlengde van een algemene trend van cloud diensten e.d., het is (zeker voor kleine bedrijven) makkelijker om te communiceren via een platform waar je verder geen omkijken naar hebt dan via een website (een statische website is vele malen makkelijker in onderhoud dan eentje waarmee je ook interactie hebt met klanten).

Naast facebook als platform heb je ook nog Whatsapp waar veel bedrijven ook van gebruik maken als communicatiemiddel , whatsapp voor business is dan ook een product.

Dus hoewel heel veel bedrijven er niet direct afhankelijk van zullen zijn is het zeker iets wat een significante rol speelt (helaas).

[perpetualrabbit]

Facebook login, wat iemand anders ook al schreef. Veel mensen gebruiken google, facebook, openID en andere externe authenticatie diensten waardoor je niet bij elke webdienst een apart wachtwoord nodig hebt. Dus FB plat betekent dat die mensen ineens niet meer bij allerlei diensten kunnen. Ik weet trouwens niet of FB authenticatie er ook uit lag.

[Hobbit13]

Ik weet trouwens niet of FB authenticatie er ook uit lag.

Yep, dat werkte ook niet meer.

[berndvv]

Ik las op Reddit van een fotograaf die veel aanvragen voor opdrachten via Facebook binnenhaalt.

[Zeebaard]

Zouden we over 9 maanden een geboortegolf kunnen verwachten?

[Anoniem: 501293]

Zouden we over 9 maanden een geboortegolf kunnen verwachten?

deze

[Ventrigo]

Is er een peak geweest op Tinder ?

[sleegemi]

Is er een peak geweest op Tinder ?

Nee, Tinder lag er op een gegeven moment óók uit

[david-v]

Dat krijg je als miljarden mensen FB, whatsapp én instagram gebruiken. Als google niet bereikbaar zou zijn gedurende 6 uur zou je ook iets vergelijkbaars krijgen (niet alleen de zoekpaginas maar denk ook aan googlemaps en alle API's die in een keer niet meer te bereiken zouden zijn)

[Franckey]

De diensten van Google zijn toch een stuk belangrijker. Ik hoop en verwacht dat Google het beter geregeld heeft.

[beerse]

Als tweaker zie ik hier dat er meer single-point-of-failures zijn dan hardware alleen. Het gebruik van een enkel protocol bijvoorbeeld. Helemaal als dat protocol zowel voor de klanten, de eigen basis organisatie en ook de beheer omgeving worden gebruikt.

Hoe veel bedrijven hebben alle hardware ongeveer dubbel uitgevoerd om 'single point of failure' te voorkomen en in de software, configuratie of zelfs protocollen toch een single-point-of-failure hebben. Bijvoorbeeld omdat het beheer dan makkelijker is (op 1 plek).

Bedenk dat IPv4 altijd al ontworpen is om naast een ander protocol te kunnen werken. In het begin bijvoorbeeld decnet of netbios en dergelijke. IPv6 kan heel goed onafhankelijk van IPv4 werken en dan toch over de zelfde hardware en voor het zelfde verkeer.

[Arrigi]

... maar Facebook werkt met beide? IPv4 én IPv6 (die overigens niet bedoeld waren om te concurreren). BGP werkt ook met beiden. Ze hebben hun edge routers zeker ook redundant uitgevoerd.

Wil je een alternatief voor BGP? Dan moet dat wel een standaard zijn die globaal gedeeld wordt. Net als IPv4 "eventjes" vervangen niet zomaar kan, kan dat met BGP ook niet. Waar je een lokale softwarestack wel eventjes kan updaten, moet je hier rekening houden met vendor-specifieke implementaties over de hele wereld, ver buiten je eigen controle.

BGP is de standaard en zal voorlopig niet zomaar verdwijnen. Dit is gewoon een configuratiefout aan de kant van Facebook. Het systeem zelf werkt zoals ontworpen.

[Martijn_Folkers]

Helemaal mee eens, nu is mijn tijd van netwerk kennis al van een tijdje geleden. Maar iets waar (hoop ik) alle grote bedrijven mee werken is dan toch minimaal een OTAP straat?
Voor diegene die het niet kennen (zijn er hier vast ook niet zo gek veel maar voor de zekerheid)
O van Ontwikkel
T van Test
A van Acceptatie
P Productie

Nu weten we natuurlijk niet het fijne van de netwerk configuratie van facebook en is het misschien makkelijk praten. Maar naar mijn mening zou de doorgevoerde configuratie dan toch in de OTAP straat al gefaald moeten hebben?
Er even vanuit gaande dat de configuratie op die manier getest is en geen fouten bevatte en er misschien bij de uiteindelijke doorvoering een typo oid is ingevoerd.. dan heb je toch een meer ogen principe? Dit is namelijk bij ons ook verplicht bij de belangrijkere doorvoeringen. Simpelweg om mis clicks en typo's te voorkomen.

Nogmaals... makkelijk lullen voor ons maar denk dat er wel ergens wat wijzigingen kunnen worden doorgevoerd in de bedrijfsprocessen

[david-v]

Helaas, een OTAP is leuk, maar dit gaat juist om de configuratie van een hele omgeving. Je kan de productie configuraties niet testen op de OTA.

[tvdijen]

Voor zaken als netwerk, telefonie, etc. is er steeds vaker alleen een logische OTAP aanwezig..

[beerse]

Met één (1) otap-omgeving of otap-straat ben je er niet. Er zijn altijd zaken die er tussen in vallen. En er zijn altijd otap-straten die weer dwars over je otap straat een gaan.

Voor software ontwikkeling heb je een otap-straat voor de software ontwikkeling. Maar voor het installeren van de (maandelijkse) patches ga je daar dwars doorheen: De patches zou ik eerst op de acceptatie omgeving installeren. Daarna op de ontwikkel omgeving, vervolgens op de test machines en daarna pas in productie. Al zal een tester zijn test-machines nooit in een test-run willen aanpassen maar alleen tussen test-runs in. Een ontwikkelaar wil wel altijd de laatste patches hebben, maar niet meteen, daarom na de acceptatie. En bij productie wil je geclusterde systemen die helemaal productie draaien toch elke node van dat cluster apart van patches willen voorzien, dus 1 node als productie en 1 node als acceptatie en misschien wel een derde node als test.

Daarnaast heb je dus voor configuratie wijzigingen ook aparte otap omgevingen nodig. Voor het BGP (en hele netwerk en dergelijke) zou ik aparte configuraties voor het interne bedrijf (de test), het beheer (de acceptatie) en de externe wereld (de productie) zien.

[beerse]

Over IPv4 heb je groot gelijk, dat kan niet zomaar eventjes worden vervangen. Dat bedoel ik ook niet. IPv4 moet niet vervangen worden, het kan en moet naar mijn idee gewoon blijven bestaan naast iPv6.

Vanuit grote organisaties als facebook zouden zowel IPv4 als IPv6 naast elkaar in stand gehouden moeten worden zodat beide gebruikt kunnen worden. Niet dat alles altijd overal het zelfde werkt, maar dat ze elkaar aanvullen en via de eigen methodes het zelfde doel bereiken.

Voor BPG: Een gevoelig protocol dat ondertussen praktisch overal wordt gebruikt. Vervangen is niet mijn doel. Maar ook hier, er moet selectief een parallelle configuratie zijn. Voor de beheer omgeving bijvoorbeeld en ook voor de eigen zakelijke omgeving. Dan valt niet in 1 keer alles weg als er iets fout gaat.

BGP is een blijvertje en in de grote omgevingen zoals de klant/gebruikers omgeving van facebook zal het wel blijven.

Het systeem zoals dat tot nu toe bij facebook is gegroeid, ik geloof er niet in dat het 1 groot ontwerp is, heeft nu duidelijk een SPOF. En er zullen vast bewegingen komen om dat er uit te halen.

[Garyu]

In de vliegtuigwereld, waar uitval van een vliegtuigelectronica toch ook wel even een dingetje kan zijn, heb je een hele rits aan processen, analysen en methoden om ervoor te zorgen dat de kans op uitval zo klein mogelijk is.

Dingen als Failure-Mode-and-Effect-Analysis (FMEA), Fault-Tree-Analysis (FTA), Common-Mode-Analysis (CMA). Dit wordt voor elk stukje kritieke electronica apart, en vervolgens voor elk systeem in het vliegtuig, en dan voor het vliegtuig als geheel gedaan. Je kan vervolgens tot op een enorm detailniveau uitrekenen wat de kans op een "catastrophic failure" is, en daaruit afleiden of het vliegtuig de lucht in mag.

Daarnaast wordt alles tot in het kleinste detail getest. Elke regel "dead code" moet verantwoord zijn, etc. etc.

Echter:
- Dit kost bergen en bergen tijd, en dus geld voor elk systeem.
- een vliegtuig is daarnaast een gesloten systeem, waarbij toeleveranciers weten wat van ze verwacht wordt
- een vliegtuig is "simpel". Er vliegen misschien een paar miljoen regels code mee, maar zeker minder uitgebreid dan de code die Facebook gebruikt voor al zijn diensten.
- per regel code wordt er in het vliegtuig veel meer geld uitgegeven om ervoor te zorgen dat die correct is, dan bij een gemiddelde web-applicatie te verantwoorden is
- er vallen nog steeds wel eens vliegtuigen uit de lucht. Het aantal bugs in vliegtuig-software is veel kleiner dan in de gemiddelde code, maar nog steeds zeker niet onfeilbaar.
- user error is nog steeds een probleem: verkeerde configuratie laden en je vliegtuig valt uit de lucht (zie A400M in Spanje die bij een testvlucht neerstortte). Vergelijkbaar met de configuratie-update die Facebook hier vermazzeld heeft.

[MSalters]

Bedenk dat IPv4 altijd al ontworpen is om naast een ander protocol te kunnen werken. In het begin bijvoorbeeld decnet of netbios en dergelijke.

Dat is geen IPv4 eigenschap; dat is een eigenschap van IPv4 over Ethernet. En het is dus een ontwerp-eigenschap van Ethernet. Elk Ethenet pakketje is getagged met het protocol-type. Om precies te zijn, IPv4 heeft EtherType 0x0800, en IPv6 heeft 0x86DD.

Op andere IP verbindingen zoals PPP dial-up kan de onderliggende laag geen protocol-types doorgeven - dat toont aan dat het geen IPv4 eigenschap is. WiFi (802.11) is directe familie van Ethernet (802.3) en werkt dus vergelijkbaar..

[Soulaiman]

Neem dit niet als een verwijt maar ik denk dat jij niet goed begrijpt hoe backbone en datacenter netwerken werken en routes adverteren naar mekaar en het ‘internet’.

Denk je nu echt dat Facebook geen redundantie heeft? Ben je gek?

BGP kan heel complex zijn en een foutje is zo gemaakt. Een bedrijf als Facebook zal duizenden of misschien zelfs honderd duizenden routes en prefixes via BGP adverteren. Laat daar ergens een foutje in slepen en dit propageert zich naar alle neighbours en andere AS die intergeconnecteert zijn.

Er zijn maar weinig andere protocols geschikt hiervoor. Praktisch heel het internet draait op BGP. Alle ISPs gebruiken BGP (of soms statische routes voor kleinere netwerken). Kom jij dan af met een protocol dat nergens mee compatible is dan heb je een probleem om je routes buiten je eigen AS gekend te maken.

[Archcry]

Zo raar is dit toch niet? Er zijn heel veel mensen geraakt door deze outage en één van deze mensen heeft besloten dat hij daar een Wikipedia artikel over moest maken.

Persoonlijk vind ik de informatie niet van toegevoegde waarde in deze vorm. Men had het bijvoorbeeld ook gewoon onder het artikel over Facebook kunnen plaatsen. Persoonlijk vind ik dat het niet zijn eigen pagina verdient.

[Reactie gewijzigd door Archcry op 22 juli 2024 14:20]

[bobby022]

iets zegt me dat Wikipedia juist hier om totaal niet gezien moet worden als 'Betrouwbaar'...
maar ja...

Leg dat uit aan mijn 15 jarige stiefdochter en regenboog uitlatingen...
"want wikipedia is pog"

[Belgar]

Mooie samenvatting, maar als ik de pagina lees van Facebook lijkt het erop dat het originele probleem met iBGP was en niet eBGP (het deel dat werkelijk praat met het internet).

(i)BGP wordt ook veel binnen organisaties gebruikt, omdat het een aantal zeer aantrekkelijk eigenschappen heeft die de standaard routing protocollen (IS-IS / OSPF etc.) missen, zoals het eenvoudig installeren van GWs en default routes en bepaalde vormen van redundantie.

[david-v]

Dit is na het verliezen of corrupt raken van data wel de ergste storing die je kan hebben. Ik ben benieuwd wat de financiële consequenties zijn voor Facebook en vooral voor Whatsapp. Ik denk dat veel mensen alternatieven hebben geïnstalleerd (en dat is gelijk ook het enige positieve aan de hele storing )

[JDx]

En dat is wel zorgelijk, dat bijvoorbeeld na een uurtje al alternatieven op websites (nieuwssites) stonden, alsof je niet een avondje zonder kon

[Wachten...]

Het gaat er niet om of je zonder kan. Maar dat je jezelf een SPOF (single point of failure) maakt.

In mijn ogen is het bijzonder dat gehele gemeentes winkels etc. zichzelf volledig afhankelijk maken van één bedrijf. Zie het als een backup die je maakt van je bestanden. (Zie hierbij de schijven als verschillende bedrijven). Als je alles op één schijf zet en die kapot gaat, ben je werkelijk alles kwijt. Zet je het op twee schijven, dan kan er één uitvallen en heb je nog een 'backup'. En het beste is dan nog om één schijf op een compleet andere locatie te hebben.

Wat veel gemeentes en bedrijven nu doen, is dat ze werkelijk alles via Facebook laten lopen (sowieso vanuit privacy redenen snap ik niet dat mensen dit nog gebruiken, maar dat terzijde). Gaat Facebook down zoals gisteren, dan heb je dus letterlijk niks meer. Wordt je gehackt o.i.d. hetzelfde verhaal, je bent dan echt alles kwijt.

[JDx]

Ja zo zorgelijk is het dus, dat het uitvalt en mensen kunnen niet zonder.

[Andros]

Je zou er nog van staan te kijken hoeveel communicatie via dat bedrijf loopt. Ik hoor deze ochtend dat er last-minute een collega in opleiding mee komt vandaag die door de storing van Whatsapp gisteren dit pas vanmorgen mee kreeg. In veel bedrijven wordt WA informeel als communicatiemiddel gebruikt, er hangen in verschillende landen bordjes in wijken met "buurtpreventie" etc. Theoretisch zou gisteravond een leuke avond voor inbrekers en gespuis geweest kunnen zijn, al die roddel groepsapps van wijkbewoners die elke onbekende auto in de straat doorsturen lagen ook plat .

[wkleunen]

Ja, whatsapp is eigenlijk een soort sms 2.0 geworden. En zou ook niet bij een privaat bedrijf moeten liggen, dat zou een publieke dienst moeten worden. Er zijn wel alternatieven voor, zoals signal, maar die werken dus niet met elkaar. Dat zou via wetgeving afgedwongen moeten worden, dat dit een open implementatie is, en een infrastructuur die via meerdere aanbieders afgenomen kan worden.

[Zer0]

Er zijn wel alternatieven voor, zoals signal, maar die werken dus niet met elkaar.

Je kunt ook weer gewoon SMS gebruiken als alternatief, en dat werkt wel met elke telefoon....

[MSalters]

Ja, whatsapp is eigenlijk een soort sms 2.0 geworden. En zou ook niet bij een privaat bedrijf moeten liggen, dat zou een publieke dienst moeten worden.

Voor het geval dat je't niet wist, SMS is óók geen publieke dienst. Sterker nog, de privatisering van de telecombedrijven ten tijde van de introductie van SMS geldt als hét voorbeeld waar privatisering de dienstverbetering onwaarschijnlijk veel verbeterde.

[wkleunen]

Voor het geval dat jij het niet wist: telecom bedrijven moeten zich houden aan de telecommunicatiewet. SMS is dus wel degelijk een publieke dienst, iedereen zou hier toegang toe moeten hebben. En ook mag je niet zomaar communicatie afluisteren. Privacy moet gewaarborgd blijven.

In de telecommunicatiewet stelt de overheid dus extra eisen aan de diensten die zij leveren, meer dan waar andere private bedrijven aan moeten voldoen. Ik denk dat je wel kunt begrijpen dat dit enorme voordelen heeft opgeleverd voor sms gebruikers. Bijvoorbeeld dat roaming tarieven binnen EU dus niet meer toegestaan zijn. Telecom bedrijven stonden uiteraard te stuiteren dat hun verdienmodel onderuit ging toen die regelgeving werd ingevoerd. Een werkelijk waar onwaarschijnlijke verbetering vanuit de overheid.

[Reactie gewijzigd door wkleunen op 22 juli 2024 14:20]

[MSalters]

Publieke diensten in de zin Telecomwet 2021 artikel 3.5 zijn bijvoorbeeld C2000, het communicatiesysteem van de hulpdiensten. SMS is een private dienst, en valt onder de vergunningen van artikel 3.10. Zie ook Factsheet Publieke Diensten

[Reactie gewijzigd door MSalters op 22 juli 2024 14:20]

[wkleunen]

ok, geen "publieke dienst" dus, maar een dienst van algemeen nut. Leg ik het dan zo goed uit voor jouw smaak ?

En heb je naast semantische opmerkingen ook nog iets inhoudelijks toe te voegen, of dat niet ?

[ryderblaat]

En dan? Als het een publieke dienst wordt komen storingen minder voor?

Bij Facebook werken over het algemeen de top 1-5% engineers, het heeft veel resources en er is echt ALLES aan gelegen om de uptime zo hoog mogelijk te houden. Je gaat echt gigantisch veel meer storingen krijgen als je de publieke sector zo'n systeem laat opzetten. Dan krijg je taferelen zoals bij DUO, "we zijn een maand offline omdat we onze systemen gaan upgraden".

[Stoney3K]

Bij Facebook werken over het algemeen de top 1-5% engineers, het heeft veel resources en er is echt ALLES aan gelegen om de uptime zo hoog mogelijk te houden.

De situatie van gisteren toont al aan dat dat niet helemaal het geval is. Als ze echt álles hadden ingezet om die uptime zo hoog te houden, dan hadden ze op zijn minst nog een secundaire, onafhankelijke lijn gehad waarmee ze nog hun routers binnen konden komen om een rollback van de configuratie uit te voeren.

Net zoals de stommiteit dat hun toegangsbadges afhankelijk waren van datzelfde systeem en ook niet voorzien waren van een backup -- waren er geen deuren waar een fysieke sleutel in kon bijvoorbeeld?

[ronansoleste]

Net zoals de stommiteit dat hun toegangsbadges afhankelijk waren van datzelfde systeem en ook niet voorzien waren van een backup -- waren er geen deuren waar een fysieke sleutel in kon bijvoorbeeld?

Zou best goed kunnen dat die deuren wel sleutels hadden, maarja niet iedereen krijgt een sleutel natuurlijk. Die ligt bij de dienst beveiliging ofzo.

[arie.v]

En die dienst beveiliging kon niet naar binnen... juist.

[Jeroen]

Uiteindelijk is het gelukt na 6 uur, dat is nog best vlot als je fysieke sleutels moet gaan halen.

[ronansoleste]

dan heb je de sleutels op een verkeerde plek hangen niet?

[Hatsikki]

Het was een storing van 6 uur, zelfs met die 6 uur downtime hebben ze volgens mij alsnog een van de meest betrouwbare diensten draaien.

Het idee van de secundaire lijn klinkt logisch, maar security & kosten technisch gezien misschien niet de meest gewenste.

Dat de toegang verlopen was van engineers, tsja slordig? Maar gezien de afgelopen periode kan ik me ook voorstellen dat men daar niet dagelijks kwam, maar voornamelijk vanuit huis werkte. En om dan opeens opgeroepen te worden om naar een datacenter te gaan waar je al geruime tijd niet geweest bent dan kan dat nog wel eens voor komen.

[ryderblaat]

Facebookdiensten worden dagelijks gebruikt door miljarden(!!) mensen wat echt een gigantisch complexe (technische) operatie is. Als het er dan eens een paar uur uit ligt door een human error, is het echt een knee-jerk reactie om dan te stellen dat het "echt triest is".

DigiD lag er gister ook de hele avond uit, daar hoor je echt niemand over, terwijl dat qua complexiteit echt helemaal niks voorstelt vergeleken met wat Facebook up & running moet houden. Dat is pas triest.

[gooos]

Eens, er zou een standaard moeten zijn waarmee je cross diensten met elkaar kan verbinden. Tenminste voor tekst en een afbeelding.

Extra features kunnen dan wellicht cross diensten werken, maar dat hoeft niet om innovatie en onderscheidend vermogen een plek te geven aangezien daar ook weer nieuwe bijdragen voor de standaard kunnen ontstaan.

Maar met alle gebruikers lock-in praktijken zie ik dat niet zo snel gebeuren want (actieve) gebruikers zijn data en dus geld waard.

[bomberboy]

Eens, er zou een standaard moeten zijn waarmee je cross diensten met elkaar kan verbinden. Tenminste voor tekst en een afbeelding.

Proficiat, je hebt net opnieuw xmpp uitgevonden. (22 jaar later)
https://xmpp.org/about/history/

[Reactie gewijzigd door bomberboy op 22 juli 2024 14:20]

[Stoney3K]

[...]


Proficiat, je hebt net opnieuw xmpp uitgevonden. (22 jaar later)
https://xmpp.org/about/history/

Oh, je bedoelt dus gewoon Google Hangouts?

[bomberboy]

xmpp is toch net iets ouder. Bovendien is de xmpp support van hangouts heel beperkt (if any op dit moment). Bij Google Talk maakte weer wel gebruik van xmpp, maar ook dat was al 6-7 jaar na eerste versie van jabber/xmpp.

Dus nee, ik bedoel niet Google Hangouts.

En RCS als alternatief is ook wel leuk, maar is dan gelinkt aan een mobiele verbinding. Dus niet beschikbaar op devices zonder sim kaart/telefoon nr. De facto is dat voor Whatsapp vandaag ook zo, maar dat is niet omwille van een technische reden. Het is gewoon een unieke identifier.
Anderzijds vereist niet expliciet een data-abonnement en is het veel vergelijkbaarder met sms. Beiden hebben hun voor en nadelen. Maar voor een messenger-app is RCS daarom volgens mij niet de beste keuze.

[gooos]

Ik weet het - hoewel ik zelf meer richting RCS denk

[Reactie gewijzigd door gooos op 22 juli 2024 14:20]

[jjobar]

RCS zou dat moeten kunnen in de toekomst. Dat is carrier based en platform onafhankelijk alleen jammer dat Apple weer zonodig deze standaard wil dwarsbomen (net zoals usb-c) en je berichtjes daar als SMS worden afgeleverd.

[Teun Spaans]

Volgt Matrix: ook die standaard?

[gooos]

Yup - ik weet dat RCS bestaat en dat het nog altijd geen industrie brede omarmde standaard is geworden om eindelijk eens alle netwerken met elkaar te kunnen laten praten, al is het maar voor de meest elementaire delen ervan.

[david-v]

Die standaard zou RCS moeten zijn, als je dat zou kunnen integreren in alle chatapps ben je al een stap verder.

[Frame164]

RCS (Rich Communication Suite) gebaseerd op SIMPLE and OMA bestaat al jaren. Google is momenteel een grote promotor daarvan. VodafoneZiggo gaat dit binnenkort in Nederland introduceren (eindelijk).

[MrDucky]

Dit werkt al een tijd bij Vodafone, ik heb samen met 2 vrienden gewoon een RCS Groepschat.

[gooos]

Inderdaad wel fijn dat een telco als VodafoneZiggo nu eindelijk overstag is, hopelijk volgt de rest ook snel en gaat dat een accellerator zijn voor apps als WhatsApp etc om er ook mee aan de slag te gaan. Van de oude smsjes hebben de apps niet zoveel zoveel te vrezen maar met RCS kan veel meer en dan begint het wellicht toch een bedreiging voor ze te worden...

[Jim80]

Je hebt wel een goed punt. Instant messaging zou net zoals e-mail een open standaard moeten zijn. Nu heeft de gemiddelde gebruiker 4 chat apps nodig om 90% van je contacten te kunnen bereiken.

[Annihlator]

Verhip, we hadden gewoon terug kunnen vallen naar IRC

Maar dat is denk ik met een serieuzere noot een goed voorbeeld van protocol- vs app-gebaseerde communicatie, net-zogoed e-mail.

[Krokant]

Dat zullen we dan ook voor het GSM netwerk doen? Dat wordt tot nader order ook door private bedrijven uitgebaat hoor, en is nog net iets kritischer dan Facebook (geen 4G, ook geen WhatsApp he 😉).

Het is een nobel idee, maar je vertrekt van de aanname dat een overheid iets dergelijks tot een succesvol einde kan brengen. Op het einde van de rit is het misschien dubbel zo duur (van ons belastingsgeld), voor wat? 6u geen downtime op 5 jaar? Kosten-baten?

Verder geen fan van Facebook (account lang geleden opgezegd).

[wkleunen]

Het gaat er niet om dat het niet door een commerciele partij mag worden uitgebaat. Het gaat er om, dat er regelgeving moet zijn aan welke kaders deze bedrijven moeten voldoen. De energie voorziening in Nederland wordt toch ook door private partijen uitgebaat. Toch zijn zij gebonden aan regelgeving, omdat het om nuts voorzieningen gaat. Ook daar kun je nogsteeds storingen krijgen.

Jij vertrekt vanuit het de aanname dat de overheid het niet tot een succesvol einde kan brengen. Dat is gewoon veel te cynisch. Er zijn genoeg voorbeelden van regelgeving voor private bedrijven, die het belang dienen van het algemene nut. Bijvoorbeeld de telecommunicatiewet, en daar valt GSM dus idd ook al onder.

Je kunt je echt afvragen of messaging applicaties niet gewoon onder de telecommunicatiewet moeten vallen.

[Reactie gewijzigd door wkleunen op 22 juli 2024 14:20]

[Unsocial Pixel]

Bij signal vind ik nog wel het mooie dat als de ander geen signal heeft dat ie automatisch overgaat op sms alsook dat je bij voorbaat kan zien of iemand signal heeft en zo weet of je bericht versleuteld word.

[Glashelder]

Dit is ook wel een beetje des Tweakers dit, alles maar via wetgeving willen afvangen.

Wetgevers hebben wel wat beters te doen dan dit soort dingen. Alsof een overheidsdienst nooit plat kan liggen .

[ZatarraNL]

De ICT-ontwikkelingen gaan gewoon erg hard. En dat kan je van wetgeving niet zeggen. Wetgeving ligt dus vooral bij ICT hopeloos achter. Dat hierdoor veel hiaten ontstaan die vooral bij Tweakers worden besproken is dus niet gek.

[Glashelder]

Dat klopt, maar de realiteit is gewoon dat je niet alles in wetgeving vast moet willen leggen.

De realiteit is ook dat de verstoring van gisteren voor veel mensen vervelend was, maar geen drama. Er waren immers nog zat alternatieven. Waarom dan wetgeving?

[JDx]

In mijn ogen soms zelfs zo hard dat het niet bij te houden is, ik heb jaren software gemaakt en kon het steeds minder goed bijhouden, maar had wel een goede basis.

Helaas waren schoolverlaters weer veel goedkoper en die kenden alle nieuwe dingetjes weer, vraag me af hoe lang ze dat volhouden, jonge goedkope mensen aannemen.

[Vizzie]

Een paar totaal onbelangrijke diensten liggen een paar uur plat en daar zou wetgeving voor gemaakt moeten worden?

Voor belangrijke diensten worden SLAs afgesproken en voor de rest maakt het echt niet uit als iets even niet werkt. Wat mij betreft geen wetgeving waard.

[Bas_f]

Klopt. Die moeten immers bepalen dat jij jouw apparaat met USB-C gaat opladen en niet op een andere manier.

[Glashelder]

Milieu lijkt me iets goed waar overheden zich meer mee bezig zouden moeten houden ipv minder

[CH4OS]

Technische storingen ga je nooit ondervangen met wetgeving. Het is ook best redelijk zinloos om een database (waar de berichten in komen te staan) bij meerdere partijen neer te zetten en constant te synchroniseren e.d.

Afdwingen dat diensten als Whatsapp (wat toch begonnen is als iets commercieels) gaat hem ook niet worden denk ik. Middelen die momenteel al bestaan (XMPP, Matrix en dergelijken) worden ook niet echt omarmd door diensten als Signal, Whatsapp en Telegram, om wat voorbeelden te noemen, met name omdat dat juist het verdienmodel van de diensten om zeep helpt. Die zitten er dus totaal niet op te wachten.

Daarnaast kun je ook niet alles met een wetje afvangen, ik begrijp daarom ook niet zo goed waarom alles maar per Wet geregeld moet worden. Dan ga je namelijk echt het doel voorbij.

[Reactie gewijzigd door CH4OS op 22 juli 2024 14:20]

[wkleunen]

Whatsapp is gebaseerd op xmpp. En het gaat ook niet om de uptime of niet hebben van storingen. Het gaat om de afhankelijkheid. Alle macht ligt nu bij een commerciele partij. Zij kunnen naar inzicht berichten monitoren, of gebruikers er af gooien als het hun niet bevalt. Dat wil je gewoon niet, voor een applicatie wat algemeen nut dient. Messaging applicaties zouden onder de telecommunicatiewet moeten vallen. Als jij een keer afgeluisterd wordt op jouw telefoon, dan snap je waarom die wetten er zijn.

[Reactie gewijzigd door wkleunen op 22 juli 2024 14:20]

[JDx]

Oh ik heb zo'n buurman die dan gewoon met een toeter door de straat loopt en vandaag iedereen komt vertellen dat er 2 jongens door de buurt liepen

Eentje met capuchon waarschijnlijk.

Maar gisteravond zou je toch wel even mensen gewoon een SMS sturen of bellen als het om last-minute dingen gaat? Als je iemands Whatsapp hebt, heb je ook het nummer.

[ArmEagle]

Als je niet in WA kunt om de telefoonnummers van de hele groep op te zoeken wordt dat denk ik lastig? (Ik gebruik de app niet, heb geen idee wat er gisteren misschien nog kon)

[Onoffon]

Je kon gewoon in WA. Berichten kwamen alleen niet aan bij de ontvanger.

[JDx]

Dat zou ik ook niet weten, ben al jaren geleden uit groepen gestapt, wat een zooi is dat.

[thibaultvdb]

Het internet draait rond facebook en google, laten we dat lekker terug gaan draaien naar een hele reeks partijen/protocollen. Top momentje die downtime, mensen worden eens wakker geschud dat al hun eieren in 1 mandje liggen.

[B_FORCE]

Helaas ben ik bang dat er niemand door is wakker geschud

[thibaultvdb]

Help dan zelf een beetje met schudden
Ik heb weer wat overtuigde mensen mee gekregen.

[Smobbo]

Ik lees vanochtend van de hele storing. Was me gisteravond niet opgevallen .

Inderdaad wel een soort goede check voor jezelf of je misschien iets te veel met social media bezig bent als je een avond nog niet zonder kan

[JDx]

Zag een screenshot van iemand dat mensen op Twitter posten dat het wel lekker was een avondje zonder social media

[Smobbo]

Hahahaha

[Tr1pke]

Het is niet omdat je zonder Facebook kunt er daarom niets over geschreven mag worden. Facebook heeft een grote invloed op bedrijven, reclame, zelfs families. Dan is dat nieuws en aangezien mensen het lezen was het ook weer een goede zaak voor de nieuws sites. Ik zelf gebruik amper Facebook maar vond het voorval wel interessant, net zoals iedereen hier …

[moonlander]

Zo gek is dat niet toch? Whatsapp is gewoon de SMS geworden van de huidige generatie. Fijn dat er meteen alternatieven komen zodat mensen eindelijk eens overstappen naar bijvoorbeeld een Signal.

En die alternatieven komen niet ineens vandaag uit de lucht vallen. Die zijn al tijden op de markt. Dus mooie reclame voor hun!

[JDx]

Ja dat is het probleem, SMS is niet afhankelijk van derden. Alleen van je provider, kan ook uitvallen, maar dan heb je niets meer (tenminste onderweg niet).

[matt.]

Euh? SMS is ook gewoon een aparte dienst van een provider. Als er een storing is in de SMS centrale(s), dan kun je ook geen berichten sturen/ontvangen. En wel gebeld worden en internetten. Daarbij kan het ook nog eens gebeuren dat er een netwerk storing is en je daarom de SMS dienst niet kan gebruiken.

[..Christiaan..]

En hoeveel stappen nu toch weer over op Whatsapp? Ik kan wel overstappen op Signal, maar als verder weinig mensen het doen heb ik er weinig profijt van toch?

[litebyte]

Als niet-Facebook gebruiker (en dus geen WhatsApp gebruiker) waren het voor mij persoonlijk 4 nieuwe Signal contacten. Ik ben van de generatie die nog relatief veel belt of mailt dus dat verbaasde me wel.

Niet alleen dat Signal toch al wel snel als alternatief wordt gevonden, maar vooral ook dat velen een halve dag zonder messenger service niet eens volhouden.

[JDx]

Jammer dat ze nog steeds Telegram EN Signal promoten op het nieuws, wanneer het 1 van de 2 is ga ik over, nu weet ik het nog steeds niet, had even hoop.

[Andros]

Gewoon beide doen. Mocht er eentje storing hebben dat pak je de andere.

[litebyte]

Idd, qua ruimte/moeilijkheid/kosten hoef je het niet voor te laten. Bij Signal betaal je echt niets, ook niet met je data.
Velen snappen nog steeds niet dat bij facebook jij (je data) het product bent. Facebook/instagramn en whatsapp zijn niets meer dan tools om het product (jouw data) te oogsten.

Signal wordt betaald uit sponsoren en is open-source. Het wordt vaak door onafhankelijke privacy experts en organisaties onder het licht gehouden of het nog voldoet als privacy-veilig.

[wankel]

Neem ook Matrix/Element in je overweging/aanbeveling mee.

Het is niet alleen libre software, het heeft een gedegen bedrijfsmodel met "de halve Europese overheid" als betalende klant.

Een groot voordeel van Matrix, is dat het makkelijk interfaced met al die andere chatplatforms: IRC, Telegram, Signal, Whatsapp, Slack, you name it.

- edit - Ohja, en het is een federated service. Als de server waar de helft van je vrienden op zit uitvalt, kun je nog minstens met de andere helft van je vrienden communiceren.

[Reactie gewijzigd door wankel op 22 juli 2024 14:20]

[nero355]

Signal wordt betaald uit sponsoren en is open-source.

Waar dus Twitter één van is en je dan af kan vragen wat er nog van je privacy over is als zo'n bedrijf zich ermee bemoeit

Dan maar Telegram :
- Van een stel Russische eigenwijze weirdo's : Ik hou daar wel van!
- Zeer makkelijk tegelijk te gebruiken op telefoon/tablet en PC/Laptop onder zowel Windows als Linux

[JDx]

Dan kan je alsnog niet de mensen bereiken die niet beide hebben, er moet even een keer eentje met kop en schouders boven de ander uitsteken zodat je niet hoeft te kiezen, dat bedoel ik.

Dan heb je Whatsapp EN ...

[Reactie gewijzigd door JDx op 22 juli 2024 14:20]

[e.dewaal]

Niet vervelend bedoelt hoor, maar wat is het probleem van meerdere chatapps? Ik heb me er aan overgegeven dat ik vrijwel alle chatapps heb.
Mijn voorkeur gaat uit naar Telegram ivm gebruiksgemak tussen meerdere apparaten. Tweede keus is WhatsApp omdat "iedereen" dat heeft. Als derde staat signal op mijn telefoon omdat er wat mensen zijn die daar vrolijk van worden, maar in de praktijk heeft niemand mij via daar ooit gecontact.
In de praktijk lees en antwoord ik mijn mail met ongeveer dezelfde snelheid.

Alternatieven die ik ook geïnstalleerde heb zijn snapchat, teams, skype, duo, facebook messenger, Instagram, Twitter, discord, Google Chat en LinkedIn.

[JDx]

Omdat ik rust in mijn hoofd nodig heb.

[Vizzie]

Gewoon geen social media dan. Heerlijk rustig

[Farmeur]

Dit is een uitstekende reden. Je bent zoveel bezig met die stompzinnige "eps" dat je aan rustig en goed denken niet meer toekomt. Dat bezighouden doen heel veel eps bovendien opzettelijk. Het is storend en beledigend want ze behandelen normale mensen als klikvee.

Het is bewezen dat elke afleiding uit je concentratie, 7 minuten kost voordat je je concentratie weer terug hebt.

[moredruid]

Dan is dit duidelijk geen probleem voor jou (eerder het fenomeen dat je Whatsapp, Telegram, Snapchat, Teams, Skype, Duo, FB Messenger, Insta, Twitter, Discord, G chat en Linkedin en waarschijnlijk nog wat apps geinstalleerd hebt vanwege FOMO?).

Mijn moeder van 76 gebruikt Whatsapp want dat gebruikt de hele familie. Nog 3 apps die hetzelfde doen installeren is voor haar zinloos (waarom zou ik ... installeren, ik heb toch Whatsapp), zeker als daar verder misschien maar 1 ander contact per dienst in zit.

Ik vind persoonlijk haar redenering een stuk gezonder. En als die dienst eruit ligt belt ze gewoon of ze probeert het later gewoon weer een keer.

[e.dewaal]

Dat ik al deze apps geïnstalleerd heb staan wil niet direct zeggen dat ik ook alle apps regelmatig open. Ik heb de vrije ruimte op mijn telefoon en het maakt het gemakkelijk als mensen contact met mij willen leggen. Ik heb van veel apps zo goed als alle meldingen uitstaan, behalve de privé-bericht functionaliteit. Alle aanraders, of ... heeft sinds lange tijd iets gepost staat allemaal uit.
Om afleiding tegen te gaan neem ik 2 of 3 keer per dag een momentje om even door Twitter en Instagram te scrollen, de andere socials check ik vaak niet ééns dagelijks. Twitter is voornamelijk voor nieuws in de tech wereld, en op Instagram volg ik alleen mensen die ik persoonlijk ken.
Voor Twitter gebruik ik een 3rd party app die alles netjes in chronologische volgorde weergeeft. En Instagram gebruik ik sinds het de melding geeft "Je bent helemaal bij". Allemaal maatregelen om afleiding en verslaving te voorkomen.

Mijn moeder is ook niet zo tech-savy en was één van de laatste personen die overging naar een smartphone (waarom zou ze, als mensen haar nodig hebben bellen/sms'en ze maar). Ze ziet er echter wel de handigheid van in. Ook zij heeft meerdere van de apps uit bovenstaand lijstje geïnstalleerd staan. In verschillende kringen worden namelijk andere apps gebruikt. Teams voor school van de kids, Google Chat/Meet voor de kerk, WhatsApp omdat veel mensen daar gebruik van maken, Telegram omdat de familie daar gebruik van maakt, Signal omdat weer een andere kenniskring daar gebruik van maakt.
Als mijn moeder rust wil zet ze d'r telefoon uit of vergeet ze 'm laat ze 'm gewoon thuis liggen.

[Reactie gewijzigd door e.dewaal op 22 juli 2024 14:20]

[nero355]

Mijn voorkeur gaat uit naar Telegram ivm gebruiksgemak tussen meerdere apparaten.

Synced Chats tussen al je apparaten inclusief de hele geschiedenis is inderdaad echt vreselijk relax!

Moet altijd lachen als ik mensen zie klooien met WhatsApp en Dropbox/iCloud/enz. voor backups!

[Wachten...]

In Telegram zijn chats standaard niet geencrypt en sowieso komt Signal het meest in de buurt van Whatsapp en is open source.

Ik vind het nog steeds raar dat deze chat apps vaak vergeleken worden met elkaar.
Telegram is leuk voor de bots e.d. maar als primaire app (en privacy in het achterhoofd) zou ik het persoonlijk niet aanraden. Puur mijn mening hoor!
Ik gebruik enkel Signal al meer dan een jaar samen met familie en vrienden, en het bevalt uitstekend.

Doordat sms daar ook binnenkomt merk je er ook niks van als je smst met iemand. Je kunt dan enkel geen foto's en video's sturen.

[nero355]

In Telegram zijn chats standaard niet geencrypt

Volgens mij hangt dat van het type chat af

Daarnaast heeft het teveel voordelen t.o.v. Signal en al helemaal WhatsApp/Viber/enz. die ik zo gauw niet gefixt zie worden, want al jaren niet aanwezig als feature...

[e.dewaal]

In telegram zijn alle chats gewoon geëncrypt. Er is alleen geen end-to-end encryption als je geen gebruik maakt van secret chats. Alleen bij gebruik van secret chats vervallen ook weer de voordelen van normale chats.
Toegegeven, je kunt twijfels trekken bij de manier van encryptie, maar de voordelen zijn groter dan de nadelen wat mij betreft.
Meer info in de faq en de artikelen waar ze daar naar linken.

[Wachten...]

Zoals gezegd staat het standaard niet aan, en moet je echt zelf een speciale chat hiervoor aanmaken. De meeste mensen installeren een app en willen het gebruiken zonder aparte handelingen te doen.

Even voor de duidelijkheid. Ik heb het hier over de gemiddelde gebruiker zoals familie en vrienden die een alternatief zoeken voor Whatsapp. Ik kan persoonlijk weinig bedenken waarom ik Telegram zou aanraden boven Signal. Signal is open source. Werkt nagenoeg hetzelfde als Whatsapp en alles is geencrypt.

Maar ik hoor heel graag waarom jij jou familie en vrienden eerder Telegram aan zou raden. Wellicht informatief voor anderen.

[nero355]

Onder elk OS te draaien en zonder gezeik alle Chats altijd in sync hebben op elk apparaat inclusief de geschiedenis (Dus ook de berichten sinds de eerste dag dat de chat is aangemaakt!) vind ik persoonlijk heel veel waard en schijnt slechter geregeld te zijn bij Signal

Daarnaast zit er in Signal geld van Twitter en daar moet ik echt niks van weten!

[Super_Fred]

Welke zouden ze dan exclusief moeten promoten, volgens jou? Het zou een beetje raar zijn als de media ons gaan sturen richting 1 bepaalde oplossing. Bovendien, elk alternatief heeft zijn voor- en nadelen, die je zelf kunt afwegen.

[JDx]

Helaas nog wel, ik wacht tot eentje door de mand valt door enorme privacy lekken ofzo en de media nog maar 1 promoot.

[litebyte]

Dat sturen doen 'ze' (de overheid en media) nu ook al - dat is facebook. Menig bedrijf in de lage landen dat (vrijwel) alle communicatie doet via fbook.

Ik hoorde van een buitenlandse collega dat in landen als India veel nooddiensten met hun handen in het haar zaten. Veel derde wereld landen gebruiken ze whatsapp voor de (interne) communicatie. Kan je zien wat afhankelijkheid kan betekenen.

[nero355]

Het zou een beetje raar zijn als de media ons gaan sturen richting 1 bepaalde oplossing.

Ironisch om dat anno 2021 te roepen sinds Maart 2020

[Super_Fred]

Je bedoelt het hele Corona-gebeuren? Het zijn niet de media die ons vaccins of anderszins proberen aan te smeren. Sterker nog: de verdeeldheid hierover in de maatschappij zie je ook terug op diverse (media-)platforms.

[nero355]

Jij kijkt nooit TV zo te zien

[Super_Fred]

Zeker wel, zowel landelijk als regionaal. Echter, ik had het over de media. Jij haalt nu slechts 1 communicatiekanaal (de televisie) aan. Radio, kranten, tijdschriften, internetplatforms, etc. zijn er ook nog, maar ik begrijp uit jouw woorden dat ik iets mis(?)

Overigens, dit wordt nu wel heel off-topic nu.

[nero355]

Klopt, maar op beiden zal je dus reclames vinden van de overheid die wel heel graag wil dat jij een prikkie haalt...

[marcelvb]

Zolang er geen open standaard gebruikt wordt voor de combinatie en ze dus niet met elkaar werken, is het alleen maar goed dat niet niet een systeem gebruiken. Gisteren was ik blij dat ik Whatsapp en Signal had.

[cricque]

Ik gebruik geen WhatsApp, smoelboek alleen voor het bedrijf, geen signal. Mensen kunnen me een mail sturen of mij gewoon bellen, of zelfs nog een sms sturen. Meer dan genoeg manieren om mij te contacteren. Veel klanten vragen me whatsapp ... maar daar is de drempel lager bijvoorbeeld dan een sms. Geen idee, maar mensen verwachten ook antwoorden via whatsapp etc. Daarom dus geen whatsapp. Op een email zal ik sneller reageren dan een sms bijvoorbeeld.

[..Christiaan..]

En hoe lang blijven die contacten? Waar hebben we het over? WA valt 1 (één!) avond uit na jaaaaaaaren 24/7 uptime....Heeft het dan 0 credits?

[nero355]

Dat had het al sinds de dag dat het door Smoelenboek werd overgenomen!

[david-v]

Het belangrijkste is niet dat mensen weer terug gaan naar Whatsapp, maar dat ze alternatieven installeren, dat is stap 1.

[..Christiaan..]

Stap 1 waarvan? WA elimineren?

[david-v]

De monopolie van een chatapp op een mobiel te doorbreken. Vooral als het een app is die eigendom is van een bedrijf die maar één doel heeft, geld verdienen met je (meta) data.

[..Christiaan..]

En als Signal zo groot word, zwichten ze vast ook wel voor het geld dat ze kunnen krijgen om het te verkopen. Ik vind het allemaal niet zo spannend, die (meta)data.
Ik kies voor het gemak van een chatapp die iedereen al heeft.

[david-v]

Het is een stichting, die kun je niet verkopen of opkopen. Misschien moet je je even inlezen. En Whatsapp heeft niet iedereen. Maar maak je maar geen zorgen, ik/jij bent altijd via sms te bereiken, en dan ben je helemaal niet afhankelijk van de app van een commercieel bedrijf.

edit: typo

[Reactie gewijzigd door david-v op 22 juli 2024 14:20]

[..Christiaan..]

Zo is dat. En bellen kan ook altijd. Het ging mij erom dat áls er een keer iets gebeurd het hele land in paniek is omdat iets niet werkt.
Nu weer die gasprijs; paniek en mensen gaan nu massaal hun huizen isoleren.....bizar toch? Bedrijven kunnen de vraag nu al niet meer aan....

[david-v]

Je kan het gebruiken als sms cliënt op Android, dan heb je er toch wat aan

[Wachten...]

Hier gaan we weer

Installeer gewoon Signal naast Whatsapp en probeer zoveel mogelijk via Signal te doen.

Je geeft in ieder geval de mensen zonder Whatsapp een kans om met je te communiceren. Als iedereen het 'gewoon installeert' dan kan het best hard gaan.

Ik merkte zelf wel het grootste verschil toen in Whatsapp er afgegooid had en iedereen een bericht gestuurd had dat ik vanaf heden enkel via Signal te bereiken was.

[..Christiaan..]

Hoe heb je dat bericht verstuurd dan?

[david-v]

Net voordat je whatsapp verwijderd?

Ik had zelf whatsapp for business geinstaleerd en daar een autoreply ingesteld voor iedereen die mij een bericht stuurde. Dat heb ik begin van het jaar aangezet en na een maand of 3 whatsapp verwijderd. Ging prima. Mensen met wie ik binnen 3 maanden contact heb gehad hebben of Signal geinstalleerd naast whatsapp of we communiceren verder via SMS, is ook geen enkel probleem.

[..Christiaan..]

Was ook een beetje ironisch bedoelt. Je gooit WhatsApp eraf en stuurt iedereen een bericht dat je alleen Signal gebruikt

[William_H]

Je zag het ook aan het telefoon en sms verkeer. Mensen zijn best wel flexibel als het moet. En dus een goed teken mocht een andere service eruit vliegen. Er is altijd nog telefoon, sms, telegram, Signal, Twitter, e-mail, postduif, rooksignalen...

[JDx]

Twitter was erg gezellig hoorde ik. Deed me een beetje denken aan een koude dinsdagavond toen ik nog in het centrum woonde en de stroom uitviel. Opeens zaten alle kroegen vol met mensen bij kaarslicht.

[Anoniem: 30722]

De hoeveelheid rooksignalen was wel een issue, ik kon de pluimen die voor mij bestemd waren niet altijd goed zien, dat line of sight is een ding dan. Ik heb de telex aangesloten!

[Gutteguttegut]

Die wind hielp ook niet mee, mijn berichten kwamen allemaal bij de buren aan.

[3_s]

Ik denk niet dat mensen voor zoiets direct overspringen op alternatieven, maar gewoon even afwachten.
Dat is toch wat ik hier in de omgeving zie.

[Kwizz]

Precies, dankzij de storing heb ik eindelijk m'n moeder kunnen overhalen om ook Signal te gaan gebruiken.

[Anoniem: 30722]

De gevolgen, 10 miljoen dollar per uur en een dalende beurskoers.

Komt nog bij dat signal het erg druk had met nieuwe gebruikers, dus de lange termijn effecten moeten ze afwachten. Maar maken we ons druk om dit bedrijf? Nee toch?

[Cid Highwind]

Gezien het aantal advertenties op de tijdlijn tegenwoordig gok ik in de miljarden...

[Fraaank]

SMS bestaat gelukkig al een tijdje, voor Apple mensen Facetime en je gelooft het niet...ik kon nog gewoon bellen met m'n telefoon!

[david-v]

Voor één op één communicatie is sms uiteraard een uitkomst. Maar de kracht van chatapps is dat je met een groep kan communiceren én dat het indirecte communicatie betreft, ofwel je leest een reageert wanneer je wilt. En de ervaring is dat je een groep niet zo makkelijk meekrijgt, behalve bij een dergelijke storing, dus misschien heeft het iets geholpen.

Op Android kan je Signal als sms cliënt gebruiken, dus ook al heb je niemand, je kan het daarvoor gebruiken.

[Jeroenneman]

Zodra de telco's echt actief aan de slag gaan met de uitrol van RCS, dan hoeft een groepsgesprek geen beperking te zijn voor sms.

[david-v]

Klopt, groepsgesprek en het kunnen vesturen van media/bestanden. Dan ben je volledig vrij om je eigen client te gebruiken en zijn we van die afhankelijkheid af.

[Saph]

Daar was ik ook benieuwd naar inderdaad. Schijnt dat Facebook 160-200 miljoen dollar heeft verloren, de waarde zal ook wel gezakt zijn dus het verlies zal denk ik nog groter zijn dan dat. Zuckerberg's fortuin is met zo'n 7 miljard gedaald, maar hij zat op 122 miljard dus dat valt opzich wel mee.

[Tjeerd]

Gisteren voor het eerst sinds jaren een sms gestuurd naar een vriend. Ook een vrijwilligersoverleg gisteravond waarbij één iemand op de hoogte moest worden gesteld die niet kwam opdagen waarbij we ook via sms een berichtje hebben gestuurd (hadden ook kunnen bellen natuurlijk). Maar gezien hoe vaak WhatsApp wél werkt, is de kans volgens mij net zo groot dat als je alleen sms zou hebben dit ook eens in de zoveel tijd wel eens last heeft of had van storingen.

[Reactie gewijzigd door Tjeerd op 22 juli 2024 14:20]

[FreshMaker]

Dat betwijfel ik
Het enige alternatief wat ik voorbij heb zien komen, waren wat smsjes extra

Maar mijn contactlijst vs Signal is nog steeds 11 op 500+ (zakelijk en privé )

[Blokker_1999]

Tsjah, je kan veel testen voor je het in productie zet, maar ik vermoed dat aanpassingen aan BGP net iets moeilijker te testen zijn buiten de productieomgeving.

Het toont wel aan dat je goede noodprocedures moet hebben. Waarom bijvoorbeeld geen extra internetlijn in je datacenters specifiek voor wanneer je issues hebt met je eigen systemen? Of hoe kan het dat er moeilijkheden zijn om binnen te komen in je eigen datacentra, waar zijn de noodprocedures daar?

En dat mensen ter plaatse niet de nodige kennis hebben voor de configuratie komt inderdaad voor, maar ook daar bestaan weer oplossingen voor als je een beetje creatief denkt. Heb zelf ook al in het datacentrum gezeten met laptop aan de ene kant op de telefoonhotspot en aan de andere kant verbonden met de router om dan iemand anders remote de problemen te laten oplossen die ze zelf veroorzaakt hebben.

[Sjaakys]

Ik dacht precies hetzelfde. In het andere artikel staat dat een klein team van medewerkers naar het datacenter in Santa Clara is gestuurd. Waarom niet een hotspot maken met je mobiel / back-uplijn en via teamviewer / remote tool inloggen op een laptop en deze fysiek aan de benodigde devices hangen? Ik mag hopen dat het personeel op locatie daar toch wel bekwaam genoeg voor is.

[J_van_Ekris]

Vraag is natuurlijk wat voor personeel het is (alleen hardwaremensen die spares wisselen) en of je de beschreven procedure de afgelopen decennia er niet uit hebt proberen te rammen vanwege social engineering technieken.

In dit soort situaties krijg je hele rare zaken: alles staat op die interne systemen die onbereikbaar zijn. Wellicht dat men een interne ip-gebaseerde telefooncentrale heeft (ja, er is zoiets als teveel centralisatie) waardoor Santa Clara gewoon in praktijk onbereikbaar is geworden. De nummers van vaste lijnen en prive mobieltjes staan waarschijnlijk ook op dat interne onbereikbare systeem. Als iemand mensen weet te bereiken lukt het wel, maar die eerste coordinatie...

[Sjaakys]

Ja zo had ik het inderdaad nog niet bekeken. In zo'n grote organisatie heb je natuurlijk niet zomaar een contact in je mobiel staan van een vestiging ver weg.

[david-v]

Offtopic: waarom je gemind wordt is werkelijk te gek voor woorden (wie doet dat en waarom?). Ik heb je geplust.

[bbob]

Veiligheidsrisico ?

[Stoney3K]

Meestal is de policy in zo'n DC dat eigen devices niet door de deur heen komen, dus even een hotspotje maken met je mobiel zit er dan niet in. Maar dat verandert nog niets aan het feit dat een backuplijn hier echt ontbrak en dat dat toch wel een stukje nalatigheid is.

En het idee dat je eigen mensen er niet in kunnen omdat de badges afhankelijk zijn van het systeem wat down is en wat je juist probeert te fixen, tja... wat moeten we daarvan zeggen.

[moredruid]

Dat ze niet mee mogen, daar zouden ze wellicht wel een uitzondering voor kunnen maken, maar het kan ook zijn dat de serverruimte als een soort Farraday cage is ingericht om dit soort signalen te storen. Je backuplijn zit in principe toch weer aan hetzelfde netwerk geknoopt dus dat hoeft niet per se dit probleem op te lossen (getuige het feit dat de badgereaders ook in hetzelfde netwerk zaten en niet werkten). Cisco (en ik neem aan alle andere grote netwerkspelers) heeft niet voor niets een rollback commando waarmee je herstart in de oude config in hun cli ingebouwd om downtime te beperken (mogelijk werkt dat ook niet zoals gewenst als je vanaf tftp boot maar daarvoor ben ik er te lang uit).

Het zal ook niet geholpen hebben dat ze elkaar niet makkelijk op de hoogte konden houden door de voortgang in een groepsapp te zetten

[Stoney3K]

Je backuplijn zit in principe toch weer aan hetzelfde netwerk geknoopt dus dat hoeft niet per se dit probleem op te lossen (getuige het feit dat de badgereaders ook in hetzelfde netwerk zaten en niet werkten).

Dan is het dus geen backup-lijn maar hooguit een redundante verbinding naar buiten.

Een out-of-band backup verbinding moet juist volledig onafhankelijk te bereiken zijn, vandaar dat het een "out-of-band" verbinding is.

[FreshMaker]

Ik dacht precies hetzelfde. In het andere artikel staat dat een klein team van medewerkers naar het datacenter in Santa Clara is gestuurd. Waarom niet een hotspot maken met je mobiel / back-uplijn en via teamviewer / remote tool inloggen op een laptop en deze fysiek aan de benodigde devices hangen? Ik mag hopen dat het personeel op locatie daar toch wel bekwaam genoeg voor is.

Ik denk dat ze dát niet bedacht hebben

Of misschien ontbrak dat ook aan die kant, geen personeel, of aanwezige personeel geen toegang tot die ruimte ?
Die remote software moet er maar op staan.

Daarbij, het idee dat je 'zomaar' een verbinding kan verleggen zonder dat er credentials gevraagd worden lijkt me ook wel heel onveilig.
( en dus daarom geen toegang door derden ? )

[Keypunchie]

Ze hebben het nog redelijk netjes gedaan ergens.

Dat wil zeggen, ik heb outages meegemaakt die langer duurden. Wel iets minder gebruikers.

Volgens mij is gebrek aan communicatie hier het allerlastigste. Als je niet via de gebruikelijke tools met je teamgenoten kunt communiceren en je ook niet bij interne documentatie en bijvoorbeeld een wachtwoordkluis kunt, dan ben
je vooral veel tijd kwijt om daar workarounds voor te maken, voordat je me de daadwerkelijke analyse en probleemoplossing kunt beginnen.

Heb het bvb. wel meegemaakt dat Slack down was en mijn team ad hoc naar een andere
messenger moest overstappen, maar ook management en communicate-afdeling. Dat kost je een duur uurtje om dat goed ‘up and running” te krijgen.

[mocean]

En om het secure te krijgen! Want als je in App groepen zit (zat) op Whatsapp of Facebook for business, wie zegt dat een nieuw groepje op Discord of Telegram wel veilig is?

[david-v]

Whatsapp en Facebook groepen gebruiken voor je business communicatie lijkt me hoe dan ook niet bepaald ok. Wij (ict bedrijf) mogen dat ook echt niet gebruiken.

Edit:typos

[Reactie gewijzigd door david-v op 22 juli 2024 14:20]

[Tweakert2020]

WhatsApp voor business?

[CSB]

Is nog steeds WhatsApp.

[Tweakert2020]

Zeker, maar ik zou niet weten wat het probleem is om Whatsapp zakelijk te gebruiken?

[david-v]

Omdat het eigendom is van een bedrijf die als doel heeft het commersialiseren van de (meta)data van zijn gebruikers. Dat is hun verdienmodel. Lijkt me niet de juiste tool om zakelijk te gaan gebruiken, maar dat is mijn mening.

[david-v]

Een van de redenen (er waren er uiteraard meer) waarom ik het besluit heb genomen eerder dit jaar om helemaal met whatsapp te stoppen. Probeer het eens uit, whatsapp voor business...dan weet je wat je te wachten staat straks als argeloze consument. Eerlijk is eerlijk, voor de massa zal het echt niet boeien, die volgen wel het pad die Facebook voor ze neerlegd, maar voor mij persoonlijk als techneut een gruwel

[Tweakert2020]

Kan ik dat gewoon gebruiken?

Maar is het zo erg dan om WhatsApp voor zakelijke communicatie te gebruiken?

[david-v]

Je kan het gebruiken ook al heb je geen bedrijf, het is nog steeds gratis. Je normale account wordt dan omgezet naar whatsapp business. Ik weet alleen niet of je dan terug kan....maar, je krijgt er wel wat functionaliteit bij, zoals automatische reply's. Dat heb ik gebruikt om mensen duidelijk te maken dat ik whatsapp ging verwijderen en dat ik bereikbaar was via Signal, sms of bellen.

[bbob]

Je kan het best gebruiken voor communicatie tussen jou business en klanten. Intern met gevoelige zaken is misschien weer iets anders.

[GewoonWatSpulle]

Maar ligt dat aan Whatsapp en Facebook of ligt dat aan de gebruikers. Er worden vaker dingen verboden binnen bedrijven vanwege de gebruikersgroep dan vanwege het platform ansich.

[david-v]

Vanwege het platform. Een bedrijf die als businessmodel het commercialiseren van de (meta)data van de gebruikers heeft is misschien niet heel verantwoord, vooral richting je werknemers, laat staan als het over gevoelige informatie gaat

[GewoonWatSpulle]

Je eerste punt zou een reden tegen het platform kunnen zijn, je tweede punt is precies wat ik bedoel met verboden vanwege gebruikers.

[mocean]

Ik doelde op de mensen bij Facebook zelf, die zullen het wel gebruiken.

[DaMonkey]

Dus je zegt dat Facebook medewerkers best geen Whatsapp en Facebook (of gerelateerde service zoals workplace) gebruiken omdat Facebook niet te vertrouwen is met de data, en het volgens jou ICT bedrijf dus een gevaar is voor Facebook om Facebook te gebruiken?

(Ik vind persoonlijk wel dat Facebook een snelle en stille dood mag sterven, samen met andere "social media", maar ik vind je comment een beetje ongepast hier, net zoals Microsoft medewerkers linux met nextcloud, google drive en zoom zouden moeten gebruiken, want Windows, sharepoint, one drive en teams zouden lek kunnen zijn en je wilt niet dat al je data bij 1 bedrijf zit wie weet wat ze er mee doen, die gemene maker van eigen producten)

[david-v]

Nee dat heb ik helemaal niet gezegd, dat is hoe iemand anders het interpreteerde. Later kwam de reactie dat het zo bedoeld was, voor de medewerkers van Facebook zelf, dat is een ander verhaal. Ik zou als bedrijf (buiten FB om) niet whatsapp en Facebook groepen gebruiken voor onderlinge communicatie.

[Keypunchie]

In geval van verstoring mogen sommige procedures wel wijken :-) Uiteraard ga je niet op een publiek forum ofzo posten, maar uitwijken naar een private groep in een grote messaging-app kan ik achteraf heus wel verantwoorden richting de security officer.

En als we bijvoorbeeld iets gedaan hebben als een wachtwoord gedeeld in die chat, dan wordt er een change ingepland om dat wachtwoord te wijzigen.

[mocean]

Ja, punt is hoe zoek je op wie je in die nieuwe groep moet stoppen? Als dat lukt met je Whatsapp groep overtikken dan lukt het wel ja.

[Keypunchie]

Mijn ervaring: dat ging gedecentraliseerd.

Eerst belde ik met 1 of 2 collega's en we nodigden vervolgens overige benodigde collega's uit wanneer ze nodig waren (of met ons contact hadden gelegd). Altijd een beetje random wie welk telefoonnummer in zijn telefoon heeft.

Sommigen moesten nog registreren :-/

Uiteraard zit hier dus een risico, dat je per ongeluk een ongeautoriseerd persoon in de chat krijgt (waar je met Slack of Teams geverifieerde adressen hebt).

Maar uiteindelijk kon ik dit geval met 3 chats toe (waar normaal in Slack (of Teams) er 3 kanalen zouden zijn). Een technische met wat engineers voor het daadwerkelijk probleemoplossen, eentje met management (voor bepalen business impact en vervolgstappen) en eentje met communicatie, voor de realtime communicatie naar klanten/eindgebruikers.

[nero355]

Discord is echt pure spyware dus dat lijkt me sowieso niet echt slim in een zakelijke omgeving!

[Laurens__]

Inderdaad ja. Ik maakte ooit mee bij ICT afdeling waar de SharePoint omgeving een upgrade zou gaan krijgen. Op mijn vraag waar de roll-back documentatie was voor als het mis zou gaan: "... op SharePoint." Het duurde wel even om de collega's te overtuigen dat een geprinte versie van dat ene document dan misschien wel niet zo 'paperless office' was maar toch wel handig voor het geval dat. De upgrade ging uiteraard vlekkeloos

[lenwar]

Een lokale PDF van die procedure of op een share had dan natuurlijk ook volstaan, maar ik snap uiteraard helemaal wat je bedoeld. Zie hier ook het belang dat je niet zelf je status-pagina moet hosten.

[bbob]

Probleem is dat als ik het goed begrijp door de opzet van hun systeem een rollback niet meer gaat als je routers dus op afstand niet meer te benaderen zijn door de fout die nu is opgetreden.

[itlee]

Facebook heeft 15 datacenters wereldwijd, met hun eigen bgp, dns, netwerk infrastructuur. Denk je nu echt dat fb geen procedures heeft?

't probleem zullen ze heel veel sneller gevonden hebben als de down time, de oplossing implementeren ook.

Maar vergeet niet dat je te maken hebt met wereldwijde bgp tabellen over de hele wereld en zo ook je dns die je overal weer opnieuw moet propageren.

Dit proces kost gewoon tijd en geduld.
Daarnaast is 't zo dat security vaak door externe bedrijven gebeurt bij datacenters, als je geen verificatie systeem meer hebt wordt 't al snel geloven op je blauwe ogen en dan kan dus iedereen naar binnen.

Als laatste, ik denk dat de meeste tijd nog is gaan zitten in het zoeken van een nulmodem kabel of console kabel om fysiek op je router te connecten

[nero355]

Als laatste, ik denk dat de meeste tijd nog is gaan zitten in het zoeken van een nulmodem kabel of console kabel om fysiek op je router te connecten

Echte IT-ers hebben die gewoon ALTIJD bij zich!

[gooos]

Of waarom niet tenminste 1 van je diensten over een eigen set infrastructuur laten lopen die nooit gelijktijdig met de andere in een zelfde change zit...

Ik weet het, de kosten zijn de reden om het allemaal over dezelfde infrastructuur te laten verlopen maar dan heb je dus het risico dat je een social media account bij de concurrent moet gebruiken om de wereld op de hoogte te houden van wat er aan de hand is.

Ik ken trouwens ook een aantal organisaties die hun storingswebsite op een eigen domein hosten en op een server volledig buiten hun eigen infrastructuur, om juist de mogelijkheid te behouden om de buitenwereld op de hoogte te kunnen houden in geval van een grote (interne) storing.

[J_van_Ekris]

Of waarom niet tenminste 1 van je diensten over een eigen set infrastructuur laten lopen die nooit gelijktijdig met de andere in een zelfde change zit...

Nu ben ik niet los op BGP, maar kan dat ook niet tot conflicten leiden als conguraties strijdige info propageren?

[Stoney3K]

[...]

Nu ben ik niet los op BGP, maar kan dat ook niet tot conflicten leiden als conguraties strijdige info propageren?

Dat kán maar dat is dan ook weer te detecteren. En dan kun je de strategie toepassen van de laatste changeset (automatisch) er af gooien of rollbacken.

[J_van_Ekris]

Dat kán maar dat is dan ook weer te detecteren. En dan kun je de strategie toepassen van de laatste changeset (automatisch) er af gooien of rollbacken.

Wat niet handig is als je doel van de update is om een nieuwe config uit te rollen, en dat deze dan structureel een roll-back krijgt vanwege een bewust niet geupgrade deel van je infra.

Wat een punt is, naar mijn mening, is dat je een managementnetwerk moet scheiden van je gemanagde omgeving. Dus dat een storing naar de klant toe in ieder geval niet de interne systemen platlegt.

[Stoney3K]

[...]

Wat niet handig is als je doel van de update is om een nieuwe config uit te rollen, en dat deze dan structureel een roll-back krijgt vanwege een bewust niet geupgrade deel van je infra.

Dat is natuurlijk ook prima op te lossen: Als er een configuratie doorgevoerd wordt, dan geef je de nieuwe config een bepaalde grace period of je zorgt dat die door de eerste router die de config doorvoert, ook echt geverifieerd wordt in plaats van dat de buren het blindelings over gaan nemen.

Het gebrek aan (onafhankelijk) management-net is hier één grote blunder, maar het gebrek aan sanity checks op de configuratie lijkt me toch ook een tweede probleem.

[Fermion]

Nou het blijft simpel routeering, je moet weten wat je wilt bereiken, filteren, etc, komt over als een domme actie. Al helemaal incompetent dat het ruim 7 uur duurt om het ook nog eens te verhelpen. Ja je moet er wat over van weten, maar lijkt erop dat de engineer verkeerde informatie heeft ontvangen, maar kennelijk ging bij hem het lampje ook niet branden… Het fijne krijg je toch nooit te horen.

[cricque]

Yups, sommige dingen mag je zo goed voorbereiden en dan kan het nog verkeerd lopen. Zelfs gewoon simpelweg een domeinnaam overzetten (iets makkelijker uiteraard) kan nog stress geven. Zolang je snel kan reageren zal het allemaal nog meevallen. Als je iets meer "lokaal" zit, zoals alleen binnen de EU, dan heb je misschien afhankelijk van je service wel momenten met minder gebruikers en kan je dit nog wel dan plannen. Maar als je een wereldwijde dienst hebt dan heb je dit niet. En als er dan wat foutloopt dan heeft iedereen het wel gezien. Al bij al valt dit ongelooflijk goed mee. Je moet alleen goede procedures hebben, ik had gisteren nu toch niet zo graag bij het devops team gezeten.

[WillySis]

Wel een lullige fout dat de badges voor het datacenter niet meer werkte (verlopen?)
Wanneer eigen personeel gemakkelijk toegang kan krijgen, dan schakel je een stukje (lastige) communicatie uit. Hands-on werken is toch gemakkelijker dan iemand aansturen.

[rene_fb]

Dat zal niets met verlopen te maken te hebben, maar dat de passcanner niet in zijn backend komt om te kijken of die persoon toegang heeft.

[WillySis]

Dat betwijfel ik. Dan zou het eigen personeel ook geen toegang hebben.

[daan9999]

leuk hoor een extra internet lijn, maar het is allemaal niet zo simpel. Het (helaas) niet zoals bij ons thuis even een kabel in prikken en het werkt.

Er zullen allemaal peering's naar andere partijen en internet exchanges opgezet dienen te worden. dit moet aan beiden kant geregeld worden en is over het algemeen een tijd rovende klus, dit is ook een reden waarom dit vaak geautomatiseerd wordt:
https://engineering.fb.co...affic/peering-automation/

Facebook heeft op zijn 2 AS'en bijna 600 peers.
https://bgp.he.net/AS32934
https://bgp.he.net/AS63293

Het lijkt dus dat misschien dat die bgp automation de bgp advertisements eruit gegooid heeft?

[Stoney3K]

leuk hoor een extra internet lijn, maar het is allemaal niet zo simpel. Het (helaas) niet zoals bij ons thuis even een kabel in prikken en het werkt.

Er zullen allemaal peering's naar andere partijen en internet exchanges opgezet dienen te worden. dit moet aan beiden kant geregeld worden en is over het algemeen een tijd rovende klus, dit is ook een reden waarom dit vaak geautomatiseerd wordt:

Die trukendoos wil je dus niet loslaten op het management gedeelte van het netwerk. Dat zou normaal compleet gescheiden moeten zijn van het proces-gedeelte waar de routers hun werk doen (en waar dus de BGP hier de fout in ging). Vaak zijn het ook aparte fysieke poorten en switches juist om een situatie zoals dit te voorkomen.

En dat management-netwerk hangt dan via een compleet ander pad weer aan de buitenwereld, dat moet dus niet afhankelijk zijn van je eigen routers die plat gaan.

[mphilipp]

Ja, precies. Bepaalde zaken kun je gewoon niet (goed) testen buiten je productieomgeving. Alhoewel er misschien (maar ik ben geen netwerkpief) simulatiesoftware is om je config door te lichten.

Maar het belangrijkste is dat dit Facebook en de rest van de wereld aan het denken zal zetten om de volgende keer beter voorbereid te zijn op dergelijke problemen. Als je het echt niet vooraf kunt testen of je alles werkelijk goed hebt gedaan, moet je een goed plan hebben om de boel weer te herstellen. Daarbij moet je dus ook rekening houden met fysieke toegang tot je servers/routers e.d. in geval van een volledige netwerk collapse.

[lenwar]

Of hoe kan het dat er moeilijkheden zijn om binnen te komen in je eigen datacentra, waar zijn de noodprocedures daar?

Die zullen ze vast hebben en die werken blijkbaar ook, anders hadden ze helemaal niet binnen gekomen :-)
Het is ook net hoe het verwoord is. Het feit dat de noodprocedure nodig was, betekend dat er problemen waren om binnen te komen. Een noodprocedure is (vrijwel) altijd omslachtiger dan de normale procedure, en zal dus altijd extra tijd kosten.

Heb zelf ook al in het datacentrum gezeten met laptop aan de ene kant op de telefoonhotspot en aan de andere kant verbonden met de router om dan iemand anders remote de problemen te laten oplossen die ze zelf veroorzaakt hebben.

Is inderdaad een creatieve oplossing. Ik kan me echter voorstellen dat het voor een bedrijf als Facebook expliciet ten alle tijden verboden is om dit uit te halen in een data centre. Ongeacht de nood lijkt het mij onwenselijk om een onvertrouwd apparaat (in jouw voorbeeld een laptop) achter de firewalls/routers te plaatsen in het geval van Facebook.

[mocean]

Zorg dan voor een auto-rollback als de config niet is 'geaccepteerd' binnen X minuten of zo.

[Dicratium]

Dit zal binnen Facebook nog wel een flink feestje worden;

- Geen betrouwbare out-of-band
- Geen goede config controle
- Geen auto rollback of reload zonder config save
- Afhankelijkheid van interne netwerken en systemen van publieke diensten
- In de praktijk een single point of failure, of dat nu als letterlijke SPOF of als auto-rollout etc. is.

Ik heb met de engineers van Facebook te doen, lijkt me als IT'er echt een nachtmerrie om in te zitten met deze storing en de nasleep ervan.

[ed1703]

Een badgesysteem die continue netwerk nodig heeft (blijkbaar) is toch ook wel een dingetje hoor.
Die van ons hebben gewoon een cache en zolang de stroom niet uitvalt is er weinig aan de hand.
Maar geen out-of-band (ook geen multi-vrf?) is toch wel een zeer serieus probleem voor je bedrijfsvoering als techbedrijf.

[koppie]

Yep, maar ik verwacht dat de mensen die routing-tabellen beheren misschien nog nooit in dat rekencentrum zijn geweest, dus of cache dan genoeg was...

[wica]

Maar wat heb je aan een cache, als de betreffende personen al 6 maanden niet op locatie zijn geweest?

[ed1703]

Er kan dan altijd nog toegang worden verleend door andere personen. Van wat ik uit de berichten begreep kon helemaal niemand meer naar binnen. Zelfs geen mogelijkheid om ruimtes binnen kantoren te betreden. Dat is wel een ernstige designfout.

[PolarBear]

- Geen auto rollback of reload zonder config save

De vraag is of dat nu zomaar had gekund. Aangezien alle networkrouting stuk was en ze bij facebook een hoop services decentraal draaien kan ik mij voorstellen dat het niet zo simpel was als ff de network config terugzetten.

[eborn]

Auto-rollbak zorgt er meestal voor dat zodra je een device herstart of de verbinding ermee verliest, de config automatisch teruggezet wordt. Vergelijkbaar met een Safe-mode in een firewall, die er voor zorgt dat wijzigingen teruggedraaid worden als je jezelf buiten sluit.

[Stoney3K]

[...]

De vraag is of dat nu zomaar had gekund. Aangezien alle networkrouting stuk was en ze bij facebook een hoop services decentraal draaien kan ik mij voorstellen dat het niet zo simpel was als ff de network config terugzetten.

De devices en services kunnen toch zelf nog controleren of ze naar de buitenwereld kunnen communiceren? (En in dit geval is de 'buitenwereld' dus niet a.ns.facebook.com ) Als ze merken dat ineens alle communicatie met buiten weg valt -> Rollback en emergency broadcast zodat de rest dat ook in de smiezen heeft.

[Fraaank]

Ik heb niet met de IT'ers van Facebook te doen specifiek. Heb eerder te doen met IT'ers die een Ransomware-aanval moeten oplossen of recoveren. Die IT'ers zijn vaak de dupe van het uitkleden van de afdeling, alleen voor de centjes. En dan maar vingers wijzen als het zover is.

[elmuerte]

Misschien ook wel interessant om te melden dat deze downtime ook grote impact om Internet gehad heeft buiten Facebook's websites.

Because of missing DNS records for http://Facebook.com, every device with FB app is now DDoSing recursive DNS resolvers. And it may cause overloading ...

https://twitter.com/BlazejKrajnak/status/1445063232486531099

[nklerk]

Dat valt reuze mee. Niet te resolven DNS queries worden ook gewoon behandeld vanuit de cache. (Negative caching)

Het hele DNS “probleem” is het gevolg van het niet kunnen bereiken van de DNS servers omdat de route er niet was. En of dat nu DNS servers of global load balancers zijn die onbereikbaar zijn maakt niets uit.

Gezien bijna alle routes naar Facebook weg waren, zullen het “vrijwel?” Alle diensten zijn geweest die er uit lagen. Inclusief DNS

[Reactie gewijzigd door nklerk op 22 juli 2024 14:20]

[Anoniem: 30722]

Dit komt gewoon omdat mensen overal tracking van FB in willen zetten.
Voordeel, 2 pi-holes in huis, dan heb je er geen last van. (oke, minder last)

[Reactie gewijzigd door Anoniem: 30722 op 22 juli 2024 14:20]

[lenwar]

Uit nieuwsgierigheid. Had dit nog impact op al die diensten die authenticeren via Facebook? Je kan bij best een boel diensten/producten ‘inloggen via Facebook’ (o.a. Spotify, Marktplaats, Reddit, enz, enz, enz) of al die telefoonspelletjes die Facebook gebruiken om ‘vriendenl’ in het spel te vinden.

Dat hoor/lees je niks over?

[taway69]

Yep, inloggen via FB werkte gewoon niet. Ik had het op 2 sites geprobeerd. Ze hadden ook zelf een waarschuwing geplaatst dat het niet mogelijk is om op die manier in te loggen door de storing. Dit was er een van:

Facebook Login issues
We're currently experiencing technical issues with Facebook that are not allowing users to sign-in using their Facebook account. We're working with Facebook to get the issue addressed as soon as possible.

The workaround is to login using another provider such Twitter and Google or username/email and password. In case Facebook was the only provider configured, please go to Forgot password in order to add a password to your account using your email.

[lenwar]

Interessant dat dit eigenlijk nergens vermeld wordt omdat dit dus best wel een zichtbare impact heeft op heel veel diensten.

[Falcon]

Ja.

[FreshMaker]

Persoonlijk gebruik ik deze opties liever niet ( vaak )
Tegenwoordig gebruik ik inloggen via apple, ivm automatische anonieme mailadres.

Maar daar geld hetzelfde natuurlijk, als dat systeem er uitligt, kan je er niet meer bij.
Ik probeer zo veel mogelijk met de eigen inlog toegang te krijgen ( mail of usernaam )
Die kan je zelf in de hand houden.
Als Google er mee stopt, blijft mijn ![e-mail] nog wel in de database staan van webw!nkel.n! met het bijbehorende wachtwoord.
( pas las je die wil aanpassen / vergeten bent, heb je last van eerder genoemde afweizgheid van gmail )

mooi gecentraliseerde systemen, maar het maakt je net zo kwetsbaar, als dat het je in gemak voorziet

[lenwar]

Wat mij betreft is het grootste voordeel van 'inloggen met Facebook/Google/Apple/whatever' is dat je er redelijkerwijs vanuit kan gaan dat zij hun beveiliging op orde hebben.

Een boekenclubwebsite/willekeurige nichewebwinkel/enz is het maar afwachten hoe goed zij alles hebben geregeld met beveiliging en het opslaan van (gehashte) wachtwoorden enz. enz. enz. Dus op dat vlak is het helemaal niet zo'n raar idee om die diensten te gebruiken, maar je creëert inderdaad een strakke afhankelijkheid naar die partijen.

[FreshMaker]

Ik ( persoonlijk ) gebruik een eigen domeinnaam, waar automagisch alles wordt doorgestuurd naar mijn hoofdmailadres.
Een hacker die graag [e-mail] met wachtwoord 8c62aBhHTuvrYW wil gebruiken zal niet ver komen uiteindelijk.

https://tweakers.net/i/uL...FbzEQKMs.png?f=user_large

[lenwar]

Dat is inderdaad een aardig beginpunt.

Echter is het enige dat je daar mee afvangt, dat een 'hacker' niet je algemene e-mail adres heeft (voor spam/phishingdoeleinden). Het zegt niks over de veiligheid van je account. Het kan nog steeds heel erg vervelend zijn als je account op forum/webwinkel/whatever 'gehacked' wordt en namens jou allerlei zaken gedaan worden.

Ik 'denk' dat de meest ideale situatie zou zijn als we geen gebruikersnaam en wachtwoord meer hebben die bij een dienst worden opgeslagen. Zaken als FIDO2/Webauthn via bijvoorbeeld een yubikey ofzo, zou echt een goede uitkomst zijn als dat algemeen goed wordt.

[Krystman]

Aangezien Facebook beursgenoteerd is en dit grapje hun al genoeg heeft gekost, hoeven we zeker geen uitgebreide publieke post-mortems te verwachten? En moeten we het met leaks, hear-say en externe partijen doen of heeft iemand toevallig een link?

[Andros]

Tja, feitelijk is dat als gebruikers onze zaak niet. Mensen lijken te vergeten dat de gebruikers van Facebook niet de klanten van Facebook zijn.

[FrostyPeet]

Begrijp het wel van FB, alles over 1 "kanaal" laten lopen is goedkoper, eenvoudiger te beheren en overzichtelijker. Voor die ene dag downtime in zoveel jaar is dat een verdedigbare kosten/baten analyse.

Vraag me af hoever de "achterkant" van al die FB afdelingen ook geïntegreerd zijn qua databases. Dat FB en Insta een ander uiterlijk hebben, net als WA en FB messenger, maar aan de "achterkant" een en hetzelfde zijn.

Vermoed dat de gemiddelde gebruiker niet zal weglopen van WA, Instagram en FB, in tegendeel. Nu hebben "influencers" wat om over te praten met elkaar. "Legal" kan ook wat mensen inhuren, net als "sales". Mis nog net de documentaire op Discovery, een onderwerp bij Dr. Phil en de onvermijdelijke musical

[FreshMaker]

Wat denk je van de youtubers, de eerste 'analyses' door de professionals zullen al wel online staan

[iconnectit]

Een degelijk out-of-band netwerk is geen overbodige luxe denk ik dan.