Veel websites zijn niet bereikbaar door grote storing bij Cloudflare - update 2

Cloudflare heeft een grote storing, die websites wereldwijd lijkt te beïnvloeden. De dienst zegt het probleem te hebben gevonden en aan een fix te werken. Het is nog niet bekend wanneer die is geïmplementeerd.

Getroffen websites geven een 500 Internal Server Error. Onder andere cloudflare.com, gitlab.com en tinyurl.com zijn niet bereikbaar. Op het forum van Tweakers melden gebruikers ook problemen met de Ring-app en diensten zoals een boekhoudpakket.

De statuswebsite van Cloudflare meldde dinsdagochtend dat er 'wijdverbreide problemen' met de diensten en/of netwerken zijn. Inmiddels meldt de pagina ook dat het probleem is geïdentificeerd en dat er een oplossing wordt geïmplementeerd. Verdere details daarover zijn onbekend. Iedere 15 minuten geeft Cloudflare een update op zijn statuspagina.

Update, 09.08: De cto van Cloudflare zegt op Hacker News dat het om een probleem met de backbone gaat. Door zaken terug te draaien komen de diensten 'in delen' weer online. Volgens de cto gaat het 'niet om een wereldwijde storing', maar zijn wel 'veel plaatsen' getroffen.

Update 2, 09:25: Cloudflare meldt dat een 'oplossing is geïmplementeerd' en dat het de resultaten daarvan in de gaten blijft houden. Gebruikers melden dat diensten en websites weer bereikbaar zijn.

Reacties (142)

[Woesjah]

https://news.ycombinator.com/item?id=31820635

'Yes, not worldwide but a lot of places. Problem with our backbone. We know what. Rollbacks etc. happening' zegt Cloudflare's CTO (jgrahamc)

[awesterb]

Cloudflare post-mortem: https://blog.cloudflare.c...e-outage-on-june-21-2022/

[JDx]

Zat op Twitch en in Nevada hadden ze er last van en hier ook, vrij world wide toch?

[ToolkiT]

1 locatie aan andere kant van de wereld betekend natuurlijk niet dat het world wide is.. wel dat het niet alleen in de regio is...

[streefneef]

Het hoeft natuurlijk niets met elkaar te maken te hebben, maar sinds vanmorgen heeft XS4ALL / KPN zakelijk besloten om mijn DNS servers 194.109.6.66 en 194.109.9.99 uit te schakelen.
Klanten begonnen mij te bellen en ik heb de DNS servers omgezet naar 8.8.8.8 en 8.8.4.4 van Google, en toen ging alles weer goed.

Ik was niet op de hoogte dat ze dat zouden doen, maar na zoeken en bellen kwam ik tegen:
https://forum.kpn.com/int...reageren-niet-meer-567322
en
https://www.kpn.com/service/xs4alldns.htm

Kan toeval zijn, maar wellicht heeft iemand anders nog iets aan deze tip.

[DjoeC]

Beetje vreemde opmerking. Over die omschakeling inclusief de datum hebben de gebruikers zowel elektronisch als op papier bericht ontvangen. Ook stond het (zonder datum) in het gepersonaliseerde boekje dat je voor de overgang hebt gehad. Daarnaast is het ook in het *usenet) forum van xs4all gemeld. Vreemd dat je al die berichten gemist hebt.

[streefneef]

Nou, ik heb diverse mensen gesproken bij KPN, en niemand kon er iets zinnigs over zeggen. Er staat nu een melding uit.
We hebben zelfs samen het boekje doorgenomen, dat ik goed heb bewaard, en daar staat het in ieder geval NIET in. En ik heb mijn hele mailbox doorgespit en ook alle post van ze... niets. Je kunt niet verwachten dat ik de hele dag op hun site ga loeren of er wijzigingen zijn, die ze gewoon kunnen doorgeven aan mij.

[LanTao]

Ik heb wel e-mail gekregen van KPN omdat ik af en toe onverhoopt nog DNS requests naar 194.109.6.66/194.109.9.99/194.109.104.104 stuurde, en een papieren brief.

Ze deden dat niet voor IPv6; de v6-adressen van de XS4ALL-resolvers (2001:888:0:6::66, 2001:888:0:9::99) hebben nooit gewerkt voor KPN IP space.

[DjoeC]

Het bijzondere is eigenlijk dat de gecommuniceerde datum 27 juni is en niet 21 juni, de dag waarop jij blijkbaar al problemen hebt. Ik zit zinds de mail van xs4kpn op een alternatieve DNS, alleen al het feit dat ze bijhouden DAT ik als abonnee hun DNS "handmatig" heb ingesteld stoort me. Het privacy idee is echt weg.

[ToolBee]

Dat staat-ie hier al heel lang.
Hier merkte ik dat Firefox niet kon syncen. Nu weer wel.

[FreshMaker]

IPV beide DNS servers van Google te pakken, kan je ook die van quad9 erbij zetten als secundair ( 9.9.9.9 )
Of Cloudflare met hun 1.1.1.1
* of de malware/malicious dns van CF -> https://developers.cloudflare.com/1.1.1.1/setup/

Zo verspreid je het risico op gehele uitval van de aanbieder.

[Vinnie.1234]

Ik heb altijd bij het spreiden van de DNS van ja wat heeft het voor nut? Als Google zijn DNS er echt uit ligt is de kans dat je sowieso half internet niet meer kan bereiken zo groot dat die secundaire DNS ook weinig uit maakt...

[FreshMaker]

Daarom de twee grootste.
Als Google eruit ligt neem CF het wel over.

Dat Google de boel nu indexeert, wil niet zeggen dat de boel plat ligt zonder Google.
Ik wil het liefste zoveel mogelijk opties, vandaar dat ik een PiHole draai met 4 of 5 DNSservers.
Deze aanvragen worden dan netjes verdeeld hierover, dus als Google het niet kan opserveren, kan de andere het vast wel.
Primair staat hier de CF family (1.1.1.2)
daarna Adguard met de family/malware dns (94.140.14.15)
Dan Google ( 8.8.8.8 )
En daarna de providerDNS
Mijn router geeft via de DHCP/DNS het ipadres van de pihole, en secundair die van CF family

Geen last van blokkades op dingen als piratebay, maar wel bescherming tegen malware/malicious sites en wat tracking ( pihole met OISD blocklist )

[streefneef]

Het heeft nut als je de andere DNS servers in je forwarders zet van je eigen DNS server.
Op je eigen DNS server stel je dan alleen 127.0.0.1 in als DNS server en geen secondary.

Maar als je als primary en seondary 2 verschillende public DNS servers zet, en 1 van die 2 doet het niet, dan klopt het inderdaad dat de helft van je requests het niet doen.

Dit geldt althans in Windows netwerken.

[Inproba]

je ziet het netwerk dipje terug bij AMS-IX:
https://www.ams-ix.net/ams/documentation/total-stats

[nachtnet]

misschien een goed idee om nog eens uit te leggen (// linken naar) hoe cloudflare op de achtergrond van 1000-en websites diensten verleent en waarom een storing bij CF wereldwijd voor problemen zorgt.

[djwice]

CloudFlare zit eigenlijk juist op de voorgrond van enkele honderdduizenden websites.

Je wijst je domeinnaam naar CloudFlare en configureert CloudFlare als een caching proxy voor jouw server.

CloudFlare zorgt door de cache voor minder load op je server en blokkeert bad-actors zo veel mogelijk als ze kunnen. Zodat je server niet down gaat door een DDOS-aanval bijvoorbeeld.

Ze zorgen dat hun servers via de snelste verbinding bij je bezoeker komt, ze hebben meer dan 200 data centra wereldwijd om daarvoor te zorgen.

Dat is het zo'n beetje. Er zijn nog wat extra foefjes om je website sneller te maken en ze hebben een paar van dé bedenkers/ontwikkelaars van HTTP/2 en TLSv1.3 en DNSsec in dienst, die werkten er al toen ze de standaarden ontwikkelden.

En ze zijn heel transparant over hoe ze iets inrichten en hoe iets werkt, fout gaat of niet werkt. Zie hun blogs.

Andere leuke partij voor kennis zijn blogs van Qualys en Scott Helme en de (gratis) tools van Mozilla Observatory, Qualys en Scott Helme.

[Werelds]

Dat is het zo'n beetje. Er zijn nog wat extra foefjes om je website sneller te maken en ze hebben een paar van dé bedenkers/ontwikkelaars van HTTP/2 en TLSv1.3 en DNSsec in dienst, die werkten er al toen ze de standaarden ontwikkelden.

En ze zijn heel transparant over hoe ze iets inrichten en hoe iets werkt, fout gaat of niet werkt. Zie hun blogs.

En niet enkel dit, zij pushen dit soort dingen ook - en maken het dan gemakkelijk om uit te rollen. Niet elk bedrijf kon even makkelijk hun website op HTTP/2 of TLS 1.3 krijgen, omdat ze bijvoorbeeld bij een luie webhost zaten of omdat hun servers verouderde software draaiden die niet eenvoudig te updaten was. Het was altijd wel mogelijk, maar vereiste soms veel werk of flinke kosten investeringen (helaas zijn er ook providers geweest die goed hebben verdiend aan het fixen van hun verouderde setups...).

Daarnaast is het correct configureren van TLS lastiger dan het lijkt, want veel "guides" (lees: kopieer/plak bronnen ) zijn verouderd en helpen je niet met het uitschakelen van verouderde algoritmes en dergelijke.

Het belangrijkste is echter dat ze dit allemaal betaalbaar houden voor kleine bedrijven (winst lijkt ook niet echt een doel van ze te zijn). Je krijgt dan niet alles, maar wel de belangrijkste dingen zoals het CDN, het afhandelen van HTTP/2 (+3/QUIC), SSL, DDOS/bot bescherming. Waar zij geld aan verdienen is upselling: als je er eenmaal zit en ziet hoe goed het allemaal werkt, ben je sneller geneigd meer te betalen voor andere diensten; of als je groeit, voor nóg betere bescherming. Elders in deze comments worden "alternatieven" aangeraden, maar als je niet al een grote winstgevende organisatie bent zijn geen van allen betaalbaar. Sterker nog, sommige van die alternatieven kosten zónder daadwerkelijke infrastructuur (servers) meer dan wat klanten van mij met >100m requests per maand kwijt zijn aan hun hele infrastructuur - inclusief Cloudflare

[tc982]

Ik kan je zeggen dat als je naar Enterprise overschakeld bij Cloudflare de prijzen beduidend anders liggen. En daar halen ze hun geld vandaan.

[Werelds]

Weet ik

Wat CF echter biedt voor de kleinere bedrijven vind je simpelweg nergens anders. En zelfs dan nog kun je Enterprise relatief goedkoop krijgen. Wel vier cijfers, maar beginnend met een 1

[tc982]

Bij ons begint het toch met een 6 en 4 cijfers en dat maandelijks. Maar goed, je moet er ook wat voor over hebben voor hetgeen dat je wilt beschermen.

[Werelds]

Bij ons begint het toch met een 6 en 4 cijfers en dat maandelijks. Maar goed, je moet er ook wat voor over hebben voor hetgeen dat je wilt beschermen.

Hangt heel erg van van je wensen en verkeer, zij hebben geen gestandaardiseerde Enterprise pakketten. Ik heb slechts één klant die Enterprise nodig heeft en daar valt het allemaal reuze mee. Hun GCP rekening ligt al stukken hoger en dan zijn er enkele diensten voor core functionaliteit die eigenlijk absurd duur zijn.

[djwice]

Klopt helemaal. Ik heb zelf een proxy ontworpen op basis van een andere cloud provider cdn, die oude configuraties realtime 'patched', incl. HTTP headers en een deel van de content.

Kost voor een site met vijf miljoen hits per dag een paar duizend euro per jaar. Ga je van ssl op 1 IP en trage response, naar TLS 1.3, ipv4 en IPv6, DDOS layer 3, 4 en 7 mitigatie etc. met laadtijden soms onder de 70ms bij 2e bezoek, waar dat voorheen 700ms+ was.

Voor kleinere sites draait de realtime upgrade vaak al voor minder dan een euro per maand (hosting kosten).

De lage prijs schrikt grote bedrijven soms af, die denken: dat kan niet voor dat bedrag. Vaak kost een licentie van hun firewall voor 1 server (excl. hosting) meer dan de hele proxy met firewall, ddos en hosting inbegrepen.

En denken ze dat als hun firewall iets niet automatisch kan dat het onmogelijk is dat mijn product dat realtime kan tegen zulke lage kosten.

Dus ik mag nog leren hoe ik iets beter in de markt zet
Tips zijn welkom!

[Reactie gewijzigd door djwice op 22 juli 2024 22:15]

[Werelds]

Dus ik mag nog leren hoe ik iets beter in de markt zet
Tips zijn welkom!

Jij en ik beide

Ik had CF 12-13 jaar geleden goed kunnen gebruiken, maar ze begonnen toen pas net

[KilljoyNL]

Goede uitleg, dank je wel

[NielsFL]

Deze storing was niet wereldwijd. Een aantal lokaties had een probleem, waaronder Frankfurt. En veel van de websites die wij hier gebruiken lopen voor ons via hun lokatie in Frankfurt.

[Frenziefrenz]

Een aantal locaties verspreid over de hele wereld afaict.

[New Yorker]

Is er geen alternatief voor cloudflare?

[n9iels]

Zat, denk aan bijv. Amazon Cloud Front of Microsoft Azure CND. Ik denk alleen niet dat zij per definitie minder storing hebben. Het zijn allemaal grote jongen die als ze eruit liggen redelijk wat diensten op hun knieën kunnen krijgen.

[MarcoC]

Het is ook inherent aan zo'n dienst. Juist vanwege de schaal zijn ze in staat hun dienst te leveren. Maar dat betekent ook dat als er iets mis is, er veel websites getroffen worden.

[insyN]

Qbine van Serverius, werkt prima! Nederlands bedrijf, GDPR proof etc.

[Remco Tr]

Die van je ISP of bijvoorbeeld https://dns.watch.

1.1.1.1(cloudflare) en 8.8.8.8 (google) zijn niet heel privacyvriendelijk.

Andere optie is Pihole + Unbound.

Meer info: https://youtu.be/ZWabMpBGgUU

[RGAT]

CloudFlare doet wel even heel wat meer dan de gratis DNS die ze als bijzaak hosten...

[pe0mot]

9.9.9.9 8.8.8.8 45.90.28.225 zijn de beste 3, waarbij 8.8.8.8 ivm privacy niet aan te raden is.

[mjz2cool]

Maar dat zijn alleen maar dns servers. Cloudflare doet veel meer dan dat. Volgens mij lag de storing juist niet aan dns.

[pe0mot]

Klopt, maar de 100% fail krijg je als je DNS 100% weigert

[Goodbye4Life]

Waaronder TopDesk! Handig joh

[nimmolon]

En Zendesk, lekker rustig hier. Tijd voor andere dingen, koffie etc

[cracking cloud]

Gelukkig hangt de koffie automaat nog niet aan internet

[YoMarK]

Hier wel, onmisbaar. Als de bonen op zijn, dan moeten we ze, net als eerst, zelf bijvullen. Als er een storing optreedt, wat nu veel vaker zo is dan bij de oude automaten, dan weten ze dat wél direct. Maar de monteurs zijn nu wat drukker doordat er meer storingen zijn, dus duurt het oplossen langer.

[draadloos]

Oplos koffie dus?

[bahamapleister]

Tijdens de grote stroomstoring in Amsterdam een paar jaar terug werkten bij ons de koffieautomaten inderdaad niet (ook al zaten we in een andere stad) doordat inderdaad geen verbinding met de server tot stand kon worden gebracht.

[boeman1995]

Een always online koffieapparaat, very nice Ik kan me echt niet voorstellen dat het gewenst is dat zulke triviale dingen een verbinding naar buiten moeten hebben om te functioneren...

[mcDavid]

Dat zo'n ding een netwerkverbinding heeft valt nog wel uit te leggen. Dat hij vertikt om koffie te zetten als het netwerk even onbereikbaar is, niet bepaald...

[SPee]

Tenzij je voor de koffie moet betalen.

[YopY]

Die dingen worden vaak geleased in combinatie met een onderhoudscontract, ik denk dat het een soort DRM / beveiliging is zodat de afnemer niet buiten het boekje gaat. Ik denk dat er een phone home gaat als het apparaat bijvoorbeeld verplaatst of geopend wordt.

[Sluuut]

Alles verSAASen want dat is beter!

[Koen1997]

Onze Servicedesk wilt naar Ziggo bellen, dingen zoals de pincode en het telefoonnummer staan in TOPdesk. Oh wacht...

[targaryanwolf]

Daarom heb je een calamiteiten ordner met dat soort belangrijke info op papier, mocht er stront aan de knikker zijn kun je toch nog iets.

[Alex3]

Wel buiten bewaren voor als de pasjes niet werken.

[YopY]

In theorie idd. Als het goed opgezet wordt heb je die ook. Maar vervolgens wordt die nooit bijgewerkt...

[targaryanwolf]

Hier wel, elk kwartaal

[brainz038]

Hier doet ie t weer

[Mike040]

VA > SaaS

Blij dat we bij ons alles zelf draaien.
Alhoewel, dat zorgt er dan ook wel weer voor dat ik vanavond weer aan de bak moet

[WoBBeL]

Hier ook veel problemen met de DNS 1.1.1.1 / 1.0.0.1 die als sneeuw voor de zon verdwijnen als wij een andere DNS gebruiken.

[pe0mot]

Een goede reden om niet beide DNS van dezelfde provider te gebruiken.
Mijn favoriete twee zijn 9.9.9.9 en nextdns

[Helium-3]

Ik gebruik 1.1.1.1 en 8.8.8.8. Als die allebei down zouden zijn kan ik net zo goed even met de collega's of m'n vriendin een ommetje in de natuur gaan maken, omdat de kans dan vrij groot is dat mijn normale werkzaamheden toch tijdelijk niet doorgaan

[Saeverix]

Ik heb sinds vanochtend ook Quad9 DoH erbij gezet. Want de DoH servers van Cloudflare lagen er vanochtend ook uit.

[NielsFL]

DNS resolvers zijn echter niet bijster intelligent. Afhankelijk van het type storing kan je computer op de primaire DNS blijven hangen, waardoor je toch nog storingen of grote vertragingen ervaart.

[jeffrodo]

Ik gebruik al tijden 1.1.1.1 / 1.1.1.2 voor IPv4, IPv6 en ook via DoT. Ik heb DoT uitgezet en alles begon weer te werken. Het zou dus kunnen dat voor DoT een service gebruikt wordt die geraakt werd door de load balancing problemen.

Ik zit nu gewoon nog op 1.1.1.1 /1.1.1.2 (klassieke DNS) en dat werkt gewoon op dit moment.

[supersnathan94]

Zoals eerder ook al door iemand anders aangegeven 1.1.1.2 is een "child-friendly" DNS variant van 1.1.1.1 en niet de secondary DNS voor 1.1.1.1 (dat is namelijk 1.0.0.1)

Cloudflare heeft drie smaakjes: normaal, Malware-block, adult content block.
primary: 1.1.1.1, 1.1.1.2, 1.1.1.3
secondary: 1.0.0.1, 1.0.0.2, 1.0.0.3

Kun je ook terugvinden op: https://one.one.one.one/family/

[4Lph4Num3r1c]

Dit is eigenlijk het laatste bedrijf waarvan je zou verwachten dat het compleet offline is. (Of op zijn minst hun eigen corporate site). Hun hele bestaan draait om redundancy....

Maar toch is alleen 1 grote 500 error melding zichtbaar op www.cloudlfare.com inderdaad.

En weer up 46 minuten later....

[Reactie gewijzigd door 4Lph4Num3r1c op 22 juli 2024 22:15]

[Kiedis]

De status pagina blijft het wel doen: https://www.cloudflarestatus.com/

[4Lph4Num3r1c]

Die hosten ze dan vast niet zelf

Even checken: nee inderdaad, dat doet Atlassian.

[Reactie gewijzigd door 4Lph4Num3r1c op 22 juli 2024 22:15]

[Cartman!]

15 minuten geleden deed die pagina het hier ook niet anders

[Heineken]

Ook NS.nl heeft er last van. Inloggen gaat niet, veel andere functies werken nog wel.

[Reactie gewijzigd door Heineken op 22 juli 2024 22:15]

[Morpheus2003]

Rond 08.30 uur begon het. Precies toen ik in TOPdesk wilde inloggen

[Xixmeister]

Heel herkenbaar!!! Zwaar balen zeg!!

[Drardollan]

De status website om 07:09 UTC:

The next update should be expected within 15 minutes.
Jun 21, 06:43 UTC

Ze hebben iets andere kwartiertjes dan wij

Maar ook die hele status pagina gaat nergens over. Staat netjes een melding, maar vervolgens staan alle diensten als "Operational" (op de API na).

[Reactie gewijzigd door Drardollan op 22 juli 2024 22:15]

[R4gnax]

Staat netjes een melding, maar vervolgens staan alle diensten als "Operational" (op de API na).

Tja; als 1 op de 100 requests nog doorkomt, dan draait het nog steeds. Het is niet 100% volledig down.
(En dat is hoe je jezelf onder de boete-clausule's in SLAs uitwurmd.)