CloudFlare raakt offline door storing op edge-servers

Door Dimitri Reijerman, zondag 3 maart 2013 14:20, 37 reacties, 17.816 views • Feedback
Submitter: chronoz

De 'burst-dienst' CloudFlare is een uur offline geweest als gevolg van een storing bij zijn edge-servers. Als gevolg van de storing bij CloudFlare waren honderdduizenden websites tijdelijk onbereikbaar.

De problemen ontstonden volgens CloudFlare-ceo Matthew Prince toen er een wijziging in de routering werd doorgevoerd. Hierdoor zouden de edge-servers, die de communicatie verzorgen tussen het CloudFlare-netwerk, zijn vastgelopen. Als gevolg hiervan werden honderdduizenden websites die gebruik maken van de burst-dienst onbereikbaar omdat de dns- en proxyservers van het bedrijf niet langer waren te benaderen via internet. Prince stelde dat de gecrashde edge-servers opnieuw opgestart moesten worden om de verbindingsproblemen op te lossen. Dit duurde circa een uur.

De ceo noemt de downtime van een uur 'geheel onacceptabel' en belooft zijn klanten te compenseren. Het zou de derde downtime van betekenis zijn geweest sinds het bedrijf vier jaar geleden begon met het aanbieden van zijn bursting-service. De netwerkinfrastructuur van CloudFlare moet juist voorkomen dat websites offline geraken als gevolg van bijvoorbeeld ddos-aanvallen. Het bedrijf liet onlangs weten dat het maandelijks circa 70 miljard pageviews verwerkt aan circa 600 miljoen gebruikers. Daarmee behoort het tot de top 10 van grootste 'websites' ter wereld.

Reacties (37)

0 Conzales
3 maart 2013 14:27

De netwerkinfrastructuur van CloudFlare moet juist voorkomen dat websites offline geraken als gevolg van bijvoorbeeld ddos-aanvallen.

Ha,.. ironisch.. Keer op keer wordt duidelijk dat 'The Cloud' niks anders is dan 'hot air'

Handig voor backup, verder niks. Dit is pas het begin van de problemen voor clouddiensten. Het wordt verkocht als een soort utopia; alles lekker buiten de deur, veilig, goedkoop (ahum..), geen zorgen om backups (ahum..) en het tegendeel wordt toch maar weer bewezen. Ik geef het nog een jaar of 5 en dan is het hele cloudgebeuren 'overgewaaid'

Niet alleen mijn idee, "The Woz":
http://www.businessinside...he-next-five-years-2012-8

[Reactie gewijzigd door Conzales op 3 maart 2013 14:33]

Keypunchie
@Conzales • 3 maart 2013 14:56

Je moet toch echt "de cloud" definieren voordat je zoiets roept. In essentie is "the cloud" namelijk niet veel anders dan "een dienst via het internet van gesharede servers afgenomen, in plaats van lokaal of van dedicated servers".

Dat lijkt me de hele essentie van internetdienstverlening en 'cloud' is wat dat betreft inderdaad gewoon een marketing term. Vroeger heette dat "time-sharing", daarna "virtualisatie", toen "as-a-service" of "utility computing" en nu "cloud". Ongetwijfeld over 5 jaar een ander mooi woord, maar het blijft hetzelfde.

Computing als dienst afnemen is al heel oud en gaat niet zo snel weg. Of zie jij al die kleine bedrijfjes hun eigen dedicated server parken opbouwen, als ze het ook voor een habbekrats kunnen blijven uitbesteden aan de Amazons, Google's en andere cloud- and serviceproviders van de wereld?

Ook CloudFlare, die ik niet zo goed ken verder, zal wel blijven bestaan. Het lijkt me gwoon een specialistische versie van wat ook wel CDN (Content Delivery Network) werd genoemd. Is dat een cloud-dienst? Ja, kun je zo zien.. Wil je daar vanaf? Tenzij je graag heel veel geld in je eigen infrastructuur investeert om die de hele tijd te laten idlen... nee.

[Reactie gewijzigd door Keypunchie op 3 maart 2013 14:58]

+2 Niosus
@Conzales • 3 maart 2013 15:18

Langs de ene kant heb ik ook last gehad van de downtime en heb ik ook eerst eens door al mijn logs gekeken om te zien waar het mis zat. Zeer irritant...

Langs de andere kant besef ik ook dat Cloudflare enorm veel geld uitspaart. Een uurtje downtime in de globaal gezien vroege uurtjes is niet het eind van de wereld voor een nieuwssite. Ik kan goed begrijpen dat voor belangrijkere diensten dit onacceptabel is, maar zolang dit soort voorvallen heel beperkt blijven kan ik er zeker mee leven.

Cloudflare stop voor ons 75% van de requests en 65% van de traffic volume. Dit is dus een significante besparing op vlak van traffic costs en server load (waardoor we dus langer zonder upgrade kunnen). Het heeft inderdaad zijn nadelen, maar zeker ook voordelen.

Voordeel van dit is ook dat als er iets mis gaat op dat vlak in de vroege uurtjes ik niet meteen uit mijn bed moet om het op te lossen. Daar zorgen zij gewoon voor. Om te denken dat je dit zelf nooit voor hebt is gewoon hypocriet. Ik weet het, niet acceptabel voor belangrijke services, maar voor veel sites maakt het echt niet veel uit. Heel de VS slaapt, het is zondag voormiddag in Europa dus 99% van de bezoekers gaat dit niet eens geweten hebben.

Als je dienst echt zo belangrijk is dat je geen downtime mag hebben, doe dan alles zelf. Is heeeeel af en toe een beetje downtime geen ramp? Dan kan je een hoop geld besparen door Cloudflare voor je site te zetten. Meer is er niet aan...

wica
@Conzales • 3 maart 2013 14:55

Cloud dienst heeft zijn voor en nadelen. Welke als bedrijf zijnde goed moet begrijpen.

- Alleen Cloud is geen garantie tegen downtime.

Wij werken bijvoordeelt, met cloud en onze eigen infrastructuur. En mix dus, hierbij kan of de Cloud uitvallen of onze eigen infrastructuur zonder dat de klant er iets van merkt.

In de meeste gevallen is de Cloud bij ons, om onze eigen infrastructuur te ontlasten... en bepaalde "bezoekers" buiten de EU snel te kunnen bedienen.

Je kan als bedrijf zijnde nooit alleen op de Cloud vertrouwen.

Dat is een beetje het zelfde, als je ergens niet kan komen omdat je TomTom het niet doet!

Yggdrasil
@wica • 4 maart 2013 00:00

Natuurlijk kun je als bedrijf wel alleen op de cloud vertrouwen. Zolang je op de hoogte bent van de risico's en de nodige maatregelen neemt is er niks aan de hand.

Bedrijven besteedden vroeger ook hun hosting volledig uit aan datacenters, en wisten dat een storing in dat datacenter tot problemen zou leiden. Dus nam men maatregelen in de vorm van redundantie voor bedrijfskritische diensten. Waarom zou de bij 'cloud' opeens anders zijn? Als het belangrijk is moet je niet alles op een paard wedden. De moderne management-tools en utility-pricing maken het in de cloud juist extra makkelijk om dit soort redundantie in te bouwen, of het nu om meerdere datacenters of zelfs cloud-providers gaat.

Zoals altijd, ken de voor- en nadelen van de diensten die je gebruikt, maak een risicoanalyse, schat de kosten van die risico's, en bepaal hoeveel je wilt betalen om die risico's af te dekken. Ik denk dat voor veel kleine en middelgrote bedrijven de mogelijkheden van de cloud tot flinke kostenbesparingen leiden, voor eenzelfde kwaliteitsniveau.

Titan_Fox
@wica • 3 maart 2013 22:38

@wica : Dit soort geneuzel is voor mij reden om mijn eigen cloudservice te draaien die op mijn twee D-Link NAS'sen draait. Ik wil mijn belangrijke gegevens niet op de servers van derden hebben staan (waar ik ook nog voor moet betalen en waar limieten aanzitten).

Yggdrasil
@Titan_Fox • 3 maart 2013 23:50

Wat hebben jouw NASsen met een cloudservice te maken? Je kunt geen gebruik maken van utility-pricing, hebt geen voordeel van schaalvergroting, en moet het beheer zelf doen. Het zijn gewoon een aantal lokale harddisks. Daar is niks 'cloud' aan.

Net zoals cloud-storage risico's heeft, heb je met lokale harddisks weer eigen risico's. Je betaald vooraf voor piek-capaciteit, bent begrenst in opslagcapaciteit, bent afhankelijk van je consumenten-internetverbinding voor toegang op afstand, hebt al je data on-site met risico's van diefstal en brand, etc.

Daarnaast is jouw privésituatie niet vergelijkbaar met die van een bedrijf. Dat je je privégegevens niet op servers van derden wilt hebben staan is je goed recht, maar niet relevant in een discussie over de voor en nadelen van cloud voor bedrijven.

Titan_Fox
@Yggdrasil • 4 maart 2013 15:24

@Yggdrasil : Op mijn NAS'sen staat een cloud-app die ervoor zorgt dat ik een persoonlijke cloud heb. Ik kan overal ter wereld aan mijn eigen data, die bovendien in eigen beheer is. Dat is voordeliger, veiliger en efficiënter dan een soortgelijke service van derden af te nemen.

i-chat
@Titan_Fox • 4 maart 2013 19:33

je hebt echt geen idee waar het over gaat he,

hoe kun je in godsnaam een bursting service vergelijken met wat opslag op wat schijfjes. dit soort zaken gaat om netwerk caps vergroten en zorgen dat er toch data beschikbaar is wanneer je eigen servers overbelast raken.. daar is routing voor nodig... ook als je al die servers wel in eigen beheer hebt... gaat die routing fout ligt je data structuur op z'n gat .... net als wanneer jij niet bij je schijfjes kunt als je homeroutertje vast loopt door te veel bittorrent verkeer...

wica
@Titan_Fox • 4 maart 2013 20:16

Lol, eigen cloud op D-Link NAS *lol* Sorry dat ik er mee lach. Zie je NASjes nog geen 200TB+ dataverkeer per maand afhandelen

+1 wildcheese
@Conzales • 3 maart 2013 15:14

Dat artikel van "The Woz" is ook echt zo'n gedachte goed van de mens op leeftijd. Vergelijk het met geld in een oude sok onder de matras of op de bank (okay, soms kun je beter een oude sok hebben), of met cash betalingen versus plastic. De nieuwe generaties heeft geen probleem met virtueel geld, of virtueel in het algemeen.

The Woz daarintegen: "I want to feel that I own things," Wozniak said at the event. "A lot of people feel, 'Oh, everything is really on my computer,' but I say the more we transfer everything onto the web, onto the cloud, the less we're going to have control over it."

En voor zijn generatie is dat inderdaad zo, die willen fysiek dingen voelen. De nieuwe generaties groeien op met iCloud en wat al niet meer. Die willen niet meer zonder. Die gooien hun ouwe sokken gewoon weg...

+1 humbug
@wildcheese • 3 maart 2013 15:37

Tsja, dat de jongere generatie alles maar op het internet gooit en daar niet meer zonder kan, wil niet zeggen dat de stelling "the more we transfer everything onto the web, onto the cloud, the less we're going to have control over it." incorrect is.

De vraag is in hoeverre we die controle willen houden. Veel mensen maakt het weinig uit dat hun hele leven op het internet staat en voor iedereen toegankelijk is. Sommigen vinden dat geen prettig idee. Uiteindelijk zal er een voor iedereen acceptabele situatie uit moeten rollen. Maar voorlopig lijken vooral bedrijven te profiteren en vaak ten koste van "de nieuwe generatie". Maar als die het geen probleem vindt... Maar dan ook niet huilen als een werkgever je afwijst op basis van je facebook profiel.

0 goeroeboeroe
@wildcheese • 3 maart 2013 15:25

Zoals je zelf al zegt: soms kun je beter een oude sok hebben

i-chat
@goeroeboeroe • 4 maart 2013 19:47

maar ook oude sokken, en met name die ene boven de haard zjin niet atijd veilig om je duiten in op te slaan dus waar haal je dan vandaan, dat je je geld beter in een oude sok kunt stoppen...

banken kunnen vallen, sokken kunnen branden, plastic wordt geskimt, maar wil je dan ECHT beweren dat omdat de ene oplossing fout is, je automagisch kunt aannemen dat de ander dus goed is?....

heb je dan NIETS geleerd over resicospreiding versus single point of failure?

[Reactie gewijzigd door i-chat op 4 maart 2013 19:47]

notsonewbie
@wildcheese • 3 maart 2013 15:33

Je reactie richting "The Woz" is ook echt zo'n gedachte goed van een jeugdige, die al als kleuter pc's zag, mocht aanzetten misschien?

Juist de mensen met kennis van zaken zien IT als een tool, maar een steeds zwakkere.

Gewennig en kwantiteit is niet gelijk aan: minder faalbaar. Integendeel.

Cash geld opheffen zal vele tranen doen vloeien.

i-chat
@notsonewbie • 4 maart 2013 19:56

geld kan branden, dan is het weg, je beurs kan gejat worden dan is het weg, een rover kan je de kop voor afhakken en zowel je leven als je geld zijn weg...

minder cash geld is minder berovingen, omdat minder directe (en dus gemakkelijk onrechtmatige) invloed op geld stromen .... ik denk dat velen moeders vrouwen en dochters van bijv pomp-bedienden ook zullen wenen, maar dan van opluchting niet van verdriet....

maakt dit digitaal geld per definitie veiliger, nee natuurlijk niet, en is digitaal geld per definitie veilig... ook dat niet... maar dat maakt niet-digitaal geld dus veiliger....

je redeneerd in circles. denk eens buiten je doosje... heel even maar, en probeer dan al dit tools naar waarden te schatten en naar waarde te benutten...

+1 Xatr0z
@Conzales • 3 maart 2013 14:37

Wat heeft dit met de cloud te maken?

0 Conzales
@Xatr0z • 3 maart 2013 14:47

http://en.wikipedia.org/wiki/Cloud_computing

Kies er maar een uit de lijst. Ik kies: Network as a service (NaaS).

[Reactie gewijzigd door Conzales op 3 maart 2013 14:49]

+1 DePhille
@Conzales • 3 maart 2013 15:26

Uiteraard is dit een beetje simplistisch uitgedrukt, maar over de term "cloud" ben ik het met je eens. Het nut van de cloud heeft zich echter al wel degelijk bewezen, een "beetje" downtime zal daar weinig of niets aan veranderen. Vooral op vlak van failover en burst traffic zijn deze toepassingen extreem handig.

Als voorbeeld: Vroeger bouwde men serverinfrastructuur aan de hand van de verwachte piekcapaciteit, uiteraard zit je dan met een hoop overhead die bijna nooit gebruikt wordt. Langs de andere kant, als die piek dan toch overschreden werd dan was het over en uit met je service. Nu kan je deze bursts opvangen door middel van zulke services, en verminder je dus én je kostprijs (on-demand) én je downtime ("unlimited" scaling mogelijk). Uiteraard zal je altijd met iets of wat downtime blijven zitten, maar als je het iets breder bekijkt maak je wel degelijk vooruitgang. Zelfde geld voor failover, je eigen infrastructuur voorzien hiervoor is extreem kostelijk en bij "cloud" diensten betaal je wederom on-demand, waardoor je slechts betaalt voor je failover indien je ze gebruikt.

Laat je dus niet pakken door de marketing rondom cloud computing (ik ben ook geen fan van de naam) want het kernidee is wel degelijk zeer nuttig.

+1 coretx
@Conzales • 3 maart 2013 15:40

Wie bepaald de definitie van "The Cloud" ?

Het antwoord op die vraag toont aan waarom het een "hot air" imago heeft gekregen.
De definitie van "The Cloud" is door de jaren heen subtiel veranderd onder commerciële en politieke invloed omdat beiden daar baat bij hebben.

De outage van cloudflare bewijst dat ze geen "cloud" volgens de oude definitie als service verkopen. En zo zijn er wel veel meer "cloud" aanbieders.
Naar mijn inzien is dat geen rede om lukraak "the cloud" af te kraken, maar wel een reden om de definitie aan te scherpen. Wanneer een SPOF outages veroorzaakt en het hele systeem down kan brengen is het de naam "cloud" niet waardig.

+1 seba
@Conzales • 3 maart 2013 15:44

Waarom zou dit pas het begin zijn van de problemen? Het lijkt me juist dat ze in de toekomst meer ervaring zullen hebben en zo'n problemen juist minder zullen voorkomen.

Verder vraag ik me af welke infrastructuur binnen de bedrijven dezelfde uptime haalt (1 uur op een jaar is nog steeds 99.99%). Als er voor dat ene uur inderdaad miljoenen op het spel staan voor jouw bedrijf, dan zorg je als bedrijf uiteraard voor een lokale back-up infrastructuur, maar voor 99% van de bedrijven (kleinere) is het wel degelijk een kostenbesparing.

Wel grappig dat een topman van Apple zegt: "I want to feel that I own things"

Edit: dit was als reactie bedoelt op de first post van Conzales

[Reactie gewijzigd door seba op 3 maart 2013 15:44]

+1 GJvdZ
@Conzales • 3 maart 2013 17:04

Een slecht beheerde lokale server is net zo kwestbaar, maar de kans dat een lokale server slecht beheerd wordt is veel groter, zeker in kleinere organisaties. En laten er daar nu heel veel van bestaan.

En als je het over grote globale organisaties hebt die hun eigen ICT kunnen doen: die hebben in feite al sinds jaar een dag hun eigen private cloud, alleen werd het niet zo genoemd. En daar gaat net zo goed regelmatig wat fout zodat je niet bij je files kunt.

Onzin dus om "de cloud" daarvan de schuld te geven.

g1real
3 maart 2013 14:29

Ik merkte het inderdaad ja, en begon toen ook te denken dat het CloudFlare moest zijn. Bleek ik ook nog gelijk te hebben!

Overigens wel knap dat ze in 4 jaar tijd maar 3x downtime hebben gehad, en dan ook nog zo weinig.

+2 Seghers
@g1real • 3 maart 2013 14:34

afhankelijk van hun sla:

Availability % Downtime per year
99.9% ("three nines") 8.76 hours
99.95% 4.38 hours
99.99% ("four nines") 52.56 minutes
99.999% ("five nines") 5.26 minutes

als ze 5 nines garanderen kan dit kostelijk worden.

0 GJvdZ
@Seghers • 3 maart 2013 17:05

Welke website eigenaar haalt het in zijn hoofd om een idioot dure 5 nines SLA af te sluiten voor z'n website?

Ryunichi
@GJvdZ • 3 maart 2013 21:05

Het geeft misschien meer de zekerheid van de hoster aan dan dat het een website-eigenaar gaat om daadwerkelijk "ik wil niet meer dan zoveel downtime". Je kan er bijna logisch uit concluderen dat het dus wel goed zit met backup-voorzieningen.

Overheidsinstanties en banken zijn een goed voorbeeld van klanten die absoluut 24/7 beschikbaar willen zijn, overigens. Ik denk niet dat er over hoeft worden uitgeweid waarom ze dat zouden willen; de bezoekers van dergelijke sites verwachten dat immers (en hebben daar mijns inziens gelijk in!).

+1 SPee
@Ryunichi • 3 maart 2013 21:56

Helaas zijn willen en krijgen 2 hele verschillende dingen.

Hoe vaak zijn de banken afgelopen jaar niet offline geweest?
En 112?

En hoe vaak kun je 24/7 bij je gemeente terecht?

i-chat
@Seghers • 4 maart 2013 20:06

zelfs met 99,99 komen ze volgens jouw in de problemen met een overschrijding van een paar minuten... de vraaag is wat er dan nog meer in de voorwaarden staat over contractule rechten voor de klant, 'schade vergoeding in vaste of variabele vorm, recht op ontbinding of......

maar 99,95 is ook een heel veel gebruikte en dan hebben ze feitelijk nog weinig problemen... en is het uit de goedheid van hun hart (en natuurlijk om klanten weer tor rust te manen) waarom ze nu al over compensatie beginnen...

+1 WhatsappHack
3 maart 2013 15:06

Cloud is gewoon een marketing term... Vroeger noemde men dat gewoon een cluster. Maar toen kwam men met één minimaal verschil en werd de term "cloud" er aan gegeven en werd iedereen opeens rete geil van het concept. Achterlijk gewoon.

Enfin, CloudFlare's DDoS beveiliging werkt, mits je het originele IP goed weet te verbergen, inderdaad heel goed. Maar het gevaar is inderdaad dat als zij zelf offline gaan dat je de sjaak bent. Wat ik me dan wel weer afvraag: So what? Je fiber kan ook door een storing dark gaan, multi-homed of niet. Een uurtje downtime terwijl ze vaak je website up hebben gehouden valt eigenlijk nog best mee. Compensatie is wel zo netjes om te doen ja, maar belachelijk is deze downtime niet imho.

+1 coretx
@WhatsappHack • 3 maart 2013 15:44

Tegenwoordig plakt men aan iedere SAAS oplossing het label "Cloud" omdat het verkoopt.
Dat maakt de SAAS oplossing nog geen "Cloud", maar dat weet de slecht geïnformeerde consument niet.

runelaenen
3 maart 2013 15:11

Is dit een gevalletje zoals telenet een aantal weken geleden voorhad? Maar dan nog grootschaliger (wereldwijd ipv vlaanderen). Het lijkt mij dat bedrijven tegenwoordig te snel vertrouwen op updates etc. Ik ben zelf op m'n persoonlijke pc heel voorzichtig met updates. Ik wacht liever even met ze te installeren (op linux, de windows updates installeer ik zo snel mogelijk, anders zit m'n pc vol met (bekende) lekken).
Watch out zou ik zeggen...

onlinegangster
3 maart 2013 14:34

1/(365*24) valt volgens mij nog wel redelijk onder de 99.99 ....

_-SaVaGe-_
3 maart 2013 15:37

toevallig, net toen ik een DDOS aanval op mijn servers kreeg, welke ik via cloudflare heb beveiligd. zelfde tijdstip

MegaTronics
3 maart 2013 20:06

Mooi, weet ik ook de reden waarom ik vanmiddag en aantal sites niet kon bereiken.

0 Jogai
4 maart 2013 14:34

Ik was maar een goed half uur offline..

0 aval0ne
@kritischelezer • 3 maart 2013 15:40

Misschien handig om te zeggen wat je wel bedoelt in plaats van wat je niet bedoelt.

Op dit item kan niet meer gereageerd worden.

Cookies op Tweakers

Lees meer over

Nieuwste IT Banen

Gerelateerde content

Reacties (37)

Sorteer op:

Weergave: