Websites Telfort en Rijksoverheid offline door storing Prolocation - update 4

Door een storing bij netwerk- en hostingprovider Prolocation zijn meerdere grote websites, waaronder die van de Rijksoverheid, GeenStijl en Telfort, offline. Het is onduidelijk wat de oorzaak van de storing precies is.

Een medewerker van Prolocation bevestigt tegenover Tweakers dat er sprake is van een storing, maar geeft geen verdere details. De oorzaak bevindt zich mogelijk bij een gebroken fiberkabel, schrijft Platform IQ, een advertentienetwerk dat diensten bij Prolocation afneemt, op Twitter. Ook hostingprovider Domeinbalie, tevens een klant bij Prolocation, meldt op Twitter dat het probleem bij die provider te vinden is.

Prolocation heeft veel grote klanten, waaronder GeenStijl, zustersite Dumpert, de Rijksoverheid en Telfort. Die zijn tot nog toe allemaal offline, al meldt Platform IQ dat advertentieservers weer online komen. Ook Domeinbalie meldt weer online te zijn. Andere klanten, zoals de Universiteit van Amsterdam en Centric, lijken geen last te hebben gehad van het probleem bij Prolocation.

Prolocation is zowel een leverancier van netwerkconnectiviteit als een hostingprovider. GeenStijl neemt alleen connectiviteit af bij het bedrijf, zo geeft de sysadmin van de website aan tegenover Tweakers, wat er op duidt dat het probleem bij die tak van Prolocation ligt.

Update, 13:13: Platform IQ meldt te vroeg over de oorzaak gespeculeerd te hebben. De oorzaak is nog onbekend.Ook kampt het advertentienetwerk nog steeds met een storing.

Update, 14:03: Volgens hoster Mihosnet wijst alles op een glasvezelbreuk bij het Telecity2-datacenter in Amsterdam.

Update, 18:36: Mihosnet had weliswaar een storing, maar neemt geen diensten af bij Prolocation. De melding van Mihosnet zegt dus niets over de oorzaak van Prolocations storing.

Update, 21:14: De storing lijkt ten einde te komen: meerdere websites, zoals die van Telfort en de Rijksoverheid, komen weer online.

Reacties (119)

[bmeeuwsen]

Update 15:20 uur

Nog meer leven! De tweede routing hop achter de border routing die OpenPeering traffic accepteert meldt zich weer. Package loss op beide suggereert dat beide nog geen raad weten met de traffic en gewoon vrijwel alles droppen.

Update 15:27 uur

Prolocation border router die OpenPeering accepteert, lijkt nu stabiel. De rest van de Prolocation backbone is echter nog niet zichtbaar.

Update 15:31 uur

Zojuist wordt hier de gehele routing naar de Prolocation backbone zichtbaar. Het klappert als een gek. Het komt heel even op en vliegt er ook geheel weer uit. Men is duidelijk op de backbone bezig de zaken online te krijgen.

Update 15:40 uur

Zojuist is een nieuwe deel van de backbone even online geweest. Het is de routing meer richting de endpoints (= servers). Ook hier weer zware package losses en daarna offline.

Update 15:45 uur

We zien plots op één van de routing paden omleidingen naar Telia en Atrato IP verschijnen. Al zien we ook gelijk dat die niet goed geconfigureerd zijn en uitmonden in zogenaamde routing loops. Feitelijk daarmee even ver van huis.

Update 15:48 uur

We zien nu wat men probeert te doen. Het pad naar OpenPeering is er bij 1 zojuist uitgegooid en routen nu via Atrato naar dezelfde border router bij Prolocation. Wat verder nog hetzelfde resultaat oplevert.

Update 16:24 uur

Zien nu ook Telia voorbij komen in de verwoede pogingen om weer verbinding te krijgen. Het verkeer vliegt af en toe alle kanten op over verschillende paden, maar vliegt vervolgens ook weer in het niets met routing die volledig in de soep loopt.

Update 16:40 uur

Het omleiding avontuur lijkt voor nu even voorbij. De routing paden gaan nu allemaal weer richting en via OpenPeering.

Bron: storingsoverzicht.nl

[Reactie gewijzigd door bmeeuwsen op 24 juli 2024 13:37]

[WhatsappHack]

Weet niet of het verwoede pogingen zijn, of gewoon de routing protocollen die netjes hun werk proberet te doen en nieuwe routes proberen te vinden.

[Gravit0n]

Een grote leverancier, maar dan al zo'n major outage na het wegvallen van één fiber? How about redundancy?

[Blokker_1999]

Prolocation heeft zelf nog geen oorzaak gemeld. Het Fiber verhaal komt van 1 van hun klanten. Misschien moeten we wachten met oordelen totdat ze met een exacte oorzaak naar buiten komen? Perfect mogelijk dat het verhaal iets genuanceerder is dan wat we hier zien.

Zoals de status update van IQ (diegene die het over een gebroken fiber had) ondertussen dan ook aangeeft:

Our statement about the possible cause was premature. It is as of yet not known what caused the issues.

[Reactie gewijzigd door Blokker_1999 op 24 juli 2024 13:37]

[djiwie]

Wij nemen al jaren diensten af van Prolocation, dit is de eerste storing op dergelijke schaal die ik mij kan herinneren. Inderdaad wel kwalijk dat blijkbaar één defect al een enorme impact kan hebben.

[WhatsappHack]

Het is eerder voorgekomen, een jaar of twee geleden.
Maar het wil natuurlijk niet zeggen dat alle klanten direct getroffen worden door een storing als deze zich voordoet. Maar toen waren er iig ook een paar grote jongens offline.

De vraag is natuurlijk of het wel om 1 defect gaat.

[djiwie]

Inmiddels heeft Prolocation op twitter gemeld dat het om een DDoS-aanval gaat: https://twitter.com/Prolo...status/565281816798834688

[Iblies]

Je krijgt waarvoor je betaalt.

Als je wilt dat er redundancy is op verschillende locaties dan zul je daar extra voor moeten betalen.

Dit is meer meer een belangrijk signaal naar de afnemer dan naar de leverancier. Wat is nodig, welke risico's zijn er, kun je die veroorloven.

[walteij]

Dat vroeg ik me dus ook al af.
De rack(s) die ik bij Telecity heb/had staan, zijn nog nooit offline gegaan door storingen bij de provider. De enige momenten dat daar iets offline was, was in geval van storing op de hardware of door beheersfouten.

Blijkbaar is ook een dienst als cloudflare ook niet voldoende om dit op te vangen.
In tegenstelling tot het tweakers bericht is GS alleen op dit moment nog offline:

Mijn browser

Error 1001 Ray ID: 1b67ceb2c0d30c8f • 2015-02-10 11:01:12 UTC

DNS resolution error


What happened?

You've requested a page on a website (www.geenstijl.nl) that is on the CloudFlare network. CloudFlare is currently unable to resolve your requested domain (www.geenstijl.nl). There are two potential causes of this:
•Most likely: if the owner just signed up for CloudFlare it can take a few minutes for the website's information to be distributed to our global network.
•Less likely: something is wrong with this site's configuration. Usually this happens when accounts have been signed up with a partner organization (e.g., a hosting provider) and the provider's DNS fails.

CloudFlare Ray ID: 1b67ceb2c0d30c8f • Your IP: <,vooruit dan>>• Performance & security by CloudFlare

[Reactie gewijzigd door walteij op 24 juli 2024 13:37]

[GrooV]

CloudFlare werkt wel maar dan moet je wel AlwaysOnline instellen. Als je dat uitschakeld werkt het natuurlijk niet

[Rudie_V]

Pingen doet het hier niet.. of ik zie het niet goed en ik moet naar het oogziekenhuis

[downcom]

Inderdaad nu ligt alles eruit inclusief de (betreffende) namesever van Cloudflare.

Wat wel vreemd is dat Powned.tv er ook uit ligt, word dit niet algemeen door de NPO aanbesteed of zijn dit allemaal losse projecten?!

NPO is namelijk gewoon bereikbaar.

[Reactie gewijzigd door downcom op 24 juli 2024 13:37]

[Bartmanz]

Elke omroep bepaalt zelf waar de hosting wordt ondergebracht. Dit is geen NPO aangelegenheid. Omroep Powned heeft de hosting bij Prolocation ondergebracht (http://www.prolocation.net/klanten/).

[downcom]

Maar ze maken dan wel weer gebruik van het zelfde videoplatform.

als alle omroepen samen iets inkopen is dat toch de wet van de grote getallen en dus meer % korting?

Anderzijds, verspreiden over verschillende server is logischer wanneer er een storting als deze voordoet ligt alles van de publieke plat.

[SED]

via twiiter kun je ze volgen:
http://www.powned.tv kampt met een technische storing. We zijn zo gauw mogelijk weer online! #PowNed #nevergiveup

[jannick63]

Ik zou wel even je IP weghalen bij je bericht, lijkt me wel zo veilig

[walteij]

Omdat jij het bent ;-)

[jannick63]

Het is ook maar vanaf het Oogziekenhuis vandaar, ik dacht eerst natuurlijk aan je thuis IP.

[KhaZ]

Je zou toch zeggen dat bijvoorbeeld Geenstijl gewoon online kan blijven omdat ze van Cloudfare gebruik maken, dat is toch juist het voordeel van het Cloudfare systeem?

[Janoz]

Geenstijl is ook online, maar dan met een snapshot van de site.

This page (http://www.geenstijl.nl/) is currently offline. However, because the site uses CloudFlare's Always Online™ technology you can continue to surf a snapshot of the site. We will keep checking in the background and, as soon as the site comes back, you will automatically be served the live version. Always Online™ is powered by CloudFlare | Hide this Alert

[Martinspire]

Ondertussen linken ze door naar Tumbler.

Maar het bijwerken van DNS-gegevens duurt altijd even voordat het overal te zien is.

[Anoniem: 454685]

Ik krijg hier gewoon een generieke "Deze webpagina is niet beschikbaar" foutmelding.

[hoofdcoach]

Cloudflare is niet meer dan een CDN en DDoS beveiliging. Valt de verbinding weg in je datacenter ben je gewoon offline, alleen een snapshot zal getoond worden door Cloudflare. Er zal geen live versie met het laatste nieuws getoond worden.

[Martinspire]

Ik denk meer dat ie bedoelt dat ze een tijdelijke pagina kunnen opzetten. Iets wat ze nu dus via tumblr doen.

[Rudie_V]

Het is niet voor alle sites van belang, maar heeft de rijksoverheid geen uitwijklocatie, of functioneerde de failover niet? Met alle perikelen rond de overheid en ICT is dat geen gek iets helaas..

[Rinzwind]

hoe meer geld besteed aan failover, hoe slechter getest of op moment surpreme niet beschikbaar. Automatische failovers gaan automatisch fout

[Azerion]

off topic: Automatische failovers werken veelal prima

On topic:
Ik kan echter best snappen dat de website van de rijksoverheid down is, de redundancy is waarschijnlijk in hetzelfde gebouw(Hoogstwaarschijnlijk andere ruimte) geplaatst er van uitgaande dat de verbinding naar de hosting provider ook redundant is uitgevoerd(Wat vaak ook zo is en ik kan me niet voorstellen dat het hier om één kabeltje gaat) .

[Rudie_V]

Een failover in hetzelfde gebouw is natuurlijk een grote fail, dat is geen failover maar enkel redundancy. Een failover hoort op een andere locatie te zijn met een bepaalde afstand tussen de gebouwen of zelfs verschillende steden of delen van het land. Of nog gekker verschillende landen of werelddelen. Maar ok, we hebben het hier over de rijksoverheid, dus het blijft binnen de landsgrenzen.

[Keypunchie]

Hoezo, grote fail? Hoe erg is het als een dag data van Rijksoverheid niet beschikbaar is?

Vraag me af hoeveel van de mensen die hier 'fail fail' roepen zelf wekelijks hun backups restoren om te testen voor corruptie... Als ze al backups draaien. Offsite natuurlijk.

Of misschien is er gewoon verschil in belangrijkheid van data en ga je niet voor elke website de hoofdprijs betalen als mensen prima ook morgen het nog een keer kunnen proberen.

[HMC]

Hoezo, grote fail? Hoe erg is het als een dag data van Rijksoverheid niet beschikbaar is?

Van VK:
Omdat rijksoverheid.nl op zwart staat, zijn de ministeries niet in staat om Kamerstukken te sturen of in te zien.

Lijkt me toch best wel belangrijk om dat op z'n minst iedere dag te kunnen doen.

[PolarBear]

Kamerstukken staan in een apart systeem voorzover ik weet (en ook op rijksoverheid.nl).

[Rudie_V]

Ik hoop niet dat de overheid ook zo redeneert 'hoe erg is het als de site een dag niet beschikbaar is', het is immers de site van de overheid waar alle informatie over de rijksoverheid te vinden is. Dus een dag niet beschikbaar zou niet mogen, mijn inziens. Maar daar kunnen jij en ik en de overheid natuurlijk verschillend over denken. Tevens is het inderdaad de vraag hoe belangrijk de site wordt geacht bij de overheid, maar ik kan me voorstellen dat je zo'n site niet op 1 locatie draait, maar ik kan het mis hebben natuurlijk.

En als zoals Azerion hierboven zegt dat de redundancy in hetzelfde gebouw zou staan is dat een grote fail ja. Ok het is redundancy, maar natuurlijk geen failover.

[Keypunchie]

Ik hoop niet dat de overheid ook zo redeneert 'hoe erg is het als de site een dag niet beschikbaar is',

Je mist het punt. Het is een kostenanalyse.

De kosten voor super-hyper-redundantie wegen niet op tegen de kosten van 1 dag onbeschikbaarheid.

Net zoals dat alle inspanning voor het restoren van je prive-backups niet in verhouding staan.

[Rudie_V]

Zie het stukje van HMC hieronder. Ministeries kunnen door het plat gaan van de rijksoverheid site geen kamerstukken inzien.

Om dan terug te komen op je stukje over kostenananlyse: ik denk dat een failover dan opeens een stuk goedkoper is dan dat ministeries niet goed hun werk kunnen doen.

Overigens doe je net of het inregelen van een failover zo duur is, en soms is dat ook wel zo, maar je kan voor websites net zo goed je load balancen over 2 locaties.

[WhatsappHack]

Ik gok dat er nog wel zo iets is als een apart intranet netwerk waar de ministeries vandaan kunnen werken. De gegevens worden nooit op louter 1 locatie bewaard.

[Keypunchie]

bij een echte kostenanalyse denk ik dat het gemiddeld geld oplevert als een ministerie een dag niet "hun werk" kunnen doen.

waar haal je vandaan dat ze hun werk niet kunnen doen? Ze kunnen wat kamerstukken niet inzien? Mag toch hopen dat het werk wat breder is dan dat.

Misschien is dat dan wel het aandachtspunt, waarom zijn je werknemers zo afhankelijk van 1 site/bron van data. Dat is misschien wel een beter aandachspunt dan het redundant maken van die bron.

[Niemand_Anders]

Omdat de kamerstukken en antwoorden daarop nu onbereikbaar zijn. Met andere woorden kan ons parlement nu haar werk niet doen. Ook zijn alle wetten op RijksOverheid.nl gepubliceerd.

Zijn dat voor jouw voldoende argumenten om ervoor te zorgen dat de website van de rijksoverheid een nette failover heeft?

Of zowel op Wikipedia staat:

In het jaar 2010 werden alle websites van de ministeries samengevoegd op een nieuwe website, www.rijksoverheid.nl. In de loop van dat jaar waren alle verschillende logo's van de ministeries al vervallen en vervangen door één logo voor de gehele Nederlandse Rijksoverheid.

Bij websites van Geenstijl en Telfort is het vooral vervelend dat ze onbereikbaar zijn, maar DE website van onze overheid hoort altijd online te zijn. Er is geen enkel excuus dat die website in slechts een enkel data centrum staat!

[Keypunchie]

. Met andere woorden kan ons parlement nu haar werk niet doen

En de paniek brak uit in de straten! In Groningen en Leeuwarden werden al revolutionaire comites gevormd, terwijl burgerwachten de controle opeisten in de Randstad.

Of... misschien valt het allemaal wel mee en is er geen noodzaak om dramatisch te doen over een dergelijke site. Vervelend? Ja. Dramatisch? Nee.

[kritischelezer]

Ja daarom moet de site gemirrord worden op diverse locaties.

[scsirob]

Ik krijg bij de rijksoverheid bijna altijd een "503 - Mijn collega is er vandaag niet, komt u morgen maar terug.." error

[Astrix]

Tja, en dan voert de Rijksoverheid dure campagnes, waarin de burger wordt opgeroepen, of die hun zaken met de overheid, zoveel mogelijk digitaal via het internet, willen uit voeren, maar als die storing de hele dag gaat duren, zal die doelstelling vandaag zeker niet worden gehaald.

[Rataplan_]

Klopt. Maar wanneer je naar het gemeentehuis was gereden en je auto was ermee gestopt (zitten ook nogal wat single points of failures in) had je het ook niet gered. M.a.w. beetje flauwe opmerking dit. Niks of niemand kan 100% uptime garanderen, ook al zijn er bedrijven die dat doen, 100% kan je nooit beloven.

[HoppyF]

Als het om één auto zou gaan die ermee stopt heb je gelijk.
Als alle auto's die naar het gemeentehuis rijden ermee zouden stoppen is het een ander verhaal. Dat is erg onwaarschijnlijk.
Een single point of failure is de zwakste schakel en moet altijd voorkomen worden.

[Anoniem: 58499]

Inmiddels is de storing opglost, althans op de eigen DNS servers van Prolocation na, verander je settings in bijvoorbeeld de DNS van Google (8.8.8.8) en het werkt weer...

edit: Bron -> Escalatie bij Prolocation

[Reactie gewijzigd door Anoniem: 58499 op 24 juli 2024 13:37]

[The Third Man]

Dat is iets te makkelijk gezegd. Je DNS functioneert dan weer redelijk, maar er is zo veel packet loss dat je niet over een normale internetverbinding kan praten.
Een simple traceroute op nu.nl geeft lags van 2-3 seconden (!) op de hops bij prolocation zelf.

[Astrix]

Gebeurd wel vaker dat kabels breken als gevolg van graafwerkzaamheden, door al dat internet, en elektra, enz. wordt het wat bekabeling betreft onder de grond ook steeds drukker. En als dan niet goed werd bijgehouden waar nou al die telefoon, elektriciteit en internet kabels, water en gasleidingen zich bevinden, en een aannemersbedrijf, gaat daar (onwetend) met een shovel de grond in, dan ligt zo'n datacenter, ondanks alle dure back-up systemen er gewoon uit. En is de schade voor bedrijven die voor hun dienstverlening van het internet afhankelijk zijn, enorm. Schade die ze (meestal) nergens kunnen verhalen.

[J2pc]

1) Daar hebben we klic-meldingen voor
2) Dat is precies de reden waarom DC's dit soort voorzieningen meervoudig, _geografisch gescheiden_ hebben ingericht. Meerder data/power aansluiting die via verschillende plekken (noord/oost/zuid/west, en dus ook anders gerouteerd) het pand binnenkomen. Bij voorkeur ook via verschillende leveranciers, transformator stations etc. (nog los van eigen noodstroom voorzieningen)

Ja, kables breken wel eens, maar de kans dat een professioneel DC er daardoor uit gaat is erg klein hoor. Je betaald niet voor niets een premium om daar te hosten!

Trouwens, dan hadden we onderhand ook al wel geweten wat er aan de hand was.

[Reactie gewijzigd door J2pc op 24 juli 2024 13:37]

[jdh009]

"Enkele websites komen inmiddels weer online, waaronder GeenStijl."

Geenstijl ligt er nog gewoon uit. Raar dat dit zomaar kan en er geen backupkabel of iets dergelijks ligt die op een of andere manier de dataflow kan overnemen

[Reactie gewijzigd door jdh009 op 24 juli 2024 13:37]

[kritischelezer]

We hoeven maar 1 punt in NL te pakken, waar de backbone binnenkomt, reken maar dat er heel wat digitale file ontstaat.
http://nl.m.wikipedia.org/wiki/Amsterdam_Internet_Exchange

[walteij]

Maar die 'backbone' komt niet op 1 punt binnen.
Er lopen vanuit de AMS-IX (dat dus niet 1 pand is, maar een verzameling verbinding boeren die onderling afspraken hebben gemaakt over verkeersstromen) enkele kabels via IJmuiden naar de UK, maar ook rechtstreeks naar de USA.
Daarnaast lopen er ook kabels vanuit de AMS-IX naar de universiteit van Twente, waar ze richting Duitsland de grens over gaan. Op exact dezelfde manier lopen er stevige verbindingen via Groningen het water in en over, maar via andere paden ook richting onze zuider- en oosterburen.

Als jij denkt dat 1 kabel doorknippen in IJmuiden half internet voor NL onbereikbaar maakt, heb je het toch mis.
Alleen al in het door jou aangehaalde artikel staat een link naar de NL-IX, dan zie je waar de infrastructuur staat: http://nl.m.wikipedia.org/wiki/NL-IX

[randomnumber]

Inderdaad, of kijk voor wat meer visueels op http://www.cablemap.info/ of http://www.submarinecablemap.com/

[kritischelezer]

1 kabel zal niet NL lamleggen, maar zeker wel gevolgen hebben en ook niet snel te repareren.

Ik wil aangeven dat het vrij ingewikkeld is om alles 100% uptime te hebben. En even zonder geenstijl overleef ik wel .

[Jheroun]

Als je je er iets verder in verdiept zul je ontdekken dat er zeker niet 'één' punt is waarop de ams-ix staat, het zijn er velen. En er is ook niet 'één' punt waar 'de' backbone Nederland binnenkomt ofzo. Er zijn verbindingen die via zee naar andere landen lopen maar ook voldoende punten die bv Belgie en Duitsland inlopen, en die landen hebben ook weer toegang tot de transatlantische kabels.

[xleeuwx]

Nog een leuk kaartje van NL-IX
http://datacenterdossier....p_projected_2015_core.jpg

En hier staan alleen nog maar de europese netwerkwerken op niet wat naar amerika gaat bijv.

[Reactie gewijzigd door xleeuwx op 24 juli 2024 13:37]

[DennusB]

Jep, geenstijl linkt nu naar Tumblr. Dat is wel slim van ze Wel een bizarre storing zeg... dit is echt al ruim 2 uur aan de gang nu en kan NERGENS status updates van prolocation vinden...

[nl2dav]

Moet dat dan? Het is kapot, punt. Poppetjes zijn heen en weer aan het rennen. Komt vanzelf wel weer goed.

[DennusB]

Nou een beetje communicatie hoort er wel bij ja

[randomnumber]

Wel jammer (zo lijkt het) dat ze zelf geen alternatieve uitwijk locatie hebben voor hun site, best lastig om zo te communiceren