Grote storing bij Tele2 is voorbij

De grote storing bij Tele2 is voorbij. Eurofiber repareerde de kabelbreuk maandagavond, waarna de verbindingen weer werkten. De urenlange storing trof maandagmiddag onder meer overheidsdiensten en gemeenten.

Tele2 meldde maandagavond rond tien over tien dat de problemen voorbij waren. Eerder op de avond hadden verbindingen zich al hersteld. Volgens Tele2 ging het om twee verschillende kabelbreuken: eentje vond plaats om tien over elf 's ochtends tussen Zwolle en Leeuwarden en eentje vond plaats bij Arnhem, bij een kabel van Eurofiber. De kabelbreuk tussen Zwolle en Leeuwarden kwam door graafwerkzaamheden van een derde partij. Daarbij heeft de machine vermoedelijk per ongeluk de kabel geraakt.

De kabelbreuken leidden tot uitval van diensten in grote delen van het land. Omdat sommige gemeenten en overheidsdiensten gebruik maken van Tele2, waren die maandag vanaf rond het middaguur slecht of niet bereikbaar.

Reacties (55)

Ik vind dat er eigenlijk in dit soort gevallen een goede backup moet zijn. Tegenwoordig werkt bijna alles met internet, het zou niet mogen gebeuren dat het zolang wegvalt.

De backup lijn was er, alleen werd die eveneens doorgegraven. Dus dan moet je naar een derde lijn toe wil je deze situaties voorkomen.

Dan was er dus geen backuplijn.

Hoeveel backups wil je hebben? Jij wil een derde lijn, wat als ze die ook doorgraven op hetzelfde moment? Nog een vierde en een vijfde en een zesde lijn nemen? Je kan niet voor alles een backup hebben spijtig genoeg. Op een gegeven moment wegen de kosten niet meer op tegen de baten.

Ten eerste, Arfman heeft hier gewoon gelijk. Als je backup lijn samen met je primaire lijn uit kan vallen, dan heb je geen backup. Ik zie het maar al te vaak gebeuren, de backup lijn wordt gewoon naast de primaire lijn door de buis het pand in geschoten. Geen haan die er naar kraait terwijl organisaties die dit serieus nemen dit nooit zouden accepteren. Die eisen dat de lijnen van verschillende kanten, verschillende knooppunten en verschillende providers komen. Dit is gewoon heel normaal dus wat hier gebeurt is gewoon amateuristisch.

En dan ga ik er nog van uit dat dit een lijn breuk was (signaal verlies) maar dat is het waarschijnlijk niet eens. Ze hebben waarschijnlijk helemaal geen backup lijn of een van dezelfde aanbieder (wat ook gewoon "geen backup" is).

Zelfs al kun je geen backup lijn aanleggen, een apparaat met 4G als backup is tegenwoordig goedkoop. Dit is allemaal gewoon luiheid en niet goed te praten.

Heb je het artikel wel gelezen?
Er zijn letterlijk op twee plekken, iets van 100 kilometer uit elkaar, kabels gebroken op verschillende tijdstippen.

Je spreekt over "geen backup want het werkt niet". Heb je enig idee wat de gemiddelde backup is van een ziggo/kpn wijkcentrale? Helemaal nul. Soms liggen er letterlijk steden geheel uit vanwege een lompe graafmachine ver buiten de regio.

Dat Tele-2 en de hoofdaders en de backup verliezen op dezelfde dag is heel ongelukkig. Voor een budgetprovider vind ik het feit dat ze een backup hebben al respectabel. Je moest eens weten hoe vaak de redundantie bij andere providers wegvalt. Kwestie van tijd dat dan ook de tweede locatie uitvalt en iedereen zonder komt te zitten...

Maar ik neem aan dat er meerder ringen liggen tussen die 100KM, dus zeg maar 8jes aan elkaar. Dan moet een dubbele cut nix uitmaken. (1ring is erg onwaarschijnlijk omdat het A-lang duurt om te bouwen B-alles over 1 ring veel capaciteit kost C-nog een slechte redundant oplossing is D-maar wel lekker goedkoop.....meestal bouw je meerderen kleine ringen aan elkaar )

Even los van deze storing, Tele2 heeft zijn spul echt niet goed voor elkaar... ik weet nog dat wij een vezel hadden van tele2 waar ik toen it manager was, wij stapte over op eurofiber dus trokken de tele2 vezel los van het paneel...

Wat denk je? Tele2-glasvezel ring plat, ze hadden ons gewoon op de ring aangesloten, wij verbraken die ring omdat we overgingen naar eurofiber, en vervolgens tele2 netwerk achter die vezel dood.... ze hingen binnen een uur aan de lijn...of we de kabel even wilde terug stoppen...


Tele2, leuke club, lekker goedkoop en alle waar naar zn geld. Wil je goed, dan geen tele2 zeg ik....

De Tele2 ftto oplossingen bestaan uit een ring, maar de ring gaat twee kanten op. Doordat jij de apparatuur loskoppelde heb je de redundantie uit de ring gehaald, maar zeker niet de gehele ring offline gehaald (of op een andere plek heeft iemand tegelijkertijd hetzelfde gedaan).
Op deze ring zitten doorgaans rond de 8 aansluitingen, dus zo een grote ramp is het ook weer niet.
Door deze ring is de theoretische redundantie overigens hoger als bij een p2p ftto glasvezel.

Kennelijk heeft Eurofiber het dan ook niet voor elkaar aangezien in het artikel aangegeven wordt dat het een kabel betrof van Eurofiber waar Tele2 van gebruik maakt

Meestal neemt men darkfiber af van Eurofiber. Je bent dus zelf verantwoordelijk dat het verkeer door kan gaan bij een fiber-cut....

In aanvulling op de mooie uitleg van KoeKk.
Op het moment dat jij je contract met Tele2 opzegt moet je niet zelf gaan prutsen, de glasvezel naar jou locatie word dan in een handhole losgekoppeld en vervolgens word de apparatuur bij jou verwijderd.

-deleted-

[Reactie gewijzigd door davince72 op 26 november 2019 17:25]

Zelfs al kun je geen backup lijn aanleggen, een apparaat met 4G als backup is tegenwoordig goedkoop. Dit is allemaal gewoon luiheid en niet goed te praten.

Leuk 4G als backup lijn maar daarmee zijn alleen kleine bedrijfjes gered voor het verkeer naar buiten toe. Heb je diensten welke van buiten naar binnen moeten over bepaalde IP-adressen en zit daar geen externe proxy/load balancer voor dan wijzig je niet al die diensten voor een korte storing zoals deze even naar een nieuw IP

De vraag is wat je essentiële dienstverlening is. Tuurlijk ga je niet 100 man over 4G laten lopen maar binnen de gemeenten is de publieksbalie heilig. Dat is de minimale dienst die je aan moet bieden. 10 publieksbalies kun je prima over 4G aanbieden. Mogelijk kun je ook gewoon mailflow draaiende maken (afhankelijk van belasting). Daarvoor heb je geen geen dure loadbalancers nodig (gewoon op basis van MX record).

Heb je diensten welke van buiten naar binnen moeten over bepaalde IP-adressen en zit daar geen externe proxy/load balancer Diensten die publiek aangeboden moeten worden draaien nooit binnen het gemeente netwerk. Deze draaien gewoon in een datacenter (die de boel wel voor elkaar heeft). Iedereen draait bijvoorbeeld zijn website ook extern. Als je het hebt over email dan kan dat meestal prima over 4G en externe werkplek zaken zijn geen essentiële zaken en kunnen prima even zonder.

dan wijzig je niet al die diensten voor een korte storing zoals deze even naar een nieuw IP
Het hele idee van een backup plan is dat dit geautomatiseerd verloopt. Een SD-WAN van Citrix schakelt naadloos over zonder interventie. Minimaal is er een noodplan met procedures. In die procedures staat precies wat de verwachtingen moeten zijn. In dit geval was er geen verwachte oplostijd en moet zo'n procedure gaan lopen. Diensten overzetten naar een nieuw IP is trouwens ook kinderspel, simpel even een DNS record aanpassen.

Dit is letterlijk al meer dan 10 jaar standaard bij iedere organisatie die dit serieus neemt. Dit is allemaal gewoon luiheid en niet goed te praten.

[Reactie gewijzigd door dycell op 26 november 2019 09:30]

En toch ga ik hier even op reageren.

Als volgt, De diensten van Tele2 die uitgevallen zijn waren misschien niet de "standaard" diensten die je van een provider gewent bent. Zoals bijna iedereen wel weet, biedt Tele2 onderandere toegang tot het (zwaar)-beveiligde Justitienet ( Via een aanbesteding ). Dit is dus publieke informatie.

Wetende dat gemeenten bepaalde raadplegingen enkel kunnen doen via dergelijke beveiligde verbindingen schijnt misschien een iets ander licht op deze zaak. Sommige verbindingen met bijvoorbeeld het GBA of Suwi mogen niet eens direct via Internet benaderd worden. Dan houdt het stukje 4G ook op.

Waar ik dan vervolgens wel erg benieuwd naar ben is de financiele impact voor Tele2, er zitten op dergelijke lijnen namelijk erg dikke SLA's met boeteclausules die soms al per kwartier in werking treden.

SLA Bij afname fiber van 3e partij?

Hier bij de servicedesk waar ik werk hebben we 1 grote klant die ook een afdeling in die regio (Twente) had die ineens down ging.... (in onze monitoring zagen we het hele pand in 1x geen verbinding meer maken)
Netwerk is onder ons beheer dus zou je SLA zeggen, echter is de internet verbinding weer ondergebracht bij een 3e partij en dan is Prio 1, binnen * uur opgelost leuk, maar 3e partij dus weer uitgezonderd van de Prio 1 SLA.

Kijk, dit is inderdaad wel relevante informatie. Dit is dan ook geen dienst die de gemeente beheert maar als dienst afneemt. Gemnet en Rijksnet zijn soortgelijke diensten. Het probleem oplossen is dan natuurlijk nog steeds mogelijk maar de verantwoordelijkheid daarvoor ligt bij de aanbieder. Meerdere koppelpunten voor Rijksnet zijn bij Rijksnet bijvoorbeeld gewoon mogelijk maar daar betaal je voor. Zie een voorbeeld van Rijksnet (pagina 17).

Je trekt het nu allemaal naar 1 type bedrijf/1 specifieke overheidsdienst. Er is nergens in de berichten hier boven over een backup lijn benoemd dat het om een overheidsinstelling gaat. De opmerking met betrekking tot de backup lijn is gewoon in het algemeen. Zo kan ik ook wel met een berg voorbeelden aan komen zetten waarbij het prima zou werken.

Ik vind dat er eigenlijk in dit soort gevallen een goede backup moet zijn. Tegenwoordig werkt bijna alles met internet, het zou niet mogen gebeuren dat het zolang wegvalt.

Daar naast verdraai je mijn woorden naar dat het voor geen enkel bedrijf werkt terwijl dat niet is wat ik zeg. Ook leuk dat je delen van mijn zinnen er uit pakt om er totaal iets nieuws van te maken.

Heb je diensten welke van buiten naar binnen moeten over bepaalde IP-adressen en zit daar geen externe proxy/load balancer voor dan wijzig je niet al die diensten voor een korte storing zoals deze even naar een nieuw IP

Om daar dan vervolgens een uit elkaar getrokken quote van te maken:
[quote]dan wijzig je niet al die diensten voor een korte storing zoals deze even naar een nieuw IP
Het hele idee van een backup plan is dat dit geautomatiseerd verloopt. Een SD-WAN van Citrix schakelt naadloos over zonder interventie.[quote]Wat dus precies bevestigd wat ik al eerder aangaf. Als je er een loadbalancer of proxy dienst voor zet dan is de automatisch omschakeling 0 probleem.

Er is nergens in de berichten hierboven over een backup lijn benoemd dat het om een overheidsinstelling gaat.
Uit de tweakers post:
Omdat sommige gemeenten en overheidsdiensten gebruik maken van Tele2, waren die maandag vanaf rond het middaguur slecht of niet bereikbaar.

De opmerking met betrekking tot de backup lijn is gewoon in het algemeen.
Dat is ook prima, daar verandert het het feit niet mee dat dit probleem eenvoudig te vermijden is.

Daar naast verdraai je mijn woorden naar dat het voor geen enkel bedrijf werkt terwijl dat niet is wat ik zeg. Ook leuk dat je delen van mijn zinnen er uit pakt om er totaal iets nieuws van te maken.
Ik denk dat mijn reactie nogmaals moet lezen. Ik reageer letterlijk op je gehele comment. Alleen het eerste gedeelte heb ik niet gequote maar goed:
Leuk 4G als backup lijn maar daarmee zijn alleen kleine bedrijfjes gered voor het verkeer naar buiten toe.
ZIe eerste gedeelte van de reactie. Je kunt prima in een grote organisatie een gedeelte van je dienstverlening actief houden met een 'langzame' lijn. Het gaat niet snel maar het werkt prima. Als je 200Mbit überhaupt langzaam wilt noemen.

Heb je diensten welke van buiten naar binnen moeten over bepaalde IP-adressen en zit daar geen externe proxy/load balancer voor dan wijzig je niet al die diensten voor een korte storing zoals deze even naar een nieuw IP
De rest reageer ik direct op. Ik quote het zelfs...

Anyway, don't feed the troll..
Success met het goedpraten van incompetente storingen!

Dus iets met klok en klepel. Ergens is er ooit iets genoeg waar overheidsinstellingen in voorkomen wat vervolgens nergens terug komt in de discussie over de backuplijn maar natuurlijk gaat het daar nu alleen om.

Je gedraagt je inderdaad als een trol, jammer

Inderdaad, zoiets noem je een spof (single point of failure) wanneer de main en back up door 1 buis gaan.

Het is wel erg toevallig dat beide lijnen op dezelfde dag gebroken zijn.

Waarom geen andere ISP erbij nemen voor in geval van. En de kosten per maand laten berekenen hoeveel data er over de backup Line ging.

Dit is geen backup want anders konden mensen gewoon doorwerken. En aangezien nu bijna niks meer on-prem is het nog een kwalijkere zaak.

Omdat een andere "ISP er bij nemen" soms geen optie is wegens kosten en technisch hele ingewikkelde verhalen voor inkomend verkeer (b.v. web services aanbieden). Dan zit je al vast aan BGP en provider onafhankelijke IP reeksen (wat sowieso niet meer te krijgen is, of mondjesmaat) of hele dure alternatieve oplossingen.

Uitgaand verkeer is vrij simpel, maar binnenkomend is andere koek.

Dat "beide" lijnen gebroken zijn (het zijn er ongetwijfeld meer dan twee trouwens, vandaar dat de TTR zo hoog lang, als jij 24 vezels moet lassen ...) lijkt mij niet onwaarschijnlijk. Vanwege kosten zullen er minimaal 12, maar waarschijnlijker 24+ vezels door de tube gegooit. Je gaat niet voor 2 vezels een sloot graven zeg maar.

Maaaaaar, dat is natuurlijk de kosten-baten analyse en in dit geval plukken ze daar de wrange vruchten van. Neemt niet weg dat dit best uit kan gezien hoe lang 't wél goed gefunctioneerd heeft, maar dat vergeet iedereen maar even

Een glaslas is ongeveer 2 minuten per vezel, afhankelijk van de behendigheid van de monteur misschien nog wel sneller. Je hebt zelfs machines die dit half automatisch kunnen: https://youtu.be/bNUU9rDbWzQ?t=150

Ik denk eerder dat er iets in de orde van 128 vezels liggen in zo'n lijn. Dus dan ben je al dik 4 uur bezig met lassen.

Maar het bij de vezel kunnen komen en identificeren duurt natuurlijk veel langer. Als een vezel op 5 meter diepte loopt en men slaat er een damwand doorheen dan is meestal het enige alternatief het maken van een tijdelijke vezel. Moet dit onder een kanaal bijvoorbeeld dan heb je toch te maken met behoorlijke afstanden naar bijvoorbeeld de eerstvolgende brug of je moet iets (tijdelijk) af weten te zinken wat ook weer veel tijd kost om een schip daar ter plekke te krijgen etc. Dan ten tijde van de reparatie zorgen dat er een nieuwe boring wordt gedaan of een andere mogelijkheid wordt gezocht.

en het is keer 2 altijd.
Je kabel is kapot getrokken dus je moet er altijd een stuk tussen plaatsen.
Er liggen 3 kabels in een mooie mantel van 128 vezels.
Dat is dan aan 2 kanten graven.
Nieuwe stuk kabel ertussen.
2 nieuwe putten met 3 x 128 vezels lassen = 768 lassen.
Dan heb je je nieuwe kabel met nieuwe kabel-kleur dus alles weer labelen en goed bijhouden.
Al met al een feestje voor 2 lasploegen die druk aan het werk zijn

Als je lijnen naast elkaar liggen is er geen back-up. Een goede back-up is een lijn die X meter verderop ligt.


Dat is hetzelfde als een back-up van je data alleen on-site te bewaren. Zodra er brand of waterschade is ben je nog steeds alles kwijt.

[Reactie gewijzigd door Anoniem: 159816 op 26 november 2019 10:21]

Mee eens dat er gezegd en geconcludeerd wordt dat alles via het internet werkt, zonder internet ben je bijna nergens meer. Mee eens dat er een back-up moet zijn waarvan ik geloof dat de meeste grote internetgiganten deze hebben. Maar dan nog zullen we moeten accepteren het altijd mis kan gaan ongeacht de hoeveelheid back-up methoden die er zijn.

En als de derde lijn wordt doorgegraven moet je naar een vierde lijn

Het is niet zo ingewikkeld om een tweede internet lijn te nemen. Routers van een paar honderd euro kunnen dat al goed aan.

Afhankelijk van was de eisen zijn aan de router, kan je zelfs voor €110,- al een router hebben die redundante verbindingen aan kan met de Ubiquiti Unifi Security Gateway (USG).

[Reactie gewijzigd door servicedb op 26 november 2019 07:33]

...en toen ging de router stuk.

Maar er komt maar een aansluiting de woning binnen....

Dat dacht ik ook. Ik heb kabel van Ziggo en een DSL van KPN. Nou dacht Ziggo dat ze wel even een straat kast konden vervangen overdag en ondertussen ging de KPN kabel door omdat T-Mobile/Volker Wessels aan het graven was (om glasvezel aan te leggen om de hoek).

Resultaat; geen thuiswerk dag.

Een glasvezel verbinding is niet altijd een internet lijn.
Het verbaast mij dat (belangrijke) overheidsdiensten geen tweede route hebben via een ander tracé.
Tenzij de dienst dus niet belangrijk was is er geen ramp, hoogstens een ongemak.

Die was er ook, het waren 2 breuken die hemelsbreed wel 120 km uit elkaar lagen

"Update 20.15: De storing is veroorzaakt door twee kabelbreuken: één tussen Zwolle en Leeuwarden en één tussen Den Bosch en Arnhem. De monteurs zijn bezig om beide breuken te herstellen. Omdat het om 2 breuken gaat duurt het helaas langer dan in eerste instantie verwacht."

Dat gaat geld kosten.. laatst een glasvezel lijnte kapot getrokken... kostte 10k en dat was maar van een paar huizen.

Wie machinaal gaat graven moet altijd eerst een melding doen en proberen te weten van wie en waar kabels liggen. Hoe kan het dan dat je bij zulke kennis alsnog een kabel kappot trekt?

Meerdere opties:
- Menselijke fout van de graafploeg
- De kabel zit niet in het systeem (onwaarschijnlijk voor zo'n kabel)
- De kabel zit in het systeem met een te grote onnauwkeurigheid (bijv ligt 20 meter verder dan op de kaart staat)

Waar mensen graven, kabels of leidingen breken...
Mensen maken nu eenmaal fouten en niet iedereen is even goed met de Caterpillar;)

Bwa, verzekering. Waar betaal je anders die hoge premies voor?

We hebben een hele leuke werkmiddag gehad, gezellig een balletje overgooien met elkaar.
Moesten toch iets toen ons heel systeem plat ging, want anders was het verlof opnemen.

Er was geen onderhoud, documentatie etc. wat je kon bijwerken?

Geen idee, iedereen was een beetje flauw na de storing .
Even een gezellige middag is tussen het werk door ook geen ramp toch?

Dit toont weer de kwetsbaarheid van het systeem aan. Op de juiste plekken gaan graven en je legt zo de boel plat. Ik snap niet dat die kabels niet beter beschermd zijn.

Wat voor betere bescherming wil je? Extra bescherming tegen schade door machines kost veel geld en hoeft niet minder kans op graafschade te betekenen.

Wie met een machine gaat graven moet altijd eerst graafmelding doen bij het kadaster en daarbij te weten komen welke eigenaren waar kabels en andere zaken in je graafgebied in de grond hebben liggen. Daarnaast is er al veel bescherming, de kabeltjes liggen in extra buizen en met diverse waarschuwingen in de grond.

Het is ook een kwestie van beun de haas niet inzetten om je graafwerk te doen en zorgen voor goede redundantie als een kabelbreuk als een hele regio kan afsluiten.

En daar komt het voordeel van een knooppunt kijken.
Jaren geleden ging in Amsterdam Oost het Ams-ix onderuit door een hoogspanningskabel.
Het internet zakte compleet in-een, maar beetje bij beetje werd het internet en de diensten omgeleid naar de andere knooppunten.
En vaak hebben partijen zoals Tele2 een andere route.
Maar ja, dan moeten ze die ook niet kapot trekken.
Zeg maar gewoon “domme pech”!

Normaal hang je de locaties toch op in ringen. Hoe kan dan 1 fiber breuk zo'n grote storing veroorzaken?

Het waren twee fiber breuken, staat ook in het artikel.

Ja als je maar 1 ring in Nederland legt is de kans erg groot dat je dit krijgt. Er zal áltijd wel op meer dan 1 plaats gegraven worden....

En hoe vaak valt het voor dat ze op 2 plaatsen graven, op 2 plaatsen een verschillende fiber doorhalen en dat dat juist die 2 fibers zijn die elkaars backup zijn voor bepaalde providers?

Ook al heb je in je backbone East/West wat normaal wel gebruikelijk is bij SDH, dan moet je alsnog maar hopen dat de MUX omschakelt zoals bedoelt is, wet van Murphy shit happens

Te vaak dat zie je nu

Hehe, ik ben van een bereik van 1 streep naar volle bereik gegaan

Ik heb ooit geweten dat 2 fibers maar op één punt door dezelfde sleuf moesten gaan. En raadt eens op welke plaats de fibre over ging?
Right!