T-Mobile Thuis heeft een storing - update

Klanten met een T-Mobile Thuis-abonnement hebben sinds het begin van woensdagmiddag last van een storing. Volgens T-Mobile gaat het om een storing in meerdere plaatsen, waardoor klanten mogelijk geen internetverbinding hebben.

Een moderator van T-Mobile meldt dat het een algemene internetstoring betreft, waarbij klanten op meerdere plaatsen in Nederland zijn getroffen. Het is nog onduidelijk wat de oorzaak is en hoe en wanneer de storing naar verwachting weer is opgelost.

Op de website Allestoringen.nl maken klanten vanaf ongeveer 13:00 uur melding van problemen met hun internetverbinding. Zowel klanten met reguliere internetverbindingen als glasvezelverbindingen kampen met problemen. De meldingen komen onder andere uit de regio's Eindhoven, Dordrecht en Amsterdam.

Vrijdag, 10.00: De storing vond volgens T-Mobile plaats in de regio's Dordrecht en Amsterdam en was woensdagavond verholpen.

Reacties (60)

"Landelijke storing inderdaad. Zojuist contact met de BO van T-Mobile gehad. Er ligt een server uit waardoor alle modems of niet online komen danwel hun verbinding verloren zijn. TV diensten doen het wel, maar internet niet. Er wordt op dit moment aan gewerkt. Alleen is de vraag hoe lang het gaat duren. Daar konden ze bij de BO geen uitspraken over doen."

https://community.t-mobil...2/index1.html#post1462376

Ik begrijp dat de dienst maar heel kort plat lag, minder dan 30 minuten.

Toch interessant om te begrijpen hoe zoiets nu gebeurd. Wat is er mis gegaan.
Een ondersteunende dienst als dit zou toch gewoon 100% redundant en beschikbaar moeten zijn.

Ik verwacht dat zo'n server volledig geautomatiseerd wordt onderhouden en dat er geen menselijke handelingen (lees fout gevoelig) meer aan te pas komen. Hardware beschikbaarheid wordt met klassieke failover technieken afgevangen, dus de downtime is dan milliseconden.

Hier was dus toch meer aan de hand.

[Reactie gewijzigd door Q op 8 augustus 2018 21:06]

Het is echt hilarisch op deze website om te lezen hoe de ver de verwachtingen van de realiteit staan.

geen menselijke handelingen

Never happening.. Dat is gewoon niet mogelijk. Je _moet_ ooit dingen veranderen aan zo'n setup. Denk aan firmware patches (als er niet gepatched wordt dan staat men hier ook weer van schande te spreken ), veranderingen/vernieuwing van hardware etc.

Hardware beschikbaarheid wordt met klassieke failover technieken afgevangen, dus de downtime is dan milliseconden.

Dat is vaak _heel_ wat langer dan miliseconden. Buiten dat die failover technieken steeds vaker bron zijn van storingen. Dus dat is ook niet altijd zaligmakend.

Jammer om te lezen dat mensen met - geen menselijk handelen - nog steeds niets snappen dat er een heel CI/CD proces achter changes hoort te zitten en dat mensen dus nooit productie direct aanraken.

Failover technieken Werken prima in de seconden of milliseconden reeks. Maar je moet het goed testen en tunen voor jouw situatie. Het vereist kennis en ervaring.

Met andere woorden je moet echt aan de bak. De zijwieltjes moeten er af. Je kunt niet vliegen en veilig aan de grond blijven tegelijk. Dus je moet je zaken en processen, kennis, tests goed op orde hebben.

Jammer om te lezen dat mensen met - geen menselijk handelen - nog steeds niets snappen dat er een heel CI/CD proces achter changes hoort te zitten en dat mensen dus nooit productie direct aanraken.

Uiteindelijk wordt er een change uitgevoerd en is er altijd een kans dat er wat mis gaat. Dit soort organisaties hebben echt wel een fatsoenlijk proces en dat het hier mis gaat is gewoon bewijs voor mijn gelijk

Failover technieken Werken prima in de seconden of milliseconden reeks. Maar je moet het goed testen en tunen voor jouw situatie. Het vereist kennis en ervaring.

In theorie. In de praktijk blijken failover technieken vaak ook een bron van complexe storingen te zijn. En inderdaad seconden, maar geen miliseconden zoals wat je eerder zei.

U bent duidelijk vooral van de theorie. Boekenkennis werkt niet zonder praktijkervaring.

[...]

Uiteindelijk wordt er een change uitgevoerd en is er altijd een kans dat er wat mis gaat. Dit soort organisaties hebben echt wel een fatsoenlijk proces en dat het hier mis gaat is gewoon bewijs voor mijn gelijk

Het hele idee van ci/cd is dat iets pas naar productie gaat als er een shitload aan tests is uitgevoerd dus nee. Jouw argument is niet veel meer dan: als erg ergens mensen aan te pas komen dan worden er fouten gemaakt. Maar juist daarom probeer je dat risico door proces en techniek zoveel mogelijk te ondervangen.

Of ze een fatsoenlijk proces hebben weten we niet, het is een aanname. We zien alleen een storing die relatief kort duurde maar wel veel impact had. Was dat echt nodig geweest? Had het sneller opgelost kunnen worden of voorkomen?

In theorie. In de praktijk blijken failover technieken vaak ook een bron van complexe storingen te zijn. En inderdaad seconden, maar geen miliseconden zoals wat je een erder zei.

Kan best dat je failover mechanisme zelf een risico wordt. Maar daat ben je zelf bij. Gebrek aan risico analyse en test scenarios. Simuleer maar faillure scenario’s. Haal je de meeste issues er wel uit. Het is niet 100% dat is de claim niet, maar stukken sneller en beter dan handmatige oplossingen.

Sneldheid, seconden of milliseconden hangt van de context af. Het kan vaak zelfs zonder merkbare impact voor de gebruiker.

U bent duidelijk vooral van de theorie. Boekenkennis werkt niet zonder praktijkervaring.

Aannames, met die ervaring zit het snor. Als je met de grote mensen mee wilt doen dan moet je je huiswerk maken en de boel op orde hebben. Anders kunnen de zijwieltjes er nooit af en stijg je nooit naar grote hoogten

Je kunt je dienst nooit 100% redundant maken, simpelweg omdat het dan te duur word. Vaak wordt er voor gekozen bepaalde infrastructuur redundant uit te voeren zoals bijvoorbeeld de lijnen naar je datacenter en bepaalde kritieke delen van je datacenter. Dan nog ben je afhankelijk van bepaalde configuratie. Als bijvoorbeeld een deel software faalt terwijl je hardware redundant is uitgevoerd kan je alsnog de mist in gaan.

Tot aan de koppeling met andere netwerken kun jij prima voor een redelijke prijs alles 100% redundant maken. Datacenters zijn 100% redundant anders noem ik het een bezemkast. De wijzen zorgen voor meerdere datacenters. Of racks / suites in meerdere datacenters.

Ik kan voor een redelijk bedrag prima 100% beschikbaarheid voor je realiseren. Zeker voor kritische componenten, waarbij 'redelijk bedrag' wel wat hoger ligt, maar dat mag dan ook. Anders was het niet kritisch.

Het moet commercieel wel een beetje interessant blijven. Zal wel ingecalculeerd risico zijn.

Als het niet redundant is, is het niet belangrijk.

Of, zoals het wel vaker bij bedrijven die al wat langer bestaan gebeurt: ze gebruiken een of andere vendor-supported appliance met SLA, en dekken daarmee hun verantwoordelijkheid af. In de praktijk betekent dat helaas dat er nog steeds van alles stuk gaat en dat dat daarmee niet verholpen is.

Stel je zou wat (en dan noem ik maar een paar elementen die het kunnen zijn) dhcpd's, acs-server en routed's draaien op op een setje multi-location containers op multi-location vm's die op multi-location hypervisors draaien op multi-location hardware. Dan moet er echt wel heel veel stuk gaan wil je dat een service down gaat.

Eens, dat zie je vaak, maar dan lukt het niet om binnen 30 minuten de problemen te herstellen. Dus ik denk dat dit eerder human error was. Maar het blijft gokken/gissen.

Ik zie in het log van mijn router dat om 13.55 de DHCP-server van T-Mobile niet meer reageerde. Om 14.18 was de verbinding weer hersteld. Ik was niet thuis, dus geen last van gehad.

Ik zie rond kwart voor 2 ook een DHCP-failure, maar die outage lijkt maar 20 seconden te duren. Ook geen meldingen van mijn IoT-apparaten dat ze geen internet hadden. Daarvoor was het dus te kort.

Als DHCP het even niet doet, merk je niks. Enkel als je je modem opnieuw start of als de lease net op dat moment verloopt.

Nou, die melding zegt "lease timed out", maar 20 seconden later "internet connection established succesfully", waarmee hij aangeeft dat hij daadwerkelijk een verlopen lease had. (Fritzbox 3490, btw, niet het standaard ding)

Het DHCP-protocol vraagt doorgaans halverwege het verlopen van de lease alvast een renewal aan (bij de oorspronkelijke server) en vanaf 87.5% verlooptijd een rebinding request (broadcast). Ik kan met mijn modem niet zo goed zien wat de lease-time is op dat adres, maar ik vermoed iets van 200 minuten.

Ik denk daarom dat de melding in mijn log alleen maar het verlopen van de bind was. Het is precies 3 uur na de laatste succesvolle renewal.

Of ik heb echt geluk gehad en toevalligerwijs was binnen 20 seconden na het volledig verlopen van mijn lease er weer DHCP-verkeer mogelijk.

08.08.18 13:46:49 Internet connection established successfully. IP address: 85.xx.xx.xx, DNS server: 37.143.84.228 and 37.143.84.229, gateway: 85.145.176.1
08.08.18 13:46:27 Internet connection cleared.
08.08.18 13:46:27 Internet connection failed: Reason for error: 1 (DHCPv4 lease timed out)
08.08.18 10:46:27 Internet connection renewed successfully. IP address: 85.xx.xx.xx, DNS server: 37.143.84.228 and 37.143.84.229, gateway: 85.145.176.1 [13 messages since 02.08.18

(ff mijn IP-adres weggepoetst)

[Reactie gewijzigd door Keypunchie op 8 augustus 2018 19:28]

Lease-time bij T-Mobile is 60 minuten. Dit kan ik simpel zien bij de WAN-status van mijn Asus.

Hmm, apart. Ik heb echt een stuk minder renewal meldingen dan dat.

Iedereen hier post dat ze geen problemen hebben... Waar zijn de posts van de mensen waar het internet -niet- werkt?

O wacht...

De meeste tweakers zullen prima kunnen posten als hun vaste lijn eruit ligt, hoor. Gewoon door-tweaken op je mobiel, desnoods inzetten als tether.

Ja maar er zit wel wat in, normaal als er een storing is voor 1 regio zijn er 400 reacties waar het niet werkt met een shitload aan gezever. Nu zijn er überhaupt maar 36 reacties, waarvan de meeste dat er geen storing is of slecht een paar seconden/minuten

Hier ook nergens last van op glasvezel. Waar ik wel benieuwd naar ben of anderen toevallig ook een alternatieve DNS server hebben ingesteld. Ik heb namelijk het vermoeden dat die nogal eens eruit klapt.

"Landelijke storing inderdaad. Zojuist contact met de BO van T-Mobile gehad. Er ligt een server uit waardoor alle modems of niet online komen danwel hun verbinding verloren zijn. TV diensten doen het wel, maar internet niet. Er wordt op dit moment aan gewerkt. Alleen is de vraag hoe lang het gaat duren. Daar konden ze bij de BO geen uitspraken over doen."

Het probleem van het aanmelden van modems op het netwerk klinkt bekend. Zo ongeveer 1x per maand klapt mijn modem eruit. Even herstarten en hij doet het weer. Geen idee tot in hoeverre dit ermee te maken heeft (ik heb er nu geen last van), maar wellicht ergens een brakke server o.i.d.?

[Reactie gewijzigd door JKP op 8 augustus 2018 17:43]

Hier ook nergens last van op glasvezel. Waar ik wel benieuwd naar ben of anderen toevallig ook een alternatieve DNS server hebben ingesteld. Ik heb namelijk het vermoeden dat die nogal eens eruit klapt.


[...]

Ook met alternatieve DNS lag internet eruit. Tv werkte wel

Hier ook geen last van een storing. Regio Veluwe

Had hier in Amsterdam einde van de middag 2x een wegvallende verbinding. Glasvezelmodem uit en aan doen hielp beide keren.

[Reactie gewijzigd door Randfiguur op 8 augustus 2018 17:50]

Geen probleem, plaats nu mijn bericht via T-Mobile Thuis Alphen aan den Rijn - WBA

Ik heb hier ook T-Mobile Thuis via VDSL2 in Katwijk aan Zee. Het werkt gewoon (nog). Al heb ik wel een custom DNS ingesteld van Quad9.

[Reactie gewijzigd door dcs88 op 8 augustus 2018 17:55]

In regio Westland moet het het ook waarschijnlijk doen, ik kan zelf nog prima inloggen op me server (via RDP). Hopelijk is dat het voor iedereen rondom die regio.

(Tevens zitten ik wel met een DSL verbinding verbonden, denk ook niet dat iemand in het westland glasvezel van T-Mobile heeft.)

[Reactie gewijzigd door J.verhulst op 8 augustus 2018 18:04]

Vanmiddag rond 13.45u ook last van gehad. Inmiddels sinds 15.30u is de verbinding weer werkend. Regio Eindhoven op ODF netwerk.

Ben al ruim 2,5 jaar klant bij T-mobile Thuis en dit is toch de eerste storing waar ik ook last van heb. Wat dat betreft niks te klagen.