Kapotte dhcp-server legt internet Telfort plat

Telfort heeft dinsdagochtend met een landelijke internetstoring te maken gehad. Een kapotte dhcp-server en een defecte switch waren debet aan de storing. Alle abonnees van Telfort zouden inmiddels weer online kunnen.

De storing deed zich voor vanaf de nacht van maandag op dinsdag, blijkt uit reacties op GoT. Omdat de klantenservice werd overspoeld met vragen, plaatste de isp een melding op de eigen website waarin de problemen werden erkend.

De oorzaak was een hardwarestoring, vertelt Telfort-woordvoerster Anita Groenink aan Tweakers.net. "Een onderdeel van de dhcp-server is maandagnacht stukgegaan. Dat moest vervangen worden. Ook een switch was defect geraakt. Deze defecten traden maandagnacht tegelijkertijd op. We konden abonnees slechts gefaseerd toegang geven tot de server, anders zou deze vastlopen. Daarom duurde het tot het middaguur voordat alle abonnees weer online konden gaan." De storing trof alle 350.000 abonnees van Telfort. Klanten konden niet internetten en de abonnees die ook voip-diensten van de isp afnemen, konden bellen noch gebeld worden.

Reacties (125)

[derx666]

Erg slecht dat ze een belangrijk iets als een dhcp server nieteens redundant uitgevoerd hebben. Al hadden ze maar een andere server die tijdelijk als dhcp server kan dienen, ben je in een korte tijd weer in de lucht, ipv dat het meerdere uren duurt. Mja, dat is denk ik ook het verschil tussen een goedkope en een wat duurdere ISP. Als je het niet zo'n probleem vindt dat je er een tijd uitligt als er een probleem is, dan heb je aan een goedkope ISP voldoende. Heb je hier wel problemen mee, dan neem je een ISP zoals XS4ALL ofzo...

[dion_b]

Al hadden ze maar een andere server die tijdelijk als dhcp server kan dienen, ben je in een korte tijd weer in de lucht, ipv dat het meerdere uren duurt.

Onderschat dat niet. Juist als je een andere server moet inzetten moet je weer van nul af aan beginnen met leases uitgeven. Ineens alle klanten tegelijk afhandelen kan geen enkele DHCP server, dus moet je het gefaseerd doen. Sterker nog, ik gok dat dit ook exact is wat ze gedaan hebben

[Verwijderd]

Grappig. Informatie op een website zetten voor een doelgroep die momenteel geen internet toegang heeft

Ochja, beter iets als niets

Gelukkig dat het alweer is opgelost.

[Vicarious]

Ja slimmerik, die kunnen natuurlijk andere mensen vragen om even naar de Telfort site te gaan om te kijken of er een algemene storing is.

Anyway, DHCP is toch dubbel uitgevoerd lijkt me?

[SunnieNL]

dhcp wordt meestal via 80/20 regel uitgevoerd...
als die uitvalt pakt een 2de het op, maar die heeft maar 20% van de ip adressen.

Probleem is namelijk dat de dhcp servers niet aan elkaar kunnen doorgeven welke adressen in gebruik zijn. Om nou te voorkomen dat de backup server ip adressen uitdeelt waarop anderen al online zijn, krijgt die maar 20% van de beschikbare adressen (wat dan weer meestal te weinig is om iedereen online te helpen).

zoiets zal telfort ook wel hebben. De backup server wordt dan waarschijnlijk alleen voor zakelijke klanten gebruikt

[magistus]

Je maakt een grapje zeker? Dhcp is gewoon redundant uit te voeren, iig ISC dhcpd. Heb ik met veel plezier enkele jaren het beheer van gedaan bij een grote gemeente in Nederland.

[rdfeij]

ISC dhcpd (DHCP v3) is nog (of net niet meer) nog beta dacht ik.
Maar ik gebruik het ook al met plezier, ideale failover die direct bij een dhcp request op beide servers synchroniseert.

[Mexxwelll]

Maar in het artikel staat ook beschreven dat er een switch uitlag, laat nou net de DHCP servers op die switch aangesloten zitten.

[Vicarious]

Als je beide DCHP servers op dezelfde switch aansluit, tja, dan ben je gauw uitgeluld natuurlijk. Het is toch verdomme een ISP?

Wat natuurlijk zou kunnen is dat er één DHCP server uitvloog, en dat de switch waarop de tweede DHCP was aangesloten er tegelijkertijd ook uitvloog. ZEER kleine kans, maar het kan.

[Verwijderd]

En draai het nu eens om:

Het zou kunnen dat de backup dhcp server stuk was, maar dat wist niemand.
Toen vloog de switch van de primaire eruit en toen bleek ineens dat de fallback het niet deed.

Een stuk grotere kans :-)

[rimpeldinky]

geen probleem, als slim bedrijf heb je alles gekruist redundand uitgevoerd

NLB vlan gespreid over 2 switches zou de SPOF dan verholpen hebben

nu hebben wij als IT-ers makkelijk praten, maar wij hebben natuurlijk geen inzage in Telfort(kpn?)'s:

-richtlijnen
-beheerstructuur
-budget

niettemin is dit een vervelende gebeurtenis

[Reactie gewijzigd door rimpeldinky op 26 juli 2024 13:57]

[m4-io]

Nov 25 12:59:55 xxx dhcpcd[15343]: DHCP_OFFER received from (82.169.63.254)

Nov 25 12:59:55 xxx dhcpcd[15343]: dhcpIPaddrLeaseTime=14400 in DHCP server response.

Telfort kan natuurlijk ook zijn lease voor de lol veranderen van 4 uur naar 24 uur zodat ze iets langer de tijd hebben om een critisch probleem op te lossen. Nu verliest elke adsl-modem zijn IP na de 4 uur, indien de DHCP server niet bereikbaar is zit je dan direct zonder internet.

Doe nog gekker, verleng de lease tot 2 of 3 dagen en eind-gebruikers kunnen bij een dhcp probleem op vrijdag nog steeds het weekend door en de technici die hard werken (zonder sarcasme) hebben dan wat meer ademruimte om het probleem op te lossen en misschien zelfs een verbetering aan te brengen om het probleem in de toekomst te voorkomen.

[Klaus_1250]

@M4-io2: :confused: 14400 is een dag. Maar dan nog, een dag is wel erg kort.

Bij Ziggo is de leaseTime gewoon 7 dagen. Stuk logischer. Meeste mensen hebben routers, dus zijn 24/7 online. Dan heeft het weinig nut om een korte DHCP lease te pakken en gaat de DHCP server stuk of is er een andere storing, dan heb je er minder snel last van..

[m4-io]

14400 / 3600 = 4 uur , toch ?

Je hebt gelijk dat vrijwel iedereen zijn modem/router 24/7 aan heeft staan. De kortere leases zijn dus niet zo relevant , alleen voor de energiezuinigen onder ons die elke avond braaf de modem uitzetten.

Hoe je daar echter minder last van krijgt ? Je hebt nog steeds last van een korte lease ; als je de volgende ochtend je modem aanzet en hij krijgt geen lease dan heb je geen verbinding tot het probleem is opgelost.

Het idee is dus dat je een lease meegeeft die langer duurt dan de langste tijd om een probleem vakkundig op te lossen. D.w.z. minimaal 2 dagen om een weekend te kunnen overbruggen en eventuele gesloten leveranciers of weekend-houdende werknemers geen roet in 't eten kunnen gooien.

edit: ik zie net pas de reactie van cyber over de tijd.

[Reactie gewijzigd door m4-io op 26 juli 2024 13:57]

[CyBeR]

Reflian: over het algemeen worden statische IP's gebruikt. Dwz, het IP wordt toegewezen aan de aansluiting, niet aan een computer (en van computer wisselen betekent dus dat je gewoon weer hetzelfde IP krijgt.) Bovendien zijn praktisch alle modems tegenwoordig ook router en staan die 24/7 aan. Dus daar schiet je niet echt mee op.

Klaus_1250: hey rekenwonder, 14400 is nog altijd 240 minuten wat neerkomt op, eh, precies vier uur. 86400 seconden is een dag.

[Reflian]

Natuurlijk wordt het externe ip toegewezen aan de aansluiting (lijkt me vrij onmogelijk anders?) en of je ermee opschiet of niet, dat is wel het doel (geweest) van dhcp.

[Reflian]

Doe maar wat minder gek, want dan kun je net zo goed geen DHCP gebruiken en gewoon static IP's verlenen. Wat eigenlijk natuurlijk beter is, maar ik neem aan dat telfort DHCP 4u gebruikt zodat ze IP adressen kunnen spreiden over de mensen die online zijn.
Mensen die 2 dagen lang geen internet gebruiken hebben ook geen IP adres nodig, dus zijn er in totaal minder IP adressen nodig... Dat is het principe van dhcp.

[Sinned123]

Ja allemaal leuk en aardig, maar ben een keer een paar dagen achter elkaar offline geweest met de modem.
En heb vervolgens keurig mijn oude ip weer terug gekregen.

[Verwijderd]

Maar het is geen garantie (waarschijnlijk) dat je dezelfde terugkrijgt. Schijnt dat je een dedicated ip kunt aanvragen voor een meerprijs bij providers? Nooit van providers zelf gehoord, maar t is wel een leuke optie als je thuis mag, kan en klein wil gaan hosten.

[Verwijderd]

Dat doet een dhcp server altijd, indien mogelijk krijg je hetzelfde ip gewoon weer terug. Hij houdt bij welke je had, en geeft altijd de "langst ofline" aan een ander. Blijkbaar zitten ze niet zo heel krap in de ip adressen.

[masteriiz]

Over het algemeen weeg je de kosten af tegen de schade. Ik denk dat telford nauwelijks nog reputatieschade op kan lopen, dus dat zit wel snor...

[Aaargh!]

Het zou kunnen dat de backup dhcp server stuk was, maar dat wist niemand.

Hoezo ? Daar heb je toch hele mooie monitoring tools voor. Onmisbaar in elk groot netwerk.

Dit soort kritieke diensten dient gewoon redundant uitgevoerd te zijn, 2 servers, op 2 lokaties met automatische failover en monitoring.

[burne]

Gelukkig kun je altijd advies van een stuurman aan wal krijgen, als ISP.

Tip: Terminatie van atm-paden van DSL-lijnen vind op 1 lokatie plaats. Een DHCP-server op een andere lokatie is veel te storingsgevoelig en voegt qua redundancy dus niets toe. Ben je stukken beter af met een engineer en een stapeltje reserve-onderdelen.

[m4-io]

Liever een redundante oplossing dan. Da's prettiger voor de engineer die dan niet om 3 uur 's nachts uit z'n bed hoeft en heeft als bijkomend effect dat de duur van de storing niet extreem uit de klauwen loopt als nu.

Overmacht is prima, maar falende apparatuur is gemeengoed. Elke server kan kapot gaan, disks, geheugen, cpu, een koelertje, de voeding, de stroomvoorziening.

En de beste methode is gewoon alles meervoudig uit te voeren. Klaar.

Met de handen in het haar gaat zitten en zeggen "omg wat overkomt ons nu, overmacht, niemand mag kritiek hebben,stil zijn terwijl de engineer met een windows-CD de server opnieuw inricht !" is zo'n onzin vandaag de dag.

Tip ; verhoog die lease-tijd naar 2-3 dagen. En pas hem weer aan voordat er aanpassingen (aan ip-ranges of het netwerk) gedaan moeten worden. Met een beetje planning m.b.t. het lease-beleid gooit het geen enkel roet in het eten van de operationele dienstverlening en bij tegenslagen krijg je geen golf van kritiek over je heen.

[Verwijderd]

Gelukkig weten we precies wat er aan de hand is. Ik zit niet echt in de infra, maar heb al vaak genoeg "redundante oplossingen" gezien, die het dan toch net niet helemaal blijken te doen.
En ja, als je het test werkt het wel, maarja, wie zet de stroom uit van bijvoorbeeld het hele data centrum waar nog meer bedrijven gebruik van maken, dus is ook een test altijd behelpen...

[Verwijderd]

Misschien was er een kortsluitinkje de oorzaak. Twee dingen tegelijkertijd kaduuk is wel een beetje zeldzaam.

[yvesg]

Ik snap ook niet goed waarom alles niet redundant is uitgevoerd.
Dan moet het toch al wreed erg geweest zijn als er EN 2 switchen uitliggen EN/OF 2 DHCP's

[FLYhard]

Ik kon de telfort site wel benaderen, net zo als andere sites, maar dan rete traag, met veel timeouts. maar zodoende kwam ik er achter dat er een storing was. scheelt toch weer een telefoontje naar de klantenservice.

[Sh1va]

Sommige mensen zouden tegenwoordig wel willen dat het luchtalarm afging als hun internet het niet doet. Feit blijft dat er maar 1 manier is om te controleren of je internet het echt niet doet en dat is kijken of je kan surfen. De meeste mensen willen er niet op die manier achterkomen en willen dan van te voren op de hoogte gebracht worden.

Reconstructie Redactie Telfort (zondagavond 23 november 2008):

"Goh Henk, volgensmij gaat die switch en de DHCP server dinsdagochtend kapot"
" Ja Frits, laten we maar snel brieven uit de deur doen naar alle klanten die geen IP adres meer krijgen dinsdagochtend."
" Ow, uh, hoe gaan we uitzoeken wie van 350.000 klanten precies een brief moeten krijgen?"

Moraal van het verhaal, storingen kan je niet plannen wel (proberen te) voorkomen. En als je internet het niet doet, bel je de helpdesk. Daar hoor je 9 van de 10 keer een bandje voordat je iemand aan de lijn krijgt waarop word gezegd wat er op dat moment bij u in de buurt aan de hand kan zijn. Mocht de stem op het bandje u niet aanstaan, dan word u een medewerker toegewezen die het allemaal nogmaals keurig uitlegt.

[Reactie gewijzigd door Sh1va op 26 juli 2024 13:57]

[maceddy2004]

Alle klanten een SMS :-)

[les_paulde]

lekker bezig ja, een brief met de slakkenpost...

offtopic:
dat doen ze trouwens wel als er werkzaamheden zijn, krijg je keurig van te voren een melding over

Het is toch echt wel handig als ze het op de website sturen, zoveel mensen (mij inclusief) die gewoon fijn even op hun telefoon kunnen kijken waarom het gewone internet het niet meer doet. Vond ik toch wel verdomd handig toen mn internet het niet deed dat ik gewoon kon zien waarom het zo was. Dat was in de tiscali tijd nog wel anders, daar vertikten ze het vaak om het online te zetten. Daar hadden we toendertijd bij de helpdesk echt enorm last van omdat iedereen dan gaat bellen, nu zullen ze daar zeker wat minder last van hebben...

[Badtothebone]

Hoe moeten ze het doen dan, een brief schrijven? Alles is opgelost tegen de tijd dat de brief aankomt.

Meestal hebben mensen meerderer manieren om op internet te komen , via werk of vrienden dan kunnen ze daar kijken wat er aan de hand is. Zo ben ik ook achtergekomen en tegenwoordig hebben een hoop mensen internet via hun mobiel waarmee ze ook de site van Telfort kunnen bereiken.

[VNA9216]

Vroeger wel eens gehad (sonera heette het geloof ik), bel je de helpdesk dat je internet het niet doet, vraagt de troela aan de andere kant of ik op de site gekeken hebt of er al een storing bekend is.
Zeg je nee, valt ze je in de reden: nou dan moet u dat eerst maar doen!
klik! weg verbinding

Net zoiets als compaq bellen omdat de cdrom speler van je laptop helemaal niets meer doet (cdtje spint niet meer op). Krijg je te horen dat ze weigeren hem terug te nemen voor reparatie (ook al was hij net nieuw) totdat je windows opnieuw geinstalleerd hebt.
Ruim anderhalf uur voor nodig gehad om uit te leggen dat windows opnieuw installeren niet lukt zolang de cdrom speler het niet deed

[Verwijderd]

Omdat de klantenservice werd overspoeld met vragen, plaatste de isp een melding op de eigen website waarin de problemen werden erkend.

Wacht eens even... wat klopt hier niet.

[asing]

Het is best practice om je servers een vast ip adres te geven. Hierdoor heeft een server geen last van de storing.

Het vervelende is dat je dit bericht als klant niet kan lezen omdat je internet het niet doet....

[Jiffy]

Ik denk idd dat Structural op het laatste doelt...

[Sendar]

Tegenwoordig, check ik via mijn telfoon ( of beter gezegd via mijn telfoon) de website van telfort... Mede om het nummer op te zoeken dus kan ik ook de storing lezen.

Hier trouwens geen last gehad, Leiden

[Reactie gewijzigd door Sendar op 26 juli 2024 13:57]

[Alm4riC]

De storing trof alle 350.000 abonnees van Telfort.

Hoe kun jij er dan geen last van hebben gehad

[Sleepkever]

Zolang je maar een IP adres heb heb je die DHCP server niet nodig. Je kan er dus geen last van hebben als je modem niet uit is geweest sinds de server down was.

[kidde]

Mooi wel dus. Vraag me niet waarom, maar dat is de praktijk blijkt (o.a. hier). Mogelijk is de leasetime vrij kort, maar die kan ik zo niet vinden op m'n Zylex-kassie.

[Verwijderd]

Geen Zyxel? Die marketeers moesten trouwens de Nederlandse uitspraak en dan de betekenis er van kennen.... Had je toch beter een mooiere naam kunnen bedenken, magoed.

@Structural: Al kun je er niet vanaf thuis bij, je kunt altijd wel bij iemand anders terecht (of idd via je mobiel), mocht je het willen gaan zoeken. Het is ook een beetje formaliteit denk ik, zodat je nadat het hersteld is, terug kan vinden wat er nu precies gebeurd is.

[Thc_Nbl]

de DHCP-lease van telfort is 4 uur. dus na 4 uur gaat je modem opnieuw dhcp aanvragen. dit heb ik van de helpdesk van telfort naar aanleiding van ander problemen die ik had.

[ppl]

Valt wel mee, je krijgt zo een mooi overzicht van storingen. Zit je op je werk zoals het leeuwendeel van Nederland dan is de kans groter dat je dan die pagina te zien krijgt of iets aan nieuwsgeving omtrent de problemen. Het kan nooit kwaad om het te doen, uiteindelijk bereik je er toch wel een deel van de mensen mee plus dat het achteraf ook gewoon terug te lezen is.

[Proxy]

Alles klopt, zowat iedereen heeft een alternatief achter de hand om toch te kunnen internetten, lees: bibliotheek, internetcafé, vrienden, buren, GSM, familie....

[SidewalkSurfer]

Ik merkte het vannacht 'live' toen ik opeens niks meer kon, ik ben maar gaan slapen.

Maar nu keek ik vanmiddag in de router en het viel me op dat de interface status lager is.

Interface Status Rate

DSL Up 17849 kbps / 1031 kbps


Dat was eerst:

Interface Status Rate

DSL Up 20002 kbps / 1031 kbps


Hopelijk springt dit later weer terug.

[bjck]

Dat is iets specifiek met je eigen verbinding, met de verbinding tussen centrale en je modem op die lijn. Herstart je modem eens en je krijgt wee reen andere snelheid in de buurt van deze twee.

[Dessie]

Je zal maar net de hulpdiensten moeten hebben...

[HyperBart]

Doorgaans wordt in de config van de router een regel gezet dat een bepaald nummer via de PSTN lijn moet gaan, bij mijn Homelink abo is dat zo, het 112 nummer gaat nog via de analoge lijn, en wordt ook gesupported en geforwarded door de servers na een omzetting van analoog naar digitaal.

[Proxy]

Je moet ook niet afhankelijk willen zijn van mijn één bedrijf, juist voor zulk soort situaties.

[fly]

Ik hoorde dat kpn ook problemen had met internet gisteren en vandaag... gaat lekker zo

[Roko]

En laat Telfort nu onderdeel van KPN zijn

[rosje77]

Hm, handig......
De reden van de storing op je site zetten terwijl je abbonees niet meer internetten kunnen...

[SpaceAce]

Ze doen tenminste iets. Ik heb bijvoorbeeld op mijn werk snel even gechecked of er een storig was bij Telfort omdat ik vanmorgen geen internet en telefonie had.

Ik zou geen reden kunnen vinden waarom ze deze informatie niet op de website zouden moeten plaatsen. Het lijkt me ook lastig om iedere abonnee een brief te sturen met de informatie over de storing. Voordat de brief aankomt zal de storing al verholpen zijn.

[Ook al Bezet]

Wat hadden ze dan moeten doen? iedereen bellen?
Op deze manier kunnen mensen er op hun werk/studie tenminste achter komen wat er aan de hand is.

[Siebsel]

Als je dan meetelt dat een heel aantal abonnees ook de VOIP diensten van Telfort afneemt, welke ook niet werkten, gaat bellen ook weer lastig

[Black Eagle]

Gisteravond een constante download van 1.41mbps gehad. Van het een op andere moment begon deze te zakken tussen de 800 en 1.3mbps. En vanochtend zag ik een rood lampje op het modem branden. Voor de rest niet naar gekeken, moest toch werken. Dus ga er vanuit dat de problemen nu weer opgelost zijn.

[lexi]

Ik dacht dat zulke zaken altijd redundant geregeld waren. Of zouden zakelijke abonnee's via andere servers connecten?

[willyfreak]

Stond bij ALLE gebruikers dus zullen (hellaas) ook de zakelijke gebruikers geweest zijn.

[brid]

Ik neem aan dat je als zakelijke klant wel een vast ip-adress hebt voor je internet pijp.

En ik neem aan dat KPN mkb bedient met telfort, maar voor de grotere bedijven toch echt wel zijn eigen diensten gebruikt

[Ge Someone]

Ik dacht niet dat Telfort bedoeld was voor zakelijke gebruikers, neemt een bedrijf het toch krijgen ze geen voorrang.

[Sh1va]

Dat is juist, Telfort bied wel zakelijke abbonementen aan op de mobiele markt. Maar verkoopt alleen particuliere internet verbindingen.

Kpn verkoopt wel zakelijk SDSL en ADSL, het grootste voordeel hieraan is dat je er met een SLA vanuit kunt gaan dat je binnen 24 uur weer aan de slag kan. Maar als je het mij vraagt kan je beter 1x ADSL 1x Kabel en 1x Mobiel Internet nemen. De kans dat je dan uberhaupt zonder internet komt te zitten is erg klein. En de kost blijven tov zakelijke abbonement vrijwel gelijk.

[burne]

Je kunt er vanuit gaan dat SLA's bestaan om gebroken te worden. Ik heb tenminste met m'n KPN zakelijke SDSL ondanks de SLA alles bij elkaar 20 dagen zonder verbinding gezeten. Door een 'dubbel' uitgevoerde verhuizing.

Gelukkig ken ik KPN dus lag er al een kabelverbinding klaar.

[Earzz]

Ik merkte het vanochtend op voordat ik naar mijn werk ging.
Even geen internet radio dus, eerste keer sinds ik abonnee (klein jaartje) ben bij Telfort dat ik even zonder internet zat.
Heb het wel eens anders gehad met Casema, daar was het om de paar dagen wel raak.