Netwerkprovider BBNed kampt met landelijke storing - update

Netwerkprovider BBNed kampte vrijdag met een landelijke storing waardoor veel mensen zonder internet zaten. Een stroomuitval in Global Switch Amsterdam zorgde ervoor dat een coreswitch uitviel. De storing is inmiddels opgelost.

De storing lijkt rond kwart over tien vrijdagmorgen te zijn begonnen. Het gaat om dsl- en fiberverbindingen door heel Nederland, melden diverse bedrijven. Inmiddels stromen er ook meldingen binnen op GoT. BBNed levert dsl-verbindingen aan een groot deel van de providers in Nederland, waardoor de storing klanten van diverse isp's treft.

De oorzaak bleek te liggen bij een coreswitch op Global Switch, de ASDGTS1CORE1, die eruit lag door stroomuitval. Twee inverters die enkelvoudig zaten aangesloten op de switch begaven het door kortsluiting, waarna de switch geen stroom kreeg, aldus een woordvoerder van Global Switch. De stroomtoevoer was volgens Global Switch, waar de coreswitch staat, niet redundant. Na het vervangen van de inverters was de storing voorbij.

Het netwerk is wel '100 procent redundant', aldus een woordvoerder namens BBNed. "Het lijkt erop dat de taken niet overgenomen werden door een andere switch wegens een onfortuinlijke samenloop van omstandigheden. We zijn nog aan het onderzoeken wat die omstandigheden zijn, zodat dit nooit meer kan gebeuren."

Naast internetverbindingen van consumenten en bedrijven lag betaaldienst iDeal er eerder vrijdagochtend ook uit. Sommige pinautomaten in winkels werken evenmin. Het is onduidelijk of al die storingen verband houden met elkaar. BBNed is onlangs overgenomen door telecombedrijf Tele2.

Update 14:07: Reacties over oorzaak storing en redundancy van Global Switch en BBNed toegevoegd.

Reacties (84)

[DrClaw]

umm, nee.

ik heb het wel eens meegemaakt, dat van de 2 power units in een apparaat, er eentje blijkbaar van mindere kwaliteit was. zag je aan de buitenkant niet, lampjes waren gewoon groen, en status van de power rails was gewoon goed.

en toen klapte de stabiele voeding eruit. dat kon de 2e power unit niet hebben, en die maakte kortsluiting. en die kortsluiting liet de zekering klappen, dus plots had een hele toren op 1 PDU geen stroom meer, en zat alles op de backup stroom. Behalve dan die ene server, die had dus helemaal geen stroom meer.

[enveekaa]

Is mogelijk, maar dan deugt je hardware niet

[mae-t.net]

Allicht deugt die hardware dan niet, anders zou ie niet stuk zijn gegaan, en bovendien schrijft DrClaw het al: "blijkbaar van mindere kwaliteit".

Echter zie dat maar eens vantevoren te constateren, zelfs gerennomeerde merken gebruiken soms rommelvoedingen, en zelfs als het geen rommelvoedingen zijn is er nog wel een paar promille kans op voortijdige uitval.

[Reactie gewijzigd door mae-t.net op 25 juli 2024 19:53]

[Neyluzz]

Beetje kort door de bocht, vind je niet? Ook daar kan je dan dus niks aan doen. Nutteloze reactie dus

[Beaves]

Voor de duidelijkheid, volgens de outage meldingen van BBned die we gekregen hebben is ASDGTS1CORE1 down, dit device hangt op Globalswitch (Amsterdam) en heeft de geest gegeven. Op dit moment is er een monteur van BBned op locatie om het probleem te verhelpen.

[Reactie gewijzigd door Beaves op 25 juli 2024 19:53]

[joke_name]

Grappig trouwens dat de medewerkers van BBNED hier op eigen houtje gaan communiceren en niet wachten tot de afdeling marketing iets naar voren brengt.

eenduidig beleid is zo fijn...

[Durandal]

Wees blij. Van marketing ben je als klant nog nooit beter geworden.

[hexeye]

van marketing krijg je nieuwe producten, PR is een ander verhaal.

[TNW]

Quotes van outagemailtjes en meldingen van wat de storing inhoudt betekenen niet per se dat het BBned medewerkers zijn...

Hier ook weer outage resolved, dus probleem opgelost

[Sorcerer8472]

Ik neem aan (en hoop) dat het medewerkers van andere bedrijven zijn die bijv. servers/verbindingen van klanten via bbned-aansluitingen monitoren. Die merken dit soort dingen en zijn geen werknemers van bbned.

[mae-t.net]

Dat is tenminste het beeld van een betrokken provider die ook echt wat doet.

[Nextron]

Geen spares voor niet-redundante kritische hardware?

[arjankoole]

Geen spares voor niet-redundante kritische hardware?

best grote kans dat het ding redudant is uitgevoerd, en correct geconfigureerd, en alsnog de redundantie gefaald heeft. Ik heb 't al veel te vaak zien gebeuren.

[corl]

Kan je dan ook verklaren waarom dit zo vaak gebeurd? (redundante systemen die falen?) Ik neem aan dat het ook periodiek getest wordt anders heeft het geen zin.

[YDh]

De enige manier om met zekerheid te testen of een redundant systeem werkt is het primaire systeem offline halen. In omgevingen waar er 24/7 gewerkt wordt kan dit heel moeilijk (en meestal zelfs gewoon niet). Alle testen die gedaan worden zijn dan ook maar een best effort.

[thegve]

Voor uitrol kan het getest worden lijkt me. Na uitrol kan het in een testomgeving door de leverancier getest worden. Maar in de praktijk lijkt het inderdaad alsnog vaak mis te gaan. Ik begrijp hem nog steeds niet helemaal moet ik zeggen. Of er is een fout in de detectie van "stuk", als dit niet helemaal goed is geimplementeerd en de switch reageert nog op heartbeat requests oid en dat is het enige waar ze naar kijken...

[Snow_King]

Vaak worden nieuwsberichten versimpeld en blijkt de echte oorzaak niet zo te zijn als beschreven.

Het lijkt me zéér onwaarschijnlijk dat een landelijke netwerk achter een enkele, niet-redundante switch hangt.

Het kan goed zijn dat de primaire switch het begeven heeft en de tweede zijn taak niet goed wil overnemen, dat heeft dan vaak te maken met een software probleem.

Wij hebben het zelfde vorige week bij ons nog gezien, één core-router gaf de geest, maar de tweede weigerde zijn functie over te nemen, dit kwam door een bug in de software.

Ik vermoed dat er bij BBned nu iets in die richting aan de gang is.

[arnoudwokke]

Dat lijkt mij ook, maar dat is iets wat we niet weten (en waardoor we het dus niet kunnen melden in het nieuwsbericht). Het feit dat het aan de genoemde coreswitch ligt is iets wat we uit meerdere bronnen hebben gehoord en dus wel durven op te schrijven. En uiteraard zal er een redundante switch zijn die na uitval de taken van die eerste niet overneemt. Anders hadden we immers geen storing gehad, nietwaar?
Ik wacht op reactie BBNed om dat op te kunnen schrijven

[HoppyF]

"Outage reason : Power failure on both power feeds at GlobalSwitch in Amsterdam".

Waarom denk je dat er TWEE power feeds op een switch zitten?
Juist: als er eentje uitvalt heb je er altijd nog eentje over.

Blijkbaar zitten beide power feeds op dezelfde feed aangesloten!
Foutje??

[rdfeij]

Dat staat ook in de tekst, dat de stroomvoorziening niet redundant is uitgevoerd. Beide stekkers zullen dus in hetzelfde circuit zitten.

[HoppyF]

Ja die tekst is pas later toegevoegd!
De stroomvoorziening was dus toch niet redundant.
Typisch geval van Single-Point-Of-Failure: SPOF.

[Kompaan]

Nja, meestal heb je ook nog een UPS met daarachter noodaggregaat, maar die starten ook niet altijd op tijd

[Verwijderd]

Verwachting voor het oplossen van de storing lijkt rond 13:00 te zijn.

[ReCreator]

Bron?

Ik verwacht overigens ook wel dat het spoedig weer werkt, aangezien ADSL, SDSL, IMA, Fiber, etc allemaal niet meer werkt hier zal er best druk achter staan.
Vreemde is dat sommige nog wel gewoon werken. Lopen die stiekem niet via BBned ofzo?

Update:
De eerste verbindingen komen hier ook weer up...

[Reactie gewijzigd door ReCreator op 25 juli 2024 19:53]

[MeNTaL_TO]

Klopt inderdaad, zie onze klanten weer online komen.

[Powermage]

Dan moet je heel diep zitten, wij hebben meldingen uit Sittard binnen.
Onze eigen locatie in Beek daarintegen werkt nog wel.

[wutwutwhat]

Maastricht diep zit ik, en hier nog niets gehoord van vrienden/collega's!

[BasvM]

Onze BCM (VPN) verbindingen zijn ook weer in de lucht ... idd, PSU's vervangen.
Beetje jammer van BBeyond dat ze geen storingspagina hebben en dat ze de helpdesk plat hadden gegooit (zet er dan een tekst op denk ik dan .........)

[HoppyF]

Wat heb je aan een storingspagina als je geen internet hebt???
Je kunt dan hooguit achteraf constateren dat er een storing is geweest...

[El Snorro]

Even kijken via een 3G of backup verbinding?

[HoppyF]

Ja leuk, maar dan moet je die wel hebben!
Voor een bedrijf is een backup netwerk geen probleem voor een tweaker wel...

[internetinfo]

Want? Mijn ouders hebben bijvoorbeeld een glasvezel verbinding met daarnaast een ADSL verbinding voor het geval glasnet er eens uit vliegt. De dual WAN router pakt automatisch het ADSL signaal op zodra dat gebeurt.

[mae-t.net]

Een tweaker heeft vaak wel internet op zijn telefoon. Zelfs mijn SGH-C270 budgettoestel van 30 euro heeft er nog een browser op zitten...

[Kiswum]

In 2010 hebben veel apparaten verbinding met het internet, denk hierbij (zoals El Sonorro ook al zei) aan mobieltjes met 3G

[paulebappie]

Mee eens, het komt vaker voor dat een klant een storing ervaart. Het is dan erg fijn dat er melding van de storing wordt gemaakt zodat je niet meteen hoeft uit te rukken (systeembeheerder).

Niet zomaar mensen in het luchtledige laten hangen.

[Hom3r]

Op het werk in Amsterdam ook BBned als provider en voorlopig nog online.

[Powermage]

Als een winkel pinnen over IP gebruikt via een provider die BBned gebruikt, dan kunnen die inderdaad niet pinnen