Vodafone: overlast netwerkstoring voorbij

De landelijke netwerkstoring bij Vodafone is voorbij. Dat meldt de provider. Alle klanten kunnen weer bellen en sms'en. Waarom de signalling gateway woensdagmiddag rond een uur of een uitviel, is nog altijd niet bekend.

Vodafone maakte donderdagavond rond half acht wereldkundig dat alle klanten weer zonder problemen zouden moeten kunnen bellen en sms'en. Daarmee lijkt een einde gekomen te zijn aan een storing in het bel- en sms-verkeer die bijna dertig uur heeft geduurd. De eerste melding van de storing werd woensdagmiddag even na een uur op GoT gezet. Tot en met donderdagmiddag laat meldden tweakers problemen met bellen en sms'en.

De landelijke storing zorgde voor overlast bij veel klanten. Naast een onbekend aantal consumenten en zakelijke klanten die moeite hadden met bellen, sms'en en internetten via het Vodafone-netwerk, lag ook het tramverkeer rond Utrecht plat, omdat de communicatie van de trams verloopt via het gprs-netwerk van Vodafone.

De oorzaak van de storing was het uitvallen van een van de vier signalling gateways van Vodafone. Daardoor raakten de andere drie gateways overbelast en kregen veel klanten moeite met bellen, sms'en en internetten. Eerdere storingen dit jaar bij Vodafone troffen alleen het dataverkeer over de netwerken van Vodafone. Waarom de gateway uitviel, is nog altijd niet bekend. Zolang de oorzaak daarvan niet is gevonden, bestaat er een kans dat de gateway nog een keer uitvalt.

Reacties (87)

[ivorlandon]

ff 2 extra gateways erbij plaatsen: eentje extra en andere standby, dan is het probleem wel opgelost

[JordyOnrust]

Als het probleem zo simpel op te lossen is, waarom zou Vodafone dat dan nog niet hebben gedaan?
Onkunde?
Geldgebrek?
Niet de mogelijkheden tot?

[flippy]

onkunde op managernivo omdat die de techniek niet begrijpen en weigeren de knaken op tafel te leggen (minder winst) om een mogelijk probleem te voorkomen.

dus "all of the above" is het goede antwoord

[Sfynx]

Zo herkenbaar Je ziet dat in bijna elk bedrijf waar een duidelijke tweedeling techneuten - managers is: de business bobo's denken in winst en het liefst zo veel en zo snel mogelijk, de technische jongens denken in betrouwbare en veilige technische oplossingen voor een probleem, en het liefst zo goed mogelijk. Die twee belangen botsen meestal

En als je een beetje pech hebt als engineer word jij nog op het matje geroepen als je niet-redundante pauperserver defect raakt en het bedrijf bakken met geld verliest hierdoor... terwijl jij destijds wel een backupserver wilde, sterker nog, je stond erop... maar je baas niet (want dat kost me NU geld en dus doen we het niet ).

Ik vind het altijd wel leuk om verhalen van sysadmins en andere technici aan te horen "over die klote managers die niets begrijpen van de dingen waarover ze beslissen"

[WPN]

hardware niet op voorraad? levering duurt aantal dagen..

onkunde gaat het nu wel op lijken gezien er nu in een half jaar tijd 4 storingen zijn geweest....

naar mijn idee zijn deze problemen echter begonnen toen ze een extra netwerk in hun netwerk integreerde (weet even neit meer welk netwerk ze hadden overgenomen)

[Anoniem: 52706]

Wie zegt dat Vodafone dit misschien ook niet gewoon heeft gedaan?

Ook extra gateways (rundenante uitvoering) garandeert geen werking. Zoals ik al eerder aangaf, er zijn genoeg situaties voorgevallen waarbij dat gene wat rundenant was uitgevoerd niet wilde functioneren.

*) In één van de NOC's donderd het stroom eraf, aggregaten starten niet...
*) Je staat met je auto langs de kant met een lekke band en bedenkt je ineens dat je reserve band niet goed is of..... bedenk maar wat.

Rundenant (backups) zeggen ook niet alles en wellicht is dit nu het geval geweest, er was wellicht wel een backup alleen kwam deze niet up.

[Lazerus]

Het valt me op dat er nogal een heisa wordt gemaakt van het hele gebeuren. Ik heb nog nooit problemen ondervonden met Vodafone, en dat er nu een keer een (grote) storing was heb ik hooguit als lastig ervaren.

Niet echt een big deal dus (tenzij je 112 moet bellen/ergens in de polder zonder vervoer staat) en zeker niet het eind van de wereld. Uiteraard is mijn ervaring subjectief en zijn er wellicht mensen die wel in de pineut zijn geraakt hierdoor.

Zijn we niet allemaal een beetje te gefocussed op 24/7 bereikbaarheid? Op momenten als deze moet men wellicht eens proberen gewoon zonder te kunnen

[Anoniem: 325725]

@ Lazerus:
is misschien suf, maar ik heb bij deze storing helemaal geen last gehad. Overigens heb ik wel last gehad van beide data storingen eerder dit jaar. Feit blijft dat een kwart van de klanten niet zijn diensten kon gebruiken en dat het voor sommige al de xde keer dit jaar is. Vodafone is nou niet bepaald de goedkoopste, dus mag je verwachten dat alles gewoon werkt, en dat ze niet om de haverklap (grote) storingen hebben.

Ik zal ook niet mijn abbo opzeggen ofzo, of moeilijk gaan doen over abbogelden en tegemoetkomingen... dit zal toch wel overmacht zijn. maar het vertrouwen in vodafone neemt met elke (snelopvolgende) landelijke storing weer ietsje verder af. Ik bedoel, storingen kunnen voorkomen, maar dit is alweer de derde of vierde keer dit jaar op zeer grote schaal.

[WPN]

4e... van alle 4 last gehad, hebben van mn werk dus vodafoon

(nu) helaas begin dit jaar voor 2 jaar verlengt (niet mijn beslissing) omdat het goedkoper was dan 1 jaar....
maar zodra we de kans weer krijgen om over te stappen dan gaan we weg.

[Kyokushin]

beetje off topic, maar 112 is altijd bereikbaar. Simkaart eruit halen en een bij het opstarten op 112 drukken (meeste telefoons) dan krijg je de vraag of je een noodoproep wil doen en kiest hij een willekeurig netwerk om over te bellen...


ontopic: Prima, maar trams, rijkswaterstaat er draaien nogal wat bedrijven op Vodafone, voor hun is een storing van meer dan 2 uur (ik roep maar wat) vrij dodelijk. Of om in jouw referentiekader te blijven, stel je voor, je vriendin is hoogzwanger en staat op het punt te bevallen, maar jij bent niet bereikbaar omdat je onderweg bent en Vodafone hebt. Goed het is niet heel waarschijnlijk, maar er zijn vrij veel Vodafone klanten, en er worden jaarlijks toch een hoop baby's geboren tenslotte...

[sfc1971]

Iedere seconde telt, dus hoeveel verspeel je met die onzin? Oh, en je handen zijn bevroren van het koude water waar je zojuist iemand uit heb gewist en je staat te trillen van de schrik.

[neh]

112 kan je altijd bellen. ook al zit je bij vodafone (of heb je zelfs geen SIM in je telefoon) zal je telefoon bij een noodoproep proberen te herselecteren naar een ander beschikbaar netwerk zoals KPN of T-Mobile

[Kyokushin]

Vodafone staat bij de meeste mensen toch bekend als een betrouwbare provider met relatief goede service, wat voor een aantal klanten de reden is dat ze Vodafone hebben als provider en niet bijvoorbeeld (het vaak goedkopere) Telfort.

Wat zouden berichten op het Journaal dat file's langer zijn en trams niet kunnen rijden daar voor invloed op zijn?


edit typo's

[Reactie gewijzigd door Kyokushin op 22 juli 2024 16:19]

[Benjamin-]

Telfort zit op het netwerk van KPN, ik zou niet weten waarom dit minder zou moeten zijn.

[siepeltjuh]

Binnen een appartementencomplex kan je ook kiezen voor een penthouse en voor een krappe 1 persoons appartement.

Dat het netwerk van KPN wordt gebruikt zegt natuurlijk niets. Telfort is een budget provider, het geld moet ergens vandaan komen.
Ook al is Telfort een KPN dochter, er zullen hele andere service levels zijn afgesproken. (prioriteiten, bandbreedte etc etc)

Mooie vergelijking is wel dat XS4all, telfort ook gebruik maakt van het KPN netwerk. Echter zijn de mail, dns, online beheer (facturen, instellingen enz), extra opties echt totaal anders.

[Barleone]

Ik denk dat wel eens te merken ja. Rabo mobiel smsjes over het netwerk van kpn zijn bijv. ook enorm traag (in mijn woonomgeving). Lijkt mij een prioriteiten kwestie.

[Reactie gewijzigd door Barleone op 22 juli 2024 16:19]

[MortalPiso]

Het mag dan wel gebruik maken van het KPN netwerk, maar Telfort draait gewoon op hun eigen platform. GPRS verkeer gaat ook via hun eigen APN's.

[Barleone]

De statistisch berekende kans dat zoiets binnen de volgende 5 jaar gebeurd bij Vodafone is erg klein denk ik. Dus dat zou een reden kunnen zijn om naar Vodafone over te stappen
Helaas dat het niet altijd zo werkt in de IT, en dat de boel morgen weer vast kan lopen omdat er weer iemand een te lang smsje verstuurd.

[Kyokushin]

Fout om twee redenen,

De statistisch berekende kans dat zoiets binnen de volgende 5 jaar gebeurd bij Vodafone is erg klein denk ik. Dus dat zou een reden kunnen zijn om naar Vodafone over te stappen

Wat is de kans dat je twee keer een munt gooit en het beide keren kop is? - 25%
wat is als je één keer kop hebt gegooid en op het punt staat weer te gooien de kans dat je beide keren kop hebt gegooid? - 50%

Wat ik wil zeggen, je kan niet automatisch aannemen dat het niet nog een keer gebeurd puur vanwege het feit dat het al eerder is gebeurd. Je kan natuurlijk zeggen dat ze nu wel twee keer zo goed uitkijken dat het niet nog eens gebeurd, maar wie zegt me dat hier niet een structureel probleem aan ten grondslag ligt dat niet een twee drie opgelost is?

Verder neem je nu aan dat mensen op basis van hun ratio keuzes maken. Volgens mij klopt dat niet, de beste klanten zijn meestal de mensen die impuls aankopen doen, en dat soort aankopen gebeuren júist vanuit de onderbuik. Maak mij maar wijs dat dit goed is voor de naam van Vodafone

[Lethal]

Bijdehand:

kop of munt gooien is niet 50%-50% maar afhankelijk van de kant van de munt die boven ligt.

[Barleone]

Fout om twee redenen,

• Ik mis de smiley waarmee je je eigen reactie opleukt en niet te serieus in wil gaan op mijn niet-serieuze reactie.
• Je wilt mijn reactie nuanceren, maar daar had ik zelf al voor gezorgd.
Ik nuanceer mijn eigen reactie door (tussen de regels door) te zeggen dat IT afhankelijk is van de huidige staat van software/hardware. Aangezien de oorzaak nog niet bekend was, kan het dus inderdaad zomaar zijn dat de gateway zich voor de tweede keer verslikt in een SMSje ofzo.

[michaelmou]

Als 3 gateways overbelast raken, omdat eentje het niet doet, dan heb je iets niet goed gedaan.
Zouden ze bij Vodafone niet een wat grotere buffer moeten hebben?

[SunnieNL]

zou je denken he.. als je er 4 hebt en de andere 3 kunnen de load niet aan als er 1tje uitvalt, dan heb je een verkeerd cluster gebouwd (in ieder geval eentje die niet HA is). Ze zullen er dan toch echt eentje extra als hot standby moeten hebben ...

[PSP123]

Ik heb geleerd, zorg altijd voor redundancy oftewel zorg er voor als een device het niet meer aankan, dat de andere device het kan overnemen.

[Anoniem: 201824]

Mja, misschien was dat de redundante signalling gateway die eruit klapte. En is iedere Vodafoneklant snel gaan 'testbellen' omdat ie hoorde dat het netwerk eruit lag of er misschien snel uit zou vliegen nadat de eerste meldingen zich voordeden.

Stel je de volgende fictieve tijdpad voor van de kettingreactie die ik vermoed:
woensdag...
13:00 1 signalling gateway eruit.

14:00 het toevallige aantal telefoontjes en dataverkeer etc. van het afgelopen uur zorgt voor zware load van die 3 werkende signalling gateways. De monteur is al aan het stoeien met die stukke signalling gateway

14:30 De verbinding is eigenlijk weg. Ook de spontane telefoontjes stapelen zich op, en mensen die eerder last hadden blijven proberen erdoor te komen. De 3 overgebleven signalling gateways kunnen het niet meer goed bijbenen.

15:00 Nog meer Vodafoneklanten horen van de storingen, of merken dat verbinding helemaal niet of niet optimaal is. Ook die klanten testen de verbinding of ze erdoor komen. De 3 signalling gateways begeven het ook.

Helemaal fictief tijdpad. Maar ik kan me voorstellen dat zo'n soort kettingreactie de boel nog eens extra op scherp heeft gezet. En dat de overlast daardoor langer ging duren, tot maar liefst 30 uur.

Ik vraag me trouwens af of Vodafoners dan geen gebruik konden maken van andere netwerken van de diverse providers in NL?

[SpaceDok]

Ik denk eigenlijk dat er veel meer aan de hand is geweest dan dat ze nu toegeven. Iedereen, maar dan ook echt iedereen, die ik heb gesproken met een Vodofone abonnement, zowel zakelijk als privé, had er last van. Dat is toch wel wat meer dan de 1 op de 4 die er eigenlijk last van gehad zou moeten hebben.

[edit] typo's [/edit]

[Reactie gewijzigd door SpaceDok op 22 juli 2024 16:19]

[DeMetaal]

Volgens mij werd er ook gezegt dat het er 1 op 4 waren, mogelijk meer..
Maar goed, in mijn omgeving waren er even gauw 3 vodafone simkaarten en de website..Waarvan er 2 simkaarten en de website plat gegaan waren.. Overigens waren 2 simkaarten donderdag ochtend (al)weer terug.
De mensen die er geen last van hebben zal je ook niet zo snel horen klagen of praten erover. En misschien is die 1 op 4, dat er een stel provincies zijn waar bijna niemand er last van had terwijl bv ZH, een drukke grote provincie, er massaal last van had..

[gertvdijk]

Ik vraag me trouwens af of Vodafoners dan geen gebruik konden maken van andere netwerken van de diverse providers in NL?

Klinkt als een goed idee dat je ook binnen NL kan roamen op andere netwerken (met kosten). Maar ik denk dat dat ook geen oplossing is, want stel je voor dat iedereen ineens tegelijk op het KPN netwerk ging lopen bellen, dan krijg je een kettingreactie waar je niet op zit te wachten. (Als KPN in één klap 4,7 miljoen nieuwe SIM registraties krijgt gaat dat echt wel over de kop hoor, want dat is gewoon een dDOS van jewelste.)

[Xirt]

Een beetje een sterk verhaal, want dit zou betekenen dat de mensen nog de hele dag verschrikklijk veel testtelefoontjes hebben gedaan waardoor de drie overgebleven gateways vol bleven. Daarnaast zijn er ook pieken met O&N enzo en Vodafone staat er juist om bekend dat zij de pieken aankunnen; een kleinere piek dankzij dit probleem zou dus niet een dermate grote downtime op mogen leveren. Ik hou in ieder geval het nieuws in de gaten, want als hier geen goede oplossing voorkomt vanuit Vodafone dan vind ik het de premium die ik betaal (relatief dure belminuten) niet meer waard.

[Anoniem: 1322]

N+1 inderdaad.
Daarna komt de directie er achteraan en vraagt waarom er zoveel kosten worden gemaakt. Het apparaat doet toch niets de hele dag? Manager geeft bevel dat machine ook wat moet doen. Engineer waarschuwt ze dat het nu nog kan maar dat ze in de toekomst echt op moeten letten. Niemand kijkt naar een maand meer na het systeem. Systeem valt om en alles gaat plat. Veel vingergewijs en hoop vergaderen later komt men tot de conclusie dat het de schuld van de engineer was. Deze werkt er toch niet meer.

Het bekende verhaal lijkt mij

[qless]

Idd ja, geen eningeer maar managment fout ...

[_Dune_]

Haha, hoe herkenbaar... ik wil niet zeggen dat ik het daagelijks meemaak, maar het is heel erg herkenbaar.

[Kaj.]

Nu weet ik niet wat een Signalling Gateway moet kosten, maar het gegeven dat een grote provider als Vodafone er slechts vier heeft, zou aangeven dat die dingen in hun eentje al behoorlijk wat verkeer aan kunnen, en waarschijnlijk enkele tonnen tot miljoenen kosten.

Dan kan ik me voorstellen dat je niet zo heel snel er een vijfde bij koopt.

Ik denk dat je de "schuld" kunt delen tussen de mensen die bij Vodafone vooruit moeten denken, de mensen die een dergelijke beslissing tegenhouden omdat zij met de hand op de knip zitten en de bellers die een probleem opmerken en vervolgens massaal gaan testen.

[Plasma_Wolf]

Een extra gateway blijkt dus wel een vereiste, de vraag is alleen of ze een extra gateway willen hebben, zoals eerder gezegd zal dat wat geld kosten en in een bedrijf wordt altijd op de kosten gelet, terwijl men veel winst wil maken.

Uiteraard is het wel stom dat alle gateways overbelast raken als er eentje uitvalt. Minstens één extra, voor het geval dat, is wel handig. Eigenlijk voortgebouwd op hetzelfde idee als het maken van back-ups van data op een HDD

[Reactie gewijzigd door Plasma_Wolf op 22 juli 2024 16:19]

[Anoniem: 314471]

Eigenlijk voortgebouwd op hetzelfde idee als het maken van back-ups van data op een HDD.

Wat dacht je van net zoals bij gateways..

Anyway, HA is leuk maar hoe groter het wordt hoe lastiger het onderhoud en hoe duurder. Daarbij zoals je misschien weet heeft T.net ook een loadbalancing/HA achtige opstelling. Die laat het nog wel eens afweten waardoor juist alles plat gaat.. Om dat risico kleiner te maken zou je twee loadbalanced HA clusters kunnen maken, beide met voldoende capaciteit om alles draaiend te houden. Maar dan wordt het wel erg duur..

[WPN]

je kan wel leuk besparen op kosten door geen extra gateway te plaatsen, maar dit is een grotere kosten post. Reken maar dat het tram bedrijf in Utrecht een claim indient.
Ik adviseer mijn management dit ook te gaan doen gezien dit de 4e storing in iets van een half jaar is waardoor business onderbroken wordt.

[PHiXioN]

Ik denk dat wat Vodafoners de komende dagen flink op hun flikker krijgen...

[34749]

Dat er mensen 'klappen' gaan krijgen binnen Vodafone is zeker, de vraag is: Gaat er wat veranderen ?

[doctormetal]

Waarschijnlijk niet. Zeker iet als dit een direct gevolg is van de kostenbesparingen van vodafone: besparen op service en onderhoud.

[dj.verhulst]

Vlak de niet gehinderd door enige vorm van inzicht van managers niet uit, die denken dat bepaalde dingen niet nodig zijn omdat het toch altijd heeft gewerkt

en hun techneuten negeren als ze het niet uitkomen, en nu als verantwoordelijken met pek en veren proberen in te smeren.....

[oddish2211]

volgens rtl4 nieuws werden er ook een aantal trams stil gelegd door deze storing, waarom snap ik nog steeds niet?

[Carpento]

Dat was de sneltram Utrecht-Nieuwegein/IJsselstein v.v. De reden: de communicatie tussen tram(bestuurder ?) en verkeersleiding gaat via GSM, en wel via Vodafone. Doordat die verbindingen niet meer betrouwbaar waren was de veiligheid kennelijk niet meer voldoende te garanderen, en dan is er maar één juiste beslissing: niet rijden

[Malarky]

Totaal begrijpelijk. Als ik zie als dagelijkse reiziger op de Rotterdamse metro hoe vaak er door wat opstoppingen opeens 2 en soms zelfs 3 metro's tegelijk een station in willen komen en dat twee metro's dan dus stil gaan staan of zachtjes rijden begrijp ik dat contact tussen verschillende metrobestuurders heel belangrijk is. Niet altijd is het traject goed verlicht en zonder onoverzichtelijke bochten.

[Reactie gewijzigd door Malarky op 22 juli 2024 16:19]

[Clementine]

Ik heb gisteren mijn telefoon uit gehad nadat ik geen bereik kreeg en door had dat dit wel even kon gaan duren.

Heerlijk rustig dagje moet ik zeggen.

Ik krijg overigens van sommige mensen hier het idee dat ze zichzelf wel erg belangrijk vinden op de manier waarop ze praten. Hoe raakt een bedrijf wat zo goed als altijd nette en goede service verleent na 1 x zo'n groot probleem als dit zijn betrouwbaarheid kwijt?

Je wilt niet weten hoe vaak ik voorheen bij t-mobile op drukke plekken in nederland geen bereik heb gehad. Ditzelfde hoor ik van telfort gebruikers.

We moeten gewoon even allemaal aan de "onthaastings" cursus en dan zijn we allemaal een stuk relaxter en kunnen we hier om lachen

@Lazerus: Jij snapt hem tenminste

[Reactie gewijzigd door Clementine op 22 juli 2024 16:19]

[WPN]

omdat dit niet de eerste keer is maar de 4e keer
2 keer een hele dag uitgelegen en 1 keer een halve dag, en dat in ongeveer 6 maanden tijd ofzow..

[LollieStick]

Vroegah was je ook niet bereikbaar als je niet thuis was. Wat dat betreft is twee en een halve dag peanuts.

En als je baas het zo belangrijk acht dat je bereikbaar bent, moet ie er maar rekening mee houden dat er überhaupt iets kan gebeuren waardoor je onbereikbaar bent (storingen e.d.)

[Bartjezz]

Lullig dat het tramverkeer platligt vanwege het uitvallen van een gateway...
Idd, als ze met 4 gateways kunnen draaien, maar met 3 niet, dan doe je iets fout... Maar goed dat ziekenhuizen altijd genoeg generatoren hebben om een stroomuitval op te vangen...

[Anoniem: 52706]

Ja en ehm.... nee!

NOC's hebben ook noodstroom generatoren en hoevaak is het voorgekomen dat hier door technische problemen e.e.a. mis gaat. Nu is die kans natuurlijk altijd klein dat het niet werkt alleen is dit identiek aan de problematiek die Vodafone heeft gehad... hoe vaak gaat zo signaling gateway eruit?

Of een switch welke je rundenant opstelt waarbij de 1e de geest geeft en de 2e weigert om te doen wat ie moet doen... een auto die je koopt waarbij je een lekke band hebt en je tot de ontdekking komt dat je reserveband al eens vervangen was met een lekke band... zo kun je door blijven gaan. Rundenant of noodstroom generatoren hebben gelukkig veel voordelen maar zeggen ook niet alles. Wie zegt dat Vodafone tenslotte geen backup had staan en dat deze weigerde om online te komen? Ik denk dat Vodafone toch wel redelijk wat verstand heeft en heeft geïnversteerd.

[twister00004]

Het netwerk was niet het eenigste wat niet werkte, vandaag lag ook hun website eruit

[hhoekstra]

Ja dit kwam door de grote toestroom van bezoekers. Iedereen wou natuurlijk weten wat er aan de hand is/was.
Ze hadden daarom ook al een melding op de site geplaatst dat er storing is enz..