Verstoring NL-IX leidt tot problemen bij Nederlandse providers en diensten

Er is sprake van een verstoring van de diensten bij internetknooppunt NL-IX. Dat blijkt onder uit data van de organisatie en allerlei bedrijven meldden problemen. De verstoring heeft geleid tot landelijke internetproblemen in Nederland. Inmiddels lijken de problemen alweer af te nemen.

De eigen statistieken van NL-IX waarmee het dataverkeer wordt weergegeven, laten voor donderdagmiddag zien dat er na 13.00 uur sprake is van een opvallend grillig verloop. Inmiddels lijkt die situatie weer te zijn genormaliseerd. Op storingssite Allestoringen.nl is vrij goed te zien dat rond die tijd ook storingen en problemen ontstonden bij allerlei diensten en providers.

Zo meldt de provider Solcon dat er sprake is van een landelijke storing en dat klanten momenteel last kunnen hebben van een gebrek aan vaste telefonie, internet of televisie. Ook Tweak maakt melding van 'verstoringen aan het internetknooppunt NL-IX', wat bij deze provider tot hinder met telefonie kan leiden, omdat een groot deel van het verkeer van Tweak via NL-IX loopt. Inmiddels zegt de provider dat het telefonieverkeer weer stabiel is en dat NL-IX om 14:50 uur heeft bevestigd dat er problemen zijn.

Hostingbedrijf Weserve spreekt ook over een landelijk probleem bij het internetknooppunt, wat voor WeServe tot gevolg lijkt te hebben dat zijn diensten in Brabant momenteel hinder ondervinden. "Overige impact is het slecht functioneren van alle diensten via NL-IX Transit. Bijvoorbeeld banken, tv-omroepen en telefoonnummers van derden zijn ook moeilijk te bereiken", aldus het bedrijf.

De website Storingsoverzicht.nl schrijft dat er sprake was van verbindingsproblemen met het internetverkeer van NL-IX tussen verschillende providers. Het probleem zou geconcentreerd zijn op de locatie van het Nationaal instituut voor subatomaire fysica, waar 'verschillende links zijn geraakt'. Volgens de site zijn de verbindingen inmiddels weer herstellende en is een onderzoek gestart naar de oorzaak. NL-IX was op het moment van schrijven onbereikbaar.

Reacties (56)

[NoUser]

Toch leuk voor Tobi dat we elke keer z'n RRD grafieken mogen aanschouwen.

[tweazer]

Zouden ze al een cd'tje of iets anders van zijn wishlist hebben gestuurd ?

[NoUser]

Ik ben ook benieuwd. Z’n wishlist staat hier
NL-IX staat er niet tussen.

[Tbit]

Tot op dit moment nog geen outage notificatie mogen ontvangen van NL-IX, te belachelijk voor woorden..

[xares]

Hier wel hoor:

Dear customer,

Please take notice of the notification updates:

# TIME UPDATE NEXT UPDATE
1 13:20 Reports about malfunctions from all over the Netherlands
2 13:25 Investigation has been started
3 13:50 The connections seem to be recovering and coming back slowly
4 14:15 Investigation about cause is still ongoing, but is seems this is related to the general issue going on in Nihkef.
If you still experience problems, please reply to this email. 16:00
5

If you have any further questions, please do not hesitate to contact NLIX support via [e-mail] or via our 24/7 service desk: [phone].

[lordsnow]

Enig idee over welk "general issue going on in Nikhef" ze het hebben?

[xares]

Geen idee, heb verder nooit een recente mailing gehad over problemen op hun platform in Nikhef. Wellicht verkeerd verwoord?

[Stealthje]

Er is geen general issue in Nikhef. Dit lijkt ongelukkig verwoord met een issue met hun platform.

[WeiserMaster]

NL-IX was op het moment van schrijven onbereikbaar.

Misschien heeft dat er wat mee te maken?

[Tbit]

Van iedere respectabele leverancier van connectiviteit zou je wel een dual-homed kantoor of fallback scenario mogen verwachten.

[Scriptkid]

dat heeft de AMS vast wel,

alleen hoeveel redundantie je ook toevoegd het zal altijd wel een keer down gaan. en zeg nou zelf hoevaak kun jij je herinneren dat de AMS IX issues heeft. ?

[MrFax]

Stuk of 5x afgelopen paar jaar?

[Scriptkid]

De laatste gemelde storing op tweakers hierover is van 2015 dus dat zal wel meevallen dan

https://tweakers.net/zoeken/?keyword=ams%20ix

[dok33]

Gek dat jouw search deze niet vind nieuws: Verstoring bij AMS-IX veroorzaakt internetproblemen in Nederland - up...

[dasiro]

there's your problem

[Jaded]

Ik heb ook niets gehoord, bizar.
Dat zou prio 1 moeten zijn. Een storing is vervelend, maar als je weet dat er iemand naar aan het kijken is kun je zelf in ieder geval stoppen het probleem bij jezelf te zoeken.

[tonkie_67]

Of informeren echt prio1 moet zijn ben ik niet met je eens en zou door de problemen ook technisch lastig kunnen zijn. Maar het moet wel een van de belangrijkste prios zijn natuurlijk en alleen als het ten koste gaat van het oplossen van de storing zelf moet dat snel gebeuren.
Maar het lijkt erop dat ze bepaalde partijen wel hebben kunnen inlichten.
Mogelijk is er een maillist oid waarop je je als klant kan aanmelden. Als een klant dat dan niet doet wordt het lastiger. En als je geen nl-ix klant of deelnemer bent wordt het nog weer lastiger.
De toko waar ik werk biedt de mogelijkheid om je te aboneren op meldingen mbt beschikbaar komen van nieuwe firmware tbv onze switches (alsmede firmware en drivers mbt onze servers, storage systemen en andere hardware en systemen) en hoe vaak ik niet te horen krijg van klanten dat ze boos zijn dat we ze niet benaderd hebben mbt bugs en beschikbare fixes etc. Maar als je dan vraagt of ze zich hebben geabonneerd op de meldingen is het 'nee, teveel moeite oid) en/of hebben ze onzr systemen via een partner gekocht en de systemen nooit op hun eigen naam geregistreerd. (Overigens bij ernstige problemen proberen we wel actief alle bekende klanten te informeten maar vaak is het gekocht via partners en nooit geregistreerd of hebben we alleen email adres van de inkoop of finance afdeling en alle emails die we dan sturen worden genegeerd... klanten actief gericht informeren is niet altijd makkelijk. ( als je slechts beperkt aantal diensten levert aan een beperkte klanten/ledengroep hebt zoals nl-ix of amsix zou het wel makkelijker moeten zijn: een exchange zou minimaal een technical contact van alle leden moeten kunnen benaderen al is dat via noc@ of support@klantdomein zijn want als ix-klant moet je een technical contact bekend maken bij aansluiting op de exchange)

[Heisenberg2021]

Aha... in onze teams sessie van zojuist waren ineens meerdere platforms niet bereikbaar. Wij maar zoeken, maar het lag dus niet aan de platforms...

[trogdor]

Ik had een klant met een probleem, wij maar zoeken....

[NEO256]

Ik was eigenlijk opzoek naar een overzicht van wat die verschillende knoop punten eigenlijk inhouden.
Verder dan een naam, locatie en dat het een grote knoop punt voor internet verkeer is kom ik niet echt.

https://www.bgp4.as/internet-exchanges
https://www.internetexcha...-ix-amsterdam-netherlands

Is er wellicht een overzicht welke locaties er per punt is en waarmee ze verbonden zijn?
Wellicht ook met snelheden en up status?

[dok33]

Zoiets?

https://www.nl-ix.net/exchanges

[NEO256]

Cool, inderdaad, dat is wat ik zocht.

[Oscrx]

Ik zag dat een van onze bgp sessies naar de NL-ix even was weggevallen na dat we wat klachten van een storing hadden ontvangen. Maar binnen 3 minuten was alles al over naar onze andere lijnen. Worked as expected kan gebeuren toch

[Snow_King]

Wij hadden juist last van BGP sessies die offline gingen, weer online, offline, etc. Dat zorgde juist voor allemaal problemen.

Onze NL-IX link is in Nikhef verbonden als dat er toe doet.

Voor nu hebben we onze link uit gezet om het verkeer om te routeren.

[vinkjb]

Hier valt het al 2 weken steeds uit. Wel van korte duur, maar is wel super irritant. Kpn voorheen telfort, weet niet of dat hiermee te maken heeft.

[Jan-E]

De prikstraat op Schiphol had er ook last van: https://nos.nl/l/2367335

Het ging om een storing bij een belangrijk internetknooppunt in Amsterdam. Vanavond was de storing nog steeds niet volledig verholpen; de GGD hoopt dat dit morgenochtend wel voorbij is.

[Reactie gewijzigd door Jan-E op 22 juli 2024 23:44]

[BHQ]

"Ook van 'verstoringen aan het internetknooppunt NL-IX', wat bij deze provider tot hinder met telefonie kan leiden, omdat een groot deel van het verkeer van Tweak via NL-IX loopt"

Dat leest alsof het ook om internetverkeer zou gaan, dat is niet het geval.

[PeegeeU]

Je hebt een kabelaar en daarop een provider. KPN of Ziggo en de anderen die daarop meeliften.
Die volgorde bepaalt ongeacht de kwaliteit, maar de snelheid die je kiest.
Met de aanleg van glasvezel zou het in de praktijk geen verschil in kwaliteit meer uitmaken. Enkel de snelheid, maar die bepaalt ieder voor zichzelf. Hoe makkelijker kan het nog?

[pizzafried]

Niks gemerkt. Wel zag ik dat de NOS site er even uit lag, mogelijk hier mee te maken?

[thelightning]

De website heeft er niet uitgelegen. Een tussenliggende partij tussen jouw internet provider en (een van de) internet providers van de NPO heeft eruit gelegen waardoor jij de website niet meer kon bereiken.

[pizzafried]

ik kreeg een 502 gateway error pagina van nginx, dus niet zo heel gek om te denken dat dan de NOS er uit lag.

[Christoxz]

Maar NOS had geen storing, dus zou bijzonder zijn als je een 502 terug kreeg van NOS zelf.
De verbinding naar NOS had problemen.

[supersnathan94]

Nee maar misschien wel tussenliggend. Een 502 is een bad gateway (http://http.cat/502) dus kan dus best dat het tussendoor dus een issue geeft.

Ik zou zelf eerder een time out verwachten though

[Christoxz]

indd, tussen door dus niet bij nos.

[pizzafried]

timeout is wanneer de server direct achter het ip niet reageert. In dit geval ging het om een server daar achter. Als je nginx en php-fpm hebt draaien ergens, zet php-fpm dan maar 'ns uit. krijg je een zelfde melding.

Ik vermoed dat het zoiets is geweest. Nu is de NPO hosting een openshift oplossing (heb ik minder verstand van, al zou het vergelijkbaar moeten zijn met kubernetes), dus het kan zijn dat de storing er bij de NPO heeft gezorgt dat bepaalde interne verbindingen niet gelegd konden worden. al dan niet door het uitvallen van services.

bron: https://hosting.omroep.nl/

[Reactie gewijzigd door pizzafried op 22 juli 2024 23:44]

[supersnathan94]

Voor zover mij bekend is gaf deze storing ook issues op loadbalancers bij bepaalde iaas providers. Dan is een time out dus wel logisch, want dat is je entrypoint direct achter het IP.

Het ligt overigens ook maar net hoe NPO hosting zijn proxying doet, want als ik op de site kijk die je linkt hebben ze Keepalive als HA loadbalancer maar is NGinx ook inzetbaar als loadbalancer en proxy, maar ook als webserver. Afhankelijk van inrichting kun je dan dus twee keer een gateway issue krijgen. Maar daar zullen ze wel verder over nagedacht hebben.

Als het openshift is dan is de kans groot dat het komt doordat het niet allemaal in hetzelfde DC hangt en ze dus een interlink zijn verloren hierdoor. Loadbalancer had dat imo wel af moeten vangen. Kans dat die te laat is gaan schakelen waardoor pizzafried nog wel een 502 kreeg op een roundrobin “ga maar naar het andere DC” request.

[vinkjb]

Klopt vanmiddag was de nos site en radio die ik altijd beluister niet te bereiken.

[vincedd]

Dat zou kunnen. Nl-ix staat ook in ons datacenter op het mediapark en NOS host waarschijnlijk vanuit hun eigen pand en de verbinding naar NL-IX loopt via ons

[Reactie gewijzigd door vincedd op 22 juli 2024 23:44]

[Anonymoussaurus]

Lijkt er niet op als ik hier kijk: https://www.nl-ix.net/network/connected-networks/. AS-nummer noch organisatie staat er tussen.

Lijkt er wel op, aangezien NOS onder de NPO valt en ze dus alles op 1 AS-nummer afnemen : https://apps.db.ripe.net/...%20%20&searchtext=AS25182

[Reactie gewijzigd door Anonymoussaurus op 22 juli 2024 23:44]

[krissiekris]

NPO staat er tussen...

[Anonymoussaurus]

Ik wilde op het moederbedrijf zoeken, maar wist niet zo 1,2,3 dat het de NPO zou zijn. Dus zocht ik op Google naar "moederbedrijf NOS". Nou, dan krijg ik alles behalve dat resultaat. NPO Wikipedia maakt hier wel melding van though:

De leden van de raad van bestuur van de NPO vormden tot 2011 tevens de raad van toezicht van de NOS

Gevonden: https://nl.wikipedia.org/...anuari%202010%20gewijzigd.

[Reactie gewijzigd door Anonymoussaurus op 22 juli 2024 23:44]

[vincedd]

NPO is onstaan uit de NOS. Zijn nu 2 aparte bedrijven.

[Risce]

Dit gaat niet helemaal goed... De NPO is de coordinerende overkoepelende organisatie. NOS is (net zoals bijvoorbeeld) AVROTROS en VPRO een omroep. De NPO is dus niet 'ontstaan uit de NOS'. Het zijn wel twee aparte bedrijven inderdaad.

[vincedd]

Ok, Heb altijd gedacht dat het uit de NOS en NOB was onstaan, aangezien het allebei in het zelfde pand (gebouw 6 en 7 op het mediapark ) zitten, met alleen een tussendeur met een kaartlezer erop en je zo dus van de NOS naar de NPO kan lopen.

[Risce]

Sterker nog, mensen van beide bedrijven delen dezelfde bedrijfskantine. Maar de structuur is dus dat de NPO distributie en coordinatie doet voor alle omroepen, waaronder de NOS. NOB is een niet meer bestaand facilitair bedrijf, die dus straalwagens en cameramensen enzo regelde en techniek zoals editsets.

[vincedd]

I know. Ik kom regelmatig langs de gezamelijke bedrijfskantine, zit daar veel recht tegenover de ingang en zit daar ook veel een verdieping hoger.