Diverse organisaties Tilburg offline door stroomstoring universiteit - update

Studenten en docenten van de Tilburg University kunnen dinsdagochtend niet mailen of bellen. De ict-infrastructuur is uitgevallen na een stroomstoring en het noodaggregaat nam de stroomvoorziening niet over. Internet is inmiddels hersteld.

De onderbreking van de stroomvoorziening vond plaats in gebouw G van de Tilburg University. Door een samenloop van omstandigheden waren de gevolgen groot, volgens perswoordvoerster Tineke Bennema. "Het noodaggregaat functioneerde niet naar behoren. We zijn nu druk bezig de back-upinfrastructuur in te schakelen." Ook de websites van de universiteit zijn offline.

Internet functioneert inmiddels weer op de campus, maar onder andere mail en telefonie werken nog niet. De universiteit raadt studenten en medewerkers aan niet naar de campus te gaan, totdat meer duidelijk is over het herstel van de voorzieningen. Wanneer dat is, kan Bennema nog niet zeggen. "Zo snel mogelijk." Naar de oorzaak van de stroomonderbreking wordt nog gezocht.

Update, 11.11: Meer organisaties lijken last te hebben van de storing van de infrastructuur. Onder andere Xpect Primair, een stichting voor katholiek basisonderwijs in Tilburg met 550 docenten en 6400 leerlingen, heeft hierdoor geen internet. Bennema bevestigt dat de Tilburg University een knooppunt van verbindingen is waardoor de gevolgen zich uitstrekken tot andere bedrijven en organisaties.

Update 2, 11.50: Ook het stadion van Willem II is offline, waardoor klanten geen seizoenskaart kunnen bestellen. Daarnaast is de TIAS School for Business and Society getroffen door de storing.

Update 3: De noodaggregaat nam de uitval aanvankelijk wel over, maar viel om onbekende redenen zelf uit in de ochtend, waarna het glasvezelnetwerk van Breedband Internet Tilburg offline ging.

Reacties (97)

[Geckoo]

De oorzaak van de stroomstoring is bekend. Gisteren is er om 16:20 in Tilburg een korte stroomonderbreking geweest. Hierop zijn de generatoren voor de noodstroomvoorziening aangegaan. Tussen het stroomnet en de Generatoren is een NETWACHTER aanwezig. Deze netwachter detecteert of er weer netspanning is en schakelt na synchronisatie met de netstroom de generatoren uit. Deze netwachter is defect en heeft niet meer gedetecteerd dat de netstroom terug was. Hierdoor zijn de Generatoren blijven draaien. In de loop van de nacht is de brandstof van deze generatoren opgeraakt waardoor deze uitvielen. Nadat de UPS systemen leeg waren was er totale stoomuitval. Er wordt nu met man en macht gewerkt aan het bypassen van de Netwachters zodat de stroomvoorzieningen weer herstelt wordt. Volledig herstel zal nog minimaal 3 uur duren.

[kidde]

De vraag is of het echt een "onderbreking" was. Hier op kantoor (Tilburg Zuid) hoor ik over een "dip", ik kan het echter (nog) niet terugvinden bij Enexis / Liander /Tennet. Bij een spannignsdip valt de stroom niet volledig weg, maar zakt de spanning in tot bijv. 25% van wat deze zou moeten zijn.

Laatste keer dat we het hier hadden, bleven alle TL-balken en ook PC's het wel doen (met beetje flikkeringen), maar veel machines schakelen veiligheidswege wel volledig uit. Ik weet niet hoe netwachters hiermee omgaan.

[Voxxie]

Wij zitten zelf in Nieuwkuijk, en ook wij hebben gisteren rond die tijd een korte dip gehad. (+/- 1 seconden)
Dus er is wel degelijk een korte dip geweest gisteren.

[R4gnax]

De vraag is of het echt een "onderbreking" was. Hier op kantoor (Tilburg Zuid) hoor ik over een "dip"

Hier op kantoor (Tilburg Centrum) bleeft het euvel beperkt tot de TL-buizen die uit en weer aan sprongen. Alle workstation PCs die hier staan te blazen bleven gewoon draaien.

Ik weet niet hoe netwachters hiermee omgaan.

Ik vermoed dat detectiemateriaal voor failovers vrij snel alarm zal slaan om de omschakelingsprocedure al in gang te zetten terwijl de stroom nog aan het teruglopen is en zo de kans op een totale stroomuitval zo klein mogelijk te houden.

[Reactie gewijzigd door R4gnax op 23 juli 2024 17:11]

[CopyCatz]

Dus er is niemand die merkt dat er een hele nacht generatoren aan het draaien zijn? Staan die dingen zo diep onder de grond oid?

[Anoniem: 80487]

Als je er een beetje knap gebouwtje omheen zet hoeft dat niet op te vallen dat ze draaien. Zeker niet als er iemand langs moet lopen die die draaiende generatoren in verband moet brengen met een (stroomprobleem in de) serverruimte.

Wel kan je je afvragen hoe het dan kan dat de brandstofniveau's/status van de generatoren niet worden bijgehouden/gesignaleerd maar achteraf kijk je een koe in de reet.

Wij (ongerelateed) hebben SMS/GSM melders op het stroomnet die verder niets te maken hebben met ons netwerk, als dat er uit vliegt krijgen we meldingen in de vorm van telefoontjes en SMSjes. Ook als het gewoon opgevangen wordt door noodstroom en er in feite "niets aan de hand" is.

[Reactie gewijzigd door Anoniem: 80487 op 23 juli 2024 17:11]

[fevenhuis]

Ik zou zeggen dat het overgaan op generatoren al een urgente melding zou moeten zenden.

Wellicht waren de instellingen wie die melding moet krijgen verouderd.

En procedure checklists moeten opgesteld worden, om deze zaken (systeem meldingen) regelmatig te controleren.

[Reactie gewijzigd door fevenhuis op 23 juli 2024 17:11]

[hooibergje]

Is dat dan niet een kwestie van nieuwe peut in de generatoren gooien en aanzwengelen? Of denk ik dan te simpel?

[TweakTom92]

Jij denkt in oplossingen

[Rinzwind]

Niet testen en niet monitoren. Dat soort dinger als noodstroom levert vaker problemen op. Regelmatig zelfs meer problemen dan je gehad zou hebben met "gewoon een keer half uur eruit klappen door stroomnet".

[VW-Arjan]

Tilburg University is een groot knooppunt van glasvezelverbindingen.
Dus niet alleen de universiteit is daardoor getroffen.

[Iblies]

Er staan in die omgeving ook verschillende datacenters van providers, maar ook een bedrijf als https://www.nbrix.nl/home staat er in de buurt die onder andere faciliteert voor scholen.

Ik kan me voorstellen dat een storing de rest meetrekt, maar ik kan me moeilijk voorstellen dat dergelijke commerciële activiteiten vanuit een universiteit-campus wordt gecoördineerd.

Dat ze aan een knooppunt liggen lijkt me bijna vanzelfsprekend, maar dat ze het knooppunt zijn. Zou niet mogen.

[PizZa_CalZone]

Dat ze aan een knooppunt liggen lijkt me bijna vanzelfsprekend, maar dat ze het knooppunt zijn. Zou niet mogen.

Een Universiteit heeft meestal een dikke backbone / uplink liggen. Vaak wordt er met deze reden door diverse (commerciele) bedrijven kastruimte met uplink gehuurd.

Tevens zijn bijna alle nederlandse universiteiten en hoge scholen met elkaar verbonden middels surfnet. https://en.wikipedia.org/wiki/SURFnet

The company is a subsidiary of a not-for-profit foundation, SURF (Samenwerkende Universitaire Reken Faciliteiten; English: Co-operative University Computing Facilities).

SURFnet as a network is a backbone computer network reserved for higher education and research in the Netherlands. Staff and students of connected organizations can communicate through SURFnet with other internet users

Hiervoor worden vaak datacentra van universiteiten als knooppunt gebruikt. Ik kan in iedergeval al twee universiteiten uit m'n hoofd bedenken die een surfknooppunt zijn.

[Reactie gewijzigd door PizZa_CalZone op 23 juli 2024 17:11]

[VW-Arjan]

Zou best mogen, maar dan zou de procedure voor een geval als dit iets beter mogen zijn.
Als ik zo een beetje door alle berichten heen scroll hier zijn er toch echt veel bedrijven/organisaties/instanties in Tilburg getroffen door deze storing.

[Iblies]

Imo de niet,
welke prioriteit ga je namelijk nu stellen?

Aan de ene kant heb je 13.000 eigen studenten die vandaag weinig kunnen doen, aan de andere kant heb je verschillende andere afnemers die ook aan de bel komen trekken.


Misschien was het in het verleden een heel voortvarend besluit, maar wel een die je nu in de staart bijt. Wie of wat onderhoud de systemen, moeten er mensen van buiten komen, etc, etc. Kan goed dat over een uur alles wel en wee is, maar het zou me ook niet verbazen als morgen nog steeds niemand iets kan.

Op een gegeven moment wordt iets zo groot en complex dat je het moet afstoten, niet meer mee bezighouden anders dan dat het werkt.

[PizZa_CalZone]

Wanneer als Universiteit mini-providertje gaat spelen. Moet je uiteraard je dienstverlening daarop hebben aangepast. SLA's, contracten, uptimegaranties, calamiteitenplanning etc.

Ik mag dan hopelijk aannemen dat een klant van je datacenter netzoveel prio heeft als wat is afgesproken in de SLA. Wanneer je in deze situatie opeens keuzes moet maken tussen je eigen infra en dat van de klant dan heb je verkeerde afspraken vastgelegd.

[Reactie gewijzigd door PizZa_CalZone op 23 juli 2024 17:11]

[VW-Arjan]

Je bedoelt hetzelfde als ik, alleen gebruiken we niet dezelfde woorden

-edit: typo

[Reactie gewijzigd door VW-Arjan op 23 juli 2024 17:11]

[DennusB]

Wat is er nu nog meer getroffen? Ben wel benieuwd!

[VW-Arjan]

glasvezelklanten van breedband tilburg onder andere.
maar let er net aan waar je je internet ontsluiting hebt.

Wij hebben die in Waalwijk en zijn in deze afhankelijk van de universiteit.

[gaurdian]

Alle studenten in nieuwere woningen in Tilburg zijn ook aangesloten via Tilburg University.

[JeroenH]

Als dat zo is had dat wel in het artikel gemogen, toch?

[bartmatsko]

Staat er nu in

[ralph075]

Melding vanuit een glasvezelboer die ik over de storing ontvangen heb is iets anders. Het aggregaat werkte wel, alleen het terugschakelen naar gewone stroom niet. Zie hieronder:
Gister zijn na een hik op het stroomnetwerk op de PoP in Tilburg de stroompaden overgeschakeld naar het noodaggregaat. Deze heeft om technisch redenen niet terug kunnen schakelen naar het normale stroomnetwerk.
Het noodaggregaat heeft het rond 7:18 begeven waardoor 4 nodes op de PoP er volledige outage ervaren.

[Reactie gewijzigd door ralph075 op 23 juli 2024 17:11]

[larshack]

Was er gisteren al een storing en is vandaag met het terugschakelen dan een nieuwe storing ontstaan?

[mr_seeker]

Nee, de noodaggregaat werkte niet naar behoren. Even uit mijn hoofd hoor, sinds het alweer een hele tijd geleden is dat ik bij een ziekenhuis stage heb gelopen en heb mogen meemaken hoe de aggregaten daar werkten...

Je hebt 3 aggregaten, voor elke fase 1. Zodra de stroom uitvalt gaan deze aggregaten aan, waarbij de eerste aggregaat binnen 60 seconden op 50Hz moet draaien, in sync met de netvoeding. Op het moment dat dit gebeurt slaat er een automatische schakelaar om en begint het ziekenhuis (of in dit geval de universiteit) volledig op noodstroom draaien. Zodra de stroom hersteld is dan schakelt de kast het toerental van de generator zo bij dat de noodstroom en netstroom in sync lopen, waarna de schakelaar het net ook van stroom gaat voorzien, en ze heel makkelijk de motoren uit kunnen schakelen zonder hiccup van het stroomnetwerk.

Wat mijn gevoel zegt is dat de noodaggregaat niet helemaal zuiver liep met de hoofdspanning of dat de noodaggregaat in een tegengestelde fase liep met de hoofdspanning. Uit veiligheidsoverwegingen kan de automatische schakelaar daarom niet omslaan, omdat de noodspanning eerst in sync moet lopen met de hoofdspanning en dat gaat niet als je in tegengestelde fase zit. Zo lang dat niet gebeurt zal die schakelaar niet omslaan, en blijf je zitten met een blackout. Wat ook kan is dat het stroomnetwerk ook niet helemaal zuiver op 50Hz liep maar continu wisselde, waardoor het noodaggegaat elke keer zijn snelheid moest aanpassen en het uiteindelijk begaf. Dus iemand moest eerst manueel alles uitzetten (het hele netwerk inclusief de noodstroom uit moeten zetten), daarna de hele boel moeten resetten en DAN pas krijgt het systeem weer stroom... En daarvoor heb je iemand nodig van het elektriciteitsbedrijf

[Reactie gewijzigd door mr_seeker op 23 juli 2024 17:11]

[AndriesLouw]

In principe zijn alle generatoren van boven de ~4 kW / kVA meerfasig, dus de setup zoals je beschrijft kan prima met 1 aggregaat. Vanaf het moment dat de netspanning wegvalt, zal een UPS allereerst moeten bijspringen. Na volledige opstart van de aggregaat kan deze belast worden, vaak zorgt hier een ATS (automatic transfer switch) voor de overschakeling naar de aggregaat.

Terug naar het net is het inderdaad wel zo netjes om terug te synchroniseren, zowel frequentie als fase moet dan inderdaad weer gelijklopen.

Andere optie is wederom de UPS alles over te laten pakken, en de ATS terug te laten schakelen naar netspanning. Dit is wel minder netjes, omdat je kort de stroom onderbreekt. Tegen hele korte stroomonderbrekingen kunnen de meeste voedingen wel. Voor het idee; de welbekende Smart-UPS kan schakelen binnen 1/4e van een golf (dus 5ms in tijd).

[larshack]

Thx voor de uitleg!

[CAPSLOCK2000]

Was er gisteren al een storing en is vandaag met het terugschakelen dan een nieuwe storing ontstaan?

Het aggregaat heeft dus de hele nacht staan draaien, het zou kunnen dat stuk is gegaan omdat het zo lang heeft moeten werken (geen idee wat normaal is in zo'n situatie).

[hackerhater]

Of simpelweg de tank leeg.

[CAPSLOCK2000]

Nee, ik weet dat er 's nachts is bijgetankt en dat het aggregaat zelf het tankstation belt als dat nodig is.

[hackerhater]

Oke dat zou kunnen, ik ken de situatie daar niet.
Maar veel noodstroom generatoren zijn er inderdaad niet op gebouwd non-stop voor lange tijd te blijven draaien.

Wat wel raar is in dit geval. Hadden ze niet door dat de generatoren bleven draaien ondanks de netstroom al weer terug was?

[Reactie gewijzigd door hackerhater op 23 juli 2024 17:11]

[CAPSLOCK2000]

Jawel, de noodprocedure is onmiddelijk in werking getreden maar voor de juiste mensen en onderdelen ter plekke waren is er nog meer stuk gegaan. Zo'n apparaat repareer je niet met een zekering van de HEMA.

[hackerhater]

Gevalletje murphy dus

[VW-Arjan]

gisteren was er een flinke dip in het stroomnet.
Was ergens rond 16:30. Alle lampen dimden hier op kantoor.

[CAPSLOCK2000]

Was er gisteren al een storing en is vandaag met het terugschakelen dan een nieuwe storing ontstaan?

Gisteren was inderdaad een storing en toen heeft de noodstroomvoorziening dat opgevangen. Terugschakelen lukte echter niet meer want de schakelaar zelf is stuk en dus blijf het aggregaat in gebruik. Vanochtend is het aggregaat zelf stuk gegaan, en de schakelaar om terug te gaan is nog steeds stuk.

[vincedd]

Die situatie heb ik ook meegemaakt. Was een koppelschakelaar van het aggregaat defect, ( een klein relais wat door het spanningsverlies wat er optrad niet 100% ingging ,waardoor deze als motor werkte en niet als generator .koeling was afgeschakeld,waardoor het aggregaat in de soep was gelopen. 50.000 euro revisie kosten . Tijdens het testen van de gereviseerde aggregaat knalde de ups van de computerzaal eruit, waardoor de computerzaal plat lag. Dus die moest ook nagekeken worden.

[VW-Arjan]

7:18 is bijna eng accuraat haha.
Ik zie in de logging 7:17:56 staan als failover tijd van onze firewall

[TweakTom92]

Het zou eerder eng zijn als er 5 minuten tussen zitten. Bijna elk op internet verbonden apparaat synchroniseert zijn tijd toch online met de World Time Server oid?

[Pedr0]

Ondertussen is alles weer online....althans, daar lijkt het op.

[Reactie gewijzigd door Pedr0 op 23 juli 2024 17:11]

[VW-Arjan]

Dan weet jij meer blijkbaar.
De website is weer in de lucht en op de campus zelf is er internet.
Maar de rest werkt nog niet hoor.

[DennusB]

Welke site? Hier lijkt ie gewoon nog down hoor..

[VW-Arjan]

De universiteit zegt zelf op social media dat internet op de campus het weer doet.

[DennusB]

Maar de website niet

[hackerhater]

Ik vermoed dat ze het internet een hogere prioriteit hebben gegeven dan de websites

[Pedr0]

Wij hadden er ook last van (helemaal eruit) en nu werkt alles weer.
Wij = ETZ (ziekenhuis)

[VW-Arjan]

Bij ons helaas nog niet...

[Qaatloz]

Werk momenteel voor een scholengemeenschap in Breda. Hebben ook geen internet en ligt ook nog steeds plat.

[commentator]

Ook alles wat op TOWN (glasvezelring Tilburg) zit lag plat. Ook andere organisaties/scholen die om wat voor een reden dan ook verbinding met diezelfde ring moeten hebben lagen plat. WillemII stadion had bijv ook geen internet.
Verder lijkt ook Ziggo in Tilburg op de een of andere manier daar last van gehad te hebben.

[ChaserBoZ_]

Lag ? Onze verbinding ligt er nog steeds uit

[commentator]

Ik zie het, ook diverse scholen en sites van Ons Middelbaar Onderwijs lijken nog steeds last te hebben van deze storing

[Pascal Saul]

Nu niet meer

[Anoniem: 792821]

Ik zit op de Campus en we hebben nog geen internet

[GeneralBurrito]

"Update 2, 11.50: Ook het stadion van Willem II is offline, waardoor klanten geen seizoenskaart kunnen bestellen. Daarnaast is de TIAS School for Business and Society getroffen door de storing."

No shit, TIAS staat op dezelfde campus.

[Flytezero]

UVT is nog steeds down, althans de apparatuur waar een aantal klanten van ons op zit aangesloten.
Gisteren middag rond de klok van 3 was er dip in de stroom in omgeving Tilburg (enkel seconden) de led verlichting knipperde, computers bleven aan.

[Flytezero]

Tilburg University‏ @TilburgU
Contrary to our previous statement the campus network and related services have not yet fully been restored. Work is in progress.

Aldus twitter, en het werkt inderdaad nog niet is ook nog niet online geweest.

[CeesOL]

Artikel Univers, onafhankelijk magazine (platform tegenwoordig) van Tilburg University:
https://universonline.nl/...tilburg-university-plat#!

[Reactie gewijzigd door CeesOL op 23 juli 2024 17:11]

[roelbouwman]

Het stuk is toch wel wat eenzijdig en focust vooral op de diensten en systemen van de universiteit zelf.

De universiteit verhuurt ruimte in haar datacentrum aan derden, die daarmee ook afhankelijk zijn van de daar geleverde stroomvoorziening. Deze colocatie diensten hangen onder meer samen met de rol die de UVT speelt als centrale locatie in glasprojecten. Het datacenter is daarmee niet alleen een interne aangelegenheid voor de universiteit, maar tevens een belangrijke locatie in de internet infrastructuur in Tilburg.

Een stroomstoring die meer dan 8 uur voortduurt moet op een dergelijke locatie simpelweg niet kunnen voorkomen, zeker niet wanneer er in het geheel geen sprake is van bijzondere omstandigheden buiten de invloedsfeer van de universiteit. Er was geen brand, geen aardbeving of andere grote natuurramp. Er was zelfs geen stroomstoring op het net.

Het bevreemd mij in ieder geval dat er zonder problemen op het net onaangekondigd een hele nacht wordt doorgedraaid op een noodstroomvoorziening en dat dit blijkbaar als een acceptabele situatie wordt gezien. Nog vreemder dat huurders van ruimte in het datacentrum niet worden ingelicht over zo'n precaire situatie. Ook het gebrek aan communicatie tijdens de outage en het feit dat het bijna 8 uur duurt voordat er een houtje-touwtje oplossing met verlengsnoeren en koppelblokken is gerealiseerd geeft toch twijfel over de organisatie en doet ook vermoeden dat er in ieder geval niet vooraf is nagedacht over dit scenario. Ook geeft het te denken over de creativiteit, inventiviteit en professionaliteit van het genoemde crisisteam. Of zou de focus met name hebben gelegen op de eigen diensten ten koste van de aandacht voor de racks van derden?

Met het overzicht dat engineers van de universiteit al op voorhand van de situatie hadden kunnen en moeten hebben (en die wij als buitenstaander slechts achteraf hebben) was het bijvoorbeeld een voor de hand liggende keuze geweest om al direct in de ochtend een huurgenerator te laten komen. Dan was de downtime wellicht beperkt gebleven tot een uur of 2 - de aanrijdtijd plus de tijd om een tijdelijke aansluiting te creeren. Verhuurbedrijven als Voet staan 24 uur per dag standby en kunnen snel ter plaatse zijn met ruim voldoende vermogens om het UVT datacentrum op te draaien.

Maar eigenlijk had maandagmiddag al, nadat bleek dat er geen automatische terugschakeling plaats vond naar netstroom, direct actie moeten worden ondernomen. Een onderdeel dat een lange levertijd heeft is geen reden om dan maar naar huis te gaan en het probleem te negeren. Toen had al geanticipeerd moeten worden op een mogelijk falen van de generator, op dat moment immers een single point of failure voor een langere periode. Op zijn minst had op dat moment nagedacht moeten worden over het scenario van de generator die faalt voordat het defecte onderdeel vervangen is.

Het runnen van een datacenter is een 24x7 aangelegenheid. Dat vereist van de verantwoordelijken ook de instelling dat elke seconde downtime er een te veel is. Waarbij scenario's vooraf bedacht worden, risico's geinventariseerd en waarbij elk risico met een voldoende grote kans op optreden vooraf gemitigeerd wordt. Ik ben benieuwd of er een risicoanalyse was. En zoja, of dit failure scenario daarin voorkwam en wat er aan mitigerende maatregelen werd voorgesteld.