Stroomstoring Noord-Holland legt AMS-IX plat

Het interverkeer in Nederland is donderdagavond ernstig belemmerd door een stroomstoring in Noord-Holland. Als gevolg van deze storing was er geen stroomvoorziening op twee locaties van de Amsterdam Internet Exchange (AMS-IX), waardoor geen AMS-IX verkeer mogelijk was tussen de providers die hun internet verbinding hebben gevestigd op de getroffen locaties. De AMS-IX is verdeeld over vier housing locaties, te weten SARA, NIKHEF, TeleCity en Global Switch. De problemen deden zich gisteren voor bij SARA en NIKHEF. De power backups van beide locaties functioneerde niet naar behoren, ondanks het feit dat de AMS-IX met SARA en NIKHEF is overeen gekomen dat een backup aanwezig moet zijn. NIKHEF had zelfs in het geheel geen noodstroom voorziening. De AMS-IX bleef up dankzij een eigen UPS, maar raakte geïsoleerd omdat de routers van de klanten geen stroom kregen.

Job Witteman van de Amsterdam Internet Exchange heeft in een mailing aan de AMS-IX leden toegegeven dat er fouten zijn gemaakt, maar wijst deelnemers die uitsluitend gebruik maken van de oude SARA en NIKHEF locaties op hun eigen verantwoordelijkheid om voor redundancy te zorgen, bijvoorbeeld door uit te breiden naar een tweede co-locatie bij TeleCity of Global Switch:

First of all I would like you to know that what happened today is unacceptable; both for you and for us. AMS-IX has agreed with both SARA and NIKHEF that they would ensure proper power back-up for AMS-IX and AMS-IX customers/members. Aparantly the SARA back-up failed on you, where NIKHEF back-up was simply not there.

AMS-IX as such has not been down, as we run our own UPS'es, but that means little to you all in situations like this. I will personally take it on me to take this up with both SARA and NIKHEF. Nevertheless I think that all of you who suffered from this power failure are partly to blame yourselves as well. Please let me explain what I mean, and take my comments as suggestions rather than excuses.

AMS-IX is a joint effort by and for all members to ensure better connectivity, redundancy and money savings amongst yourselves. The higher the volume of traffic you are able to inter-exchange with your peers and other relations at AMS-IX, the higher the risk you take if you choose to do this at one single point.

As MD of AMS-IX I realised over one year ago, that we could no longer offer our members/customers a single point of failure, and therefore have closed deals with two (!) new independent, neutral, top-quality colo-providers, where exacly the same services can be purchased as at the "old" locations. Nevertheless not one single customer has expanded to one or more of the new locations. Even more surprisingly, we see that most new customers still rather go to the SARA or NIKHEF locations instead of to the new TeleCity and/or GlobalSwitch locations. Price wise there is little difference; service wise there is a big difference.

Lately I have seen many many complaints and insinuations about sloppy cabling situations, both at SARA and NIKHEF, but still most of you take things as they come. The connection agreement with AMS-IX is one thing; the contract with the colo (SARA, NIKHEF, TeleCity or GlobalSwitch) are just as important, because that deals with cabling, power back-up (!) and other services.

I repeat that even though AMS-IX switches have not been down, AMS-IX is to be blamed for the fact that proper back-up failed, but I urge you all to reconsider your policy on 'taking your risk' where redundancy is readily available.

Tweakers.net bleef gisteren bereikbaar omdat onze hosting provider TrueServer is gevestigd in TeleCity en daardoor alleen indirect werd getroffen door de stroomstoring. TrueServer beschikt over een 1Gbit verbinding met de AMS-IX en 100Mbit uplinks naar Level3, GTS/Ebone en KPNQWest. Van de vier beschikbare lijnen bleven gisteren tijdens de stroomstoring alleen Level3 en KPNQWest in leven. Dankzij Level3 was Tweakers.net toch nog bereikbaar voor providers die hun route konden omleggen naar Level3 of KPNQWest.

Tweakers.net pageview statistieken

TrueServer AMS-IX uplink

TrueServer GTS/Ebone uplink

Check voor meer details deze thread van Peerke (TrueServer ace) in het Hosting & Webserver Soft/Hardware forum op GoT. Nu.nl heeft info over de aard van de stroomstoring.

Reacties (34)

[markvt]

stond al een hele tijd op fok!

Trouwens, in geval van een cyberwar hoeven ze alleen de ASX maar plat te leggen en bijna heel NL heb geen internet meer , SLECHTE zaak dus.

[Wouter Tinus]

In Enschede en Groningen zijn ze ook al bezig met internet-knooppunten.

[Anoniem: 14248]

die in enschede is al draaiende

maarja.. daar heb ik dan gister weinig van gemerkt

[Aaargh!]

die is toch net gister geopend ?

[zeroxcool]

in Katwijk komt ook nog erg veel dataverkeer binnen uit de VS hoor

[Dope-E]

maar niet zo uitgebreid he!

[VTec]

@HOME lag er gisteren ook een tijd eruit, en wat ik ervan begreep had het ook te maken met deze stroomstoring.

[feuniks]

Ja klopt. Ik had een paar tests gedaan en gemerkt dat alles van @Home er was (Gateways, DNS servers, meel en nieuws servers) en dat de DNS servers zelfs met IP adressen kwamen. Alleen voor de rest deed niets het.
Wel merkte ik dat het binnen Nederland zelf ook niet werkt en dat af en toe de verbindingen heel even terug waren.

[lairnoc]

Zulke grote bedrijven zouden toch wel beter moeten weten. Voor een service die hun leveren is toch zeker een noodstroom voorziening nodig. sorry dat ik het zeg, maar lijkt zo wel overkomen als een stel hobbyisten. trouwens ik ken hobbyisten die zelfs thuis een aps gebruiken dus... hmzzz..

ach belangrijkste is dat het nu opgelost is en hopelijk geen verdere schade zal hebben.

[reinouts]

FYI: het SARA en het NIKHEF zijn in de eerste plaats wetenschappelijke instituten, en geen grote bedrijven zoals je suggereert. Wat niet wil zeggen dat ze dus geen backupvoorzieningen horen te treffen, maar dat is wat anders.

[Metten]

* 786562 Metten
het ging misschien wat langzamer maar het was me niet echt opgevallen eigenlijk

Chello is zo slecht nog niet

[_BladE2k_]

Elk van de 4 bedrijven die deel uitmaken van de AMS-IX proberen echt wel zoveel mogelijk problemen tegen te gaan. Je kan gewoon echter niet uitsluiten dat NIETS gebeurd. Een stroomstoring is iets waar ook upssen moeilijk mee kunnen krijgen.
Het toeval was dat ik voor een server upgrade gister bij TeleCity was, maar daar ook waren er problemen met hitteontwikkeling bij de upssen. Dat telecity niet getroffen is, is ook geluk voor hun, anders waren hun mijns inziens ook wel in problemen gekomen.

In reactie op Herr_qn:
'half internet' lag dus niet plat, de mensen die bij de providers zitten die bij de 2 lokaties gevestigd zaten alleen. Dit zullen een aantal sites zijn, maar lang niet zoveel als menigeen denken.

Ook zijn er wel redundant lijnen aanwezig als bijv. een router/switch, dus een virtuele attack zal niet eens voor erg grote problemen zorgen, hooguit een klein aantal sites. Voordat je de bandbreedte van AMS-IX wil platleggen...

Een fysieke attack tegen AMS-IX zal betekenen dat je 4! lokaties, die behoorlijk hoog beveiligd zijn, moet binnendringen. Ik denk dat je er wel op kan vertrouwen dat daar ERG veel tegen word gedaan, ik zal even kijken: (in dit geval telecity)
1. Camera bewaking, op elke zone
2. Voordat je binnen wil komen, moet de bewaker de deur open doen.
3. Voordat je verder dan de receptie wil komen moet je OF een speciale sleutel hebben OF van binnenuit de deur open laten doen
4. Dan moet je nog toegang hebben tot een zone, dat ook weer beveiligd is. Overal lopen wel mensen.

Het valt dus reuze mee hoor...

[Anoniem: 5475]

Ook leuk... Ben je mooi klaar mee dan als die lui hun afspraken m.b.t. backup voorzieningen niet nakomen...

Zeker bij zoiets, zou je toch zeggen dat daar zulke dingen niet mogen voorkomen...

Trek hier de stekker er maar uit, maar dan hebben wij met het hele bedrijf toch geen problemen, bij ons is dat WEL goed geregeld...

[D-Devil]

Hier met @home in Limburg waren er in ieder geval dikke problemen, en kwam ik dus inderdaad niet aan mijn Tweakotine na het werk ...

Ach laten we hopen dat dit inderdaad een goede les zal zijn en dat er wat word gedaan aan de redundancy, zou wel zo fijn zijn.

Het is niet alleen dat wij ermee gemoeid zijn, maar zo'n storing kost gewoon heel veel geld ! En dat is niet nodig op het moment dat iedereen zich aan de Back-up power afspraken had gehouden.

Dit had gewoon voorkomen moeten worden, een paar kleine verwaarlozingen die weer voor een grote schade zorgen !

[AleXtc]

idd, vette problemen met het net gisteren. Had het internet eindelijk eens een keer echt nodig voor het zoeken naar een vlucht richting het zonnige zuiden(allz VOL !!) Loopt sonera weer eens te zuchten onder een klein hittegolfje........ nu is dat nou ook niet zo erg voor een keertje, krijg ik van de week een brief dat ze de prijzen omhoog gaan gooien . Wie helpt mij dit te begrijpen ??

[Anton]

Hmm, gisteren was het te warm om te internetten , maar waarschijnlijk was het bij mij niet eens gelukt als ik dit bekijk.... http://www.demon.nl/nieuws/status.html Demon is dus verbonden via NIKHEF die dus geen power backup hadden

[Access]

Jaja, Say-Hello roeleert want ik heb er amper iets van gemerkt. Oke, het laden van tweakers.net ging wat trager maar voor de rest ging alles oke.