Hoofdcategorieën
Device Settings

Storing bij Nikhef zorgt voor netwerkproblemen internetproviders

Door Wilbert de Vries, dinsdag 28 oktober 2008 08:55
Submitter: notsonewbie, views: 20.177

Nederlandse internetters hebben sinds maandagavond te kampen met trage netwerkverbindingen door een flinke stroomstoring bij Nikhef, de netwerkthuishaven van de AMS-IX.

De stroomstoring bij Nikhef begon iets na 21.00 uur en hield aan tot kort voor middernacht. Door de stroomstoring waren de netwerken van veel providers en hostingbedrijven niet of nauwelijks bereikbaar. Hierdoor waren diverse sites onbereikbaar en hadden internetters last van trage verbindingen en packet loss.

Het dataverkeer dat via AMS-IX wordt rondgepompt, zakte door de storing flink in. Daar waar de AMS-IX vorige week nog de grens van 512Gbps doorbrak, daalde dit door de stroomstoring tot ongeveer 280Gbps. Uit de statistieken blijkt dat de storing rond 23.00 uur was verholpen. Uit reacties op Webhostingtalk.nl blijkt echter dat daarmee de problemen niet direct verholpen waren, onder meer omdat alle racks stuk voor stuk weer van stroom moesten worden voorzien.

Over de oorzaak van de stroomstoring is nog niets bekend. Bij Nikhef was op het moment van schrijven nog niemand beschikbaar voor commentaar. De website van Nikhef zelf is nog altijd onbereikbaar.

Stroomstoring Nikhef 27-10-2008
Volgende 09:33 Hyves laat politie inval doen bij makers Hyvesbot
Vorige 21:20 Casio plaatst 8,1-megapixelcamera op Exilim-mobieltje
Advertentie

Reacties

«  1  2  3  »

Je zou denken dat ze van de vorige xx stroomstoringen geleerd moeten hebben, om een 100% proof stroomvoorziening te hebben.

Het datacenter van XS4all geeft sinds ruim een jaar een 100% garantie qua stroomvoorziening af. (Al is dat ook 1x niet gelukt)

uiteindelijk gaat ook een dieseltank leeg he :)

Pas na 24 of 48 uur, en zelfs dan kunnen ze nog een tankwagen langs laten komen.

Dus eigenlijk veel langer dan elke stroomstoring die je in nederland zou kunnen verwachten. Bij langere stroomstoringen zal internet echt geen prioriteit meer hebben, maar zal er meer prioriteit liggen bij uberhaupt het bedrijfsleven en huishoudens van stroom te voorzien.

En wat denk je van telefonie en dergelijke?
Dat gaat tegenwoordig ook allemaal over IP hoor. Alleen het end user stukje is nog analoog bij de mensen die POTS hebben.

Ja en nee, pas rond 2012 gelukkig. Dan is dat netwerk misschien ook een beetje vergelijkbaar met de bulletproof POTS-zooi die er nu staat, maar de afhankelijkheid van het internet maakt de boel hoe dan ook onbetrouwbaarder.

...of in het geval van de NIKHEF de deeltjesversnellers (en de koeling van de betrokken magneten). Het is niet voor niets het Nederlands Instituut voor Kern- en Hoge Energie Fysica :o

De lineaire versneller die op het Nikhef terrein stond is allang niet meer in bedrijf. De experimenten vinden voornamelijk in CERN plaats. Een deel van de daar ontwikkelde detectie apparatuur komt van het Nikhef. Een en ander heeft geen enkele relatie met de stroomvoorziening.

Daarvoor kun je bellen, komen ze langs om bij te vullen, moet je wel bellen natuurlijk :)

Moet je wel kunnen bellen. Goede reden om een POTS-aansluitingkje ipv VOIP aan te houden :)

Denk je dat de centrales nog allemaal pots zijn?

Moet je geen Voip gebruiken natuurlijk :P

Er is altijd wel iemand met een mobieltje en POTS loopt ook over digitale centrales.

Moet die iemand wel een tankwagen hebben. :+

Ieder datacenter geeft die garantie af, maar in de praktijk blijkt het lastig deze ook echt waar te maken. De stroomvoorziening voor dit soort gebouwen is geen simpel verhaal meer. Storingen in dergelijke apparatuur zijn meestal geen simpele onderbreking in de stoomtoevoer vanaf de centrale (die je kunt opvangen met generatoren), maar toch vaak complexe problemen binnen het pand zelf die ontstaan door samenloop van omstandigheden. Daarbij komt dat de noodstroomvoorzieningen in Nederland zo weinig gebruikt dienen te worden dat deze vaak te lang stil staan, te weinig getest worden etc.

Behalven die van de ziekenhuizen gelukkig die worden iedere twee weken getest. voor een uur of 6, uitvoorzorg.

Weet niet hoegevoelig een de transformatorhuis van datacenter is. Maar een flinke spannings dip wil ook wel eens voor heel wat nare storingen zorgen.

[Reactie gewijzigd door wiskid op dinsdag 28 oktober 2008 09:38]


Wij doen elke woensdag belast beproeven. Dat wil zeggen dat je daadwerkelijk een railsectie van het capitool op de diesel laat draaien. Men ondervind daar geen hinder van omdat je gesynchroniseerd terug gaat op het net. Daarnaast elke 6 maanden een crashtest. Dan word gecontroleerd de middenspanningsring weggeschakeld en draait het hele ziekenhuis 2 uren noodbedrijf.

Precies, bij het computercentrum van de oude ABN in A'veen werden regelmatig testen uitgevoerd (in het weekend) en dan gewoon in een keer het net afschakelen. Dit heeft nog nooit gefaald voor zover ik weet. Bij de oude Amro daarentegen, geloofden ze het wel en heeft een stroomstoring een deel van de geldautomaten van ABN-Amro plat gelegen.

100% proof kan nooit, je kan veel doen maar dan nog kunnen alle systemen tegelijk haperen.

Je zal zien dat juist als je op een ups moet rekenen er 1 van de batterijen het begeeft. Wil je dan op een groep overschakelen dan zal juist de schakeling voor het omzetten niet werken. Alles wat fout kan gaan, zal ook fout gaan en op het meest vervelende moment.


Je zegt zelf, XS4ALL beweert 100% proof te zijn, maar het heeft toch 1 keer gefaald. Hoezo is dat dan 100%. Zelfde zeggen als dat je een uptime hebt van 100% op die paar dagen na.

Garantie van 100% zie je wel meer. Dat betekent niet dat je stroom het altijd zal doen maar dat je schadeloos gesteld wordt als de stroom uitvalt. Contractueel zit daar gewoon een boeteclausule aan, marketingtechnisch kan je dan vrolijk 100% roepen.

Als een bedrijf dit soort "garanties" geeft vraag ik altijd wat er gebeurt wanneer ze dit niet nakomen. Meestal niks ("komt toch niet voor") of hooguit het geld terug voor de tijd dat de storing duurde (ja dat schiet op).
Vraag ik altijd om een vergoeding van 1 miljoen per uur dat de storing duurt. Kunnen ze makkelijk doen als het toch niet voor komt.
Vreemd genoeg willen ze daar dan weer niet aan, en weet ik wat die garantie ("dat garantdeer ik persoonlijk, u mag mij er zelf op aanspreken als het niet gehaald wordt", ja boeie) voorstelt.

Als ze er persoonlijk op aan te spreken zijn, dat betekent dan dus dat je een zijcontract met hen persoonlijk mag tekenen dat zij uit hun eigen geld 100-1000-10.000 per storingsuur ophoesten.

100%???, volgens mij is 99.99999%, omdat je het NOOIT 100% kan garanderen.

En in het geval van het Nikhef, daar was de stroom gewoon aanwezig, maar als er w meerdere APC te gelijk naar de kl**ten gaan.
En die slepen de stroom voorziening mee.
Dan kan niemand daar wat aan doen.

Best lullig dat er zoveel mensen afhankelijk zijn van deze organisatie. Ik heb gisteravond wel last gehad van een trage verbinding, dat zou hier dus goed mee te maken kunnen hebben. Verder gelukkig geen problemen gehad.

Hoe zit het overigens met servers? Zijn sommige hiervan ook plat komen te liggen? Anders is het een duur grapje geworden ben ik bang...

Er zijn een aantal bedrijven die niet veel peerings en/of transits hebben en hierdoor inderdaad volledig onbereikbaar waren voor de buitenwereld. De grote jongens (van Leaseweb tot True e.d.) hebben geen of nauwelijks problemen gehad.

nikhef heeft vorigjaar ook een mayor storing gehad toch :?

Telecity 2 heeft er ook genoeg van in de geschiedenis ;)


alleen de impact van nikhef zal groter zijn dan telecity... ;)

Ik denk het ook,maar bij telecity2 komt ook aardig wat binnen en het is een leuk gezicht om een deel van de ams-ix achter glas te zien draaien,best wel druk al die knipperde ledjes


Dit was niet de eerste keer dit jaar dat er wat misging in de watergraafsmeer, er zijn de afgelopen tijd meerdere stroomstoringen geweest. :/

over 9 maanden zien we het resultaat wel weer, net als in de Bommelerwaard.

Dit is niet een probleem met de netspanning, maar met de UPS van NIKHEF.
The UPS failure caused the power outage. Utility power did not fail but that is of no use when the UPS is the cause of the trouble.

As far as I understand the UPS is currently bypassed, which means that an failure of the utility power will be noticed.
Deze is op dit moment gebypassed, wat dus betekent dat een stroomstoring op het net direct gemerkt gaat worden.

Lekker tricky.

[Reactie gewijzigd door EquiNox op dinsdag 28 oktober 2008 09:15]


Errrm, het is toch juist de bedoeling dat je je redundante powersupply niet op dezelfde groep (UPS'en) aansluit?
Als je ze op dezelfde UPS aansluit is het daaaaaag redundantie, toch?

Lekker slim dus. pffffff.

Ik denk dat ze bij AMS-IX/Nikhef toch wel wat meer verstand van zaken hebben dan willekeurige posters hier op Tweakers. De situatie is waarschijnlijk veel complexer dan jij je kan voorstellen.

Ik denk het ook, maar toch zie je soms dat juist bij zulke grote organisaties dingen verbazend slecht geregeld kunnen zijn. ;)

Ik kom veel bij telecity voor werkzaamheden en weet dat daar alles erg goed geregeld is,zeker het nieuwe datacenter telecity 4 is erg goed opgezet.

In Nederland wordt zelden of nooit een volledig redundante stroom opstelling gerealiseerd. Dat is het geld niet waard. Het kan wel, 2 volledige separate UPSen en stroomdistributiesystemen, en dan alletwee groot genoeg om de volledige stroom te voorzien.. maar dat kost dan 2 keer zoveel als de normale UPS setup, waarbij er normaal gesproken met n+1 gewerkt wordt, alle onderdelen van het systeem bijv in 6-voud en 5 kunnen de volle load aan. Ook in het buitenland is dit normaal. Alleen bij leger-opstellingen en geheime diensten ed zul je een pure 1+1 redundancy aantreffen.

[Reactie gewijzigd door Jasper Janssen op dinsdag 28 oktober 2008 18:20]


Bij mijn @home ziggo abbo had ik gisteren maar een downloadsnelheid van 80 kbps. Wat ik niet snap is dat zulke dingen nog steeds gebeuren in datacentra. Als menig MKB bedrijfje zijn stroomtoevoer al redundant heeft uitgevoerd, wat is dan het probleem in zulke ondernemingen?

Formaat?

Het is heel erg duur om een 100% backupvoorziening te treffen waarmee de servers en alle apparatuur niet gracefully down gaan, maar blijven draaien op 100%.

Daarnaast kan er altijd iets misgaan. De uitwerking van dit soort centra blijft mensenwerk. Behalve dat er bij mensen werk altijd een foutje kan ontstaan, kan het ook 'gewoon' en defect zijn. Het is misschien vervelend, onprettig of weet ik wat, maar het kan gebeuren. In de huidige maatschappij is er geen 'margin for error' meer, en ík vind dat absurd.

Mwah, kijk bijv. naar de datacenter van Strato @ Duitsland, die hebben wel een fatsoenlijke stroomvoorziening waardoor alles 100% kan blijven draaien.

Overigens zat het probleem 'm juist in de UPS.

Waardoor alles tot nu toe 100% is kunnen blijven draaien. Durf te wedden dat als zij een diep ingrijpende UPS failure hebben dat ze dan ook gewoon down zijn.

Ben het het helemaal met je eens Pixeltje.Het probleem is alleen dat waneer ik een fout maak in de techniek ( proces besturing & en testen daar van ) mijn baas dat zoon 850.000euro net winst per dag kost. Die winst zal bij andere bedrijven wel wat minder zijn. Maar niet minder erg. Als je dan een baas hebt die daar dan weer regeltjes voor bij maakt om tezorgen dat zoon fout niet meer voor kan komen krijg je een bureaucratie waar je niet goed van word. Met de gevolgen dat storing zo als deze al snel een paar uur gaan duren. Waar ze als onderhouds groep binnen een uur het probleem hadden kunnen oplossen zonder al die onzin regels. ( veiligheid voorop natuurlijk. )


Ja nee, maar dat komt omdat hij dyslectisch is natuurlijk.

Klein miljoen schade per dag heb je al niet zo heel moeilijk hoor, als een productielijn stilligt. Laat staan als er meerdere productielijnen stilliggen.

Een autofabrikant heeft per productielijn vaak enige tienduizenden tot 100.000 currency units per *uur* verlies als hij stilvalt.

Een datacenter is misschien een stukkie groter dan een MKB bedrijfje. En er moet ook wel ruimte zijn op de bestaande locaties om een redundante stroomtoevoer aan te leggen.

Ga maar eens na hoeveel ruimte je kwijt bent om UPSen te plaatsen die een heel datacenter overeind houden. En dan kom je daarna nog op de stroomvoorziening die het daarna moet overnemen.

Valt mee, een grote akkubak in de kelder waar alle stroomtoevoer doorheen loopt en een flinke aggregaat. Er hoeft natuurlijk geen UPS per rack of racks vol UPSen te komen.

@hieronder: Dan is het simpel, die locatie is dan niet geschikt.

[Reactie gewijzigd door JapyDooge op dinsdag 28 oktober 2008 09:30]


Maar dan moeten ze die ruimte wel hebben! (hebben ze niet)

Een professioneel bedrijf gaat op een voor hun geschikte lokatie zitten.
Dit soort grote storingen zijn altijd het gevolg van amateuristisch beleid.

NIKHEF, en de AMS-IX als geheel, is geen 'professioneel bedrijf'. Als jij denkt dat je het als prof beter kunt staat het je vrij een nieuwe IX op te richten, je zal de eerste niet zijn.

daarmee trek je het niet hoor.

de generatoren op het datacenter waar ik zit zitten in 3 containers, en nog een 4e container voor alle aansturingstechniek.

hun accu ruimte is zo'n beetje 33% van het totale oppervlak van het datacenter. Dat is bijzonder on-economisch.

En weet je wat het leuke is ? dat datacenter is ergens begin deze eeuw gebouwd, en inmiddels ontoereikend omdat er per rack steeds meer watt opgeslurpt wordt.Je kunt domweg die 42U niet meer volbouwen, daar zijn stroomvoorziening en koeling niet op berekend, dat zeggen wij, dat zegt het DC, maar de klanten luisteren niet. Gek he? dat de noodstroom voorzieningen dan niet meer adequaat blijken te zijn.

Een datacenter in Den Haag waar ik als elektrotechnicus ooit nog eens aan heb gebouwd, had 2 noodstroomaggregaten van ieder 1,2MVA (1200KVA), die samen met besturing en schakelruimtes al 200 vierkantemeter in beslag namen (ok er was nog ruimte gehouden voor een eventuele derde) en nog eens pakweg 200 vierkante meter voor ups met accu's. De kelder was half volgebouwd met CO2 flessen voor het brandblussysteem. Dus er is al erg veel ruimte nodig voor al bijkomstige extra's naast de rekken met servertjes

Zelfs het kleine datacentertje bij mijn werkgever's vorige locatie had al inderdaad ook een derde tot een kwart van het totaal volstaan met de CO2 flessen en accubakken. Een rack of 4 aan CO2 en een rack of 4 aan accubakken, zo'n beetje.

Ik heb eens de noodgenerator mogen zien in het datacenter van KBC, dat ding was zo groot als een woonkamer. En ik dacht (niet heel zeker) dat ze er zo nog een hadden om redundant te zijn.

uuuh UPS leeg of zoals ik van EquiNox lees zelfs kapot

Daarnaast kan een generator ook opgaan ;)

een uurtje of wat is geen probleem maar een halve dag begint al trickey te worden

UPS is wss kapot en nu bypassed.

Een generator kan nooit snel genoeg opstarten om een stroomstoring te voorkomen, vandaar dus het UPS (buffer).

En maak je geen zorgen, men heeft genoeg dieselvoorraad om het een paar dagen vol te houden.

NIKHEF heeft 48 uur voorraad. 12.000 liter.

Je kan nog zoveel redundantie inbouwen als je wilt. Als een verkeerde component op een verkeerde manier defect geraakt kan het nog altijd mislopen.

Ja een datacenter heeft een UPS systeem, en AMS-IX is redundant uitgevoerd maar garanties zijn er nooit.

Als ik me niet vergis was er enkele maanden terug in een ander DC ook een zwaar probleem waarbij de hoofdschakelaar van de stroomvoorziening het had begeven en er dus ook geen stroomdoorvoer meer mogelijk was van welke bron dan ook. Daar sta je dan.

De AMS-IX zelf is dan ook totaal niet downgegaan. 4 van de 5 locaties van de AMS-IX liepen nog gewoon. Dat al die colo en internet providers alleen links naar NIKHEF hebben en niet naar andere prikpunten op de AMS-IX, ja, dat is niet de fout van de AMS-IX.

AMS-IX is dan ook geen hosting datacenter, maar een netwerk knooppunt (eigenlijk 4 interconnected knooppunten). Als een dergelijke knooppunt enige tijd uitvalt, dan zullen de routeringsprotocollen een nieuwe route gaan zoeken. Dat kost enige tijd. En doordat er nu verbindingen via andere routes tot stand komen is de totale bandbreedte veelal minder.

Als de verbinding daarna weer up komt is er ook enige vertraging voordat de oorspronkelijke routering weer wordt hersteld (al is het alleen maar om route-flapping to voorkomen als de verbinding korte tijd later weer uit zou vallen).

En als het betreffende knooppunt het enige/voornaamste aansluitpunt is van een ISP of ander datacenter, dan is de verbinding van/naar die ISP of datacenter natuurlijk of afwezig of behoorlijk geknepen.
«  1  2  3  »

Op dit item kan niet meer gereageerd worden.

Volgende 09:33 Hyves laat politie inval doen bij makers Hyvesbot
Vorige 21:20 Casio plaatst 8,1-megapixelcamera op Exilim-mobieltje
VNU Media logo Hosted by True

© 1998 - 2012 Tweakers.net B.V. - Alle rechten voorbehouden - Contact - Jouw privacy - Algemene Voorwaarden

Uitgever van:

Website van het jaar 2011