Surfnet in Enschede weer aan elkaar geknoopt

In een persbericht van Surfnet is te lezen dat de lokale netwerken in Enschede donderdagavond om half elf weer op de landelijke backbone zijn aangesloten. Door een uitslaande brand ging gisteren het knooppunt (Point of Presence - PoP) van het computernetwerk in vlammen op, waarbij voor een kapitaal aan hardware verloren ging. Het is met inzet van vereende krachten gelukt om binnen een dag een nieuwe lokatie te vinden voor een nieuw PoP, namelijk in het toekomstige rekencentrum van de UT. Door snel handelen van de betrokken leveranciers konden de UT zelf en zes lokale klanten weer op Surfnet worden aangesloten:

In nauw overleg met leverancier Cisco Systems heeft SURFnet een spoedbestelling gedaan voor nieuwe netwerkapparatuur om de verwoeste machines met een waarde van circa 1 miljoen euro te vervangen. Door de werking van het wereldwijde distributiesysteem van Cisco kon binnen 13 uur na de bestelling een groot deel van de apparatuur in Enschede nieuw worden afgeleverd. Sinds hedenmorgen tot vanavond laat zijn de ervaren netwerk- en datacomspecialisten van SARA, de partij die het netwerk voor SURFnet beheert, in de weer geweest om de nieuwe apparatuur te installeren en te configureren. Tegelijk daarmee heeft BT Ignite, leverancier van de verbindingen voor SURFnet5, een 10 Gbit/s lambdaverbinding naar de nieuwe locatie gelegd, waardoor Enschede weer is verbonden met het SURFnet-netwerk.

Reacties (71)

[twiFight]

Hulde voor de hardware leveranciers en verwanten die zo snel en zo behulpzaam het netwerk weer er boven op hebben geholpen.

Het is voor duizenden studenten zeer belangrijk om online te zijn (en niet alleen voor tweakers.net ).

Ik las dat ze over een maand al die servers zouden verhuizen. Ik hoop -en neem aan- dat ze dat nu wat gespreider zullen doen, zodat ze de volgende keer niet weer in een keer bijna alles kwijt zijn. Zal de verzekering ook wel niet lief vinden

[Saus]

Hulde voor de hardware leveranciers en verwanten die zo snel en zo behulpzaam het netwerk weer er boven op hebben geholpen.

Daar worden ze gewoon voor betaald. Als ze nu heel traag waren geweest, was de positie van de leverancier wankel geworden. En was de UT eens rondgaan kijken wie/wat wel die service kon bieden. Nu blijkt dat ze op hun leveranciers kunnen bouwen dus EN hebben ze een shitload aan hardware verkocht EN is hun positie versterkt.
2 vliegen in 1 klap.

[CyberSnooP]

Volgens mij is het veel haalbaarder en praktischer een grote ruimte goed te beveiligen, desnoods sprinkler e.d., dan meerdere kleine ruimtes half.

[Pewwy]

Is inderdaad handig, dan verbranden je servers niet, maar dan verzuipen ze

[0rbit]

Er zijn blussystemen die niet met water werken, maar met elektrisch niet geleidende stoffen (gassen bijvoorbeeld).

[DaRealRenzel]

En dan nog, als de stroom er af is (dus sprinklers pas aan als de hoofd stroom uit is, kan zomaar opgezet worden) dan worden alleen je servers nat. Effe de hele handel in een droogtunnel en je kan ze gewoon weer aanzetten. Heb een paar jaar voor Xerox gewerkt, en daar worden 'to be refurbished' apparaten gewoon met hoge druk en groene zeep afgespoten voordat ze 'gerefurbished' worden. Is de makkelijkste en beste methode.

[Remus]

De brand is vermoedelijk buiten de serverruimte ontstaan (ik heb gehoord in de dictatenverkoop oid), vermoedelijk heeft het vuur daar kans gezien om in korte tijd zeer heftig op te laaien. Als een brand eenmaal hevig is, en bijvoorbeeld een - brandwerende - serverruimte bereikt, dan zal het niet veel tijd kosten voor de brand is doorgeslagen.
Brandwerende objecten hebben namelijk een breekpunt, een en ander afhankelijk van de intensiteit van het vuur en de kwaliteit danwel brandwerendheidsfactor.
Totale brandwerendheid is helaas niet mogelijk. Er hoeft maar een kiertje, een niet afgedichte elektriciteitsbuis of een ander onopvallend gebrek te zijn en de brand kan zeker doorslaan.

[edit: was bedoeld als reactie op BenTiC]

[demonite]

of de hele boel vaccuum trekken.. .njah hoeft ook nog een eens, zolang er maar geen O2 meer in de lucht zit

[Verwijderd]

een goed brandalarm zelf zou mss ook al geholpen hebben... brandalarm + afsluiten van elektriciteit + brandwerende deuren...

ik snap eigenlijk niet hoe het tot een uitslaande brand is kunnen komen...

[Verwijderd]

Dat gaat niet.. mits je de stroom eraf zet. De computers gebruiken O2 namelijk om hun spul te koelen

(reactie op demonite )

[heuveltje]

come again ?

ze gebruiken gewoon lucht, als jij dat ding volpompt met een niet brandbare gas zal het ook gewoon werken. alleen onderhoud word wat lastig

[Remus]

Meestal worden daarvoor halon-achtige blussers gebruikt. Halon is een gas dat vroeger veel werd toegepast wegens de non-reactieve, zuurstof verdrijvende werking. Helaas heeft Halon ook een aantal nadelen (ik dacht ozonlaag-aantastend), waardoor het tegenwoordig verboden is met uitzondering van militaire installaties en bedrijven/organisaties die van landsbelang zijn. Tegenwoordig worden dus halon-vervangers gebruikt.

[CrazyBernie]

Inderdaad er zijn diverse vervangers te krijgen. Mijn huidige werkplek is daar namelijk mee uitgerust en we hebben aan het begin een keer de plus installatie moeten testen. En ik moet zeggen perfect, brand was binnen 3 minuten helemaal geblust (hadden een redelijk fikje gestookt) . Ruimte werd vacuum gezogen en na 5 minuten konden we er gewoon weer verder werken en alle electronische apparatuur bleef gewoon werken.

Alleen die brandlucht hing er nog wel.

[reddog33hummer]

vervelende is dat met dat halon dat wel geblust wordt maar dat het de temratuur niet echt laat zakken.

Die servers werden gewoon gekookt, daar kunnen ze niet goed tegen

[arjankoole]

hangt er vanaf: als het halon systeem pas in werking treed als er een dusdanig grote brand is dat je equipment gekookt wordt, dan is het fout.

een halon systeem moet al HEEL snel afgaan (de moderne versies laten precies genoeg zuurstof over om mensen te kunnen laten ademenen als ze toevallig nog in de ruimte zijn, je krijgt het alleen een beetje benauwd) en dus zal de temperatuur nooit zo hoog worden dat je disks smelten, je CPU uit z'n keramiek barst en je Simms over het moederbord uitsmelten.

[Verwijderd]

Het is in principe belachelijk dat de hele bende af kon branden. Een server ruimte waar voor zoveel geld staat moet je gewoon goed beveiligen. Meeste ruimtes die ik ken worden bij brand hermetisch afgesloten en met halon geblust.

[jochemd]

Hulde voor de hardware leveranciers en verwanten die zo snel en zo behulpzaam het netwerk weer er boven op hebben geholpen.

Dat is gewoon de 24 uurs vervangservice (waar fors voor betaald wordt). Eigenlijk heeft het nog veel te lang geduurd, want gisteren was er nog sprake van dat Cisco om 08:00 uur zou leveren, en dat is uiteindelijk 22:00 uur geworden voor de laatste onderdelen. Het gesmolten glas was bijvoorbeeld al om half 5 vanmiddag vervangen, en vanaf dat moment is er echt gewoon op Cisco gewacht.

[mr_a]

Dit is echt geen routine geweest ofzo, zo'n aanpak als wat ze hier hebben laten zien. Dit is echt GROOT.
Dan komen de spullen allemaal en dan is de fysieke link getrokken en dan weten ze het toch supersnel weer aan de praat te krijgen. Bij SARA zitten echt geen domme mensen! :-)

[jochemd]

Bij SARA zitten mensen die het calamiteitenplan er bij hebben gepakt en hebben uitgevoerd. Dit soort zaken kan je alleen maar doen als je het geplanned hebt. Het afsluiten van een contract met 24 uurs vervang service bij Cisco en BT is ook onderdeel van die planning. Het backuppen van de configuratie van een 12000 is ook onderdeel van die planning.

Wat het SARA heeft gedaan de afgelopen dagen is niet bepaald moeilijk. Wat zij in de planning voor dergelijke calamiteiten hebben gedaan wel.

[NiGeLaToR]

Toch moet je veel op locatie opnieuw doen hoor als alles afgebrand is. De bikkels zijn tot diep in de nacht doorgegaan om alles te fixen, ook bleven onderdelen leveranties tot zo laat doorlopen. Er is even voor ruim 1.000.000 euro aan spullen neergekwakt in een nacht tijd.

Wat gewoon het meest klote is, is het verlies aan data. Hardware is vervangbaar (dat zie je dus ook), maar al die data is onvervangbaar.. gewoon mensen die hun levenswerk, scriptie, onderzoek etc kwijt zijn. Betekend gewoon een soort terug naar de 'stone-age' voor heel veel mensen Hopelijk valt er dus nog wat te redden

[Palmboom]

geloof maar dat die jongens hun backups in orde hebben. Er ligt daar een bloedjesnel netwerk, backups zullen elke nacht gewoon automatisch via het netwerk verlopen. Backups worden elke morgen afgevoerd naar een kluis, ook daar kunnen we gerust van uitgaan (rampenplan blijkt in orde te zijn). Ik denk dat ze hooguit de data van die dag kwijt geraakt zijn.

Als iemand zijn scriptie afhankelijk maakt van de apparatuur van school....dan leef je pas in de stone age.

[ijdod]

een miljoen lijkt veel, maar met die grote dozen gaat het hard. Denk bij een Cisco 12000 bijvoorbeeld aan een € 30k voor de absolute basis (tot ca € 150k), en voor een linecards tussen de € 30k en € 400k, plus toebehoren.

Het belang van netwerkredundantie is in het verleden onderschat, of niet belangrijk genoeg bevonden (te duur, bv). Welke achteraf slechte keuzes hebben ze voor de backups gemaakt?

[Frostie]

Van de apparatuur? Wat dacht je van mappen vol met artikelen die je hebt lopen zoeken? Uitdraaien van meetapparatuur? Ik ga ervan uit dat iedereen zijn pc spullen wel geback-upt heeft maar dat vooral de verloren info in de niet-digitale hoek zal zitten.

[P5ycho]

Ik moet zeggen dat ik toch even sta te kijken van de snelheid waarmee ze de boel weer op de poten hebben gekregen, ik had het er vanmiddag nog over met een paar lui en we waren het wel met elkaar eens dat het op zn vroegst maandag zou worden ofzo...

[Aetje]

Kijk, dat heet nou "Service". Daar kunnen enkele andere bedrijven nog wat van leren...

Maar goed. Dit betekent dat Kazaa weer het normale aanbod heeft?

[reddog33hummer]

Woensdag
was de brand ongeveer 8:00 was alles weg
8:15 kampusnet weer online via aan elkaar geknoopte wireless lans
15:00 hadden ze de NIX kort gesloten en liep gemeente enschede alweer

Donderdag
Straalverbinding naar Hogeschool enschede door progres via introweb
16:00

Vrijdag
10:00 Weer glasvezel naar het internet via surfnet

Deze dingen gaan gewoon snel

[arjankoole]

normaliter niet hoor. Je speelt hier met miljoenen en een slordige 100 man aan vakmensen die je moet coordineren.

Ik vind dat iedereen die heeft meegewerkt hieraan een enorme pluim verdient, ze hebben werkelijk huzaren werk geleverd.

[Verwijderd]

je mag zeggen hulde of niet, maar dit alles staat als het goed is in dat Disaster Recovery plan wat een beetje toko gewoon heeft liggen. Enne ze hebben geluk dat hun SLA blijkbaar dus goed werkt.

Beetje IT bedrijfje heb zulke dingen gewoon geregeld.

Servers zullen waarschijnlijk nu wel naar een plekkie gezet worden met een sprinkler systeem erin.

[bart1234]

De kans dat er brand uitbreekt is in principe kleiner dan de kans dat een sprinklerinstallatie door vals alarm afgaat. Dus heeft wél een sprinklerinstallatie hebben een groter risico dan géén sprinklerinstallatie hebben. Plus dat water en pc's/tapes inderdaad niet zo goed samen gaan. CO2 blusgas zou een optie kunnen zijn, maar dan moet je een systeem hebben dat ook meteen de ruimte luchtdicht afsluit, om alle zuurstof zsm kwijt te worden. Als er zich dan nog mensen in de betreffende ruimtes bevinden, hebben die een probleem

Hopen dat ze deze keer hun servers over meerdere gebouwen verdelen, zodat als er 1 deel in de fik vliegt, de andere delen het werk erbij/over kunnen nemen. En die back-ups... jah....

Maar inderdaad: erg knap dat ze de hele hap nu al weer draaiend hebben.

Edit:
In het geval van CO2 heb je nog een probleem: zo'n ruimte is niet wat je noemt klein lijkt mij. Dus heb je veel CO2 nodig. Dan moet je dus een heel stel bulktanks hebben staan om dat gas op voorraad te hebben. Het probleem is dan dat die bulktanks om verschillende redenen langzaam maar zeker gas afblazen. Na verloop van tijd is die tank dus leeg. Zul je hem moeten vullen. Als je dat dan iedere zoveel tijd moet doen (eens in de maand ofzo) heb je daar een behoorlijke kostenpost aan

[NiGeLaToR]

Hmm, Ik werk bij Sara en kan je vertellen dat er dus gewoon overal CO2 blusgas installaties zijn. Ruimtes zijn inderdaad groot en luchtdicht. Er staan dan ook tientallen 2meter hoge gasflessen in de kelder klaar om iedereen is lekker te vergassen. Verder laten ze het zuurstofniveau ermee dalen tot zo'n 12%, waardoor je geen brand meer kan hebben, maar louter gloeiing (makkelijk te doven) en je ook niet meteen bezwijkt. Je krijgt het benauwd en je wordt kortademig, maar in principe blijf je lang genoeg bij om je uit de voeten te maken.

Ooit ben ik in een serverruimte van het bedrijf waar me pa werkt geweest, daar hadden ze ook CO2 blussers, met het verschil dat er zuurstofflessen aan de muur hingen. Als er brand was moest je die op doen, want de deuren gingen meteen op slot. Dan was het wachten op de brandweer

Sprinklers kunnen om nog meer redenen niet, je moet dan namelijk eerst ALLES uit zetten, meteen. Verder loopt je gebouw dan zoveel schade op dat je dus meteen alles kwijt bent, ondanks dat de brand best klein had kunnen zijn (sprinklers geven VEEL water namelijk ). Als er toch een grote brand is helpen sprinklers ook niet echt meer en zal de brandweer toch de inboedel naar de hel spuiten.. dan kun je beter ook meteen maar alles moeten vervangen ook.

En co-locaten of mirroren van data en services is leuk, maar erg duur, voor een goede werking moet je dus eigenlijk een overcapaciteit van 50% hebben. Dat kost dus ook 100% meer dan dat je normaal kwijt zou zijn. Bij sommige dingen doe je dat al, zoals breedband glas (over 2 verschillende wegen, zodat als er een brug instort of iemand een gat graaft je toch nog verbinding houdt), wat dus veel overhead met zich mee brengt.

Al met al, oplossingen zat, maar het kost gewoon verschrikkelijk duur. Bovendien kun je je nooit helemaal indekken tegen een flinke pyromaan

[NiGeLaToR]

Sprinkler? Lijkt je dat handig, water over een stel pc's of tapes spuiten? Zullen we er CO2 blusgas van maken dan?

Enne, SLA goed werkt? Surfnet koop je niet, dat huur je, dus Surfnet heeft z'n eigen verbindingen samen met onder andere Sara (beheer Surfnet en netwerk experts) weer in elkaar gezet. Nix SLA, gewoon eigenbelang van oa Surfnet.

Als ze echt een goed plan hadden dan hadden de tapes niet in het zelfde gebouw gestaan als het origineel, zeker niet nu blijkt dat er schijnbaar 20 jaar aan onderzoek verloren is gegaan

[rashmatash]

jeej, joy! Tweakers.net krijgt weer veel bezoekers. Aangezien 95% van alle ner..eh..tweakers van heel nederland op campus woont, heeft t.net waarschijnlijk een dieptepunt gehad de afgelopen dagen wat bezoekersaantal betreft.
overigens ben ik ook verbaasd over de snelheid van die gasten.

[Verwijderd]

Mwhoaa. Niet echt

Stats voor de frontpage op de 'dag des oordeel':
http://www.tweakers.net/stats?Action=Generator&Mode=Pageviews&Time=103 7746800&Tijd=00%3A00&Dagen=1&Server=&Col=Frontpage&x=51&y=8

Stats 1 week eerder ook alleen op de frontpage:
http://www.tweakers.net/stats?Action=Generator&Mode=Pageviews&Time=103 7142000&Tijd=00%3A00&Dagen=1&Server=&Col=Frontpage&x=97&y=8

[damouzer]

Ik snap dat internet belangrijk is, maar waarom moet het eigenlijk zo snel gefixed worden?

Had maandag toch ook klaar kunnen zijn als ze weer naar school gaan?

Ik zit niet te flamen, maar gewoon een vraagje

[jochemd]

Bijvoorbeeld omdat veel studenten graag nog even op internet in het registratiesysteem willen kijken waar ze tentamen hebben. Beetje lastig tentamen doen als je niet weet waar het is. Verder staan er bijvoorbeeld ook clusters computers op andere universiteiten uit hun neus te eten omdat ze data moeten synchroniseren.
Daarnaast zijn er nog 5 of 6 andere instellingen die aan de zelfde PoP hingen en waar voor een deel ook niet gewerkt kon worden.

[GA!S]

Ik snap dat internet belangrijk is, maar waarom moet het eigenlijk zo snel gefixed worden?

Had maandag toch ook klaar kunnen zijn als ze weer naar school gaan?

School? Ahum, we hebben het hier over een wetenschappelijk instituut, geen school. Een Universiteit heeft geen vaste tijden voor onderwijs en onderzoek. Een dergelijke campus draait gewoon 24/7 door. Daarbij is vooral voor een Technische Universiteit een dergelijke verbinding van groot belang.

[Raafz0r]

Ik baalde er na een uur al van dat ik geen internet had. Ik kon geen voorbeeldopgaven en oefententamens meer bekijken of m'n mail checken.

Daarnaast zijn er meerdere instellingen die via de UT van Surfnet gebruik maken en die wachten echt niet effe een weekendje.

[jp]

Nu hebben ze 't vrijgegeven, en als er dan toch iets mis is, hebben ze 't voor vrijdag 0900 opgelost, denkik

[Mujo]

...en wat als je nou maandagochtend huiswerk in
moet leveren dat je in het weekend had willen maken
met behulp van internet?

[SED]

En dan te bedenken dat 3com al jaren een prima werkende 4 uurs service verzorgt.. waarom toch weer altijd dat Cisco.. te veel geld waarschijnlijk

Paar Nortel coreswitches voor het grote werk en de rest 3com.. stukken goedkoper en net zo goed

Die 4 uurs service werkt dus overigens echt!
Daarnaast is het eerst verzenden en dan pas kijken of er een terechte garantieclaim lag.. zo hoort dat.
Bij schade ( brand dus) gelden dezelfde regelingen.

[Arfman]

Jahaa, 3Com werkt echt goed .. daarom stappen wij ook over van de falende 3Com apparatuur (hardwarewise) naar Cisco apparatuur, terwijl wij (een ROC) toch echt niet teveel geld hebben.

[mr_a]

3Com werkt ook echt goed, maar.. het gaat stuk, maar daar was je al achter :-)

Ik heb ook bij een ROC gewerkt. Ik had altijd een 3Com switchje op voorraad, voor als er ergens eentje mee ophield. Dan snel vervangen (15 minuten service van ondergetekende), en dan kon die andere retour 3Com.

Is echt handig, het beetje het idee van 2 jaguars bezitten (1 in de garage en 1 bij de garage)

[ijdod]

Support contracten kosten geld. Veel geld. Hoe duurder en zeldzamer apparatuur wordt, hoe meer het gaat kosten. Da's een deel van de redenen waarom dergelijke high-end netwerken normaal gesproken (niet overal dus, getuige de gevolgen) redundant gebouwd worden. Meer kosten up-front, maar als je dan uiteindelijk toch betaalt voor die hardware (op de plank hebben liggen doen ze niet gratis), kan je het net zo goed meteen inzetten.

Alle merken hebben hun eigenaardigheden. Cisco is doorgaans niet de goedkoopste, ook niet de beste. Van de support van Cisco zelf echter (dus niet Getronics of een andere reseller) kunnen veel bedrijven een voorbeeld aan nemen.

[nielsj]

allemaal leuk en zo, geen cisco switches en zo, maar wil je een een 3com gbit router neer zetten?

[Carda]

Internet provider A1 loopt nu ook weer dankzij een straalzender (was gistermiddag opgezet)

Redelijk snel jah, vooral voor deze provider

[Verwijderd]

Sterker nog Carda, we draaien sinds 22:00 weer normaal, op gigabit hier bij A1.

EN niet te vergeten (uit SURFnet nieuws art.):
Eager Telecom heeft de verbinding met de Saxion Hogeschool hersteld.

(Eager = A3, A3 is moederbedr. v. A1)

[Raafz0r]

Hopelijk hebben ze die wel goed vast gezet dan Kan me een Drome herinneren waarbij een schotel van het dak was gewaaid

[Omega_Shiva]

Mooi zo.

Helaas werkt nog niet alles. Ben nog steeds niet in staat om een connectie te maken met mijn data op de server systemen

[NiGeLaToR]

Hmm.. heb je er al bij stilgestaan dat die servers afgebrand zijn en die data op de verbrande backup tapes staan? Dus ik vrees grote vrezen, net als deze meneer:

http://www.tctubantia.nl/regioportal/TC/1,2622,1654-zoeken-Zoeken!!__1 332851_,00.html?ArchiefID=1332851

En er is al een genomineerde-oorzaak:

http://frontpage.fok.nl/news.fok?id=24042

[reddog33hummer]

inderdaad in de tubantia staat dat de backuptapes zijn verbrand.

Ik denk alleen dat dit de dagbackuptapes zijn en niet de weektapes. Deze worden namelijk bij de hogeschool enschede (en dus ook vermoedelijk de ut) ergens anders bewaard dan op de school zelf

[Verwijderd]

Het is toch een universiteit? Stop die servers dan in een vacuum ruimte, en koel ze met water

[JF_]

Lijkt me handig, de boel vacuum trekken... Kan je gelijk al je harddisks afschrijven.
Zuurstof-arme lucht is een veel beter idee, alleen ademt 't wat lastig :-)

[Verwijderd]

Sta je toch wel verbaasd van dat alles zo snel weer in mekaar word geprutst.
Echter vraag ik me nu af of dit alles in een definitive vorm is of dat het tijdelijk is?