Hard geluid haalt datacentrum ING Roemenië offline

Het datacentrum van ING Roemenië is afgelopen weekend offline gegaan na een brandoefening. De opslagsystemen raakten van slag door de trillingen die werden veroorzaakt bij het vrijkomen van inerte gassen.

ING Roemenië hield zaterdag een brandoefening in zijn datacentrum, maar om 13.00 begonnen zich problemen voor te doen vanwege het uitstoten van gassen, meldt de bank. De storing duurde tot 23.00 die dag en klanten konden geen transacties verrichten of online bankieren. ING Roemenië schakelde over op zijn back-updatacentrum en laat weten dat de problemen langer duurden om te verhelpen dan gedacht 'vanwege de omvang en complexiteit van de storingen'.

Bij de brandoefening testte de ING het blussysteem, dat bij serverruimtes vaak gebaseerd is op het uitstoten van inerte gassen, meestal stikstof en argon. De gassen verlagen het zuurstofniveau, wat de brand doet uitdoven. Dit soort systemen beschadigt de apparatuur niet en zorgt evenmin voor grote temperatuurdalingen. Een neveneffect is echter dat de gassen onder zo'n hoge druk door kleine gaatjes in de opslagcilinders worden uitgestoten dat hier veel geluid bij vrij kan komen.

Volgens Motherboard bereikte het geluidsniveau bij ING Roemenië 130 decibel. "Het was zo hoog als onze meetapparatuur kon registreren", aldus een medewerker. De trillingen die het geluid veroorzaakte, hadden invloed op de harde schijven: de vibraties van de actuators zorgden ervoor dat de lees- en schrijfkoppen van de tracks afweken. Motherboard verwijst naar een paper van IBM, waarbij gesteld wordt dat een kleine afwijking van de koppen als gevolg van vibraties door het geluid van de gasuitstoot al tot het stoppen met lezen en schrijven zorgt.

Reacties (152)

[xleeuwx]

Het is grote onzin dat apparatuur niet beschadigt. Er zijn meerdere voorbeelden te vinden dat door de druk die vrij komt van het gasblussing er veel hdd's dit niet overleven, ik durf niet zeker te zeggen of dit ook voor SSD's geld.

Over de gasblussing is op webhostingtalk.nl een discussie ontstaan over de vraag als gevolg waarvan de harddisks precies defect zijn geraakt. Is dat het gevolg van de overdruk die ontstaat door de gasblussing, de plotselinge temperatuurschommeling of door de geluidsdruk die de gasblussing veroorzaakte? Dat roept de vraag op of de oplossing niet erger is dan de kwaal? Is het wel verstandig om een automatische gasblussing te hebben of kan daar niet beter handmatig toe besloten worden?

http://www.ispam.nl/archi...sing-in-gyro-center-dc-1/

[Reactie gewijzigd door xleeuwx op 24 juli 2024 01:46]

[winwiz]

Als je poeder of water gebruikt weet je voor 100% zeker dat je bijna alles kunt afschrijven. In dit geval zullen er een paar harde schijven overlijden maar het gros van de apparatuur blijft intact.

[GekkePrutser]

Ik heb ook wel eens DC's gezien met een zeer laag zuurstof gehalte. Ook wel slim en voorkomt brand. Alleen niet zo fijn als je er moet werken. Een collega van me werd een keer over het hoofd gezien toen hij op de laag stand ging en doe werd echt flink licht in zijn hoofd. Brrr.

Maar voor de apparatuur lijkt dat je de beste methode.

[xleeuwx]

Ik snap je punt maar de hardware is meestal het geld niet, een bedrijf dat stil komt te liggen omdat de servers stuk zijn en dus niet kunnen werken is voor een bedrijf vele malen erger.

Dus het probleem is niet dat er een paar schijven stuk zijn, maar dat het moeilijk is te herstellen aangezien er data staat op die schijven staat en dat de data veel meer waard is als die paar schijfjes.

[Tadream]

Oftewel altijd een offsite backup hebben.

[kiang]

Je kan er zeker van zijn dat ING dat heeft, en ik verwacht meer dan 1 externe locatie.

Als bank kan je NIET het risico nemen ooit je transactiegeschiedenis en balans kwijt te spelen, dus off-site backup is gewoonweg verplicht.

[Coffee]

Ach ja, eigenlijk is het hebben van een offsite Backup voor iedereen belangrijk. Natuurlijk moeten banken en andere grote instellingen meerdere van deze backups hebben.

Doet me er aan denken, zal een bank een net zo redundante (wellicht hotswappable) Backup oplossing hebben als Google deze heeft? Ik dacht dat Google over het algemeen consumer-grade hardware heeft omdat de data balancing software die ze hebben zo sterk is.

[alt-92]

Geo-redundant failover is verplicht voor een 4-4-4 rating idd.

[Reactie gewijzigd door alt-92 op 24 juli 2024 01:46]

[SunnieNL]

Staat ook in het bericht. In principe zou de failover al automatisch mogen beginnen zogauw de brandblusinstallatie inschakelt. Je wil daarna toch controleren of alles nog werkt en dan ben je sowieso wat langer offline.
Dus een auto-failover naar de andere kant zogauw de blusinstallatie aan springt zou naar mijn idee een vrij logisch idee zijn.

Snap sowieso niet dat ze op het moment dat ze een test uitvoeren ook nog daar op productie zijn. Normaal doe je voor die tijd een failover voor het geval er iets mis gaat.

[johnkeates]

Ze hebben een compleet backup datacenter. Een bank doet wel wat meer dan een NAS bij de buren neerzetten....

[Chicken]

Laten branden en blussen met andere middelen leidt ook tot verlies van de data op de harde schijven, dus dat is geen argument tegen gas blussen.

[bamboe]

Dit was wel een test en niet een echt scenario,
Maar, het hangt er van af hoe ver deze servers van de aparatuur staan wil de druk ze beschadigen, het gas heeft op een paar punten een hele hoge druk, waar het vrij komt, maar dat is niet in de hele server ruimte, anders zou deze exploderen en ben je nog verder van huis af, dus die druk zal wel mee vallen.

Ik kan me wel voorstellen dat het geluid harder dan 130 decibel de problemen heeft veroorzaakt, dat is echt een harde trilling....

[Reactie gewijzigd door bamboe op 24 juli 2024 01:46]

[Overlord2305]

Ik stel vacuum blussen voor.

[cobis taba]

whahaha, dat gaat wat worden Zie je het al voor je, uit elkaar getrokken mensen, iemand laat een fles of container van iets achter: BOOM! lol ^^

[Overlord2305]

Nah, zou wel cool zij maar wat je dan zou doen is genoeg lucht uit de kamer ontrekken dat een vuur uitgaat, dit soort installaties bestaan all.

[Jape]

Mensen gaan gelukkig niet stuk van vacuüm, uiteraard wel door het zuurstofgebrek wat er dan ontstaat. Het is maar 1 bar verschil.

[cobis taba]

Je spat niet open nee, maar je krijgt een kilo op iedere vierkante centimeter. En je vocht komt uit alle gaten in je lichaam, sterkte...

http://wibnet.nl/mens/lic...et-een-mens-in-een-vacuum

[Blokker_1999]

De hardware in een volledig DC representeert toch echt een grote waarde. Enkele schijven is niet veel geld, alle hardware in een DC kan evenwel al snel in de miljoenen gaan oplopen. En dan hebben we het nog niet over de eventuele schade aan hert gebouw en de infrastructuur. Blussen met gas in een gesloten omgeving zoals een DC is simpelweg de eenvoudigste en snelste oplossing en de oplossing met de minste schade aan apparatuur en infrastructuur.

Ik zie in je post ook nergens een valabel alternatief. Als je handmatig de blussing moet inschakelen gaat er soms veel tijd verloren, in die tijd kan het vuur zich een stuk verder verspreiden en veel meer schade aanrichten dan de schade die je hebt met enkele beschadigde HDDs. In geval van een brand zal heel het DC er toch enige tijd uitliggen waarin je de HDDs reeds kunt wisselen.

[cobis taba]

Wat steeds vaker gebeurt is dat er per rack blussing beschikbaar is. Gewoon met water (of soms schuim volgens mij). Die kast is totaal verloren als de blussing afgaat, maar het grootste deel van je DC blijft draaien. Daarmee vallen de kosten effectief heel erg mee en is ook de nevenschade beperkt.

[winwiz]

Nieuwe schijven erin en backup terugzetten of er wordt gesynchroniseerd met de uitwijk

[Alternativ]

Dit risico kun je ook voor een deel mitigeren door gebruik te maken van watermistsystemen (bijvoorbeeld: https://www.unica.nl/them...eveiliging/watermist.aspx). Door te blussen met gedemineraliseerd (verneveld) water is de kans op waterschade (gevolgschade) kleiner.

[Whatson]

Klopt, pure H2O bevat geen geleidende delen en veroorzaakt dus geen kortsluiting. Komt puur door de mineralen die bijna altijd aanwezig zijn in het water.

[cobis taba]

Ja, maar voor je pure H2) in de server terecht komt heeft dat zich gemengd met het stof in de ruimte (hoewel je die schoon houdt, is het niet stofvrij) en andere dingen. helemaal zeker dat het echt puur water blijft is het dus niet. Plus, je stuurt dat water dan wel door een draaiende server heen he. Het verschil tussen puur H2O) en kraanwater is vooral nuttig bij apparatuur die uit is en die kan opdrogen.

[bbob]

met ssd lijkt me niet. hdd heeft bewegende delen ssd niet. Als ssd zou beschadigen zou alle andere apparatuur ook beschadigd moeten zijn.

Waar ik benieuwd naar ben ik of de schuiven waarvan de kop nu schijnbaar verschoven zijn echt beschadigd zijn of dat een hdd dit zelf weer kan oplossen / kop uitlijnen.

[mjtdevries]

echt beschadigt. De Koppen komen tegen de platters aan.
Er zijn verschillende papers online hierover. (bv die van IBM)

[Skywalker27]

Gewoon over stappen op NOVEC of dempers gebruiken sukkels, je mag van zon partij toch wel er van uit gaan dat ze een DC beheerder hebben met een TIA942 certificering

[Zaggy]

Wel fijn dat je er tijdens een oefening achter komt!
Schreeuwen werkt ook: https://www.youtube.com/watch?v=tDacjrSCeq4

[Verwijderd]

Dat je er tijdens een oefening achter komt. Kom nou zeg!
Dit is al jaren bekend, zijn hele papers over.

IBM gebruikt bijvoorbeeld geluiddempende panelen aan de zijkanten van hun serverracks. Ook zijn er nozzles met een grotere uitgang te krijgen die iets minder lawaai maken. Tot slot kun je nog kijken naar de plaatsing van devices met HDD's.

Wij hebben onlangs een blussing gehad. Daarbij zijn schijven in onze Equallogic uitgevallen (geen dataloss), deze zaten vlakbij de zijkant van de racks en de nozzle uitgang.

Onze Nimble storage is ook even uit gegaan om degradatie te voorkomen maar had verder geen issues. Deze kan er blijkbaar beter tegen en detecteert het ook softwarematig.

Dat je hier als middelgroot bedrijf niet bekend mee bent kan ik snappen. Maar bedrijven met de grootte van een ING zouden toch al wel beter moeten weten...

[Skywalker27]

Ik neem aan dat de DC beheerder toch wel een TIA942 certificering heeft in die orde van grote. Zo ja dan zijn het sukkels want dit is al zo lang bekend, en laat je er uiteraard allang nozzels op installeren, die het geluid reduceren en de druk verlagen. Of je stapt over op NOVEC.

[brainball]

Novec heeft als vervelende bijwerkingen dat het vrij snel giftig wordt bij hogere concentraties. Standaard wordt 4.2% concentratie aanbevolen, boven de 5% wordt het giftig.
Daarnaast bij verbranding van het novec door de hoge temperaturen komen er Waterstofhalogenides vrij, dit is ook niet al te best voor een lange levensduur zeker niet als je nog in de ruimte staat.

StatX is een alternatief voor NOVEC 1230, maar is nog vrij jong op de markt en heeft nog niet alle goedkeuren.

[Verwijderd]

Tja, of je zit in de giftige gassen of je zit in een ruimte met 130dB.
In beide gevallen maken dat je wegkomt, want je wil er niet blijven.

[Skywalker27]

Ja vandaar weg wezen alles uit je handen laten vallen, wij hebben beide trouwens ,de blussystemen heeft beide pro's en cons. Wij zijn bijna nooit in het DC's alleen om iets te plaatsen of weg te halen. Een commercieel DC heeft natuurlijk weer hele andere uitgangspunten

[Miglow]

Ik herinner me dat mijn vader vroeger in een dc van een grote bank heeft gewerkt en dat ze daar halon gebruikten dat zo snel de zuurstof onttrok aan de lucht dat je maar nauwelijks de tijd had om je persluchtinstallatie aan te trekken. Dat mag zeker überhaupt niet meer gebruikt worden?

[Skywalker27]

Zelfs Halon handblussers mogen niet meer gebruikt worden.

[FreshMaker]

Alleen onze vrienden van de marine nog maar.

Halon tast de ozonlaag aan, verder was het imho de beste blussing.
Onze serverruimtes hebben nu saphire, op basis van novec 1230

[GekkePrutser]

In de luchtvaart ook. Aan boord is het altijd halon. Is het effectief en de minste neveneffecten op de apparatuur e.d.

Voor mensen is het niet geweldig maar alleen gevaarlijk in enorme concentraties. Jammer dat het zo slecht is voor het milieu want het werkt echt geweldig.

[Reactie gewijzigd door GekkePrutser op 24 juli 2024 01:46]

[kimborntobewild]

Dit is al jaren bekend, zijn hele papers over.

Er bestaan miljoenen papers. Het feit dat die bestaan, zegt op zich niet zoveel.
En dan moet je die papers ook nog combineren: bijv. weten dat een blussing 130 decibel kan opwekken...
En zelfs in jouw bedrijf zijn er toen schijven uitgevallen, geef je aan. Dus ook daar klopt 't dus nog niet??

[Verwijderd]

Wij hebben een datacenter met enkele storage systemen, 500 users en misschien 100TB aan data. De kosten voor de aanpassingen zijn vermoedelijk hoger dan de kosten van een eventuele restore/herstel operatie (en de kans op dataloss is al zeer klein door onze setup). Maar inderdaad: wij hadden dit gevolg niet goed op het netvlies, nu wel.

Bij een datacenter als dat van de ING mag je een nog hogere graad van controles verwachten bij het inrichten van het datacenter. (Aardbevingsgebieden, vloedgolven, aanslagen, etc.).

En dat een blussing meer dan 130dB kan opwekken is dus gewoon al heel lang bekend en hadden ze kunnen weten. Lees ook dit artikel.

[Reactie gewijzigd door Verwijderd op 24 juli 2024 01:46]

[kimborntobewild]

Bij een datacenter als dat van de ING mag je een nog hogere graad van controles verwachten bij het inrichten van het datacenter. (Aardbevingsgebieden, vloedgolven, aanslagen, etc.).

Tja... Als je 't veilig wil doen, bouw je sowieso al geen kerncentrales. Geen van de huidige centrales zijn bestand tegen vloedgolven.
Bij banken is het niet anders: ook daar is het het management die de beslissingen doet, i.p.v. het personeel die weet of iets veilig is of niet.

[Ayporos]

Nou ja, als je jou kerncentrale ergens bouwt dat hij dusdanig hoog ligt dat je nooit last zult hebben van een vloedgolf dan is dat dé oplossing natuurlijk..

't is altijd een afweging, kosten-baten verhaal. Dit is zo met alles.

[rhimex]

En dat kerncentrales heeeel erg afhankelijk zijn van koeling is ook al heel lang bekend.
En dat is veiliger in de buurt van water te realiseren dan op eenzame hoogte.
Elk voordeel heeft zijn nadeel.

[Verwijderd]

Maar de afweging wordt weldegelijk gemaakt. Je kunt er voor kiezen een datacenter te accepteren dat een kans heeft op overstromingen, als de kosten van een ander datacenter te hoog zijn of niet practisch. Het is altijd een business overweging.

Maar ik weet dat er bedrijven van datacenter zijn verhuist omdat het oude datacenter in de aanvliegroute lag van vliegtuigen. Het is maar net hoe waardevol je data is en wat er gebeurt als je het niet meer hebt

[Mopperman]

OF nog beter, in plaats van de volle 150 of 300 bar uit een gaatje te persen, een methode gebruiken die onder gereduceerde uitblaas druk werkt. Hierdoor word er veel minder trilling en geluid veroorzaakt en daarbij word er gezorgd voor een betere verspreiding van het gas, het blijft immers langer lopen en daardoor ook automatisch langer in de ruimte (Want er is altijd een uitblaas rooster bij dit soort systemen).

[yourt]

Ja, de nozzles / Sproeiers dus hé...

[DeArmeStudent]

Hahaha, dit is echt mooi op te zien.

Vanaf nu dus iedereen alleen maar zachte, lieve woordjes mompelen tegen je harddisken, of helemaal niets zeggen en alleen maar hopen dat ze het blijven doen.

[Ibidem]

Bijzonder verhaal, temeer omdat (b.v. HGST) Enterprise HDD's uitgerust zijn met een Rotational Vibration Safeguard. Het best laat zich dit omschrijven als een sensor welke "tegen gewicht" geeft waardoor de head van de HDD on track blijft.

Enige wat ik kan bedenken is dat in dit datacenter gekozen is voor non Enterprise HDD's of dat die 130dB zo'n lange tijd aanhield waardoor een techniek als RVS ook geen nut meer heeft.

De overige HDD fabrikanten te weten : WD, Seagate & Toshiba hebben elk dus een eigen "anti-vibratie" techniek in hun HDD's zitten. RVS is een HGST techniek welke in mijn voorbeeld te zien is.

[Reactie gewijzigd door Ibidem op 24 juli 2024 01:46]

[mjtdevries]

Ik kan je uit ervaring vertellen dat die systemen niet toerijkend zijn bij een gasblussing.
Allemaal Enterprise HDDs. (van HP)

[TWyk]

Zijn er al niet verschillende onderzoeken geweest die het nut van duurdere harddisk niet hebben aangetoond?
Goedkope consumenten harddisk hebben zelfde levensduur en failure rates als dure enterprise hardddisk.

[Ibidem]

Jij doelt op de publicaties van Backblaze vermoed ik B.v. nieuws: Backblaze: 4TB-hdd's van Seagate vertonen relatief weinig uitval & nieuws: 'Groot aantal 3TB-drives van Seagate en WD vertonen gebreken'

Backblaze test of het nut heeft om een Desktop HDD (b.v. de typische Seagate Barracuda, HGST Deskstar (inmiddels EOL), WD Green (ook al EOL)) te integreren in een datacenter vs. een Enterprise HDD. Ze testen met name de workload van de HDD's welke in TB/jr aangegeven wordt. Ter info: workload van een typische desktop HDD is zo'n 60/80TB/jr volgens fabrieksopgave vs 550TB/jr voor een typische Enterprise HDD (NL SATA). Backblaze test dus of het nut heeft een dure EP HDD in te zetten of niet.

Dit staat dus los van de typische EP features zoals RVS welke ik in mijn eerdere bericht aan haalt. Simpelweg omdat een Desktop HDD geen RVS heeft.

[TWyk]

Met name ook onderzoeken van Google en Carnegie Mellon waarbij veel meer types disk zijn vergeleken.

[TTheuns]

Als je nou eens een linkje zou geven, weten we dat je niets aan het verzinnen bent.

[Bliksem B]

Google maar, artikel is ook op tweakers te vinden. Google houdt namelijk bij welke hdd het meest uitvallen. Aangezien google vrij veel harde schrijven er door jaagt

[TTheuns]

Stel je zit in een debat. Vertel je dan ook tegen de ander dat diegene maar bewijs moet gaan zoeken voor jouw argument?

[Bliksem B]

Stel je zit in een debat. Vertel je dan ook tegen de ander dat diegene maar bewijs moet gaan zoeken voor jouw argument?

Grappig dat je dat aanhaalt, in de politiek zeg men dat juist heel veel! Uit onderzoek blijkt dat Moslims , <voer hier een vooroordeel in> bla bla!!! Blijkbaar is dat tegenwoordig de standaard en de meesten burgers slikken dit ook. Al komt dit ook omdat sommige burgers dit logisch vinden klinken/aansluit op hun eigen vooroordelen.

Maar hier een studie van Google over disk failures: Failure Trends in a Large Disk Drive Population, 2007

[Reactie gewijzigd door Bliksem B op 24 juli 2024 01:46]

[TTheuns]

Als ik goede voorbeelden zoek, blijf ik meestal ver van de politiek, juist omdat ze het daar andersom doet zoals je beschrijft.
Helaas vallen daar veel te veel mensen voor, inderdaad. Dat kan nog heel gevaarlijk gaan worden.

On topic:
Bedankt voor de link, daar kan iedereen tenminste wat mee.

[cobis taba]

Dat is zijn punt toch helemaal niet? Hij stelt dat er in de enterprise HDD's een specifieke techniek zit die in consumenten HDD's niet zit. Dat heeft niets met failure rates an sich te maken (want dan testen ze dat niet met veel geluid).

[TWyk]

Maar wel test van met duizenden disks in racks die enorm veel vibraties meekrijgen bijvoorbeeld door andere disks en coolingfans

[BadRespawn]

enorm veel vibraties meekrijgen bijvoorbeeld door andere disks en coolingfans

Disks en fans veroorzaken in de verste verte niet 130db aan trilling.

[TWyk]

130db is een trilling in lucht die nog moet worden overgebracht of de racks en de disks. Een trilling in een medium met weinig massa zoals lucht zal sterk afnemen als deze wordt overgebracht of een medium met veel massa zoals en metalen computer rack.

[BadRespawn]

Een trilling in een medium met weinig massa zoals lucht zal sterk afnemen als deze wordt overgebracht of een medium met veel massa zoals en metalen computer rack.

En is dan kennelijk sterk genoeg om de koppen van een HD uit het lood te gooien.
En jij denkt dat dat ook kan dmv fans en HDs - dus je denkt dat een HD kan door z'n eigen trillingen z'n eigen koppen uit het lood kan gooien? En idem met de fans in een PC? Dan zal je het wel wonderlijk vinden dat computers doorgaans gewoon goed werken.

[TWyk]

Er gaan ook heel veel nieuwe harddisks stuk kort nadat je ze in een rack (of andere systeem met bewegende delen) zet. Dus ja, ik denk dat de vibraties in een systeem effect kunnen hebben op het stuk gaan van een sommige harddisk.

[SiLVaH]

Ooit is dit filmpje gezien over hoe schreeuwen tegen een Array latency veroorzaakt.
https://www.youtube.com/watch?v=tDacjrSCeq4
Denk dat ik het nu wel moet geloven

[Reactie gewijzigd door SiLVaH op 24 juli 2024 01:46]

[Tristan]

Wauw!

[xmenno]

"Hard geluid" is eerder een soort van aardbeving.
Zoals al velen hier hebben toegevoegd, dit is bekend en ik snap niet dat ze zo'n noodscenario gaan testen. Volgens mij is dat gas ook enorm duur.

[Zexion]

Om die reden is het waarschijnlijk ook jaren geleden dat het systeem getest is. In die tijd konden hardeschijven het misschien wél hebben. Een 10tb schijf met meerdere platters en fijnere tracks heeft meer last van trillingen dan een 500gb schijf met een enkele platter van 10 jaar geleden met wijdere tracks neem ik aan. Volgens mij heeft IBM aangegeven dat 0,1 micrometer verschil genoeg is voor totale vernieling van huidige schijven.

Dat het blussysteem meer dan 130db zou produceren wisten ze waarschijnlijk van te voren ook niet. Hoe dan ook, oefeningen worden vroeg of laat een keer gedaan en dan komen dit soort bijzondere fenomenen te voorschijn. Een paar kapotte hardeschijven zijn in ieder geval makkelijker (en veel goedkoper) te vervangen dan hele racks aan servers. Dat het tijdens een oefening gebeurde is misschien jammer, maar al was het een echte brand dan zou het ook zijn gebeurd. Nu is het een kwestie van preventie in de toekomst, en hopelijk leren andere DC's er ook wat van

[Reactie gewijzigd door Zexion op 24 juli 2024 01:46]

[schrikbeeld]

Wat doet een bedrijf als ING met zijn datacenters in Roemenie?
Het lijkt me nou niet een van de meest veilige en betrouwbare landen.

[Reactie gewijzigd door schrikbeeld op 24 juli 2024 01:46]

[rc5proxy]

Wat doet een bedrijf als ING met zijn datacenters in Roemenie?
Het lijkt me nou niet een van de meest veilige en betrouwbare landen.

nou log eens in met je mijning --> https://www.ing.ro/
misschien toch wel makkelijk als je in het land waar je zit ook je data hebt staan.

[biglia]

130 decibel kan al tellen. Hopelijk geen gehoorschade voor de mensen die daar werken.

[kakanox]

Ik denk dat als je in een afgesloten ruimte staat waar inerte gassen in geblazen worden je je beter zorgen kan maken over je ademhaling dan over je gehoor

Sowieso mag zo'n installatie alleen als er vantevoren een alarmsignaal af gaat. Als ik me niet vergis minimaal 30 seconden ontsnaptijd (ook afh. van grootte v/d ruimte).

[Reactie gewijzigd door kakanox op 24 juli 2024 01:46]

[xleeuwx]

Buiten die 30 seconde kan je dan ook nog het blussen stoppen.

[clueless12]

En best wel fijn als ze vooraf even uitleggen wat je dan moet doen. Ik kom best geregeld op vloer en de eerste keer dat er een blusoefening was had ik geen idee. Als het echt geweest was had ik waarschijnlijk pas veel te laat weg geweest. Iedereen die de vloer op gaat moet weten wat te doen bij brand.

[Dennisdn]

Het is als werkgever sowieso altijd verplicht veiligheidsinstructies te geven en helemaal in ruimtes waar bijzondere risico's aanwezig zijn, bijvoorbeeld als er gas- of schuiminstallaties staan.

[mjtdevries]

Bij de meeste gasblus installaties die in Nederland toegestaan zijn zijn er geen extra veiligheids instructies.

als BHV-er heb ik daar navraag over gedaan, maar er zijn geen instructies voor de oren van mensen die er hebebn gestaan. (die staan ook verder van de nozzles af dan de harddisks in de bovenkant van een rack) en het gas zelf is ook niet schadelijk.
Bij 15% zuurstof gehalte kun je nog prima ademen.

Betekent niet dat het aangenaam is om in die ruimte te staan, maar geen bijzondere instructies nodig.

[Dennisdn]

Ik doel ook niet op eventuele instructies die je van een installatiebouwer krijgt maar op de instructies die het bedrijf zelf moet opstellen en communiceren.

Elk bedrijf moet een RIE opstellen waar een dergelijke installatie absoluut in opgenomen moet zijn. Voor het gas zeker, geluid als in deze had ik (als veiligheidskundige) waarschijnlijk ook over het hoofd gezien.

[clueless12]

Bedankt. Weet ik dat ik niet dood gegaan zou zijn. Geeft toch wat rust

[Skywalker27]

Nee alleen uitstellen met 30 seconden er is namelijk al door 2 verschillende systemen een positieve detectie gedaan. Dus gewoon weg wezen.

[AjDuLion]

Sommige dc's geven zelfs deze melding als je de server ruimtes binnenloopt (Leaseweb)

en idd minimaal 30 seconden ontsnappingstijd, en het ''schijnt'' te overleven zijn je voelt je alleen goed beroerd erna ><

[kakanox]

Als het argon is moet je wel een halfuurtje op de kop denk ik? Het is veel zwaarder dan lucht, kan me voorstellen dat het zonder zwaartekracht zelfs moeilijk is om uit te blazen.

[AjDuLion]

dat is wat mij ooit verteld is van de ehboers die rondlopen bij de dc's wat er verder van waar is no clue

[Zexion]

Deze theorie heb ik ook ooit een keer gehoord inderdaad, als er een tweaker is die hier meer van weet dan hoor ik het graag

[scorpion-biker]

als er brand is in een datacentrum en ze argon of iets dergelijks de ruimte in laten stromen, wil je daar sowieso niet zijn. Moeilijk overleven zonder zuurstof.

[remsie]

Sowieso vreemd, meestal wordt FM200 gas gebruikt ( http://www.kastblussystee...w=article&id=55&Itemid=63)
Bij gebruik van dit gas blijft het zuurstof nivo normaal, en zal je dus niet stikken.
Wat wel fijn is als je toevallig aan het werk bent in de server ruimte ( ok, het geluid is ook niet prettig, maar daar zal je niet dood van gaan )

[Reactie gewijzigd door remsie op 24 juli 2024 01:46]

[Punica-]

"Meestal"? Baseer je dat nog ergens op behalve die site? FM200 word naar mijn ervaring helemaal niet veel gebruikt. Het is ook duurder gas als een Argon/Inergen installatie.

Geen enkel "groot" DC wat ik ken, Equinix, TC, InterXion, GlobalSwitch, Telehouse gebruikt FM200.

Afaik word FM200 meestal gebruikt uit praktische overwegingen, bijv beperkingen in de ruimte of uberhaupt kleinere ruimten.

[remsie]

Mijn fout, zonder toelichting, zat met mijn gedachten bij computer/motorstuur ruimtes in de chemische industrie.

De link was overigens enkel bedoelt als toelichting op de werking van het gas.
Je laatste regel over het gebruik van FM200 is onzin, het is vooral de prijs waardoor men minder snel zal kiezen voor FM200

[Verwijderd]

Daarom verlagen ze het zuurstofgehalte tot bijvoorbeeld 10%. Dat overleef je wel, maar er is kans dat je flauwvalt en daarbij kun je natuurlijk gewond raken, dus het is beter om gewoon weg te gaan als het blusalarm luidt.

[mjtdevries]

15% en extra CO2.
Daardoor kun je prima blijven ademen, Je valt niet flauw, maar vlammen doven wel.

[mjtdevries]

als er brand is in een datacentrum en ze argon of iets dergelijks de ruimte in laten stromen, wil je daar sowieso niet zijn. Moeilijk overleven zonder zuurstof.

Daarom is Argon in Nederland tegenwoordig ook verboden en zorgen gasblus installaties hier dat het zuurstof gehalte naar 14 a 15% terug gaat. Dan doven vlammen, maar kunnen mensen nog gewoon ademen.

[rc5proxy]

130 decibel kan al tellen. Hopelijk geen gehoorschade voor de mensen die daar werken.

ik zou toch meer oefen op adem in houden dan me zorgen maken over me gehoor
daarom is het ook verplicht om ademlucht toestellen in dit soort ruimte's op te hangen als vluchtbeveiliging.
en vaak moet er voor het betreden een perslucht training gevolgd worden.

[psyBSD]

En je draagt meestal toch al gehoorbescherming vanwege de herrie van de apparatuur die er staat.

[ijdod]

Dat hangt van de ruimte af en de apparatuur die er staat; maar gehoorbescherming is meestal comfortgericht, de meeste DC's mag je arbo-technisch de hele dag zonder bescherming lopen.

[biglia]

Haha, sorry, ik ben nooit in zo'n professionele ruimte geweest. Het lijkt me nogal vrij risicovol als ik het zo lees. Stel dat je al bewusteloos in die ruimte ligt..

[Hennie-M]

Ook dit is een reden om met enige regelmaat je backup en noodvoorzieningen te testen. Zodat je op een gecontroleerde manier en met genoeg mensen op standby achter dit soort problemen kan komen.

Vervelend dat het is gebeurd maar hier kunnen we wel allemaal van leren.

Edit: Ik bedoel inderdaad dat het goed is dat dit naar voren is gekomen bij een test. Omdat er dan (waarschijnlijk) mensen klaar staan om in te grijpen.

[Reactie gewijzigd door Hennie-M op 24 juli 2024 01:46]

[DDuce]

Ik snap je strekking maar dit -was- een oefening :-) Maar mss interpreteer ik je bericht verkeerd.

[Reactie gewijzigd door DDuce op 24 juli 2024 01:46]

[ijdod]

Ik krijg in de context van het bericht het gevoel dat dit een accidental release was. Ze waren aan het oefenen, maar het gas was extra. Die installaties worden echt zelden live getest, eigenlijk altijd droog. Juist omdat niemand de 'what if' wil beantwoorden. Niet alleen de geluidsissues, maar ook het feit dat alle stof van de kasten af is en dus in de machines zit na afloop

[Dubbeldrank]

Dat is ook precies wat ze deden, ze waren alleen langer bezig dan gedacht om de hoofdlocatie weer online te krijgen. Dus ongewild bleek dat ook goed te werken.

[RGAT]

Met regelmaat testen of je testen wel goed gaan?
Dit was een test, liep alleen een beetje uit de hand...

[Flimovic]

Testen lopen wel vaker uit de hand. Tsjernobyl is een vrij treffend voorbeeld hiervan.

[RGAT]

Fair enough, maar dat was ook wel een test door forceren nadat er eerder die dag al wat problemen waren en een deel van de ploeg bezwaren had
Alles kan kapot

[kiang]

Ik heb bij een grote bank gewerkt en 6-maandelijks deden we dit: we gingen een dag werken op de backup-locatie. Zo merk je of die toereikend is om alles over te nemen.

[mjtdevries]

ik betwijfel sterk dat ze elke 6 maanden de gasblussin af lieten gaan. Het is nogal kostbaar om dat weer bij te vullen. Daarom word dat zelden gedaan.

Anders zou dat al 7 jaar geleden bij iedereen bekend zijn geweest. Toen begonnen harddisks namelijk stuk te gaan bij het geluid van gasblussing.

[kiang]

Klopt, de blusapparatuur werd niet gebruikt: de oefening was enkel om te testen of de backup-locatie volledig operationeel was. De hoofdlocatie werd die dag gewoon niet gebruikt.

Op die manier heb je zekerheid dat je je activiteit kan voortzetten op die backup locatie, wat er ook gebeurt op de hoofdlocatie. Daarom zie ik ook "Zo merk je of die toereikend is om alles over te nemen". Indien dus alles op de hoofdlocatie faalt (zij het een oncontroleerbare brand, maar denk ook aan een bomaanslag), kan alles gewoon doorgaan.

[Reactie gewijzigd door kiang op 24 juli 2024 01:46]

[Zexion]

Zo hoort het ook, prima werk.
In het beste geval heb je een automatische failover die af gaat zodra er brand word geconstateerd en al het werk overgenomen word door de backup locatie. Zo kun je in ieder geval downtime minimaliseren en op je dooie gemakkie onderzoek doen naar dit soort problemen.

Maar aan de andere kant is dit probleem al jaren bekend. Grotere nozzles gebruiken om geluidsproductie te reduceren is volgens andere reacties geen oplossing, maar 130+ decibel is wel erg extreem voor een blusinstallatie

[nexhil]

Tja je kunt nu 2 dingen doen.
Overstappen op SSD of je blusinstallatie aanpassen/vervangen.
Bij die eerste krijg nog een performance winst. De 2e optie is waarschijnlijk minder kostbaar (als het alleen om het vervangen van de "spuit"koppen gaat en het Roemeense uurloon in het achterhoofd.

[Reactie gewijzigd door nexhil op 24 juli 2024 01:46]

[CivLord]

Of je doet niets. Je weet nu dat het systeem werkt en ingeval van brand zal het datacenter toch wel tijdelijk down gaan om alles te controleren. Dat je harde schijven zichzelf tijdens het blussen zichzelf uitschakelen is dan niet meer je grootste probleem, als het dan überhaupt al een probleem is.

[mjtdevries]

Alleen het vervangen van de nozzles is meestal niet voldoende om het geluid te dempen naar een nivo waar de harddisks het overleven.

En geluidsisolatie om de kasten van je SAN heen zetten is ook niet zo makkelijk, want dat verstoort ook je koeling. Uiteindelijk blijkt het complex en duur om je blusgasinstallatie aan te pasen.

[mitch2kbe]

Dit is toch iets dat ze op voorhand hadden kunnen weten? Waarom wordt dit niet gedaan in een planned downtime waarbij je alle storage (non ssd) tijdelijk down brengt?

Paar maanden terug hebben we een grapjas gehad die er in slaagde van per ongeluk inergen te activeren in 1 van onze DC's. Instant een schijf of 10 om zeep...

[fantafriday]

De bedoeling zal waarschijnlijk geweest zijn om er zeker van te zijn dat alles up and running zou blijven. Zie hier het resultaat.