Overspannen Masterswitch legt Tweakers.net plat

Tweakers.net is vannacht en in het begin van de ochtend plat geweest als gevolg van een probleem met de Masterswitch, die de stroomtoevoer naar de servers regelt en wordt gebruikt om een vastgelopen server op afstand te rebooten. Door een niet functionerende Masterswitch kwamen de servers zonder stroom te staan. Dit probleem werd rond middennacht geconstateerd, maar omdat op dat moment niemand in staat was om de colo in Amsterdam te bezoeken moest gewacht worden tot Kees in alle vroegte per trein vanuit Enschede een bezoekje aan TeleCity kon plegen. Op locatie bleek dat de zekering van de Masterswitch was gesprongen. Dit is opgelost, waarna alle servers geboot konden worden.

Onze excuses voor het verlies van tweakotine en levensvreugde in de moeilijke voorbije nacht .

Close-up van de schuldige

Update 28-02 17:20

Een aantal servers zijn zojuist aangesloten op een tweede Masterswitch zodat de gevolgen van stroomuitval op één Masterswitch in het vervolg minder groot zullen zijn. Tijdens de omwisseling draaide Tweakers.net voor enkele minuten vanaf een andere database server met een verouderde database.

Reacties (61)

[Tomsworld]

Zie ik nu spoken of is er iets mis met de klok van de servers

Overspannen Masterswitch legt Tweakers.net plat
Gepost door Femme Taken Woensdag 27 Februari 2002 - 11:48

[Femme]

Tijd stond verkeerd op Athena en Artemis.

[]Byte[]

Tijd stond verkeerd op Athena en Artemis.

Hebben ze daar geen NTP voor uitgevonden
Had eigenlijk toch wel verwacht dat jullie dit toch wel als standaard hadden gedefinieerd op de servertjes.
Zo'n mega klus is het nu ook weer niet.
Misschien iets voor de changelog?

[Femme]

De tijden worden ook regelmatig gesynched met een timeserver, maar zolang het NTP cronjobje niet voorbij komt blijven de verkeerde tijden staan. Daarom moest ik ze dus handmatig goed zetten.

[Coen Rosdorff]

Dat moet dus ook lopen vanuit init (anders rc.local), en niet vanuit cron maar dmv ntpd.

[]Byte[]

Femme:

De tijden worden ook regelmatig gesynched met een timeserver, maar zolang het NTP cronjobje niet voorbij komt ...

Euhhh, NTP in een cronjobje
Is het niet gewoon handiger on ntpd aan de gang te slingeren met een paar stratum 1 servers in je config?
Heb je niks meer te maken met je cronjob en dan blijft ie zeker altijd gelijk lopen.

paulh2:

Ja waardeloos is dat .... ik moet bij een crash ook altijd de drift file weggooien anders doet de NTP server ook nogs eens weken over voordat de tijd precies goed staat.

Dan moet je toch je config nog maar eens goed nakijken!
Al zet ik 'm een halfuur voor- of achteruit, dat duurt max 5 min. voordat ie (ntpd) dat gezien heeft en gooit de tijd direct naar de goede tijd.

[paulh]

Ja waardeloos is dat .... ik moet bij een crash ook altijd de drift file weggooien anders doet de NTP server ook nogs eens weken over voordat de tijd precies goed staat. Leuk is dat voor je forum als de tijd een uur voor staat. Kan je dus een uur lang je forum dicht gooien.

[Verwijderd]

hahaha gaaf die banner!! Ik klik noooooit op banners maar deze was goed!!! Wat zullen al die bedrijven balen dat ze niet achter die banner zitten

Banner staat hier

En dat Tweakers.net nog niet helemaal wakker is blijkt hier uit

[LeNNy]

idd. goeie bak, Femme

[IceStorm]

Die banner is niet van Femme maar van Sinterklaas

De bannerman van GoT (klik)

[Arno]

Dit is dus weer gelijk een mooie opsteker voor Sinterklaas, aangezien ZIJN banner is gebruikt hiervoor

[LeNNy]

idd. mooie banner van sinterklaas aar wel leuk op de frontpage gepoot. ik zal em al op het forum. erg tof.

[Beaves]

...maar omdat op dat moment niemand in staat was om de colo in Amsterdam te bezoeken...

Tegen een kleine (ahum vergoeding wil ik best midden in de nacht ff naar Amsterdam rijden hoor, echt geen probleem hoor

(O ja, en ik moet dan wel een lease auto hebben, want op de fiets naar Amsterdam duurt iets te lang ben ik bang )

(Of ik ga permanent in het serverhok slapen, ook geen probleem hoor, soort van menselijke masterswitch )

[iGadget]

Ik woon op zo'n 20 minuten rijden van TeleCity (en de servers van m'n buurman staan 2 rekken naast die van tweakers ), dus als er weer zoiets gebeurt, don't hesitate to call... ik kan er met zijn permissie altijd in (en met jullie permissie natuurlijk helemaal!)

Vergoeding? Mwah, dat tweakers weer up gaat vind ik vergoeding genoeg

[roelio]

waarom moeten jullie zelf die zekering vervangen? regelt Trueserver dat niet? Of doen die niets anders dan de ruimte en de internetverbinding?

[Kees]

het was niet alleen de zekering vervangen (vervangen als in: de zekering terugduwen) maar ook de servers controleren, die geven namelijk nogal wel eens ongewenste resultaten bij een dergelijke crash, hier heb je dan weer rootpasses nodig om in te kunnen loggen en handmatig te fschk'en.

Dat laat je niet aan een willekeurige persoon over

[Peerke]

Meestal is /fsckoptions your friend >

[]Byte[]

Euhhhh, geen EXT3
Heb het hier nu al een hele tijd draaien en moet zeggen dat ik er heeeeeel blij mee ben.
Heb in het verleden wel eens een dip gehad (van de elektriciteitsmaatschappij) en dan was ie zo'n 50 minuten bezig met 3 disken van 40GB en eentje van 8,5GB.
EXT3 erop en nooit meer problemen gehad.
Ja, 1 keer een rotte voeding en disk (Maxtor 40G) na een dip en een piek binnen 1 seconde.
Bij ons in de winkelstraat waren toen ook de nodige kassa's en pinautomaten over de zeik.
Sinddien maar een APC-tje ( ) 1400 neergezet.
Doet ie tenminste ook nog ff netjes een shutdown als er na 20 min. nog steeds geen nieuwe prik is bij stroomuitval.

[roelio]

Hey Kees! U remember me? Roelof formerly known as Roelof from Enschede City

[Verwijderd]

as je een rack huurt, doet de provider die dat rack verhuurt niet bijster veel meer dan alleen een rack leveren.... tenminste, wij zitten ook in Telecity bij IS, zij leveren alleen de kast leeg af, meer niet... heeft voor en nadelen.

Hebben ze bij Trueserver ook van die afwijkende rack maten? Wij konden al onze Compaq rackrails bijna weggooien.

[_BladE2k_]

Wij zitten ook @ IS en hebben ook een kast gehuurd, MET afwijkende formaten (Check die 2 uit stekende kasten maar, bij de airco. Die ene, praktisch alleen DELL is van ons).
Tis kwestie van afspraken maken en centen tellen

Maar goed, ik, net als kees, zou ook vanaf Enschede naar Telecity moeten gaan in een worst case scenario.

Kees, ik leef met je mee

[yeadder]

misschien ook de powerswitch redundant uit voeren

[Femme]

Binnenkort komt er een tweede Masterswitch zodat niet alle servers op één switch zijn aangesloten. Dit is ook noodzakelijk omdat er slechts 8 servers op een switch passen en binnenkort zal dat te weinig zijn .

[Verwijderd]

hoezo te weinig,
welke upgrade plannen zijn er dan???

[Femme]

Er staan nog een paar nieuwe servers in de planning, maar het regelen van de hardware duurt lang omdat de sponsoring nog niet rond is.

[mavink]

De enige manier om dit SPOF te elimineren is:

- servers met dubbele voedingen
- iedere voeding aan een aparte masterswitch.

[Verwijderd]

En zelfs met een dual-voeding (redunant) wil een server nog wel eens omzeep gaan. Ik heb het jammerlijk genoeg zelf meegemaakt bij een bedrijf. Alleen even de ups weer aansluiten. Gelukkig waren alle mensen uit de database

Maargoed, ik begin met stekkers omwisselen. Doe ik ff kijken op de monitor bij dat ding was die machine mooi begonnen met een reboot. Dus ik maar snel die andere voeding ook aan de ups geplaatst en hopen dat alles weer opstart. Gelukkig gebeurde dat ook

[Verwijderd]

Ehm we hebben het over een site als [url="http://www.tweakers.net,"]www.tweakers.net,[/url] sorry hoor, maarruh....

Dat redundant powersupply gedoe, is vrij lastig daaroh in TeleCity, je hoort dan eigenlijk elke kabel op een andere groep te zetten, en dat wordt niet overal standaard aangeboden. Je krijgt een stekker doos voor 10 aansluitingen. Wij hebben zelf Compaqs met redundant powersupply (dus drie kabels, je kunt 1 eruit trekken), tsja, zou dan eigenlijk naar drie groepen moeten, maar krijg dat maar 's voorelkaar daaroh, zonder meteen een godsvermogen neer te moeten tellen. En dan nog, heb je nodig?
Kutte is ook, hoe sluit je een server met redundant powersupply aan op een masterswitch, laat staan op twee switches? Ik moet nu uit nood maar een stekkerdoos aansluiten op die switch, lullige is nl. dat twee of meer stroom kabels geen stroom meer moeten krijgen anders reboot ie niet, daarnaast als ie opstart moet ie WEL van alle drie kabels stroom hebben anders blijft ie hangen bij de reboot, geeft ie mooie melding 'Error at power..whaawhaa', en mooi niet verder gaan...

[PowerFlower]

misschien ook de powerswitch redundant uit voeren

Je bedoelt een hotelschakeling?

[Tjjogum]

Heeft de Masterswitch zelf geen dual powersupply? Dit zou handig zijn voor dit soort ongelukjes. Of komt dit zo weinig voor dat dat een beetje overdone zou zijn?

[Korras]

tsja, maar als de zekering van die masterswitch doorslaat, schiet een dual powersupply ook niet op... zie ook hier.

[Tjjogum]

Eh nee, want in het geval van een dual power supply heeft iedere power supply z'n eigen zekering. Maar ja, als de masterswitch zelf doorbrandt, heb je nog niks. Blijft een SPOF dus. En idd kun je alles dubbel uitvoeren, maar dan moeten er behoorlijk wat € centen op tafel.

[Verwijderd]

Misschien iemand aanstellen die dicht in de buurt woont van de colo om bij calminiteiten erop af te kunnen sturen?

[Verwijderd]

Dat zal dan toch iemand moeten zijn die je bij je servers vertrouwd, en iemand die er verstand van heeft. En dat is Kees. Bovendien geloof ik niet dat een server admin het echt cool vind als anderen aan zijn servers komen.

Besides: die servers zijn heel goed remote te besturen, wat nu dus ook gebeurd, maar tegen zo iets zeldzaams kan je natuurlijk niets doen.

[Verwijderd]

ik kom regelmatig in die colo met de sleutel van de kasten. Die zijn in dat hok allemaal hetzelfde! Ook geen camera's. Dus iemand aanstellen is niet zo'n probleem hoor.... Ieder ander kan het tenslotte ook doen...

[tiguan]

Er hangen wel degelijk camera's.

[Verwijderd]

in de gangen wel, niet in de serverhokken

[Gman]

LOL
Ik had net IE6 geinstalleerd en tweakers was down...ik meteen flippe op IE6.

[Firestormer]

jha ik had net me nic uit me server getrokken en hem er hier ingepropt .. ook geen t.net
* 786562 Firestorm

[Verwijderd]

Beetje tweaker had natuurlijk ook eerst andere sites gechecked voor meteen windows of hardware de schuld te geven

[Femme]

Of je doet een traceroute naar tweakers.net waarna je kon zien dat het voorbij de router van TrueServer stil lag, terwijl de t.net switch nog wel pinbaar was .

[sjaak-trekhaak]

of tik in nslookup www.tweakers.net

[Gman]

Dit weet ik ook allemaal wel maar als eerste ging ik t.net checken

[thomaske]

Hmm, jammer van de uptimes!

[Femme]

Inderdaad . Een paar servers waren al dicht bij 50 dagen.

[Verwijderd]

Worden er wel journaling filesystems gebruikt ?

[Kees]

(en ook een reactie op ]byte[ )

Er draaien wel journaling filesystems op de meeste webservers (reiserfs) maar de database servers en een enkele webserver draait nog ext2.

waarom?
- tijdens de instalatie van de meeste servers was ik nog niet overtuigt van de stabiliteit van ext3 (een jaar geleden).
- reiserfs gebruik ik wel, maar om een draaiende productiewebserver om te zetten naar reiserfs, en dat op een afstand.. denk niet dat heel veel mensen dat doen

Dus er draaien journaling filesystems op een aantal servers, maar nog lang niet op alle.

[]Byte[]

- reiserfs gebruik ik wel, maar om een draaiende productiewebserver om te zetten naar reiserfs, en dat op een afstand.. denk niet dat heel veel mensen dat doen

Ach Kees,
Je moet wel een beetje lef hebben hoor