Athena downtime

Door een hangend MySQL process is zo'n 4 uur geleden Athena op haar muiltje gegaan. Aangezien ik toen nog aan het uitzieken was in mijn bed, zonder (werkende) telefoon of iets in die zin, heeft het nog fijn wat langer geduurd .
Ik kon zelf niets meer op de machine doen, dus hebben we Vuurwerk gebeld om die bak te resetten. Dat is tot op heden nog niet gebeurd. Het is mij inmiddels door een enorme omweg WEL gelukt die bak te resetten, vandaar dat het nu weer werkt. Nou moet alleen Vuurwerk nog even zo vriendelijk zijn die bak niet nog eens te resetten.

Totale downtime was zo'n 4 uur, iets wat duidelijk te zien is in de statistieken.

Onze excuses voor de overlast!

Reacties (82)

[Martin Sturm]

Is het niet een idee om een tweede serverbeheerder te nemen, indien de eerste serverbeheerder gecrashed is...

[Pjotrik]

Rick hij doet het weer!

Ziek nog maar lekker uit, maar hou voortaan wel een mobieltje bij je.

[RvdH]

Je zult het niet geloven, maar ik had wel degelijk een mobiel erbij liggen, die zelfs aanstond.

Alleen was ie, echt waar, gecrashed!

[Tom]

1-0 voor Rick, ik vind het een goede smoes

[Wekko]

het lijkt wel een plot! Volgens mij zit de overheid erachter! Het is wel heel toevallig dat EN je mobiel en de software het begeeft!

[secret file]
DESTROY TWEAKERS.NET

[witchdoc]

ùisschien ene domme vraag.. maar als de server hangt en je niet rechtsreeks erop kan, hoe kan je dan in hemelsnaam via via wel resetten?
(ben maar een idioot, maar wel een nieuwsgierige idioot)

[RvdH]

ssh (een soort telnet, maar dan veiliger) werkte nog gewoon, alleen kreeg ik bij elk command dat ik als root (de superuser, te vergelijken met Administrator in NT) draaide, de melding dat er niet genoeg resources beschikbaar waren. Als gewone user kreeg ik die melding niet, god knows why.

Ik heb de machine dus via een truukje als normale user kunnen resetten.

[TheEmperor]

Is dat niet erg vreemd en gevaarlijk, dat je als gewone user de server kan reseten?

[RvdH]

Voor dat truukje heb je nog wel het password van root nodig, dus gevaarlijk is het niet.

'su -' zeker?

[IWriteCode]

Ik heb de machine dus via een truukje als normale user kunnen resetten.

Hehehehe je hebt dus je eigen systeem lopen hacken of niet soms?
Lijkt me een beetje vaag dat een gewone gebruiker het systeem kan resetten

[LuCarD]

Maken jullie niet gebruik van een Server monitor??

Zoals [url=[url="http://www.watchmyserver.com]watchmyserver"]www.watchmyserver.com]watchmyserver[/url] of
[url=bb4.com/]Big Brother
Hiermee kan je lange downtijden zoals deze toch wel aardig mee voorkomen.

Watch my server is zelfs gratis, en die SMS-t je als er wat fout zit.

[RvdH]

Die proggies ken ik inderdaad, maar het helpt geen hol. Het verteld je alleen dat die server plat ligt.. tsja, daar heb ik zo'n programma niet voor nodig. Watchmyserver gebruik ik ook, maar aangezien Athena nog gewoon te pingen was gaf watchmyserver geen kik.

[LuCarD]

Big Brother gaat wat verder die controleert of de webserver reageert en wel de juiste header terug geeft.Het is niet zo moeilijk om een 404 error te genereren als de DB connectie mislukt.

Big Brother includes support for testing ftp, http, https, smtp, pop3, dns, telnet, imap, nntp, and ssh servers.Support for additional tests is easily added
bb4.com/features.html

Je kan dus ook een test maken, voor MySQL.

In elk geval keuze's genoeg. Helaas is hij niet gratis, maar misschien kan je een dealtje sluiten met Vuurwerk. Dat zij hem ook gaan gebruiken als Server monitor. of zo

ps. Beterschap, tof van je dat je toch nog zo snel reageert.

[RvdH]

Ook dan heb je er niet veel aan, want hij roept alleen maar dat het platligt. That's it. Hij reboot de server niet automatisch, hij restart MySQL niet. Dat moet je nog altijd zelf doen. En dat was het probleem hier, dat ging niet.

P.S. Tnx

Rick> restart mysql gewoon om de zoveel uur, net als apache. Dan blijft ie 'schoon', en mocht ie downgaan, dan is er altijd kans dat ie door de herstart weer gaat werken.

[Chaos]

mocht ie downgaan, dan is er altijd kans dat ie door de herstart weer gaat werken

Dat wel, maar het is ook goed mogelijk dat ie goed draait maar de herstart mislukt, dan bereik je het tegenovergestelde met deze maatregel.

[Chaos]

Als Femme nu even onder die Hej-kut... een knopje 'schop rick wakker' maakt dat linkt naar een scriptje dat naar Rick sms't, faxt, belt en emailt dat er probs zijn. Zou wel helpen toch?

[witchdoc]

maar met een gecrashte gsm ben je met zo'n sms dienst nog niet echt veel he
wat maakt die paar uurtjes nu uit? ok, 't is rot, maar niet kankeren en gewoon beetje met je duimen draaien tot't over is

[EfBe]

Ik ben blij dat er gewoon realistisch gedaan wordt over deze crash. Tenslotte horen we al meer dan genoeg indianenverhalen alsof Linux en/of Mysql DE producten zijn die nooit plat gaan.

Sterkte Rick

[Verwijderd]

Linux en Apache (over indianenverhalen gesproken ) gaan ook niet plat. Alleen MySQL weet bij stevig gebruik meestal geen uptime van >2maanden te genereren. Een van de redenen waarom ik zelf voor een site als tweakerts zou kiezen voor PostgresSQL (iets minder performance maar wel retestabiel en veel meer functionaliteit)

[EfBe]

Linux en Apache (over indianenverhalen gesproken ) gaan ook niet plat

Lees het artikel hierboven maar. De server ging echt zelf op zn knar. Jij ontkent dit dus ook weer. en DAT bedoelde ik juist. Apache gaat trouwens veel vaker down dan MySQL.

[Jasper Janssen]

En NT zeker niet?

Alles kan plat. Linux is niet bijzonder gechikt voor hoge loads als databaseservers enzo, op dit moment, maar het wordt wel steeds beter. Tegen 3.8 wordt het nog een echt OS

Persoonlijk denk ik bij _echte_ DB servers ook niet meer aan x86 crap, maar goed, t.net heeft nou ook weer niet _zo_'n ruim budget.

[Femme]

De t.net database heeft ook nou ook weer niet _zo'n_ hoge load .

[Jasper Janssen]

Nee, echt?

Goh, en ik maar denken dat al die nieuwsartikelen vast wel tegen de terabytes zouden lopen inmiddels met een paar honderdduizend transakties per seconde

[zeroxcool]

daarom gebruiken ze ook FreeBSD

[ACM]

Vergeet niet te vermelden dat postgresql maximaal maar 8KB (of na recompile en veranderingen in source 32KB) grote velden accepteert.
Das wel wat lullig als je net een heel verhaal van 8000 chars hebt getikt (faq's bv, of hele lange nieuws-posts) en vervolgens wordt er maar 1000/4000 chars opgeslagen...

En ik weet dat er wel "work arounds" zijn... maar dan verlies je nog meer performance.

[Verwijderd]

Klopt, dat is inderdaad een van de weinige serieuze drawbacks van postgresSQL.
Die zal in de volgende versie overigens verholpen zijn! blij blij

* 786562 Sandra

[Verwijderd]

trouwens, 8000 tekens is ongeveer 4 a4tjes, moet je wel heel erg veel zin hebben als je zo'n reactie schrijft

[Verwijderd]

Wat is er eigenlijk aan de hand met Tweakers.net de laatste weken?

Ik kan zelden meer een verbinding krijgen, doordat de server onbereikbaar is. Ik krijg het idee dat er teveel vaste verbindingen zijn van de kabelaars en flatfrees etc. waardoor simpele modemusers in de kou staan!

Kan hier eens wat aan gedaan worden? Is er misschien een tweede (schaduw) server waar ik op kan iloggen? Wat is dan hiervan de URL?

[lost95]

Volgens mij heeft het niet te maken met annaloge modems/kabelmodems. (t enige wat ik kan bedenken is dat je een 14k4 hebt en dat het heeel erg druk is, maar dat zou met 2x622 mbit (zoiets was het toch) geen probleem moeten zijn. En probeer het anders via athena.tweakers.net, (alhoewel, t schijnt dat Rick athena heeft aangestoken met een of anders virus end at ze nu allebei ziek zijn )

[RvdH]

Ik kan er zelf helaas niets aan doen, het probleem ligt bij je provider, Wish.
Zij hebben een fout in hun routeringstabellen, waardoor een traceroute in een loop raakt. TCP/IP pakketjes komen daardoor nooit op hun bestemming aan.

De enige tip die ik je kan geven is: neem een andere provider...

[winnie]

Got doetut weer nie.

[RvdH]

Doordat een boel tweakertjes nu ineens allemaal als een gek hun tweakotine-peil proberen te normaliseren, worden de servers een beetje overbelast. Het kan af en toe dus wel een beetje traag zijn, dat zwakt vanzelf wel weer af.

[HighLander]

De tweakotine waarde is gebaseerd op het aantal pageviews dat je in de afgelopen week op Tweakers.net (excl. forum) genereert.

....
of bedoel je dat door overbelasting van T.net ut forum plat gaat?

[basb]

Ehm is dat niet beetje ziekelijk eigenlijk om bewust je tweakontime zo hoog mogelijk te houden door pagina's meerde keren te bekijken??

Een extreem hoge tweakontime geeft toch de indruk dat je echt helemaaaaaal niks te doen hebt en je rot verveelt.

Voor tweakers.net is het mischien wel positief: veel pageviews

[witchdoc]

Sorryyy

edit:
humor jongens.. humor!

[KMK]

Ik vindt hetw el erg raar dat als er een process hangt dat je server dan niets meer doet.
Dan kill je togewoon de service of task en start je die task opniew.. Zo doe ik het op NT ook..
Zonder een reboot dus..

Ik vindt het erg raar Rick

[RvdH]

Zoals ik al eerder gezegd heb was dat niet meer mogelijk, doordat MySQL alle systeemresources in beslag had genomen.

[EfBe]

Bij mijn weten kun je Linux zo instellen dat hij een process wat alle resources opvreet (memory, CPU time) killed. Door MySQL zo te configgen dat bij een die van het mainprocess het weer automatisch start (net als apache zichzelf in leven houdt ) zou je dit kunnen vermijden.

Echter, wanneer dit snel gebeurt, dan heeft het OS het pas door wanneer het te laat is, en zit er niets anders op dan een reboot.

[Jasper Janssen]

Zoals ik al eerder gezegd heb was dat niet meer mogelijk, doordat MySQL alle systeemresources in beslag had genomen.

Misschien te kort door de bocht/niet van toepassing, maar `man ulimit`?

[knutsel smurf]

Wat ik me nu afvraag is er misschien een relatie tussen de nieuwe kernel update en deze downtime

Het lijkt mij toch handig om dat ff te controleren voor het geval het weer gebeurd.

Beterschap Rick

MySQL is gecrashed, en dat heeft niets met de kernel te maken.

[Jasper Janssen]

Dat is niet iets wat automatisch volgt hoor.. het is helemaal niet moeilijk om kernel bugs te introduceren die het moeilijk maken voor bepaalde progjes en niet andere.

[oh,when?]

ik citeer ff van www.fokzine.net/news.fok?id=3356 :

Arjen en Rick hebben remote van alles geprobeerd om de server op andere gedachten te brengen, maar niets hielp. Uiteindelijk heeft Vuurwerk ZELF, na telefoontjes van Daniel, Floris en Rick, de boel handmatig gereset en zijn de problemen verholpen.

wie heeft nu de server gereset? niet dat het wat uitmaakt, maar het is een detail...

[RvdH]

Ik.

Vuurwerk belde mij 5 minuten geleden op of Athena nog gereset moest worden...Maar dat hoefde dus niet meer.

[cappie]

is een hardware watchdog board niks voor jullie? alhoewel.. ssh deed 't nog.. wazige meuk..

op freshmeat stond een tooltje wat de systemload en het resources gebruik van 't app'je in te gaten houdt en in dit geval het databeest kill -hup'ed als 'ie niet meer lief doet.

mischien is dat iets?