Forum server problemen

Sinds gisteravond zijn er flinke problemen met Arshia, de webserver die onder meer het forum serveert. De load (kort gezegd de belasting van de server) loopt soms zo hoog op dat het ding crashed. Op dat moment is er niets meer mee aan te vangen en biedt alleen een harde reset een oplossing.

Als gevolg daarvan ligt het forum de laatste uren meer plat dan het up is. We proberen zo snel mogelijk een oplossing te vinden voor het probleem, maar we kunnen niet zeggen wanneer het verholpen zal zijn.

Update 18:20: Arjen (Topix devver) heeft wat aanpassingen gemaakt waardoor het forum nu veel beter lijkt te lopen. We zijn nog even voorzichtig met al te optimistische uitspraken tot we over de komende dag geen load-bursts meer zien.

Update: 3:43: Het moge duidelijk zijn dat de problemen met Arshia nog steeds niet opgelost zijn. De server zal zo snel mogelijk van een nieuwe Linux 2.4 installatie voorzien worden, waarbij meteen gekeken kan worden of er sprake is van een hardware probleem.

Reacties (83)

[RvdH]

Waarom wordt er nog niks geloadbalanced dan? Aphrodite en Odin vreten letterlijk uit hun neusjes, terwijl Athena en Arshia al het werk doen...

Dat er nog geen hardware voor is is geen excuus, softwarematig is het ook te doen (te denken aan RRDNS enzo)

[Edit: Troll? Waar? 't Is toch gewoon een vraag of niet?]

[Daniel]

Hardwareloadbalancers zijn nog in aanbouw (zoals je vast wel weet)

Waarom er geen software loadbalancing wordt gedaan moet je maar aan Kees vragen

[Femme]

Tweakers.net is geloadbalanced via DNS
Fok zou ik graag geloadbalanced willen zien maar dat vind Arjen niet nodig
Topix is niet via DNS te loadbalancen

Als de load balancers er zijn wordt daar wel een betere oplossing voor gezocht. Het vreemde is nu dat de load van het forum plotseling buitensporig hoog is. Dat heeft niets te maken met het wel of niet gebruiken van load balancing.

[RvdH]

Laatste keer dat *ik* het vroeg was Topix met een paar kleine aanpassingen prima te roundrobin-dns'en..

Dat de load van het forum ineens omhoog springt is inderdaad vreemd, maar ik heb het wel eerder gezien. Toen was het iets met tijdelijke bestanden (usericons?) die niet verwijderd werden waardoor de maxopenfiles limit bereikt werd.

Heeft inderdaad weinig te maken met loadbalancing, maar het valt gewoon op dat de ene server hardstikke druk is terwijl de rest niets doet. En dat is al zo voor een flink aantal maanden. Toch aardig zonde van de investeringen als je het niet goed gebruikt.

[Coen Rosdorff]

Er ligt idd nog flink veel ruimte voor een betere verdeling van de load.

Dat de devver van Fok het niet belangrijk vind is totaal onbelangrijk.

Het wordt tijd om de boel eens wat schaalbaarder te gaan maken. Een gedeelde document tree voor alle servers moet daar ook een onderdeel van zijn.

De enige reden waarom topix niet te balancen zou kunnen zijn zijn tmp-files, en dat lijkt me zowieso al niet al te best voor de performance.

[TheGhostInc]

Als je het niet nodig hebt is het ook niet nodig.
Het probleem ligt bij de software, niet bij de daadwerkelijk load van de users. Als je dan gaat loadbalancen, krijg je toch meer onderhoud, en dus ook meer risico op storing, dan heb je toch weer een hoop kosten en moeite gemaakt. Want uiteindelijk kost een server weinig, als je vergelijkt hoeveel tijd er in gaat zitten om het ding lekker in de lucht te houden.

[Verwijderd]

Het vreemde is nu dat de load van het forum plotseling buitensporig hoog is.

DDOS attack

[SiGNe]

Hij is er alweer mee gekapt.
Vreemd dat het steeds 's nachts gebeurt, je zou denken dat het nu wel rustig zou zijn.

[Femme]

Ik heb 'm al weer laten rebooten. Kees gaat zo snel mogelijk proberen om Linux 2.4 op dat ding te krijgen. Dat moest toch al gebeuren. Er kan dan meteen gekeken worden of er een hardware probleem is.

[Brainstorm]

Het forum is nu al een uur down, dus ik neem aan dat er momenteel Linux 2.4 geinstalleerd wordt?

[Verwijderd]

kan die het backuppen niet aan ofzo

[Verwijderd]

MRTG-grafiekje van Arshia
(Kon geen plaatje laten weergeven)
Vreemde grafiek, de piek gelijk na de harde reboot van Arshia. (Met dank aan Kees voor uitleg van MRTG )

[Verwijderd]

Wordt er een soort DOS tegenaan gegooit ofzo

[Verwijderd]

Ag ja, aangezien linux altijd zo stabiel is

^{Sorry, ff trug flaimen}

[SambalBij]

Daarom gaan ze dat er dus ook weer opzetten
(ter vervanging van freebsd)

Hij (ze?) is niet echt down... krijg 111 connection refused ipv timeouts... zeker aan het uitzoeken wat er mis is... al wat bekend??

[ZeRoC00L]

Laatste paar dagen is het forum weer erg traag, en vaak ook niet bereikbaar vooral vanaf 19.00 uur.
Zijn er al plannen voor veranderingen of status updates ?

[d-Frag]

Sterker nog, nu is de boel helemaal plat, ik begreep dat My SQL eerder op de avond al een keer gecrasht is ook.

[Femme]

Lijkt me een beetje voorbarig om te zeggen dat Red Hat beter is dan FreeBSD. FreeBSD lijkt voor ons niet helemaal te doen wat we willen, maar dat wil nog niet zeggen dat er altijd slechter is dan Linux (Red Hat nog wel). Red Hat is nou ook niet bepaald ieders favoriete Linux distro... (Appie, Athena, Artemis en Apollo draaien bdw op Slackware).

[LollieStick]

Waarom niet allemaal slackware? Dat is toch veel makkelijker? Kan me vergissen, maar het lijkt mij dat het makkelijker is als er met één besturingssysteem gewerkt wordt.

[RG]

According to Kees willen ze wel alles overzetten op Slackware met kernel 2.4. Vroeger hadden ze Slackware, FreeBSD en Debian door elkaar en das lastig natuurlijk. Maar een server overzetten doe je niet zomaar, zeker niet als daar veel dingen op draaien...
Maar het OS maakt geen bal uit als het probleem is wat ik denk dat het is, namelijk een bugje in een PHP script dat in een oneindige loop vervalt en de load en CPU usage omhoog zuigt...

[0siris]

ga je mond spoelen! nu!

[Pjotrik]

Sjonge, kan ik niet eens Gotten..

Het lijkt zo aan die grafiek te zien niet een hardware probleem, dan hadden zich ook andere problemen voorgedaan denk ik.

Ik leg mijn fiches neer bij de Apache server, of de PHP parser.

[MikeN]

ik bij de kernel of mysql

[Femme]

Er draait geen MySQL op Arshia.

[MikeN]

Sorry, foutje

[besmart]

Ach. Sorry jongens. Ik zal wat minder vaak de forums checken. Zal het allemaal wel weer rustiger worden. Het zal wel komen omdat de scholen weer begonnen zijn. Iedereen weer lekker gratis op school internetten en lekker veel in de forums van tweakers zitten te struinen.

[MikeN]

Totdat die $%#$"% mislukte systeembeheerder weer achter me staat en op m'n schouder tikt. Dan kan ik weer 2 maanden het schoolnetwerk niet op......

[zork]

Bij ons in de 'Mediatheek' is dat een indiaan

[neh]

daar ben je mooi klaar mee dan, die schijnen vaak ook nog paranormaal begaafd te zijn ook

[Help!!!!]

Bij mij ligt tie er er anders nu (21:00uur) weer uit. Lijkt erop dat de oplossing van vanavond 18u20 nog niet perfect is.

Misschien moeten jullie ns die pc van dichtbij gaan bekijken. misschien is er toch een stuk hardware kaduuk ofzo. Succes


edit: nu 21:06 doet tie ut weer.

[leon1e]

hij is weer down