Zoals je waarschijnlijk hebt gemerkt, heeft Tweakers.net de laatste weken met nogal wat server problemen te kampen. De oorzaak van deze probs ligt bij overbelasting van de database server en in mindere mate overbelasting van de webservers. Deze zijn op hun beurt het gevolg van de stijgende bezoekersaantallen en de toegenomen complexiteit van de website. Grapjes zoals de uploadbare user icons op het forum en de groeiende omvang van de database maken deze server hobby steeds serieuzer.
De specifieke oorzaak van de database problemen is op het forum al een aantal keren uitgelegd. In het kort komt het erop neer dat MySQL onder FreeBSD 4 niet effectief gebruik kan maken van de twee CPU's in de database server. Beide processors worden wel gebruikt, maar niet tegelijkertijd. Tot voor kort was dit geen groot probleem omdat de maximale load vrijwel nooit werd bereikt, maar sinds enkele weken zat Artemis regelmatig boven de 85%. MySQL draait in principe erg snel en stabiel zolang de performance van de hardware voldoende is. Zodra de CPU belasting tegen z'n max komt, kun je echter reken op een hoop ellende en dat is wat wij hier de laatste weken hebben meegemaakt.
Zeker de laatste paar dagen ontvangen we veel klachten over met name het forum. Vooral in de piekuren trekt de hardware het maar net, wat nogal wat timeouts, document contains no data en andere meldingen geeft. Deze situatie zal tot onze spijt nog tot volgende week aanhouden. Pas dan verwachten we alle nieuwe serverhardware (zie hieronder) bij elkaar en installatieklaar te hebben. Tweakers.net beschikt helaas niet over de financiële mogelijkheden voor bliksemsnelle (en dus ook kostbare) software- en hardware upgrades. Roeien met de riemen die we hebben, zogezegd.
Onder Linux kan MySQL wel onzinloos van beide processors gebruik maken, alleen werkt de door ons gebruikte Adaptec 3200S RAID controller - ondanks de vermelding van (Red Hat) Linux support op de Adaptec site - niet onder Linux. Hierdoor was het niet mogelijk om Linux op de database server te gebruiken.
Als tijdelijk oplossing voor dit probleem draaien er sinds vorige week twee MySQL daemons op de database server. Met behulp van external file locking maken deze twee mysqld's gebruik van dezelfde data. Dit trucje heeft de load problemen weliswaar vrijwel geheel opgelost, maar heeft tevens nieuwe problemen geïntroduceerd die tot gevolg hebben dat MySQL zichzelf regelmatig ophangt.
Achter de schermen zijn we al enkele weken bezig om een structurele oplossing te regelen voor deze onprettige situatie. Zowel aan de kant van de database server als webservers wordt de capaciteit op korte termijn flink uitgebreid. Het MySQL SMP probleem zal gefixt worden door Artemis om te switchen naar Linux. Om dit mogelijk te maken wordt de Adaptec RAID controller vervangen door een AMI MegaRAID Elite 1500. Deze full-length dual Channel Ultra160 SCSI controller heeft een 100MHz i960RN I/O processor, 64-bit PCI support en 32MB ECC cache. American Megatrends heeft al jaren Linux support en heeft daardoor meer ervaring op dit gebied dan Adaptec, dat voor de overname van DPT zelfs helemaal geen RAID controllers met Linux support in het assortiment had.
 |
De downtime als gevolg van de Linux upgrade zal meteen worden aangegrepen om de twee PIII-733's te vervangen door 1GHz exemplaren. Dit geeft ons wat extra ruimte voor de toekomst en biedt meer overhead bij de sporadische load pieken die MySQL onstabiel maken.
 |
De performance van het webserver cluster wordt meer dan verdubbeld door de plaatsing van twee nieuwe servers. De nieuwe machientjes hebben een 1 en 1,2GHz Tbird met 512MB RAM en een 2U rack als behuizing. Tevens wordt de Athlon Classic 800 in Athena vervangen door een 1GHz Thunderbird. Athena gaat MySQL replication draaien als dat betrouwbaar blijkt te werken.
 |
Server specs
De configuratie van de servers zal er na de komende upgrade als volgt uit zien:
|
Binnen twee weken verwachten we de nieuwe server hardware te kunnen plaatsen in de server ruimte van Vuurwerk Internet. De upgrade van de database server zal een onvermijdelijke downtime met zich meebrengen. Tezijnertijd volgen hierover meer details.
- Femme & Rick
Leveranciers & sponsors
De AMI RAID controller werd geleverd door SWW Computer, de 2U kastjes werden via Silverpoint.nl aangeschaft, MSI Computer stelde ons de Socket A mobo's ter beschikking en AMD was bereid om de processors voor de webservers te sponsoren. Ook konden we weer rekenen op de hulp van onze server sponsor CompTech World. De moederplank die sinds december in de database server wordt gebruikt, is ter beschikking gesteld door SuperMicro BV. Verder zijn we Vuurwerk Internet natuurlijk erg dankbaar voor het ter beschikking stellen van bandbreedte en rackspace.
Pics server upgrade 8 december
Voor de geïnteresseerden heb ik hieronder de foto's gepost die jullie nog te goed hebben van de vorige server upgrade op 8 december:
                              |
Gerelateerde .plans
:strip_icc():strip_exif()/u/1850/crop668bec02ef9dd.jpg?f=community){kind=small}
/u/1/femme.png?f=community){kind=small}
/u/1830/acm.png?f=community){kind=small}
:strip_exif()/u/10073/compu.gif?f=community){kind=small}
:strip_icc():strip_exif()/u/484/crop651fd77412597_cropped.jpg?f=community){kind=small}
/u/15619/22795337_HamsterCarrot.png?f=community){kind=small}
:strip_icc():strip_exif()/u/21/crop659694649f051_cropped.jpg?f=community){kind=small}
:strip_icc():strip_exif()/u/6511/icoon%2520t.net.jpg?f=community){kind=small}
/u/8/oog3.png?f=community){kind=small}
:strip_exif()/u/584/8.gif?f=community){kind=small}
:strip_exif()/u/111/360CS.gif?f=community){kind=small}
