Tweakers.net 10 jaar: De hostinggeschiedenis 1998 - 2001

Artemis bracht een versterking die meteen effect had. Tweakers.net liep in de maand december vrijwel perfect. Eind januari ontstonden er voor het eerst opnieuw problemen, toen de site naar aanleiding van de Itanium preview van Wouter werd geSlashdot. Het 'Slashdot-effect' is het fenomeen dat zich voordoet wanneer een site wordt gelinkt vanuit een artikel op de frontpage van Slashdot.org en daardoor in korte tijd enorme hoeveelheden traffic te verwerken krijgt. De stijging in pageviews die tijdens het begin (tevens hoogtepunt) van het Slashdot-effect wordt veroorzaakt is niet eens zo heel groot, maar wel wordt een site in korte tijd door een enorm aantal unieke bezoekers bezocht.

In het geval van Tweakers.net veroorzaakten de vreemdelingen per individu weliswaar minder pageviews dan de vaste Tweakers.net-aanhang, maar omdat elke unieke bezoeker naast de reviewpagina tevens vele afbeeldingen, javascripts en stylesheets kwam ophalen, neemt het aantal gelijktijdig draaiende Apache-childs in korte tijd enorm toe. Een Apache-child opent vaak ook een Mysql-verbinding en daardoor was er tevens sprake van een forse stijging in het aantal gelijktijdige Mysql-connecties. Het resultaat was een vloedgolf die het spreekwoordelijke emmertje deed overlopen.

Ondanks de verdubbeling van de capaciteit van de web- en database-servers ontstonden er kort na de serverupgrades van december nieuwe capaciteitsproblemen. Ons voornaamste probleem was het gebruik van Freebsd 4 op de database-server. Mysql weigerde om met Freebsd's native threads tegelijkertijd van beide processors gebruik te maken. De Mysql-daemon speelde wel haasje over maar zat nooit op de beide cpu's tegelijk. Linuxthreads als alternatief ging niet werken en zodoende liep de database feitelijk op één schamele 733MHz PIII. Freebsd 4, Mysql en SMP waren duidelijk geen ideale combinatie.

De reden waarom deze ongelukkige configuratie er was gekomen, was de Adaptec 3200S raidcontroller. Deze ging niet werken onder Linux en omdat eind november sprake was van grote tijdsdruk kon niet gewacht worden op een vervangende controller. Destijds was er vrijwel dagelijks sprake van serverproblemen en een andere raidcontroller zou op zijn vroegst pas na twee tot drie weken geleverd kunnen worden. Meer vertraging was absoluut het laatste wat we op dat moment konden gebruiken.

In de weken na de Itanium-preview begon het ontbreken van échte SMP steeds regelmatiger een beperking te vormen. Verder kreeg Aphrodite aanzienlijk meer load op haar bordje toen het forum werd uitgebreid met een functionaliteit voor uploadbare usericons. Forumgebruikers konden hiermee hun icoontjes naar de server uploaden, zodat het gebruik van eigen webspace niet langer noodzakelijk was en een beperking gesteld kon worden aan de grootte van de user icons. Een bijkomend effect was een toename in traffic en server load. Het serverpark was na twee maanden alweer aan een nieuwe uitbreiding toe.

Nieuwe raidcontroller

In de eerste plaats moest er een nieuwe raidcontroller voor Artemis uitgezocht worden, zodat de database server overgezet kon worden naar een besturingssysteem waar Mysql wel op kon multi-threaden. Linux was de voornaamste kandidaat, maar ook Solaris x86 kwam als alternatief in aanmerking. Een zoektocht op usenet wees uit dat er onder Linux-gebruikers goede ervaringen waren met de controllers van American Megatrends. Dit bedrijf is in Nederland vooral bekend van zijn bios-software, maar timmerde met zijn scsi-raidcontrollers al jaren aan de weg. Na het raadplegen van de AMI-website werd de Megaraid Elite 1500 uitverkoren als de nieuwe raidcontroller voor onze database-server. De Elite 1500 voldeed aan al onze wensen, namelijk dual channel Ultra160 SCSI, 64bit pci en flexibele driverondersteuning voor onder andere Solaris x86, Freebsd en Linux.

Artemis processorupgrade

De prijs van de 1GHz Pentium III was in februari inmiddels tot een aanvaardbaar niveau gekelderd en daarom werd besloten om de twee 733MHz PIII's bij CompTech World in te ruilen voor 1GHz-exemplaren. Met deze eenvoudige upgrade werd de maximale cpu-performance bereikt die op dat moment mogelijk was met een voor ons betaalbare configuratie.