- 25-08 Als gevolg van problemen met de primaire NFS server, die een ketting-reactie op alle webservers veroorzaakte, is Tweakers.net gedurende een half uur niet beschikbaar geweest. Inmiddels is dit opgelost.
- 09-08 Wederom ligt er een Fok!server uit, we hopen dit in de loop van de avond te kunnen oplossen. Inmiddels is dit opgelost, tevens is Ares gereanimeerd (een stekker voor de fans was losgeschoten) zodat ook hij weer volop kan meedoen.
- 06-08 Aphrodite (de server van onder andere het Fok!Forum) is vanmiddag na een reboot niet weer tot leven gekomen. Marcel (van Trueserver) was toevallig in Telecity aanwezig en heeft het probleem voor ons verholpen, hartelijk dank Marcel
. - 06-08 De server die de statische content voor GoT en Fok leverde was aan het bokken, hierdoor vielen er regelmatig plaatjes en CSS weg waardoor beide websites erg langzaam waren. Dit probleem is nu gevonden en opgelost (er was nog een oud scriptje aanwezig dat per abuis werd aangeroepen).
- 4-08 Vanavond is de main fileserver (Atlas) eruit gevlogen, de webservers halen hun files nu van de backup webserver af, maar er ontbreekt dus nu niet alleen een fileserver, ook een webserver die toch een fors gedeelte van de requests voor zijn rekening nam heeft er de brui aan gegeven. Op dit moment zullen helaas de pagina's trager dan normaal op je beeldscherm verschijnen.
Om de gebruikelijke vragen maar voor te zijn: Ja er is een failover mechanisme dat automagisch in werking treed bij dit soort gevallen, en Ja dat mechanisme heeft ook gewerkt, alleen duurt het tot 30 seconden voordat er van fileserver veranderd wordt. De loadbalancer doet ook nu weer uitstekend werk, zonder hem zou nu elke server plat zijn gegaan. - 24-07 Vanmiddag is de Boa webserver op Apollo, die onder andere de statische plaatjes en javascripts van het forum serveert, kortstondig down geweest. Het forum was daardoor moeilijk toegankelijk voor browsers die de onbereikbare afbeeldingen en javascripts niet lokaal of in een proxy hadden gecached.
- 21-06 Om voor de geplande test met de door Parse ontwikkelde nieuwe forumsoftware wat meer serverpower te hebben zijn de twee extra servers die vorige week geplaatst zijn gisteren voorzien van AMD Athlon XP 2100+ processors. Nadat Blub en Flep (nee, dat hebben wij niet verzonnen ) hun taken als testserver vervuld hebben zullen ze als webserver in het serverpark worden opgenomen. De facultatieve upgrade van Artemis naar dual Athlon MP 2000+ heeft geen doorgang gevonden vanwege het feit dat de huidige indeling van het cabinet een snelle upgrade onmogelijk maakt.
Deze upgrade zal nu plaatsvinden op het moment dat er toch downtime noodzakelijk is vanwege de verhuizing naar een dieper cabinet (90 cm ipv 80) en de plaatsing van twee nieuwe switches. Dit zal voor de verandering 's nachts plaatsvinden om de overlast tot een minimum te beperken. - 19-06 Naar aanleiding van eerder nieuws en de release van de exploit voor deze bug in Apache zijn vanavond (en gisteravond) alle webservers voorzien van een nieuwe Apache, PHP en ZendOpimizer instalatie. Tevens is getracht de MySQL up te graden naar 3.23.51 maar deze bleek dermate instabiel te zijn. Hierom blijft 2.23.49a op de servers draaien, deze versie draaide al meer dan 3 maanden uiterst stabiel op de servers. Dit geheel bracht een downtime met zich mee van een aantal minuten.
- 07-06 10:20: De Dane-Elec artikel is op Slashdot.org. Uit voorzorg is een extra webserver toegevoegd aan de DNS van www.tweakers.net. Tweakers.net wordt nu geserveerd door drie webservers, een Tbird 1333, Tbird 1200 en een dual PIII-1000. We verwachten niet dat de extra traffic van Slashdot een negatieve invloed zal hebben op de performance van de site.
- 18-05 1:37: Op dit moment vindt er onderhoud plaats aan de reactietabel waardoor het niet mogelijk is om reacties te plaatsen of te lezen. Het onderhoud is noodzakelijk in verband met wijzigingen aan de tabel en toekomstige wijzigingen in de scripts die de performance zullen verbeteren. Om 1:48 waren de reacties weer zichtbaar.
- 16-05 22:00: Vanwege een paar corrupte tables is GoT platgegaan. Dankzij snel ingrijpen van Kees heeft het slechts een minuut of twintig geduurd.
- 06-05 21:00: Als gevolg van de tragische aanslag op Fortuyn ondervindt Achelois, de GoT webserver, op dit moment een buitengewoon hoge traffic van 20 pageviews per seconde. De (Het was ook de masterswitch die er uit was, maar hij stootte er per ongeluk ook de uplink naar de 2e switch uit.)
- 03-05 17:15: Aphrodite is inmiddels tot leven gewekt, waardoor het hele serverpark weer normaal operationeel is.
- 03-05 15:15: Vanwege een stroomstoring in de Telecity-serverruimte waar de Tweakers.net-servers gehuisvest zijn is er tussen 13:00 en 13:30 vanmiddag een klein half uur downtime geweest. Op één server na (Aphrodite) draait alles nu weer zoals het hoort. Omdat Aphrodite nog plat ligt is het Fok!Forum helaas nog onbruikbaar. We proberen dit uiteraard zo snel mogelijk op te lossen.
- 02-05 18:05: Gathering of Tweakers is op dit moment niet beschikbaar door problemen met de InnoDB database-software. Na het verwijderen van een ongebruikte tabel werd het ineens onmogelijk om nog stabiel te draaien. Het probleem wordt op dit moment onderzocht, mogelijk zijn enkele bestanden corrupt geraakt. 18:12: De database lijkt weer stabiel te zijn, voor de zekerheid worden de tabellen nog gecontroleerd voor het forum weer in de lucht gaat. 18:52: Inmiddels is GoT weer operationeel.
- 27-04 14:15: Door een probleem met de adserver software was er vanmorgen sprake van zeer hoge load op Iris, Achelois en Atlas. Daardoor waren geen banners te zien en werden de pagina's traag geserveerd.
- 05-04 Vanmiddag rond 15:00 uur wordt er weer onderhoud aan de servers en de switches gepleegd. Onder andere wordt de van TrueServer geleende 3Com switch weer vervangen door een eigen exemplaar. Tevens zal er een korte routinecheck worden uitgevoerd. De verwachte duur van dit onderhoud is één uur, en het kan dus zijn Tweakers.net en GoT vandaag tussen 15:00 en 16:00 af en toe onbereikbaar zijn.
21-03 15:45: TrueServer heeft een nieuwe Extreme Networks Alpine 3804 core-switch op TeleCity 2 geplaatst, die de huidige Summit4 zal vervangen. De Alpine heeft een vier keer zo snelle backplane van 32Gbps. Morgenvroeg om 9:30 zullen de verbindingen van de Summit4 overgezet worden op de Alpine.- 20-03 22:25: Zojuist werden we door TrueServer geïnformeerd dat de AMS-IX sinds 19:00 problemen heeft met packetloss naar een aantal peering partners op de verbinding tussen SARA en NikHef. Men probeert dit op te lossen door het verkeer te spreiden over de verbindingen. Het is onduidelijk of er providers zijn voor wie dit probleem relevant is voor de bereikbaarheid van Tweakers.net.
- 18-03 20:30: Er waren wat performance problemen met Apache op Atlas als gevolg van access logging. Hierdoor werden de t.net pagina's die vanaf deze server werden opgeroepen erg traag geserveerd. Het probleem is opgelost.
16-03 Om 22:05 is onze switch vervangen door Marcel. Hij heeft om half tien de auto richting de serverruimte gepakt en heeft de oude (micronet) switch vervangen door een (tijdelijke) 24-poorts 3com. De problemen lijken nu opgelost te zijn. Onze grote dank gaat uit naar Marcel die dit op dit nachtelijke uur voor ons heeft willen doen, bedankt!- 16-03 Al een tijdje is Tweakers.net slecht bereikbaar, er is veel packetloss en mensen krijgen timeouts voor hun neus in plaats van webpagina's. De oorzaak ligt bij de uploadport op de switch, deze geeft erg veel fouten waardoor er packetloss ontstaat. Op het moment is het niet op afstand te repareren aangezien de interface op de switch niet tot erg slecht reageert. Komende maandag zal TrueServer de switch handmatig in de serverruimte resetten. Mocht deze maatregel niet genoeg zijn, dan zal er een managable 3com switch in het rack gehangen worden als vervanging van de huidige switch.
- 12-03 15:45 tot 16:20: Artemis werd aangetroffen onder een zeer hoge load als gevolg van de ksoftirqd processen die alle CPU tijd opeisden. Na een afkoelperiode van ongeveer 5 minuten lukte het uiteindelijk om Artemis weer online te krijgen. Momenteel wordt de oorzaak van het probleem onderzocht. De temperatuur sensors melden een zeer hoge temperatuur van meer dan 60 graden Celsius. Ook lijkt de NMB voeding af en toe een steekje te laten vallen. Veel meer informatie is nog niet beschikbaar omdat Tyan haar moederbord van een niet al te bugvrije i2c chip heeft voorzien.
- 03-05 17:15: Aphrodite is inmiddels tot leven gewekt, waardoor het hele serverpark weer normaal operationeel is.
.De huidige serverloads, uptimes en MySQL statussen kun je volgen op de Delen
