Server- & netwerkstatusmeldingen XI

Problemen met de servers en de netwerkverbinding van Tweakers.net worden in deze .plan gemeld. De laatste informatie over de serverloads en -uptimes kun je volgen op de statistiekenpagina.

Statusmeldingen

03-08-2011 Morgenochtend rond een uur of zes willen wij ons mongodb-server-cluster upgraden en opschonen. Hierdoor kan het zijn dat je sessie kwijtraakt, of dat er wat tellertjes in je sessiecounter omlaag springen. Deze upgrade gaat ongeveer een half uur duren in totaal.

18-06-11 We gaan even bezig met een update van de jobs sectie. Dit zorgt ervoor dat het even kan zijn dat de tweakers.net/jobs even niet werkt of geen vacatures laat zien. Ook ben je eventuele gebookmarkte jobs kwijt, maar aangezien er een compleet nieuwe batch aan jobs wordt ingeladen, waren deze toch niet meer heel zinvol. Opgeslagen zoekopdrachten blijven wel bewaard, aangezien deze onafhankelijk van specifieke vacatures opgeslagen worden. Hopelijk is het zo gepiept! En klaar alweer! Enjoy.

23-02-11 En zo vonden we toch een DDoS-variant waar de RioRey-appliance ons blijkbaar niet zo goed tegen weet te beschermen. Het lijkt op een Slowloris-aanval. E.e.a. wordt uiteraard met hun support-afdeling opgenomen, maar gelukkig is dat type aanval toevallig vrij goed af te slaan door simpelweg je Apache-frontend te vervangen door bijvoorbeeld een Varnish-frontend. En laten we die nou toevallig al meer dan een jaar hebben draaien voor het snel aanleveren van semi-statische plaatjes. We hebben daarom in de loadbalancers de boel aangepast, zodat ook het verkeer voor 'tweakers.net' zelf wordt omgeleid via die Varnish-installaties, in plaats van het direct naar de Apache-servers te sturen.

7-02-11 Nouja, toen ehm.. deden we nog maar 30mbit verkeer , 20 mbit minder dan een paar secondes ervoor. Wat er aan de hand was? Geen flauw idee :P Maar bij True waren ze hard bezig werd ons verteld Anyways, we zijn weer up, alleen doet IPv6 nog wel wat stom, dus als je naar AAAA dns-records kijkt: irc.tweakers.net is dan helaas wat minder goed bereikbaar, maar ook daar wordt aan gewerkt, door onze vrienden van True.

24-01-11 En zo kom je nog eens ergens achter.. Waarachter? Nou, wat het effect is als onze mongodb-installatie faalt. Blijkbaar was onze hot-standby databaseserver ermee gestopt wat na een powercycle een brakke mongodb-installatie opleverde. Aangezien mongo het niet tof vindt als we de reparaties uitvoeren terwijl er druk contact met hem wordt gelegd, hebben we tijdelijk even het inloggen bewust stuk gemaakt. Helaas had dat als effect dat iedereen de melding 'hey, je wachtwoord is stom in combinatie met je username' (vrije vertaling, ik heb hem niet gezien ) gaf, in plaats van 'joh, tijdelijk kun je ff niet inloggen'. Nouja, weer een reden om wat creatieve nieuwe foutmeldingen in die code te verwerken  Oftewel, na een korte sessie met mongodb waarin we hem over z'n bol aaiden en zeiden dat het allemaal niet zo erg was, dat a-l-l-e-s goed zou komen, hebben we nieuwe indexen aan laten maken, en werkt alles weer  Nu nog erachter komen waarom Apollo besloot na 221 dagen ermee te stoppen, maar we gokken op een race-conditie ergens in de irq verwerking van de kernel.

27-12-10 Zoals je ondertussen wel door hebt is Tweakers.net al een paar uur minder goed bereikbaar. Momenteel worden we lastig gevallen met een DDoS-aanval, waardoor we een dikke 40-50Mbit aan troep moeten zien af te slaan, terwijl we normaal hooguit 5-10Mbit inkomend verkeer hebben. Aan de statistieken van onze RioRey te zien is zo'n 90% van dat verkeer "pollution".

De DDoS-firewall lijkt het redelijk tegen te houden, maar de site is duidelijk minder goed bereikbaar dan anders. Mocht de boel dus minder goed reageren probeer na een paar seconden even of je met een refresh de juiste pagina wel krijgt.