Server & netwerk statusmeldingen

Problemen met de servers en de netwerkverbinding van Tweakers.net worden in deze .plan gemeld. De laatste informatie over de serverloads en -uptimes kun je volgen op de

19-06-03 Sinds er tijdens de laatste serverupgrade 1GB geheugen uit Arethusa is getrokken, is deze machine - die onder andere IRC en mail verzorgt - niet meer stabiel. Ondanks diverse pogingen om het euvel te verhelpen is nog niet duidelijk geworden wat precies de oorzaak is. Uiteraard zal wel gepoogd worden om in ieder geval de mail zo snel mogelijk weer stabiel te krijgen, niet in de laatste plaats omdat dat een dienst voor abonnees is.

Update: Vanmiddag zal Trueserver rond 15:00 weer wat geheugen in de doos zetten. We hopen dat daarmee de problemen verholpen zullen worden.

17-06-03 De TrueServer-webcam die vanmiddag zou tonen hoe enkele Tweakers.net medewerkers een loodzware Compaq-server in een 19" rack zouden tillen, is onder de grote belangstelling van meeglurende tweakers bezweken. Bij de laatst geziene beelden was de potentiële energie van de server nog niet in waarde toegenomen, met andere woorden het apparaat stond nog aan de grond. Door deze onvoorziene omstandigheden moeten wij u de uitslag van de Nederlandse kampioenschappen racktillen helaas verschuldigd blijven.

29-05-03 Wederom is de database server voor het forum uitgevallen. We pogen hem te reanimeren, maar dit kan enige tijd in beslag nemen. We hopen het forum toch zo snel mogelijk weer online te hebben. De oorzaak is op dit moment (nog) onbekend.

De database server is weer online en het forum is weer up.

23-03-03 Vannacht is forum-database-server Apollo uitgevallen tijdens het maken van een backup. Vanochtend is de server weer online gebracht en na het handmatig maken van een backup werd het forum weer aangezwengeld voor bezoekers.

19-02-03 Vanwege een softwareupgrade van de loadbalancers zullen Tweakers.net en GoT ongeveer 10 minuten offline zijn.

01-02-03 Vanwege problemen met de software van het forum, is het forum tijdelijk offline.

30-01-03 Vanwege een DDoS-aanval is Tweakers.net gisteravond rond de klok van acht offline gegaan. Vanmorgen zijn de servers iets na 10:00 weer in de lucht gebracht.

21-01 Wegens onderhoudswerkzaamheden zal Arethusa vanavond (rond 18:00) enige tijd offline zijn. Hierdoor werken de (web)mail, IRC en de Omega search tijdelijk niet. Het onderhoud zal ongeveer 5 minuten downtime met zich meebrengen.

20-01 Vandaag zijn er wederom problemen geweest met de AMS-iX, dit keer omdat er een kabelbreuk is ontstaan in de verbinding tussen GlobalSwitch en TeleCity-2. Er is een tijdje geprobeerd deze verbinding up te brengen, maar zojuist is bekend geworden dat het een kabelbreuk betrof. De technicians van de Amsterdam Internet Exchange hebben nu een verbinding opgezet vanaf Nikhef naar TeleCity-2, zodat er weer verkeer over de AMS-iX kan gaan. De reparatie van de kabelbreuk zal minimaal nog tot 21.15 op zich laten wachten wordt verwacht.

UPDATE [SB 2002-01-20 17:06]
EuroFiber have confirmed a cable break, causing the loss of
connectivity between GlobalSwitch and TeleCity. They have
located the break and have begun repairs. TTF is about two
hours.

Waarna de volgende melding werd gemaakt:

UPDATE [SB 2002-01-20 17:23]
The diagonal link NIKHEF/TeleCity is up and running, and carrying
VLAN 1 traffic.
Connectivity has been restored.

19-01 Een nieuw all-time uptime record voor Tweakers.net: Artemis en Alicia zijn beide over de 135 dagen gegaan! Appie en Achelois volgen op enige afstand met respectievelijk 119 en 106 dagen.

07-01 Door problemen op de Amsterdam Internet Exchange is Tweakers.net momenteel vanuit veel Nederlandse providers tegen lagere snelheid toegankelijk dan je van ons gewend mag zijn. Dit probleem doet zich ook voor bij andere sites waarvan het verkeer via de AMS-IX wordt gerouteerd. De AMS-IX engineers verwachten het probleem op korte termijn op te lossen:

As some of you already noticed, there are some problems on the ams-ix platform. The connection between their switches at sciencepark (sara and nikhef) is 'flapping' (going up and down), causing some rerouting and packetloss. We're monitoring this issue very closely. The Ams-IX engineers expect it to be solved soon.

Om 16.47 uur hebben de engineers alles weer in orde gemaakt, zodat alles weer op volle snelheid benut kan worden:

The AMS-IX troubles which started this morning have been solved by the AMS-IX noc. The platform seems stable again and we have reactivated the peerings on the sites Nikhef and Sara (2 AMS-IX PoP which experienced the most trouble). The 10G link between Nikhef and Sara is also stable again.

13-12 Helaas is Arethusa wederom gecrasht. Waarschijnlijk is de 60GB Samsung schijf rot. Bij eerdere checkups werden echter geen SMART foutmeldingen geconstateerd.

13-12 De webmail is ook weer online, deze is voor de betalende gebruikers te vinden op webmail.mytweakers.net. Verder wordt deze nacht de hele GoT database gedumpt en opnieuw geinsert, dit vanwege fragmentatie in de database bestanden. Dit kan enkele uren duren (en ja, we zijn ons ervan bewust dat het vrijdag de 13e is ).

De forumdatabase op Apollo draait weer. Het exporteren en importeren van de databases duurde langer dan verwacht, voornamelijk door de grote hoeveelheid data van bijna 9 miljoen berichten. Tegelijkertijd is de MySQL-versie geupgrade naar 3.23.54 zodat deze opschoonactie in de toekomst hopelijk niet meer nodig zal zijn.

Dat deze opschoonactie nodig was bleek uit het feit dat nadat alles opnieuw geïmporteerd was, ruim de helft meer ruimte overbleef. Voor de opschoonactie was er 44.000 MB aan datafiles in gebruik, nu slechts 19.648.512 KB, hierdoor hoeft GoT in de nabije toekomst niet nog eens down om ruimte aan InnoDB toe te voegen en is er 25.407.488 KB ruimte teruggewonnen.

12-12 De IRCd, POP3 / IMAP mailserver (incl. spamfilter en virusscanner), DNS en de Omega search zijn weer operationeel op Arethusa. De webmail volgt hopelijk later vandaag.

10-12 De rootdisk van Arethusa bleek niet meer te willen booten. De harde schijven van Arethusa zijn overgeplaatst naar een nieuwe server (Athlon XP 1800+, 1.5GB) die voor de zekerheid was meegenomen. Door de slechte toestand van de harde schijf moet Arethusa opnieuw geconfigureerd worden.

10-12 Omdat Arethusa al enige dagen om onduidelijke redenen ernstig instabiel is zal webserver Adonis vandaag omgebouwd worden om haar te gaan vervangen. Tot die tijd zijn de IRC-server en de mailserver niet in het land der levenden.

07-12 Wederom heeft Arethusa er vanmorgen de brui aan gegeven. Mail en IRCd zijn hierdoor niet functioneel. Floris is nu onderweg naar TeleCity-2 om de server te resetten. De server is inmiddels weer bereikbaar.

05-12 Arethusa is vanochtend wegens nog onbekende redenen neer gegaan. Hierdoor was de mailserver en IRCd niet bereikbaar. De problemen zijn in het begin van de middag opgelost.

Serverstatus

Reacties (150)

5 van de 15 servers offline / instabiel... Ligt dat niet ergens anders aan dan aan de hardware zelf? Misschien een instabiele netspanning ofzo? 33% is wel erg veel

Er zijn wat stabiliteitsproblemen ontstaan sinds de laatste mega-upgrade toen een aantal MSI KT133A moederborden zijn vervangen door KT266A borden van een andere fabrikant. Ook zijn de dual Athlon borden van deze andere fabrikant erg instabiel gebleken. Voor die mega-upgrade hadden we zelden last van stabiliteitsproblemen.

Atlas had een probleem met de SCSI controller. Helaas duurt het nogal lang voordat we vervangende hardware terug hebben. Styx kreeg het te heet in z'n 1U behuizing. Heel erg is dat niet omdat we Styx (slechts Celeron 1200) toch niet meer nodig hebben.

Waarom wil je niet zeggen welke fabrikant? Ik denk dat de tweakertjes dat wel graag willen weten...

als je een beetje terugzoekt op tweakers vind je gerust wat de fabrikant in kwestie is.

De reden ligt hoogstwaarschijnlijk in het feit dat de meeste hardware van het serverpark van tweakers gesponsord is. Het staat niet echt netjes om mensen (van wie je hardware cadeau hebt gekregen) achteraf de duivel aan te doen met negatieve reclame (onstabiel bord). Ligt een beetje voor de hand denk ik. PR

Kijk idd onderaan de pagina en je zal gelijk zien welk merk mobo het is, wat RIP-arco ook al zei: "It's all about the PR".

((hint: 1,2,3-trichloor-4-broom-6-epoxy-octaan))

Gaat Styx geveild worden onder de tweakers?

Wanneer verwachten jullie de mailserver weer online te hebben, ik heb namelijk net mijn nieuwe GoT wachtwoord naar mn t.net mail laten sturen

Hehe eindelijk is het dan zover kees die ons uit de spanning helpt. Echt balen dat die webcam niet beschikbaar was want ik had het graag willen volgen Maar ik kan niet wachten tot de uitslag racksjouwen bekend is

Ben ik gek of staat Abaris in zijn eentje heel GoT te serveren (waardoor het een beetje traag is)?

Steeds als ik de onderste regel highlight, staat er dit:

Total: 0,755 | Incl: 0,002, Init: 0,713, Action: 0,244 | DB: 0,719, Tpl: 0,007 | SV: abaris.webmagix.net

* 786562 Rafe

0,775 sec om een serverpagina te serveren is niets. Dus langzaam, nee! Daarnaast kun je hier zien dat deze jongen het niet echt zwaar heeft hoor.

Overigens kun je hier zien dat deze servers volgens Femme verantwoordelijk zijn voor GoT:
Iris, Achelois, Adonis, Abaris, Acidalia, Apollo(als Database)

Dat is zo zwaar aan verandering onderhevig, dat bijna niemand meer weet wie wat doet hoor

Op het moment dat rave schreef, trok abaris inderdaad in zijn eentje de gehele load van got met gemak, de hoge parsetijden kwamen van de database zoals je ziet. Er was namelijk een klein bugje in de scripts waardoor de database haywire ging. Dit is al opgelost, en dus zie je een stuk snellere parsetijden

Op dit moment wordt GoT geserveerd door Apollo (database) Abaris, Acidalia en Argus (web). Dat de grafieken het 'fout' zien ligt met name aan hoe het geheel gelogt wordt op dit moment (niet representatief dus )

je bent niet gek, abaris deed het idd in zijn eentje, overigens trekt hij dat makkelijk

(ach ja, een Dual Xeon 2.4 GHz kan nogal wat requests verwerken, en weet je wat? door dit onderhoud hebben we nu 4 van die bakken)

Zijn er nou al meer details over de DDoS aanval?

Hoeveel Mbit?
Welke servers precies?
Misschien al door welke persoon/groepering?
Wat voor handelingen zijn genomen?

"Nog even om de mensen op te fleuren :+"

In de nacht van Woensdag op Donderdag 30 Januari kwamen er een hele hoop verbleekte mensen op straat, deze mensen bleven "Tweakers.net" roepen en zeiden allemaal "We pakken ze wel terug!", ze bleven allemaal rondjes lopen en hadden contact met elkaar via mobiele telefoons met bluetooth/gprs verbinding, er waren ook enkele zogenaamde 'Tweakers' met allemaal rare extra dingen, zoals iemand die met een watergekoeld horloge rondliep bij temperaturen van -5 graden. Ook de Ambulancedienst had het druk, dit kwam omdat er vele zogenaamde 'Tweakers' schade hebben opgelopen door de frisse lucht, en de regen waardoor er velen onherstelbaar zijn getraumatiseerd.

Volgens de statistieken van Trueserver (kennelijk offline gehaald op dit moment) was er gisteravond rond 8 a 9 uur 600 mbit/s meer inkomend verkeer dan 'normaal'.

Veel van dat verkeer kwam via providers als Level 3, Sprint en Lambdanet. Grote kans dat dat verkeer uit de VS of in ieder geval buitenland kwam..

Gefrustreerde anandtech mannetjes die het niet kunnen hebben dat wij sneller grazen?

We geven er niet meer aandacht aan dan strikt noodzakelijk is.

Doen jullie er ook meer aan dan alleen een nullroute (of fysiek kabeltje unpluggen) en wachten tot het over is?

(aangifte telt niet, dat is zinloos)

Dat aangifte niet telt omdat het zinloos is vind ik een beetje kort door de bocht.

Als er nooit iemand aangifte doet dan zal de overheid/politie/justitie ook niet in de gaten hebben dat dit soort zaken plaats vinden, of in ieder geval niet op de plekken waar ze capaciteit vrij kunnen maken voor onderzoek naar dit soort acties.

Misschien dat je niet meteen resultaat hebt in de zin dat er een team van tig politieagenten op gezet wordt, maar nee heb je, ja kun je krijgen.

Er is een KLPD-team voor oa dit soort dingen, het is dus wel een bekend probleem bij Justitie.

Jammergenoeg is het nauwelijks te bewijzen dat een bepaald persoon een aanval heeft uitgevoerd. Ookal heb je bewezen dat de aanval gestart is door iemand met een bepaald ip-adres, dan nog weet je niet 100% zeker dat het bijv. de eigenaar van dat ip-adres is. En als je dat al weet, wat als er 4 mensen in het huis wonen die het alle 4 gedaan zouden kunnen hebben?

Inzoverre dus zinloos: je voorkomt er een volgende attack niet mee en het kost je tijd/moeite die je wellicht beter in andere dingen kunt steken.

Je doelt op de groep digitaal rechercheren van het KLPD neem ik aan. De mensen daar kunnen zonder aangifte weinig doen, de politie kan niet in het wilde weg onderzoeken beginnen, daarvoor zijn er veel te veel priotiteiten.

Waar ik op doel met in de gaten hebben is dat beleidsmedewerkers, chefs en alles wat een beetje hoger in de organisatie met management informatie werkt. En die informatie wordt bepaald op basis van aantal aangiften.

De analogie naar fietsendiefstal gaat wel een beetje op. Als mensen het idee hebben dat aangifte zinloos is zal volgens de statistieken van de politie het aantal fietsendiefstallen teruglopen. Dat is natuurlijk niet zo, maar ze kunnen nou eenmaal niet (eenvoudig) becijferen hoeveel fietsen er gestolen zijn waarvan geen aangiften gedaan zijn.

Dat je er een volgende attack niet mee voorkomt hoeft ook niet zo te zijn. Ik meen me een zekere Mike uit de flevopolder te herinneren die zeer waarschijnlijk wel 2x nadenkt voordat ie weer ongein met PC's uithaalt (ik doel op de maxima chat). Hem oppakken is ook alleen maar mogelijk geweest omdat mensen aangifte gedaan hebben..

Dat die ene flevopoldenaar (en een zooi anderen) opgepakt is heeft ook wel een paar jaar geduurd. Het Maxima-gedoe was een leuke toevalligheid waardoor het wat meer exposure heeft gehad, maar het hele gedoe was veel omvangrijker dan alleen die chatsessie. Alleen maar omdat er tientallen mensen een aantal jaar last van die lui hebben gehad -en- ze ook nog eens vrij dom bezig waren (IRL bedreigingen, vechtpartijtjes) heeft het zover kunnen komen..

Maargoed, die arrestaties waren in april 2002, we zijn nu 9 maand verder, maar er is nog geen zaak geweest hoor. Bewijs is gewoon erg moeilijk voor elkaar te krijgen. En -als- je dan bewijzen hebt, hoeveel uur taakstraf krijgen ze dan? Vandaar zinloos.

Toegegeven, 'zinloos' is misschien een beetje te negatief. 'Nagenoeg zinloos' dan maar.

Wat moet je eraan doen dan? Terug DoSsen ofzo?

Gewoon, abuse-mails sturen. Desnoods admins opbellen tijdens de DDoS zelf. Bij een ddos van 500mbit zijn vrij veel hosts betrokken, dus laat je dat door een paar honderd tweakers doen

het enige wat je kan doen is hiermee de isp's bellen van de besmette pc's... dus de windows bakjes van ome jan die vol zit met trojans.. je kan bijna nooit de dader te pakken krijgen

Maar het staat wel levensgroot op Fok!

zeer vervelend zon'n DDOS. een goede oplosssing zou een P2P webserver zijn.....maar dat is zeeeer lastig te maken.

p2p website is een goed idee, alleen hoe weetje
zeker dat mensen die pakketjes dan weer niet
gaan verminken?. Erg lastig vooral met een grote
database er achter.

doe mij ff zo'n watergekoeld horloge... cooley.

Welke server is momenteel de file server dan? En de backup file server?

Nog steeds die netapp van Treuserver?

Elke http-server is een fileserver, want elk uur worden alle files gesynced zodat je niet afhankelijk bent van een enkele server die dan de snelheid naar beneden haalt. Nu wordt je via de loadbalancer naar de server gestuurd die het minste te doen heeft en daar haal je dan ook de files vanaf . Dit is alleen een beetje onhandig als er bijvoorbeeld nieuwe css-files voor de Frontpage geupload zijn, want pas na een uur staat deze op alle http-servers .

De Netapp wordt nog wel gebruikt voor de files die webbased worden geupload of door de servers worden voorgebakken, zoals de usericons, gallery foto's en statsgrafieken. De Netapp moet uiteindelijk vervangen worden door een eigen fileserver als daarvoor de hardware bij elkaar is.

Ik heb jullie gemist

Verder problemen gehad met loadbalancer(s)?

Het duurde zo lang

ben ik ook wel benieuwd naar, naar mijn id duurde het namelijk langer dan de (geplande) 10 min voordat de hele site weer in de lucht was.

Idd. Check http://gathering.tweakers.net/forum/list_messages/713474.

Door Kees (Serveradmin / BOFH) - Thursday 20 February 2003 00:42

die niet eens gelukt is ook

Was van plan de software te upgraden naar versie 2, die veel verbeteringen schijnt te bevatten toc versie 1 die wij draaien.

Ik had helaas geen laptop tot mijn beschikking om meteen een nieuwe config op te zetten, dus ben ik weer gaan downgraden (flashkaart vervangen ) Op zich geen probleem, ik heb toch nog genoeg kunnen doen

Argh: vanwege onderhoud aan Apollo (de databaseserver) is GoT tijdelijk offline. Dit kan tot diep in de nacht duren.

Kondigen we hier niets meer aan ? Waarom staat er trouwens nogsteeds niet van de ddos hier?

staat er nu

Diep in de nacht == we weten geen tijd, maar het zal niet over een uurtje klaar zijn

Over de ddos attacks zeggen we weinig; simpel omdat er weinig over te melden valt en de internet-vandaal zal het nog leuk vinden ook.

Nou, nog minder dan 1 uur en de nacht is om.
.

Maar doe het rustig aan Kees, het is nu toch te laat om mijn afkick verschijnselen te onderdrukken.
Kan het ook niet met alcohol verbergen want ik zit op m'n werk.
Als ik nu maar geen controle krijg als ik naar huis rij.

hmmjah, de indexen aanmaken (moet nog 5) duurt erg lang op de 9M rows in de messages table.

Dat duurt ongeveer een uur per index..

Het wordt dus geen ochtend, maar middagwerk begrijp ik. Je kunt die melding van GoT maar beter even aanpassen, want lang niet iedereen die erin probeert te komen zal hier kijken.

Ben toch bang dat je uurtje wat aan het uitlopen is....

Problemen ofzo?

Nou ja, loop al sinds 3:45 op F5 aan het drukken, blijven we noh wel een tijdje doen

Djeez, ik heb echt geen leven

[edit]
Ik las "zal over een uurtje wel klaar wezen"
Maar helaas, het was "zal over een uurtje niet klaar wezen.....

Dan ga ik maar slapen

jij doet zeker mee aan dpc dolphin?

die ddos aanvallen worden genegeerd, om de zieligerds die zoiets doen zo weinig mogelijk credit te geven.

Krijg nu op het forum ineens deze schermen, gaat er iets mis?
Fatal error: This file has expired. in /mnt/web/react/got/react/board/www/forum.php on line 0
edit:
Is al weer over...

Shareware versie van React ofzo?

LOL,
90 dagen uitprobeer versie

Je bent niet de enige
Maar geduld iseen schone zaak, het zal vast wel opgelost worden

KEEESSS

Softwareonderhoudsmantenancebericht

Hieronder vind je enige random 'foutmeldingen' om je in de tussentijd te amuseren:

Wat fijn dat ze dit ook even aankondigen

edit: bugs zijn natuurlijk lastig aan te kondigen

Nou, zeg het maar gewoon... MySQL, je bent een EIKEL! Kom maar, kom maar, kom maar... - Leon

Ehm, volgens mij was dit niet voorzien

Wel een leuk scrabblewoord trouwens 3 keer woordwaarde, en je bent helemaal the man.

(Zeker als er in het woord maintenance ook een 'i' zou staan )

Gefeliciteerd Artemis en Alicia!

Nu nog even de rest, dit bewijst weer de stabiliteit van een OS genaamd LINUX... Windows had het opzich ook wel gekund hoor...

Alles staat of valt natuurlijk met kwalitatief goeie hardware. Zelfs Linux gaat over z'n nek als je bv een gaar mobo hebt.

In de uptime top 50 staat overigens ook een windows2000 machine sinds kort. Het is alleen niet erg verstandig te noemen om je windows server niet af en toe te updaten en ja dan moeten ze meestal even gereset worden.