Server & netwerk statusmeldingen

Door Kees Hoekzema, zondag 22 juni 2003 09:52, 150 reacties • Feedback

Problemen met de servers en de netwerkverbinding van Tweakers.net worden in deze .plan gemeld. De laatste informatie over de serverloads en -uptimes kun je volgen op de Statusmeldingen

22-06-03 Vannacht rond kwart over drie is forumserver Apollo wederom onderuit gegaan. Inmiddels is de machine gereboot waardoor het forum weer werkt
19-06-03 Sinds er tijdens de laatste serverupgrade 1GB geheugen uit Arethusa is getrokken, is deze machine - die onder andere IRC en mail verzorgt - niet meer stabiel. Ondanks diverse pogingen om het euvel te verhelpen is nog niet duidelijk geworden wat precies de oorzaak is. Uiteraard zal wel gepoogd worden om in ieder geval de mail zo snel mogelijk weer stabiel te krijgen, niet in de laatste plaats omdat dat een dienst voor abonnees is.

Update: Vanmiddag zal Trueserver rond 15:00 weer wat geheugen in de doos zetten. We hopen dat daarmee de problemen verholpen zullen worden.
17-06-03 De TrueServer-webcam die vanmiddag zou tonen hoe enkele Tweakers.net medewerkers een loodzware Compaq-server in een 19" rack zouden tillen, is onder de grote belangstelling van meeglurende tweakers bezweken. Bij de laatst geziene beelden was de potentiële energie van de server nog niet in waarde toegenomen, met andere woorden het apparaat stond nog aan de grond. Door deze onvoorziene omstandigheden moeten wij u de uitslag van de Nederlandse kampioenschappen racktillen helaas verschuldigd blijven.
29-05-03 Wederom is de database server voor het forum uitgevallen. We pogen hem te reanimeren, maar dit kan enige tijd in beslag nemen. We hopen het forum toch zo snel mogelijk weer online te hebben. De oorzaak is op dit moment (nog) onbekend.

De database server is weer online en het forum is weer up.
23-03-03 Vannacht is forum-database-server Apollo uitgevallen tijdens het maken van een backup. Vanochtend is de server weer online gebracht en na het handmatig maken van een backup werd het forum weer aangezwengeld voor bezoekers.
19-02-03 Vanwege een softwareupgrade van de loadbalancers zullen Tweakers.net en GoT ongeveer 10 minuten offline zijn.
01-02-03 Vanwege problemen met de software van het forum, is het forum tijdelijk offline.
30-01-03 Vanwege een DDoS-aanval is Tweakers.net gisteravond rond de klok van acht offline gegaan. Vanmorgen zijn de servers iets na 10:00 weer in de lucht gebracht.
21-01 Wegens onderhoudswerkzaamheden zal Arethusa vanavond (rond 18:00) enige tijd offline zijn. Hierdoor werken de (web)mail, IRC en de Omega search tijdelijk niet. Het onderhoud zal ongeveer 5 minuten downtime met zich meebrengen.
20-01 Vandaag zijn er wederom problemen geweest met de AMS-iX, dit keer omdat er een kabelbreuk is ontstaan in de verbinding tussen GlobalSwitch en TeleCity-2. Er is een tijdje geprobeerd deze verbinding up te brengen, maar zojuist is bekend geworden dat het een kabelbreuk betrof. De technicians van de Amsterdam Internet Exchange hebben nu een verbinding opgezet vanaf Nikhef naar TeleCity-2, zodat er weer verkeer over de AMS-iX kan gaan. De reparatie van de kabelbreuk zal minimaal nog tot 21.15 op zich laten wachten wordt verwacht.
Waarna de volgende melding werd gemaakt:
19-01 Een nieuw all-time uptime record voor Tweakers.net: Artemis en Alicia zijn beide over de 135 dagen gegaan! Appie en Achelois volgen op enige afstand met respectievelijk 119 en 106 dagen.
07-01 Door problemen op de Amsterdam Internet Exchange is Tweakers.net momenteel vanuit veel Nederlandse providers tegen lagere snelheid toegankelijk dan je van ons gewend mag zijn. Dit probleem doet zich ook voor bij andere sites waarvan het verkeer via de AMS-IX wordt gerouteerd. De AMS-IX engineers verwachten het probleem op korte termijn op te lossen:
Om 16.47 uur hebben de engineers alles weer in orde gemaakt, zodat alles weer op volle snelheid benut kan worden:
13-12 Helaas is Arethusa wederom gecrasht. Waarschijnlijk is de 60GB Samsung schijf rot. Bij eerdere checkups werden echter geen SMART foutmeldingen geconstateerd.
13-12 De webmail is ook weer online, deze is voor de betalende gebruikers te vinden op webmail.mytweakers.net. Verder wordt deze nacht de hele GoT database gedumpt en opnieuw geinsert, dit vanwege fragmentatie in de database bestanden. Dit kan enkele uren duren (en ja, we zijn ons ervan bewust dat het vrijdag de 13e is ).

De forumdatabase op Apollo draait weer. Het exporteren en importeren van de databases duurde langer dan verwacht, voornamelijk door de grote hoeveelheid data van bijna 9 miljoen berichten. Tegelijkertijd is de MySQL-versie geupgrade naar 3.23.54 zodat deze opschoonactie in de toekomst hopelijk niet meer nodig zal zijn.

Dat deze opschoonactie nodig was bleek uit het feit dat nadat alles opnieuw geïmporteerd was, ruim de helft meer ruimte overbleef. Voor de opschoonactie was er 44.000 MB aan datafiles in gebruik, nu slechts 19.648.512 KB, hierdoor hoeft GoT in de nabije toekomst niet nog eens down om ruimte aan InnoDB toe te voegen en is er 25.407.488 KB ruimte teruggewonnen.
12-12 De IRCd, POP3 / IMAP mailserver (incl. spamfilter en virusscanner), DNS en de Omega search zijn weer operationeel op Arethusa. De webmail volgt hopelijk later vandaag.
10-12 De rootdisk van Arethusa bleek niet meer te willen booten. De harde schijven van Arethusa zijn overgeplaatst naar een nieuwe server (Athlon XP 1800+, 1.5GB) die voor de zekerheid was meegenomen. Door de slechte toestand van de harde schijf moet Arethusa opnieuw geconfigureerd worden.
10-12 Omdat Arethusa al enige dagen om onduidelijke redenen ernstig instabiel is zal webserver Adonis vandaag omgebouwd worden om haar te gaan vervangen. Tot die tijd zijn de IRC-server en de mailserver niet in het land der levenden.
07-12 Wederom heeft Arethusa er vanmorgen de brui aan gegeven. Mail en IRCd zijn hierdoor niet functioneel. Floris is nu onderweg naar TeleCity-2 om de server te resetten. De server is inmiddels weer bereikbaar.
05-12 Arethusa is vanochtend wegens nog onbekende redenen neer gegaan. Hierdoor was de mailserver en IRCd niet bereikbaar. De problemen zijn in het begin van de middag opgelost.

Serverstatus

Reacties (150)

+2 Battle Bunny
11 december 2002 08:36

5 van de 15 servers offline / instabiel... Ligt dat niet ergens anders aan dan aan de hardware zelf? Misschien een instabiele netspanning ofzo? 33% is wel erg veel

Femme
@Battle Bunny • 11 december 2002 12:36

Er zijn wat stabiliteitsproblemen ontstaan sinds de laatste mega-upgrade toen een aantal MSI KT133A moederborden zijn vervangen door KT266A borden van een andere fabrikant. Ook zijn de dual Athlon borden van deze andere fabrikant erg instabiel gebleken. Voor die mega-upgrade hadden we zelden last van stabiliteitsproblemen.

Atlas had een probleem met de SCSI controller. Helaas duurt het nogal lang voordat we vervangende hardware terug hebben. Styx kreeg het te heet in z'n 1U behuizing. Heel erg is dat niet omdat we Styx (slechts Celeron 1200) toch niet meer nodig hebben.

+1 Akhorahil
@Femme • 11 december 2002 17:03

Waarom wil je niet zeggen welke fabrikant? Ik denk dat de tweakertjes dat wel graag willen weten...

+2 RIP-airco
@Akhorahil • 11 december 2002 17:51

als je een beetje terugzoekt op tweakers vind je gerust wat de fabrikant in kwestie is.

De reden ligt hoogstwaarschijnlijk in het feit dat de meeste hardware van het serverpark van tweakers gesponsord is. Het staat niet echt netjes om mensen (van wie je hardware cadeau hebt gekregen) achteraf de duivel aan te doen met negatieve reclame (onstabiel bord). Ligt een beetje voor de hand denk ik. PR

0 flipjevandejam
@Akhorahil • 2 januari 2003 14:17

Kijk idd onderaan de pagina en je zal gelijk zien welk merk mobo het is, wat RIP-arco ook al zei: "It's all about the PR".

((hint: 1,2,3-trichloor-4-broom-6-epoxy-octaan))

m-m
@Femme • 11 december 2002 14:49

Gaat Styx geveild worden onder de tweakers?

S_E_B
10 december 2002 18:31

Wanneer verwachten jullie de mailserver weer online te hebben, ik heb namelijk net mijn nieuwe GoT wachtwoord naar mn t.net mail laten sturen

+2 Maarten810
17 juni 2003 17:27

Hehe eindelijk is het dan zover kees die ons uit de spanning helpt. Echt balen dat die webcam niet beschikbaar was want ik had het graag willen volgen

Maar ik kan niet wachten tot de uitslag racksjouwen bekend is

Rafe
1 februari 2003 12:18

Ben ik gek of staat Abaris in zijn eentje heel GoT te serveren (waardoor het een beetje traag is)?

Steeds als ik de onderste regel highlight, staat er dit:

Total: 0,755 | Incl: 0,002, Init: 0,713, Action: 0,244 | DB: 0,719, Tpl: 0,007 | SV: abaris.webmagix.net

* 786562 Rafe

Alex

@Rafe • 1 februari 2003 12:33

0,775 sec om een serverpagina te serveren is niets. Dus langzaam, nee! Daarnaast kun je hier zien dat deze jongen het niet echt zwaar heeft hoor.

Overigens kun je hier zien dat deze servers volgens Femme verantwoordelijk zijn voor GoT:
Iris, Achelois, Adonis, Abaris, Acidalia, Apollo(als Database)

Auteur +2

Kees
@Alex • 2 februari 2003 06:20

Dat is zo zwaar aan verandering onderhevig, dat bijna niemand meer weet wie wat doet hoor

Op het moment dat rave schreef, trok abaris inderdaad in zijn eentje de gehele load van got met gemak, de hoge parsetijden kwamen van de database zoals je ziet. Er was namelijk een klein bugje in de scripts waardoor de database haywire ging. Dit is al opgelost, en dus zie je een stuk snellere parsetijden

Op dit moment wordt GoT geserveerd door Apollo (database) Abaris, Acidalia en Argus (web). Dat de grafieken het 'fout' zien ligt met name aan hoe het geheel gelogt wordt op dit moment (niet representatief dus

)

Auteur +1

Kees
@Rafe • 20 februari 2003 00:46

je bent niet gek, abaris deed het idd in zijn eentje, overigens trekt hij dat makkelijk

(ach ja, een Dual Xeon 2.4 GHz kan nogal wat requests verwerken, en weet je wat? door dit onderhoud hebben we nu 4 van die bakken)

aKra
30 januari 2003 10:17

Zijn er nou al meer details over de DDoS aanval?

Hoeveel Mbit?
Welke servers precies?
Misschien al door welke persoon/groepering?
Wat voor handelingen zijn genomen?

"Nog even om de mensen op te fleuren :+"

In de nacht van Woensdag op Donderdag 30 Januari kwamen er een hele hoop verbleekte mensen op straat, deze mensen bleven "Tweakers.net" roepen en zeiden allemaal "We pakken ze wel terug!", ze bleven allemaal rondjes lopen en hadden contact met elkaar via mobiele telefoons met bluetooth/gprs verbinding, er waren ook enkele zogenaamde 'Tweakers' met allemaal rare extra dingen, zoals iemand die met een watergekoeld horloge rondliep bij temperaturen van -5 graden. Ook de Ambulancedienst had het druk, dit kwam omdat er vele zogenaamde 'Tweakers' schade hebben opgelopen door de frisse lucht, en de regen waardoor er velen onherstelbaar zijn getraumatiseerd.

+2 Maarten @klet.st
@aKra • 30 januari 2003 11:59

Volgens de statistieken van Trueserver (kennelijk offline gehaald op dit moment) was er gisteravond rond 8 a 9 uur 600 mbit/s meer inkomend verkeer dan 'normaal'.

Veel van dat verkeer kwam via providers als Level 3, Sprint en Lambdanet. Grote kans dat dat verkeer uit de VS of in ieder geval buitenland kwam..

0 D-RiSe
@Maarten @klet.st • 30 januari 2003 12:31

Gefrustreerde anandtech mannetjes die het niet kunnen hebben dat wij sneller grazen?

Wouter Tinus
@aKra • 30 januari 2003 10:19

We geven er niet meer aandacht aan dan strikt noodzakelijk is.

0 serkoon
@Wouter Tinus • 30 januari 2003 10:20

Doen jullie er ook meer aan dan alleen een nullroute (of fysiek kabeltje unpluggen) en wachten tot het over is?

(aangifte telt niet, dat is zinloos)

+1 Maarten @klet.st
@serkoon • 30 januari 2003 13:36

Dat aangifte niet telt omdat het zinloos is vind ik een beetje kort door de bocht.

Als er nooit iemand aangifte doet dan zal de overheid/politie/justitie ook niet in de gaten hebben dat dit soort zaken plaats vinden, of in ieder geval niet op de plekken waar ze capaciteit vrij kunnen maken voor onderzoek naar dit soort acties.

Misschien dat je niet meteen resultaat hebt in de zin dat er een team van tig politieagenten op gezet wordt, maar nee heb je, ja kun je krijgen.

+1 serkoon
@serkoon • 30 januari 2003 13:57

Er is een KLPD-team voor oa dit soort dingen, het is dus wel een bekend probleem bij Justitie.

Jammergenoeg is het nauwelijks te bewijzen dat een bepaald persoon een aanval heeft uitgevoerd. Ookal heb je bewezen dat de aanval gestart is door iemand met een bepaald ip-adres, dan nog weet je niet 100% zeker dat het bijv. de eigenaar van dat ip-adres is. En als je dat al weet, wat als er 4 mensen in het huis wonen die het alle 4 gedaan zouden kunnen hebben?

Inzoverre dus zinloos: je voorkomt er een volgende attack niet mee en het kost je tijd/moeite die je wellicht beter in andere dingen kunt steken.

+1 Maarten @klet.st
@serkoon • 30 januari 2003 16:17

Je doelt op de groep digitaal rechercheren van het KLPD neem ik aan. De mensen daar kunnen zonder aangifte weinig doen, de politie kan niet in het wilde weg onderzoeken beginnen, daarvoor zijn er veel te veel priotiteiten.

Waar ik op doel met in de gaten hebben is dat beleidsmedewerkers, chefs en alles wat een beetje hoger in de organisatie met management informatie werkt. En die informatie wordt bepaald op basis van aantal aangiften.

De analogie naar fietsendiefstal gaat wel een beetje op. Als mensen het idee hebben dat aangifte zinloos is zal volgens de statistieken van de politie het aantal fietsendiefstallen teruglopen. Dat is natuurlijk niet zo, maar ze kunnen nou eenmaal niet (eenvoudig) becijferen hoeveel fietsen er gestolen zijn waarvan geen aangiften gedaan zijn.

Dat je er een volgende attack niet mee voorkomt hoeft ook niet zo te zijn. Ik meen me een zekere Mike uit de flevopolder te herinneren die zeer waarschijnlijk wel 2x nadenkt voordat ie weer ongein met PC's uithaalt (ik doel op de maxima chat). Hem oppakken is ook alleen maar mogelijk geweest omdat mensen aangifte gedaan hebben..

+1 serkoon
@serkoon • 30 januari 2003 19:47

Dat die ene flevopoldenaar (en een zooi anderen) opgepakt is heeft ook wel een paar jaar geduurd. Het Maxima-gedoe was een leuke toevalligheid waardoor het wat meer exposure heeft gehad, maar het hele gedoe was veel omvangrijker dan alleen die chatsessie. Alleen maar omdat er tientallen mensen een aantal jaar last van die lui hebben gehad -en- ze ook nog eens vrij dom bezig waren (IRL bedreigingen, vechtpartijtjes) heeft het zover kunnen komen..

Maargoed, die arrestaties waren in april 2002, we zijn nu 9 maand verder, maar er is nog geen zaak geweest hoor. Bewijs is gewoon erg moeilijk voor elkaar te krijgen. En -als- je dan bewijzen hebt, hoeveel uur taakstraf krijgen ze dan? Vandaar zinloos.

Toegegeven, 'zinloos' is misschien een beetje te negatief. 'Nagenoeg zinloos' dan maar.

JvS

@serkoon • 30 januari 2003 11:06

Wat moet je eraan doen dan? Terug DoSsen ofzo?

0 serkoon
@serkoon • 30 januari 2003 11:20

Gewoon, abuse-mails sturen. Desnoods admins opbellen tijdens de DDoS zelf. Bij een ddos van 500mbit zijn vrij veel hosts betrokken, dus laat je dat door een paar honderd tweakers doen

Bezulba
@serkoon • 30 januari 2003 12:31

het enige wat je kan doen is hiermee de isp's bellen van de besmette pc's... dus de windows bakjes van ome jan die vol zit met trojans.. je kan bijna nooit de dader te pakken krijgen

T.T.
@Wouter Tinus • 30 januari 2003 11:52

Maar het staat wel levensgroot op Fok!

+1 compukid
@aKra • 30 januari 2003 11:50

zeer vervelend zon'n DDOS. een goede oplosssing zou een P2P webserver zijn.....maar dat is zeeeer lastig te maken.

+1 avon
@compukid • 31 januari 2003 12:48

p2p website is een goed idee, alleen hoe weetje
zeker dat mensen die pakketjes dan weer niet
gaan verminken?. Erg lastig vooral met een grote
database er achter.

0 GruttePier
@aKra • 30 januari 2003 13:25

doe mij ff zo'n watergekoeld horloge... cooley.

leon1e
11 december 2002 12:50

Welke server is momenteel de file server dan? En de backup file server?

Nog steeds die netapp van Treuserver?

Robin
@leon1e • 12 december 2002 00:01

Elke http-server is een fileserver, want elk uur worden alle files gesynced zodat je niet afhankelijk bent van een enkele server die dan de snelheid naar beneden haalt. Nu wordt je via de loadbalancer naar de server gestuurd die het minste te doen heeft en daar haal je dan ook de files vanaf

. Dit is alleen een beetje onhandig als er bijvoorbeeld nieuwe css-files voor de Frontpage geupload zijn, want pas na een uur staat deze op alle http-servers

Femme
@Robin • 12 december 2002 00:04

De Netapp wordt nog wel gebruikt voor de files die webbased worden geupload of door de servers worden voorgebakken, zoals de usericons, gallery foto's en statsgrafieken. De Netapp moet uiteindelijk vervangen worden door een eigen fileserver als daarvoor de hardware bij elkaar is.

aKra
19 februari 2003 19:03

Ik heb jullie gemist

Verder problemen gehad met loadbalancer(s)?

Het duurde zo lang

+2 BramBo
@aKra • 19 februari 2003 23:12

ben ik ook wel benieuwd naar, naar mijn id duurde het namelijk langer dan de (geplande) 10 min voordat de hele site weer in de lucht was.

+1 Genghis Khan
@BramBo • 20 februari 2003 07:55

Idd. Check http://gathering.tweakers.net/forum/list_messages/713474.

Door Kees (Serveradmin / BOFH) - Thursday 20 February 2003 00:42

die niet eens gelukt is ook

Was van plan de software te upgraden naar versie 2, die veel verbeteringen schijnt te bevatten toc versie 1 die wij draaien.

Ik had helaas geen laptop tot mijn beschikking om meteen een nieuwe config op te zetten, dus ben ik weer gaan downgraden (flashkaart vervangen ) Op zich geen probleem, ik heb toch nog genoeg kunnen doen

DDX
13 december 2002 01:18

Argh: vanwege onderhoud aan Apollo (de databaseserver) is GoT tijdelijk offline. Dit kan tot diep in de nacht duren.

Kondigen we hier niets meer aan

? Waarom staat er trouwens nogsteeds niet van de ddos hier?

Auteur +1

Kees
@DDX • 13 december 2002 02:58

staat er nu

Diep in de nacht == we weten geen tijd, maar het zal niet over een uurtje klaar zijn

Over de ddos attacks zeggen we weinig; simpel omdat er weinig over te melden valt en de internet-vandaal zal het nog leuk vinden ook.

+1 KroontjesPen
@Kees • 13 december 2002 05:08

Nou, nog minder dan 1 uur en de nacht is om.

.

Maar doe het rustig aan Kees, het is nu toch te laat om mijn afkick verschijnselen te onderdrukken.
Kan het ook niet met alcohol verbergen want ik zit op m'n werk.

Als ik nu maar geen controle krijg als ik naar huis rij.

Auteur +1

Kees
@KroontjesPen • 13 december 2002 06:47

hmmjah, de indexen aanmaken (moet nog 5) duurt erg lang op de 9M rows in de messages table.

Dat duurt ongeveer een uur per index..

Polaris
@KroontjesPen • 13 december 2002 09:47

Het wordt dus geen ochtend, maar middagwerk begrijp ik. Je kunt die melding van GoT maar beter even aanpassen, want lang niet iedereen die erin probeert te komen zal hier kijken.

zion
@Kees • 13 december 2002 05:03

Ben toch bang dat je uurtje wat aan het uitlopen is....

Problemen ofzo?

Nou ja, loop al sinds 3:45 op F5 aan het drukken, blijven we noh wel een tijdje doen

Djeez, ik heb echt geen leven

[edit]
Ik las "zal over een uurtje wel klaar wezen"
Maar helaas, het was "zal over een uurtje niet klaar wezen.....

Dan ga ik maar slapen

0 Vasago
@zion • 7 januari 2003 19:16

jij doet zeker mee aan dpc dolphin?

Mitch
@DDX • 13 december 2002 01:50

die ddos aanvallen worden genegeerd, om de zieligerds die zoiets doen zo weinig mogelijk credit te geven.

MadMarky
1 februari 2003 00:04

Krijg nu op het forum ineens deze schermen, gaat er iets mis?
Fatal error: This file has expired. in /mnt/web/react/got/react/board/www/forum.php on line 0
edit:
Is al weer over...

jelmervos
@MadMarky • 1 februari 2003 00:11

Shareware versie van React ofzo?

+1 Weezer-DC
@jelmervos • 1 februari 2003 00:11

LOL,
90 dagen uitprobeer versie

+1 Weezer-DC
@MadMarky • 1 februari 2003 00:11

Je bent niet de enige

Maar geduld iseen schone zaak, het zal vast wel opgelost worden

KEEESSS

LauPro
@MadMarky • 1 februari 2003 00:33

Softwareonderhoudsmantenancebericht

Hieronder vind je enige random 'foutmeldingen' om je in de tussentijd te amuseren:

Wat fijn dat ze dit ook even aankondigen

edit: bugs zijn natuurlijk lastig aan te kondigen

MadMarky
@LauPro • 1 februari 2003 00:34

Nou, zeg het maar gewoon... MySQL, je bent een EIKEL! Kom maar, kom maar, kom maar... - Leon

Ehm, volgens mij was dit niet voorzien

Glabbeek
@LauPro • 1 februari 2003 00:46

Wel een leuk scrabblewoord trouwens

3 keer woordwaarde, en je bent helemaal the man.

(Zeker als er in het woord maintenance ook een 'i' zou staan

)

aKra
19 januari 2003 22:45

Gefeliciteerd Artemis en Alicia!

Nu nog even de rest, dit bewijst weer de stabiliteit van een OS genaamd LINUX... Windows had het opzich ook wel gekund hoor...

Brainwaste
@aKra • 19 januari 2003 23:09

Alles staat of valt natuurlijk met kwalitatief goeie hardware. Zelfs Linux gaat over z'n nek als je bv een gaar mobo hebt.

Floor-is

@aKra • 20 januari 2003 19:34

In de uptime top 50 staat overigens ook een windows2000 machine sinds kort. Het is alleen niet erg verstandig te noemen om je windows server niet af en toe te updaten en ja dan moeten ze meestal even gereset worden.

1 2 3 ... 6 Volgende

Op dit item kan niet meer gereageerd worden.

Cookies op Tweakers

Sorteer op:

Weergave:

Reacties (150)