Planning en pics TrueServer verhuizing

Eind vorige week heb je in deze .plan de blijde mededelingen kunnen lezen dat Tweakers.net per 15 juni zal verhuizen naar onze nieuwe hostingprovider TrueServer. Vanzelfsprekend betekent de verhuizing tevens een verplaatsing van alle servers. De eerste stap in de verhuizing zal morgen gezet worden, als Artemis, Aphrodite, Chimera en Odin in de TrueServer colo te TeleCity geplaatst worden. Artemis is opgelapt na de harddisk crash van twee weken geleden en draait nu RAID 5 met drie schijven. Een vierde Cheetah X15 zal hot spare gaan spelen zodra we de vervangende harddisk hebben terug ontvangen van de RMA. Odin en Aphrodite bevinden zich momenteel bij Vuurwerk, maar zijn wegens onduidelijke redenen buiten werking. Het verplaatsen van beide servers zal derhalve geen overlast veroorzaken, daar zij toch al niet in functie zijn.

Na de verhuizing krijgen de servers een stroomaansluiting op een APC Masterswitch, zodat vrijwel elke server op afstand herstart kan worden. Zodoende is het niet meer noodzakelijk om bij een simpele crash of een ander probleem waarbij een server onbereikbaar wordt een bezoekje aan de colo te brengen. In ons kabinet bij TrueServer bevinden zich tevens twee 16-poorts manageable Micronet switches en twee 16-poorts non-manageable Level One switches waarmee zowel de switches op het interne als externe netwerk redundant uitgevoerd kunnen worden.

Load balancing zal bij TrueServer niet langer gedaan worden door simpele DNS round-robin, maar door twee dedicated LVS load balancers. Chimera, de eerste load balancer, zal vandaag bij TrueServer geplaatst worden. De tweede LVS is nog in aanbouw. Op termijn is het de bedoeling dat alle servers achter de twee LVS machines worden gezet, zodat alleen de LVS'en over een directe verbinding met het internet beschikken. De load balancers zullen hierbij tevens een vuurmuur leggen rond de rest van het server park. Het interne netwerk zal dubbel uitgevoerd worden, evenals de koppeling met de Juniper M20 backbone router van TrueServer. De gevolgen van een uitvallende switch kunnen op die wijze eenvoudig en snel opgevangen worden.

Zodra de vier servers bij TrueServer draaien worden de DNS records bij Network Solutions gewijzigd. In samenwerking met 2Fast, tevens ondergebracht bij TrueServer, worden plannen ontwikkeld voor een derde DNS server buiten het TrueServer netwerk. Dit moet voorkomen dat onze DNS onbereikbaar wordt in het geval dat de internet connectie van TrueServer onverhoopt voor lange tijd stuk gaat. Tweakers.net en Fok! blijven bij Vuurwerk draaien totdat de IP's en databases in de nacht van donderdag op vrijdag worden overgezet. Athena, Arshia en Apollo worden vrijdagmiddag verplaatst, waarna ons complete server park in TeleCity herenigd zal worden.

De specs van Chimera zijn nog niet eerder genoemd, daarom een korte opsomming: het beest draait op de 800MHz Athlon Classic die driekwart jaar dienst heeft gedaan in Athena. Verder heeft-ie 256MB RAM, een 20GB Maxtor harddisk en een 4U rackmount (eerder gebruikt voor Aphrodite). Slot A Athlon's passen nét niet in een 2U kast, vandaar dat we de 4U gebruiken. De specs van de overige servers zijn niet veranderd, afgezien van de geheugen upgrade en RAID wijziging in Artemis. Aphrodite en Odin hebben een Tbird 1000 met 512MB, Athena is een Tbird 1000 met 768MB en Arshia draait op een Tbird 1200 met 512MB. Artemis en Apollo hebben beide een Dual PIII-1000 met 2GB RAM.

Foto's

Helaas moet ik zeggen dat ik gisteren onjuiste, foutieve en zelfs ronduit misleidende informatie heb verspreid . Chimera is namelijk nog niet geplaatst . Dit moet in de komende twee weken gebeuren. De onderste server in dit plaatje is Sphinx, de gamebak van Strikerz.net. Daarboven liggen Artemis, Odin en Aphrodite.

Reacties (118)

[Wouter Tinus]

Ik heb het even opgeteld, er staan straks zeven servers met totaal 9GHz aan processors en 6,75GB geheugen (9,8GHz / 7GB met die 2e LVS er nog bij). Er komt een dag dat we de AnandTech servercluster voorbij fietsen

Even zitten tellen, die hebben op dit moment zeventien servers met 18,2GHz en 11,75GB dus ze zijn grofweg twee keer zo groot qua capaciteit.

[Sir Abarth]

Twee keer zo groot kwa specs, niet kwa bezoekersaantallen denk ik. Ik heb die serverpark plaatjes bekeken bij AT, en ze hebben 11 webservers, 2 database servers, dan nog mail en nog wat servers en andere prulletjes ( ). Is dus iets meer dan 2x groot.

[JeroenNietDoen]

Een forum net 58,000 geregistreerden, plus het is een engelstalige site, ik denk niet dat je hun bezoekersaantallen moet onderschatten. ik zie ook nergens een hit counter.

En ze hebben daar echt niet dubbel zoveel spul staan voor nop natuurlijk...

[Femme]

AnandTech heeft ongeveer 40 miljoen pageviews per maand. Tweakers.net heef er 20 miljoen en Fok! nu zo'n 5 miljoen.

[Floor-is]

Bovendien heeft Anand zo'n "overkill" omdat telkens als er een nieuwe review is er een soort /. effect plaatsvind en Anand wil voorkomen dat zijn site dan platgaat. (Hij heeft er inmiddels ook bakken geld in geinvesteerd overigens...)

[Ritch]

Ja en AT draait er goed op, geeft dus aan dat dit overkill is, of inefficient gebruik van cpu kracht...

[witchdoc]

AT heeft VEEL minder dynamische shit in hun site steken, daarom dat t.net voor eenzelfde aantal hits zwaardere servers moet hebben.

Trouwens, beter overkill waar wij niks voor betalen dan te weinig waar wij wel voor boeten

[Femme]

Dat de review pagina's van AnandTech dynamisch worden gegenereert wil nog niet zeggen dat ze net zo dynamisch zijn als op t.net. AnandTech gebruikt een of andere in ColdFusion ingebakken SQL query cache. De queries worden om de 30 minuten gerefreshed en dat scheelt natuurlijk erg veel load op de database server. Hier hoef je dat niet te proberen omdat de inhoud van de database veel dynamischer is.

[MoBi]

Foutje van je. Anand is net zo dynamisch als tweakers. ze hebben de .html extensie aan de coldfusion parser gekoppeld.

[MoBi]

maar staandaard staat die cache niet aan. Maar zou jij dat niet doen dan als je geen reacties hebt op dingen. Hier zou het voor revieuws ook ideaal zijn. Alleen op de laatste pagina's trek je apart de reacties er nog eens bij. De rest van de review laat je gewoon cachen.

[Femme]

De update tracker is ook een query en dat ding verandert erg vaak. Op de review pagina's zit ook nog een query voor het aantal reacties. Zou evt gecached kunnen worden maar dan klopt het aantal niet meer. De review pagina's worden bdw maar zo'n 15.000-20.000 keer per dag opgevraagd en het zijn al erg lichte queries, dus gaat weinig schelen. Meestal zijn het de lichte queries die gecached kunnen worden en de zware of veelvoorkomende queries waarvan de resultaten te dynamisch zijn.

Overbelasting van de MySQL server is trouwens helemaal geen issue. Het grootste probleem is table-level locking bij de inserts in de messages tabel van forum. Desondanks is de snelheid in de praktijk nog steeds ok.

[BrZ]

of beide....

Ze draaien windows 2000, wat meer cpu kracht verbruikt voor minder dan onder linux (dat is geen flame...)

En daarnaast hebben ze overcapaciteit om het slashdot effect tegen te gaan

[Femme]

Ja en AT draait er goed op, geeft dus aan dat dit overkill is, of inefficient gebruik van cpu kracht...

Athena kan in principe Tweakers.net+Fok! (excl. GoT) in haar eentje trekken. Dan doe ze 125 hits per seconde en is de load een beetje hoog. Met meer servers ontstaan er minder snel problemen en kan er eentje uitvallen zonder dat de performance daar meteen merkbaar onder lijdt.

De LVS'en doen niets anders dan packets redirecten en vuurmuurtje spelen. 800MHz is zwaar overbodig voor dat soort werk, maar we hadden dat plankje en processor toch nog liggen.

Eén database server is genoeg, twee is fijner. Overkill is ook helemaal geen slechte zaak, zolang het maar goed ingezet wordt. Bijvoorbeeld om de betrouwbaarheid te verhogen.

[Verwijderd]

ik heb ook even geteld

dual p3-1001 512mb
dual p3-912 256mb
dual ppro 200 256mb
p3-500 256mb
p2-518 192mb
p2-440 128mb
p2-400 256mb

6,084ghz , 1,856gb SCSI-raid en een solid state disk 475mb en dat voor onze team stats page

[Verwijderd]

Voor zover ik ervaring heb met TrueServer (ze hebben een maandje een CS server voor ons gehost ), was deze zeer goed. CS patches downloaden van een gast op de TU Twente campus ging met een slordige 1200 kilobyte per seconde en mijn Chello-ping lag tussen de 10 en de 20 als ik erop speelde.

Helaas moest de server down, omdat ie op een webserver draaide die uit z'n neus stond te vreten. Deze bak kreeg een andere functie en (naar zeggen van 1 van de eigenaren) ze hadden niets anders meer vrij. Nou ja, het was ene leuke maand

Just my 2 cents

[update]
Ik heb nog ff plaatje gevonden:
www.vdh-it.nl/trueserver.jpg
Dit is lang geleden hoor

[tweakerbee]

/offtopic

Jullie deden het daar niet zo best he?

[CyberSnooP]

Wat vind Vuurwerk hier eigenlijk van? Zij verliezen immers een leuke site die ze sponsorde. Alleen al vanwege het feit dat jullie vertrekken krijgen hun wat negatieve reclame.

Hebben ze al iets laten horen? Of zijn jullie gewoon helemaal vrij in die keuze?

[Floor-is]

Officieel geeft VuurWerk aan niet echt blij te zijn met het vertrek. We hebben een sponsorcontract met een opzegtermijn van 1 maand, welke afgelopen maand op de 15e (geloof ik) is opgezegd. Vandaar dus ook dat we per de 15e over gaan naar de nieuwe hostingprovider.

Voor zover ik weet is er op het opzeggen van het contract helemaal geen reactie gekomen, dus echt goed kunnen we het niet inschatten. De mensen die we spreken als we naar de colo gaan zijn wel erg vriendelijk en begrijpen heel goed waarom we deze keuze hebben gemaakt, wij gaan er dan ook van uit dat dit voor het gehele bedrijf geld.

[Verwijderd]

Tja, moeten ze maar 2 mensen fulltime aanstellen zodat de serverruimte 24/7 betreden kan worden...één uurtje in de week is natuurlijk helemaal niets.

[Daneel]

Ja dat is leuk. Een helemaal niets betalende site hosten (die ook nog eens erg royaal met de ruimte omspringt) en dan moeten ze er ook nog eens 2 man neer planten om die tweakers aan hun servers te laten sleutelen? Nah dat is wel een beetje erg luxe hoor. En de mate waarin de tweakers aan hun server wilde sleutelen is niet gering. Dan gaat het zowat in de richting van 7/24 en dat krijgen ook de betalende klanten niet (en die hebben daar geen probleem mee voor zover ik weet ).

Maar ik ben blij voor T.net dat er nu een betere oplossing op tafel ligt En wie weet zijn de database-probz nu ook definitief van de baan. Die gecrashde server was toch d-base-server? Nou heb ik het idee dat het sinds die crash (en die taken door een andere server worden overgenomen) wel beter gaat.

[xxfile]

Hoe lang gaat het ongeveer duren voordat alles overgeheveld is?

[Femme]

Vandaag:
- nameservers, mail, IRC overzetten
Donderdag nacht / Vrijdag ochtend:
- Databases kopiëren van Apollo naar Artemis
- DNS omschoppen
- Athena en Arshia laten verwijzen naar TrueServer IP
Vrijdag:
- Athena, Arshia en Apollo verhuizen naar TrueServer

Daarna in de komende twee weken de LVS load balancers erbij zetten.

[frankvanhoesel]

De specs van Chimera zijn nog niet eerder genoemd

Normaal ben ik niet zo bijgelovig, maar Chimera was in Mission Impossible II toch niet echt een bijzonder vriendelijk virusje . Dus om nou je server een naam te geven van een virus lijkt me niet echt verstandig .

[Sir Abarth]

Tijd voor bolerophon ofzo?

[Jelle Niemantsverdriet]

Ik denk dat de inspiratie voor de namen wel iets verder teruggaat dan Mission Impossible 2 . Chimera was een vuurspuwend monster met een leeuwekop, lichaam van een geit en staart van een draak. Uiteindelijk werd het monster verslagen door Bellerophon, dus ik denk eerder dat je bang moet zijn voor een virus met die naam .

(bron: Griekse mythologie)

[oh,when?]

Dus om nou je server een naam te geven van een virus lijkt me niet echt verstandig

Of het is om ons allemaal te infecteren met het Tweakers.net virus .

[Femme]

Chimera/Chimeara is een of ander grieks monster.

De Chimaera was een drie-koppig vuurspuwend monster, gedeeltelijk leeuw, gedeeltelijk slang, en gedeeltelijk geit.

[Onno]

Load balancing zal bij TrueServer niet langer gedaan worden door simpele DNS round-robin, maar door twee dedicated LVS load balancers.

En uhh... die twee LVS'en ga je vervolgens weer round-robin'en?

Zo'n ding doet trouwens toch niets meer dan requests doorgeven aan de andere servers, wat is het nut van twee? Redundancy?

[Femme]

Uiteraard. Stel je voor dat de LVS uitvalt en alle servers onbereikbaar worden...

[The Lord]

Als je je load-balancers gaat load-balancen d.m.v. round-robin, dan heb je weer geen volledige redundatie.

Het lijkt me niet dat je dat bedoelt, toch Femme?

[Femme]

Ze gaan niet DNS round-robin doen als je dat bedoelt. De tweede LVS checkt gewoon de hele tijd of de eerste nog leeft en neemt in het geval van problemen het IP over van de eerste LVS.

[JointFillah]

LVS#1 checkt steeds iedere 2 seconden (of wat je zelf wil) of alle servers achter hem nog 'leven'....
LVS#2 checkt steeds iedere 2sec of LVS#1 nog leeft....zoniet dan 'pakt' hij alles van LVS#1 af en gaat hij kijken of alle servers nog 'leven' (hetzelfde wat LVS#1 dus eerst ook deed)

[Robinski]

en wat nou als LVS1 en LVS2 elkaar niet meer kunnen zien, hebben ze dan beide 2 IP's of zo??

of denk ik nu te ver door?

[worsie]

ff een verzoekje, ik geloof niet dat het eerder gedaan is: kan iemand van Tweakers een keer een uitleg in elkaar tikken over hoe het serverpark nou werkt? Tutorial voor nitwits zeg maar. Ik heb me nog nooit verdiept in dat segment, en snap vaak dus geen bal van deze threads. Lijkt me een interessant idee voor een column, want ik denk niet dat iedereen hier weet hoe een serverpark van een website nou precies functioneert. Ikke niet in ieder geval .

[Femme]

Eerst komt er binnenkort een artikel over de hosting geschiedenis van t.net, daarna wil ik er nog eentje maken over de opzet van het nieuwe server park als die helemaal klaar is.

En wat versta je onder 'werking'? Wat wil je dan allemaal weten?

[worsie]

Wat ik versta onder werking? Paar voorbeeldvragen:

Wat is de samenhang tussen die dingen? Hoe werkt load-balancing? Je hebt webservers en database-servers, hoe werken die samen? Welke data staat waar op? De basics van een switch, verschil tussen manageable en non-manageable switch?

Dat soort dingen, en dan zonder al te veel moeilijke woorden a.u.b.

Een goed voorbeeld is denk ik een artikel dat Mark Timmer een keer geschreven heeft: Bestandssystemen en harddiskmanagement
Zo'n soort stijl bedoel ik .

[Peerke]

Femme die is bezig met de history, heden en toekomst te tikken, en daar zal het (lijkt mij) wel verder in naar voren komen.

[Verwijderd]

jah... dat wil ik wel doen please please please (maar volgens mij bestaat er al zo'n document...)

[MAZZA]

http://www.tweakers.net/images/7516

Dat is echt zo'n budweiser WAZZZZUUUUPPPPPPP reclame

[Femme]

Dat krijg je dus als je Floris met een cam laat spelen. De CoolPix is natuurlijk helemaal cool want die heeft een draaibare lens waarmee je jezelf in de display kunt zien .

[Floor-is]

Ik wil ook die nikon coolpix, maar ik heb niet genoeg centjes... Moet ik toch eens iets op gaan verzinnen denk ik.

[The Source]

Je durft daar gewoon niet die colo binnen te stappen want voor je het weet moet je met twee lokale gekken op de foto. Dat doen ze nou met iedereen

[Nielsz]

Als de database gekopieerd gaat worden, zijn we dan niet een paar uur/minuten posts kwijt?

[Femme]

MySQL moet vannacht ff down om de database dir te tarren, daarna kopiëren naar Artemis en daar in de MySQL data dir mikken. Op zich kan MySQL@Apollo na het tarren wel weer up, maar dan gaan de posts die daarna op Apollo geplaatst worden verloren.

[RG]

Kan dat niet handiger dan tarren?? Is het niet mogelijk om MySQL die gevens gewoon over te laten halen?

* 786562 RG

[Femme]

Je kunt ook alle databases gaan dumpen, maar MySQL platgooien en in één keer de hele dir tarren is veel simpeler en zorgt er ook meteen voor dat alles (MySQL user privileges enz.) in dezelfde staat terug komt op de andere database server.

[Theetjuh]

Op zich kan MySQL@Apollo na het tarren wel weer up, maar dan gaan de posts die daarna op Apollo geplaatst worden verloren.

Kun je er dan niet een soort "lock" opzetten dat er niks toegevoegd kan worden en wel alles bekeken kan worden

Dan verlies je ook geen gegevens, hooguit een beetje tweakotine ofzo ....

[iNSaNe-oNe]

In samenwerking met 2Fast, tevens ondergebracht bij TrueServer, worden plannen ontwikkeld voor een derde DNS server buiten het TrueServer netwerk. Dit moet voorkomen dat onze DNS onbereikbaar wordt in het geval dat de internet connectie van TrueServer onverhoopt voor lange tijd stuk gaat.

Misschien een blonde vraag, maar:

Wat heb je aan een derde DNS, als de servers van T.net zelf niet bereikbaar zijn in het geval van een uitvallende internetverbinding van TrueServer?

Offehm, zie ik iets over het hoofd? Of ziet T.net iets over het hoofd?

edit:

Ik zie iets over het hoofd.
De derde DNS voorkomt dus dat het Internet 'denkt' dat Tweakers.net helemaal niet meer bestaat, omdat de eigen DNS'en van T.net niet meer bereikbaar zouden zijn indien de verbinding van TrueServer eruit valt. Thanks anyway, ik had niet goed doorgedacht.

[CyberSnooP]

Nou? DNS-Entry doorverwijzen naar een servertje die toevallig wel een html wil voorschotelen met.

"Het is verschrikkelijk, maar wij zijn stuk! Tot morgen."

[RG]

Nou nee, dan zel het meer zoiets worden:

"Ons hele servercluster is even koffie drinken, probeer het straks nog een keer"

[Femme]

Bij TrueServer wordt 't "ons hele server cluster zit aan de soep" (TeleCity heeft toffe kantine + cup-a-soup ).

[TGEN]

Femme, nou willen wij natuurlijk wel allemaal weten of die cup-a-soepjes gratis zijn voor ons , dan kom ik ff langswippen . BTW, is het nu niet het juiste moment om het threaded reactiesysteem zo aan tepassen dat ik daadwerkelijk op jou kan reageren (meer dan 3 subthreads dus)?

TGEN

[TD-er]

"Soepie???"

NEEEEHH!!!!!

zo'n idee dus
Nu maar hopen dat jullie niet vaak van die kantine gebruik hoeven te maken.