Verslag van Redbus serververhuizing

Serverbeheer todo

Nu de verhuizing achter de rug is, zal er verder gewerkt worden aan het testen en afconfigureren van twee nieuwe load balancers. Deze machines draaien een zelf samengestelde oplossing voor load balancing en zullen tevens dienst doen als firewall en traffic logger. Dat laatste zal onder andere gebruikt worden om meer gegevens te verzamelen van de DDoS-aanvallen, die onze servers regelmatig treffen. De nieuwe LB's zullen redundant worden uitgevoerd en gaan de huidige One4Net B-100 load balancer van Brainforce vervangen. Op kantoor hebben we een derde database-server klaar liggen die ingezet zal worden als calamiteitenserver. Deze machine zal paraat staan voor het geval er zich ernstige problemen met de twee database-servers voordoen. Als onderdeel van dit project zullen we onder andere opnieuw gaan experimenteren met MySQL replication om te testen hoe stabiel deze feature in de huidige versies van MySQL is. Verder is er een upgrade van de mailserver gepland met als doel de betrouwbaarheid van deze doos te verbeteren.

Het nieuwe onderkomen van de Tweakers.net-servers

Reacties (67)

Tsja, ik vraag me toch nog steeds af hoe jullie en de collega's bij Fok! zelfs met zo'n partij servers vaak traag of slecht te bereiken zijn, of simpelweg offline zijn voor het zoveelste onderhoud.

Wij draaien momenteel met een enkele dual Xeon met een Pentium backup server mocht de Xeon problemen hebben en wij genereren zeker net zoveel traffic als jullie. Wellicht dat 't aan jullie expertise ligt? Een stuk begrip van de hard- en software en het vinden van een goede balans ertussen.

Op onderstaande link even wat info hoe wij het aangepakt hebben. Misschien dat de uitspraak 'keep it simple stupid' hier op jullie server configuratie van toepassing is?

New webserver, backing things up
http://www.hardwareanalysis.com/content/article/1748/

Ondanks dat we weinig nieuwsartikelen hebben (gemiddelde 15 tot 20 per dag) en ze allemaal geript zijn, moeten ze wel in een database staan vanwege het dynamische karakter van de site; de reacties eronder, het gemod etc. Dit kan uiteraard verbeterd worden, maar het blijft dynamisch. Daar heb je een database server voor nodig.

Zodra je een database server nodig hebt kun je niet meer aankomen met een simpele dual xeon met ide of sata schijven, zeker niet als de server gemiddeld 500 queries per seconde afhandeld met pieken tot 2000 queries per seconde. Dan heb je een aparte server nodig met scsi hardware ivm de seektime en veel geheugen ivm de cache. En eenzelfde server doet de forum database.

Dan komen we bij de webservers. Je wilt het liefst redundant zijn, en aangezien het forum en de frontpage net op 2 webservers kunnen draaien hebben we 4 webservers en zodat de load evenredig verdeelt kan worden; 2 loadbalancers.

Om het interne netwerk te scheiden van het externe netwerk zijn er twee switches, een gbit voor intern en extern een simpele 100 mbit. De masterswitches zijn wel erg handig als je een foutje maakt, of een server loopt vast en je moet hem op afstand reboten, met de console server kun je dan in de gaten houden hoe het booten verloopt.

Dan hebben we nog een server als file- en zoekserver, de zoek database is ook niet te klein namelijk (snel een gig of 20) en een backupserver (met bijna een tb ruimte, zodat er redelijk wat backups op kunnen). Ik zie op het moment geen enkele server die echt overbodig is, of die taken zou kunnen overnemen van een andere server. Ik denk dat jij onderschat hoe licht deze site is; en hoewel er zeker verbetering mogelijk is; zal hij nooit zo licht worden dat hij met het huidige bezoekersaantal op een dual xeon kan draaien.

En wat betreft dataverkeer; het forum trekt het meeste, en daar wordt gebruik gemaakt van gzipped pages. Het dataverkeer zou nog verder omlaag kunnen per maand als er minder scriptkiddies op deze wereld rondliepen, de afgelopen maad is er gemiddeld eens per week een DDoS.

Maar veel plezier met je site, als je site wat drukker wordt zul je waarschijnlijk naar een two tier model over willen stappen, en daarna.. wie weet waar het stopt

Op basis van de beperkte hoeveelheid actuele content op je site, het beperkte aantal threads op je forum en cijfers in het bandbreedte tellertje kan ik me moeilijk voorstellen dat Hardware Analisys even veel traffic genereert als Tweakers.net. Wij zitten op twee miljoen pageviews en 200GB traffic per dag doordeweeks. Met die cijfers zou je half zo groot zijn als AnandTech. Met het gebruik in je bandbreedtetellertje zit je hooguit op een paar gig per dag.

Overigens kan Tweakers.net in principe ook wel draaien op twee dual Xeon 2,4GHz webservers en één database-server, echter zouden we dan wel meteen in de penarie zitten als er iets stuk gaat of er een script kiddie / DDoSSer langs komt.

Tsja, ik denk toch dat je je verkijkt, als we het over beperkte content gaan hebben moet je toch Tweakers.net even checken, daar zijn bijster weinig nieuwe artikelen te vinden. En dan heb ik het niet over de overschrijf verhalen die ik daar terugvind, gewoon koud gekopieerd en vertaald van andere sites. Als je dat content noemt?

Maar goed, ieder z'n ding, en laat ik niet beginnen met steken onder water te geven. Je hebt 't over pageviews, op de frontpage? Of tel je nu alle pagina's mee, inclusief de forums etc? Als je werkelijk 200GB per dag wegzet dan wordt 't misschien eens tijd om een kritische blik te werpen op het aantal hits op een pagina? Misschien dat daar winst te behalen is door gebruik van compressie, veel dezelfde elementen etc. Of misschien vind je 't juist wel stoer om zoveel bandbreedte weg te zetten, ons is alles eraan gelegen de footprint van een pagina zo klein mogelijk te houden, en daarmee de traffic minimaal, maar goed, ieder z'n ding.

En wat onze website betreft, half zo groot als Anand zijn we niet, maar als ik naar het aantal unieke bezoekers per maand ga kijken, da's het enige dat echt telt, dan zijn we ongeveer 1/4 zo groot. Daar komt bij dat wij nooit offline zijn, ook niet als we voor de zoveelste keer op /. staan, daar valt ook wat voor te zeggen niet?

Daarnaast is er een reden dat alle grote fabrikanten zoals Intel, AMD, ATI, NVIDIA, etc. etc. ons uitkiezen als launchpartner voor hun nieuwe producten. Daarmee wil ik alleen maar zeggen dat er meer is dan GB's aan traffic, of een paar miljoen pageviews per dag, het klinkt misschien indrukwekkend, maar dat is het niet altijd.

Laatik niet beginnen met steken onder water... Wel dus, beetje sneu.

Klik ik op jouw site op "news" dan zie ik als laatste "nieuws" de datum "Monday, June 21, 2004 09:00 AM EDT" lekker recent dus.

Op de hoodfpagina is het ook niet allemaal niet zo recent, er komt maar zo af en toe iets op te staan. Soms om de dag soms meer dan een week niks.

Tweakers.net schrijft dan misschien wel veel over maar het is daardoor wel een complete site, je blijft aardig op de hoogte als je alleen tweakers volgt.

Tweakers is ontzettend dynamisch, er zijn continu updates van de pricewatch/shopsurvey en bijvoorbeeld vraag en aanbod. Er zijn volgens mij weinig Nederlandse sites die zo'n sterke contentaanvoer hebben.

Ik vind tweakers een prima site en ik vind het een beetje treurig als iemand van een "concurrerende" site op zo'n betweterig toontje de boel bekritiseert. Laat meneer Sassen lekker op z'n teletubbie site spelen en hier dan maar niet meer komen zeuren.

Ik wil geen oordeel vellen over de kwaliteit van je site, ik spreek enkel een vermoeden uit dat Hardware Analysis minder pageviews genereert dan Tweakers.net. Het is nu eenmaal makkelijker om pageviews te genereren met 15 tot 20 nieuwsartikelen per dag en een forum waarop veel wordt gepost dan met reviews waarvan er hooguit één per week verschijnt en een forum waarop veel minder wordt gepost.

Als je werkelijk 200GB per dag wegzet dan wordt 't misschien eens tijd om een kritische blik te werpen op het aantal hits op een pagina?

Er wordt al gebruikgemaakt van van HTTP compressie voor de pagina's en die pagina's zijn al zodanig opgezet dat er zoveel mogelijk herbruikbare HTML wordt gecached. Het verminderen van traffic door het weglaten of verkleinen van afbeeldingen is altijd mogelijk. Persoonlijk ben ik geen voorstander van het uitkleden van websites of het gebruik van ranzige JPEG compressie om traffic te besparen. Aangezien TrueServer onze bandbreedte sponsort (en die bandbreedte relatief goedkoop is vanwege de beperkte hoeveelheid transit verkeer) is er weinig reden om heel zuinig met bandbreedte om te springen. Voor de bezoekers maakt het weinig uit ivm het grote aantal breedbandgebruikers in Nederland.

200GB per dag komt neer op zo'n 100KB per pagina. Ik vind dat wel meevallen ivm het veelvuldig gebruikt van plaatjes in het nieuws en de pricewatch en ook de downloasd in de meuktracker.

WTF, zie jij ergens staan dat tweakers hun eigen shit allemaal maakt? Nee, voor mij is tweakers een pagina waar ik gewone alle shit die ik leuk vind kan bekijken, zonder dat ik 25 pagina's af hoef te lopen.

FYI, ik heb nog nooit van je site gehoord. En er zijn nu toch wel zo'n 14 geregistreerde mensen online en 627 anonymous, hoogstwaarschijnlijk tweakers die zich afvragen wat voor site jij dan hebt met dit soort praatjes, en dan op de grond liggen van het lachen. Maar ik zie er op tweakers nu zo'n 5300 mensen. Maar ja, laat ik nu geen steken onder water gaan geven, dat zijn maar 4650 meer mensen die ongeveer gemiddeld 6 pagina's bekijken per bezoek, reken uit je winst, shit toch een steek onder water.

Dus als jij vindt dat je pagina beter is, have fun. Jammer genoeg zeggen de feiten hele andere dingen. Tweakers downtime, when???

oe ruzie
misschien hebben jullie dit nodig voor wat inspiratie?

[alinea1] Klinkt als flamebait, wil je een discussie moet je geen zaken er bij halen die er niet toe doen voor het technische verhaal [/alinea1]

[alinea2]
Er zijn volgens mij ook nog wel optimalisaties mogelijk mbt tot het serveren van de content van de frontpage, maar ik heb geen idee hoe het precies gegenreerd wordt, of een deel daadwerkelijk statisch is en of onderdelen alleen ververst wordt indien er daar specifiek iets verandert (reacties, GOT vragen, pricewatch - in de linkerpane).
[/alinea2]

[alinea3]
Unieke bezoekers is iets anders als veel content serven, daar ben je het zelf ook over eens, waarom kom je hier allemaal mee als je weet dat *.Tweakers.net veel meer dynamische content levert (of iig meer verkeer) weet je toch dat daar zwaardere servers voor nodig zijn dan wat jij hebt staan.
[/alinea3]

[alinea4]
Wat wil je hiermee aanduiden, dit is puur pochen, leuk, maar niet relevant voor het vraagstuk wat je in het begin wilde opbrengen.
[/alinea4]

Ik snap wat je wilt zeggen met de posts, maar Tweakers draait gewoon zwaarder dan 'jouw site' dit ligt dus nog naast het vraagstuk of het 'lichter' kan.

Als je inderdaad net zoveel traffic genereerd, dan is de verklaring waarschijnlijk te zoeken in hoeverre de site dynamisch is. Als wij alleen een statische pagina hebben dan hebben we aan 1 server ook meer dan genoeg zoals je in het verslag kan lezen.

Als je echter een forum wil draaien met een grote database aan reacties en een frontpage die erg dynamisch is (o.a. door de reactie mogelijkheden) is het echt geen overbodige luxe. Trouwens volgens mij zijn we bijna nooit slecht bereikbaar. Alleen af en toe als iemand weer eens zo grappig is met een ddos oid.

Ik zal de laatste zijn om te beweren dat er geen optimalisaties in de setup van Tweakers.net mogelijk zijn, maar beweren dat we traag en vaak offline zijn is je reinste bullcrap.
In de afgelopen maanden is er nauwelijks downtime geweest, behalve dan voor het vervangen van een server en de bekende DDoS-attacks. Dat laatste is uiteraard overmacht en kun je ons niet verwijten.

Dat jij je site op 2 servers kunt draaien is leuk, maar met 250 maal zo veel traffic (dus niet 'minstens zo veel') wordt dat voor ons misschien lastig. Nogmaals, daar zal best nog wel wat winst te halen zijn, maar ik betwijfel ernstig of die winst genoeg is om de hoeveelheid traffic met een factor 100 te verminderen.
Los daarvan, wij doen met 7x zoveel servers 250x zoveel traffic..dus wie moet er hier nu gaan optimaliseren

Op je onzinverhalen over de content van onze site zal ik maar niet reageren.

Euhm, van deze reactie wordt m'n pis toch een tikkeltje lauw.

Traag? Slecht? Offline? nou, ik weet niet van welke planeet jij komt, waarschijnlijk hebben ze daar internet nog niet zo goed uitgevonden.

Quote van jouw site:
Current bandwidth usage: 110.73 kbit/s

T.net doet op dit specifieke moment aan UITGAAND verkeer, dus er is meer, te weten intern tussen alle machines, maar we hebben het puur over content verkeer richting de gebruikers: 26.19mbit uitgaand, 3.5mbit inkomend (dit door posts, requests van pagina's, etc.).

Weet niet hoeveel GB's jij verstookt met je machientje, weet wel dat T.net terabytes verstookt. Gezien het verkeerspatroon kan je zelf wel rekenen, ik zal een hint geven: 5.

Reactie op Sander Sassen - dinsdag 2 november 2004 - 11:17 Score: 1 (Troll)

Quote van hardware analysis:

"Fortunately the new server was about ready to go"
dit op het moment dat je oude server de geest gaf, puur geluk dus!!!

Echter enkele zinnen later:

"At the end of the day it is all about careful planning and stringent testing......"

Verder niks mis met jullie site, maar dit artikel loopt MI over van misplaatste arrogantie en ongefundeerde meningen in zeer matig engels.

(Opbouwende) kritiek op Tnet kun je beter rechtstreeks aan de makers van Tnet sturen dan in zo'n flauwe post.

@ Sander Sassen

Erg lullige post hoor.
Komt vrij jaloers over eigenlijk.

De heren van Tweakers.net zijn gewoon zeer succesvol, iets om respect voor te hebben vind ik.
Op dit moment zijn we zelf net begonnen met een 1U servertje dat slechts een P4 2.66Ghz bevat en slackware draait.
Daar zullen we in het begin genoeg aan hebben, maar ik hoop dat we na enige tijd toch ook zo'n rack zullen bezitten.

En 5TB per maand is toch echt serieus hoor, om dat zomaar uit te vlakken...

@ Tweakers.net:

Tof dat het allemaal binnen een dag gelukt is, en inderdaad vreemd van het bios van die mailserver.
Goed dat hij straf gekregen heeft

Leuk, dat stukje over beveiliging...

Een tijdje geleden is een van de servers van motor-forum stuk gegaan, toevallig moest Aydin van Teranet een van zijn servers repareren (die in dezelfde ruimte staat als onze servers).

Met mijn toestemming heeft hij onze server meegenomen...geen haan die er naar kraaide...
Je hebt 3 deuren waar je doorheen moet, maar als je eenmaal binnen bent kan je alle servers meenemen die je maar wilt (bijna alle racks hebben nog de standaard code ).

Zover de beveiliging...

Tsja, dat is zo, maar dan nog, alles wordt gefilmd, je hebt je aan moeten melden dus men weet echt wel wie welke server heeft geript. Leuk is anders, maar ongezien hardware meenemen wordt nog een lastige klus.

*dit is overigens geen uitdaging ;)*

Het jatten of in elk geval fysiek aanraken van een server is nog altijd de easiest way to hack, dus zulke beveiliging is best wel nodig. Wie heeft er niet geprobeerd burglar.nlm op de netware server op de middelbare te laden? Dat is me drie keer gelukt omdat mensen je zomaar bij systemen laten, huiswerk maken in het informatica lokaal toestaan, of (let op: goeie beheerder!) omdat de console gelockt stond, en de beheerder gewoon dacht dat je daar niet langs kon komen, terwijl er dezelfde dag nog een papiertje onder z'n neus had gelegen met de exacte stappen om deze beveiliging te omzeilen. En ja, die werkte.

Flinke verhuizing geweest zo te zien. . Ik heb nog wel een korte vraag.

Ik zie dat jullie op jullie servers gebruik maken van een console "touwtje". Ik heb in mijn stagetijd ook gewerkt met dergelijke consoles, maar nu vroeg ik me af, wat jullie precies doen met die console.
Als je iets wilt instellen dan neem ik aan dat dit ook kan met "extern bureaublad" oid. Ik zie ook dat jullie een soort "terminal server" gebruiken om alle console's te bundelen. Wat is dat voor een type server?

Kort: Wie kan mij uitleggen wat jullie doen met die console .

Mooie reportage btw!!!

Daar hebben ze laast een mooi verslag van gemaakt
Kijk maar eens op de volgende link

http://www.tweakers.net/reviews/465

Thnx. ik heb et net effe gauw doorgelezen.
Ik begrijp dat je niet alle PC's een seriele console erop hebben zitten. Hoe kan ik zien dat ik een seriele console kabel kan aansluiten op mijn computer om vervolgens daar dingen in te kunnen stellen? Is dit alleen mogelijk met een Mobo wat een speciale bios heeft, of ligt het aan het OS wat er op het apparaat komt te staan.

Ik weet bijvoorbeeld wel dat ik Digital Alpha servers standaard een console zit, die zelfs onafhankelijk werkt van de Bios. Er zit dan in de processor een klein stukje logica en software die dat allemaal netjes regeld.
Zit dit ook al in de huidige pc, of is dit speciaal voor servers??

Zit volgens mij in de code van het OS. Dus na het laden van het OS kan je hier gebruik van maken. Alleen als je ook het bios via de seriele console wil benaderen moet dit wel gebeuren, je kan dan dus ook je bootloader enz. besturen, wel zo makelijk als je een brakke kernel heb gebakken.

Mooi duidelijk stukje, beter dan dat andere

Maar wat ik me altijd afvraag, waarom worden de kentekens verwijderd van de foto's?

Als iemand mij daar eens een logisch antwoord voor kan geven

Ik zou het netjes vinden als ze het kenteken van die groene auto ook even wegpoetsen. Waarschijnlijk kan het aan de hond zijn reet roesten wat dat kenteken is, maar het komt een beetje egoistisch over (no offense) als alleen de kentekens van hun eigen autos onherkenbaar zijn gemaakt.

Je kunt ook naar buiten lopen en dan kom je allemaal auto's met kentekens tegen, alleen weet je dan niet van wie die auto's zijn .

Daarentegen ik kan makkelijk de naam van iemand uit mijn straat te weten komen en dan weet ik ook zo hun auto + kenteken. Heel veel mensen wisten dat jij bij Redbus zou zijn die dag en konden daar dus ook makkelijk jouw kenteken noteren.

Eigenlijk deugt dat hele systeem voor geen meter. Wie heeft dat uberhaupt bedacht. Ik ruik een topic op Fok

Om te voorkomen dat je een blauwe peugot koopt met daarbij het kenteken van femme een kopietje dan wel maar dan kan jij lekker scheuren terwijl femme de boete krijgt.

Krijgen we ook nog meer info over de loadbalancers die t.net in gaat zetten? Ik ben wel benieuwd naar de details

Deze vraag heb ik aan kees gesteld in het item van verhuizing
Het volgende kreeg ik als antwoord .

"Linux (slackware) met ipvs en iptables.
Is nog niet in productie, moet nog getest worden (daarom hangen ze ook in het rack)"

Maar meer info is altijd welkom

Maar mooi verslag hoor lekker uitgebreid

Ik zou ook graag willen weten hoe jullie dat gaan uitlezen van de load van de server's die script die jullie zelf hebben gemaakt hoe dat precies woordt uigelezen in de nieuwe load balancer.

Details van de "oude" zijn te vinden hier:
http://www.tweakers.net/reviews/301

Wow dat jullie zoveel foto's mochten maken daarbinnen. Ik ben daar ook wel eens bezig geweest maar foto's maken lag toch vrij lastig.

Maar het is een hele mooie locatie met veel mogelijkheden.

Toch vreemd; wij hebben er ook een rack staan, en foto's maken is geen enkel probleem. Wel is er altijd gedoe met de pasjes inderdaad, en je mag ook niet zomaar servers mee wegnemen; dat moet men daar van tevoren weten...!

Mag ik wel hopen ja, straks wandelt er een of andere gek naar binnen die je servers meeratst, moet je ook niet hebben

Ik heb er ook geen server staan. Moest er voor mijn werk zijn. Misschien dat dat scheelt.

Ze deden er vrij moeilijk over. Wel jammer want het is ontzettend leuk om daar rond te kijken.

Moest ook idd mijn paspoort afgegeven. Maar goed dat ik hem bij me had anders was ik er niet eens ingekomen. Hadden ze best even van te voren kunnen zeggen bij het maken van de afspraak.

Mooi verslag.

het is idd een hoop werk even rackje verhuizen, maar dan krijg je ook wat.

Maar wat mij opvalt als ik naar die foto's kijk:
Bij die ML530G2 hebben jullie beide Drive Cages in gebruik (schijven in beide cages), maar er zijn maar 2 ipv 3 voedingen geplaatst.
Ik weet dat als je bij de ML530G1 beide drive cages ging gebruiken, je 3 voedingen moest plaatsen, vanwege powersupply redundancy.

Dus check dat ff, anders is er misschien wel een keer iets opeens plat, terwijl dat echt nie nodig is.

De nieuwere ML530's hebben maar twee voedingen nodig. Dus... wat zou deze ML zijn? G1 of G2.... Ik gok G2.

Leuk stuk.
Wat ik alleen niet begrijp, is waarom de reden van verhuizing voor de daadwerkelijke verhuizing vrij algemeen verwoord is. In dit stuk is het allemaal een stuk duidelijker (en de reden beter te begrijpen) dan in vergelijking met dit stuk bijvoorbeeld.

We moesten inderdaad verhuizen, maar we hoefden niet perse naar redbus. In dat opzicht hadden we in principe een keuze, maar gezien het betere aanbod op redbus ging onze voorkeur daar toch naar uit.
Dit stuk is gewoon wat langer over nagedacht, en is het extra duidelijk uitgelegt omdat uit de reacties onder het andere artikel bleek dat er nog veel onduidelijkheid over bestond

Jullie verdelen de load dvm loadbalancers over meerdere webservers. Maar hoe houden jullie de content (uiteraard niet de database content, wa die staat hopelijk op de db server ) in sync onder die verschillender servers? Of wordt echt alles dynamisch gegenereerd zodat hier geen nood voor is?

Daarvoor heb je dus een fileserver Maar als ik het goed begrepen hebt worden alle statische zaken elk uur gesynchroniseerd met de fileserver, anders heb je veel te veel load op je fileserver en gaat je gehele website hangen als er iets misgaat met de fileserver. Zo voorkom je een single point of failure op je statische content.

Helaas is de database server nog steeds het punt waar het mis gaat, vandaar dat replicatie van MySQL op de todo lijst staat

De content (nieuws, meuk, reviews, forum postings etc) komt gewoon real time uit de database.

Leuk stukje tekst

Ik had (uiteraaaaard als die-hard-Tweaker ) alles ook via de Verhuis-o-meter gevolgd, maar dit artikel geeft wel wat meer tekst en uitleg

Vraag me trouwens af hoe die kabelgoot van binnen eruit ziet Chaos in 't kwadraat denk ik