Serverpark uitbreidingen

Een viertal Appro 1200X dual Xeon-servers vormt al ruim drie jaar een belangrijk deel van de 'backbone' van de Tweakers.net-webserverpool. Na die drie jaren zeer trouwe dienst is nu langzamerhand de tijd gekomen om de oude beestjes uit te rangeren. Hoewel de 2.4 GHz Xeon processors nog lang niet aan het einde van hun latijn zijn is duidelijk te merken dat nieuwere processors en vooral hogere FSB-snelheden een aanzienlijke snelheidswinst kunnen opleveren. De oude Xeon communiceert nog op een vooroorlogse 400 MHz met zijn geheugen, terwijl tegenwoordig het dubbele de standaard is. Zelfs een modale 2.8 GHz Xeon laat een performance zien die tientallen procenten beter is.

Eén van de Appro's was enige tijd geleden al geconverteerd tot mailserver Adonis, en nadat twee weken geleden een defecte voeding in Acidalia voor stroomuitval in 2/3e van ons rek zorgde is besloten deze laatste niet te herstellen en ook meteen de twee andere nog overgebleven Appro's Abaris en Ares met pensioen te sturen.

Voorop stond direct dat we een hogere dichtheid van het serverpark na wilden streven. Ons boerderij is inmiddels uitgegroeid tot zestien machines, met alle nadelen van dien. Het neemt veel ruimte in, heeft een schokkende hoeveelheid voedingen nodig (onze nieuwste machines zijn vaak voorzien van twee of drie voedingen), een hele rits aan switchpoorten en het moet ook nog eens allemaal op locatie en remote gemakkelijk te benaderen zijn. Veel servers brengen de noodzaak tot veel 'ondersteunende hardware' met zich mee, en daarmee gemiddeld hogere kosten. Verder is het onhandig voor het overzicht. Het doel was dan ook om de drie servers te vervangen door twee, per stuk veel krachtiger exemplaren. Omdat een dual processor-configuratie daarvoor een must was bleef de keuze over tussen de Intel Xeon en de AMD Opteron, in zowel single core als dual core uitvoeringen.

Uiteindelijk is, mede op basis van interne praktijktests, de keuze gevallen op de AMD Opteron 275. Hoewel deze 2.2 GHz-chip ruim twee maal zo duur is als de single core 248-versie, heb je er aanzienlijk minder van nodig. Wij schatten dat een tweetal dual 275-servers sneller is dan drie dual single-core exemplaren. Daarbij heb je voor twee servers dus minder hardware nodig en wordt het beheer gemakkelijker. Je levert daarentegen qua redundancy wel in, maar omdat onze pool uit meer dan deze twee servers bestaat is dat geen groot bezwaar. De processors zullen gehuisvest worden in een Supermicro AS1020A-behuizing die gelukkig niet in Supermicro-lelijk-wit-ranzig-rood huisstijl wordt aangeleverd maar in stemmig zwart . Verder is er 2 GB aan geheugen aan boord en worden voor de opslag van data twee Western Digital 74 GB Raptor schijven in softraid aan elkaar geknoopt.

Om het beheer van ons hele serverpark te vergemakkelijken is tevens besloten de huidige opzet van een Aten LCD-KVM-switch voor het 'lokale' beheer en een Cyclades Alterpath console-switch voor remote-beheer om te gooien. In de praktijk blijken niet alle servers (o.a. Artemis) even goed om te kunnen gaan met het forwarden van de console-output naar de Cyclades-switch. Dit heeft tot gevolg dat op cruciale momenten niet alle servers via de console te bereiken zijn. Voorts zijn zowel console-switch als KVM voorzien van 16 poorten, waardoor we bij eventuele toekomstige uitbreidingen van beide apparaten een tweede exemplaar zouden moeten aanschaffen om alles bereikbaar te houden.

Na het vergelijken van enkele mogelijkheden is besloten om op een KVM-over-IP-oplossing over te stappen. Omdat onze huidige LCD-KVM daarvoor niet geschikt bleek wordt deze eveneens vervangen door een nieuwere versie van hetzelfde merk. Hier wordt een tweede 16-poorts KVM-switch aan gedaisychained, waarna het geheel via een KVM-over-IP-module aan het Internet wordt gehangen.

Onze grootste zorg was de performance bij gebruik op afstand, maar een praktijktest op kantoor wees uit dat het gebruiken van een simpele console ongeveer 20 Kbyte/sec aan data verbruikt, iets wat zelfs met de pauperste ADSL-lijn nog eenvoudig te verwerken is. Bijkomend voordeel is dat nu zowel lokaal als remote alle servers met hetzelfde apparaat te bedienen zijn, terwijl er voldoende ruimte is voor toekomstige uitbreidingen. Naar verwachting zullen de nieuwe KVM's aanstaande vrijdag geplaatst worden.

Plaatjes van de nieuwe apparatuur zullen overigens zodra ik (of Femme) tijd heeft aan dit verhaal worden toegevoegd om e.e.a. wat op te leuken .

Update, 10-02 : Helaas zijn we door 'logistieke problemen' (om maar eens een mooi N.S.-eufemisme te gebruiken) gisteren niet aan plaatsing van nieuwe apparatuur toegekomen. Los van het feit dat de nieuwe webservers nog niet binnen zijn, vond één van onze medehuurders het handig om de roldeur van de parkeergarage in puin te rijden. Tegen de tijd dat dat hersteld was en we dus weer met onze auto's naar buiten konden rijden was het al ver in de middag. Daarom is besloten alles een weekje op te schuiven, zodat waarschijnlijk ook alles in één keer geplaatst kan worden.

Update, 13-02: De servers zijn vanmorgen aangekomen op Tweakers.net Office en de werkzaamheden zijn voor morgen ingeplanned. Hieronder even een vlugge foto van de twee nieuwe servers met de nieuwe KVM-switch erbovenop:

Naar verwachting zullen we voorlopig geen KVM poorten meer te kort komen:

Update, 14-02 @ 13:58: De nieuwe servers (naar goede traditie ondertussen Aphaea en Astraeus gedoopt) zijn afgeconfigureerd. Alhoewel beide servers identiek zijn en ze het truukje dus van elkaar af zouden moeten kunnen kijken, vertoont Aphaea wat vreemde kwaaltjes die nu al op hardwarematige problemen duiden. Zekerheidshalve wordt daarom alleen Astraeus vandaag in het rack gehangen (samen met de nieuwe Atlas en de KVM-apparatuur), Aphaea zal later deze week op kantoor grondig door 'dokter Kees' worden onderzocht.

Tijdens het onderhoud zal in ieder geval de GoT-search even in onderhoudsmodus gaan, maar kijk niet vreemd op als je ook elders zo nu en dan een onderhoudsmelding treft. Naar verwachting zullen de werkzaamheden rond 15:00 aanvangen.

Reacties (62)

Naast de foto's ook de review van 't serverpark vernieuwen natuurlijk
Ik probeer m'n baas uit te leggen hoe we 't beste ons serverpark kunnen indelen en daarvoor spiek ik nogal bij jullie

Wat doen jullie eigenlijk met de oude servers?

Gokje: die gaan naar Fok!

Zou wel leuk zijn, de afdankertjes gaan naar fok. Toch vind ik het een beter idee dan een rituele slachting

ik vind rituele slachting beter!

Voor zover ik weet heeft Fok! op dit moment voldoende servers en ligt het probleem meer in het goed up and running krijgen ervan dan in het aantal of de belasting.

Wat doen jullie eigenlijk met de oude servers?

Acidalia gaan we ritueel slachten voor een BBQ denk ik

Ik geloof niet dat ze ooit moeite hebben gehad die intern onder de tweakers medewerkers te verdelen.

Misschien een idee om er een op te installeren en enkele DPC projecten mee te helpen?

Dat is een idee ja, maar of het een goed idee is laat ik maar in het midden

Femme,

Hoeveel load denk je dat 1 server op het drukste moment heeft. Als dit meer als 50% is en er valt 1 server uit gaat het wel wat trager allemaal.

Zijn 3 servers, zoals de huidige opstelling, misschien toch beter.

Naast deze twee nieuwe machines hebben we nog drie andere webservers in de vorm van een dual Xeon 2.8, een dual Xeon 3.0 en een dual Opteron 244. De belasting op de webservers is nu gemiddeld een procent of 30, met de nieuwe machines zal dat dalen naar onder de 20. Uitval van één van de nieuwe servers zal daarmee nauwelijks een merkbaar effect hebben.

Testen jullie dat?

wij trekken regelmatig een server uit het rack / stoppen de apache daarop. dit wordt door de loadbalancer binnen 5 seconden ontdekt en de server wordt uit de pool gehaald. Overigens komen daarbij uiteraard false negatives bij voor, maar het is beter als wanneer een werkende server 5-10 seconden niet mee doet, dan wanneer een niet werkende server 5-10 seconden niet mee doet.

Statistieken van de serverload kun je bekijken op tweakers.net/stats . Je vindt daar onder andere de load, processorbelasting en disk I/O van de servers.

Ik had begrepen dat er geen zelfbouwers meer gebruikt werden? Of zijn deze van melrow. Onze servert heeft een Dell Remote Access Controller, werkt ook wel redelijk geniaal trouwens, maar in een bestaand systeem is een KVM over IP systeem natuurlijk wel zo practisch.

Deze servers worden volledig geassembleerd aangeleverd en zijn in die zin dus geen zelfbouw. 't is alleen geen lopende-band-systeem zoals van Dell of HP.

Nofi, maar in welk opzicht zou je supermicro server barebones significant lager willen plaatsen dan HP/Dell wat dat betreft? In mijn ogen heeft supermicro zijn zaakjes goed voor elkaar, en hun primaire distributeurs (waar jullie naar ik aanneem van afnemen) mogen bij mijn weten niets anders dan door SuperMicro goed gekeurt (meestal ATP meen ik) ram erin stoppen toch? SuperMicro heeft zijn zaakjes best mooi voor elkaar in mijn ogen.

Nofi, maar in welk opzicht zou je supermicro server barebones significant lager willen plaatsen dan HP/Dell wat dat betreft?

Ik zie nergens "lager" staan, wel "anders", zonder kwalificatie van wat beter of slechter is.

...vond één van onze medehuurders het handig om de roldeur van de parkeergarage in puin te rijden.

Zijn daar wel foto's van?

nee, maar ik wil wel ff uittekenen hoe je een soortgelijke situatie thuis kunt nabouwen..?

Als je dan ook even de parkeergarage komt aanbouwen? Graag

doen!

De nieuwe altas die geplaatst zal worden, is daar eingelijk al meer over bekend, laatste wat ik me denk ik kan herinneren was plan: Server werkzaamheden en uitbreidingen, en dat is denk ik niet eens doorgevoerd uiteindelijk?

Vziw word het toen gemaakte plan gewoon doorgevoerd. Ik denk haast dat ze bezig zijn geweest met testen en configureren, hoewel een half jaar vrij fors is.

De search server uit dat plan is in elk geval onlangs in bedrijf gegaan. Zie plan: Server- & netwerkstatusmeldingen

De beide servers uit die .plan zijn een tijdje in gebruik geweest voor het benchen van serverprocessors in MySQL en PostgreSQL databasesimulaties van de Tweakers.net-omgeving. Deze testresultaten zullen binnenkort in een review verschijnen. Het testen heeft enige tijd geduurd in verband met het regelen van vergelijkingsmateriaal en het ontwikkelen van benchmarks.

Met deze investering moet femme nog langer wachten op z'n BMW

Eehm, die heb ik al een maand .

We bedoelen een echte BMW, zo'n 7-serie.

Ik heb geen tijd

Geen tijd?

Geen prioriteit zal je bedoelen

is een van de nieuwe servers down dan

Laat je het Femme even doen

Ik zag dat 't rack nu eigenlijk wel vol is. Blijven jullie intern upgraden en komt er over een paar maanden een rack bij?

Al denk ik dat er nu wel een hele prettige overkill situatie is.

Er gaat nog 'even' 7U uit binnenkort, dan hebben we weer wat ruimte

Goed bezig jullie. Iedereen vind het maar stoer om zoveel mogelijk server te hebben, maar zoals jullie al aangeven is het beheer verdomd lastig. Ik denk dat dit een prima keus is geweest, de opteron 275 ken ik en zal inderdaad prima draaien.

Dit lijkt me wel een goed moment om het Tweakers server park weer eens in z'n totaal in beeld te brengen