Fotoverslag serververhuizing

Zoals je vermoedelijk nog kan herinneren heeft vorige week zaterdag een verhuizing plaatsgevonden van de Tweakers.net-servers. Het serverpark werd verplaatst van Redbus naar de colocatiesuite van True in het datacenter van EUNetworks. De serververhuizing was een succes, niet alleen omdat alle spullen behalve een nieuwe loadbalancer na de verhuizing weer werkten, maar ook omdat jullie lieve kijkbuiskinderen zo hebben genoten van onze verrichtingen op de webcams. De serververhuizing zorgde ervoor dat er zaterdag wat minder nieuws werd geplaatst dan normaal. Niet getreurd, het nieuwsaanbod was namelijk zo schraal dat Webwereld het nodig vond om over onze webcamavonturen te berichtgeven.

De concrete werkzaamheden aan de serververhuizing begonnen, na enkele maanden van voorbereiding, op dinsdag 19 juni toen de nieuwe racks uit hun verpakking werden gehaald en de vier APC Masterswitches werden geïnstalleerd. De nieuwe racks in EUNetworks beschikken over elk twee powerfeeds met per rack een stroomsterkte van 14 ampère in plaats van de 8A waar we het in Redbus mee moesten doen. Dat laatste was een probleempje omdat ons rack een stroom van 21 ampère trok. In het rack worden verticaal georiënteerde Masterswitches gebruikt die aan beide zijden van het rack zijn gemonteerd. Hiermee beschikt elke apparaat met dubbele voedingen over een redundante stroomvoorziening die door verschillende feeds wordt verzorgd.

Een week later werden de switches geïnstalleerd en twee nieuwe servers opgehangen. Tevens werden in een naastgelegen rack twee afgedankte webservers opgehangen die de webcamstreams tijdens de verhuizing zouden gaan serveren. True had twee webcams opgehangen in Redbus en EUNetworks zodat de verhuizing live bekeken kon worden. De nieuwe switches zijn van het type HP Procurve 2900-24 en zijn voorzien van een viertal 10GbE-poorten waarmee een 20Gbit-verbinding tussen de twee racks is opgezet.

Op zaterdag 30 juni om half tien begon het echte werk. De site werd vervangen door een tijdelijke pagina waar de verrichtingen tijdens de verhuizing in tekst en beeld gevolgd konden worden. Vervolgens werd er begonnen met het afbreken van het rack terwijl de database- en fileservers aan het werk werden gezet om een backup te draaien. Na de nodige moeite en pijn - zowel Daniël als Kees liepen snijwonden op - lagen de servers rond kwart voor twaalf in de auto's en werd Redbus verlaten. Arethusa bleef achter om de tijdelijke pagina te serveren.

De eerste servers worden verwijderd uit het oude rack


Oude rack


Kabelbende in oude rack


Bloed op de datavloer!




Transport


Tweakers.net stationwagenvloot

Drie kwartier later lagen de servers op de vloer van EUNetworks en kon begonnen worden met de opbouw van de nieuwe racks. Het ophangen van de servers nam ongeveer anderhalf uur in beslag. Vervolgens moest er gewerkt worden aan het aanleggen van de netwerk- en kvm-kabeling. Als laatste werden de stroomkabels aangesloten, waarna de servers één voor één geboot konden worden. Daarna moest de netwerkconfiguratie gewijzigd worden zodat de site vanuit EUNetworks geserveerd kon worden. Tot dat moment hadden zich geen hardwarematige problemen voorgedaan en de leek de verhuizing met succes afgerond. Helaas bleek in de avond dat nieuwe loadbalancers niet helemaal lekker waren. Inmiddels zijn beide oude loadbalancers, waaronder één waar Daniël tijdens de verhuizing nog op heeft staan stampen, weer in gebruik genomen om tijdelijk soelaas te bieden. De nieuwe loadbalancers, gebaseerd op PowerEdge 860-machines van Dell, klappen er zonder aanwijsbare reden binnen een half uur uit.

Servers aangekomen in EUNetworks


De eerste servers gaan de nieuwe racks in


Daniël en Kees bezig met prutsen




Daniël deed nuttige dingen met de oude stroomkabels


...en misbruikte vervolgens een oude loadbalancer


Hylke en Kees nog steeds aan het prutsen


Voorzijde racks


Database-servers


Achterzijde van beide racks


KVM-switch


KVM-poorten


KVM-slaafje


7,5 ampère op één van de vier powerbars


Vanaf deze uiterst flexibele mobiele werkplek werd de tijdelijke site geupdate


De ColoCandy-automaat bood versnaperingen zoals utp- en seriële kabels


Nu nog even doorsparen...

De plaatsing van de nieuwe Artemis, de database-server van de mainsite, is voor onbepaalde tijd uitgesteld omdat ook deze machine wazige problemen heeft. Dit systeem is gebaseerd op een Dell PowerEdge 1950 met een MD1000 diskarray, vergelijkbaar met wat we voor de forumdatabase gebruiken.

Reacties (121)

Als ik de kabels zou zie, vraag ik me af waarom er geen rangeer panelen bij switches en kabelarm aan de servers gebruikt zijn. Nu hangen de kabels alsnog aan de switches en ziet het er (ondanks de verbetering ten opzichte van bij Redbus) er rommelig uit.

Die EVA zal denk ik een EVA8000 zijn , gezien de 4 loopswitches die er in zitten.
De loopswitches zitten tussen de controller (boven en onder) en diskshelf, zijn 9.5 inch en met zijn tweeen op 1 u gemonteerd.
De racks waar dat alles in gemonteerd is, zijn nog niet zo lang uit, denk dat het er niet langer zal staan dan een half jaar.

[Reactie gewijzigd door SpamLame op 5 juli 2007 08:30]

Een reden om geen kabelarmen achter de servers te gebruiken is dat je de airflow uit de server aan gort helpt.

Je moet gewoon je kabels netjes wegwerken in je rack en veel met klitteband werken. Wij zijn net zelf verhuisd met het datacenter (iets grotere operatie dan de t.net verhuizing) en bij ons is er al iets van 100 meter klitteband doorheen gegaan.

Kabelarmen hoeven niet de airflow te belemeren, ligt er beetje aan wat voor rack je hebt.

Als je kabelarm aan de binnenrails vastmaakt dan zorgt het vaak voor airflow problemen. Maak je de kabelarm vast aan de kast zelf dan heb je meestal geen airflow problemen.

In dit geval denk ik dat Spamlane de kabelarmen bedoelt die je aan de server vastmaakt t.b.v. het in en uit kunnen schuiven van de server. Die bedoel ik in ieder geval wel

En als je die aan al je servers zet met netjes de kabels erdoorheen dan is je airflow aan de achterkant aan gort. Helemaal vervelend als je in een datacenter zit dat van hot/cold zonering gebruik maakt.

Klopt, die 'armen' hebben we inderdaad bij de Dell's en de x4200, maar in Redbus pasten ze niet, en in EUNetworks verkloot het de airflow, dus True ziet liever niet dat we ze gebruiken.

Je kan best creatief aan de gang. Zo proberen wij zo min mogelijk kabels te gebruiken en anders deze zo snel mogelijk naar de zijkant af te voeren.
KVM's proberen we uit te faseren: veel servers hebben iLO (achtige, wij hebben HP) aansluitingen. Kan je alles remote (Ja, inclusief BIOS, booten van FDD/.iso etc). Ook zijn de moderne servers voorzien van USB en VGA aan de voorkant, zodat er altijd nog een TFT'tje en een keyboard/muis aan kan, als dat nodig is.
De KVM die we nog gebruiken, maakt gebruik van KVM-UTP converters. Scheelt weer dikke kabels door de kast.
Ongetwijfeld dat het je airflow aantast, al die kabels maar met ventilators in het dak van de kast, rooster deuren en goede plaatsing van ventilatietegels en afzuigplafondplaten kom je een end. Zorg daarbij dat je onderaan begint met afvullen van racks en je vooral blindplaten gebruikt voor de lege u'tjes, dan kan er niets misgaan.

Ok, met volle gewicht op loadbalancer. Mooi in beeld, prachtig. Bewijs geleverd en het gebeurde is erkend. Rest de vraag:

Waarom dan toch

Verder: de kabels zijn nu beter in systeem. Volgorde, plaats, laag voor laag aangebracht, netjes gebundel. Maar het blijft toch een kabelboom. (er lijkt ook nog zo'n groene utp best wel gespannen te staan, maar kan het niet goed zien.)

Wel opvallend dat jullie nog best veel ruimte over hebben nu, maar ondanks betere voorziening hier niet zoveel stroom meer

Edit: ik lees mijn post terug, en hij klinkt negatief, en dat terwijl ik meer met grote bewondering kijk naar het beheer van al die verschillende servers. Jullie maken het zo mooi en netjes als het te maken valt zover ik kan zien

[Reactie gewijzigd door ram.con op 5 juli 2007 00:56]

Ok, met volle gewicht op loadbalancer. Mooi in beeld, prachtig. Bewijs geleverd en het gebeurde is erkend. Rest de vraag:

Waarom dan toch

Die loadbalancers waren de schuld van het feit dat we zo'n 8 uur gekloot hebben gehad vlak na de introductie van Tweakers.net NG, waardoor we nu nieuwe loadbalancers hebben (die atm ook raar doen, maar da's weer een ander verhaal).

Oftewel: wij waren die oude loadbalancers nogal zat, en Daniel had de keuze tussen erop gaan staan of eroverheen te rijden met z'n auto, blijkbaar koos 'ie voor het eerste.

En het waarom..waarom niet? Het is niet alsof het top of the line hardware is, het is een pisbakken-stalen rukkast die doorgebogen is geraakt in de loop van de jaren, er zit een paupere celeron processor in en 512MB intern geheugen. Als het in een gewone desktopkast zou zitten hadden de meeste tweakers hem allang aan de stort gedoneerd

Ochja, blijkbaar kunnen ze wel de load van Daniel in de echte wereld teminste ook nog gewoon balancen

Als het in een gewone desktopkast zou zitten hadden de meeste tweakers hem allang aan de stort gedoneerd.

Zo snel gooien echte tweakers hardware niet weg.
Ik zou daar nog vanalles mee doen.

Wou net zeggen, ik heb hier als hobbie/rommel machine een Compaq Deskpro 2000 (Pentium 1/133mhz /64mb /10gb) staan.
fungeerd nu als honeypot machine, grootste lol heb ik ermee, laag in stroomverbruik, stil (passief gekoeld) en staat niet in de weg.

ZIe ik dat goed? gebruik Twaekers.net 37Kilowat per uur???
Volgens mij moeten julie toch ook maar eens wat groener worden in dat geval!

We trekken ongeveer 20 ampere, dus zo'n 4.4KWh of een dikke 6MWh per jaar.

We trekken ongeveer 20 ampere, dus zo'n 4.4KWh

4,4 kW bedoel je dan denk ik? Of 4,4 kWh/h?

(is het voltage in Nederland trouwens niet al tijden 230V ipv 220V?)

of een dikke 6MWh per jaar.

4,4 * 24 * 365 is bij mij ongeveer 38,5 MWh, hoe kom je aan die 6?

Nee, ze gebruiken (op die foto) 7.5 ampere. Die KWh meter is waarschijnlijk cumulatief (dus tot het moment van die foto is er 37 KWh over die switch gegaan).

Dan moeten ze minder hardware gaan gebruiken, waardoor 1000en tweakers langer op hun pagina's moeten wachten, voordat ze stoppen met surfen.
Dat zal veel meer energie kosten...

[Reactie gewijzigd door romic op 5 juli 2007 10:09]

Ooit gedacht om Netscalers van Citrix er tussen te hangen??????

Die zijn nogal *kuch* prijzig... Heb destijds in een optimalisatieklusje in Turkije mogen tweaken aan een loadbalancer setup. Hier hebben we 3 apparaten geprobeerd:
- Juniper DX loadbalancer, kon het niet trekken
- Citrix Netscaler, bleek 50.000 dollar te kosten met de opties zoals ie in onze testopstelling hing, werkte voortreffelijk.
- Simpele 1U server met 2 NICs en OpenBSD met een bridging firewall en hostapd voor loadbalancing: werkte voortreffelijk en haalde ook gewoon alle load van de servers af.

Het probleem was niet het loadbalancen op zich, maar het feit dat de netwerkstack van linux ranzig is. De OpenBSD loadbalancer ving dit op door de hele SYN handshake over te nemen van de linux machines, om vervolgens alleen compleet opgebouwde verbindingen door te zetten naar de servers. Wat een Netscaler doet is nog veel bruter: die gaat gewoon als een soort proxy met zeer weinig overhead je connecties multiplexen.

Wij gebruiken loadbalancers van Radware... Ook erg geinig spul.

Weten jullie ook van wie die laatste racks zijn?

Wel super die versnapperingsmachine

[Reactie gewijzigd door KRGT op 4 juli 2007 23:57]

Geen idee van wie ze zijn maar het was wel hét faphoekje van de colo. Twee bladechassis en twee van die EVA-achtige san-controllers met in totaal 72 stuks 300GB 10K fibre channel schijven. Verder nog een paar 2U en 1U doosjes met 2,5 inch sas-schijfjes en een tape robot. Was goed over nagedacht en zat een fijn budget achter .

[Reactie gewijzigd door Femme op 5 juli 2007 00:23]

Lijkt onze machines wel van Ordina Oracle Solutions We hebben een aantal van dit soort EVA's en de nieuwe generatie EVA's (i.c.m. blade-enclosures) draaiende voor diverse klanten en tape-robots zoals deze op de foto. Voor zover ik weet kost het een paar centen, maar maakt het dagelijkse beheer een stuk fijner. De tape-robots (incl. barcode scanner) is dan puur bedoeld voor archivering, waarbij de EVA's als harddisk-to-harddisk backup wordt gebruikt.

Het grappige aan de nieuwe generatie storage units is dat als er een harddisk uitvalt, dat HP automatisch door de controller op de hoogte wordt gebracht. Staat er ineens een koerier met een nieuwe 300GB harddisk zonder dat wij al iets hadden geconstateerd Erg handig!

[Reactie gewijzigd door pSycho-Y2K op 6 juli 2007 00:23]

Staat er ineens een koerier met een nieuwe 300GB harddisk zonder dat wij al iets hadden geconstateerd Erg handig!

of je even betalen wilt voor iets waarvan je niet wist dat het kapot was

Wat vindt TRUE ervan dat jullie zonder toestemming van de eigenaars van de apparatuur er foto's van maken? Meestal wordt dit niet gewaardeerd en is het ook niet toegestaan.

True vond dat we overal foto's van moesten maken

Waar ik mijn thesis doe zijn er grote IBM racks vol met fibre channel schijven. Dat zijn nog meer racks volledig vol met schijven Als je tussen de racks stapt wordt het behoorlijk warm (zelf met een airco die er recht op blaast)

Dat zijn inderdaad leuke setups, ik weet er nog ergens eentje staan met een grote eva, een hoopje blade chassis die vrij aardig gevuld zijn, ondertussen wel verschillende generaties.

Die draaien 90% vmware esx, en dan nog es x2 in 2 fysiek gescheiden datacenters, mooi allemaal.

Maar anderzijds kom je soms ook prehistorie tegen maar dat zal dan wel meer in prive datacenters/suites zijn.

Maar leuk verslagje en moge de dell doosjes snel het gezelschap vervoegen.

daar is mijn homeserver dus helemaal niets bij

verder nice job, was grappig om jullie te zien prutsen en dan natuurlijk nog ff alles terug te lezen...

[Reactie gewijzigd door tuxdapinguin op 5 juli 2007 08:42]

Hehe, wel grappig dat jullie dit gewoon zelf doen met eigen autootjes. Menig ander bedrijf zou het uitbesteden aan gespecialiseerde verhuisbedrijven met gepantserde vrachtwagens en de boel verzekeren voor duizenden euro's premie

[Reactie gewijzigd door Palomar op 5 juli 2007 00:21]

Uh... ik heb zelf ook menigeen serververhuizing van een grote ICT er gedaan, en dat gaat in 80% van de gevallen in eigen autotjes of gehuurde trucks.. Heb het wel 's door een verhuizer laten doen, maar die flikkeren de servers in grote dozen met wat canvas rotzooi erin en dan zeggen ze 'speciaal vervoer'...

Prima verhuizing!! ROFL om die bloedvlek en vooral die candy-automaat!!!
IT-nerd heaven!!!

pff, where's the fun in that?

We hebben het hier wel over tweakers heh

Jij bent zeker ook zo'n kantoorpipo die altijd moeilijk doet (no offence) ? Het spul draait nu, niet zeuren

ach.. "buitendedeur" verzekering van interpolis he

Staat daar nou "Apollo slet" op die sticker?

Jep -> http://tweakers.net/ext/i/1160850409.jpg

Er staat "Apollo slot".

Er staat wel degelijk Apollo slet... Alle externe storage-bakken worden 'hoofdbak'-slet genoemd bij tweakers.net.

Eerst nadenken, dan spreken. Geldt dubbel als je andere mensen verbetert

Wat ik me afvraag, waarom hebben jullie 20GB aan bandbreedte nodig. Hoeveel dataverkeer trekken jullie dan wel niet?

Dat is interne bandbreedte. En dat is vooral nuttig om de latencies te beperken tussen de twee racks (webserver <-> database communicatie enzo), geen last te hebben van backup-handelingen, etc. Ach, en de switches kunnen het toch, dus waarom moeilijk doen met 4 getruncte Gbit-poorten terwijl je tegen enkel de kosten van 2x 5m CX4-kabels ook die vier poorten vrij kan houden en twee 10GbE-poorten kan truncen.

20 GB is nou niet bepaald veel voor een drukke site als tweakers.net, dat werken ze er per dag wel een paar keer doorheen denk ik zelf.

komt de vraag: hoeveel verbruikt Tweakers.net per seconde/minuut/uur/dag/week/maand/jaar(misschien leuk idee voor een poll op de frontpage?)?

20Gbit is wat anders dan 20Gigabyte he?

Woei, prachtige foto's van onze geliefde admins in actie. Je staat er weer mooi op te prutsen Hylke.

Wat is die bloedvlek overigens verdacht rond?! Geen kogelgaten in de buurt?

Mooie kleine, ronde bloedvlek betekent dat de druppel bloed uit een (vrijwel) stilstaande bron kwam, met weinig snelheid, ik denk dat we een kogelgat wel mogen uitsluiten

Verder mooie sfeerimpressie

We hebben een CSI kenner

of hij is een fanatieke gamer, want bij al die rond vliegende kogels zie je geen ronde bloed spatten hmmm ik heb het gevoel dat ik uit ervaring spreek

en daarom zijn wij HP gaan gebruiken.
vage meldingen op arrays en onverklaarbare hardware storingen zijn nu verleden tijd

hmmm, ons san is ook van HP. Maar binnen enkele maanden na installatie kwamen er twee engineers van HP om ALLE harddisken uit het SAN te vervangen: vanwege allerlei onverklaarbare hardwarestoringen (met name uitval van schijven). Een merk geeft dus geen garantie tegen onverklaarbare storingen, gelukkig wel in de afhandeling van de problemen...