Cookies op Tweakers

Tweakers maakt gebruik van cookies, onder andere om de website te analyseren, het gebruiksgemak te vergroten en advertenties te tonen. Door gebruik te maken van deze website, of door op 'Ga verder' te klikken, geef je toestemming voor het gebruik van cookies. Wil je meer informatie over cookies en hoe ze worden gebruikt, bekijk dan ons cookiebeleid.

Meer informatie

Door Femme Taken

Architect

Verslag van Redbus serververhuizing

Waarom verhuizen?

Redbus-verhuizing: aankondigingOp 26 oktober beleefde Tweakers.net de grootste verhuizing van servers in zijn geschiedenis. Na eerder gehost te zijn bij Pair, Rackspace en Vuurwerk werd afgelopen dinsdag de co-locatiesuite van TrueServer in TeleCity veruild voor de nieuwe suite van TrueServer in het datacenter van Redbus Interhouse. TeleCity fungeerde meer dan drie jaar lang als onderkomen voor onze servers. In de tussentijd groeide het serverpark van zes machines naar een legertje van veertien servers, die bijgestaan door twee netwerkswitches, drie APC Masterswitches, een LCD KVM-switch en een console server ongeveer 33 hoogte-units in gebruik nemen. Dit maakte de verhuizing tot een grootse operatie die meer dan 12 uur in beslag nam.

* Waarom verhuizen?

Redbus AmsterdamIn maart van dit jaar maakte onze sponsor TrueServer bekend het merendeel van zijn netwerk- en infrastructuur te zullen verplaatsen van TeleCity naar Redbus Interhouse. Als redenen voor de verhuizing werden de flexibele opstelling van Redbus ten aanzien van de huur van rackspace, de hogere kwaliteit van de technische ondersteuning en de betere prijs/kwaliteitsverhouding genoemd. De klanten van TrueServer kregen de keuze om in TeleCity te blijven of te verhuizen naar Redbus. Vanwege de voordelen van de nieuwe locatie werd verwacht dat de meeste klanten gebruik zouden maken van de mogelijkheid om te verkassen naar Redbus. De verhuizing zou geleidelijk plaatsvinden tussen mei en december van dit jaar, zodat alle klanten ruim de tijd kregen om zich op een eventuele verhuizing voor te bereiden.

Vanwege de voordelen van de nieuwe locatie en het feit dat we onze sponsor zo min mogelijk in de weg willen staan, heeft ook Tweakers.net besloten zijn servers naar Redbus te verhuizen. De concrete verbeteringen ten opzichte van TeleCity zijn ruimere racks met een diepte van 100cm, de aanzienlijke betere koeling dankzij geperforeerde voor- en achterdeuren van de racks, en de betere infrastructuur die TrueServer op Redbus ter beschikking heeft. Ons toch al extra diepe rack in TeleCity had 10cm minder diepte dan het nieuwe rack in Redbus. De koeling van de standaardracks in TeleCity is zeer matig vanwege de dichte glazen voor- en achterdeuren. Vooral in de bovenste delen van het rack kunnen hierdoor akelig hoge temperaturen ontstaan. Om die reden was de deur reeds vervangen door een exemplaar met ventilatiemogelijkheden. Dankzij de geperforeerde deuren in de racks van Redbus kunnen de servers over de gehele hoogte profiteren van de airconditioning in de colo. Een andere verbetering in de racks van Redbus is de geïntegreerde kabelgoot. Met het toenemende aantal kabels in ons kabinet zou een kabelgoot goed van pas komen.

Redbus-verhuizing: Racks in TeleCity
Dichte racks in TeleCity

Redbus rack
De geventileerde racks van Redbus Interhouse

Aan de enorme hoeveelheid werk en de onvermijdelijke halve dag van downtime die met een verhuizing naar Redbus gepaard zouden gaan, was ook een aantrekkelijk voordeel verbonden: de verhuizing naar Redbus zou een ideale gelegenheid zijn om de indeling en de bekabeling van het rack te herorganiseren. Dit was wel nodig, omdat de hoeveelheid kabels in het rack met het volledig aansluiten van onze nieuwe Cyclades console server en Aten LCD KVM-switch flink zou toenemen. Naast stroom en twee keer UTP zou iedere server een aansluiting voor toetsenbord, muis en VGA krijgen. Het installeren, upgraden en verwijderen van servers had in de jaren sinds de
Bekabeling in TeleCity-rack

Vertrek uit TeleCity

Na een gedegen voorbereiding werd dinsdag 26 oktober om 10.30u begonnen met de afbraak van het rack in TeleCity. Om de bezoekers tijdens de verhuizing zoet te houden, kreeg Achelois (development server) de nobele taak om een statische offlinepagina met informatie over het serverpark en de voortgang van de verhuizing te serveren. Nadat de uplink naar de core switch van TrueServer was omgepatched van onze WAN-switch naar de netwerkpoort van Achelois, kon gestart worden met het verwijderen van servers en overtollige kabels. Ondertussen werd nog even een backup gedraaid van de file- en database-servers, zodat we over een actuele kopie konden beschikken in het geval dat er tijdens transport schade aan de vitale onderdelen van het serverpark zou ontstaan.

Redbus-verhuizing: Afsluiten servers

Redbus-verhuizing: Rack TeleCity halfleeg

Zoals verwacht had de development server (een dual Xeon 2,4GHz met Tux als webserver) geen enkele moeite om de requests voor de offlinepagina's te verwerken. De hoeveelheid verkeer die webservers bij het serveren van statische bestanden met de hedendaagse processors kunnen verwerken, is vele malen groter dan de bandbreedte van een gangbare internet-uplink. Dientegevolge kwam Achelois zelden boven een load van 0,05. Het streven om de offlinepagina tijdens het onderhoud regelmatig van een update te voorzien, bleken in TeleCity niet eenvoudig in praktijk gebracht te kunnen worden. Ondanks de vele gigabits aan bandbreedte die er onder onze voeten doorliepen, was de internetverbinding in de customer room van TeleCity van zeer brakke aard. Het aanslingeren van de 'verhuis-o-meter' en het uploaden van een paar foto's vergde enig doorzettingsvermogen.

Redbus-verhuizing: Screenshot offlinepagina (1)Redbus-verhuizing: Screenshot offlinepagina (2) Redbus-verhuizing: Offlinepagina update in customer room TeleCity
Offlinepagina updaten in de customer room van TeleCity

Ons rack kreeg ondertussen een steeds troostelozere aanblik. Rond het middaguur was er van het eens zo goed gevulde kabinet niets meer overgebleven dan een grote leegte, waarin de overgebleven development server bijna vacuum werd gezogen. Het wegtakelen van Atlas, een overbemeten ProLiant ML530 die dienst doet als fileserver, bleek gelukkig geen onoverkomelijke hindernis. Nadat het materiaal was overgezet in de verhuiswagens - een Peugeot 307, Renault Mégane en Volvo V40 - kon de reis naar Redbus aangevangen worden. Bij de verdeling van de servers over de auto's werd erop toegezien dat file- en database-servers niet samen vervoerd werden met de machines waarop hun respectievelijke backups waren geplaatst. Dit om te voorkomen dat bij een eenzijdige car crash ook meteen alle actuele data verloren zou kunnen gaan.

Redbus-verhuizing: TeleCity sloopwerk

Redbus-verhuizing: TeleCity sloopwerk Redbus-verhuizing: TeleCity sloopwerk

Redbus-verhuizing: Femme de kabelman Redbus-verhuizing: TeleCity kabeltjes organiseren

Redbus-verhuizing: Servers op wagentje in TeleCity

Redbus-verhuizing: Servers op wagentje in TeleCity *Actieshot* Redbus-verhuizing: TeleCity servers op wagentje

Redbus-verhuizing: Atlas overgebleven in TeleCity

Redbus-verhuizing: Roelant's V40

Redbus-verhuizing: Roelant's V40

Redbus-verhuizing: Femme's 307

Redbus-verhuizing: Daniël's Megane

Vanwege het gunstige tijdstip in de voormiddag leverde het vervoer naar Redbus geen vertraging op. Twintig minuten na het verlaten van TeleCity arriveerde de colonne in Sloterdijk, alwaar begonnen werd om het eerder beschreven proces in omgekeerde volgorde te herhalen.

Redbus-verhuizing: Op de snelweg

Redbus-verhuizing: Daniël's Megane bij Redbus

Redbus-verhuizing: Ingang Redbus

Opbouw van het rack in Redbus

Aangekomen in Amsterdam Sloterdijk maakten we direct kennis met de eerder door sommige tweakers kritisch beschreven beveiliging van Redbus. Er moeten inderdaad heel wat deuren gepasseerd worden om de colo te bereiken en niet alle deuren reageren even snel op het zwaaien met een beveilingspasje. Redbus verdient wel een pluim voor de prachtige sfeerverlichting in de colocatieruimte. De heldere en toch zachte belichting van diffuus glas in de buitenramen zorgt ervoor dat je, anders dan bij het potdichte TeleCity, toch een gevoel van contact met de buitenwereld houdt .

Redbus-verhuizing: Femme en Roelant voor raam #2

Redbus-verhuizing: Redbus verlichting

Redbus-verhuizing: Redbus zooi op vloer

Redbus-verhuizing: Kabels op de grond

Redbus-verhuizing: Servers op de vloer

Redbus-verhuizing: Switches en console server op de vloer

Redbus-verhuizing: Boormachines

Redbus-verhuizing: Rack in opbouw, achterkant

Redbus-verhuizing: Troep op de vloer

Redbus-verhuizing: Does met schroeven

Nadat de servers naar de tweede verdieping waren verplaatst, kon begonnen worden met het opbouwen van het rack, beginnend bij de ProLiant ML530. Die kon nu gelukkig onderin het rack geplaatst worden zodat we z'n potentiële energie nauwelijks hoefden te verhogen. Dat bespaart niet alleen calorieën maar scheelt ook load op het toch al zwaar belastte Nederlandse zorgstelsel. Na Atlas werden Athena (fileserver), Apollo (database-server GoT), Artemis (database-server frontpage) en Argus (webserver) in het rack gestapeld, met daar bovenop de LCD KVM-switch, load balancers, webservers en switches. Vervolgens werden de stroom- en netwerkkabels aangelegd zodat rond half vijf de eerste machines geboot konden worden. Dit was zonder twijfel het spannenste moment van de dag, want tegenslagen in dit stadium zouden grote gevolgen voor een succesvol slagen van de verhuizing kunnen hebben. Gelukkig werd onze vrees voor defecten door het sjouwen en transporteren van de servers (vooral harde schijven zijn gevoelig) niet bewaarheid. Op één machine na kwamen alle servers succesvol up. De enige dienstweigeraar was de mailserver, die niet meer dan een paar witte pixels in de rechter onderhoek van het scherm liet zien. Nadat John van TrueServer een goed gesprek had gevoerd met de routers werd de routering van onze IP's omgegooid van TeleCity naar Redbus en kon de tweakende medemens vanaf weer vertrouwd over Tweakers.net en GoT surfen. Op dat moment was het kwart voor zes.

Redbus-verhuizing: Rack opgebouwd tot aan webservers
Het rack opgebouwd tot aan de webservers

Redbus-verhuizing: Laptop en Roelant langs raam

Redbus-verhuizing: Labels maken Labels maken

Redbus-verhuizing: Fok! rack
Onze collega's van Fok! verderop in de Redbus colo

Redbus-verhuizing: webservers, load balancers en LCD KVM switch achterzijde Webservers, load balancers en LCD KVM-switch

Redbus-verhuizing: 3com switches en console server
3Com switches en Cyclades console server

Redbus-verhuizing: Booten van de servers in Redbus
Booten van de servers

Redbus-verhuizing: John configureert de routering
John configureert de routering

De werkzaamheden in Redbus waren daarmee nog lang niet voltooid. Nog niet alle kabels bevonden zich op hun plek, er moesten nog labels aangebracht worden en de kapotte mailserver moest opgelapt worden. Rond 18.30u werd een pauze ingelast voor het avondeten, dat dankzij de culinaire kunsten van Arshia (Daniëls verloofde) aanzienlijk beter te genieten was dan het fastfood waarmee we normaal gesproken genoegen moeten nemen bij serverwerkzaamheden. Onderwijl werd voor de laatste keer een bezoek gebracht aan TeleCity om de daar achtergebleven server uit zijn isolement te verlossen. Daarmee werd definitief afscheid genomen van het datacenter waar Tweakers.net meer dan drie jaar van had gebruikgemaakt.

Redbus-verhuizing: TeleCity definitief verlaten
Het TeleCity-rack definitief verlaten

Redbus-verhuizing: Achelois op de vloer in TeleCity
Achelois op de vloer in TeleCity

Na het avondeten werd verder gewerkt aan de bekabeling in het rack en onderging de mailserver een chirurgische behandeling waarbij de harde schijf werd getransplanteerd naar één van de webservers. De hardwarematige configuratie van de mailserver gelijk is aan die van de drie Appro-webservers, zodat er altijd vervangende hardware voorhanden is. Uiteindelijk bleek de kapotverklaarde hardware van de mailserver geheeld te kunnen worden met een simpele reset van het BIOS. Erg vreemd dat een BIOS reset nodig is na het transporteren van een server, maar het is niet de eerste keer dat dit gebeurde. Enige tijd geleden deed zich bij een testsysteem met de nieuwe Nocona-processors van Intel hetzelfde voor. Ook die werd dood afgeleverd door UPS maar kwam weer tot leven na het wissen van de BIOS-instellingen.

Redbus-verhuizing: Weg te werken kabels
Weg te werken kabels

Redbus-verhuizing: Kabelzooi
Kabels, kabels, kabels

Redbus-verhuizing: Mailserver krijgt straf
Mailserver krijgt straf

Redbus-verhuizing: Mailserver transplantatie
Harde schijf-transplantie van mailserver

Redbus-verhuizing: Mailserver nudie Mailserver nudie

Redbus-verhuizing: Mailserver BIOS
BIOS check

Omstreeks 22:30u was het meeste werk gedaan en konden we tevreden huiswaarts keren. Dit laatste bleek voor de delegatie Oost-Nederland geen opgave zonder hindernissen. Vertragingen door files op de ring Amsterdam konden niet gecompenseerd worden met het verzwaren van de rechtervoet en deden de reistijd Amsterdam - Enschede uiteindelijk met een uur toenemen. Over het verloop van de verhuizing kunnen we zeer tevreden zijn. De downtime bleef beperkt en er deden zich geen grote tegenslagen voor. In het verleden is dat wel eens anders geweest bij grote onderhoudswerkzaamheden. Vrijdagochtend werden de laatste dingetjes gefixed die dinsdag over het hoofd waren gezien. Daarmee kon de verhuizing als voltooid beschouwd worden.

Redbus-verhuizing: Redbus kabels weggewerkt in kabelgoot
APC Masterswitches en Cyclades console server

Redbus-verhuizing: Bekabeling weggewerkt in kabelgoot
Kabels weggewerkt in kabelgoot

Redbus-verhuizing: Tweakers.net rack @ Redbus (featuring Kees als Ghostman)
Kees en Daniël zien wazig na dag van zware arbeid

Redbus-verhuizing: Tweakers.net rack @ Redbus
Het nieuwe rack in volle glorie

Redbus-verhuizing: Tweakers.net wagenpark
Tweakers.net-wagenpark

Serverbeheer todo

Nu de verhuizing achter de rug is, zal er verder gewerkt worden aan het testen en afconfigureren van twee nieuwe load balancers. Deze machines draaien een zelf samengestelde oplossing voor load balancing en zullen tevens dienst doen als firewall en traffic logger. Dat laatste zal onder andere gebruikt worden om meer gegevens te verzamelen van de DDoS-aanvallen, die onze servers regelmatig treffen. De nieuwe LB's zullen redundant worden uitgevoerd en gaan de huidige One4Net B-100 load balancer van Brainforce vervangen. Op kantoor hebben we een derde database-server klaar liggen die ingezet zal worden als calamiteitenserver. Deze machine zal paraat staan voor het geval er zich ernstige problemen met de twee database-servers voordoen. Als onderdeel van dit project zullen we onder andere opnieuw gaan experimenteren met MySQL replication om te testen hoe stabiel deze feature in de huidige versies van MySQL is. Verder is er een upgrade van de mailserver gepland met als doel de betrouwbaarheid van deze doos te verbeteren.

Redbus-verhuizing: Redbus voorgevel by night
Het nieuwe onderkomen van de Tweakers.net-servers

Reacties (67)

Wijzig sortering
Staat die truck daar nu nog steeds? Pas maar op dat je geen wielklem krijgt.
Mooi werk, bedankt voor dit leuke stukje tekst :)
Hoe zit het eigenlijk met Apollo? Ik zie hem niet meer bij de statspagina staan?
gefeliciteerd met het slagen van de verhuizing, het ziet er in ieder geval een heel stuk beter uit met de kabels opgeruimd en dergelijke.

Puik werk ;)
Kunnen wij op de hoogte worden gehouden van de testen rondom de replicatie van de MySQL-server? Ik zelf beheer inmiddels een wat drukker bezochte webgame(verreweg geen Tweakers.net), maar wel een systeem wat andere zaken naar voren brengt. De hoeveelheid UPDATE-queries bij ons is behoorlijk wat groter als bij jullie(in verhouding) en wij maken serveren zoals waarschijnlijk wel duidelijk is, amper content.

Om hierin een stukje loadbalancing op database niveau te krijgen wil ik op de hoogte blijven van de laatste updates rondom het repliceren van MySQL. Voor mijn werk repliceren wij met MS-SQL databases. Dit is echter van een heel ander niveau als het repliceren van MySQL...

Nogmaals ik zou het leuk en vooral op professioneel niveau leuk vinden om de bevindingen van deze replicatie terug te zien. Ik denk dat een hoop tweakers hier voordeel mee kunnen doen en misschien krijgen jullie wel de feedback die jullie een stapje verder helpt, dan wel de resultaten op een andere keer doet bekijken.
Ik zie onderin nog steeds een oude foto van het serverpark (bij Powered by: ).

Leuk artikel, heb aandachtig zitten lezen hoe zoiets nu eigenlijk in zijn werk gaat.
N11:
Ik zie onderin nog steeds een oude foto van het serverpark (bij Powered by: ).
Het artikel waar 'serverpark' naar linkt is ook nog oud en gaat over de oude colocatie, Telecity dus.
Miisschien ook wel leuk om even door te kijken:

http://www.redbus.nl/tour/tour01.htm

Een foto tour door Interhouse. Best leuk om even te zien.
Sweet!! Thanks voor de verhuizing. Tweakers is nu stuk sneller :>

Haha @ femme de kabelman plaatje. Wrom moet ik nu aan Mr.T denken *bling* *bling*
Wanneer is er opendag zodat alle tweakers de servers van T.net kunnen bewonderen? :)

Op dit item kan niet meer gereageerd worden.


Apple iPhone 11 Microsoft Xbox Series X LG OLED C9 Google Pixel 4 CES 2020 Samsung Galaxy S20 4G Sony PlayStation 5 Nintendo Switch Lite

'14 '15 '16 '17 2018

Tweakers vormt samen met Hardware Info, AutoTrack, Gaspedaal.nl, Nationale Vacaturebank, Intermediair en Independer DPG Online Services B.V.
Alle rechten voorbehouden © 1998 - 2020 Hosting door True