Tweakers.net goes Redbus Interhouse (26 oktober)

Al sinds juni 2001 wordt Tweakers.net gehost door TrueServer in zijn suite in het Telecity 2-datacenter. Hoewel het bijna onmogelijk leek om er qua locatie nog op vooruit te gaan, zijn we er samen met onze hostingpartner toch in geslaagd voldoende redenen te verzinnen die het de moeite waard maken om ons serverpark nogmaals te verhuizen.

De reis brengt ons dit keer naar Redbus Interhouse, een vrijwel nieuw datacenter in de buurt van Sloterdijk. Aldaar zal ons serverpark gehuisvest worden in 100cm diepe racks (10cm dieper dan de huidige), die dankzij de geperforeerde deuren bovendien beter gekoeld zijn. Daarnaast biedt een verhuizing de mogelijkheid de gevolgen van tientallen grote en kleine upgrades en werkzaamheden op te ruimen. Door helemaal opnieuw te beginnen kunnen alle servers op een ideale plek worden gehangen en ontstaat de mogelijkheid kabels nog beter weg te werken. Daardoor zullen toekomstige serverupgrades en ander onderhoud gemakkelijker uitgevoerd kunnen worden.

Ook op het gebied van het netwerk valt vooruitgang te bespeuren. Zo wordt door TrueServer gebruikgemaakt van twee Extreme Networks Blackdiamond coreswitches die onze servers van een redundante verbinding zullen voorzien. Deze Blackdiamonds zijn kruislings verbonden met TrueServers corerouters op Redbus en TrueServers glasvezelring, waardoor de kans op downtime als gevolg van een defecte router tot een minimum wordt beperkt.

Aangezien het niet mogelijk is om alle servers in één keer te verhuizen zonder enige downtime en een verhuizing in stappen geen voordelen biedt, zal Tweakers.net in de ochtend van 26 oktober niet beschikbaar zijn. Er zal één server in TeleCity achterblijven die statische pagina's met het laatste nieuws en updates over de voortgang van de verhuizing zal serveren. De hoop is dat in de loop van de middag alles weer up and running is, vooropgesteld dat Murphy afwezig blijft.

Update 18:15 Alhoewel de verhuizing tot op heden redelijk probleemloos en soepel is verlopen, blijkt de mailserver de strijd niet te hebben overleefd. De harde schijf van de mailserver zal getransplanteerd worden naar één van de Appro-webservers (die hardwarematig gelijk zijn aan de mailserver). In de loop van de avond hopen we ook ons mailverkeer weer up and running te hebben. Van de overige werkzaamheden verschijnt binnenkort een fotoverslag op de frontpage.

De "Tweakers zonder .net" pagina's die tijdens de verhuizing waren te zien, zijn hier gearchiveerd. Op deze pagina's zijn een aantal foto's van de verhuizing te vinden.

Update 21:21 Na een reset van het BIOS is de hardware van de mailserver weer tot leven gekomen. De mailserver werkt inmiddels weer.

Reacties (186)

[neographikal]

Succes met het opnieuw bekabelen van de kast.... Misschien is het een idee om dit zoveel mogelijk van te voren te doen, dat kan op de dag zelf een hoop werk schelen

Geen servers laten vallen he

edit: Redbus is trouwens wat makkelijker met het OV te bereiken, kan handig zijn als je er in de spits naartoe moet Telecity is een aardig end lopen vanaf Duivendrecht of het metrostation. Vooral met een 2U server . Ik had hele lamme armen

[moto-moi]

Succes met het opnieuw bekabelen van de kast.... Misschien is het een idee om dit zoveel mogelijk van te voren te doen, dat kan op de dag zelf een hoop werk schelen

Eh.. dus eerst de hele shit opnieuw bekabelen, en daarna de zooi offline halen om in Redbus weer hetzelfde te doen ?

Klikt nogal zinloos ?

[kodak]

Grapjas. Lijkt me toch dat neographikal bedoeld dat er bij Redbus vooraf zoveel mogelijk naar wens bekabeld wordt. Dat is uiteraard niet zinloos.

[reiker]

De hoop is dat in de loop van de middag alles weer up and running is, vooropgesteld dat Murphy afwezig blijft.

Ik vind 15u toch al behoorlijk "in de loop van de middag". Uiteraard is dit persoonlijk...

edit: Ok, dit is dus een reply op een andere reactie van kodak, om 00:51.

[neographikal]

Zoals Kodak dus zegt Ik ben niet helemaal moto , en een rack netjes bekabelen is gewoon een hell van een job, dus als je dat vooraf al kan doen, kan dat op de dag zelf flink gestress en werk schelen. Jullie waren ook wel even zoet met dit rack opnieuw te bekabelen

Ow ja, succes met Atlas trouwens. Wat woog dat ding? 60 of 70 kilo?

[gp500]

Daarom heet ie ook atlas zeker

[CH4OS]

Ja je neemt je server ook net zo gemakkelijk mee onder je arm in de trein...

Met andere woorden: Lijkt me niet logisch, dat je een server meeneemt in een trein, maar dat je voor als kleine dingen hebt, of je er wat te doen hebt (server heeft problemen bijvoorbeeld) dat je dán het OV pakt...

[neographikal]

Bij gebrek aan een rijbewijs op dat moment, en een pa die op die dag de tijd had om me weg te brengen zal je toch naar je servertje moeten, en ja toen stond ik met een leuke kast op het perron enzo Mensen keken nogal vreemd trouwens

Helemaal leuk was toen de 4U bak kapot was die bij Globalswitch stond. Gelukkig is dat niet zover lopen, maar van die ene kilomter kast sjouwen heb ik een week spierpijn ehad

[Sorcerer8472]

Vanaf Duivendrecht?
Ga dan ook vanaf Bijlmer, dat scheelt een heel eind lol

Redbus is ongeveer even ver van Sloterdijk als TeleCity2 vanaf Bijlmer geloof ik.

[kodak]

Les 1 voor het verhuizen van servers: zeg nooit dat het maar een ochtendje zal duren. Te kort tijd uit trekken zorgt altijd voor onverwachte problemen. Hoewel ik er alle vertrouwen in heb dat iedereen zn best doet om dit zo goed mogelijk te plannen kijk ik echt niet vreemd op als het tot een uur of 3 in de middag gaat duren voordat het weer volledig gebruikt kan worden.

[Osiris]

Houden jullie wel dezelfde IP-range etc?

Zo ja, hoe gaat dat in z'n werk eigenlijk, zo'n subnet verhuizen naar andere routers + andere route naar die router toe?
Zo nee, wordt 't dan maar duimen dat de DNS-servers snel genoeg geupdate worden?

Ik neem aan dat je dezelfde IP's houd etc, maar in dat geval snap ik zo'n IP-verhuizing niet echt goed.. Kbedoel, ook de T.net-range heeft "buur"-ranges en die zullen ongetwijfeld nog in Telecity hangen oid.. * 786562 Osiris

[Anoniem: 13875]

T.Net heeft momenteel een vlan met een /25 op TC2, om de lokaties "dubbel" te laten draaien tag ik eerst hun vlan door over onze glasvezelring naar Redbus, zodra daar alles live is wordt de range bij TC eruit gehaald en wordt die vanaf Redbus announced. Alle routers lullen onderling OSPF dus er zal geen probleem met "buurranges" zijn

[Roelant]

We behouden dezelfde IP-range (wat ons ook aardig wat netwerk herconfiguratie scheelt, niet alleen de DNS moet dan immers worden aangepast). Hoe dat technisch vormgegeven wordt weet ik niet.

[Anoniem: 40214]

Intressant zijn de stats.
http://www.tweakers.net/stats
Bij het downgaan van de servers was er een korte heftige diskactifiteit.
En bij het up gaan was de load even hoog.
Kennenlijk veel te verwerken?

Iemand nog wat mail time-outs ontvangen?

[curry684]

Intressant zijn de stats.
http://www.tweakers.net/stats
Bij het downgaan van de servers was er een korte heftige diskactifiteit.
En bij het up gaan was de load even hoog.
Kennenlijk veel te verwerken?

Anders trap je even een paar open deuren in

Als je een server neerhaalt krijgen alle draaiende processen een clean shutdown request ontvangen waarna ze al hun gecachede en andere in-memory data verwerken en opslaan. En bij het opstarten lezen ze het weer allemaal in

[Roelant]

En wat denken jullie van het maken van een last-minute backup?

[Anoniem: 76091]

Dat komt door het loaden/unloaden van het OS en cachen/saven van data.

edit :Iets te laat

[Anoniem: 47550]

Wow dit is echt extreem goede reclame voor RedBus. Zelf wil ik namelijk ook een paar servertjes onderbrengen in een datacentrum en ik zat te twijfelen tussen de locaties Telecity 2 en Redbus. Telecity 2 vooral omdat dat als zeer goed bekend staat en grote partijen hosten. Redbus kwam in beeld toen ik er achterkwam dat dat op een steenworp afstand vanaf Sloterdijk zit. En dit nieuws doet de knoop door hakken om te kiezen voor een co-locater in Redbus.

[Sorcerer8472]

Dan kun je wel ver gooien
Tis minstens een kwartier lopen op normale snelheid. TeleCity2 twintig minuten vanaf A'dam Bijlmer, zoals ik al eerder zei

[Atmosphere]

tis 7 minuten lopen (gemiddelde tijd over 3 dagen ... )
Trouwens wel een leuk complex...

tip voor de crew: vergeet niet je bezoekerskey in te leveren, kan dure grap worden

[Anoniem: 7998]

Kwartier?? Hoe langzaam loop jij dan wel niet? Of je loopt om..

* 786562 Michiel

[krvabo]

Welke server blijft er eik achter? (ik neem aan dat dat ook maar tijdelijk is )
Als arethusa achterblijft, blijft ook de irc server online en moeten we niet met z'n allen naar osiris.parse.nl
Ik geloof ook dat arethusa de crew-webspace host? dus zou niet zo moeilijk moeten zijn om dan de statische pagina te laten zien?

[moto-moi]

Welke server blijft er eik achter? (ik neem aan dat dat ook maar tijdelijk is )
Als arethusa achterblijft, blijft ook de irc server online en moeten we niet met z'n allen naar osiris.parse.nl

Waarschijnlijk een van de huidige webservers, die we met Tux een statische pagina laten serveren.
Arethusa moet toch eens over, en is niet zo'n vreselijk moeilijke bak, aangezien die niet depend op een van de andere bakken, zoals bijvoorbeeld de webservers.
Maargoed, we hebben nog anderhalve week om dit voor onszelf uit te dokteren

[Zwerver]

mjah, dat zeg je wel mooi Maar het is toch wel handig als je begin a.s. week weet wat wanneer gaat, uit ervaring kan ik zeggen dat het verhuizen van servers anders best een ramp kan worden

[moto-moi]

Heel simpel gesteld liggen er maar 3 soorten servers in ons rack:
1) DB servers (de opterons)
2) fileserver (atlas)
3) Webservers die van 1 en 2 afhankelijk zijn
4) losstaande servers (mail, irc, beta, dat soort dingen).

Waarbij je gelijk wel door krijgt in welke volgorde we de zooi weer moeten aanzetten

[Zwerver]

Heheh, ja, dat weet ik idd wel ja

[lost95]

Ik hoop trouwens wel dat je beter kan serverbeheren dan dat je kan tellen .

[Osiris]

Arethusa zal toch echt óóit wel eens moeten verhuizen en T.net heeft geen 2 IRC-bakken, dús zul je toch écht eens op osiris moeten gaan hangen.
Iets wat sowieso geen probleem is uiteraard.

[Kees]

achelois blijft in eerste instantie achter op telecity, dat is een dual p4 2.8 GHz met 1G ram, ruim voldoende voor wat statische zut

[Osiris]

Sinds wanneer draait er op Achelois een IRCd?

_{'t Ging om 't IRC-gebeuren}

[tricksel]

RedBus is góed! Wij hosten er zelf ook, via ProServe, en de hele locatie zit heel behoorlijk goed in elkaar. Daarnaast zit er een best leuk wijffie achter de balie

[duderuud]

Deze bedoel je?
http://www.duderuud.demon.nl/foto_redbus/lekkerrr.jpg

Dat vond ik dus ook

[edit]
Krijg het plaatje niet goed geupload, damn...

[WhiteDog]

Een state-of-the-art datacenter en aan de balie gebruiken ze een rolodex...

[CyberSnooP]

Tis ook wat als je halve datacenter plat ligt en je kunt de juiste mensen niet bereiken omdat je de telefoonnummers niet kunt bereiken. Geniaal die rolodex dus (maar wel alert van je )

[The Ghost]

Je bedoeld Precilla, ze is nog aardig ook :-)

[EricV]

Wow, er werkt een vrouw in een datacentre, en ze is blond. Post een foto... *zucht*

Denk trouwens dat ze het zelf ook niet erg leuk vindt.

[Mujo]

Meerrr plaatjes van Pricilla

[Weppel]

De laatste keer dat ik in Telecity2 was zat er een 40-jarige bewakingsmedewerker aan de receptie, niet echt je-van-het.

Het kan zijn dat dat tegewoordig anders is, ik hoef maar sporadisch in Telecity2 te zijn (mijn servers lopen nooooit vast )

[tazitiz]

Pris werkt daar doordat zij een vriendin is van de vorige receptioniste, en die werkte daar omdat ik haar er had voorgesteld. En ze is ook een heel leuke meid. klopt.

mijn werk huurt in dat gebouw kantoorruimte.

[Plague]

Er zal één server in TeleCity achterblijven die statische pagina's met het laatste nieuws en updates over de voortgang van de verhuizing zal serveren.

Ambitieus plan
Ik hoop dat dat een dual Opteron bak is met een shitload aan geheugen, want 100.000 tweakertjes die zitten te F5-en, is niet cool voor 1 server
Daarnaast zou ik er geen zogenaamde "#1's" op zetten, want dat is natuurlijk vragen om overload (maar dat hadden jullie zelf vast ook al bedacht )

[ACM]

Nooit van statische html gehoord?

[Plague]

pure HTML is toch per definitie statisch, of laat mijn kennis mij in de steek?
Maargoed, het lijkt me dat 1 server zoveel requests, of het nou statisch is of niet, het misschien niet leuk vind en zich snel eenzaam gaat voelen

[Hielko]

Je browser krijgt altijd gewoon html binnen. Deze kan statisch op de server staan, of voor elke request dynamisch gegenereerd worden (bijv. door middel van php). Het serveren van statische html is zo extreem simpel dat 1 server zoiets zonder problemen kan doen voor nog veel meer bezoekers dan t.net dagelijks krijgt. Bij een beetje server zal de limitatie al snel bij de netwerkbandbreedte komen te liggen, dan bij de server zelf vermoed ik.

[Kees]

Het statisch serveren van requests mbv tux (kernel space webserver) is zo snel dat inderdaad de netwerkverbinding eerder volzit dan de server.

Met tux heb ik in test situaties al meer dan 80.000 requests per seconden kunnen genereren, dan zit je al snel op zo'n 10 gigabit per seconde. Met grotere files haal ik wel minder req/s maar ik heb al pieken gezien van +16 gbit/s (lokaal over localhost getest uiteraard, ik heb niet zo'n brute netwerk interface)

De server in kwestie is een dual opteron 248 met 4G geheugen onboard.

[Plague]

Ah ok!

Zullen we t.net dan maar gewoon statisch maken vanaf nu? Hoeven jullie ook helemaal niet te verhuizen

*reminds me of the old days* lol

[HunterPro]

HTML is alleen uitvoer. Een PHP script of XSLT transformatie van een XML document kan ook 'pure html' uitkakken.

[Diaboluzzz]

Ik zit al in redbus, alleen niet meer via trueserver. De beveiliging in Redbus (het complex) schijnt ook beter te zijn en voor een bedrijf als tweakers.net is dat wel van belang.

[Anoniem: 74617]

Jah, al die Opterongeile tweakertjes zijn niet te vertrouwen natuurlijk

[WoBBeL]

Nou, ik vind de beveiliging in de Redbus anders zwaar klote...

Loop je daar met je server en je moet elke deur met een speciale key openen.

Sta je daar...server neerleggen. key pakken en langs de keyreader halen. Snel de server oppaken en hopen dat de deur niet weer gelockt is..en je moet aardig wat deuren door.

Ook leuk: de pizzakoerier was binnengelaten door de beveiliging, wij pizza betalen en weer terug naar boven, maar kon de pizzakoerier er niet uit omdat ie geen key had...stond die arme turk daar tot wij hem naar buiten lieten

[cryforhelp]

Ik neem aan dat jullie het allemaal uitvoerig voorbereiden (of al hebben gedaan). Maar misschien is het ook handig om de hardware leveranciers hiervan op de hoogte te brengen, en ze standby te houden voor het geval er onderdelen (voedingen, schijven, mobo's etc.) overlijden

[Kees]

de belangrijkste servers hebben een redundant voeding (of 'raid-5' voeding) en alle servers hebben een of meerdere hotspares aan boord.. mocht er iets mis gaan dan hebben we in principe ook nog eens genoeg spare hardware

[CyberSnooP]

En toch lijkt het me stug dat alles goed gaat. Dat zou echt een uitzondering zijn (zonder dat dat jullie te verwijten valt hoor )

Maar succes met het overhuizen en Murphy buiten de deur houden.

[MuddyMagical]

Murphy, is van Murphy's Law.
Dit gaat er om dat als er iets mis kan gaan dat ook mis zal gaan.

[moto-moi]

Maar kunnen we ook nog verrassingen verwachten of blijft alle hardware zoals die nu is of kunnen we nog een toevoeging of extra'tje verwachten ?

Nee, we gaan juist niet op dat moment upgraden, omdat je dan er bijna wel zeker van kan zijn dat er wat fout kan gaan
De servers weer goed online brengen is al een uitdaging genoeg voor ons

[Kees]

en als er iets mis gaat, alles mis gaat

[Anoniem: 74617]

Maar kunnen we ook nog verrassingen verwachten of blijft alle hardware zoals die nu is of kunnen we nog een toevoeging of extra'tje verwachten ?

Les 1 in de IT: 1 verandering per keer doorvoeren. Gaat er ergens iets mis, dan weet je zeker dat het aan die specifieke change lag.

[Schapie]

Wie is murphy ?

Maar kunnen we ook nog verrassingen verwachten of blijft alle hardware zoals die nu is of kunnen we nog een toevoeging of extra'tje verwachten ?

[The Dolf]

Murphy, is van Murphy's Law.
Dit gaat er om dat als er iets mis kan gaan dat ook mis zal gaan.

Die van Irish Red

[HunterPro]

De wet van behoud van puinzooi noemen we dat hier op de opleiding