Foto's serverupgrades 30 - 31 augustus

De upgrades van het afgelopen weekend waren niet alleen de grootste in de historie van Tweakers.net, maar mogen ook bijgeschreven worden als de langst durende. Vanaf vrijdagavond 19:00u zijn we bijna 15 uur bezig geweest om alle geplande werkzaamheden gedaan te krijgen. Naast de eerder aangekondigde upgrades hebben we ook ons complete rack vervangen door een ander exemplaar met een grotere diepte. Dit was nodig om plaatst te kunnen bieden aan de twee One4Net loadbalancers. Dankzij het nieuwe rack kunnen de loadbalancers nu netjes in sliders opgehangen worden. Het af- en opbouwen van het rack nam echter wel erg veel tijd in beslag. Dit was de voornaamste reden dat de werkzaamheden zo lang duurden.

Gelukkig ging er bij het upgraden van de servers weinig fout. De grootste problemen ontstonden toen de RAID set van Alicia gemigreerd moest worden van de oude situatie met drie schijven verdeeld over twee channels naar de nieuwe situatie met alle schijven op één kanaal. De Adaptec 3200S van Apollo deed dit automatisch, maar bij Alicia waren we genoodzaakt om de RAID set opnieuw aan te maken en een backup terug te zetten. Verder was het zoals gezegd een enorme klus om alle spullen uit het oude rack te trekken en vervolgens samen met de sliders en bekabeling in het nieuwe rack te plaatsen. Het resultaat mag er gelukkig wel wezen. Bijna alle servers hangen nu in sliders terwijl dat voorheen niet het geval was. Apollo en Alicia zijn eindelijk in rackmounts behuisd die een database server waardig zijn. De kabelspaghetti aan de achterkant van het rack, ontstaan door een combinatie van haastwerk en tussentijdse veranderingen, is weggewerkt. De verbeteringen stellen in ons in staat om toekomstige serverupgrades sneller en met minder downtime uit te voeren.

Foto's

Uiteraard hebben we weer een camera TeleCity binnen gesmokkeld, zodat de upgrade uitgebreid in beeld vastgelegd kon worden. ISDN- en modemgebruikers moeten zich voorbereiden op een download van rond de 2,5MB .

De opstelling van het rack voor de upgrade


Kees is CPU's aan het hotpluggen onder Windows 2000


Athena's nieuwe Athlon XP 2000+


Athena 3.0


Artemis gaat open voor de plaatsing van twee extra Cheetah X15's


Tweakend Nederland kijkt mee op de webcam


...en ziet hoe het rack wordt leeg geroofd




De colo-vloer lag bezaaid met servers en kabels


Nog meer spullen om het hoekje


"Krijg jij mijn kast dan wil ik jouw proc"


Voorraad Intel Pro/100 NICs


Afgedankt MSI moederbord


Draagbare IRC terminal


Argus showt z'n nieuwe Athlon MP CPU's


Trouwe IBM oostblok SCSI schijf na tweeënhalf jaar nog steeds van de partij


De Supermicro 370DLE begint aan zijn derde leven, nu als mobo van Alicia


Eindelijk Lebensraum voor de MegaRAID


De LVD kabeling achter de SCA hotswap bays van de CI Design rackmounts


Cheetah 36LP in SCA hotswap bay


Het nieuwe rack op zijn plaats gezet


De sliders voor de database servers worden op maat gemaakt


Alicia, Apollo, Artemis en Achelois terug in het rack


Half op weg


De 3Com Superstacks en APC Masterswitches in ruimtebesparende opstelling




Het netwerk en de database servers draaien weer!


De 3Com knippert er weer vrolijk op los


Zwart bij zwart, blank bij blank


De twee One4Net B100 loadbalancers in 1U IBM eServer behuizing


Het nieuwe aangezicht van onze servertoren. Van onderen naar boven Achelois, Artemis, Apollo, Alicia, LB1, LB2, Argus, Ares, Arethusa, Adonis, Aphrodite, Athena, Iris en (niet zichtbaar) Styx.


De stroom- en netwerkbekabeling is netjes weggewerkt

DiVX Filmpjes

Adaptec 3200S LEDjes CI Design RS 4100 LEDjes

Colo rondleiding #1 Colo rondleiding #2

In reacties op de vorige .plan kwam naar voren dat er bij sommigen twijfels waren over het nut van de CPU/mobo upgrade van Apollo (dual PIII-1000 / 4GB naar dual Athlon MP 1600+ / 3,5GB). Tijdens de upgrade hebben we besloten om de CPU upgrade van Artemis (Athlon MP 1600+ naar Athlon MP 2000+) achterwege te laten en de Athlon MP 2000+ processors in Apollo te plaatsen. Uit de server statistieken blijkt dat de load en CPU belasting van Apollo met een factor 2,5 is gereduceerd:

Reacties (69)

[jep]

Wat 't bij jullie met de temperatuur wel goed . Geen ruimte tussen die machines (die denk ik veel warmte veroorzaken) lijkt me tricky. Hoe gaat dat?

De stroom- en netwerkbekabeling is netjes weggewerkt

Netjes hoor . Cablemanagement waar je u tegen zegt

[wildhagen]

Meestal staat er in zo'n serverruimte een (of meer) dikke airco's te blazen. En die serverkasten zijn er op gemaakt om op elkaar te staan qua ventilatie.

[jep]

Er staan inderdaad dikke airco's in telecity. Des al niet te min vind ik het in de Trueserver/IS colo bepaald niet koel genoeg om serverkasten koel te houden. Meestal houd je een halve of 1 u vrij tussen de servers voor een betere koeling. Zou niet zo moeten zijn maar in de praktijk wel nodig. Als je nou een kast vol AMD servers hangt, wil je echt wel wat ruimte en goede koeling.

[Femme]

Volgens mij overdrijf je nogal. Met de temperatuur van de gekoelde lucht zoals die onderin je rack binnenkomt is in principe niets mis. Misschien mag de druk nog wat hoger zijn. Waar je wel voor moet zorgen is actieve koeling in het rack dmv van één of meerdere Varicon fans, en je moet de dop onderin het rack weghalen zodat er meer koele lucht binnen kan stromen.

Ruimte vrijlaten tussen de servers heeft IMO geen nut als je de koeling wilt verbeteren. Het heeft hooguit als nadelig effect dat de koele lucht aan de voorkant van je kasten zich gaat vermengen met warme lucht uit de achterkant van het rack. Het idee is dat de rackmounts aan de voorkant cleane koele lucht aanzuigen en aan de achterkant warme lucht uitstoten. Die warme lucht wordt met de hulp van de Varicons uit het rack gezogen en moet het rack verlaten zonder dat het nogmaals recycled wordt als koellucht voor een andere server.

[jep]

Dat scheelt wel hoor, dat het intels zijn. Mijn AMD in TC wordt vaak 60 graden, met dikke koeling erop. Pentium 4 op hogere kloksnelheid iets erboven is stressed 40 graden. We praten dan alleen wel over 2U kistjes, maar moet kunnen.

Dell-servers en hele goede 4U kasten met intels kun je wel stapelen, maar 2U AMD's stapelen zou ik niet doen.

[Verwijderd]

Vreemd alleen dat ze gekozen hebben voor dichte kasten. Rooster aan de achterkant had meer effect gehad en is even duur.

1 unit vrijhouden heeft geen zin. Dat deel van de server helpt niet echt om de server af te koelen.....

[wildhagen]

Meestal houd je een halve of 1 u vrij tussen de servers voor een betere koeling. Zou niet zo moeten zijn maar in de praktijk wel nodig.

Nooit van gehoord... wij hebben hier zelf 3 42-inch racks staan en daar staan de servers toch echt direct op elkaar, geen ruimte ertussen (hooguit een paar milimeter, omdat je natuurlijk met de rails zit), en toch blijven ze perfect op temperatuur (25-30 graden, maximaal). Zijn wel Intels, maargoed...

[Renegade]

Ik moet zeggen dat ik gemerkt heb dat het wel degelijk uitmaakt of je ruimte tussen de servers vrijhoudt, en wat voor een hoogte/merk de servers waren.

Het bedrijf waar ik heb gezeten had het grootste serverpark van europa, en daar kwamen werkelijk allerlei systemen voor, en ondanks een behoorlijk goed aangelegd koelsysteem was het zo dat je je rack niet vol kon zetten met 42 1u servertjes (pizzadoosjes ), er gingen er maximaal 21 in, omdat anders de koeling het niet trok. Nam je daarentegen 2u of hoger, dan kon je het rack juist weer wel volstoppen omdat er dan net geen hitteprobleem ontstond.
Wat wel een verschil was, was bijvoorbeeld het feit dat we alleen maar merkservers hadden (HP/Compaq, IBM, Dell, Fujitsu Siemens, Sun), waarbij de hitteproductie per merk ook nog behoorlijk verschilde in een kast die over de gelijke hoogte beschikte.

[Verwijderd]

ken je dus net zogoed een >U kopen, ben je goedkoper uit, en je koeling is beter.

[Verwijderd]

die kasten zijn dus niet gemaakt voor airco, ze zijn dicht!! Zijn kasten van Minkel, hangen wij ook in. Zijn compleet dicht met alleen lullige rooster onder en boven.
Zonder fans wordt het gewoon bloody heet. Wij hebben d'r van die fans bovenin gehangen (ken je ook gewoon los kopen bij Minkel.

edit:
ah, ik zie ze al op 1 van de foto's....

Die servers kunnen boven elkaar hangen, is de bedoeling dat alle warmte aan de achterkant d'r uit geblazen wordt. Onze servers hebben zelfs schuim boven de processoren hangen, zodat de bovenkant van de server (en dus ook de machine daarboven) niet warm wordt.

Airco is niet echt zoals mensen denken. Het is daar gewoon 22 graden. Er zit een gat onderin de kast maar die mag je officieel niet gebruiken voor koeling (doen we toch...).

Ik denk dat die webcam daar alleen hing voor de 'grote verandering'. Hebt er geen zak aan om daar een webcam neer te hangen 99% van de tijd is het daar nl. donker.

[Maarten @klet.st]

Die kasten zijn JUIST gemaakt voor airco, maar
dan wel airco in een serverruimte.

In veel serverruimtes wordt de koude lucht uit de airconditioners door de vloer geblazen. Het gat onderin het rack is er dus voor om de koude lucht van de airco's door het rack heen naar boven te blazen. Eventueel wat blowers bovenin om de lucht extra aan te zuigen (de kast uit naar boven dus).

Dan moet je dus juist racks hebben die van de zijkanten dicht zijn en alleen van boven en onder
open.

Voordeel is dat de koude lucht niet onnodig de
ruimte aan het koelen is, maar eerst door de warme
racks heen geblazen wordt. De servers moeten zelf zorgen dat ze voldoende van die koude lucht inademen en circuleren.

Staan er nou een aantal racks open, zijn ze aan ze zijkant van gaten voorzien of heeft iemand een aantal
vloertegels open laten liggen dat heeft zo'n setup een
stuk minder effect helaas..

[Verwijderd]

neeeeeeeeeeeeeeeeeeeeeeeeee, dat gat zit daar niet voor!!!!!!!!!!!!!
zit nl. een dop op. Met een 'beheerder' daar gesproken die zijn dus zwaar tegen het weghalen van die dop!!! Sterker nog, die 'hokken' zijn niet echt gemaakt voor dichte kasten!!! Die airco's waar jij het over hebt, liggen maar op twee of drie plekken, daaar hebben dus de meeste kasten geen profijt van.

Blowers aan de top da klopt!, maar roosters aan de onderkant zijn nie echt groot!!
Bijna iedereen heeft de kasten aan de boven kant opengemaakt, veel lui hebben de achterkant dr af of open, dat zegt toch genoeg? Die kasten worden geleverd ZONDER die topfans, die moet je dus ZELF aanschaffen. Zonder die dingen wordt het in die kast angstig heet. Veel te heet.

[Verwijderd]

"Athena's nieuwe Athlon XP 2000+"

is het niet de MP??

[Daniel]

Nee, Athena is een single processor server met een gewone huis, tuin en keuken Athlon XP

[Verwijderd]

Yeah,, dit is stoer!! de vorige config zag er nog brakkig uit met al die rondslingerende kabeltje maar de config van nu ziet er uit !!

Ik zie ook dat er extra veel aandacht is besteed aan koelers? Zal ook wel nodig zijn denk ik,,

Het ziet er allemaal erg gelikt uit & ga zo door!

[4AMD]

Leuke foto's en filmpjes!
Ook aardig, die koeling.

Uiteraard hebben we weer een camera TeleCity binnen gesmokkeld

Is dat nou of mocht dat officieel niet?

[twixx]

FYI: dat mag officieel niet. Ze willen graag hun vloer/airco/power/security ontwerp uniek houden.

[Mr.CeeJay]

Waarom hangt er dan een webcam

[Randal Peelen]

Om die security te waarborgen

[JumpStart]

Achelois, Artemis, Apollo, Alicia, LB1, LB2, Argus, Ares, Arethusa, Adonis, Aphrodite, Athena, Iris en (niet zichtbaar) Styx.

Ahh, wat zielig... Moeten de load balancers het zonder namen stellen ? Zwoegen op betere bereikbaarheid, en wat krijgen ze ? Een naamloos bestaan. ( )

Zijn er niet nog een paar (half)goden over om ze hun naam te geven ? Of maak een zijstapje naar een ander stuk geschiedenis, en weetikveel, vernoem de naar de 2 broertjes die Rome gesticht zouden hebben, Romulus en Remus, zonen van de romeinse god Mars.

[MM]

of Hercules, dat is ook een bekende halfgod

[Verwijderd]

aangezien het allemaal griekse namen zijn zou het dan Herakles moeten worden. Hercules is de latijnse vertaling.

[Verwijderd]

Waar blijft Ajax

[Woy]

Hopelijk in de Arena

[Jorn]

Waar gebruiken jullie w2k voor?
Ik dacht dat alles op de servers linux draaide!

Verder ziet het er netjes uit!

offtopic:
Hebben jullie ook een opleiding hardware/netwerken gehad of is dat allemaal geleerd met hobbien?

[Verwijderd]

Goeie vraag! Inderdaad er wordt onderaan de pagina wel wat van Linux gezegd maar in de foto zie je win2k??!!

Niet dat zo veel uitmaakt maar toch curious..

Tevens, indicatie van het kostenplaatje?

Verder wel erg leuke foto's voor de hardware junkies onder ons..

[ACM]

We gebruiken windows 2000 dan ook niet voor de servers hoor

[AlBundy]

Is dat nou questor waar ik op een paar foto's een glimp van opvang?

[ACM]

Nee Kees, Daniel, Femme en ik waren daar.
Questor heb ik iig niet gezien

[Marcelloz]

Stabiel is dat Win2K toch..
Je kan zomaar een CPU verwisselen terwijl je PC aanstaat, dat is mij nooit gelukt

Verder netjes afgewerkt, alleen moet je nu wel bukken als je een hotswap van een hd wil doen. Had toch net ff beter gekunt

[jep]

Yep, keurig die gaten en ontbrekende plaatjes aan de achterkant. Ook het cable-management mag er wezen .

Nah, ik doe 't niet netter hoor, maar netjes vind ik 't niet .

[Bierkameel]

De LVD kabeling achter de SCA hotswap bays van de CI Design rackmounts

Worden de schijven niet erg warm in die bracket?
En zo als die kabel op de backplane zit is ook wel erg apart.

Ik heb zelf Deze SCA bracket en daar zit maar 1 kabel aan zonder de terminator, de instellingen gaan allemaal via jumpers, mischien leuk om in jullie kasten te plaatsen ivm met de koelers maarja een zwarte kast met een witte bracket staat ook niet.

De voorkant van de hot swap brackets is wel

[Femme]

Ik heb nog nooit een schijf warm zien worden in die CI Design kasten. In het middenschot achter de drivebays zijn drie of vier 8cm fans geplaatst, dus aan airflow geen tekort. Zoals je op het plaatje ziet heeft de kast geen gecombineerde SCA backplane voor alle bays, maar heeft elke swapbay z'n eigen SCA naar LVD converter.

[XDK]

Waarom zitten er bij de Apollo, Alicia geen afdekplaatje rondom de externe aansluitingen van het moederbord ?

[Femme]

Omdat er geen afdekklepjes bij het moederbord en de kast waren meegeleverd.

[M14]

k wil nie nieuwsgierig zijn, maar voor hoeveel geld staat daar nou aan servers van Tweakers.net??

[Jasper Janssen]

pricewatch is <---- daar. Reken maar uit.

Zullen we een competitie uitschrijven? zo van, raad hoeveel knikkers er in deze pot zitten, maar dan euros in deze kast? Ik wil graag meteen mijn inschrijving doen op een ronde 60k..

Waarbij moet worden aagetekend dat het overgrote merendeel van de hardware door diverse bedrijven gratis ter beschikking wordt gesponsord.

[Destruction]

Nou, ik denk dat als Femme de volledige tent (dus incl. domein(en)) zou verkopen, hij voor minimaal 5 jaar niet bang hoeft te zijn financieel niet rond te komen.