Geplande downtime Frontpage 17 november (afgerond)

Aanstaande vrijdag zal database-server Artemis een stevige upgrade ondergaan. Zoals in deze .plan al aangekondigd zal het oude beestje worden afgelost door een van vers geheugen voorziene voormalige Apollo (databaseserver forum) die wat steviger specificaties heeft. In de onderstaande tabel staan de verschillen opgesomd:

			Oude Artemis		Nieuwe Artemis
	Processoren		2 x AMD Opteron 246 (2.0 GHz)		2 x AMD Opteron 254 (2.8 GHz)
	Geheugen		4096MB PC2100 ECC Reg. DDR		8192MB PC3200 ECC Reg. DDR
	I/O-controller		LSI MegaRaid Elite 1600		LSI MegaRaid 320-2X
	Harde schijven		3+1 x Seagate Cheetah 10k6 (10.000 rpm)		5+1 x Seagate Cheetah 15k3 (15.000 rpm)
	Voeding		1 x 600 watt		3 x 500 watt redundant

Eén en ander zorgt ervoor dat de Frontpage aanstaande vrijdag enige uren onbereikbaar zal zijn voor het overzetten van de databases en andere noodzakelijke werkzaamheden. Wij verwachten dat het hele proces ongeveer 4 uur in beslag zal nemen.

Met deze vervanging moet Artemis weer minimaal een goed half jaar meekunnen totdat aflossing door een volledig nieuwe machine op de planning staat. De configuratie van die server zal vergelijkbaar zijn met hetgeen Apollo V aan boord heeft. Het doel is om bij toekomstige serverupgrades toch wel enige mate van standaardisering te realiseren. Ons serverpark bestaat op dit moment uit een bonte collectie van behuizingen, platformen en hardware. Nu is dat voor een deel een automatisch gevolg van het niet gelijktijdig aanschaffen van hardware, maar dan nog moet het een stuk handiger kunnen.

Mede daarom zijn twee net aangeschafte webservers van hetzelfde type (Dell PowerEdge 1950) als Apollo V. Mocht Apollo er zeer ernstig de brui aan geven dan is het mogelijk om met het overzetten van I/O-controller en wat geheugen, plus het aankoppelen van de PowerVault disk-array in korte tijd een webserver om te zetten in een databaseserver.

In vergelijking met Apollo zijn deze twee servers, die Argus en Aeolus gaan vervangen, wel iets minder hardcore uitgevoerd. Ze moeten het doen met Xeon 5150's (2.66 GHz), 'slechts' 4 GB geheugen en een eenvoudige 80 GB SATA-schijf. De planning is om beide servers in de loop van de komende twee weken te gaan plaatsen.

Verder wordt onderzoek gedaan naar de mogelijkheid om een compacte rackmountable UPS aan te schaffen om ellende zoals vorige week in het vervolg te kunnen voorkomen. Als bij stroomuitval de databaseservers netjes afgesloten kunnen worden wordt de kans op dataverlies drastisch teruggebracht. Onder meer APC en MGE hebben 3U-oplossingen die toch 5 kVa op de been weten te brengen, voldoende om 1750 watt aan server een goed kwartier in leven te houden.

Update 13:30 Het overzetten van alle data is goed gegaan, en vanaf nu draait de frontpage op een nog snellere databaseserver!

Reacties (30)

[Verwijderd]

kVA is vermogen, niet een energie. Met 5 kVA kan je ongeveer 3x 1750 watt aan server een onbepaalde tijd in leven te houden. Deze tijd hangt af van de energie-inhoud van de UPS.

[MadMarky]

Zitten er in die Dell PowerEdge nu 2 fans op elkaar gestapeld? Ik dacht dat dat soort dingen nooit werkten.

[leon1e]

Dell heeft dat soort constructies wel vaker, ik heb het ook wel eens in een oudere poweredge gezien. Waarschijnlijk werkt het dus wel, maar verder details weet ik ook niet .

[ACM]

Dell niet alleen hoor. Volgens mij hebben de 1U supermicro-servers van ons het ook. En de Sun Fire x4200 die we te logeren gehad hebben had het ook. Alleen dan losse fans.

[Jappo112]

Voordeel van dit systeem: failure op koeling is bijna onmogelijk. het "redundant" uitvoeren van de koeling zorgt weer voor minder verassingen en meer betrouwbaarheid. Als een fan uitvalt, zal de airflow minder zijn, maar niet zo drastisch dat het te koelen object buiten dienst moet worden gesteld.

[Verwijderd]

Volgens mij werkt het alleen als de beide fans evenveel lucht verplaatsen, anders werken ze elkaar tegen

[Fauna]

Mocht Apollo er zeer ernstig de brui aan geven dan is het mogelijk om met het overzetten van I/O-controller en wat geheugen, plus het aankoppelen van de PowerVault disk-array in korte tijd een webserver om te zetten in een databaseserver.

Hebben jullie niet een van die leuke servicecontracten van Dell waarbij binnen no-time een mannetje van Dell op de stoep staat?

Verder wordt onderzoek gedaan naar de mogelijkheid om een compacte rackmountable UPS aan te schaffen om ellende zoals vorige week in het vervolg te kunnen voorkomen.

Wordt nog krap in jullie rack dan als er nog zo'n 3U monster van een kilo of 50 bij komt

[Daniel]

We hebben inderdaad wel een supportcontract met Dell maar zelfs de duurste support garandeert hooguit dat er binnen vier uur een mannetje van Dell staat, niet dat je binnen vier uur weer online bent. Mocht de server zo zwaar afsterven dat vervanging noodzakelijk is kunnen we door een webserver uit de pool te trekken eerder weer online zijn.

Overigens is dat een nogal theoretisch verhaal, ik kan me de laatste keer dat we een cruciale server daadwerkelijk uit productie moesten halen omdat herstel onmogelijk bleek niet meer herinneren.

Met de 3U van een eventuele UPS wordt het inderdaad wel vol, waarschijnlijk zal er het e.e.a. verhuisd worden om hem zo laag mogelijk te kunnen hangen.

[elevator]

We hebben inderdaad wel een supportcontract met Dell maar zelfs de duurste support garandeert hooguit dat er binnen vier uur een mannetje van Dell staat, niet dat je binnen vier uur weer online bent. Mocht de server zo zwaar afsterven dat vervanging noodzakelijk is kunnen we door een webserver uit de pool te trekken eerder weer online zijn.

Raar dat Dell daar nog niet op ingesprongen is.

HP heeft bijvoorbeeld 6-hour-to-fix contracten waarbij hp min of meer garandeerd dat je server binnen 6 uur weer operationeel is

[bigoldie]

Een Nederlandse versie:
http://h20219.www2.hp.com...he/11141-0-0-152-472.aspx

[Verwijderd]

Extra rack voor de UPS huren

[Bierkameel]

Eng hoor die webserver met een single SATA schijfje.
Het nadeel van die dingen is ook dat je voor de 2de schijf de hoofdprijs betaald en zelf een schijf erin schroeven is niet mogelijk omdat je er geen bracket bij krijgt alleen zo'n dummy ding.

Ik zou maar een image maken na de installatie

[ACM]

We hebben natuurlijk niet voor niets meerdere webservers, als er een uitvalt dan kunnen de anderen dat prima opvangen. Juist de aanschaf van deze nieuwe zorgt er voor dat dat voorlopig het geval blijft.

Zelfs een complete reinstall duurt niet langer dan een dag. Nadeel van een image is overigens dat ie per definitie achterloopt, tenzij je na elke update een nieuwe image gaat lopen maken natuurlijk... En de configuratie kan je sowieso overnemen van de andere aanwezige servers, die zijn tenslotte vrijwel identiek.

[killercow]

Sun levert bij de X2100's wel gewoon 2 hot-swap brackets.

Ik bestel die dingen altijd gewoon zonder hdd's, en stop er 2 high-end sata disks in tegen een prikkie van de normale kosten.

Zo heb je voor minder dan 1000 euro een machine met een opteron, wat geheugen en 2x 300gb in raid1.


De garantie van sun loopt op alles behalve de disks gewoon door gelukkig, in t ergste geval moet je de disk eruit halen, en dan testen ze of t probleem zich ook dan nog voordoet.

[Paul]

Verder wordt onderzoek gedaan naar de mogelijkheid om een compacte rackmountable UPS aan te schaffen om ellende zoals vorige week in het vervolg te kunnen voorkomen.

Je kunt (op die MGE) maar 2 groepen aan of uit zetten, terwijl zo'n masterswitch per poort werkt.

Ik neem dan ook aan dat de masterswitch tussen de servers en de UPS komt? De ellende van vorige week wordt daar niet mee voorkomen, maar ellende eerder in de keten is dan al beter op te vangen

Ik weet niet hoeveel stroom dat rack nu trekt en hoeveel groepen of fases je hebt liggen, maar het lijkt me dat je per groep/fase een UPS neerlegt, en de redundante voedingen verdeelt over de groepen/fases?

[Daniel]

Daarom doen we ook eerst onderzoek voor we iets kopen De UPS moet ook de functie van de masterswitch kunnen opvangen, omdat we anders het probleem maar half oplossen. We zijn dan wel beschermd tegen power failures van de colo zelf maar niet tegen een afstervende masterswitch.

Anderzijds zal een samenloop van omstandigheden zoals met Artemis niet zo snel meer voorkomen. Dat was nu toevallig net de enige server die nog geen redundant power supply had. Alle andere servers zitten op meerdere masterswitches zodat uitval van een masterswitch niet direct voor downtime zorgt.

[wimpie007]

Uhm, mijn frontpage ziet er anders uit nu?
Geen pricewatch meer in de linkerkolom?

[T1eA]

Hehe je hebt helemaal gelijk valt mij nu ook op!

Maar tis wel heel snel gedaan! Knap werk zoals we van jullie ondertussen wel gewend zijn

Edit1:

Als je doet http://tweakers.net/pricewatch werkt het nog wel gewoon!

Edit2:

Hij doet het nu overigens gewoon weer en het ziet er weer uit zoals het hoort.

[iglesiasdelsol]

De update tracker (rechts) toont ook niet meer de active topics...

[moto-moi]

die cronjobs zijn vrij kut om 'ff' te testen, en we hebben het als het goed is net gefixed waardoor de data nu wel weer up-to-date gehouden wordt

[raymonvdm]

Ook de HP Proliant DL360 series heeft dit soort fan oplossingen

[Le Mol]

Denken jullie er wel aan dat je met een full-loaded 5kva UPS niet genoeg hebt aan een normale 16A 230V aansluiting, zeker ivm de bijkomende mogelijke laadstroom. APC beveelt 25A (zo uit mijn hoofd gezegd) afzekering aan bij zo'n UPS, kortom, hier in nederland dus een blauwe 32A 230v stekker en bijbehorende zekeringen...

[Verwijderd]

Manmanman, wat zijn jullie toch jolig aan het upgraden de laatste tijd! Hoe zit het trouwens met de overname door VNU Dat klikt precies wel goed