Serveronderhoud 3 november 2003 ivm upgrade Artemis

Zaterdag 1 november zal één van de twee nieuwe Opteron database-servers geplaatst in de co-locatiesuite van TrueServer. De nieuwe server zal de huidige database-server van Tweakers.net (Artemis II) komen te vervangen. Artemis III is gebaseerd op een Appro 2128Hs barebone en bestaat uit een Tyan Thunder K8S-moederbord, 4GB Dane-Elec PC2100 ECC Registered DDR SDRAM, een LSI Logic MegaRAID Elite 1600 SCSI RAID-controller, twee Seagate 9GB 10.000rpm bootschijven, vier Seagate Cheetah 10K.6 36,7GB dataschijven en niet te vergeten twee 2,0GHz Opteron 246-processors. De bootschijven zijn geconfigureerd in een RAID 1 array en de dataschijven draaien in een RAID 5 array met hotspare. De RAID-controller beschikt over 128MB cache en een battery backup unit, zodat gegevens in de cache bij stroomuitval niet verloren gaan. Het geheugen van Artemis werd ter beschikking gesteld door Dane-Elec.

We verwachten Artemis III eind in de middag te plaatsen. Daarbij zal enige downtime van de Tweakers.net (frontpage) optreden omdat de database naar de nieuwe server gekopieerd moet worden. Als alles volgens plan verloopt zal Tweakers.net morgenavond vanaf de nieuwe server draaien.

			Artemis I		Artemis II		Artemis III
	Gebruikersduur		06-12-2000 t/m 14-12-2001		14-12-2001 t/m 01-11-2003		Vanaf 01-11-2003
	Processors		2x PIII-10001		2x Athlon MP 1600+		2x Opteron 246
	Geheugen		4GB PC1331		2GB PC2100		4GB PC2100
	Moederbord		SuperMicro 370DLE		Tyan Thunder K7		Tyan Thunder K8S
	Chipset		ServerWorks ServerSet III LE		AMD 760MP		AMD-8000
	RAID-controller		AMI MegaRAID Elite 15001		Adaptec ASR-3200S		LSI MegaRAID Elite 1600
	Harde schijven		1x 20GB ATA 3x Cheetah X15 18,4GB		1x 20GB ATA 5x Cheetah X15 18,4GB		2x Cheetah 18XL 9,2GB 4x Cheetah 10K.6 36,7GB
	Behuizing		CI-Design RS4100		CI-Design RS4100		Appro 2128Hs

¹Begonnen met dual PIII-700, 1,5GB RAM en Adaptec ASR-3200

Artemis III volgt de huidige dual Athlon MP 1600+ configuratie op, die sinds december 2001 in gebruik is en momenteel een recorduptime van 420 dagen draait. De nieuwe Artemis is de eerste 64-bits server van Tweakers.net en tevens de eerste server van Tweakers.net die MySQL versie 4.0 zal draaien. De machine draait 64-bits SuSE Linux met een SuSE k_numa kernel welke is geoptimaliseerd voor de NUMA-architectuur van de AMD Opteron. Vooralsnog zal de standaard MySQL 4.0.16 x86 binary gebruikt worden omdat uit eigen tests is gebleken dat de AMD64 binary van MySQL circa 20 procent trager is dan de 32-bits versie. De 64-bit binary van MySQL is gecompileerd met gcc 3.2, wat de slechte prestaties deels zou kunnen verklaren. Veel optimalisaties voor de AMD64-architectuur zijn pas in gcc 3.3 doorgevoerd. Een andere reden voor de lagere performance is de toegenomen footprint van 64-bit pointers. Tijdens de configuratie van de nieuwe Apollo (database-server van GoT), welke zal beschikken over 6GB geheugen en daarom meer baat heeft bij een 64-bits versie van MySQL, zal gekeken worden of een door gcc 3.3 gecompileerde versie van MySQL betere prestaties kan neerzetten. Onze hoop is dat het grotere aantal general purpose registers van de AMD64-architectuur het verlies van performance door de toegenome grootte van de pointers kan goedmaken.

De prestatieverschillen tussen de standaard x86 en AMD64 binary zijn in de onderstaande figuur afgebeeld. De benchmark is gebaseerd op een PHP-script waarin een aantal veel voorkomende queries van de Tweakers.net-database zijn opgenomen. Het script werd met behulp van apachebench (ab) losgelaten op een kopie van de Tweakers.net-database. Met behulp van apachebench kon de performance bij diverse concurrency levels getest worden. Zoals je ziet is 32-bits MySQL over de gehele linie sneller dan de 64-bits versie.

Onze verwachting is dat Artemis dankzij de combinatie van snellere processors, meer geheugen en beter presterende database-software aanzienlijk sneller zal zijn dan de huidige dual 1,4GHz Athlon MP processor op MySQL 3.23.54. Wat betreft de verschillen tussen MySQL 3.23 en 4.0 zal met name de querycache een belangrijke bijdrage aan de prestatieverbetering leveren.

Update: De upgrade van Artemis is uitgesteld naar maandag.

• Ma 10:29: Er is begonnen met het dumpen van de databases op de oude database-servers. Tweakers.net draait in read-only modus totdat de site vanaf de nieuwe database-server kan draaien.
  
• Ma 11:14: De databases zijn gedumpt op Artemis II en geïmporteerd op Artemis III.
  
• Ma 11:25: Tweakers.net draait vanaf de nieuwe database-server. Er zijn momenteel connectieproblemen bij twee webservers waarvoor een oplossing wordt gezocht.
  
• Ma 11:40: De connectieproblemen zijn opgelost. Tweakers.net draait nu met zeer bizar goede performance van de nieuwe database-server. Op veel pagina's is de parsetime meer dan gehalveerd.

Reacties (53)

Waarmee testen jullie zo'n MySQL configuratie? Is het gewoon een shitload aan queries sturen en kijken hoe het geheugen-/CPU-gebruik daarop reageert, of ..?

Jah,

Er was een php script met een aantal (zware, random) queries op de database, die is via ab een 1000 keer aangeroepen (goed voor zo'n 450.000 queries) en dat met verschillende concurrency levels. Tijdens de tests werdt het CPU gebruik en geheugengebruik (welke redleijk constant was) gemeten maar het grafiekje wat hierboven staat is gewoon gebaseerd op het aantal queries per seconde dat de mysql server doet. Overigens is hij tijdens de 32 bits benches harder aan het rekenen (logisch..) dan tijdens de 64 bits versie, waar hij toch snel een idle time van 15% had tov 32 bits met 10% idle time.

Overigens zegt de idle time niet heel veel, daar er voornamelijk user en system activiteit is (system is voornamelijk lezen van schijf e.d.), bij 32 bits lag het user level op ~57% en het system level op 27%, bij 64 bits was dit 52% tov 30%, hieruit kun je dus halen dat hij bij de 64 bits meer van de schijf moet lezen, waaruit je dus kunt opmaken dat de cache minder effectief gebruikt wordt.

De benchmark is gebaseerd op een PHP-script waarin een aantal veel voorkomende queries van de Tweakers.net-database zijn opgenomen.

Update: De upgrade van Artemis is uitgesteld naar maandag.

Ik had de web-cam open staan sinds gisteren avond en vanmiddag om half 4 was er wel activiteit in de colo, aan de rechter kant, beetje achterin. Als dit het tweakers rek is ben ik wel benieuwd waarom ze hem niet meteen vervangen hebben (sowieso ben ik benieuwd waarom)

Aan de uptimes te zien van de andere servers is er wel eea veranderd. Mogelijk hebben ze wat servers verplaatst om ruimte in het rack anders in te delen? Misschien kwamen ze nog andere "problemen" tegen... Ben ook wel benieuwd.

Update: De upgrade van Artemis is uitgesteld naar maandag.

Wat is hier de reden voor?

De voornaamste reden was dat de raidcontroller niet goed met de raidarrays omsprong..

We hadden de schijven voor het transport eruit gehaald, nadat we in het rack de power hadden aangesloten (maar de schijven er nog niet in hadden gedaan) ging hij even aan, de raidcontroller merkte dat de schijven er niet waren en deed de hotspare inschakelen. Die was compleet leeg.. toen we de schijven er later instaken begon hij leuk onze OS disk met die (compleet lege) hotspare te rebuilden waardoor ik er maandag weer heen mag om het OS af te instaleren. Erg knullig dat de raidcontroller niet merkt dat er helemaal geen schijven inzitten, en dat als de schijven er wel inzitten hij deze vervolgens doodleuk leeg gaat maken.

en ik de he-le dag vol spanning naar de webcam aan het kijken...

Die heeft nu wel verdomd veel ruis. Misschien is ie gesleten

Is toch iets sneller dan gepland, 13:00

Downtime is ook erg beperkt gebleven, we zaten alleen eventjes in de read-only modus maar dat kan toch geen kwaad.

Good job en laat de mooie uptime maar weer komen

Hij is echt bizar snel. Load van rond de 0.30 en een processorbelasting van 6,5 tot 11,5% . De oude Artemis zou een drie tot vijf keer hogere processorbelasting hebben gehad.

Dat is eigenlijk toch raar? jullie hadden hier toch eerst niet op gerekend toen deze server werdt getest....?!

Maar iig gefeliciteerd met deze snelle bak!!

Ik had wel verwacht dat de Opteron 246'en een stuk sneller zouden zijn dan de dual Athlon MP 1600+, maar het is moeilijk om een goede schatting te kunnen maken aangezien een perfecte simulatie van de load van Tweakers.net niet mogelijk is. Puur op basis van het verschil in processors zou je een prestatieverbetering van maximaal een factor twee verwachten (43% vanwege de hogere kloksnelheid en daar overheen 40% vanwege de architecturele verbetering van het Opteron-platform). Daar komt nog bij de moeilijk in te schatten prestatieverbetering van de overstap van MySQL 3.23 naar 4.0.

Het is zeker twee keer zo snel. Aan de hand van de processorbelasting zou je zeggen 3 tot 5 keer zo snel. Vooralsnog maken de Opterons hun verwachtingen dus wel waar .

ja maar... dit zijn 2 soorten updates tegelijkertijd toch? mysql major versie omhoog en cpu's 'major versie' omhoog ;-)
waar ligt het vooral aan is de vraag dan

hmmjah, de read-only time was eigenlijk de enige geplande downtime, dat er 2 servers niet helemaal meewerkten zorgde voor nog 5 mins extra overlast

kwestie van de ene server laten draaien in readonly mode, en de andere onderhand opstarten, en de kabeltjes overprikken

Kortom, een geslaagde upgrade, bijna alles ging volgens plan

Krijgen we nog een verslagje van de upgrade strax? met foto's?

Ziet er erg goed uit.

Dit is 1 van de dingen die nodig zijn voordat de merge kan beginnen?

Is er overigens ergens een foto van dit bakkie?

Die zal wel komen als de server eenmaal in het rek hangt; tot die tijd kan je Telecity-2 Zone 2 in de gaten houden.

en jij denkt dat ik niets anders te doen heb

Die zal wel komen als de server eenmaal in het rek hangt; tot die tijd kan je Telecity-2 Zone 2 in de gaten houden.

En dat dat servertje dan net als de vorige 11^x down gaat omdat tweakers zitten te kijken naar de hoofdjes en spierballen van Kees en Femme

Ik denk dat ze bezig zijn, want de pagina is echt mega traag nu .
Al die tweakertjes die dat willen zien =)

Altijd leuk, er is keer op keer wel iemand die denkt behulpzaam te zijn door de trueserver webcam te posten, in welk onderhoud draadje dan ook, en vanaf dat moment is 'ie down. Slim hoor

Het is nu 19:04. Doet het anders prima, framerate is 1/s.

In de post hierboven staat een foto. Er komen binnenkort nog wel pics van de plaatsing.

Foto is kapot.

"The image “http://www.tweakers.net/ext/i.dsp/1060364283.jpg” cannot be displayed, because it contains errors."

Plaatje opnieuw geupload.

Ik had altijd een traage opbouw van de frontpage, maar die is nu helemaal weg....
Dit is idd bizar snel. Het lijkt wel lokaal

Is veel sneller jah maar aan het eind blijft hij net even hangen.

Zal waarschijnlijk aan je browser of aan de ads liggen.

Kijk eens naar de load, hij is echt _bizar_ snel gewoon, het cpu-verbruik is met een factor 5 afgenomen Ik check altijd wel ff de stats, maar dit heb ik nog nooit gezien

Complimenten voor het Opteron platform zeg!

Nu ben ik uit medeleven met de trouwe Artemis II wel erg bezorgd op welke wijze deze het pensioen mag gaan vieren.
In huize kodak is nog wel een rustplaatsje vrij tot aan het end of life.

Ik weet niet exact hoe het met die gesponsorde procs gaat, misschien gaan ze gewoon terug naar AMD. Anders zullen ze wel gaan dienen als nieuwe Tweakers.net-kantoor server o.i.d..
Hij zal iig binnen de T.net family blijven wat logisch is .

Alicia mag hoognodig een upgrade krijgen

Zijn er nog verschillen van MySQL v3.23.54 naar 4.0.16 wat betreft backwards compability e.d.
Dit als blijkt dat 4.0 toch niet stabiel genoeg is en er weer terug moet gegaan naar 3.23?

Verder heel veel sterkte met het plaatsen van de nieuwe server en ik hoop dat alles voorspoedig verloopt!

MySQL 4 draait al een tijdje stabiel op Alicia (dbserver van Fok!). Ook hebben we een paar dagen onder zware load getest op de Opteron waarbij zo'n 200 miljoen queries zonder stabiliteitsproblemen werden afgewerkt.

ik mag aannemen dat ik hierdoor ook geen emails op mijn @mytweakers.net kan ontvangen ?????
tot voor dit weekeinde werkte dit altijd normaal

Mail, bemiddelaar.t.net, faq.t.net, crew.t.net kapot

Klein vraagje trouwens...

Waarom draait de database in een raid 5 array?
Een striped-mirror opstelling is toch veel sneller?

En hoe groot is de database dan eigenlijk?

De db doet opzich vrij weinig I/O het meeste zit in het geheugen. Het zal dus niet zo heel veel uitmaken of je raid-10 of raid-5 gebruikt

Femme heeft daar laatst ook een hele reactie over neergepent, die is mischien nog wel te vinden.