Nieuwe Opteron database-servers in aanbouw

Sinds begin dit jaar zorgt database-server Apollo regelmatig voor problemen. Door een nog onbekende oorzaak (hardware dan wel software) is de machine soms enige dagen erg onstabiel waarna de server weer lange tijd goed draait. Daarnaast is met het oog op de toekomst een prestatieverbetering niet ongewenst en begint bovendien de hoeveelheid beschikbare ruimte in ons rack krap te worden. De drie database-servers, Artemis, Apollo en Alicia, zijn ieder gehuisvest in een redelijk huge-ass 4U CI-Design RS4100 rackmount. Op termijn willen we deze gaan vervangen door 2U-machines. Onze zoektocht naar vervangende database-hardware startte aldus met de volgende eisen:

• Maximaal 2U
  
• Minimaal 30% meer processorkracht ten opzichte van huidige configuratie
  
• Ruimte voor minimaal 5 hotswap SCSI-schijven
  
• Ruimte voor eigen RAID-controller

Omdat een volledig prebuilt-server met de door ons gewenste configuratie vrijwel onbetaalbaar is (bij € 5000,- beginnen we pas te praten) moest een keuze gemaakt worden tussen traditionele zelfbouw en het zelf afbouwen van een barebone. Zelfbouw heeft als voordeel dat de kosten laag zijn, maar als grootste nadeel dat je altijd tegen onverwachte problemen oploopt. Zelfs bij een uitvoerige voorbereiding zorgt Murphy er altijd voor dat (bijvoorbeeld) een bepaalde schijf net niet op de juiste manier past wat weer tot gehannes met houtje-touwtje bevestigingen leidt. Daar hadden we geen zin in en gezien het feit dat we in het verleden goede ervaringen hebben opgedaan met Appro-barebones besloten we bij hen te gaan winkelen. De schaarse zelfbouwoplossingen die volledig aan onze wensen voldeden, bleken bovendien nauwelijks goedkoper dan een Appro-barebone.

Vervolgens moest er een platform gekozen worden. Onze huidige database-servers zijn gebaseerd op de AMD Athlon MP, maar gezien het feit dat dit platform al eeuwen niet meer wordt ontwikkeld waren er feitelijk maar twee kandidaten: Intel's Xeon en de AMD Opteron. Met het eerste platform hebben we al ruime ervaring. Maar liefst tien Xeon-processors doen dienst in het Ace's Hardware presteerde de Opteron 244 onder 32-bit Linux veruit het snelst in MySQL (34 procent sneller dan een dual Xeon 2,8GHz). Onder 64-bit Linux met 64-bit MySQL kunnen de prestaties dankzij de extra registers van de AMD64-architectuur nog zo'n tien tot twintig procent beter zijn. Vanwege deze goede prestaties, die naar verwachting nog verder kunnen verbeteren in Linux 2.6 met NUMA-support, hebben we uiteindelijk besloten het Opteron-platform een kans te geven.

De 64-bit geheugenadressering van de Opteron zal meteen door ons benut kunnen worden. MySQL kan onder 32-bit Linux namelijk niet meer dan 2GB geheugen gebruiken, waardoor de resterende hoeveelheid geheugen op dedicated MySQL-machines met meer dan 2GB RAM alleen door de diskcache benut kan worden. 64-bit Linux kent dit probleem niet, waardoor we efficiënter gebruik kunnen maken van de beschikbare hoeveelheid geheugen (4GB tot 6GB) in onze database-servers.

Als basis voor de nieuwe Apollo dient een Appro 2128HS 2U barebone. De Appro is voorzien van een Tyan Thunder K8S moederbord en biedt plaats aan acht hotswap SCSI-schijven. De barebone werd door onszelf voorzien van een tweetal AMD Opteron 244 (1,8GHz) processors. De 240 (1,4GHz) is te langzaam voor ons doel terwijl de 242 (1,6GHz) nauwelijks goedkoper is dan de 244. De keuze voor het (op dit moment) snelst verkrijgbare model is dan ook een logische. Voor de komende upgrade van Artemis zal waarschijnlijk gebruik gemaakt gaan worden van de nieuwe 246-processor.

De storage wordt verzorgd door een drietal 36,7GB Seagate Cheetah 10K.6 schijven die in RAID 5 aan een LSI MegaRAID Elite 1600 met 128MB cache en Battery Backup Unit worden geknoopt. Omdat er in de Appro-kast geen ruimte is voor een IDE-bootschijf wordt Apollo voorzien van twee 9,1GB Seagate Cheetah SCSI-schijven die in RAID 1 samen de boottaken zullen verzorgen. Tenslotte wordt de niet aflatende honger naar geheugen gestild door de server te voorzien van 6GB PC2100 ECC Registered geheugen. PC2700 behoort ook tot de mogelijkheden, maar omdat 6GB PC2100 net zo duur is als 4GB PC2700 is de keuze op het eerste gevallen.

Afhankelijk van de snelheid waarmee het geheugen binnenkomt hopen we Apollo binnen nu en twee weken te kunnen plaatsen. Enige downtime is daarvoor onvermijdelijk, maar we zullen er natuurlijk alles aan doen om dat tot een minimum te beperken. Beperking van de downtime is ook één van de redenen waarom we geen componenten uit de huidige Apollo-configuratie in de nieuwe machine willen recyclen.

Reacties (83)

Afhankelijk van de snelheid waarmee het geheugen binnenkomt hopen we Apollo binnen nu en twee weken te kunnen plaatsen.

Het is toch een machine met (bijna) allemaal nieuwe hardware, waarom wordt hij dan nog steeds Apollo genoemd. Apollo is toch dood (of iig ziek) dus de vervanger verdient dan toch een nieuwe naam?

anders moet ik zo hard zoeken naar nieuwe namen

Serieus: er zijn niet zo heel veel goede namen meer (te lang, te veel op een andere server gelijkend etc) Vandaar dat we de namen recycelen (ook hoef ik op deze manier niet de hosts file / dns aan te passen op alle servers)

Quote=kees
(ook hoef ik op deze manier niet de hosts file / dns aan te passen op alle servers)

dat hoeft ook niet, laat de andere servertjes maar fijn denken dat hij Apollo is, en dan noemen wij hem anders

[edit]
het moet dus iets met een A in het begin worden aan gezien alle andere namen dat ook hebben:

Aphrodite, Athena, Achelois, Argus, Ares, Acidalia, Abaris, Artemis, Apollo, Arethusa, Alicia

En Iris dan?

ik had hier gekeken en heb er alleen bij de bovenste gekeken...

bij de grafiekjes staat Ires & Styx er wel bij....

Dan zou ik juist een naam nemen die met een "B" begint.
Dit is tenslotte de vervanger van Apollo.
Op die manrer kan je ook meteen tellen hoeveel servers er in het verleden geweest zijn.

Namen op?

http://homepage.mac.com/cparada/GML/005GreekScript/01GreekScript.html

Klik op Goden A - Z en dan op Catalog View Demo (is wel een Java-applet)
73 namen die beginnen met een A. Is wel iets minder dat de mega-lijst van mr_atheist (toch wel vreemd dat hij met zo'n lijst goden aankomt )

Ben ik blij dat ik de offers voor die goden niet hoef te betalen

Namen-bedenk wedstrijdje dan maar? Met als hoofdprijs de oude Apollo

Edit: anders ga je over op Noorse namen: Odin, Loki

noem hem gewoon databeest dan weet je ook gelijk wat zijn doel is.

Ik noem maar wat:
Zeus, Hera, Hercules.

En waarom moeten die dingen eigenlijk namen van personen uit de griekse mythologie hebben?

Daar ben ik het eigenlijk wel mee eens! In plaats van de huidige machines steeds te upgraden kun je nu kiezen voor een nieuwe naam; dat heeft een aantal pluspunten voor de server-history van t.net.

Kan er geen poll gehouden worden over een nieuwe naam. Ik denk dat veel tweakers het toch met mij eens zijn dat een nieuwe computer een nieuwe naam verdient. Bovendien kunnen we Apollo dan zijn oude naam laten houden uit respect voor alles wat ie ooit voor ons heeft geserveerd.

Zolang de functie van een server niet veranderd zien wij geen reden om de naam te veranderen. Het is in de communicatie onderling ook veel makkelijker. Als iemand 'Apollo' roept weet onderhand iedereen wat voor doos dat is en wat ie doet
Als een server een andere taak krijgt is het juist wel handig om de naam te veranderen, om verwarring te voorkomen.

Ik vraag me af waarom Apollo wordt vervangen, en niet Artemis. Apollo wordt over het algemeen minder belast (CPU usage en aantal queries) dan Artemis. Artemis staat soms wel op 75% van zijn CPU te draaien met 700-800 queries per sec. Apollo heb ik nog nooit zo hoog zien draaien eerlijk gezegd.

NOFI uiteraard, ik ben erg benieuwd hoe die Opteron nou reallife gaat presteren!!

Aanvankelijk was het ook het plan om eerst Artemis te upgraden maar toen Apollo een maand geleden plotseling instabiel werd, hebben we voorrang gegeven aan Apollo. Apollo draait nu al weer een tijdje stabiel (ik geloof met een andere kernel). Artemis gaat waarschijnlijk over de 365 dagen uptime voordat hij geupgrade wordt dus waar zijn we erg tevreden over.

We zijn van plan om wat zelf gemaakte MySQL benchmarks (gebaseerd op t.net database met veel voorkomende t.net queries, gemeten met apachebench zodat we een situatie met veel concurrent requests kunnen nabootsen) op de bak los te laten zodat we kunnen zien hoe de machine presteert onder AMD64 Linux en hoe goed de prestaties zijn in vergelijking met andere systemen.

Prima, ik snap het

Ik ben echt heel benieuwd naar die benches, met name als straks de 64bits versie van MySQL een eind uit is ontwikkeld en geoptimaliseerd. Ook leuk is het om straks te zien hoe ofdat Linux zich op het 64bits platform gaat gedragen. Misschien dat er nog wat kernel upgrades nodig gaan zijn Er komt trouwens een pre-2.6 op te draaien?

Voorlopig zal er gewoon een 2.4 kernel op komen te draaien. Linux 2.6 lijkt me iets voor over een jaar (wanneer de 2.6 kernel hopelijk al geruime tijd uit is).

Dan heb je weinig aan de NUMA. Ik heb zelf een halfjaar 2.5 gedraaid op een colocated bak die vrij zwaar belast was (AMD bak) en dat draaide als een speer. Geen hangups, loads waren stukken lager dan met 2.4, alles werkte als een zonnetje

Het is het proberen waard imho, mocht het niet goed draaien, is het snel genoeg weer omgezet

De extra performance hebben we voorlopig toch niet nodig. Het is logisch om dan te kiezen voor de hogere betrouwbaarheid van de 2.4 kernel. Met de manier waarop Artemis nu bijvoorbeeld draait (bijna een jaar uptime en MySQL die nooit crasht) hebben we er helemaal geen omkijken naar en dat is zwaar relaxed. We hebben ook tijden gekend waarin de database om de paar dagen op z'n bek gingen, maar alle vervelende consequenties vandien (downtime, geïrriteerde users, admins die midden in de nacht een server moeten restarten enz.).

In tegenstelling tot Apollo heeft Artemis nog nooit stabiliteitsproblemen gehad (althans niet in deze configuratie). Vandaar dat we eerst Apollo vervangen en daarna pas Artemis.

Er staat in het artikel dan ook dat er voor de komende upgrade van Artemis een Opteron 246 in de planning staat

Tenslotte wordt de niet aflatende honger naar geheugen gestild door de server te voorzien van 6GB PC2100 ECC Registered geheugen. PC2700 behoort ook tot de mogelijkheden, maar omdat 6GB PC2100 net zo duur is als 4GB PC2700 is de keuze op het eerste gevallen.

Deze keer geen sponsering van Dane-Elec? Of mocht er gewoon voor een x bedrag aan geheugen worden geshopt, waarbij of 4Gb PC2700 of 6Gb PC2100 gekocht kon worden op rekening van Dane-Elec?

Waar lees jij dat het niet door Dane gesponsord wordt?

Meer een aanname, omdat er imo een indruk word gewekt dat er heel erg bewust geshopt is. (Ok, sponsering moet ook bewust gedaan worden, weet ik ook wel.)
En anders staat er meestal wel bij van Dankzij Dane Elec ... en staat er vaak ook nog wel een logo van de sponsors onderaan het artikel.

Foute aanname van mij dus, maar echt duidelijk dat het wel gesponsord is, is het zeker niet.

In mijn mail

Waar lees jij dat het wel door Dane gesponsored wordt?

Sponsoringen zijn vaak eenmalig en worden vaak overschat, voor een fabrikant is het totaal niet reeel om 6 GB ECC Regged geheugen te gaan sponsoren als ze ooit al weetikveel hoeveel van dat geheugen hebben gesponsord.

Dat teranet dat wel deed/doet is natuurlijk nice, maar het verwachten mag je eigelijk niet.

Tweakers.net is prima in staat zelf rekeningen te betalen en doet dat ook heus wel braaf, alles wat gesponsord word is mooi meegenomen.

En die bak is zeker niet verkeerd....

Het verschil tussen 4 en 6 gb mem is zo veel dat ook de snelheid waarmee, het geheugen werkt niet echt van toepassing meer is. Als je de 2 gb van disk moet terug lezen ben je zo ie zo al langzamer uit.

waarom geen raid10 ipv raid5 voor de data ?
(ivm write performance)

omdat het aantal write acties vrijwel nihil is, en read 10 minder effectief met beschikbare ruimte omgaat als raid 5. (ergo: duurder)

RAID 10 is inderdaad een stuk sneller dan RAID 5. De vraag is echter of je die extra performance ook nodig is. De realiteit is dat de schijven alleen 's nachts tijdens het maken van de backup volledig belast wordt. Gedurende de rest van de dag is de belasting hooguit zo'n 25 procent van het maximum. Statistieken van de disk I/O kun je hier zien (halverwege de pagina). De relatief lage disk I/O is mede te danken aan een erg gezonde verhouding tussen databaseomvang en geheugencapaciteit (bij de nieuwe Apollo 22,6GB data met 6GB RAM en bij de nieuwe Artemis 4GB data met 4GB RAM). Disk I/O blijft daardoor erg beperkt.

Aangezien RAID 5 een stuk betaalbaarder is dan RAID 10 en de capaciteit makkelijker uitgebreid kan worden (de RAID-controllers ondersteunen online capacity expansion) hebben we voor RAID 5 gekozen. De LSI Logic RAID-adapters presteren erg goed in RAID 5 (bij andere merken zoals Adaptec wil dat nog wel eens een probleem zijn), vandaar dat we voor deze adapters hebben gekozen. Uit deze test blijkt ook dat de LSI MegaRAID Elite 1600 goed presteert in RAID 5 bij een hoge verhouding (50/50) schrijfopdrachten.

Waar gaan jullie eigelijk die 2U barebone vandaan halen? Wordt die gesponsord of moeten jullie die zelf kopen?

<font color=#786562>* -=Nitro=- meent zich te herinneren dat alle Xeon systemen tot nu toe gesponsord waren....</font>

Met uitzondering van het geheugen hebben we alle hardware zelf aangeschaft.

waarom wil AMD niet 2 van die procjes sponsoren voor zo'n prestigeuze site met zo'n zwaar database-backend? Als er ergens een in het oog springende banner komt te staan van de Opteron, dan is dat enorm goede reclame voor AMD. Met name omdat dan ook weer bewezen wordt dat de Opteron ook in de meest veeleisende omgevingen (kasten, koeling, belasting) goed presteert.

* 786562 neographikal

ik denk wel dat het best goeie reclame is ....

Maar als je daarmee begint staan er wel enkele 100'den hardware-sites te springen om hun hapje van de koek mee te nemen .....

ze allemaal iets geven is duur

tweakers.net is niet zomaar een site, het is dé grootste site van computerfreakend Nederland . En dan ook nog van de juiste doelgroep: freaks....

Er lopen hier genoeg sysadmins rond. Overtuig er 3 en je hebt de kosten eruit plus dat het erg goed is voor de naam, het is niet de minste databaseservers die het backend zijn. Staat goed voor zakelijke klanten hoor

En zo zijn er nog minstens 50 super bekende websites, die ook om zo'n processor staan te springen. Sites die nog veel bekender zijn, met veel meer bezoekers. Ik weet niet hoeveel Toms Hardware er per dag heeft. Of een site als Ace' Hardware of Aikiba of... of... of.... Maar ik gok dat dat er per dag een stuk meer zijn. Neemt uiterraard niet weg dat t.net ook godsgruwelijk veel bezoekers trekt. Zeker voor een nederlandse site.
Maar anyway, het is echt niet zo dat Tweakers.net de bekendste, of een van de bekendste hardware sites op internet is. Dit is vooral te wijden aan het feit dat tweakers.net een nederlandstalige website is die dus maar een stuk of 30 miljoen mensen kunnen lezen.
Ter vergelijking: Duitsland heeft 82 miljoen inwoners of iets dergelijks. Alleen de duitse variant van Toms Hardware zou dus al meer potentiele bezoekers kunnen trekken. Laat staan de engelse variant.

You get the point

Edit: moraal van het verhaal: tweakers.net is niet de enige site die die Opteron wil

edit 2: Duitsland heeft er dus 82 miljoen. Volgens mij had Frankrijk er dan 56

nee zeker niet

Maar in nederland dus wel

En als AMD grote sites als toms hardware sponsort gaat het ook om grote bedragen

maar een wat kleiner bedrag zou amd en tweakers al een stuk kunnen helpen

tweakers is dan uit de kosten en amd heeft weer wat meer aanzich in Nederland

Ter vergelijking: Duitsland heeft 56 miljoen inwoners of iets dergelijks. Alleen de duitse variant van Toms Hardware zou dus al meer potentiele bezoekers kunnen trekken. Laat staan de engelse variant.

Een kleine 82 miljoen inwoners.

Tjah, toch ben ik het niet helemaal met je eens.. ik denk dat de meeste tweakers rond de 20 jaar of jonger zijn, niet echt prototype decission makers imho. Ben nog nooit op een technology beurs geweest waar ze zich richten op deze groep mensen, dus vermoed ik dat het toch niet zo lonend is als je schetst.

In tijden van grote winsten kan een bedrijf de (toekomstige) doelgroep op meerdere manieren aanspreken, maarja, het is nou eenmaal duur om te adverteren. Zelf heb ik het gezien met een aantal reviews en sponsoring, uiteindelijk is daar voor 'ons' niets uitgekomen, behalve veel pageviews op de website. Dan ontdek je dus dat je de verkeerde mensen aan het benaderen bent. Wellicht heeft AMD er daarom ook niet direct zin in.

Anderzijds kan het zijn dat t.net die afhankelijkheid deze keer niet wilde en het dus niet eens gevraagd heeft. Btw: AMD haalt z'n reclame er toch wel uit, want uiteindelijk draaien ze toch op een stel Opterons strx, gesponsord of niet

Hopelijk doen de plaatjes het weer goed op de nieuwe bak

Omdat er in de Appro-kast geen ruimte is voor een IDE-bootschijf wordt Apollo voorzien van twee 9,1GB Seagate Cheetah SCSI-schijven die in RAID 1 samen de boottaken zullen verzorgen.

Waarom kunnen er wel 2 scsi schijven in en niet 1 ide? Of zit er geen ide controller op het tyan mobo?

omdat al die hd-baaien voorin een mooie scsi hotswappable interface hebben
je zou het er uit kunnen breken, maar das zeg maar erg sund....................

En onmogelijk omdat scsi een bussysteem is. Dus je zou dan een terminator aan het eind moeten solderen. wat met 68 adertjes wel erg lastig wordt.

En zoals je al zei is het op zijn zachts gezegd nogal jammer..

Is er trouwens helemaal geen geheugen beschikbaar om snelheidstests te doen?

* 786562 xion
@TD-er
Ik weet dat het sinds u160 zelfs verplicht is om de terminator vast op de kabel te hebben en niet meer los of geintegreerd op een scsi-apparaat

Dit zullen trouwens wel sca schijven zijn met een sca-backplane..

Moderne SCSI-schijven worden toch al niet meer op de schijf getermineerd, waardoor(/omdat?) terminatie op de kabel toch al gebruikelijk is.

Sweet Wordt er nu ook weer een glazen deur in het rack geplaatst zodat Trueserver bezoekers de nieuwe aanwinsten kunnen zien? Laatste keer dat ik langs het T.net rack kwam zaten er 2 achterkanten op

Een glazen voordeur zuigt de lucht zo lastig naar binnen en sinds t.net tegen woordig behoorlijk wat power gebruikt én dus veel warmte produceerd is dat denk ik niet meer mogelijk. Misschien in een 56 HE rack van 1200mm

Ik laat liever niet m'n 19" cabinet open hoor. Zo'n ding zuigt toch lucht van beneden of boven aan, afhankelijk van waar je klimaatbeheersing lucht toevoert? Tenminste, dat is in mijn wereld zo.

Dat is al lang niet meer zo. TeleCity-2 is zo gebouwd dat de omgevings temperatuur koel genoeg is. De meeste kabinetten nemen lucht aan de voorkant in en blazen het achter uit. Aan de voorkant-tegelrij liggen daarom ook een aanzienlijke hoeveelheid roosters.

Het top-to-bottom koelen levert met de huidige warmte-belasting te weinig koeling op. Vooral in een écht vol rack zoals dat van t.net.

Nu dan toch even een wat practischer vraagje... Welk OS wordt er straks gedraait? Ik mag toch wel hopen dat het een 64Bit OSje is... (RH/Suse/Other?)

Het is de bedoeling dat er 64-bit Linux (Slackware als dat mogelijk is?) met 64-bit MySQL op komt te draaien.

nee, er is geen 64 bits slackware.

Er is een testversie voor de AMD64 van Redhat en Suse, maar deze werken verre van optimaal (de meeste libs dubbel ivm 32/64bits programma's). Van slackware heb ik nog niets gehoord over een AMD64 only systeem.

Evenals Gentoo nog niets van zich laat horen. Op zich niet zo gek, aangezien je voor AMD64 optimalisaties GCC3.3 nodig hebt. En hiermee hebben mensen (op bijvoorbeeld de gentoo fora) nog grote problemen.

Vandaar dat ik er voor kies om in eerste instantie een 32-bits Slackware systeem ervan te maken, met een AMD64 kernel en AMD64 MySQL. MySQL linkt de libraries statisch, vandaar dat die ook compleet 64 bits draait en niet afhankelijk is van statische 32-bits 3-party libraries. Hierdoor zou er dus in principe een vrijwel evengrote performance winst mogelijk zijn als een 64-bits OS (want mysql is nu eenmaal veruit de belangrijkste app op de server).

Conclusie:
- Slackware 9 (32 bits)
- 2.4.21 kernel met AMD64 support
- MySQL AMD64 (64 bits)

Thnx.

Ik zelf kan niet wachten tot het Debian Project ook AMD64 gaat doen Maar zoals je zegt, MySQL is het belangrijkste en die werkt gelukkig al wel

Optional Remote Server Management

Hebben jullie dit er als optie bijgenomen, hoeft Kees niet meer midden in de nacht naar Amsterdam toe

Alle servers hebben al remote server management, maar soms moet je gewoon naar True toe, omdat sommige dingen niet via remote kunnen. Of het gaat veel sneller als je op de colo zelf bent.

Volgens mij ben je in de war met de APC die servers slechts tijdelijk of langer van stroom kan ontdoen. Dat is wel iets anders dan Remote Server Management.

Is dit ook de reden dat jullie een tijdje geleden 'geld inzamelden' met al die reclamecampagnes op de FP?

Ik heb geen abo, maar ik klik wel braaf op alle banners die opkomen

Dus misschien dat ik ook een paar euro heb bijgedragen