Configuratie nieuwe database server

...voortbordurend op het verhaal van Reinder over de nieuwe database server...

Binnenkort komt er naast Tweakers.net en Fokzine een derde site te draaien (Realgamer.nl), die ons de mogelijkheid geeft om een derde server bij Vuurwerk te installeren. In het verhaal van Reinder heb je al kunnen lezen dat deze nieuwe server de huidige database server (Athena) gaat vervangen. Voor de nieuwe Athena hebben we een redelijk strakke configuratie in gedachte, met later dit jaar een CPU/mobo upgrade op de planning.

De huidige Athena maakt gebruik van SoftRAID (RAID 5). Omdat dit vooral bij harddisk calamiteiten een wat minder safe oplossing is dan hardware RAID hebben we besloten om de nieuwe Athena met een high-end RAID controller uit te rusten.

Mijn zoektocht na een geschikte RAID controller is voorlopig uitgekomen bij de DPT SmartRAID VI Decade. Mylex, Adaptec en American Megatrends hebben erg leuke controllers, maar vaak zijn ze 64-bit PCI of ontbreekt Linux support. Bij de Decade is dat geen probleem. Om de performance verder te verhogen heb ik gekozen voor de 2 channel versie met 128MB cache memory .

Voor de schijven ligt m'n keuze bij de 9,1GB Seagate Cheetah 18LP. De benchmarks die ik heb nagekeken (Storage Review en het tabellen in c't) laten een hogere throughput zien voor de Quantum Atlas 10K, maar een lagere seektime voor de Cheetah. Seektime is voor zover ik weet belangrijker voor databases dan rauwe bandbreedte. De Atlas 10K II en Seagate Cheetah X15 zijn nog niet leverbaar en zijn daarom geen optie (de Cheetah X15 is wel errug chill maar ook een beetje duur ). De 4 Cheetah's komen in een RAID0+1 setup aan de controller te hangen. Het is allemaal een beetje overkill voor de simpele database die wij draaien, maar daarom niet minder cool .

Ondanks het feit dat Tweakers.net en Fokzine toch vrij veel database queries veroorzaken, heeft de huidige Athena een extreem lage load. Het investeren in een super dikke mobo/CPU combo lijkt ons daarom voorlopig niet zinvol, ook al omdat er voor het eind van dit jaar veel te veel interessante produkten uit zullen komen (AMD Mustang, AMD 760MP chipset, Intel Willamette). Voorlopig willen we het nog simpel houden. De AMD Athlon / Thunderbird heeft momenteel de beste price/performance en het ligt daarom voor de hand om een Thunderbird te gebruiken (ook al 'mag' je geen server op een Athlon draaien). De huidige twee systemen draaien afgezien van wat software probleempjes zo stabiel als een huis (Athena 21 dagen uptime voordat deze een reset kreeg ivm kernel update).

Het is nog even afwachten of de KT133 borden daadwerkelijk zo labiel zijn als door Heise Online wordt gesuggereerd. MSI lijkt met de K7T Master in ieder geval een interessant plankje in huis te hebben (6xPCI, 4xDIMM, Ultra160 SCSI).

Een dual PIII zou ook een goede optie zijn, maar zoals gezegd willen we later dit jaar een vette config bouwen en dan zou een dual PIII voorlopig overkill zijn. Bovendien is de situatie bij de PIII borden ook niet helemaal helder. De BX draait op 133MHz buiten spec, de i820+SDRAM is buggy, de i820+Rambus veel te duur, de Apollo Pro 133A heeft een lage memory performance en de dual Apollo borden schijnen nog stabiliteitsproblemen te hebben. De wel erg interessante borden met ServerWorks chipset zijn nog niet verkrijgbaar en passen niet in ons upgrade pad.

De Thunderbird (of PIII, als KT133 echt prut is) machine waarop we gaan draaien zal eind dit jaar geupgrade worden naar een AMD 760MP systeem. Deze upgrade is vrijwel zeker aangezien de 760MP veruit de beste papieren in handen lijkt te hebben. Dual Thunderbird of Mustang op een 266MHz point-to-point bus in combinatie met PC2100 of PC2600 DDR SDRAM is technisch gewoon veel beter dan dual PIII op een gedeelde 133MHz bus. SuperMicro en Tyan hebben AMD760MP borden aangekondigd, dus blijkbaar is er ook belangstelling en vertrouwen bij de fabrikante van server borden.

Willamette zou natuurlijk ook een alternatief zijn, maar waarschijnlijk zijn goede dual borden eind dit jaar (~november) nog niet beschikbaar. Bovendien wordt je dan waarschijnlijk met RIMRAMMen opgescheept, wat een nogal dure grap kan worden.

Als de drie systemen in werking gaan (wat overigens nog wel een maand of twee kan duren) hebben we een supersnel cluster met in totaal ~2,4GHz processor power, gebaseerd op betaalbare hardware. HTTP request willen we via mod_backhand load balancen over deze drie servers. Tweakers.net en Fokzine zijn al zodanig gebouwd dat de scripts in principe vanaf elke server gedraaid kunnen worden. De statische delen die gepre-renderd worden (update tracker, frontpage postings, frontpage nieuwsoverzicht etc.) worden allemaal vanuit de database geserveert en niet meer vanuit text includes (die als probleem hebben dat ze niet synchroon lopen bij meerdere machines, tenzij je natuurlijk via NFS gaat sharen).

Tegen de tijd dat de derde server wordt geplaatst zijn we door Arjen's PHP Forum waarschijnlijk verlost van het UBB organisme met zijn ranzig trage platte textfiles. Vreemde onberekenbare pieken in de load zijn dan verleden tijd. Voor de snelheid van de site bijven we grotendeels afhankelijk van Vuurwerk en Versatel. Wanneer je een trace route op Tweakers.net loslaat zul je waarschijnlijk merken dat Versatel nog wat routingproblemen heeft. Deze problemen worden hopelijk aan het eind van de maand opgelost.

Reacties (28)

[GaMeOvEr]

Theodoor,

Die Mylex DAC950/960 zou ik niemand aanraden, er staan hier meerdere Servers met die Raid kaarten erin, en die dingen springen bij het minste of geringste in Error, of detecteren gewoon geen disken meer, en dan kun je er weer een nieuwe instoppen.

Geloof me, die dingen zijn mij iets te vaak door mijn handen gegaan, en het zijn altijd controllers uit verschillende Servers, op verschillende locaties.

Tevens zijn die dingen godsgruwelijk gevoelig voor maar de kleinste storing in je stroomcircuit. Zelfs achter UPS'sen zijn sommige stuk gegaan...

[EfBe]

Femme: als MySQL maar een paar procent CPU tijd vreet (wat ik me niet kan voorstellen) waarom is er dan een bottleneck ergens? ik bedoel, ik zit wel bij casema maar vooral het ophalen van replies lijkt lang te duren. als die database server uit zn neus zit te eten, waaraan ligt dan het snelheidsverlies?

Sybase is een database leverancier die het niet erg goed meer doet. Het was een paar jaar terug een grote speler, maar heeft de race verloren van met name Oracle, mede omdat sybase een aantal essentiele features niet goed genoeg kreeg geimplementeerd (tegenwoordig wel, schijnt). Database systemen ontlopen elkaar qua functionaliteit niet zoveel (de commerciele pakketten). De een heeft feature X, de ander Y. Voor unix heb je een aantal commerciele databases, maar ik zou voor Oracle of DB2 gaan, en dan met name voor DB2. Gratis databases zijn alleen mysql en postgresql waarbij postgresql leunt op de ingres erfenis en een volwaardige RDBMS kan worden genoemd, iets wat mysql niet is (mysql is in feite een ms access file met een snelle driver die zo snel is door veel essentiele zaken weg te laten )

Migreren naar een ander database system is niet 1 2 3 gedaan. Ik zou er wel terdege rekening mee houden dat je binnen een tijdsbestek van een halfjaar tot een jaar tegen problemen aanloopt binnen mysql. (je moet dan teveel eigen code inbrengen om het beheersbaar te houden ivm ontbreken van transactions). Dus je zou een pilot kunnen doen met postgresql. De sql is niet zo verschillend tov mysql.

voorbereid zijn op toekomstige acties is altijd nuttig

[Femme]

</div><div class=b4> ik bedoel, ik zit wel bij casema maar vooral het ophalen van replies lijkt lang te duren. als die database server uit zn neus zit te eten, waaraan ligt dan het snelheidsverlies? </div><div class=b1>
Casema vrees ik .

Er *is* nog geen echte bottleneck bij de servers. Heel sporadisch komt het voor dat Appie over z'n nek gaat wanneer het forum raar doet. Afgezien daarvan heeft Appie het soms al redelijk druk en daar moet dus nog het PHP Forum (effect onbekend, hopelijk positief) en Realgamer bij komen.

Hoe dan ook we willen we gewoon echte hardware RAID.

Versatel heeft nog wel problemen met hun netwerk, waar Vuurwerk nu nogal last van heeft.

Ik heb me nog niet verdiept het transaction en stored procedures gebeuren (iets dat ik niet ken kan kan ik derhalve ook niet missen ).

[Femme]

Aha, dit is ook interessant: * Femmededelingen/" target=_blank>web.planet.nl/abonnees/servicelijn/mededelingen/ :

</font></div><div class=b4> 3-06-2000 16:33 uur. Traag dataverkeer via Vuurwerk (welke ook de Planet Shop host).

Op dit moment komen internetpagina's gehost door Vuurwerk en email van pop.vuurwerk.nl traag of niet binnen. Ook de Computer Shop van Planet Internet wordt door Vuurwerk gehost en is helaas vrijwel niet te gebruiken. De doorroutering via Versatel mislukt, waardoor de datapakketjes een omweg moeten maken en vaak verloren gaan, zodat ze opnieuw verzonden moeten worden (packetloss). Wij hebben over dit probleem contact gehad met Vuurwerk, en zijn in tot de constatering gekomen dat dit probleem aan hun kant ligt. Vuurwerk is doende het probleem te onderzoeken om de zaak op te lossen, maar de oorzaak is nog niet echt duidelijk. In ieder geval ligt het niet aan ons; ook andere providers kennen deze problemen</div><div class=b1>
Dat zal wel de welbekende 50%-packet-los-Versatel-router zijn... (waar ik nu trouwens nauwelijks last van heb bij XS4All).

[Le Mol]

Een forum op basis van MySQL en PHP zal de serverload van appie aanzienlijk verminderen, dat eanzig UBB vreet cpu tijd, mijn 486 (tja ons bint zunnig ) trok ubb met veel requests meestal niet, leverde erg demente resultaten , maar mijn PHP en MySQL knutsel werkjes trekt hij makelijk! en dan is mijn knutsel werkje nog niet eens leker geoptimatiseerd dus......

ff wat anders hoeveel db query's worden er gedaan als iemand bijv de frontpage bezoekt en als iemand een nieuws item met 10 reacties bekijkt?

[PcDealer]

Wat ik vond op de Adaptec site over DPT:

www.adaptec.com/adaptec/press/release991101.html
en
www.adaptec.com/products/solutions/raid.html

[Femme]

Wel vreemd. Mylex is toch een erg bekende naam op dit gebied?

</div><div class=b4> Dan blijf ik me afvragen: waarom die geplande upgrades, als de processorbelasting maar een paar procent is? </div><div class=b1>
Ik gaat het nog 1 keer uitleggen :):
- Database lage CPU load, maar geen hardware RAID
- Appie redelijk load, wordt in de toekomst meer
=> Nieuwe database server met hardware RAID = sneller & veiliger
=> Extra webserver geeft meer ruimte voor groei van Tweakers.net, Fokzine en Realgamer.nl.

[localhost]

Mocht je interesse hebben, dan wil ik wel eens kijken of ik deze www.icp-vortex.com/prod/pci/6638rd/6638rd_e.html of deze www.icp-vortex.com/prod/pci/6618rd/6618rd_e.html kan uitlenen.

Draaien hier inderdaad op een Linux systeem.

[Onno]

Waarom al die upgrades als de huidige servers alles gewoon aankunnen?

Gaat het nou echt alleen maar hierom?

</div><div class=b4>cool :)</div><div class=b1>

[Femme]

Aphrodite heeft 't al redelijk druk tijdens de topuren. Als daar nog een extra site bijopen kom te draaien is een extra server wel handig. Bovendien is hardware RAID gewoon beter, dus die RAID controller had er toch een keer in gemoeten.