Door Femme Taken

UX Designer

Forum in verwachting van nieuwe database-server

01-09-2006 • 18:46

52

Apollo IV / Disk array aankondigingIn de OnderdeelApollo IVApollo VBehuizingAppro 2128HsDell PowerEdge 1950
Dell PowerVault MD1000ProcessorsDual AMD Opteron 248 2,2GHzDual Xeon 5160 3,0GHz 4MB L2Geheugen8GB DDR26616GB DDR2-667RAID-controllerLSI Logic MegaRAID SCSI 320-2X 128MB
BBUDell PERC 5/E 256MB
Transportable BBUStorage2x Seagate Cheetah 10K.6 36GB SCSI
6x Seagate Cheetah 15K.3 36GB SCSI2x 73GB 10K SAS
15x Fujitsu MAX3036RC 36GB 15K SAS

Halverwege augustus werd de bestelling geplaatst voor Apollo V. Vandaag werden geheel onverwacht eindelijk de eerste onderdelen geleverd, namelijk de PowerVault MD1000 en de PERC 5/E. Tot onze vreugde bleek dat de doos was geleverd met de zeer vlotte MAX3036RC-disks van Fujitsu in plaats van de veelgebruikte maar matig presterende Cheetah 15K.4's van Seagate.

Dell PowerVault MD1000 SAS disk array

Dell PowerVault MD1000 SAS disk array - Swapbays

Nadat de loodzware machine aan een fotosessie was onderworpen werden de PowerVault en de PERC 5/E direct op een van onze storage testsystemen aangesloten, waarin zij nu indrukwekkende testresultaten produceren. Vergeleken met de database-performance van veertien MAX3036RC's aan de Dell PERC 5/E verbleken alle eerder geteste configuraties, ook die met de snelle SATA RAID-kaarten van Areca. De fileserverprestaties zijn op ongeveer gelijk niveau als de Areca ARC-1160 met 256MB cache en veertien Raptor WD740ADFD's in RAID 5. Ook de low-level performance van de diskconfiguratie is prima in orde. De veertien schijven halen in RAID 5 een sequentiële transfer rate van ruim 510MB/s. De random I/O performance in de IOMeter fileserver simulatie is uitstekend.

In de komende weken zal de aanwezigheid van de PowerVault MD1000 benut worden om een vergelijking van PCI Express SAS RAID-adapters samen te stellen. Naast de Dell PERC 5/E zullen daarin ook de LSI Logic MegaRAID 8480E en de ICP Vortex ICP5085BR deelnemen. De ICP5085BR is een getunede Adaptec 4805SAS met een 800MHz I/O processor en 256MB cache.

Dell PowerVault MD1000 SAS disk array - SAS-connector en PERC 5/E controller

Het is nu nog wachten op de levering van de PowerEdge 1950 alvorens er begonnen kan worden met het configureren en testen van de nieuwe database-server. Na voltooiing van de upgrade zal Apollo IV een processorupgrade krijgen en ingezet worden om Artemis te vervangen door een configuratie met iets snellere processors, een dubbele hoeveelheid geheugen en 15.000 in plaats van 10.000 toeren SCSI-disks. Hiermee kan Artemis weer een goed half jaar mee voordat waardige vervanging voor de deur staat.

Reacties (52)

52
52
33
4
0
13
Wijzig sortering
Misschien heb ik het mis, maar tijdje terug hadden jullie het verschil van Opterons/Xeons getest en toen bleek de Opteron absolute koning te zijn. Vanwaar dan de 'overschakeling' naar Xeons?
Dit zijn/worden Xeon Woodcrests. Gebaseerd op de nieuwe Core-architectuur. En zoals je wel kan raden presteren die wel beter dan de Opterons, een stuk beter zelfs.
Maar daarover later meer ;)

Wat we toen testen was overigens niet eens de 50xx serie, maar die daar weer voor. Dus met een heel wat beroerder chipset (minder bandbreedte) en met gewoon DDR2 ipv FB-dimm geheugen.
Ik denk dat ze toen de 50xx serie Xeon's hebben getest. De 51xx serie heeft echte knallers aan boord, de keuze lag dus nogal voor de hand denk ik.

Ik vraag me alleen af of het aantal HD's niet een beetje overkill is, aangezien je die bandbreedte voorlopig niet gaat gebruiken en SAS schijven idioot duur zijn.
ACM Software Architect @Gustaaf4371 september 2006 21:12
Uiteindelijk viel deze opstelling kwa aanschafwaarde nog wel mee... Hij moet uiteraard wel weer drie jaar of meer mee kunnen en de huidige opstelling was ondertussen afgeschreven en wordt ook nog eens gebruikt om een upgradeinvestering in Artemis uit te stellen.

Overigens is de bandbreedte inderdaad niet zo'n punt. Wat we nu echter wel bij Apollo zien is dat ie nogal veel zit te wachten op I/O en dat dat met de groei van het forum alleen maar erger is geworden.
Het lijkt er dus op dat zowel de 8GB ram als de opstelling met 5 disks in RAID5 niet helemaal meer voldoet voor een vlotte aanlevering van de forum-webpagina's.
Met name in oude topics of het openen van zoekresultaten kun je nu aanzienlijke vertragingen ondervinden doordat veel data buiten de disk-cache is gevallen en dus van disk ingeladen moet worden.

Vandaar meer geheugen en meer (en snellere) disks. Niet zozeer voor de bandbreedte, maar voor de verlaagde response- en servicetijden. Oplossingen met 10 disks bestaan eigenlijk niet in dit formaat en als je dan meer dan 8 disks (wat we nu hadden) in een doos wil, kom je al gauw bij dit soort opstellingen terecht. En dan wil je natuurlijk wel de behuizing gelijk maar vol hebben, want later er disks bij kopen kost alleen maar meer moeite en downtime.

Overigens had de portemonnee van VNU hier geen bal mee te maken. Die illusie zal nog wel terug blijven keren, maar er wordt echt niet ineens nu allemaal geld uitgegeven dat er anders niet geweest zou zijn (ze willen tenslotte winst met ons maken, geen verlies).
Hoe groot zijn de databases eigenlijk waar de FP en het forum op draait?

Als dat in de orde van zeg een 16 GB is, dan zou je toch door caching al een groot deel van de performance kunnen halen en dan hoeft er alleen maar een disk-actie plaats te vinden wanneer er iets gepost wordt.
Of denk ik nu iets te simpel en is er in de praktijk werkelijk nog een hoop winst te halen uit veel snellere schijven, zelfs als de hele DB in het geheugen zou passen?
ACM Software Architect @ACM2 september 2006 00:33
In dit geval is alleen het forum relevant. En die db is ruim 40GB en blijft uiteraard alleen maar door groeien. Dus zelfs met 16GB past nog lang niet alles in de caches. Weliswaar is een groot deel van de db voor het grootste deel van de tijd niet relevant, maar zelfs dan blijft het natuurlijk een behoorlijke berg data.

En o.a. doordat het gebruik van de zoekmachine is toegenomen blijven ook oude topics nog opgevraagd worden.
Met de bankpas van VNU winkelt het zoveel prettiger :+
De prijs van SAS-harde schijven valt heel erg mee. Voor onze toepassing willen we veel schijven die per stuk goed moeten presteren en betrouwbaar moeten zijn. Omdat we veel schijven willen gebruiken is de capaciteit per schijf niet relevant, de totale capaciteit van een array zal toch ruimschoots voldoende zijn voor onze databases.

Goedkope 7200rpm SATA-schijfjes komen sowieso niet in aanmerking omdat ze niet berekend zijn op 24/7 gebruik met een duty cycle van 100 procent. Er zijn maar weinig 7200rpm schijven die daar aan voldoen. De Western Digital Caviar RE2 is er eentje, maar de goedkoopste variant kost 155 euro. De prestaties in database-toepassingen zijn slecht en aan de hoge capaciteit hebben we niets.

Een Western Digital Raptor WD360ADFD van 100 euro is wel een mooie disk, maar de databaseprestaties zijn nog steeds een stuk minder dan die van een 15.000 toeren SAS-schijf. Een 36GB Fujitsu MAX3036RC kost 172 euro. Omdat ze beter presteren dan een Raptor heb je er minder van nodig. Als we vergelijkbare prestaties willen halen met Raptors als met een array van vijftien 15K SAS-schijfjes zouden we over de twintig Raptors moeten gaan, waardoor er met een erg lompe kast gewerkt moet worden en er dure controllers ingezet moeten worden. De PowerVault MD1000 is weliswaar ook een vrij dure oplossing vergeleken met een lompe kast waar een mobo en veel schijven in passen, maar het is wel een oplossing die schaalbaarder is en relatief compact.
Beetje jammer alleen dat ze voor Dell gekozen hebben. Nieuwe aanschaf van Dell is wel oke, maar uit praktijk kan ik vertellen dat ze 9 van de 10 gewoon herstelde spullen van andere klanten sturen als je iets vervangen wil hebben.
AuteurFemme UX Designer @Zwerver1 september 2006 21:30
Dell had een aantrekkelijke aanbieding en kon als een diskdoosje voor een stuk of vijftien 3,5 inch SAS-schijven leveren. HP heeft ook zo'n apparaat in de planning maar kon 'm nog niet leveren. Wel heeft HP een oplossing voor 2,5 inch harde schijven. Die is echter erg prijzig omdat je twee disk arrays en veel meer schijven nodig hebt om hetzelfde prestatieniveau te halen als een kleiner aantal 3,5 inch 15K SAS-schijven. Ook is het nog maar de vraag of het in de praktijk beter gaat presteren. Een groter aantal 10.000rpm SFF-schijfjes kan alleen sneller zijn als er erg veel gelijktijdige I/O plaatsvindt, zodat alle schijven iets te doen hebben. Anders zullen de 15K-schijven beter presteren vanwege hun betere prestaties per disk.

We wilden ook per se SAS omdat de technologie velen malen eleganter is dan parallel SCSI en omdat we er beter mee op de toekomst zijn voorbereid.

Zelfbouw oplossingen hebben we niet serieus in overweging genomen omdat die vaak minder zekerheid bieden (bijvoorbeeld op het gebied van koelvermogen).
Stomme vraag misschien maar hebben jullie de EVA's van HP ook in gedachten gehad? Ik weet bijv. wat de performance is van de EVA-4000 en ik kan me niet voorstellen dat deze Dell's sneller zijn :) Nou weet ik natuurlijk niet wat de EVA-4000 kost :)
De EVA4000 is een SAN-apparaat en dat is niet waar wij op zoek naar waren. We wilden gewoon DAS gebruiken maar wel met veel disks en een goede performance.

De controller van de EVA4000 kost al bijna 21.000 dollar, veel meer dan onze complete server.
Ah duidelijk :) Ik had al aangegeven dat ik niet op de hoogte was van de prijs en ik wist niet dat jullie geen SAN wilden :)
ACM Software Architect @Zwerver1 september 2006 21:24
Sja... het was al moeilijk genoeg om te vinden wat we wilden (veel disks in een relatief krappe behuizing binnen ons budget). We wilden niet meer met "depricated" scsi aan de gang en Fibre Channel hebben we te weinig ervaring mee (nog afgezien van de kosten), het bleek in ons budget wel mogelijk om SAS te gebruiken.

Maar toen bleek dat er eigenlijk nog bijna geen enclosures zijn. Deze oplossing van Dell was een van de weinige (nouja, de enige eigenlijk) totaaloplossingen die voldeed aan de eisen en binnen het budget paste.
Als ik het dus goed begrijp gaan er door dat ene kabeltje tussen de Dell PERC 5/E en de Dell PowerEdge op de laatste foto iets van 15 SAS-aansluitingen? Op een of andere manier? 8)7

Want dat leek me zeg maar een vereiste van RAID, gelijktijdig je schijven aan kunnen spreken. En dat terwijl in deze configuratie de RAID-array fysiek gescheiden is van alle schijven, op dat ene kabeltje na. :P

moto wist 't antwoord niet eens :+
AuteurFemme UX Designer @Osiris1 september 2006 21:18
De PowerVault MD1000 heeft twee SAS-expanders die fungeren als een soort switch met port trunking. Een SAS-expander heeft een bepaald aantal poorten die vaak flexibel geconfigureerd kunnen worden in upstream en downstream poorten. In dit geval heeft iedere expander vijftien poorten die in verbinding staan met de (dual-ported) SAS-harde schijven. Daarnaast zijn er nog vier upstream en vier downstream poorten die als externe SAS x4-connector aanwezig zijn. SAS is erg schaalbaar en biedt de mogelijkheid om de bandbreedte van poorten in een gecombineerde wide-port. SAS heeft een bandbreedte van 300MB/s per poort. In dit geval is er dus sprake van een wide-port met een bandbreedte van 1,2GB/s. Dit gaat allemaal door het kabeltje dat je op de foto ziet.

We gaan maar één van beide SAS-expanders gebruiken. De tweede zou je kunnen gebruiken in een cluster/failover-opstelling waarbij een tweede server toegang heeft tot de harde schijven.
Is daar nog enige performanceloss mee gemoeit? Ik neem aan dat dat in ieder geval iets is. De switch verdeelt het verkeer en voegt dus latenty toe.
AuteurFemme UX Designer @Ruudjah5 september 2006 00:33
De expander zal ongetwijfeld enige invloed uitoefenen op de prestaties, maar de latency die de expander toevoegt zal beperkt zijn in verhouding tot de gemiddelde responstijd van een I/O. Wat betreft bandbreedte zorgt de expander niet voor een bottleneck. Er is een verbinding van 1,2GB/s met de PowerVault MD1000, maar de PERC 5/E kan niet meer dan 510MB/s sequentieel lezen (een waarde die beperkt wordt door de I/O processor). 510MB/s is overigens een nette score, alleen bij de Areca ARC-1280 heb ik het hoger gezien, maar die heeft Intels nieuwste dualcore I/O processor aan boord.
ACM Software Architect @Osiris1 september 2006 21:19
Bij SCSI werden alle disks sowieso al op een enkele kabel aangesloten.
Bij Serial Attached SCSI wordt in principe per disk een kanaal opgezet naar de controller. Tenzij er een expander tussen zit. Die kan je zien als een netwerkswitch die er voor zorgt dat je X devices over Y kanalen kan zenden, in ons geval dus 15 disks over 4 kanalen (zo'n wide channel is 4x300MB/sec). Hoe het verder precies zit weet ik ook niet, daar zijn vast tig whitepapers over te vinden bij LSI, Adaptec, Dell, HP en anderen.

De raid-controller ziet overigens inderdaad 15 losse drives via dat ene kabeltje.

Maar er bestaan natuurlijk ook oplossingen waar de raid-controller in de enclosure zit en je alleen nog maar een domme host-adapter nodig hebt om de logical disks in je server te kunnen zien (Fibre Channel werkt vziw zo).
Maar er bestaan natuurlijk ook oplossingen waar de raid-controller in de enclosure zit en je alleen nog maar een domme host-adapter nodig hebt om de logical disks in je server te kunnen zien (Fibre Channel werkt vziw zo).
Dat van die FC klopt inderdaad (althans bij de FC-SAN's die ik gezien heb.

Wat ik me nog afvraag is waarom er gekozen is voor enkelvoudige uitvoering van de connectie naar de kooi. Het gevolg van een uitval is een stuk groter geworden nu.
Waarom is gekozen voor de aanschaf van 1 server, i.p.v. van meerdere met misschien wat mindere configuraties? Vanuit het oogpunt van redundancy lijkt me dat beter, al zijn de lange termijn kosten dan misschien wel iets hoger...
mysql kan (nog) geen redundantie aan, en aangezien ons forum alleen op mysql kan draaien hebben we dus niet zoveel keus behalve één bigass machine neerzetten, ik zou het zelf ook liever anders zien ;)
Word het dan misschien niet eens tijd om het forum geschikt te maken voor een andere sql server?
http://www.mysql.com/products/database/cluster/

MySQL geen cluster...? een googletje op "Database server cluster" (uit interesse) leverde me dit resultaat al als 3e ofzo op...
http://dev.mysql.com/doc/...en/mysql-cluster-faq.html

Belangrijkste stukje daaruit:
In MySQL-5.0, Cluster is in-memory only. This means that all table data (including indexes) is stored in RAM. Therefore, if your data takes up 1GB of space and you want to replicate it once in the cluster, you need 2GB of memory to do so (1 GB per replica). This is in addition to the memory required by the operating system and any applications running on the cluster computers.
Dat kan ik dus met alle goede wil van de wereld geen replicatie noemen maar eerder een zeer zwakke poging tot replicatie ;)

Er staat verder bij dat 5.1 wel diskstorage zou ondersteunen maar 5.1.11-beta is nogal brakjes, to say the least ;)
In de PowerEdge 1950 gaan toch dual core processors?
Ja, daarom doen we er ook 2 van intels Dual core 5100's in ;)
Jammer dat er geen RAID 6 op zit...
Ik ben benieuwd naar je final configuration...
ACM Software Architect @Verwijderd1 september 2006 23:36
Er zit wel RAID 6 op hoor. Of we dat ook gaan gebruiken moeten we nog bedenken trouwens.
Vroeger werd er zelfs nog weleens wat in elkaar geklust om de beste resultaten te behalen, tegenwoordig klikken we even naar Dell.nl en klikken op bestellen.
Niet echt een tweakers mentaliteit als je het mij vraagt ;)
Vroeger vielen er ook nog wel eens machines uit omdat ze brak inelkaar waren gezet.. ;)
Alhoewel ik het forum iha gewoon snel vind, ben ik blij dat Tweakers blijft investeren in de toekomst en niet als het al te laat is. :)

Indrukwekkende server en ben benieuwd of ik het ook in de dagelijkse praktijk zal merken !!
Wat ik me nu afvraag:

Komen er ook echt meer gebruikers bij (en/of gaan de gebruikers meer doen met het forum) of is het zo dat de software meer kan en dus meer load veroorzaakt?

Waarschijnlijk is het een combo van de twee, maar kan er misschien worden aangegeven in welke richting we moeten denken. Welke verhoudingen en eventueel wat cijfertjes.

Niet om nieuwsgierig te zijn hoor, maar zoiets is gewoon reuze interessant om te horen.
Erm...
Waarom hebben jullie hem niet zelf gebouwd? Had je een paar duizend euro bespaard...
Dell vraagt voor een extra 5160 1400 euro (ex btw), in pricewatch staat ie voor 817 euro.
Het is niet zomaar een PC, het is een frikanDell
Een woord: Zekerheid!

Een high-end server zoals dit mag nooit of te nimmer falen. Als je zelf iets bouwt is er een hele grote kans dat er toch nog kleine conflictjes zijn. Dell designed de hardware van deze dingen gewoon zelf (of besteed dat uit) en dus is alles perfect op elkaar afgestemd. Dit waarborgt een hogere mate van stabiliteit.

Op dit item kan niet meer gereageerd worden.