Hoofdcategorieën

[RSS] [quick] Index » .Plans » Serverbeheer » Forum in verwachting van nieuwe database-server

Forum in verwachting van nieuwe database-server

Door Femme Taken, vrijdag 1 september 2006 18:46, views: 17.387

Apollo IV / Disk array aankondigingIn de Server- en netwerkstatusmeldingen heb je al kunnen lezen dat Apollo, de database-server van het forum, het de laatste tijd wat moeilijker heeft gekregen en regelmatig onder zware loads gebukt gaat. Omdat de configuraties van zowel Apollo als Artemis (de database-server van de frontpage) al weer aardig op leeftijd zijn, werd besloten om een nieuwe machine te configureren zodat de capaciteit van de forumserver aanzienlijk verhoogd kon worden. Onze technische mannen kregen de taak om een zo monsterlijk mogelijke configuratie samen te stellen binnen een gelukkig behoorlijk ruim budget.

Na het maken van de nodige afwegingen tussen Opterons en Xeons, Dell en HP en veel 15K SAS-schijven, heel veel 10K SATA-disks of nog meer 10K 2,5 inch SAS-schijven werd er uiteindelijk gekozen voor een dual Xeon 5160 op 3,0GHz met 16GB RAM en in totaal zeventien 3,5 inch SAS-harde schijven. De nieuwe machine bestaat uit een Dell PowerEdge 1950 1U server met een Dell PERC 5/E SAS RAID-adapter, die via een 1,2GB/s brede wide port verbonden zal worden met een Dell PowerVault MD1000 SAS disk array. Hierin zullen vijftien 3,5 inch SAS-disks met een toerental van 15.000rpm ondergebracht worden. De twee andere SAS-harde schijven vinden hun onderkomen in de PowerEdge-pizzadoos en draaien 10.000 rondjes per minuut. Plannen om met Western Digital Raptor SATA-harde schijven of 2,5 inch SAS-schijfjes te gaan werken, werden afgewezen omdat het teveel rackspace zou innemen, te prijzig zou zijn en omdat het prestatieniveau onzeker was ten opzichte van een kleiner aantal 15.000 toeren harde schijven met sowieso de laagste toegangstijd. Een nadere vergelijking van de specs van Apollo IV en V leert dat de nieuwe server een goede patsfactor heeft:

OnderdeelApollo IVApollo V
BehuizingAppro 2128HsDell PowerEdge 1950
Dell PowerVault MD1000
ProcessorsDual AMD Opteron 248 2,2GHzDual Xeon 5160 3,0GHz 4MB L2
Geheugen8GB DDR26616GB DDR2-667
RAID-controllerLSI Logic MegaRAID SCSI 320-2X 128MB
BBU		Dell PERC 5/E 256MB
Transportable BBU
Storage2x Seagate Cheetah 10K.6 36GB SCSI
6x Seagate Cheetah 15K.3 36GB SCSI		2x 73GB 10K SAS
15x Fujitsu MAX3036RC 36GB 15K SAS

Halverwege augustus werd de bestelling geplaatst voor Apollo V. Vandaag werden geheel onverwacht eindelijk de eerste onderdelen geleverd, namelijk de PowerVault MD1000 en de PERC 5/E. Tot onze vreugde bleek dat de doos was geleverd met de zeer vlotte MAX3036RC-disks van Fujitsu in plaats van de veelgebruikte maar matig presterende Cheetah 15K.4's van Seagate.

Dell PowerVault MD1000 SAS disk array

Dell PowerVault MD1000 SAS disk array - Swapbays

Nadat de loodzware machine aan een fotosessie was onderworpen werden de PowerVault en de PERC 5/E direct op een van onze storage testsystemen aangesloten, waarin zij nu indrukwekkende testresultaten produceren. Vergeleken met de database-performance van veertien MAX3036RC's aan de Dell PERC 5/E verbleken alle eerder geteste configuraties, ook die met de snelle SATA RAID-kaarten van Areca. De fileserverprestaties zijn op ongeveer gelijk niveau als de Areca ARC-1160 met 256MB cache en veertien Raptor WD740ADFD's in RAID 5. Ook de low-level performance van de diskconfiguratie is prima in orde. De veertien schijven halen in RAID 5 een sequentiële transfer rate van ruim 510MB/s. De random I/O performance in de IOMeter fileserver simulatie is uitstekend.

In de komende weken zal de aanwezigheid van de PowerVault MD1000 benut worden om een vergelijking van PCI Express SAS RAID-adapters samen te stellen. Naast de Dell PERC 5/E zullen daarin ook de LSI Logic MegaRAID 8480E en de ICP Vortex ICP5085BR deelnemen. De ICP5085BR is een getunede Adaptec 4805SAS met een 800MHz I/O processor en 256MB cache.

Dell PowerVault MD1000 SAS disk array - SAS-connector en PERC 5/E controller

Het is nu nog wachten op de levering van de PowerEdge 1950 alvorens er begonnen kan worden met het configureren en testen van de nieuwe database-server. Na voltooiing van de upgrade zal Apollo IV een processorupgrade krijgen en ingezet worden om Artemis te vervangen door een configuratie met iets snellere processors, een dubbele hoeveelheid geheugen en 15.000 in plaats van 10.000 toeren SCSI-disks. Hiermee kan Artemis weer een goed half jaar mee voordat waardige vervanging voor de deur staat.

Volgende 10-'06 Tweakers.net introduceert vernieuwde vacaturebank
Vorige 08-'06 Pricewatch 1.5-upgrade maandag 07/08

Categorie

Femme Taken

...is in september 1998 als oprichter van Tweakers.net met deze site begonnen. Femme is verantwoordelijk voor het ontwerp van de site (vormgeving, conceptuele ontwikkeling), progt mee met de developers en schrijft zo nu en dan een review. Tevens is hij aanwezig in het mt.

E-mail anti-spam e-mail plaatje
Username Femme Rss-feed
Tweakblog femme.tweakblogs.net

Reacties

Flat modeFlat mode Sorteer aflopendSorteer aflopend Moderatie FAQModfaq
Niveaufilter: -1 Ongewenst: 52 reacties zichtbaar520 Off-topic / Irrelevant: 52 reacties zichtbaar52+1 On-topic: 46 reacties zichtbaar46+2 Informatief: 4 reacties zichtbaar4+3 Must-read: 0 reacties zichtbaar0
«  1  2  »

Door webfreakz.nl, vrijdag 1 september 2006 18:59

Score: 1
Misschien heb ik het mis, maar tijdje terug hadden jullie het verschil van Opterons/Xeons getest en toen bleek de Opteron absolute koning te zijn. Vanwaar dan de 'overschakeling' naar Xeons?

Door Gustaaf437, vrijdag 1 september 2006 19:11

Score: 1
Ik denk dat ze toen de 50xx serie Xeon's hebben getest. De 51xx serie heeft echte knallers aan boord, de keuze lag dus nogal voor de hand denk ik.

Ik vraag me alleen af of het aantal HD's niet een beetje overkill is, aangezien je die bandbreedte voorlopig niet gaat gebruiken en SAS schijven idioot duur zijn.

Door phYzar, vrijdag 1 september 2006 19:22

Score: 2
Met de bankpas van VNU winkelt het zoveel prettiger :+

Door ACM, vrijdag 1 september 2006 21:12

Score: 2
Uiteindelijk viel deze opstelling kwa aanschafwaarde nog wel mee... Hij moet uiteraard wel weer drie jaar of meer mee kunnen en de huidige opstelling was ondertussen afgeschreven en wordt ook nog eens gebruikt om een upgradeinvestering in Artemis uit te stellen.

Overigens is de bandbreedte inderdaad niet zo'n punt. Wat we nu echter wel bij Apollo zien is dat ie nogal veel zit te wachten op I/O en dat dat met de groei van het forum alleen maar erger is geworden.
Het lijkt er dus op dat zowel de 8GB ram als de opstelling met 5 disks in RAID5 niet helemaal meer voldoet voor een vlotte aanlevering van de forum-webpagina's.
Met name in oude topics of het openen van zoekresultaten kun je nu aanzienlijke vertragingen ondervinden doordat veel data buiten de disk-cache is gevallen en dus van disk ingeladen moet worden.

Vandaar meer geheugen en meer (en snellere) disks. Niet zozeer voor de bandbreedte, maar voor de verlaagde response- en servicetijden. Oplossingen met 10 disks bestaan eigenlijk niet in dit formaat en als je dan meer dan 8 disks (wat we nu hadden) in een doos wil, kom je al gauw bij dit soort opstellingen terecht. En dan wil je natuurlijk wel de behuizing gelijk maar vol hebben, want later er disks bij kopen kost alleen maar meer moeite en downtime.

Overigens had de portemonnee van VNU hier geen bal mee te maken. Die illusie zal nog wel terug blijven keren, maar er wordt echt niet ineens nu allemaal geld uitgegeven dat er anders niet geweest zou zijn (ze willen tenslotte winst met ons maken, geen verlies).

Door TD-er, vrijdag 1 september 2006 23:54

Score: 1
Hoe groot zijn de databases eigenlijk waar de FP en het forum op draait?

Als dat in de orde van zeg een 16 GB is, dan zou je toch door caching al een groot deel van de performance kunnen halen en dan hoeft er alleen maar een disk-actie plaats te vinden wanneer er iets gepost wordt.
Of denk ik nu iets te simpel en is er in de praktijk werkelijk nog een hoop winst te halen uit veel snellere schijven, zelfs als de hele DB in het geheugen zou passen?

Door ACM, zaterdag 2 september 2006 00:33

Score: 1
In dit geval is alleen het forum relevant. En die db is ruim 40GB en blijft uiteraard alleen maar door groeien. Dus zelfs met 16GB past nog lang niet alles in de caches. Weliswaar is een groot deel van de db voor het grootste deel van de tijd niet relevant, maar zelfs dan blijft het natuurlijk een behoorlijke berg data.

En o.a. doordat het gebruik van de zoekmachine is toegenomen blijven ook oude topics nog opgevraagd worden.

Door Femme, vrijdag 1 september 2006 23:50

Score: 1
De prijs van SAS-harde schijven valt heel erg mee. Voor onze toepassing willen we veel schijven die per stuk goed moeten presteren en betrouwbaar moeten zijn. Omdat we veel schijven willen gebruiken is de capaciteit per schijf niet relevant, de totale capaciteit van een array zal toch ruimschoots voldoende zijn voor onze databases.

Goedkope 7200rpm SATA-schijfjes komen sowieso niet in aanmerking omdat ze niet berekend zijn op 24/7 gebruik met een duty cycle van 100 procent. Er zijn maar weinig 7200rpm schijven die daar aan voldoen. De Western Digital Caviar RE2 is er eentje, maar de goedkoopste variant kost 155 euro. De prestaties in database-toepassingen zijn slecht en aan de hoge capaciteit hebben we niets.

Een Western Digital Raptor WD360ADFD van 100 euro is wel een mooie disk, maar de databaseprestaties zijn nog steeds een stuk minder dan die van een 15.000 toeren SAS-schijf. Een 36GB Fujitsu MAX3036RC kost 172 euro. Omdat ze beter presteren dan een Raptor heb je er minder van nodig. Als we vergelijkbare prestaties willen halen met Raptors als met een array van vijftien 15K SAS-schijfjes zouden we over de twintig Raptors moeten gaan, waardoor er met een erg lompe kast gewerkt moet worden en er dure controllers ingezet moeten worden. De PowerVault MD1000 is weliswaar ook een vrij dure oplossing vergeleken met een lompe kast waar een mobo en veel schijven in passen, maar het is wel een oplossing die schaalbaarder is en relatief compact.

Door ACM, vrijdag 1 september 2006 21:03

Score: 2
Dit zijn/worden Xeon Woodcrests. Gebaseerd op de nieuwe Core-architectuur. En zoals je wel kan raden presteren die wel beter dan de Opterons, een stuk beter zelfs.
Maar daarover later meer ;)

Wat we toen testen was overigens niet eens de 50xx serie, maar die daar weer voor. Dus met een heel wat beroerder chipset (minder bandbreedte) en met gewoon DDR2 ipv FB-dimm geheugen.

Door twixx, vrijdag 1 september 2006 19:19

Score: 1
In de PowerEdge 1950 gaan toch dual core processors?

Door moto-moi, vrijdag 1 september 2006 20:06

Score: 1
Ja, daarom doen we er ook 2 van intels Dual core 5100's in ;)

Door Sjah, vrijdag 1 september 2006 19:46

Score: 0
Is dat kickuh dan!! :+ (slok op)

Door Osiris, vrijdag 1 september 2006 20:19

Score: 1
Als ik het dus goed begrijp gaan er door dat ene kabeltje tussen de Dell PERC 5/E en de Dell PowerEdge op de laatste foto iets van 15 SAS-aansluitingen? Op een of andere manier? 8)7

Want dat leek me zeg maar een vereiste van RAID, gelijktijdig je schijven aan kunnen spreken. En dat terwijl in deze configuratie de RAID-array fysiek gescheiden is van alle schijven, op dat ene kabeltje na. :P

moto wist 't antwoord niet eens :+

Door Femme, vrijdag 1 september 2006 21:18

Score: 1
De PowerVault MD1000 heeft twee SAS-expanders die fungeren als een soort switch met port trunking. Een SAS-expander heeft een bepaald aantal poorten die vaak flexibel geconfigureerd kunnen worden in upstream en downstream poorten. In dit geval heeft iedere expander vijftien poorten die in verbinding staan met de (dual-ported) SAS-harde schijven. Daarnaast zijn er nog vier upstream en vier downstream poorten die als externe SAS x4-connector aanwezig zijn. SAS is erg schaalbaar en biedt de mogelijkheid om de bandbreedte van poorten in een gecombineerde wide-port. SAS heeft een bandbreedte van 300MB/s per poort. In dit geval is er dus sprake van een wide-port met een bandbreedte van 1,2GB/s. Dit gaat allemaal door het kabeltje dat je op de foto ziet.

We gaan maar één van beide SAS-expanders gebruiken. De tweede zou je kunnen gebruiken in een cluster/failover-opstelling waarbij een tweede server toegang heeft tot de harde schijven.

Door Ruudjah, zondag 3 september 2006 20:04

Score: 1
Is daar nog enige performanceloss mee gemoeit? Ik neem aan dat dat in ieder geval iets is. De switch verdeelt het verkeer en voegt dus latenty toe.

Door Femme, dinsdag 5 september 2006 00:33

Score: 1
De expander zal ongetwijfeld enige invloed uitoefenen op de prestaties, maar de latency die de expander toevoegt zal beperkt zijn in verhouding tot de gemiddelde responstijd van een I/O. Wat betreft bandbreedte zorgt de expander niet voor een bottleneck. Er is een verbinding van 1,2GB/s met de PowerVault MD1000, maar de PERC 5/E kan niet meer dan 510MB/s sequentieel lezen (een waarde die beperkt wordt door de I/O processor). 510MB/s is overigens een nette score, alleen bij de Areca ARC-1280 heb ik het hoger gezien, maar die heeft Intels nieuwste dualcore I/O processor aan boord.

Door ACM, vrijdag 1 september 2006 21:19

Score: 1
Bij SCSI werden alle disks sowieso al op een enkele kabel aangesloten.
Bij Serial Attached SCSI wordt in principe per disk een kanaal opgezet naar de controller. Tenzij er een expander tussen zit. Die kan je zien als een netwerkswitch die er voor zorgt dat je X devices over Y kanalen kan zenden, in ons geval dus 15 disks over 4 kanalen (zo'n wide channel is 4x300MB/sec). Hoe het verder precies zit weet ik ook niet, daar zijn vast tig whitepapers over te vinden bij LSI, Adaptec, Dell, HP en anderen.

De raid-controller ziet overigens inderdaad 15 losse drives via dat ene kabeltje.

Maar er bestaan natuurlijk ook oplossingen waar de raid-controller in de enclosure zit en je alleen nog maar een domme host-adapter nodig hebt om de logical disks in je server te kunnen zien (Fibre Channel werkt vziw zo).

Door TheBrain, zaterdag 2 september 2006 20:57

Score: 1
Maar er bestaan natuurlijk ook oplossingen waar de raid-controller in de enclosure zit en je alleen nog maar een domme host-adapter nodig hebt om de logical disks in je server te kunnen zien (Fibre Channel werkt vziw zo).
Dat van die FC klopt inderdaad (althans bij de FC-SAN's die ik gezien heb.

Wat ik me nog afvraag is waarom er gekozen is voor enkelvoudige uitvoering van de connectie naar de kooi. Het gevolg van een uitval is een stuk groter geworden nu.

Door Zwerver, vrijdag 1 september 2006 20:23

Score: 1
Beetje jammer alleen dat ze voor Dell gekozen hebben. Nieuwe aanschaf van Dell is wel oke, maar uit praktijk kan ik vertellen dat ze 9 van de 10 gewoon herstelde spullen van andere klanten sturen als je iets vervangen wil hebben.

Door ACM, vrijdag 1 september 2006 21:24

Score: 1
Sja... het was al moeilijk genoeg om te vinden wat we wilden (veel disks in een relatief krappe behuizing binnen ons budget). We wilden niet meer met "depricated" scsi aan de gang en Fibre Channel hebben we te weinig ervaring mee (nog afgezien van de kosten), het bleek in ons budget wel mogelijk om SAS te gebruiken.

Maar toen bleek dat er eigenlijk nog bijna geen enclosures zijn. Deze oplossing van Dell was een van de weinige (nouja, de enige eigenlijk) totaaloplossingen die voldeed aan de eisen en binnen het budget paste.

Door Femme, vrijdag 1 september 2006 21:30

Score: 2
Dell had een aantrekkelijke aanbieding en kon als een diskdoosje voor een stuk of vijftien 3,5 inch SAS-schijven leveren. HP heeft ook zo'n apparaat in de planning maar kon 'm nog niet leveren. Wel heeft HP een oplossing voor 2,5 inch harde schijven. Die is echter erg prijzig omdat je twee disk arrays en veel meer schijven nodig hebt om hetzelfde prestatieniveau te halen als een kleiner aantal 3,5 inch 15K SAS-schijven. Ook is het nog maar de vraag of het in de praktijk beter gaat presteren. Een groter aantal 10.000rpm SFF-schijfjes kan alleen sneller zijn als er erg veel gelijktijdige I/O plaatsvindt, zodat alle schijven iets te doen hebben. Anders zullen de 15K-schijven beter presteren vanwege hun betere prestaties per disk.

We wilden ook per se SAS omdat de technologie velen malen eleganter is dan parallel SCSI en omdat we er beter mee op de toekomst zijn voorbereid.

Zelfbouw oplossingen hebben we niet serieus in overweging genomen omdat die vaak minder zekerheid bieden (bijvoorbeeld op het gebied van koelvermogen).

Door Zwerver, dinsdag 12 september 2006 15:22

Score: 1
Stomme vraag misschien maar hebben jullie de EVA's van HP ook in gedachten gehad? Ik weet bijv. wat de performance is van de EVA-4000 en ik kan me niet voorstellen dat deze Dell's sneller zijn :) Nou weet ik natuurlijk niet wat de EVA-4000 kost :)

Door Femme, dinsdag 12 september 2006 15:39

Score: 1
De EVA4000 is een SAN-apparaat en dat is niet waar wij op zoek naar waren. We wilden gewoon DAS gebruiken maar wel met veel disks en een goede performance.

De controller van de EVA4000 kost al bijna 21.000 dollar, veel meer dan onze complete server.

Door Zwerver, dinsdag 12 september 2006 16:11

Score: 1
Ah duidelijk :) Ik had al aangegeven dat ik niet op de hoogte was van de prijs en ik wist niet dat jullie geen SAN wilden :)

Door Depenzo, vrijdag 1 september 2006 23:30

Score: 1
Jammer dat er geen RAID 6 op zit...
Ik ben benieuwd naar je final configuration...

Door ACM, vrijdag 1 september 2006 23:36

Score: 1
Er zit wel RAID 6 op hoor. Of we dat ook gaan gebruiken moeten we nog bedenken trouwens.

Door endless, vrijdag 1 september 2006 23:57

Score: 1
Het klinkt allemaal veelbelovend!
Hoelang trekken jullie uit voor de tests (die uiteraard eerst gedaan worden?) om daarna de omschakeling te maken naar dit nieuwe systeem?
( maw, wanneer verwacht jullie de PE 1950? )

En gaat de Apollo III na de omzetting als andere server draaien of wordt de hardware aan andere systemen gedoneerd?

Door ACM, zaterdag 2 september 2006 00:35

Score: 1
Echt duidelijk staat het hier niet. Maar apollo III zal waarschijnlijk (na wat getest aan het geheugen) in zijn geheel Artemis gaan vervangen.

Wanneer de 1950 binnenkomt is ons niet helemaal duidelijk. Een en ander hangt natuurlijk samen met de leverbaarheid van de Woodcrest cpu's en het FB-Dimm geheugen. In theorie hoort ie volgende week te komen.

Voor ie in gebruik is genomen zijn we waarschijnlijk wel een maandje verder.

Door jmr, zaterdag 2 september 2006 07:32

Score: 1
Nou, nog een tijdje geduld hebben denk ik. Ik heb mijn order voor een 1950 maar om laten zaten naar een 2950, want de leverdatum van de 1950 stond op eind september. Mij werd verteld dat dit model in een safelaunch zit.

Door Stewie!, zaterdag 2 september 2006 15:01

Score: 1
De 1950 zit niet meer in de safelaunch, de 1950 had onverwachts moederbord problemen (die niet verder toegelicht werden).
Hierdoor werden alle 1950's in productie uitgesteld tot de 3e week van september. Inmiddels zijn de problemen opgelost, worden de servers geproduceerd en kan je ze in de 2e week van september verwachten indien je voor 1 september de server besteld hebt.

* DaMorpheus wacht zelf ook nog op een stapeltje 1950's.

Door jealma, zaterdag 2 september 2006 02:08

Score: 0
KWIJL KWIJL KWIJL :9~ :9~ :9~ :9~ :9~ :9~ :9~

Door Help!!!!, zaterdag 2 september 2006 20:10

Score: 1
Alhoewel ik het forum iha gewoon snel vind, ben ik blij dat Tweakers blijft investeren in de toekomst en niet als het al te laat is. :)

Indrukwekkende server en ben benieuwd of ik het ook in de dagelijkse praktijk zal merken !!

Door Thorchar, maandag 4 september 2006 09:44

Score: 1
Wat ik me nu afvraag:

Komen er ook echt meer gebruikers bij (en/of gaan de gebruikers meer doen met het forum) of is het zo dat de software meer kan en dus meer load veroorzaakt?

Waarschijnlijk is het een combo van de twee, maar kan er misschien worden aangegeven in welke richting we moeten denken. Welke verhoudingen en eventueel wat cijfertjes.

Niet om nieuwsgierig te zijn hoor, maar zoiets is gewoon reuze interessant om te horen.
«  1  2  »

Op dit item kan niet meer gereageerd worden.

Volgende 10-'06 Tweakers.net introduceert vernieuwde vacaturebank
Vorige 08-'06 Pricewatch 1.5-upgrade maandag 07/08
VNU Media logo Hosted by True

© 1998 - 2010 Tweakers.net - Alle rechten voorbehouden - Uw Privacy - Algemene Voorwaarden

Uitgever van:

Website van het jaar 2009