Cookies op Tweakers

Tweakers maakt gebruik van cookies, onder andere om de website te analyseren, het gebruiksgemak te vergroten en advertenties te tonen. Door gebruik te maken van deze website, of door op 'Ga verder' te klikken, geef je toestemming voor het gebruik van cookies. Wil je meer informatie over cookies en hoe ze worden gebruikt, bekijk dan ons cookiebeleid.

Meer informatie

Door , , 85 reacties

Zoals je waarschijnlijk hebt gemerkt, heeft Tweakers.net de laatste weken met nogal wat server problemen te kampen. De oorzaak van deze probs ligt bij overbelasting van de database server en in mindere mate overbelasting van de webservers. Deze zijn op hun beurt het gevolg van de stijgende bezoekersaantallen en de toegenomen complexiteit van de website. Grapjes zoals de uploadbare user icons op het forum en de groeiende omvang van de database maken deze server hobby steeds serieuzer.

De specifieke oorzaak van de database problemen is op het forum al een aantal keren uitgelegd. In het kort komt het erop neer dat MySQL onder FreeBSD 4 niet effectief gebruik kan maken van de twee CPU's in de database server. Beide processors worden wel gebruikt, maar niet tegelijkertijd. Tot voor kort was dit geen groot probleem omdat de maximale load vrijwel nooit werd bereikt, maar sinds enkele weken zat Artemis regelmatig boven de 85%. MySQL draait in principe erg snel en stabiel zolang de performance van de hardware voldoende is. Zodra de CPU belasting tegen z'n max komt, kun je echter reken op een hoop ellende en dat is wat wij hier de laatste weken hebben meegemaakt.

Zeker de laatste paar dagen ontvangen we veel klachten over met name het forum. Vooral in de piekuren trekt de hardware het maar net, wat nogal wat timeouts, document contains no data en andere meldingen geeft. Deze situatie zal tot onze spijt nog tot volgende week aanhouden. Pas dan verwachten we alle nieuwe serverhardware (zie hieronder) bij elkaar en installatieklaar te hebben. Tweakers.net beschikt helaas niet over de financiŽle mogelijkheden voor bliksemsnelle (en dus ook kostbare) software- en hardware upgrades. Roeien met de riemen die we hebben, zogezegd.

Onder Linux kan MySQL wel onzinloos van beide processors gebruik maken, alleen werkt de door ons gebruikte Adaptec 3200S RAID controller - ondanks de vermelding van (Red Hat) Linux support op de Adaptec site - niet onder Linux. Hierdoor was het niet mogelijk om Linux op de database server te gebruiken.

Als tijdelijk oplossing voor dit probleem draaien er sinds vorige week twee MySQL daemons op de database server. Met behulp van external file locking maken deze twee mysqld's gebruik van dezelfde data. Dit trucje heeft de load problemen weliswaar vrijwel geheel opgelost, maar heeft tevens nieuwe problemen geÔntroduceerd die tot gevolg hebben dat MySQL zichzelf regelmatig ophangt.

Achter de schermen zijn we al enkele weken bezig om een structurele oplossing te regelen voor deze onprettige situatie. Zowel aan de kant van de database server als webservers wordt de capaciteit op korte termijn flink uitgebreid. Het MySQL SMP probleem zal gefixt worden door Artemis om te switchen naar Linux. Om dit mogelijk te maken wordt de Adaptec RAID controller vervangen door een AMI MegaRAID Elite 1500. Deze full-length dual Channel Ultra160 SCSI controller heeft een 100MHz i960RN I/O processor, 64-bit PCI support en 32MB ECC cache. American Megatrends heeft al jaren Linux support en heeft daardoor meer ervaring op dit gebied dan Adaptec, dat voor de overname van DPT zelfs helemaal geen RAID controllers met Linux support in het assortiment had.

De downtime als gevolg van de Linux upgrade zal meteen worden aangegrepen om de twee PIII-733's te vervangen door 1GHz exemplaren. Dit geeft ons wat extra ruimte voor de toekomst en biedt meer overhead bij de sporadische load pieken die MySQL onstabiel maken.

De performance van het webserver cluster wordt meer dan verdubbeld door de plaatsing van twee nieuwe servers. De nieuwe machientjes hebben een 1 en 1,2GHz Tbird met 512MB RAM en een 2U rack als behuizing. Tevens wordt de Athlon Classic 800 in Athena vervangen door een 1GHz Thunderbird. Athena gaat MySQL replication draaien als dat betrouwbaar blijkt te werken.

* Server specs

De configuratie van de servers zal er na de komende upgrade als volgt uit zien:

ArtemisAphroditeAthenaOdinArshia
OSLinux 2.4FreeBSD 4.2Linux 2.2FreeBSD 4.2FreeBSD 4.2
CPUDual PIII 1000Tbird 1000Tbird 1000Tbird 1000Tbird 1200
MoboSuperMicro 370DLEMSI K7T Pro2AMSI K7T Pro2AMSI K7T Pro2AMSI K7T Turbo
RAM1,5GB PC133 ECC Registered512MB PC133768MB PC100 ECC512MB PC133512MB PC133
I/OAMI MegaRAID Elite 1500Adaptec 29160Adaptec 29160VIA 686BVIA 686B
HDD4x Seagate Cheetah X15 18,4GBIBM Neptune 9,1GB3x IBM Neptune 9,1GBMaxtor 7200rpm 15GBMaxtor 7200rpm 20GB
VideoN/AATi Rage3DDiamond Viper V330N/AN/A
Netwerk2x 3Com
1x Intel
2x 3Com2x 3Com2x 3Com2x 3Com
Rack4U CI Design4U4U2U2U

Binnen twee weken verwachten we de nieuwe server hardware te kunnen plaatsen in de server ruimte van Vuurwerk Internet. De upgrade van de database server zal een onvermijdelijke downtime met zich meebrengen. Tezijnertijd volgen hierover meer details.

- Femme & Rick

* Leveranciers & sponsors

De AMI RAID controller werd geleverd door SWW Computer, de 2U kastjes werden via Silverpoint.nl aangeschaft, MSI Computer stelde ons de Socket A mobo's ter beschikking en AMD was bereid om de processors voor de webservers te sponsoren. Ook konden we weer rekenen op de hulp van onze server sponsor CompTech World. De moederplank die sinds december in de database server wordt gebruikt, is ter beschikking gesteld door SuperMicro BV. Verder zijn we Vuurwerk Internet natuurlijk erg dankbaar voor het ter beschikking stellen van bandbreedte en rackspace.

* Pics server upgrade 8 december

Voor de geÔnteresseerden heb ik hieronder de foto's gepost die jullie nog te goed hebben van de vorige server upgrade op 8 december:

Server upgrade #3: Dual PIII (klein) Server upgrade #3: Appie Athlon 1 (klein) Server upgrade #3: Appie Athlon 2 (klein)
Server upgrade #3: Appie Athlon 3 (klein) Server upgrade #3: Appie ombouw 1 (klein) Server upgrade #3: Appie ombouw 2 (klein)
Server upgrade #3: Artemis (klein) All Your Base Are Belong to Us Server upgrade #3: Athena (klein)
Server upgrade #3: DIMMen (klein) Server upgrade #3: Ingang (klein) Server upgrade #3: NOC 1 (klein)
Server upgrade #3: NOC 2 (klein) Server upgrade #3: NOC 3 (klein) Server upgrade #3: NOC 4 (klein)
Server upgrade #3: Rack 1 (klein) Server upgrade #3: Rack 2 (klein) Server upgrade #3: Rack 3 (klein)
Server upgrade #3: Rack 4 (klein) Server upgrade #3: Rack 5 (klein) All Your Base Are Belong to Us
Server upgrade #3: Rack 6 (klein) Server upgrade #3: Rack 7 (klein) Server upgrade #3: Rack 8 (klein)
Server upgrade #3: RAID controller (klein) Server upgrade #3: Reliance chipset (klein) Server upgrade #3: SCSI bays (klein)
Server upgrade #3: Sun E450 (klein) Server upgrade #3: Swap bay (klein) Server upgrade #3: Switch (klein)

* Gerelateerde .plans

Door Femme Taken

- Architect

Femme is in 1998 als oprichter met Tweakers begonnen en werkt tegenwoordig als ontwerper in het productteam van Tweakers. In de vrije tijd knutselt Femme fanatiek aan zijn domoticasysteem.

Moderatie-faq Wijzig weergave

Reacties (85)

hmm.. het kan aan mij liggen hoor, maar in het overzichtje zie ik slocket plankjes waar tbirds op plakken, en op de pics staat toch duidelijk een slotA proccie...

serverupgrade van 8 december _zo_ snel verouderd ? :? :)
Tevens wordt de Athlon Classic 800 in Athena vervangen door een 1GHz Thunderbird.
en
Bovendien zijn we nu al weer 3 maanden verwijderd van de vorige upgrade. In de tussentijd zijn de bezoekersaantallen met 30% gestegen. Met deze groei moeten we gewoon om de 3-4 maanden hardware bijplaatsen.
verduidelijkt de boel een beetje.
hmm... thnx Opa, ik had beter moeten lezen ;)
Als ik het goed begrijp gaan jullie dus op Apache #3 en #4 IDE hd's gebruiken en geen SCSI meer er in zetten? Waarom?
Is duur, levert geen merkbare snelheidsverbetering op. De webservers doen niets anders dan PHP scripsels draaien en statische files uit de disk cache serveren. Daar heb je geen SCSI voor nodig.
RAID 1 moet dan toch wel aan naar mijn mening. Kost geen zak voor IDE en spaart je een hoop gezeik uit. Voor als de HD crashed en je dus weer daar heen moet
En waarom zou er raid in moeten???
Er staan al 4 servers, dus als 1 uitvalt maakt dat niks uit toch?
De kans dat er van 4 servers 1van4 harddisks uitvalt, is een stuk kleiner dan de kans dat er van 4 servers 1van8 uitvalt (bij wijze van spreken dan, ik weet dat er meer disks inzitten).
Kost je meer, en levert je weinig extra redundancy op. Als een disk kapot is, moet je er toch wel heen... Of je nou die server tijdelijk uitzet maakt dan ook weinig uit...
RAID met de goedkope Highpoint controllertjes werkt niet onder Linux en FreeBSD. Goede redundancy hebben die dingen volgens mij ook niet, als er een harddisk dood gaat is er wel een mirror maar kan het nog steeds gebeuren dat de controller niet verder wil werken met 1 dooie schijf. IDE RAID controllertjes die wel werken onder FreeBSD en Linux zijn weer een stuk duurder. Bij elkaar zou dat de prijs van een webserver met de helft verhogen, wat ik nogal onzin vind omdat de webservers op zich al redundant zijn. In de toekomst is het zaak om voldoende overcapaciteit te hebben om problemen in het geval van een dode server te voorkomen.

Een goede IDE schijf is betrouwbaar en voldoende snel. Het is tegenwoordig normaal om IDE in webservers te gebruiken, dus daar zal wel reden voor zijn. Sun, Cobalt, VA Linux enz. gebruiken allemaal IDE in hun low-end (server) systemen.
Controller werkt wel maar ondersteunt dan geen RAID.
pardon?
http://www.freebsd.org/releases/4.2R/notes.html :

... It also has support for ATA "pseudo"
RAID controllers, including the Promise Fasttrak and HighPoint HPT370
controllers. ...
Niet dat je die dingen ueberhaupt kunt classificeren als "raid". Er bestaan wel echte IDE raid controllers, maar die beginnen bij 500 piek en upwards. Dat is echt helemaal nergens voor nodig zolang je genoeg redundancy in de webservers zelf hebt.
Ja daar valt iets voor te zeggen maar.. voor zo weinig extra geld.. paar honderd piek ben je al uit de brand...

Dus gewoon doen!

PS ik zou hier niet van kunnen slapen als ik deze setups op mijn geweten had... IDE in een drukke server... hgrehbrhbh
Vraagje.... waarom gaan jullie gewoon geen Oracle draaien? Kun je tegenwoordig ook gratis downloaden van oracle.com voor diverse OS'en. Die jongens zijn al heel wat verder met SMP machines en databases. Voor het php frontend zou het niet uit (mogen) maken.
Oracle gratis? Was het maar waar.

Je kunt het dan wel downloaden van de site maar daar moet je zeker wel een license bij kopen.

Een licentie voor Oracle betaal je voor een bepaalde periode (2 of 4 jaar of oneindig) en per "Power Unit" -> afhankelijk van het aantal MHz en aantal processors in je server

Een licentie op Oracle Database Enterprise Edition 8i kost $ 100 per power unit voor een oneindige periode. Met het toekomstige serverpark heeft de database server 2000 power units -> een license zou dus 200.000 dollar kosten -> een kleine 5 ton
Als we alle servers op Oracle zouden draaien zouden we 6200 PU's nodig hebben, 620.000 dollar oftewel ongeveer anderhalf miljoen gulden
Ik heb 't al wel eens eerder gevraagd, maar waarom noemen jullie toch telkens de enterprise edition? Die is veel duurder dan de standard edition, en of je de extra's voor een relatief simpel iets als een website nou nodig hebt? Lijkt me niet.
Als we alle servers op Oracle zouden draaien
En waarom zou je Oracle nou weer op je webservers willen gaan draaien...
De Standard edition is nog steeds belachelijk duur. Als ik aanneem dat we een quad Xeon 700 nodig hebben om Oracle snel te draaien dan kom ik volgens de Oracle site op een prijsje van ruim 45.000 dollar. Dat is nogal onbetaalbaar.

Overal lees ik dat Oracle traaaag is in vergelijking met MySQL. Daar schieten we dus niet zoveel mee op. Eerst een zware onbetaalbare database kopen, dan nog de superdure hardware erbij en vervolgens failliet gaan...

"UNIX software comes in two price ranges, free and exorbitant."
Overal lees ik dat Oracle traaaag is in vergelijking met MySQL.
Voor simpele select queries zeker. Pas op het moment dat het complex gaat worden begint Oracle lekker te lopen (joins over veel tabellen, veel foreign keys, transactions etc.).

DB2 zou dan eerder een oplossing zijn, sneller en goedkoper, maar volgens mij moet het met MySQL ook best kunnen.
De Standard edition is nog steeds belachelijk duur.
Minder belachelijk dan het iedereen die het woord Oracle in de mond neemt om de oren slaan met de prijzen van EE. Is gewoon totaal off-topic info waar niemand wat aan heeft.
Overal lees ik dat Oracle traaaag is in vergelijking met MySQL.
Als je alleen gebruik maakt van de zeer beperkte SQL subset die beide ondersteunen zal dat best ja. Maar is dat een eerlijke vergelijking?
Kun je tegenwoordig ook gratis downloaden van oracle.com voor diverse OS'en.
Jep. Maar je mag het alleen voor develop doeleinden gebruiken. :)

Stukje uit de voorwaarden:
... The Programs may be installed only on one computer and used by one person. Customers may not use the Programs in connection with any classroom activity, internal data processing operations, or any other commercial or production use purposes. ...
Voor het php frontend zou het niet uit (mogen) maken.
Maar doet het wel natuurlijk. Sowieso alleen al omdat je alle mysql* functions moet vervangen door hun oci* equivalent. Maar ook de SQL die Oracle gebruikt is anders dan die van MySQL op een aantal punten.
Wow mega coole pics :) }:O

Rest me nog 1 vraagje; Wat worden de nieuwe namen voor de webservers? :?

En komt er dan ook weer zo'n mythologisch verhaaltje bij :*)
Eigenlijk zou er een server "Hefaistos" moeten worden genoemd, aangezien Vuurwerk toch een behoorlijke sponsor is.

(verduidelijking): Hefaistos is de God van het vuur en de metallurgie. :) Hij was dan wel mank, maar hij produceerde de mooiste sierraden.

Verder hebben we nog Eros (zoontje van Aphrodite), Hermes (boodschapper) Hades (de onzichtbare, god van de onderwereld) enz...
volgens mij kan dat niet, want als ik het goed had, was het zo dat de servers, namen beginnend met een A zouden krijgen.
En volgens mij was het ook zo, dat de pjoeters van de reviewers namen met een H. kregen :? kan inmiddels misschien veranderd zijn :?
Nee, dat klopt (het nut is mij geheel onduidelijk, maar goed)

Mijn testbak heet Hermes, die van Arjan heet al Hephaisthos en die van Rosink Hades volgens mij :)
Een gaat er waarschijnlijk Apollo, of Ares heten. De andere wordt vernoemd naar mijn vriendin, Arshia :P
Bacchus!
(gluglugluglug)
*Hips!*
www1
www2
www3
www4

haha :)
Ik ga voor Eos, godin van de vlammende dageraad :)
Vraagje, ik weet dat het niet echt nodig is om een videokaart erin te hebben en dat het ook best wel krap wordt. Maar waarom geen videokaart? Als er wat mis gaat, is dat wel heel erg handig toch? En voor die fl50 hoef je het niet te laten.

De 2U server die wij gebruiken, heeft dan wel een onboard videokaartje, das wel handig. Aangezien ie een raisercardje heeft, waar een netwerkkaart en een 'raidcontroller' (adaptec...) inzitten, en dus eigenlijk geen plek meer is. Maja, laten we maar hopen dat freebsd stabiel genoeg is, zodat je het niet nodig hebt :)
Maar waarom geen videokaart?
Configgen kan ook via seriŽle interface.
Dat is toch dat je via de ene server kunt inloggen op de console van de andere?

Vanaf wanneer werkte dat? al voor het booten? (zodat je dus ff met lilo met een andere kernel kan booten als de nieuwe mislukt is ofzo :)), dat zou best handig zijn. Dan zou je in principe dus gewoon een OS opnieuw kunnen installeren zonder fysiek bij dat ding te zijn.

Werkt dat hardware of software gestuurd?
Dit is precies de reden dat ik zo gek ben op SUN. De output loopt direct over een seriŽle connectie, dus je kunt hem al bedienen voordat er een OS op draait.

Overigens heeft intel een aantal boardje die dit ook plegen te kunnen. In ieder geval is er tevens een Linux-applicatie die je in staat stelt remote de bios aan te passen. Deze boarden ziet niet eens zo gek duur. Ik meen zo'n Hfl. 2.800,- voor een bare-bone (1U rackmount + Moederbord).
Hehe... Dat was ik effe vergeten :)

Maar nog een ding dan. Ik weet niet zeker of FreeBSD er ook over valt. Maar als een partitie per ongeluk dusdanig gaar geworden is, dat de filesystemcheck hem niet meer in zijn eentje durft te bewerken. Dan kan je bij linux dacht ik nog niet remote/serieel inloggen toch? Kan dat bij FreeBSD wel dan, of valt ie nooit over corrupte partities? Of wordt de seriele interface wel voor de filesystems geladen?
Hmmm, 2.4.2 op een productie server.. ik hoop dat jullie zo'n powerswitch hebben die via eth of serial kan benaderen om de stroom er af te knikkeren.
Ik zou nog een maandje of twee wachten 2.4.5/6 oid. Er zitten natuurlijk nog best veel bugs in die je liever niet tegenkomt op een prod server (denk aan VM bugs)
Bas
Een APC Masterswitch is ideaal voor dat soort dingen inderdaad, en denk nog eens goed na over de 2.4 kernel ... 2.2.18 patchen voor openwall e.d. lijkt me een betere oplossing.
Ik zou nog een maandje of twee wachten 2.4.5/6 oid.
Ik draai het nu op 1 test server en op 2 desktop machines, en eerlijk gezegd is er nog niks fout gegaan, maar het is wel merkbaar sneller (vooral Xfree4 op de desktops is sneller op een 2.4 kernel). De load is niet gigantisch (tussen de 1 en de 4) maar alles gaat goed... :)
Wat ik me dan afvraag is of de vorige upgrade niet goed ingeschat is of dat het echt een probleem met mysql betreft. Zeker gezien het feit dat de processoren e.d. nu al weer vervangen worden. Verder hoop ik uiteraard wel dat de probs opgelost zijn. Niet alleen voor ons als gebruikers maar ook zeker voor de t.net crew aangezien die er ook wel moe van zullen worden van alle probs.
In ieder geval SUC6
Die twee 733MHz PIII's kunnen de load (op dit moment) met gemak trekken als MySQL van beide procs gebruik kan maken. De prijs van 1GHz PIII"s is met bijna de helft gedaald tov november. Artemis was al een behoorlijk dure klus vanwege en nog eens extra 1500 piek voor 1GHz PIII's zat er echt niet meer in.

Aangezien de server bij de komende upgrade toch uit elkaar moet en 2x733MHz in de toekomst onherroepelijk te weinig zal zijn, is het een goed idee om meteen de CPU's te upgraden. De upgrade is nog niet noodzakelijk, maar wel verstandig.

Bovendien zijn we nu al weer 3 maanden verwijderd van de vorige upgrade. In de tussentijd zijn de bezoekersaantallen met 30% gestegen. Met deze groei moeten we gewoon om de 3-4 maanden hardware bijplaatsen.
Gezien de ruilhandel (reclame <-> hardware) die T.net met AMD bedrijft, zal het waarschijnlijk wel de laatste Intel-upgrade zijn die doorgevoerd wordt, in afwachting van een 760MP server-plankje. ;)
Tja, Intel wil met geen mogelijkheid processors supplyen. Vaak genoeg geprobeerd maar voorbij het PR bureau komt er geen reactie terug...
Mja, Intel zit dan ook in geheel andere positie natuurlijk. Bovendien zal een site met als naam en doelgroep Tweakers (lees: overklokkers) in Nederland, nou niet echt onderdeel uitmaken van Intel's PR/Marketing-beleid.

Maar ook een hoop andere (internationale) Tweak/hardware-sites (denk aan Onkel Tom) zullen op deze 'muur' stuiten, denk ik. Ze zullen zich niet richten op sites die er een sport van maken hardware te openen, solderen, overklokken, of soms vage testen uitvoeren (dit laatste is overigens niet als kritiek bedoeld ofzo, meer een algemeen bedoelde overweging). Het zal wel 'Company-policy' zijn om dit soort 'sponsoring' in strakke banen te leiden. Begrijpelijk, maar wel jammer natuurlijk.

________________________________________
edit: typo
Anand heeft een stuk of 6 of 8 IIRC Xeon 550s van intel kado gekregen. Dat valt dus ook wel mee. Hij heeft waarschijnlijk een kennis/vriend "on the inside" ;)
Als Oracle zo ongeloofelijk duur is. hoe kan het dan dat we op school een dual PII met als oracle server hebben draaien.

* 786562 BrammeS
School krijgt het wel gesponsord, hoe meer je er nu mee werkt des te sneller gebruik je het later weer. Daarom kun je als student zijnde ook redelijk goedkoop aan allerhande software komen.
pfff... van FreeBSD 'terug' naar Linux. :?

Voor de volgende keer...
de pthreads library kun je prima vervangen door de linuxthreads port. (is niet de Linux Emulatie)
5 minuten werk en MySQL draait als een speer met SMP.
En dat werkte dus niet.
Een zeer welkome upgrade lijkt me. Vooral het forum trok het niet helemaal meer de laatste tijd. Mijn complimenten aan degenen die al die hardware los hebben weten te krijgen!
* 786562 Daniel
Kun je uit de doeken doen, wat de tegenprestatie van Tweakers.net is naar AMD toe, oftewel wat voor deal/relatie heeft T.net met AMD?
Da's vrij simpel

Als je op T.net en GoT rondsurft zie je regelmatig een AMD logo onderaan of aan de zijkant staan. Da's alles
Ik denk ( en weet zeker ) dat mede door Tweakers.net en GoT de AMD verkopen flink zijn gestegen!
Procentueel gezien op de totale verkoop, zal dat wel meevallen. Maar dat de verkoop onder tweaker.net-bezoekers van AMD processoren gestegen is, komt niet zozeer door het plaatsen van AMD-logootjes op de site.
Meer door de positieve mond tot mond reclame!
nu begrijp ik ook waarom iedereen (onderwie mijn eigen persoontje) best wel AMD minded is, het word ons gewoon met de paplepel ingegoten ;) ;)

Op dit item kan niet meer gereageerd worden.



Apple iOS 10 Google Pixel Apple iPhone 7 Sony PlayStation VR AMD Radeon RX 480 4GB Battlefield 1 Google Android Nougat Watch Dogs 2

© 1998 - 2016 de Persgroep Online Services B.V. Tweakers vormt samen met o.a. Autotrack en Carsom.nl de Persgroep Online Services B.V. Hosting door True