Upgrade server cluster 13 maart 11:00u

Vandaag zullen wij rond 11:00u de in deze .plan update aangekondigde upgrade van het Tweakers.net server cluster uitvoeren. Helaas hebben we slechts gedurende 1 uur beschikking over toegang tot de serverruimte van Vuurwerk. Hierdoor moeten we de OS en RAID upgrade van de database server uitstellen. Wat wel doorgaat is de processor upgrade van Artemis (dual PIII-1000 ipv dual PIII-733), de plaatsing van de twee nieuwe webservers en de processor/mobo upgrade van Athena (Tbird 1000 ipv K75-800).

Deze upgrades zijn nog geen structurele oplossing voor de database problemen waar Tweakers.net de laatste tijd onder te lijden heeft. Wel kunnen ze een deel van de ellende wegnemen. Onze excuses voor de eventuele ongemakken die ontstaan door de downtime als gevolg van deze upgrade.

- Daniël, Femme & Rick

Pics server upgrade

Op de derde foto zie je van boven naar beneden Sphinx (de game server van de GoT-clan), Odin, Arshia, Athena, Aphrodite en Artemis:

Tenslotte: ik wil je zeker niet dit nieuwtje onthouden: "Hacker lijkt opnieuw toe te slaan" van de Automatiserings Gids .

Reacties (89)

[klaaz]

Iets is beter dan niets zullen we maar zeggen . Jammer dat Vuurwerk niet wat meer tijd ter beschikking stelt. Ik denk dat als je een betalende klant bent dat je als je wilt de hele week 24 uur per dag aan je systemen mag sleutelen (tegen betaling uiteraard). Eerlijk gezegd valt het me wel een beetje tegen van Vuurwerk. Wie A zegt (sponsoren) moet ook B zeggen (steunen).

Maar goed: suc6!

* 786562 klaaz

[Femme]

Vuurwerk kon op korte termijn geen personeel regelen om een langdurige upgrade mogelijk te maken. De vorige twee keren werden erg goed geholpen, dus we hebben niets te klagen (+ gesponsorde bandbreedte en rackspace).

[Verwijderd]

Femme, strak dat je het even rechtzet, anders ontstaat er snel een slecht beeld over sponsor vuurwerk binnen zo'n discussie. Al met al denk ik dat tweakend nederland best blij mag zijn met Vuurwerk.

Gave link trouwens naar de AG!

* 786562 sepans

[Burat]

wel eens van Murphy gehoord??

Ssssst! Stil, strax maak je 'm wakker..

Maareh: Het is eigenlijk zelfs zo dat als je sponsort op deze manier, dat je de gesponsorde persoon als normale klant behandelt..

Gelukkig doet Vuurwerk dat ook -- Het is (kennelijk) normaal dat je maar een uur toegang hebt tot de server. Als je langer wilt, moet je 'm meenemen.

[Verwijderd]

Alsof het een normale tijd is voor een bedrijf om op / rond 11 uur de deuren open te zetten! Ok, het mag dan een hosting provider zijn en ze hebben 24 uurs support die mensen hebben echt ook nog wel werk hoor! Ik vind het niet meer dan logisch dat ze om 12 uur de zaak dichtgooien.

[update] * 786562 imdos1
Naja, was ook zo'n boring les net dat ik nog half slaap [/update]

[0rbit]

Kom jij wel eens voor 11 uur uit bed dan?

[Verwijderd]

Uhm, ja wel eens

[Verwijderd]

Iets is beter dan niets zullen we maar zeggen.

Jammer dat Vuurwerk niet wat meer tijd ter beschikking stelt. Ik denk dat als je een betalende klant bent dat je als je wilt de hele week 24 uur per dag aan je systemen mag sleutelen (tegen betaling uiteraard). Eerlijk gezegd valt het me wel een beetje tegen van Vuurwerk.

Wie A zegt (sponsoren) moet ook B zeggen (steunen)

Maar goed: suc6!

Vind ik niet zo raar. Vuurwerk heeft nogal een serverruimte en ook nogal wat klanten. Als iedereen zomaar 24 uur per dag bij z'n spullen moet kunnen moet er dus ook altijd iemand van vuurwerk beschikbaar zijn om erbij te zijn.

* 786562 cooper

[Gregoor]

Ik vind dat niet iedereen meteen zo negatief moet doen over Vuurwerk met dat ze maar 1 uur ter beschikking hadden en dus niet meteen alle upgrades gedaan konden worden. Owkee, het was natuurlijk wel jammer dat ze niet wat meer tijd hadden, maar als ik naar een post van een paar dagen geleden kijk zie ik daar dat de communicatie met Vuurwerk niet helemaal lekker liep en dat het toen waarschijnlijk nog wel dik een week kon duren voor de upgrade. Dan vind ik het toch mooi gedaan van Vuurwerk dat ze nog hebben kunnen regelen dat een paar mensen van Tweakers.net vandaag iig nog een uurtje wat dingen aan de systemen konden veranderen en extra servers bij konden plaatsen.

[]Byte[]

Heeft dat iets te maken met een 'standaard pollicy' . Of hebben ze gewoon niet zoveel zin in de hele dag mensen over de vloer.... Wat ik ook heel goed begrijpen kan, maar 1 uur is wel heel weinig moet ik zeggen. Dat kan je eigenlijk alleen maar een server plaatsen, alles vast koppelen, aanzetten, testen en opzouten... Heb je meer tijd nodig moet je je server uit het rek halen en meenemen en dan alles doen (met als resultaat, 1 dag down-time ).

[Daniel]

Dat willen ze dus eigenlijk ook. Het probleem is dat er iemand van Vuurwerk aanwezig moet zijn (normaal is die serverruimte onbemand). En ze hebben niet genoeg personeel om een halve dag iemand rond te laten lopen. De normale policy is dat je je server op kunt halen, elders verbouwen en weer terugzetten.

De verbouwing van Artemis zal misschien nog deze week maar waarschijnlijker volgende week zijn.

[klaaz]

Kunnen ze als sponsor (heil Vuurwerk) dan niet even wat ruimte op hun eigen severs beschikbaar stellen om de database op te draaien?? Dan kan Tweakers tenminste ff rustig werken aan de upgrade . Lijkt me toch niet zo'n probleem dacht ik.

* 786562 klaaz

edit: first post?????

[Burat]

Euhm... nee..

Het punt is niet de ruimte. Harddisk ruimte is erg goedkoop tegenwoordig, dat kan vuurwerk vast wel. Het probleem is de load. Ze moeten een vrij zware bak neerzetten - multi proc - die goed geconfigureerd is en afgestemd op de t.net config. Dus dat gaat naast een dure bak veel tijd kosten..

Dus het is niet 'wat ruimte op ...'.

[klaaz]

Kunnen ze dan de zaak niet even mirroren op zo'n zware bak die ze (als service) bieden aan klanten t.b.v. upgrades??

Me dunkt toch dat dit wel te realiseren is...

Of ben ik nu echt zo'n newbie... ??/

[TheGhostInc]

Meer een wannabee (leuk, profiles). Probeer jij maar eens een systeem te installeren, dat kost je meestal al een volledige dag (er vanuit gaande dat je geen image gebruikt), daarnaast ben je dan continu de server aan het updaten om foutjes eruit te halen.

* 786562 TheGhostInc

[Femme]

Kunnen ze als sponsor (heil Vuurwerk) dan niet even wat ruimte op hun eigen severs beschikbaar stellen om de database op te draaien??

Dat kan Athena doen. We hebben momenteel 3 webservers nodig om de sites goed draaiende te houden, dus Athena kan prima tijdelijk als dbase server fungeren.

[Cap]

Als ik het goed begrijp kunnen jullie de upgrades die echt nodig zijn niet uitvoeren omdat jullie maar 1 uur toegang hebben tot de database server bij Vuurwerk? Wel jammer dat het simpelweg tijdgebrek is waardoor niet goed opgelost kan worden.

Hoe lang duurt het nu voordat die RAID geplaatst kan worden? Het lijkt me dat een snellere schijftoegang belangrijker is dan een snellere processor bij database toepassingen.

Worden jullie op een wachtlijst geplaatst bij Vuurwerk of iets dergelijks? Zoiets van: "Komt u met kerstmis nog maar eens terug, dan is het rustig."

[Verwijderd]

Cap,

Die RAID is niet de bottleneck hoor. De database-server heeft nu ook al een RAID kaart. Het probleem is dat de dual-cpu kracht niet goed benut wordt onder BSD. Daarom wordt overgestapt op Redhat. De huidige RAID-kaart wordt niet ondersteund onder Linux, daarom wordt ook die vervangen. (Dat stond in de originele update aankondiging.)

[Firefox]

Kan zijn dat ik me vergis hoor, maar volgens mij is de driver ook niet helemaal geschikt voor FreeBSD van de huidige raid kaart, en werkt dat Raid gedeelte dus niet helemaal lekker.

Dus, hij heeft wel een raid, kaart, alleen staat dat dus een beetje een gat in zijn neusschot te boren. Dat is iig wat ik uit die uitleg haal.

[Steven]

Maar klagen bij vuurwerk kan je niet maken ---> ze zijn gratis voor T.net

[grimlock]

Ik snap niet waarom er niet eens wordt gekozen voor een Xeon proc. Beter een Xeon 700MHz als dual P3-1000..... Alle routines blijven in de cache. En laat maar lekker rammelen die CPU....

[Femme]

1) Ik geloof niet dat een PIII Xeon met 2MB L2 cache op 700MHz sneller is dan een PIII op 1GHz.
2) Voor de prijs van twee 700MHz large-cache Xeons bouw ik een complete MySQL replication server.

[grimlock]

1) Fronst mijn wenkbrauwen.... Misschien dat we ergens een benchmark kunnen vinden. Ik twijfel er behoorlijk aan wat je hier stelt.
2) Helemaal mee eens, maar aangezien er hier elke dag meerdere 10,000-en keren op de banners geklikt wordt...

[Femme]

Vroeger (in de tijd van voor de Coppermine) had de Xeon full-speed L2 cache en de PIII/PIII de cache op halve core snelheid. Toen was de Xeon nog merkbaar sneller dan een PIII (zie als bijv. deze benchmarks van Firingsquad: http://firingsquad.gamers.com/hardware/p3xeon500/pag e6.asp PIII-Xeon 500 1MB vs PIII/Katmai 500). Ik zie daar trouwens geen spectaculair verschil tussen de PIII en de Xeon. Ik zou niet weten hoe een Xeon 700 2MB opeens net zo snel kan zijn als een 43% hoger geklokte Coppermine. Beide hebben dezelfde core, de Xeon alleen iets meer cache.

[Daniel]

Was het trouwens maar waar dat er elke dag meerdere 10,000-en keren op banners geklikt wordt

Gisteren in totaal 254 clicks op een totaal van 499.718 advertentieviews....goed voor een clickrate van 0.05%

Xeons zijn gewoon relatief veel te duur. Het enige voordeel is dat je er meer dan 2 aan elkaar kunt knopen

[Verwijderd]

Nou ik heb net ff een paar keer op die banners geklikt maar ik heb liever een abbo op tweakers.net dan dat ik op duffe banners moet klikken

Die ik normaliter er altijd uitfilter btw met junkbuster!

[pblom]

Waarschijnlijk omdat een Xeon nogal duur is!

[yodax]

Het is nog niet echt veel beter geworden volgens mij:

3:55pm up 94 days, 20:00, 0 users, load average: 93.21, 82.22, 75.77

Echter heb ik wel het volle vertrouwen in de crew, dat het goed gaat komen.

[Femme]

En we hebben nog een leuk probleempje: er is maar 1 werkende CPU in de dbase server omdat de SuperMicro 370DLE zonder BIOS update geen support heeft voor dual 1GHz PIII's. Dat is iets waar we door de beperkte tijd bij Vuurwerk niet achter kwamen. Geen heel groot probleem omdat de twee CPU's toch al niet echt nuttig werden gebruikt. Binnenkort wordt Artemis opgehaald en gaat de AMI RAID controller erin.

[Daniel]

Damn hell, dus toch

Tijdens het booten zag ik al geen melding van de aanwezigheid van 2 CPU's maar ik dacht dat dat het BIOS dat gewoon niet aangaf

[Femme]

Op dit moment draait alles nog ff tijdelijk op 1 webserver. De resterende 3,2GHz aan webserver capaciteit die nu niets staat te doen moet nog in gebruik worden genomen.

[Christiaan]

Femme, ik snap dat de hardware niet volstaat, maar hoe zit het functioneel in mekaar? Hoe is de database opgezet (hoe sterk is de normalisatie, etc.). En in hoeverre is de code geoptimaliseerd voor botte performance.

Voordat mensen meteen reageren 'wat weet jij daar nou van' wil ik even kwijt dat ik zelf ook eigenaar van een grote site ben, en me verdiept heb in het optimaliseren van de performance. De meeste simpele stukken code kunnen vaak enorme bottle-necks vormen.

Ik kan me voorstellen dat het moderatie systeem een grote last op het systeem legt. Vooral omdat moderaties een week bewaard worden alvorens verekend te worden.

[Femme]

Tweakers.net heeft in november in de laatste weken al een tijdje met load problemen gekampt dus dat brengt tegelijk de noodzaak om alles zoveel mogelijk te optimaliseren.

Normalisatie is niet altijd ok voor de performance, dus sommige dingen worden vooruit gebakken of dubbel opgeslagen. Ik ga bijv. niet voor elke reactie de score tellen uit een tabel met >362.000 moderaties. De frontpage is een samenstelling van voorgebakken lapjes html. Goede indexes en de volgorde van de records en indexes optimaliseren met myisamchk helpen ook gigantisch.

In tegenstelling tot bijv. Slashdot houden we alle reacties (>281.000) en moderaties levend in de database. Het forum is al erg groot met 1,27 miljoen postings. Toch loopt het op zich best wel snel.

Er zijn nog wel wat dingetjes die veranderd moeten worden zoals een GoT-achtige search engine voor t.net (de huidige search doet een select ... like '%keyword%'... en dat wordt een beetje traag op een tabel van 280.000 records.

[Christiaan]

Ik heb er al een discussie over gehad met een paar mensen via de mail. Maar ik sleutel (=lees: pers zoveel mogelijk performance uit..) zelf in mijn vrije tijd ook graag aan mijn eigen (http://www.eveolution.com) site. Die is opgetrokken met ASP en Visual Basic, maar het probleem blijft hetzelfde: processorkracht.

Nu kun je best meer servers aanschaffen, maar wij draaien op 1 server (even voor de duidelijkheid, de site is nog in beta-fase, hij wordt ge-stress-test), en we hebben nog geen problemen met testers die niet bij de site kunnen. En dat terwijl er enkele computers (zoals die van mij) achter mekaar page-requests plaatsen bij de hoofdserver. Soms wordt het langzamer, maar het loopt nooit helemaal af. Geen 'de SQL Daemon is ff een bakkie koffie drinken'. Ik heb namelijk een systeem ontwikkeld dat tabellen die niet veel gewijzigd worden verplaatst naar een tekstfile of direct in het geheugen plakt als array. Alhoewel SQL-servers dit ook doen, is het toch nog steeds tientallen malen sneller, en je hebt geen last van de overhead van zo'n DB-server. Verder kunnen de meest duffe dingen problemen veroorzaken, zoals 'globaal' gedeclareerde variabelen. Maar goed, voordat we het land van de threads intrekken en hopeloos verzeild in een off-topic verhaaltje; je begrijpt wat ik bedoel.

Ik heb totaal geen ervaring met PHP, maar kun je de code niet in een component plakken? dan hoeft de server niet steeds te compilen en kun je hem in het geheugen plaatsen.

En idd, zoeken met '%...%' is niet zo goed met grote tabellen.

Normalisatie is ook niet altijd de sleutel, maar het stelt je wel goed in staat om veel betere indexes te maken. Alhoewel je meestal wel met veel tabellen komt te zitten, heb je wel kortere indexes. Dat is altijd sneller natuurlijk. En zaken als 'views' kunnen de performance ook flink boosten. Maar die zitten er vast in.


Ik word alweer helemaal enthousiast. er is niks leuker dan code en db's te optimaliseren. Hmm. waarom klonk dat zo 'nerd'

[Femme]

Nu kun je best meer servers aanschaffen, maar wij draaien op 1 server (even voor de duidelijkheid, de site is nog in beta-fase, hij wordt ge-stress-test), en we hebben nog geen problemen met testers die niet bij de site kunnen.

Je moet niet de illusie hebben dat Tweakers.net op één servertje gehost kan worden (tenzij het een leuk bak met acht processors is). Ik kan natuurlijk alle pagina's gaan prerenderen maar dan moet ik ook meteen alle functionaliteit uit de site slopen dus dat is geen optie.

550K pageviews per dag trekt wel wat load. De database is met 2GB ook wel wat groter dan van de meeste sites.

MySQL geeft problemen onder hoge load maar is normaal gesproken erg snel.

Ik heb namelijk een systeem ontwikkeld dat tabellen die niet veel gewijzigd worden verplaatst naar een tekstfile of direct in het geheugen plakt als array. Alhoewel SQL-servers dit ook doen, is het toch nog steeds tientallen malen sneller, en je hebt geen last van de overhead van zo'n DB-server.

Pre-renderen is nogal lastig op t.net omdat alles zo dynamisch is. Het heeft bijv. al geen zin om de nieuwspagina's te cache omdat de pagina per bezoeker verschillend is (afhankelijk van niveau, modpoints enz.). De update tracker wordt wel voorgebakken maar zelfs die verandert overdag zeker elke minuut. Toen t.net nog op 1 server draaide liet ik 'm op harddisk cachen, maar tegenwoordig doe ik dat gewoon in de database. Dat is wel wat trager maar moet wel om ervoor te zorgen dat de utracker op alle servers hetzelfde is.

dan hoeft de server niet steeds te compilen en kun je hem in het geheugen plaatsen.

Er is een Zend Cache maar die is zo duur dat je er paar frontend servers voor kunt kopen. November vorig jaar hebben we een andere gratis cache dingetje geprobeerd maar die werkte toen (nog) niet stabiel.

[Christiaan]

Je moet niet de illusie hebben dat Tweakers.net op één servertje gehost kan worden (tenzij het een leuk bak met acht processors is.

Daar ging ik ook absoluut niet van uit . Tweakers is vele malen groter en wordt bezocht door veel meer bezoekers die meer 'rare' fratsen uithalen dan de stress-testers die op dit moment op de server van mijn site hameren. Toch zijn de sites qua werking vrij vergelijkbaar omdat ik met een ontzettend dynamische DB zit opgescheept (heb ik mezelf aangedaan - als gebruikers alles moeten kunnen posten krijg je dat soort problemen.)

Pre-renderen is nogal lastig op t.net omdat alles zo dynamisch is.

Tuurlijk. Als het echt dynamisch is (zeg; wordt per minuut gewijzigd) dan werkt dat niet goed. Maar waar ik veel aan heb gehad is een truukje van de Microsoft homepage. Zij cachen sommige tabellen direct in het geheugen via een supersnelle hash-table. De hash-table wordt niet per tijdsinterval ge-update, maar iedere keer als er een update van de tabel plaatsvind. Het grote voordeel hiervan is dus dat de database ontzien wordt. Wat er gebeurdt is dat de update wel geschied op de tabel zelf, maar die wordt daarna meteen gemirrored in het geheugen. Handig truukje, en omdat het een array is (feitelijk) heb je geen grote overhead.

Het heeft bijv. al geen zin om de nieuwspagina's te cache omdat de pagina per bezoeker verschillend is (afhankelijk van niveau, modpoints enz.).

Ik weet ook niet of cachen altijd werkt. Wat natuurlijk wel kan is het zoveel mogelijk beperken van actieve code. Maar dat heb je uiteraard al gedaan. Ik heb voor mijn site alle informatie die bij de gebruiker hoort in een cookie gestopt (wel met sterke encryptie). Ik gebruik een mod-systeem dat meer gebaseerd is op user-stats (zoals in een RPG - onderwerp v/d site). Zodra postings (kan van alles zijn) negatief beoordeeld worden, wordt dit in mindering gebracht op de stats. Ik hoef de moderaties dus nooit vast te houden. Het wordt meteen doorberekend. Al moet ik zeggen dat een korte history ook grote voordelen heeft.

Toen t.net nog op 1 server draaide liet ik 'm op harddisk cachen, maar tegenwoordig doe ik dat gewoon in de database. Dat is wel wat trager maar moet wel om ervoor te zorgen dat de utracker op alle servers hetzelfde is.

Ik neem aan dat de servers worden beheerd door een server-load verdeler? Bekende truuk is om gedeelde cache in een tekst-file op een gesharede drive te zetten. Je krijgt dan wel leuke problemen met file-locks enzo.

Er is een Zend Cache maar die is zo duur dat je er paar frontend servers voor kunt kopen. November vorig jaar hebben we een andere gratis cache dingetje geprobeerd maar die werkte toen (nog) niet stabiel.

Hmm. zo'n speciaal ding voor cachen heb je niet nodig. Ik weet niet (want ik ken geen PHP hoe dat zit bij PHP, maar bij ASP en JSP kun je objecten aanmaken met bijvoorbeeld C++, VB of Java. Wat je eigenlijk doet is de scriptcode plakken in een project in 1 van die talen en vervolgens wordt het geheel gecompiled en feitelijk als exe in het geheugen gezet. Lekker snel. En als je er een multi-threaded object van kan maken dan zijn de meeste resource-problemen verholpen. Ik bedoel dus niet dat de resultaten van de scripts gecached worden. Dat werkt meestal maar half en zoals je zelf zei; het is vreselijk duur.

Deze discussie wordt wat lang voor deze page geloof ik.

[Verwijderd]

Die 2 minikaartjes die in het riser slot steken van Odin, zijn dat intel nic's?

[Femme]

Nee, 3Com. Ik weet niet precies welk type - misschien nieuw kaartje met kleinere PCB?

[Verwijderd]

Hmm, nooit geweten dat 3com zulke kleine kaartjes had/heeft! Ik ken wel het nieuwe model dat een deel van de pcb al mist, dat is de 3c905c maar deze lijkt helemaal nergens op

Het had namelijk meer weg van een intel kaartje.

[Ronald]

Dat is de nieuwe revisie (120) van 3com, heb ik ook. Ze willen niet werken met linux 2.2 vortex driver, wel met 2.4 vortex driver of de GPL 3com driver vanaf 3com.com.

[Verwijderd]

Aders houden we gewoon een inzamelingsaktie onder welwillende Tweakers, en zetten we er gewoon een zware SUN bak neer, ben je in een keer van al het gezeik af

[LinuxMan]

een zware SUN bak neer

zwaar zijn ze wel ja, ik kwam een tijdje terug een Sun Enterprise 5000 tegen, die is toch in z'n eentje even groot als een fullsize 19" rack (en hij heeft voor het gemak direct een krachtstroomaansluiting). Ik denk dat je daar een heftruck voor nodig hebt om die te verplaatsen. De betreffende server had wel een stuk of 8 paralelle raid arrays, en 12 processoren

[Verwijderd]

Ow, maar er staat er 1tje te koop, als ik mij niet vergis op de auctions van yahoo: kosten $7200 maar dan wel met 4 procs alvast

edit:

een 450 van Sun, dan hebben we het natuurlijk wel direct duidelijk

[Daniel]

Zodra we weer in de DSP kunnen (niet alles draait nog) zal er wel een update komen.

De oude hardware heb ik hier liggen...gewoon nasty hoe weinig stof er inkomt na 10 maanden nonstop draaien

[Tonne]

Ze zullen wel vaak stofzuigen

[witchdoc]

Wat gebeurd er eigenlijk met de oude hardware? Is die voor je persoonlijke crackrackje of wordt die nog verkocht of wat?

Ik denk dat er best een aantal tweakers geïntresseerd zijn in GOEDKOPE cpu-MB combo's of dergelijks hoor..

[Verwijderd]

Is een beetje raar om spul te verkopen dat je van een sponsor gratis gekregen hebt.

Btw: op fokzine.net kunnen ze WEL snel updaten

[Ritchie]

En wanneer kunnen jullie er weer in??