Cookies op Tweakers

Tweakers maakt gebruik van cookies, onder andere om de website te analyseren, het gebruiksgemak te vergroten en advertenties te tonen. Door gebruik te maken van deze website, of door op 'Ga verder' te klikken, geef je toestemming voor het gebruik van cookies. Wil je meer informatie over cookies en hoe ze worden gebruikt, bekijk dan ons cookiebeleid.

Meer informatie

Door , , 187 reacties

Sinds onze laatste webserver upgrades in maart heeft Tweakers.net een onverminderde groei van 17 miljoen pageviews per maand naar ruim 26 miljoen pageviews doorgemaakt. Deze toename in bezoekersaantallen is inmiddels duidelijk merkbaar in de belasting van de webservers, die vooral op de server die het forum bedient (Arshia) met enige regelmaat erg hoog is. Morgen zullen Kees en Floris bij TrueServer een aantal upgrades aan ons serverpark uitvoeren waarmee we de capaciteit van onze webserver frontend aanzienlijk gaan verhogen.

Tweakers.net pageview stats maart 2000 - oktober 2001

* Nieuwe dual Athlon MP webserver

Het meest in het oog springend is de plaatsing van onze eerste dual Athlon server. Deze nieuwste aanwinst draait op twee 1,2GHz AMD Athlon MP processors en een Tiger MP moederplank. De configuratie bestaat verder uit twee 512MB PC2100 repen, een 20GB Seagate Barracuda ATA IV harddisk, twee netwerkkaartjes en een 2U rackmount van ProCase. De processors werden gesponsord door AMD, het geheugen werd ter beschikking gesteld door Dane-Elec en 2Fast hielp bij het regelen van de 300W versie van de ProCase kast. De nieuwe webserver heeft de naam Achelois gekregen. In eerste instantie zal zij het forum gaan serveren.

Tweakers.net webserver #5 - Tyan inside

Tweakers.net webserver #5 - Tyan TigerMP sockets

* Linux herinstallatie Odin en Arshia

Odin en Arshia, de twee webservers die in maart aan het serverpark werden toegevoegd, draaien als enigen van de zes servers op FreeBSD. Helaas is dit geen al te fortuinlijke keuze gebleken. Wat ook de reden mag zijn van de problemen, feit is dat de stabiliteit van beide machines verre van optimaal is en dat er allerlei problemen zijn met betrekking tot Apache en de MySQL connecties. Daardoor kan de hardware niet optimaal ingezet. Morgen worden beide servers voorzien van een nieuwe Slackware installatie met 2.4 kernel. Dit betekent dat ons serverpark binnenkort geheel op Slackware draait, terwijl voor de komst van Kees als serveradmin FreeBSD, Debian en Slackware door elkaar werden gebruikt. Odin en Arshia krijgen na de upgrade een nieuwe naam. Odin gaat Iris heten en voor de nieuwe naam van Arshia mag je binnenkort gaan pollen op de frontpage .

* Herconfiguratie Athena

Na uitvoering van de bovengenoemde upgrades mag Athena met bijna 128 dagen uptime achter de rug een welverdiende rust toegemoet zien. Daarbij zal zij promotie verdienen tot gecombineerde (Coda) file- en imagewebserver. Athena werd eind mei 2000 samen met Aphrodite (in haar oorspronkelijke configuratie) bij Vuurwerk Internet geplaatst. Sindsdien is de configuratie met uitzondering van wat software updates grotendeels gelijk gebleven. De laatste tijd loopt dat niet meer zo lekker en daarom wordt de hele machine opnieuw genstalleerd, waarbij zij meteen optimaal geconfigureerd zal worden voor haar nieuwe taak. Deze verandering is noodzakelijk ter voorbereiding op de komst van twee LVS load balancers, die bij de terugkomst van Athena ons rackje bij TrueServer komen bevolken. Met de LVS'en (twee Athlon 800 machines) kunnen we de load balancing verbeteren en efficinter gebruik maken van de aanwezige hardware. Op dit moment wordt Tweakers.net geloadbalanced met behulp van DNS round robin, terwijl GoT, Fok! en het Fok!forum ieder op n webserver draaien. Dit is natuurlijk geen ideale situatie. De twee load balancers worden via onze twee switches aangesloten op de twee Juniper M20 routers van TrueServer, zodat het hele traject tussen de backbone providers van TrueServer en onze eigen webservers redundant is uitgevoerd.

TrueServer verhuizing 2: APC Masterswitch LEDjes tussen Athena en Arshia

* Table-locking bottlenecks

Naast een hoge belasting van onze webservers kampen we momenteel in toenemende maten met problemen omtrent table-locking in MySQL. Hierdoor ontstaan soms gigantische opstoppingen in de forum database, waardoor GoT zo goed als onbereikbaar is. Sinds vorige week draaien de database servers een nieuwe MySQL 3.23.43 versie met support voor InnoDB tables. InnoDB is een embedded database backend onder MySQL. Het heeft ondersteuning voor veel zaken die in de standaard MyISAM tables van MySQL ontbreken, zoals row-level locking, transacties en foreign key constraints. Met behulp van row-level locking kunnen we de performance problemen van het forum grotendeels uit de wereld helpen en de schaalbaarheid van onze hardware verbeteren. Vannacht worden de belangrijkste tabellen van het forum omgezet naar InnoDB formaat.

* Update (3:17):

De members, topics en messages tabellen van GoT zijn omgezet naar InnoDB. Het is nog te vroeg om te zeggen of het gewenste resultaat is behaald, maar vooralsnog lijkt InnoDB niet bepaald traag .

AMD Athlon logo (breed)Dane-Elec logo (breed)

Door Femme Taken

- Architect

Femme is in 1998 als oprichter met Tweakers begonnen en werkt tegenwoordig als ontwerper in het productteam van Tweakers. In de vrije tijd knutselt Femme fanatiek aan zijn domoticasysteem.

Moderatie-faq Wijzig weergave

Reacties (187)

1 2 3 ... 8
[beetje offtopic]
de link naar 2fast.nl is gelinkt naar 2fas (zonder t)..
[/beetje offtopic]

verder goed om te zien dat er nagedacht wordt over de groei :)
ben benieuwd wat innoDB gaat uithalen naar het forum toe..
Schandalig om zo om te gaan met behulpzame mensen. De link is gefixt! :)
hehe kay :)
bdw, dan is zo'n postje in het topic toch handiger dan naar het bugtrek ding toe fietsen....
Zal er nog eens een keer voor naar Breda op-en-neer rijden :)
Het is een jongetje en wij noemen hem Achelois, naar de griekse god van? iig helemaal goed dit, is een enkele HD wel verstandig?
Ik weet niet precies wat zo'n ATA HD kost, maar ik weet ook dat het niet veel kan zijn in vergelijking met de rest van de hardware en misschien ook niet met de kosten van eventuele downtime aan gedorven bezoekersaantallen / advertentieinkomsten e.d.

Dus het lijkt mij ook verstandig er een 2e HD, gewoon met hardware mirroring aan toe te voegen. Just 2 be sure :)
Een extra harddisk en IDE RAID (3ware Escalade) kost al snel 1200 gulden extra. Dat is de helft van wat zo'n server nu kost (rekening houdend met gesponsorde hardware). Voor de prijs van twee servers met IDE RAID kunnen we dus drie servers bouwen zonder IDE RAID. Dan kies ik 100% voor de laatste optie.

Zodra de load balancers er staat maakt het ook niet meer uit als een webserver dood gaat door een kapotte harddisk omdat we dan automatische failover hebben.
Hoe zit het eigenlijk met de toegang tot de servers.
Stel dat zo'n schijf doodgaat, hoe lang duurt het dan, als je ervan uitgaat dat je de HD al hebt, voordat de schijf geinstalleerd kan worden in het systeem.
Heb je het dan over uren of dagen?

* 786562 TheGhostInc
Als een enkele IDE hdd op de standaard controller van het mobo performance wise voldoende is, dan valt de controller die je noemde van 1200 piek onder de zogenaamde catagorie BS (bullshit). Een Promise kaartje van 150 piek en een 2de harddisk is dan ook voldoende om een mirror te bouwen. Op deze manier kan je makkelijk je fictieve kosten omhoog jagen.
ik vindt ook dat een goedkoop raid kaartje en een tweede schijf je een hoop kop zorgen kunnen schelen als er een schijf zeg maar een ...head crash heeft en je niet een half jaar aan postings kwijt bent en je niet opnieuw de heleboel moet gaan herinstalleren en configureren.
al hoeft het dan niet perse voor de performance,
die paar hondert pieken levert je dan wel veel extra zekerheid en gemak op.

schijfje kapot?
schijfje er uit, nieuwe er in en voila.

maar het kan later natuurlijk altijd nog ;)
ik ben het helemaal met je eens , de keuze voor ide vind ik al erg vreemd, het ontbreken van een redundant disk vind ik nog vreemder. tevens omdat bv een mirror je read-performance flink omhoog schopt
Hoezo dan, scsi-freak, heb je iets tegen IDE in servers dan? ;)

De opzet van de server is zoals gezegd dat in principe alles uit RAM gedraait moet worden. Dan is de snelheid van de schijf natuurlijk niet belangrijk, zou je zeggen.

Maar dit soort vliegers gaat niet meer op zodra logfiles en andere data toch meteen naar disk weggeschreven moet worden. Ook, en dat is minder fijn, als er door heavy load+memory leaks verminderde filecache mogelijkheid is.

In zo'n geval zal de server dankzij ATA eerder op zijn gat gaan terwijl hij als hij SCSI was gewoon door zou kunnen blijven zwoegen :)
En van de zeven muzen van Lesbos. Over de muzen gaan veel verschillende verhalen. In elk verhaal zijn er weer anderen en zijn ze in een grotere of kleinere groep en vinden ze hun oorsprong in een andere lokatie. Ook het ouderschap wordt steeds aan anderen toegewezen. Door de vele verschillen van mening over de namen der muzen is op een bepaald moment besloten dat het de negen zijn die we nu kennen. (Calliope, Clio, Erato, Melpomene, Euterpe, Polyhymnia, Terpsichore, Thalia en Urania). Dit zijn de meest bekenden en degenen waar de meeste mythe schrijvers het uiteindelijk over eens waren. In dit geval waren het overigens dochters van Zeus en Mnemosyne.

Achelois viel daar niet onder en is op die manier een minder bekende muse.
en voor de perv's onder ons: Lesbos is een eiland, geen verzameling vrouwen die erg van elkaar houden. Die genoemde muzen zijn dus geen verzameling kinky verhaaltjes :P
Ik weet al waar ik op vakantie ga, in dat geval :+
En wie woonden er op dat eiland? Vrouwen dus :)
Godin van de maan :)
Achelois; Moon goddess, known as she who drives away pain. Sacrifices to her were ordered by the Dodonian Oracle.
Wel toepasselijk gekozen dan :) Het verzacht de pijn van het trage GoT van de afgelopen weken.
Ik denk dat Adverteren weer eens geupdate moet worden: 50.000 pageviews per dag lijkt me achterhaald bij 25M per maand van tegenwoordig.
Met circa 50.000 unieke bezoekers per dag en bijna 25 miljoen pageviews per maand behoort Tweakers.net tot de top 5 van drukst bezochte websites van het Nederlandstalige internet.
Ik heb dat er zelf 3 of 4 weekjes geleden nog neergezet.

50.000 uniek is best aardig mag ik verklappen, waarbij ik ook kan toevoegen dat we tegenwoordig tussen de 65.000 en 70.000 unieke bezoekers hebben op weekdagen. (Vorige maand waren dat er meer dan 330.000 in totaal.) Vanaf 0:00 tot 10:20 hadden we al 10.928 unieke bezoekers. (Gemeten naar IP en cookie)

Het aantal pageviews ligt op weekdagen tegenwoordig tegen de 900.000 per dag gemiddeld. In de weekeinden is dit rond de 750.000.
* 786562 CasaLasse
Met behulp van row-level locking kunnen we de performance problemen van het forum grotendeels uit de wereld helpen en de schaalbaarheid van onze hardware verbeteren. Vannacht worden de belangrijkste tabellen van het forum omgezet naar InnoDB formaat.
Ik vind dit het interessantste stukje uit de hele tekst (lekker duidelijk geschreven overigens, bedankt Femme), want dat is nu nog het grootste probleem waardoor GoT af en toe zo traag is (samen met Topix en FreeBSD die continue aan het ruzin zijn).

Verder is het natuurlijk extra handig dat er een extra server bijkomt, kan Tweakers.net weer ff vooruit, in ieder geval totdat er weer zoveel extra pageviews zijn bijgekomen. (Stijgt het aantal pageviews trouwens linear of komt er langzaam een einde aan de groei?)
Want als de stijgende lijn zo door gaat, zou dat betekenen dat heel Nederland en half-Belgi straks op Tweakers.net zou zitten :).

edit:

Kromme zin recht gemaakt.
Ik heb er ff een grafiekje bijgezet.
Mooi grafiekje is dat... waar maak je dat mee?
Gewoon Excel en dan opfleuren met Photoshop :) .
edit:

lama

ik ben scheel
De groei van de laatste twee maanden ten opzichte van de vorige twee maanden is groter dan ooit tevoren. Grofweg gaat het al 1,5 jaar linear omhoog.
Is die groei van het aantal pageviews een direct gevolg van nieuwe (extra) users, of wordt er per user ook gemiddeld meer pageviews gegenereerd?

Hoeveel authentieke users (on)geregistreerde bezoekers/users zijn er eigenlijk en kun je daar ook een staatje van maken?

Helemaal mooi zou het zijn om staatjes te zien, verdeelt in Tweakers.net en GoT (of zelfs de onderdelen ervan). :)
Wanneer is ut forum terug bereikbaar ? En gratz met de dual Athlon server , waarom eigenlijk geen Thunder K7 erin ? Tiger is toch eerder het lite bordje voor de meereisende thuisgebruiker en Thunder het serverplankje
De Thunder K7 is overkill voor het type webserver dat wij nodig hebben. Eigenlijk is alleen de snelheid van de CPU's en de hoeveelheid geheugen belangrijk. Snelle SCSI schijven e.d. hebben we niet nodig omdat alles vanuit de cache draait en de data via het netwerk uit een database wordt gehaald. De Tiger MP heeft een normale voedingsconnector wat ook een groot voordeel is.

We hebben trouwens wel een Thunder K7 klaarliggen om in een (database)server gestopt te worden :) .
Ik weet het niet, maar ik krijg nu al een halfuur lang alleen maar Code #55's, terwijl ik van anderen hoor dat ze er wel op kunnen. Hoe zit dit?
Ik ook, en zie in de update tracker de hele tijd nieuwe topics verschijnen...
Hmm, lijkt erop dat een boel personen (waaronder blijkbaar ook ik) dus is gebanned van GoT... jammer, ik heb ook helemaal geen mailtje gehad dat ik gebanned zou zijn ofzo :( :'(
Hmmm, nee hoor, je bent absoluut niet gebanned, net effe voor je gechecked :)
Wazig... waarom kan ik er dan niet op (#55) terwijl anderen dat wel kunnen (zie updatetracket techforums)? Kan je dat misschien ook nakijken?
Daar heb ik totaal geen verstand van :o
Ik heb alleen gekeken of je status op banned stond en dat staat ie niet :)
Femme heeft iets veranderd aan de sessions tabel, en daarbij zei hij oa.
Nu die anonieme users er niet meer zijn [hun sessions zijn stuk -> #55]
, dus misschien helpt het als je effe je cookies weggooid.
heh, erm..
als je ff op GoT zou lezen *grin* :P zou je kunnen zien wat oom Taken heeft uitgehaald met de database:
Even een testje:
Ik hebben ff de sessions tabel omgezet naar InnoDB. Daardoor kunnen mensen die niet ingelogd zijn niet op GoT surfen. De sessions worden erin gemikt via insert delayed en dat werkt niet op InnoDB tables. Waar het om gaat:
Alleen anonieme users doen een select count( :*)from messages in het topic overzicht. Nu die anonieme users er niet meer zijn [hun sessions zijn stuk -> #55] en de counts niet meer worden gedaan is het forum wl snel. De load op Apollo is gedaald van 60-80 naar 0.63 :) .
Ik ook, ik kan ook niet meer op GoT komen. Ik moet ook bij tweakers steeds opnieuw inloggen.
Sjammer, kvind de zaterdag middag altijd zon fijne GoT middag..

Dan maar de stad in, tzal vanmiddag wel opgelost zijn...
Wildhagen:
Niet meteen denken dat je gebanned bent. Er is toch geen reden voor? }>
GoT en Tweakers.net gaan aan en uit. :(
GoT is iig weer via IP te bereiken:
213.239.154.17
Zal misschien nog wat config met DNS en die load balancers nodig hebben ('k roep ook maar wat :Y) )
ach, klein detail: de conversie naar nwe formaat levert schijnbaar toch wat probjes op. Frontpage is goed, maar de topics zelf zijn wartaal :'(
Gelukkig ut GoT werkt weer :) (wat is dat toch weer verslavend)

T.net ken eigenlijk alles gratis regelen ;) ik vraag me eigenlijk ook wel af of ze echt betalen voor dat plaatsen van die server. Of is dat gewoon weer gratis geregeld via Trueserver? (waar heel vaak doodgewoon over gepraat wordt)
Weet ik meteen waarom ik net de Apache peege voor mn neus kreeg.
En GOT werkt hier nog steeds niet :(
Zend 20001120011394119671x 2 koƑU% SFQHbqulyԭ!&Χtrbww$gT絳3C*>8_ޭΞE1a*WVpVGf]y6׏;
hmm, dat lijkt er een beetje op dat de pagina's niet geunziped worden ofzo.. Iets mis met de content header?
Dat is niet gezipt, maar ge-encode met Zend encoder. En om daar iets mee te kunnen moet Zend optimizer geinstalleerd worden: 1 bestandje ergens neerzetten en 2 regeltjes aan php.ini toevoegen. :z
Zend is nog niet geinstalleerd, da's het hele eieren eten.
hm das best logisch op zich natuurlijk

alleen
w
zou ik veranderen in

dan klopt het denk ik :+
T.net crew heeft 24 uurs toegang tot de servers van t.net bij Trueserver, en aangezien Trueserver t.net zwaar sponsert (lees gratis host in ruil voor reclame) mogen ze wel gratis een server plaatsen. Eentje kopen is een andere zaak.
Voor zover ik weet heeft tweakers.net gewoon een cabinet (zo heten die krengen toch?) gekregen, met onbeperkte toegang tot de serverruimte, dus servers bijplaatsen is gewoon mogelijk zonder extra kosten ofzo :)
Ik weet niet wat er allemaal gebeurt is, maar het is niet goed.

En dat terwijl het bij plaatsen van een nieuwe server toch een buitengewoon kleine ingreep is.
*Server plaatsen en klaar maken
*Als het ding werkt de dns omzetten
*klaar.
Wie zegt dat het alleen plaatsen is ? Als je alles goed had gelezen heb je gelezen dat er ook linux op 3 machine's (incl. die nieuwe 5de bak) geinstalleerd moest worden, waarschijnlijk is het daar niet zo super gegaan. En ook de herconfiguratie van Athena is vandaag verlopen, deze alleen goed.

Bij Arshia is de herinstallatie van linux opzich best verlopen, alleen is het waarschijnlijk bij het terugzetten van de config. bestanden van Apache of bij het configgen van PHP mis gegaan. Aangezien PHP meestal niet zo'n output geeft.

Bij Odin is het erg mis gegaan, of ze hadden gewoon daar te weinig tijd voor. Odin staat namenlijk niet meer bij de uptime stats, en zij stond ook geplanned voor een linux installatie.

Ik verwacht dat de tweakers.net crew morgen weer bij Telecity zit verder te werken en dat morgen of over 2 dagen alles weer up is.
Die nieuwe bak neem je natuurlijk geinstalleerd mee, zodat je 'm alleen hoeft te configgen en extra s/w installeren moet.

Blijven er nog twee over die helemaal vanaf 0 moeten worden op/omgebouwd...

[edit]
* 786562 BackSlash32
* 786562 BackSlash32
Misschien is het niet zo'n goed plan om 3 servers tegelijk uit productie te halen ?

Ik had toch wel verwacht dat er een goede planning gemaakt zou zijn.

Het is natuurlijk niet echt handig om arshia (De oude got-server) overhoop te halen als de nieuwe (Achelois) het nog niet (goed) doet.
Bij Arshia is de herinstallatie van linux opzich best verlopen, alleen is het waarschijnlijk bij het terugzetten van de config. bestanden van Apache of bij het configgen van PHP mis gegaan. Aangezien PHP meestal niet zo'n output geeft.
Dat is een kwestie van Zend optimizer installeren. En daarnaast is het toch de nieuwe dual Athlon die het forum nu doet? Dat staat hierboven iig... :)
Er moe(s?)ten ook twee server volledig opnieuw genstalleerd worden. Verder ging Athena eruit. Dat zal waarschijnlijk ook weer heel wat herconfiguratie voor de andere servers betekenen, want Athena deed o.a. mail, image's en files.

Waarom het zolang duurt weet ik niet, maar het is in ieder geval ingewikkelder dan stekker erin en DNS omzetten.
Kennelijk is het dus niet zo simpel. Dat blijkt maar weer uit het feit dat zelfs mensen als de T.net-crew het niet zomaar ineens voor elkaar krijgen, terwijl dat imo toch wel deskundigen zijn.

Anyway, ik ben benieuwd of en wanneer het allemaal weer werkt.
Succes in ieder geval! ;)
terwijl dat imo toch wel deskundigen zijn.
Waar baseer je dat op :? :+
zijn eigen 'opinion' (imo), een keertje niet bescheiden (as in imho)
Nog een vraagje: hebben die LVSsen echt een Athlon 800 nodig om fatsoenlijk te kunnen draaien of is dat gewoon het minimum wat je tegenwoordig nieuw kan kopen?
Een simpele Pentium zou in principe ook erg veel connecties kunnen afhandelen, maar die Athlons hadden we nog ergens liggen. Omdat ze sneller zijn kunnen we de LVS'en eventueel ook gebruiken voor het serveren van statische images.
Waren die 800's niet overgebleven van de oorspronkelijke config van Aphrodite en Athena?
Deze hardware hadden ze nog liggen na de vorige upgrade, is misschien een beetje overkill, maar zonde natuurlijk als je er niets mee doet :*)
Maar waarom dan die naamsverandering van Odin naar Iris en Arshia in .... :? :?

Zijn we net lekker gewend aan de namen gaan ze die weer veranderen :P :+
Daar is op GoT over gesproken. Volgens mij was het iets van dat het geen namen waren van Griekse godinnen...
Mischien is het uit? }>
1 2 3 ... 8

Op dit item kan niet meer gereageerd worden.



Apple iOS 10 Google Pixel Apple iPhone 7 Sony PlayStation VR AMD Radeon RX 480 4GB Battlefield 1 Google Android Nougat Watch Dogs 2

© 1998 - 2016 de Persgroep Online Services B.V. Tweakers vormt samen met o.a. Autotrack en Carsom.nl de Persgroep Online Services B.V. Hosting door True