Cookies op Tweakers

Tweakers maakt gebruik van cookies, onder andere om de website te analyseren, het gebruiksgemak te vergroten en advertenties te tonen. Door gebruik te maken van deze website, of door op 'Ga verder' te klikken, geef je toestemming voor het gebruik van cookies. Je kunt ook een cookievrije versie van de website bezoeken met minder functionaliteit. Wil je meer informatie over cookies en hoe ze worden gebruikt, bekijk dan ons cookiebeleid.

Meer informatie

Door , , reacties: 164, views: 217.929 •

Toekomstige uitbreidingen

We proberen onze servers vlot te vervangen. Dat betekent niet dat ze altijd precies drie jaar na aanschaf worden ingeruild, maar dat is wel waar we ons op richten. Een enkele keer komt het beter uit om een server wat eerder te vervangen, zodat we bijvoorbeeld een nieuwe aanpak voor een bepaalde service kunnen uitwerken.

Ook dit jaar gaan we weer flink wat vervangen. Het belangrijkste is de centrale storage. Het liefst zouden we een omgeving opzetten met multi-master-replicatie, zodat er naar een willekeurige fileserver in een van de beide locaties geschreven kan worden en de clients transparant omgezet kunnen worden bij problemen.

In de praktijk blijkt dat dit soort systemen erg zeldzaam is. Zelfs ruim boven ons budget is het nog niet gebruikelijk dat fileservers elkaar via een tcp/ip-netwerk actueel kunnen houden. Het is meestal één kant op, in een variant op een master-slave-opstelling. Omdat het systeem voor ons niet alleen storage moet bieden, maar ook beheersbaar en flexibel moet zijn, gaan we hier waarschijnlijk weer simpelweg aan de slag met ZFS. Op welk besturingssysteem of welke appliance dat dan komt, weten we nog niet. Het liefst wordt dat natuurlijk Linux, maar helaas is ZFS op Linux geen officieel ondersteund bestandssysteem. Dat maakt de combinatie daardoor automatisch een minder goed recept voor stabiliteit en continuïteit.

Naast de storage staan er nog diverse servers op de agenda om vervangen te worden. Daaronder bevinden zich de 'slave' MySQL-server, de VM-hosts en de videowebservers. Aangezien die in hun huidige vorm vrij goed werken, zullen dat domweg varianten op dezelfde soort server zijn. Alleen dan uiteraard drie jaar nieuwer.

Op het gebied van software willen we ook nog verder met nieuwe versies en zullen we diverse aspecten tunen. Zo wordt het https-verkeer nu direct naar Apache verzonden. Dat is zonde, want daardoor wordt Varnish overgeslagen. Aangezien onze loadbalancers ook zelf https kunnen 'terminaten', gaan we onderzoeken hoe we dat het efficiëntst kunnen inzetten. Helaas is dat typisch een wijziging die simpel lijkt, maar in de praktijk allerlei haken en ogen met zich meebrengt. Op het moment van schrijven wordt dit daarom alleen nog voor tweakimg.net gedaan.

Zoals eerder gemeld willen we onderzoeken waarom MongoDB relatief slecht met de hoeveelheid queries en updates overweg kan. Wellicht is een nieuwere versie beter of stappen we over op een van de alternatieven. Vooral Redis lijkt een goede kandidaat. Verder moeten we nog hard aan de slag om al onze oude code na te pluizen op compatibiliteit met PHP 5.4 en 5.5.


Door Arjen van der Meijden

- Lead Developer

In Oktober 2001 begonnen met als voornaamste taak het technisch beheer van het forum. Daarna doorgegroeid tot senior developer en software architect. Nu lead developer, met een leidinggevende taak aan het team van programmeurs en systeembeheerders van Tweakers.net.

Reacties (164)

Reactiefilter:-11640164+1134+226+30
1 2 3 ... 8
En dan toch jammer dat de mobiel site wel problemen geven wegens te veel verkeer
Al paar keer gehad tweakers.mobi niet wel laden maar dat tweakers.net weer wel

Vraag me dus af of tweakers.mobi niet overbelast raakt
Voor val is meestal om 9:45 en 12:30
Denk dat er veel mensen via hun telefoon op tweakers zijn in hun pauze
Ik gebruik eigenlijk altijd tweakers.net op mijn mobiel. Werkt prima.
Bij mij loopt de Tweakers app nogal geregeld vast (valt weg). Dit gebeurt meestal wanneer ik iemand zijn reactie wil openklappen (of een reactie op iemand open).

Wat ik ook vervelend aan de App vind, iets van de laatste tijd: Wanneer ik een topic open dan schiet hij direct door naar het filmpje (indien aanwezig) en dan moet ik "terug" klikken om de tekst te kunnen lezen.

Edit: iPhone 4S overigens...

Ontopic:
Leuk om de andere "kant" van de site eens te bekijken!

[Reactie gewijzigd door Thalaron op 9 maart 2013 08:28]

tweakers.mobi gebruikte ik eigenlijk zelden tot voorkort, maar het leest inderdaad eigenlijk veel fijner.

OT leuka rtikel jongens, de laatste upgrade was een leuke en leuk om nu foto's van het "serverpark" te zien :)
Dat de app crasht heeft niets te maken het verhaal van ACM. Zou je mij een DM kunnen sturen met daar in wat extra gegevens over je 4S, zoals welke iOS versie je gebruikt?

Met betrekking tot het doorschieten: in de aankomende update van de app hebben we dit opgelost. De app ging nogal dolenthousiast om met media in artikelen. Je hebt hetzelfde als er bijvoorbeeld een bericht van twitter geembed wordt in een artikel. Maar dat is binnenkort verleden tijd :)
Bij mij crasht hij ook!
Iphone 3gs
Yup heb ik ook, reactie openen en dan hangt ie, en dan sluit heel de app ineens af. Ook iPhone 4S, laatste iOS. maar heb het al heel lang. ook op oudere iOS versies.
kan het bevestigen met een iPhone 4, laatste updates. Komt regelmatig voor.
Idem dito, maar met iPhone 5, laatste updates. Openen van reactie en boel crasht.
Crasht hier nooit op Android 4.1 alleen bij de tweakers app vind ik het zo irritant dat de laatste comment eerst geladen wordt. Dat is zo krom. Begin gewoon bovenaan.
Zo te merken ben ik niet de enige, bij mij gebeurt het precies het zelfde.
Ik heb hetzelfde probleem met de app.
Ik zit op een iphone 5.
Tweakers.mobi geeft helemaal geen problemen wegens teveel verkeer?? Althans, niet voor zover wij weten. Bovendien maakt tweakers.mobi gebruik van precies dezelfde servers, precies dezelfde databases en grotendeels dezelfde onderliggende software. Dus als tweakers.mobi overbelast is, dan is de rest van tweakers dat ook en vice versa...

Als tweakers.mobi dan toch structureel niet goed laadt (en tweakers.net op die momenten wel), dan zou het fijn zijn als je dat wilt melden in ons forum :)

[Reactie gewijzigd door ACM op 9 maart 2013 09:30]

Leuk artikel!

Ik vraag me af of tweakers enkel van advertentie- en privewatch inkomsten winstgevend kan zijn
Je kunt ook een abonnement op tweakers nemen, om daarmee advertenties te verwijderen ;)
Als ik Tweakers was zou ik sowieso meer functies bieden om mensen naar een betaalde account te krijgen. Speciale reviews, video's etc.
Ik denk dat dit juist averechts werkt voor de normale bezoeker die niet wil betalen maar tevreden is met advertenties oid. Maar ook gewoon toegang wilt tot alle reviews.
Daar heb je gelijk in. Consumentenbond past dit toe. Sommige reviews moet je betalen. Doei doei ik kijk wel verder.
Kom vaker die sites tegen,
Google je een onderwerp, kom je op een betreffende site uit, kan je inderdaad dezelfde vraag teruglezen.
Maar voor de antwoorden moet je betaald registreren.

next ...
We weten het toch al ruim tien jaar vol te houden, dus dat zou toch antwoord op je vraag moeten geven? :)
Ik denk gezien de vele reclame Crysis 3 Sim city enz EA dat dat wel snor zit.
Afgezien van de vraag of tweakers financieel wel gezond is (kan me niet anders voorstellen) vroeg ik me juist af of voor dit soort werkzaamheden gebruik word gemaakt van vrijwilligers* of dat die tijd lang geleden was en het gewoon 100% betaalde krachten betreft ?

* in het verleden waren sommige mods vrijwilliger (weet ook niet of dat nog zo is)

Back-on-topic:
Indrukwekkend spul, maar het zegt mij niet zo veel, als het maar werkt..... ;)

@hieronder ACM: Dank voor de info, dat wist ik dus niet.....

[Reactie gewijzigd door trm0001 op 9 maart 2013 11:21]

Er zijn zeker nog vrijwilligers actief voor Tweakers.

Maar het technisch beheer van de soft- en hardware was een van de eerste dingen waar we vaste contacten voor hebben opgezet en wordt dus al jaren (voornamelijk) door betaalde krachten gedaan :)

Al met al leunt de site nu op zo'n 50-60 vrijwilligers en 50-60 betaalde mensen (ik weet de precieze aantallen niet uit mijn hoofd :) ). Waarbij die betaalde ploeg vooral bestaat uit mensen voor de techniek (productontwerp, programmeurs en systeembeheer), redactie, videoredactie en sales en marketing.
En de vrijwilligers zijn op allerlei punten binnen de community actief, waaronder moderators en admins die zich bezighouden met het forum, productreviews, V&A en de reacties bij artikelen.
Ik denk dat je redelijk wat omzet moet hebben om al je personeel/huisvesting etc te kunnen betalen
afkick reclame voor gameverslaafde... lol
Ik zie af en toe (OS) disken van 1x X Gb voorbij komen. Is dat dan het logische aantal disken of zit er echt maar een in? (Dat laatste lijkt het geval op sommige plaatjes). Ben benieuwd waarom daar voor gekozen is en niet voor een RAID 1 opstelling. Van alles wat fysiek kapot kan gaan staan disken samen met fans en voedingen toch bovenaan mijn ervaringslijst.
ik gok dat dit de reden is voor de redundantie van de servershet risico kan daarom genomen worden, en is de aanschaf per server wel lager (1 disk, geen raid controller)
De kans dat een harde schijf uitvalt is nou ook weer niet zo heel groot. Het is niet zo dat we er dagelijks een moeten vervangen... Sterker nog, ik kan me de laatste keer nauwelijks herinneren. Zeker van OS-disks weet ik eigenlijk niet of er uberhaupt een in de afgelopen 10 jaar stuk is gegaan. En ook zwaarder belaste datadisks houden het over het algemeen prima hun geplande 3 jaar vol.

Soms is het dan domweg niet de extra investering in extra redundantie in een server waard. Dat doen we alleen als de bijbehorende taken al heel erg redundant opgezet. Het beste voorbeeld zijn onze webservers. Daar hebben we er 6 van, als er een of twee van uitvallen merk je daar weinig van.

Het is dan domweg zonde van het geld om 6x een extra disk en raid-controller aan te schaffen. Voor servers en taken die niet zo eenvoudig te vervangen zijn kiezen we er uiteraard wel voor om ook de risico's rond de OS-disks nog verder te beperken.
die server zal toch wel een standard controller met raid-1 hebben
Nee, niet per se standaard. Over het algemeen kost een eenvoudige raid-1 controller een paar tientjes per server extra. Al met al heb je het met dit soort servers al gauw over 100-200 euro per server extra - en soms moet je dan ook een hot-swap chassis kiezen en wordt het nog wat meer - als je een 2e disk en een raidcontroller toevoegt.
Ik vind 100-200 euro voor een server extra niet echt iets om meteen op te besparen. Ik snap jullie overweging, ik zou het zelf alleen niet doen. Alles redundant uitvoeren maar dan 100-200 euro besparen op een raid-1 opstelling voor je OS.
Je vergeet dat RAID controllers ook kapot kunnen, of fouten kunnen bevatten. Leuk dat je je schijven dubbel hebt uitgevoerd, maar je krijgt er een ander spof voor terug. Plus dat er extra beheer nodig is, en er door de dubbele hoeveelheid schijven ook vaker iets kapot gaat, wat je wel weer moet vervangen.
Zoals ik hieronder ook al noemde. Mijn schatting is dat we op normale momenten aan 1 webserver genoeg hebben en op drukke momenten aan 2.
Dus dan wil je er minimaal 3 hebben, zodat een complete server kan uitvallen (bijvoorbeeld door een kapotte voedingverdeler of moederbord) en je nog steeds al het verkeer aankan.

We hebben echter 6 webservers. Dus volgens die schattingen zijn het er 3x zoveel als strict noodzakelijk en 2x zoveel als ons minimum comfort-niveau. Aangezien die raid-controllers en extra disks ons niet gaan helpen tegen een uitvallende locatie (bijv stroomuitval of netwerkverbinding die eruit gaat), moesten we toch wel minimaal 3 per locatie hebben (en dus 6 in totaal) :)

Er is een moment dat extra redundatie, duurdere support, etc allemaal niet genoeg meer toevoegt om daadwerkelijk tegen de risico's op te wegen.

Doordat we natuurlijk meestal twee werkende lijnen hebben en (OS-) harde schijven in onze ervaring vrij zelden stuk gaan, vonden we het niet nodig om ook nog eens weer extra te investeren in raid-controllers en extra schijven :)
De trend is eigenlijk zo bij alle grotere websites -- simpelere machines met zelf minder redundancy, maar dan wel de servers redundant uitvoeren.

Tweakers zit een beetje op de ondergrens van waar dat nuttig is, maar het zal in deze opstelling niet veel meer kosten dan minder, grotere servers die van alles tegelijk doen.

Consolidatie op grote bakken (evt met virtualisatie) versus large-numbers COTS bakjes is al zeker de afgelopen tien jaar een van de grote spanningsvelden in de hele IT. Het voordeel (ook voor kleinere websites) van het tweede systeem is vooral de schaalbaarheid, voor relatief weinig investering tegelijk. Een of twee (of vier) servertjes vervangen is betaalbaarder dan 1 grote VM bak met 4 sockets en 384GB ram. Met name als je rackspace en power gratis is natuurlijk :P

Opvallend is BTW dat door technische limits juist in de DB servers wel nog de grote-geconsolideerde filosofie wordt gebruikt, omdat replicatie van mysql blijkbaar nog steeds zuigt :)
ik geloof dat er11 of 12 jaar geleden een grote crash was. Veel reactie's waren alleen nog te achterhalen door gebruikers die het nog in hun cache hadden of zoiets.
Ja das zeker, Hier is het gedeeltelijk allemaal nog eens na te lezen

reviews: Tweakers.net 10 jaar: De hostinggeschiedenis 2001- 2004

Gelukkig wel, Alle noob posts van mij waren toen allemaal meteen mooi opgeschoont :D

Ook leuk te zien is in deze post van toen hoe tweakers begonnen is met een leuke P!!! opstelling en hoe ze gegroeid zijn van zelfbouw knutsel servers tot leuke apparaten ;)

En voor nog meer geschidenis :P
reviews: Tweakers.net 10 jaar: De hostinggeschiedenis 1998 - 2001

Kan je meteen lezen waar dat MiniSQL vandaan komt haha

[Reactie gewijzigd door Professor_Botje op 14 maart 2013 00:32]

"Ook dit jaar gaan we weer flink wat vervangen. Het belangrijkste is de centrale storage. Het liefst zouden we een omgeving opzetten met multi-master-replicatie, zodat er naar een willekeurige fileserver in een van de beide locaties geschreven kan worden en de clients transparant omgezet kunnen worden bij problemen."

DRBD kan tegenwoordig volgens mij ook over tragere WAN links geconfigureerd worden. We gebruiken dit in onze Vmware omgeving al jaren naar tevredenheid. Failoveren gaat vlot (er is "amper" impact op de virtuele machine's). Het voordeel ervan is dat het synchroniseerd op block niveau en je er dus elke FS op kunt draaien :)
Ik gebruik tegenwoordig tweakers.net om mijn ping te testen als er weer wat gesleuteld is of als ik een daling in mijn internet snelheid merk. Voorheen altijd google.nl maar die is toch een stukje slomer : )

Erg leuk geschreven trouwens:
''In zekere zin zijn de webservers daarom de belangrijkste servers die we hebben. Zonder die krijg je niets, terwijl als een database onbereikbaar is, je in ieder geval nog een foutmelding kunt krijgen. ''
Willen we niet missen natuurlijk!

Edit: foutje.

[Reactie gewijzigd door ABaelemans op 9 maart 2013 08:37]

Dacht dat tweakers.net op een RaspberyPi runde. Helaas :9
het zou nog mogelijk zijn ook om bv 12 pii's voor de webservers te gaan gebruiken.
via usb voeden uit een andere server :+
usb netwerk kaart er in voor lokale verbindingen
en je hebt prima backup omgeving
http://www.raspberrypi.or...opic.php?f=40&t=34987

http://blog.afkham.org/20...ry-pi-cluster-part-2.html

http://blog.afkham.org/20...ry-pi-cluster-images.html

Je hebt er wel verdacht veel nodig om alles bij tweakers te vervangen, kabel bende en hoe het netjes in het rack te hangen daargelaten. :P
Leuk stukje om de infra van Tweakers inzichtelijk te maken! Thanks.
Heel interessante leesvoer. Dank je wel hiervoor! _/-\o_
WOOOW!
Leuk om te zien hoe zoiets werkt. _/-\o_

Het is wel jammer dat je via de tweakers app geen video's kan kijken...
Zijn er geen HAST / CARP oplossingen (FreeBSD) varianten voor Linux beschikbaar?
1 2 3 ... 8

Op dit item kan niet meer gereageerd worden.



Populair:Apple iPhone 6Samsung Galaxy Note 4Apple iPad Air 2FIFA 15Motorola Nexus 6Call of Duty: Advanced WarfareApple WatchWorld of Warcraft: Warlords of Draenor, PC (Windows)Microsoft Xbox One 500GBTablets

© 1998 - 2014 Tweakers.net B.V. Tweakers is onderdeel van De Persgroep en partner van Computable, Autotrack en Carsom.nl Hosting door True

Beste nieuwssite en prijsvergelijker van het jaar 2013