AnandTech server farm upgrade

Anand Lal Shimpi heeft een vermakelijk artikel geschreven over de derde grote upgrade van de AnandTech server farm binnen een jaar. Zelf volg ik AnandTech al sinds het prille begin in 1997, toen de site op een simpel Geocities accountje van start ging, en sindsdien is het AnandTech imperium uitgegroeid tot een site die maandelijks meer dan 40 miljoen pageviews genereert. Vanzelfsprekend vraagt dat stevige server hardware.

AnandTech wordt gehost op een Windows 2000 omgeving met MS SQL als database server, MS IIS als webserver en Coldfusion als scripttaal. De hardware draait op een mix van Intel en AMD machines, waarbij AnandTech evenals Tweakers.net heeft gekozen voor het gebruik van snelle single CPU Athlon webservers. De database backend draait op een dual Xeon 500/1MB en een dual PIII-800 met respectievelijk 1GB en 1,5GB geheugen.

Bij de upgrade van vorige week werden vijf machines toegevoegd - twee load balancers en drie webservers, waaronder twee systemen met een Gigabyte GA-7DX plankje en 512MB DDR SDRAM. Vanuit het oogpunt van kostenbesparing werd gekozen voor een software load balancing oplossing gebaseerd op het Linux Virtual Server project. Een hardware load balancer kost minimaal 20 ruggen en voor dat bedrag krijg je veelal niets meer dan een simpel uitgevoerde BSD bak met wat ingebakken load balancing software. LVS doet hetzelfde maar dan voor noppes. De load balancers werken op een PIII-866 en een i815 plankje met gekantelde DIMM slots, noodzakelijk om het geheel in een 1U rackmount te laten passen. Red Hat Linux 6.2 wordt als besturingsysteem gebruikt.

Na de upgrade heeft de AnandTech server farm een totale capaciteit van ruim 18GHz. Ter vergelijking: Tweakers.net levert met de huidige bezoekersaantallen 18 miljoen pageviews per maand en heeft nu een bescheiden capaciteit van 6,2GHz. Binnenkort komen daar nog 2 gigahertzen bij als de door Hardware.nl gesponsorde SQL replication server geplaatst wordt:

Can you believe it? It's been almost four years that AnandTech has been up and running online. It has always been overwhelming to think about where we came from and where you all, our readers, have helped us go. You've taken what started out as an idea on a Geocities page to an online magazine with a circulation of just under 3 million people. Saying thanks is the absolute least we can do, but keeping AnandTech and the Forums a place where you can continue to come to for entertainment, enjoyment and education is definitely something that you all deserve.

We have been experiencing tremendous growth at AnandTech over the past few months. Traffic has more than doubled since we made our major server upgrade in August of last year, however until recently we were running on a relatively unchanged server setup. In order to cope with the increase in traffic we had to plan out yet another server upgrade, however this time around the situation was much more complicated. Our software load balancing solution that was used to make sure that you all would get put on the servers with the least amount of load at any given time was unfortunately showing its flaws and resulted in quite a few undesirable side effects. At the same time we ran into an unfortunate bug with a few of our server boards, proving that long-term real world use is the best test of reliability we can offer.

Reacties (45)

[Verwijderd]

Heeft T.Net in verhouding een beter serverpark

AT: 18GHz op 40mln = 0,45
T.Net: 8,2GHz op 18mln = 0,45555...

En dan durft iemand nog te beweren dat T.Net capaciteit te kort komt, mooi niet!!

[joca]

Alleen jammer dat er 6,2Ghz staat voot T.net

[Exterazzo]

Maar er staat ook:

Binnenkort komen daar nog 2 gigahertzen bij als de door Hardware.nl gesponsorde SQL replication server geplaatst wordt:

Dus is er binnenkort sprake van 8,2 Ghz, en daar is hij vanuit gegaan

[Verwijderd]

Het gaat de laatste tijd goed met tweakers vind ik, want de MySQL daemon drinkt steeds minder en minder koffie

[Verwijderd]

Je zult alleen zien dat naar mate de load groeit het steeds moeilijker wordt om de load te verdelen over meer servers. Steeds meer resources gaan sitten in het verdelen van taken, en daardoor zal uiteindelijk het aantal pageviews per gigahertz afnemen.

Daarbij moet je sowieso ook nog stellen dat zaken als 'fail over' en dergelijke misschien niet het aantal pageviews sterk zal beinvloeden maar het zal toch behoorlijke investeringen met zich meebrengen.

Ook moet gezegd worden dat de hoeveelheid geheugen ontzettend belangrijk is bij voor de performance van het hele systeem, zowel bij database servers als bij webservers.

[Floor-is]

Je vergeet voor het gemak dat de servers ook Fokzine en Fokforum hosten, ook nog eens zo'n 3,5-4M pageviews/maand.

In totaal kom je dan op ±22,5M views, momenteel op 6,5Ghz, binnenkort 8,2...
Verhouding is dan als volgt:
6,2 / 22,5 = 0,275 (T.net huidig)
8,2 / 22,5 = 0,3644 (T.net nieuw)
18 / 40 = 0,45 (AT)

[Verwijderd]

Hmm.. zeker 4x zoveel hardware (als 't niet meer is) maar zeker niet 4x zoveel pageviews. No flame intended, maar zou dat komen door de keuze voor windows ipv freebsd/linux?

[edit] Tel de hoeveelheid geheugen die ze gebruiken eens op.. ik kom op 12035 MB uit.. hoeveel heeft t.net eigenlijk?

[EfBe]

Pageviews zeggen niets. Het gaat om de pieken. Verder is Coldfusion niet de allerbest performende middleware die er is.

40milj pageviews per maand is ong. 15 per seconde gemiddeld. Elke Aldi PC trekt dat (net), krijg je er echter 5000 per seconde dan niet meer, en dan trekt t.net dat ook niet meer. T.net brandde ook geheel af toen dat itanium review op /. werd vermeld. Als je, zoals anandtech afhankelijk bent van je uptime, dan zorg je er JUIST voor dat je met dat soort pieken gewoon up bent, want DAAR haal je de winst. T.net kan nu de pieken IMHO wel goed aan zo te zien, als dat minder wordt moeten ze ook uitbreiden.

[Femme]

Idd. Bij de server upgrade in augustus had Anand het over een belasting van 10% onder normale omstandigheden, maar als AnandTech op Slashdot en de rest van de wereld gelinkt wordt bij bijv. een GeForce3 primeur dan kunnen ze daar plotseling heel _veel_ traffic verwachten.

[Alantin]

No flame intended either, maar ik denk dat het de bezoeker heel erg weinig uitmaakt waar een populaire site als AnandTech zijn website op laat draaien.

Jij vergelijkt trouwens AnandTech met Tweakers.net en dat is niet helemaal eerlijk. AnandTech is een hardware review site terwijl Tweakers.net meer een site is waar dit soort hardware reviews, maar dan van alle bekende sites, worden verzameld.

<edit>Dit was eigenlijk een reactie op 'hezik'... Waarom zet hij hem nou hier neer?</edit>

Daar komt bij dat Tweakers.net een vrij unieke Nederlandse site is, terwijl AnandTech genoeg concurrenten heeft.

[Femme]

No flame intended either, maar ik denk dat het de bezoeker heel erg weinig uitmaakt waar een populaire site als AnandTech zijn website op laat draaien.

AnandTech is een hardware site en dus zullen de interesse van de bezoekers voor de hardware waar die site op draait ook bovengemiddeld hoog zijn. Hier op t.net lopen ook veel mensen rond die zelf servers beheren en die vinden dat soort info ook wel interessant.

Jij vergelijkt trouwens AnandTech met Tweakers.net en dat is niet helemaal eerlijk. AnandTech is een hardware review site terwijl Tweakers.net meer een site is waar dit soort hardware reviews, maar dan van alle bekende sites, worden verzameld.

Maar wat heeft dat met hosting te maken? De server farms van AnandTech en t.net worden vergeleken, niet de content.

Een paar voor hosting relevante verschillen:
- De bezoekersaantallen van t.net zijn constanter, dwz geen enorme toeloop als er een bepaalde review wordt gepost. AnandTech zal op zijn beurt minder verschil tussen dag en nacht hebben omdat het een internationaal publiek heeft.
- Tweakers.net is véél dynamischer
- De AnandTech Forums hebben een grotere database dan GoT
- AnandTech levert maandelijks meer dan 2 keer zoveel pageviews

[Jrz]

Hoezo denk je dat T.net dynamischer is dan A?

[Femme]

T.net: 512+768+512+512+1536=3840MB (en daar komt nog 1024MB bij).

[SG]

zit daar ook 'n AMD web servertje tussen??

[Jasper Janssen]

dat zijn 4 AMD webservertjes en een dual PIII DBserver.

[Verwijderd]

Patser!! (Ik heb maar 256MB...)

[Hielko]

AnandTech heeft zoveel hardware omdat ze 't soms heel druk hebben en de rest van de tijd lekker rustig. De meeste tijd staan die servers daar volgens mij gewoon uit hun neus te vreten, maar als ze bijvoorbeeld als een van de eerste een review over de GeForce3 online zetten schiet de serverload omhoog. En voor dat soort situaties hebben ze dus zoveel servertjes staan.

[Vrieskist]

Als ze dan toch niet worden gebruik, kan tweakers.net ze wel ff lenen of niet

[Aaargh!]

De helft van hun geheugen/CPU power word gebruikt door shaduwtjes onder de muispijl , infadende menuutjes, pratende paperclips en meer van dit soort dingen die absoluut noodzakelijk zijn voor het draaien en onderhouden van een website . Beetje zonde van de $ vind ik 't, die gasten zijn alleen al een kapitaal kwijt aan win2k licenties.

[_JGC_]

Trek de muis eruit, ook nog eens het toetsenbord, log niet in, laat evt de scheduler voor serversoftware restarts zorgen (net start "Sygate service", net stop "Sygate servive" gaat er bij mij elke nacht om 3 uur)

Vervolgens zet je er geen beeldscherm op, en kijk je er nooit naar om... hoezo alle kracht verloren? zelfs mijn 486 kan VEEL trekken op deze manier (incl koe)

[Verwijderd]

En dan nog een muur er omheen en klaar is (Klara)

[gumkop]

Daarvoor wordt toch echt hoofdzakelijk jouw cpu power gebruikt, die infadende menu's zijn scripts die bij jou worden uitgevoerd.

Echter nemen script ruimte in, endus geheigen.

[MoBi]

Anandtech upgarde al als ze maar iets zien dat er verbeterd kan worden, ben daar nog nooit koffie drinkende db servers tegen gekomen (off #55 op forums). Tweakers upgrade als ze capaciteit te kort komen (no offence hoor)

Het is ook zo dat het voor anandtech een stuk makkelijker is om te upgrade, want dat is internationaal en dan kom je wat makkelijker aan je spulletjes.

[Femme]

Je wilt niet weten hoeveel xx.xxx poen ik in de eerste drie maanden van dit jaar heb moeten bijleggen om alles draaiend te houden (advertentiemarkt is begin dit jaar als pudding in elkaar gezakt, maar ook technisch gezien zaten we in een moeilijke situatie). Nu zijn we dus bezig om wat achterstand in te halen door o.a. een extra replication server, 24-poorts switch voor meer uitbreidingsmogelijkheden in de toekomst. Dual Athlons in juni/juli?

AnandTech heeft een omzet van een miljoen dollar per jaar, dan is zo'n server farm wel te betalen.

[KMK]

xx.xxx nou dat is toch normaal voor servers etc.

Zoals ik op GoT vaak hoor niets kan gratis gehost worden betalen zul je.. LOL...

Nu even zonder grapjes.. Er heerst een grote crisus maar daar komen we wel weer doorheen en daarna heb je wel een waardevol product in handen dus dat geld krijg je wel weer terrug x 20.

[The System]

tuurlijk is xx.xxx gulden voor een server normaal, maar het lijkt me dat het vooral om gaat dat Femme het uit zijn eigen zak heeft betaalt...
lijkt me niet dat je erg makkelijk aan xx.xxx gulden komt, dus dan kunnen ze alleen upgraden als het echt noodzakelijk is en niet zo om een beetje de boel op te fleuren

[KMK]

Heb je wel eens van lenen/Bank gehoort?

Investeerders etc. * 786562 KMK

Er zijn investeer clubs zat.

[Verwijderd]

Dat maakt overigens niet zo heel veel uit zolang de webservers uit hun neus staan te eten (en dat doen ze nu redelijk op t.net, ook al genereren ze 650.000 pageviews per dag)

Femme, koetjes software installeren ?

[MoBi]

Ik schreef ook:

Het is ook zo dat het voor anandtech een stuk makkelijker is om te upgrade, want dat is internationaal en dan kom je wat makkelijker aan je spulletjes.

Voor jullie is de markt klein (nederland / belgie) waardoor je bij minder bedrijven aan kan kloppen die wat willen doneren cq sponseren. Anand, kan het bijna over de hele wereld halen want hun zijn internationaal.

En als de banner markt inslort dat heeft iedere site die van banner inkomsten moet leven het moeilijk

[Verwijderd]

Hardware loadbalancing? Waarom niet gewoon round-robin in DNS?

[Femme]

DNS round-robin heeft geen failover (met een lage TTL kost kost het nog minimaal een kwartier voordat je een dooie machine uit de DNS hebt gehaald, dan nog heb je providers die hun DNS niet vaak genoeg updaten. Met LVS (of een hardware load balancer) kun je op het aantal connecties en de snelheid van de servers load balancen.

Stel dat alle fanatieke tweakers met round-robin DNS bij toeval op Athena terecht komen en alle niet zo fanatieke tweakers op Appie, dan heeft Athena het dus veel drukker. Dat maakt overigens niet zo heel veel uit zolang de webservers uit hun neus staan te eten (en dat doen ze nu redelijk op t.net, ook al genereren ze 650.000 pageviews per dag)

[raptorix]

Erg cool allemaal, ik snap alleen die load balancing niet, onze CF specialist op GOT genaamd gordijnstok heeft wel eens gezegt dat CF over ingebakken load balancing bezit, kan hier iemand wat meer over vertellen?

[MoBi]

JA dat zit er ook in. Dat is het stukje clustercat software dat bij cf enterprice word geleverd. Maar als je het artikel leest, kom je er achter dat dit heel veel extra tijd kost, via dns kom je bij een server, dan kijkt die server of hij de aanvraag afhandeld, of dat je doorgestuurd word naar de minst drukke server en dan zou je evt weer worden door verwezen naar die server, dus dat kost tijd. Daar voor word die software bijna altijd met een cisco load balancer ingezet. Maar die is te duur. Ook voor anand!

[Verwijderd]

Tweakers heeft dan relatief gezien meer pageviews t.o.v. Anand om dat Anand engelstalig is en dus wereldwijd bekeken wordt terwijl tweakers nederlandstalig is en dus alleen maar in NL en BEL wordt gelezen. Ik zou het aantal pageviews weleens willen zien als Tweakers ook engelstalig zou zijn.

[Mr.Aargh]

En Zuid-Afrikanen en Nederlanders over de rest vd globe

[Verwijderd]

Ja Ja, load balancing, ze bedoelen dedicated koetje computers !!!

[Verwijderd]

Is dat misschien de reden dat tweakers.net soms rond 12:00 -13:00 op zijn gat ligt, omdat er geen overcapiciteit is?

[Tripp]

Op zich heel duidelijk waarom Anandtech veel meer bezoekers(pageviews) dan T.net heeft. Het is een internatiale site en alles dus in het engels.

T.net is alleen in het Nederlands(heel soms dan ook wat in het engels misschien).

Er zijn heel wat meer personen op deze wereldbol die engels kunnen dan Nederlands. Dus Anand hebt dan uiteraard meer bezoekers.

Toch vind ik dat Tweakers.net relatief beter loopt(meer Pageviews) dan Anandtech.

[TeeDee]

Tja.... ik vind dat t.net goed draait de laatste tijd. * 786562 TeeDee

[tweakerbee]

Duidelijk geen flauw idee waar je het over hebt.

(Dan koop je zelf toch gewoon iets van een huurlijntje Femme

T.net zit al op een 655Mbit backbone. Welke sukkel wil daar nou een huurlijntje bij? Het ging hier om server parks, dwz de computers die Apache/PHP/MySQL draaien. Dat geeft bij een dynamische site gruwelijk veel load! Daarvoor heb je veel power nodig, en dat heeft niks met bandbreedte te maken. (die is er gelukkig genoeg)