Linux 3 keer sneller dan Win2k in SpecWeb benchmark

Spec.org (Standard Performance Evaluation Corporation) heeft de resultaten van hun SpecWeb99 benchmark gepubliceerd. Onder de inzendingen bevinden zich twee vrijwel identieke Dell PowerEdge 6400 servers met vier 700MHz PIII-Xeon CPU's en vier 1Gigabit NICs. Op de ene machine draaide Windows 2000 met Internet Information Server 5.0 en op de andere Red Hat met de TUX 1.0 webserver. De Linux config haalde erg hoge resultaten in de benchmark: 4200 simultane connecties met een bandbreedte van elk 350Kbit/s (samen bijna 1,5Gb/s). Dit is bijna drie keer zoveel dan het Win2k systeem, dat niet verder kwam dan 1598 connecties van 330Kbit/s.

Of de resultaten representatief zijn voor een praktijk situatie is uiteraard sterk te betwijfelen. De gebruikte TUX webserver lijkt een kernel patch van Red Hat te zijn. Waarschijnlijk gaat 't om een erg kale webserver die niet veel meer kan dan het serveren van statische files, niet vergelijkbaar dus met compleet toegeruste webservers zoals Apache en IIS. Een webserver doet tegenwoordig veel meer dan het leveren van simpele statische plaatjes en html files (neem als voorbeeld Tweakers.net waarbij vrijwel alles dynamisch uit een database wordt getrokken). Een bandbreedte van 1,5Gb/s voor één server is ook niet realistisch, veel relatief kleine webhosts (bijvoorbeeld die in Nederland) hebben niet eens zoveel capaciteit.

Voor Linux fanaten zijn de uitkomsten in ieder geval erg prettig, zeker na het Mindcraft fiasco van vorig jaar (uit een door Microsoft gesponsorde test van Mindcraft bleek dat NT onder discutabele omstandigheden sneller was dan Linux. Later werd door c't een test opgezet waaruit Linux wel als winnaar naar buiten kwam).

Zie voor meer info over de SPECWeb benchmarks dit artikel van Linux Today en deze thread op Slashdot.

Reacties (68)

[Verwijderd]

pffff

T zou eens tijd worden dat er echte benchmarks uitgevoerd worden: Oracle op NT/2000 vs. Oracle op Linux; Domino op NT/2000 vs. Domino op Linux, Apache op NT vs. Apache op Linux etc.etc. anders blijft t appels met peren vergelijken.
Oh, vergeet Q3 en UT voor NT/2000 vs. Q3 en UT voor Linux niet

[cyclone]

Kijk dit vind ik inderdaad appels met peren vergelijken.
En dan gaan roepen : " Linux is en blijft sneller " vind ik al helemaal te dom voor woorden.

Dit zijn tests waar je dus helemaal niets aan hebt maar uitgevoerd is door een aantal pro Linux fanaten.
Waarschijnlijk als je iets anders dan static HTML gaat testen komen de results er totaal omgedraaid uit en blijkt WIN2K weer 3 x zo snel te zijn t.o.v. Linux.

Wat mij betreft blinken beide O.S. en op hun eigen punten uit en hebben ze zo ook hun slechte punten.

Als iedereen dat nu eens zou aanvaarden en eens echt objectieve tests zou uitvoeren ( voor zover deze mogelijk zijn althans ) dan wil ik er nog wel eens naar gaan kijken, vooralsnog irriteer ik me dood aan dit soort tests welke een totaal verkeerd beeld geven van de werkelijkheid.

[Verwijderd]

Dit verbaast me niets en was me ook al opgevallen, volgens mij ligt dit aan het betere gebruik door Linux van de Full-Duplex mode op de netwerkkaart.

[Verwijderd]

Ja, en als je dan weer hier kijkt:
www.tpc.org/new_result/ttperf.idc

Is alles ook weer helemaal anders. Het hangt er maar vanaf wat je test natuurlijk.

Dit is dan ook weer 1 machientje die onder totaal andere omstandigheden mischien weer heel anders reageert. Eigenlijk moet er een complete test zijn over meerdere typen machines met diverse functies en hou die machines dan ook gewoon eens exact gelijk in plaats van toch weer te gaan rommelen met de config.

Wim
--

www.win2kwereld.nl

[Ortep]

Benchmarks zijn per definitie fout als je er verschillende systemen mee gaat vergelijken. Je kan hooguit nagaan of een bepaalde disk in een bepaalde configuratie sneller is bij een bepaald gebruik dan een andere disk. Als je Linux gaat vergelijken met W2K doe je echt andere dingen. Je kan natuurlijk wel zeggen voor MIJ is het sneller om in deze situatie dit te gebruiken.

Het mooiste voorbeeld van van een benchmark heb ik gezien waar ze een Apple II+ met een 1 Mhz 6502 processor vergeleken met een Cray. Het was een of ander priem getallen progje. De Apple won dus. De Cray was een array processor, die vulde zijn array en deed daar in een keer alle bewerkingen op. De Apple deed het stuk voor stuk. De benchmark was zo opgezet dat het array bijna werd gevuld waarna bleek dat dat niet nodig was geweest. En de Apple stond rustig door te pruttelen.

[warp]

cyclone:
"Dit zijn tests waar je dus helemaal niets aan hebt maar uitgevoerd is door een aantal pro Linux fanaten."

Erhm, de benchmarks zelf zijn uitgevoerd door SPEC, Linux Today heeft alleen de resultaten die SPEC heeft gepubliceerd met elkaar vergeleken... eerst goed lezen dus.

[wildhagen]

Ik weet niet of het jullie is opgevallen, maar de machines zijn NIET identiek... De machines hebben bijvoorbeeld een andere HD-controller. Daarnaast hebben de clients in de 2 testen ook verschillende netwerkkaarten...

Oftewel: 2 appels + 3 peren = 5 fietsen in deze test...

[sonix666]

Als zo'n test niet wordt uitgevoerd met precies dezelfde identieke hardware dan heb je er gewoon simpelweg niets aan. Het mag dan 'bijna' identiek zijn, maar het is niet hetzelfde en dat kan de resultaten behoorlijk sterk beinvloeden. Alleen dat argument is voldoende om de resultaten van die test als niet bruikbaar te beschouwen.

Hetzelfde geldt voor de meesten ook voor hardware. Kijk maar eens hoe verontwaardigd mensen zijn (en terecht) als bijvoorbeeld bij een benchmark op 100 MHz FSB een 440BX moederbord met CAS3 PC100 geheugen wordt uitgerust en een i815 moederbord met CAS2 PC100 geheugen. De systemen zijn 'bijna' identiek, maar dat kleine verschil scheelt een enorme factor in performance.

[Femme]

Dat de hardware niet 100% gelijk is wil nog niet zeggen dat de resultaten van de benchmarks waardeloos zijn. Het kleine verschil tussen de Win2k en Linux testsetup kan nooit een verschil van een faktor 3 opleveren. Dat Tux ding is dus gewoon véél sneller dan IIS5 als 't aan komt op het serveren van simpel statisch spul. Je zou er dus ideaal kunnen draaien op een server waar alleen plaatjes vanaf geserveerd worden. Voor de andere servers gebruik je Apache, IIS5, iPlanet/Netscape etc.

</div><div class=b4> Wat ook wel helpt is dat die linux server draait op een OS wat al jaren steeds meer geoptimaliseerd wordt. Win2k is nog vrij nieuw, dus dat daar nog niet de maximale performance uitgehaald wordt is logisch. </div><div class=b1>
Win2k is volgens mij gewoon een verbouwde NT4, net zoals Linux 2.4 een geëvolueerde 2.2 is?

</div><div class=b4> Pluk de windows NT kernel helemaal kaal totdat ie niks anders meer kan dan webserven, en ga dan nog eens testen. Lijkt me eerlijker </div><div class=b1>
Dat dit kan met Linux (kernel volledig kaalplukken) kan natuurlijk wel een groot voordeel zijn van Linux (geen troep meebakken die je toch niet gebruikt). Het is geen realistische situatie om een volledig kale kernel te gebruiken, maar het is handig dat 't mogelijk is.

[EfBe]

Wat me verbaasde was dat de meerderheid op slashdot niet blij was met de benchmark results en al toespelingen maakte richting betaling van Linus aan Spec2000. Onzin natuurlijk, maar er is 1 detail wat wellicht het verschil aangeeft:

de logging van de Win2k doos staat op w3c logging PLUS details (veel info PER request loggen) terwijl de linux doos nauwelijks logt.

Ik geloof wel dat de Linux doos met TUX sneller is, (ja, das schrikken! Oot die iets positiefs zegt over linux!) omdat IIS een complexer geheel is dan TUX. de stream van request - response heeft een veel langere weg door IIS dan door TUX. Voor IIS maakt het namelijk niet uit of je static pages of dynamic pages gebruikt. Voor TUX wel. In feite is TUX niet meer dan een HTML streamer van diskbased data, IIS is een niveau hoger (een system wat een onderdeel IN zich heeft wat doet wat TUX doet, namelijk de HTML isapifilter)

maw: de logging remt IIS wat, maar voor de rest is Linux sneller, alleen niet 3 keer zo snel. Verder is het nauwelijks een 'real world' voorbeeld, wat ook jammer is.

De mindcraft tests waren vertekent omdat MS veel in VC++ geschreven com objects gebruikte voor de afhandeling van de dynamic content, terwijl de RHAT doos dat moest doen via perl.

Je kunt bakkeleien of dat oneerlijk is natuurlijk. Een klant die een website op zn snelst wil kiest gewoon voor de snelste oplossing die PAST in wat hij wil en kan leveren wat hij wil (bv dynamische content)

Ik denk bv dat een kale DOS bak met een in assembler geschreven HTML streamer achter een TCP/IP sockethandler, multithreaded die gescheduled worden op een interrupt (dus eigen thread handling) nog VELE malen sneller zal zijn.

Nuttig? niet in het minst. Benchmarks zijn leuk, echter deze benchmark geeft aan wat sneller is met static pages: TUX of IIS5. Niet of Linux sneller is dan Win2k. De title is dus misleidend