Face Off: NT v.s. Linux

Hoe het allemaal begon...

Voor degenen die het niet gevolgd hebben, naast de soap tussen Tom en de rest van de hardware reviewing world is er nog een interessant gevecht aan de gang, veel interessanter zelfs, wat mij betreft.

Het begon allemaal met de gewraakte test van Mindcraft, die zou bewijzen dat NT Server versie 4 meer dan twee keer zo snel is als Linux als fileserver en zelfs vier keer zo snel als internetserver. Deze onafhankelijke test kreeg hevige kritiek te verduren van de Linux community omdat de test oneerlijk zou zijn uitgevoerd. Een paar quotes uit dit artikel:

"no adjustments were made to the 'bdflush' and 'file system cache size' parameters supported by the 2.2 kernel," possibly accounting for a factor of two performance improvement in Samba, which was used for the fileserver test, when these are set correctly. The survey also used Windows clients rather than NT - Windows clients will tend to drive the results in favour of NT, while NT clients go better with Samba.

"Their Samba configuration sets the widelinks parameter to 'no'. This setting increases the system call overhead for file name lookups considerably. The penalty is especially severe on SMP systems.

"Their Apache configuration disables KeepAlive, an important real-world optimisation. (It has been pointed out that the tests do not use KeepAlive in any case). The Apache configuration is also not suited to large loads. It initially starts 10 servers, and MinSpareServers is set to 1. In particular, quick response to sudden, heavy loads will be reduced by this configuration. It is not an 'enterprise' configuration."

De NT Server installatie daarentegen zou aan alle kanten zijn geoptimaliseerd, terwijl voor Linux verder alleen een kernelupgrade zou zijn uitgevoerd en verder de standaardinstallatie zou zijn. Wie er gelijk heeft is nog steeds niet 100% duidelijk, maar Mindcraft heeft wel een slechte reputatie opgebouwd door al eerder vergelijkbare tests tussen NT en andere besturingssystemen te publiceren.

Microsoft slaat terug

Ondertussen zat Microsoft natuurlijk ook niet stil. Ook al was het misschien niet hun bedoeling (maar wie gelooft dat nog? ), de credibility van Linux kreeg waarschijnlijk toch een behoorlijke slag te verduren.

Maar Microsoft wilde blijkbaar toch publiekelijk terugslaan en opende het vuur op hun eigen website met een ellenlange lijst van benchmarks en vergelijkingen van de features tussen de beide OSsen die de ultieme superiorieit van Windows NT moet aantonen. Opvallend daarbij is dat ze halverwege de featurelijst ineens overschakelen van een vergelijking tussen NT en Linux naar een vergelijking tussen NT en UNIX. Daarnaast wordt een deel van de nadelen van Linux snel ingehaald door de realiteit, op dit moment vliegen de kernelupdates ons om de oren.

Om een paar dingen te noemen die voor zover ik weet aantoonbaar niet kloppen:

Linux kan op dit moment wel degelijk 4GB geheugen aan (en dat is tevens de limiet op 32-bits architecturen)

Linux kan op dit moment tot 2TB aan diskruimte aanspreken

Kijk op http://www.linux.eu.org/Linux-MM

Dat Microsoft deze strijd zeer serieus neemt blijkt uit hun conclusie van het geheel: "Now it's time for the Linux community to demonstrate the real performance and scalability capabilities of Linux, or withdraw their criticisms of the initial Mindcraft report.

Om aan de kriitiek tegemoet te komen moest de second opinion test aan de volgende eisen voldoen:

All tests will be redone allowing the top Linux folks to configure and tune the server.

Folks from Microsoft and the Linux community can be present for ALL testing.

The tests will be done at PC Week Labs, a Ziff-Davis publication.

PC Week will moderate and audit the testing.
Mindcraft has added a "low-end" configuration (single processor, 256MB).

Clients running Windows NT Workstation, in addition to Windows 9x, will be used for all tests.

Overigens kondigde Microsoft deze week eveneens aan om ook source code vrij te gaan geven. Het is niet helemaal duidelijk of dit iets te maken heeft met hun anti-linux strategie. Het hoeft trouwens ook helemaal niet waar te zijn. In het licht van het proces dat binnenkort weer begint zou het ook een (lame...) poging kunnen zijn geweest om het publiek en misschien zelfs de DoJ wat gunstiger te stemmen door hun goede wil te tonen.

Het releasen van wat source code brengt echter nog geen open source software. Ze hebben errug weinig credit bij de OS organisatie, en bovendien zijn ze zelf nog niet klaar voor een OS model, getuige de woorden van Steve Ballmer:"We have something we must learn from Linux, and we must respond to this area of -- excuse the words -- open source". Blijkbaar is OS binnen Microsoft een vies woord.

1:0 de bal ligt weer aan de kant van Linux

Nadat Microsoft de Linuxcommunity openlijk had uitgedaagd bleef het angstwekkend stil. Durven Linus, Alan Cox en Jeremy Allison, volgens Microsoft de voornaamste mensen achter de kritiek niet meer?

John Lettice postte eergisteren zijn mening op The Register. Ook hij vraagt zich af hoe de Linux community deze uitdaging van Microsoft zal aangaan. In de woorden van Lettice: "If you accept the challenge you'll quite possibly lose, and if you duck it you lose too".Oftewel: als ze de uitdaging afslaan zal Microsoft luidkeels beweren dat ze al die tijd gelijk hadden en de critici alleen maar hun afkeer van Microsoft wilden uiten. Als ze daarentegen de uitdaging aannemen zal NT server waarschijnlijk toch winnen, omdat Microsoft de omstandigheden voor de test handig in het voordeel van hun eigen besturingssysteem heeft gekozen.

Lettice pleit dan ook (en ik ben het met hem eens) voor een herziening van de test. Het gaat bijvoorbeeld niet alleen om NT en Linux alleen, er zijn nog veel meer professionele besturingssystemen die NT op b.v. schaalbaarheid kunnen verslaan. Verder zijn er nog belangrijke zaken als Total Cost of Ownership (TCO), betrouwbaarheid in termen van security en gegarandeerde uptime en ga zo maar verder. Oftewel: er moeten een aantal "real world factors" in de test betrokken worden, een test waarbij slechts 1 aspect van een OS betrokken wordt is leuk voor de cijfers (hier valt een leuke vergelijking te trekken met Tom's Hardware Guide ) maar zegt in feite weinig over de praktijk, waar hele andere voorwaarden kunnen gelden.

To be continued...