BAPCo introduceert SysMark 2004

BAPCo heeft vandaag een nieuwe versie van het veel gebruikte SysMark uitgebracht. Deze benchmark hangt ergens tussen de real world en synthetische testsuites in door een aantal welbekende pakketten te installeren en vervolgens het gedrag van een menselijke gebruiker te simuleren. Op die manier wordt bepaald hoe sterk een systeem is op de gebieden van Office Productivity en Content Creation. Achter SysMark staat een groot aantal bedrijven, waaronder hardwareboeren en softwarehuizen, maar ook bouwers van complete systemen en grote testlabs. Het verschil tussen versie 2003 en 2004 is niet schokkend groot; ondanks het feit dat de achterliggende engine volledig vernieuwd is om stabiliteit en Windows XP-support te verbeteren, moet de nieuwe release het vooral hebben van zijn volledig geactualiseerde gebruiksscenario's. Bij het bepalen van de te benchmarken handelingen is voor het eerst de hulp ingeschakeld van experts, mensen die meer dan vijf jaar ervaring met de geteste pakketten hebben. Dit is volgens BAPCo goed voor de objectiviteit en representativiteit van de test:

SYSmark 2004 is the first to benchmark in the industry to use application experts to completely develop the content and operations used throughout the benchmark. The application experts have over five-years of professional experience and use their experience to develop the forward looking usage scenarios which represent real world usage scenarios for today's and tomorrow's users.

[...] Application experts from different member companies collaborated and agreed on representative input data sets for SYSmark 2004. Experts are a key part of any development process for arriving at realistic user operations. BAPCo's depth of membership represents the breadth of the computing industry and harnesses a consortium of knowledge to better reflect today's and tomorrow's emerging business trends.

Voor meer informatie over de applicaties die door SysMark 2004 getest worden en enkele screenshots verwijzen we door naar deze nieuwspost.

Reacties (5)

[martijnvds]

Ik heb het idee dat, wat office productivity, de hedendaagse workstations al tijden niet meer de bottleneck zijn maar de gebruiker.
Als je het hebt over zware applicaties, zoals Photoshop, Quark, AutoCAD (programma's die meer vallen onder Content Creation) dan is deze benchmark wel interessant, omdat je met dit soort programma's nogal eens 'wachttijden' hebt en het wel zo fijn is als het soepel draait op je pc.

[Verwijderd]

Hoe zit het dit keer met je betrouwbaarheid en objectiviteit van SysMark? Gaat het hele verhaal van Sysmark 2002 zich nu herhalen?

Voor degenen die niet weten waar ik het over heb: Na SysMark 2001 kwam versie 2002 uit. In deze versie waren alle benchmarks waar AMD goed in scoorde weggehaald, en bleven dus alleen de benches over waar geheugenbandbreedte (waar de P4 beter in scoorde) over. Dit is natuurlijk allerminst objectief, en AMD protesteerde dan ook terecht naar mijn idee.

Het hele verhaal werd nog leuker toen bleek dat BAPCo hetzelfde postadres als Intel had. Dat is natuurlijk onbegrijpelijk, de advocaat van een partij is toch ook niet de rechter zelf?

Hopelijk maakt versie 2004 deze punten wel weer goed en mag het zich de titel 'benchmark' weer terug veroveren. Deze titel vond ik voor versie 2002 namelijk iets teveel eer.

Voor de geïnteresseerden:

Van's Hardware has a very interesting piece that you have no doubt seen, comparing SYSmark 2001 with SYSmark 2002 benchmark suites. The long and short of it are that Intel and BAPCo worked together to optimize SYSmark to favor the Pentium 4 processor. Indeed, Intel apparently loaned engineers to BAPCo in order to help them optimize the benchmark for Intel processors.

But it goes much further than mere optimization for Intel's processors. The Athlon XP came out right after SYSmark 2001 was released, and much to Intel's shock, the Athlon beat the Pentium 4 decidedly, even when running at significantly lower clock speeds. Then BAPCo and Intel went back to work, and quickly removed all tests where the Athlon beat the Pentium 4. Then they decided to have the benchmark suite repeat memory intensive tasks where the Pentium 4 had an edge in order to skew the results further in favor of Intel's CPU. The end result was SYSmark 2002, one of the most unrealistic and biased benchmark suites ever produced.

[Verwijderd]

Gewoon een bedenking:

Moeten de pakketen die worden gebruikt voor de simulatie al geinstalleerd zijn of zitten ze erbij? En indien het tweede: moet hier dan de volledige licentiefooi op betaald worden?

[martijnvds]

Nee het simuleert gewoon 'een' office-applicatie qua processor-, geheugen- en HD-belasting. Hetzelfde geld voor design-applicatie. Je hoeft dus geen Microsoft of Adobe licentie bijvoorbeeld in je bezit te hebben.
Je betaalt dus alleen voor de benchmark die applicatie simuleert.

[Femme]

De applicaties worden meegeleverd. Je hoeft er geen licentiekosten voor te betalen. Uiteraard is het niet de bedoeling dat je de applicaties voor andere doeleinden dan benchmarking in SysMark gaat gebruiken.