Benchmarks met console-emulators

Bij AnandTech is een artikel verschenen dat ingaat op een nieuwe testmethodiek, het testen van videokaarten en systemen middels console-emulators. Er zijn verschillende emulators in omloop waarmee op de pc spellen van consoles zoals de NES, SNES, Game Boy en Playstation gespeeld kunnen worden. Voor de nieuwere consoles, zoals de Gamecube, zijn de emulatoren nog in de alpha-fase, maar van de oudere consoles zijn de emulators al ver ontwikkeld. Er zijn verschillende manieren van emuleren. Een mogelijkheid is dat de processor alle berekeningen voor zijn rekening neemt en de gegevens dan laat omzetten naar beeld en geluid. Een andere mogelijkheid is dat de emulator gebruik maakt van de processor om de console na te bootsen en van de videokaart om de kwaliteit van de beelden op te schroeven naar acceptabel niveau.

Voor de emulator van keuze, ePSXe, zijn plug-ins beschikbaar die het mogelijk maken om de videokaart beelden van enig niveau te laten berekenen. Het originele beeld van een Playstation mag er op een tv dan wel uitzien, op een computer zijn beelden in een resolutie van 640 bij 480 met lage kwaliteit textures niet om aan te zien. Twee spellen werden gekozen om de testen mee uit te voeren, Final Fantasy 9 en Grand Turismo 2. De plug-in werd, met wat hulp van de maker, zo ingesteld dat er beelden van hoog niveau werden geproduceerd. Hierna werden op verschillende systemen testen gedraaid. De conclusie luidt dat de ATi-videokaarten het beste uitgerust lijken om de Playstation te emuleren.

De GeForce FX 5950 Ultra weet goed mee te komen maar de GeForce FX 5700 blijft ruim achter. Deze manier van testen, die voortaan bij iedere test van videokaarten bij AnandTech zal verschijnen, kent nog wel onvolkomenheden. Zo is de schrijver van de plug-in slechts in het bezit van een ATi-videokaart waardoor de prestaties op nVidia-videokaarten waarschijnlijk altijd zullen tegenvallen. Ook werden in sommige testen rare resultaten gevonden. Het aantal fps in het menu van Final Fantasy was voor zowel de Intel als AMD-chipset precies 220, onafhankelijk van de gebruikte processor, terwijl de VIA-chipset wel over deze grens heen wist te gaan. Ook in een andere test waren de Intel-processors niet in staat over de 220 fps heen te gaan.

Reacties (32)

Dus met een programma waarvan je nu al weet dat ie niet een onafhankelijk resultaat kan leveren ga je voortaan standaard benchmarken, vreemd

Waarom zou dat niet kunnen dan? Ze geven alleen aan welke configuratie het meest geschikt is voor een bepaalde emulator. Ze zeggen niet dat de ene videokaart/proessor beter is dan de andere. Bovendien worden Quake, Unreal e.d. ook vaak gebruikt in benchmarks. Ik ben juist wel voor praktijktesten ipv alleen maar demo'tjes runnen...

Dan moet je helemaal niet meer aan benchmarks beginnen:
- We weten dat er vollop gecheat wordt met 3Dmark 2003 en ook met 2001 zal er wel gesjoemeld worden.
- Games als Quake 3 zijn geoptimaliseerd voor Intelprocessoren, maar toch wordt de benchmark gebruikt in vergelijkingen tss Intelprocs en AMDprocs. Er is hier één reden voor: deze engine wordt in merendeel van de games van de vorige generatie gebruikt (bv Medal of Honour,...) en dus is het erg belangrijk te weten te komen hoe je proc presteert bij deze engine, of er nu optimalisaties voor zijn of niet!

De bedoeling van de hoeveelheid aan benchmarks is gewoon om een zo algemeen mogelijk beeld te geven van de prestaties van de videokaart/CPU/... Doordat het ene spel voor de ene proc en het andere spel dan weer voor de andere geoptimaliseerd is, kan je door de hoeveelheid aan benchmarks dan toch een acceptabel objectief beeld vormen van de prestaties van de proc.
Deze benchmark is dus vooral handig voor mensen die van plan zijn geëmuleerde games te spelen, maar is tegelijk ook een indicatie van de kracht van de videokaart (de ene zonder, de andere met optimalisaties).

Ik denk eerder dat ze dit doen omdat er vrijwel niet gecheat kan worden met drivers en het feit dat dit dus eigenlijk onafhankelijk is(behalve dat maker ati kaart heeft).

Ook is het wel makkelijk aangezien veel mensen toch met emulators bezig en nu kunnen zien hoe hun kaart het eigenlijk doet bij sommige emulators.

Ze gaan aan het werk om een zo goed mogelijke optimalisatie van de emulator benchmark te maken. Zodra ze een goed resultaat daarmee hebben geboekt denk ik dat het wel degelijk een meerwaarde biedt om een emulator benchmark mee te nemen in een review van bijvoorbeeld een grafische kaart.

Emulators vergen heel veel van je hardware en weet vaak het hele zaakje maximaal te "stressen" kijk maar eens naar de oude n64 emulators die op de hardware die destijds standaard was nauwelijks draaide. Ze hebben ook een benchmark gedraait met een vroege gamecube emulator en die leverde maar ongeveer 4 fps op per kaart. Nu is er nog een hoop codeer werk te verrichten en heeft dat ook impact. Maar het feit dat een psx emulator, met name in intensieve vechtscenes de nvidia kaarten "op de knieeen krijgt" (nog wel boven de aanvaardbare 60fps maar slechts nauwelijks) geeft toch wel wat te denken. En dat is nog maar een psx emuleren, niet echt meer het meest hoogwaardige stukje console hardware.

Daarnaast is het uiteraard zo dat emulators volledig onafhankelijk zijn van de producenten van grafische kaarten en heeft het mede daardoor de potentie om voor een goed onafhankelijk beeld te krijgen van de prestaties van oa. de videokaarten. Alleen nu alles nog een beetje stroomlijnen.

Beetje raar dat AnandTech dit elke keer gaat doen..
Het programma is niet helemaal af, dus dan verwacht je een andere versie ooit... maar dan is het overzicht van al die benches toch corrupt?
En als ik dat grafiekje zie van de processor dan vraag ik me af hoever het programma werkt met de 64 bits..

offtopic:
Momenteel gebruikt bijna niets AMD64, vanaf de zomer gaan we misschien al wat games zien die 64-bit exec's bijvoegen.

het programma wordt gewoon doorontwikkeld, het zal nooit helemaal af zijn

en dan nog; kan je wel profiteren van 64bits optimalisaties in games op een 32bits OS

Ook werden in sommige testen rare resultaten gevonden. Het aantal fps in het menu van Final Fantasy was voor zowel de Intel als AMD-chipset precies 220

voor deze processoren is het maximaal haalbare eruit gehaald wat erin zit.
het kan natuurlijk ook zijn dat er een emulator foutje in de software zit

Of misschien een software limiet in de emulator, want wat voor zin heeft het om op meer als 220 fps te renderen.

Als het een software limiet was, dan zou de VIA chipset ook niet hoger komen. Dat het een limitatie zou zijn van de AGP bus klinkt veel aannemelijker.

Je zou dan ook verwachten dat andere spellen moeite gaan krijgen met deze limitatie.

Stel dat het een limitatie is van de data-bandbreedte. Dan krijg je in next-gen spellen (Doom 3, Quake IV, Half-Life 2, etc.) dus ook problemen dat je niet boven een bepaalde FPS uit gaat komen. De AGP bus van AMD en Intel chipsets kunnen dan simpelweg niet de benodigde hoeveelheid data transporteren.

het zal wel een emulator bug zijn, want onderaan het artikel staat dat de VIA chipset wel over de grens van 220 kwam, daarnaast is het erg ongeloofwaardig dat AMD en Intel op exact dezelfde grens zouden zitten...

Zou het een limitatie in de AGP bus zijn, die maximaal 220 fps haalt? Misschien dat bij VIA die limitatie er dan niet in zit (of hoger ligt).

De conclusie luidt dat de ATi-videokaarten het beste uitgerust lijken om de Playstation te emuleren.

Vreemd, zover ik kan zien is de FX5950 ruim sneller dan de radeon 9800 pro. Ook vreemd dat de XT net iets langzamer is dan de pro

in het gevechts scherm waar je het grootste deel van de tijd door brijgt is de ATI kaart sneller.
daarom verbinden ze er deze conclusie aan.
(daar is de athlon64 ook ruim sneller als de p4's trouwens... nieuws poster heeft maar rare plaatjes erbij gekozen )

Misschien geven deze plaatjes de voorkeur van de Nieuwsposter wel weer

Op zich wel leuk, maar wat heb je er verder aan? Het gaat er bij games op de PC toch om hoe die games op die PC draaien. Dus tenzij je iemand bent die veel met een emulator bezig bent, heb je er verder niet zo veel aan lijkt me. Nu krijg je toch weer dat er op bepaalde hardware getuned is, omdat de maker van de emulator nou eenmaal alleen over die hardware beschikt. Verder hebben beide fabrikanten ervaring in de consolemarkt, nVidia in de Xbox en ATI in de GameCube, maar of dat ook in de PC merkbaar is. Wel handig is om dit als test van een groot aantal benchmarks mee te nemen, immers hoe meer verschillende tests op een systeem losgelaten worden, hoe beter je je een beeld kunt vormen van de prestatie die het ding kan leveren.

Als je het artikel leest, is dit een benchmark die ze een beetje bekijken vanuit het "independent development"-perspectief. Pete Bernett (de maker van de plugins) wordt ook niet geholpen door NVidia, omdat NVidia kaarten lastiger te optimaliseren zijn en NVidia alleen support biedt aan grotere game developers. In feite houdt dat dus in dat NVidia mensen die toch met hele interessante grafische applicaties bezig zijn (je kunt met behulp van allemaal filters de beeldkwaliteit ver boven die van een originele PSX uit laten stijgen), geen hulp aanbiedt om de snelheid te optimaliseren.In het artikel staat ook dat ze hopen dat dit makkelijker gaat worden bij nieuwe revisies NVidia kaarten. Want in feite hoef je als programmeur niet eens zo'n kaart te hebben om het ervoor te optimaliseren, als je maar weet hoe het moet.

Ik vind dat ze niet meer met een GF 5700 moeten testen, maar de 5900XT nemen, die is ongeveer op hetzelfde niveau van de 9600 XT! Zo geef je aan dat Nvidia geen valabele kaart heeft tussen de 5950 ultra & 5700 ultra.

Dit ruikt naar Ati voorkeur vind ik!

Mja, de 5700ultra presteert echter beter dan de 9600xt (in gewone games) terwijl de 5900xt/le sneller is dan de 9600xt (dus de vergelijking is helaas wel goed), al ben ik wel benieuwd naar de 5900xt/le tov de andere kaarten in deze review

Je kan je wel blindstaren op de performance van hardware in ePSXe, maar je kan ook gewoon de laagste kwaliteit instellen en via je TV-out spelen. Dan heb je aan een heel erg middelmatige PC meer dan genoeg.

TV-out, bank, gamepad (Logitech Dual Analog, bijna exacte kopie van de overigens fantastische PS2 controller), bier en chips. Super. Vooral met Final Fantasy IX.

Vergeet alleen niet de FAQ op www.epsxe.com te bekijken, want er zijn soms wat compatability issues met Final Fantasy IX. Zo liep het spel steeds op hetzelfde punt vast met v1.60, maar door een iets oudere versie te pakken kon ik weer verder.

Door ePSXe ben ik consolegaming (lekker relaxed onderuit op de bank zitten) weer gaan herontdekken. Ben ooit een fanatieke NES-gamer geweest. Misschien dat ik me ooit weer eens waag aan een next-gen console, voornamelijk voor RPG's, en adventures. En releases waarbij consoles worden voorgetrokken (GTA San Andreas ).

Op dit moment even een eerlijke bench al kan je je natuurlijk afvragen op wat voor compilers de uiteindelijke software gemaakt is maar als dat vrij standaard x86 is kom je een heel eind.

Maar ja, dan komt bv. de Transmeta Crusoe met een deel programmeerbare instructieset en zou bv. geoptimaliseerd kunnen naar een PSX oid.

Waarom wordt in de samenvatting van Tweakers de 'walking around' resultaten getoond?

Zoals bij Anandtech al wordt aangegeven, gaat het in die benchmark om zeer beperkte 3D, geplakt op een 2D achtergrond. Verder zie je ook dat de 9800 Pro en XT gelijke waarden leveren, hetgeen wat betreft 3D vrijwel uitgesloten is.
M.a.w. dit is totaal niet representatief voor 3D werk, maar hoofdzakelijk 2D.

Lijkt mij dat de 'Battle system' veel representatiever is. Voor het spel, aangezien je daar meestal in bezig bent, en voor pc gamers, aangezien hier wel volledig in 3D mode wordt gewerkt, met relatief gezien de zwaarste test.

Verder is de GT2 benchmark uiteraard zeer represatatief. Gewoon 100% 3D spel, waarin je de gehele tijd doorbrengt.


Waren de resultaten die daarin getoond werden iets te confronterend? Omdat de NVidia's daar vernederd werden?

Die enorme overmacht van de Radeon's is trouwens wel degelijk te begrijpen. In vrijwel ieder DX9 spel hebben we gezien dat rechtstreeks DX9 code schrijven tot gevolg heeft dat de GeforceFX ruim tweemaal langzamer is dan de Radeon's. (Zelfs bij Doom3!)
Het is al tig maal aangetoond dat de Radeon heel makkelijk generieke code snel en efficient uitvoert, terwijl de GeforceFX door zijn onhandige architectuur zichzelf heel snel voor de voeten loopt.
Alleen door spellen specifiek te optimaliseren voor de FX, hetzij in het spel zelf, hetzij door de driver, kan de GeforceFX de code efficient uitvoeren, en gelijkwaardig aan de Radeons worden.

In deze benchmark zie je precies hetzelfde. Generieke code levert belabberde FX resultaten vergelijkbaar met wat we al zo vaak gezien hebben. Dat hoef je echt niet te verbloemen door wat positievere staafjes neer te zetten.

En je zou je zelfs af kunnen vragen in hoeverre dit aantoond dat er in de NVidia drivers geen sprake is van een just-in-time compiler die op alle code werkt, maar dat er wel degelijk *per spel* geoptimaliseerd is in de driver.

En dat was toch o.a. een reden waarom men deze weg bewandelde met console emulators...

Zou aardig zijn om als reviewers (Tweakers?) dat eens zouden uittesten door eens betrekkelijk onbekende spellen door de benchmark te gooien.
Dat is toch wat eerlijker dan deze enorme omweg.
Tron 2 lijkt een voorbeeld van zo'n spel te zijn dat betrekkelijk weinig gebruikt wordt door review sites. En verdraaid, daar zien je ook weer die gehalveerde prestaties van de GeforceFX....

De conclusie luidt dat de ATi-videokaarten het beste uitgerust lijken om de Playstation te emuleren

Dit lijkt me een goed voorbeeld van een volledig speculatieve en betekenisloze conclusie.

Wil je een goede emulatie doen dan zul je het originele apparaat nauwkeurig moeten nabootsen, en niet proberen het mooiste beeld te krijgen!

Verder lijkt het me wel handig dat als je een performance test doet dat je geen hardware afhankelijke plugins gebruikt of nog beter: helemaal geen high-level plugins.

Best wel trendy trouwens om maar weer te roepen dat ATI beter is dan NVidia.

Anandtech heeft zich het laatste jaar bijzonder onpopulair gemaakt door pure NVidia propagande te schrijven.
Is niet bepaald de website die je moet beschuldigen dat ze graag trendy bezig zijn om ATI op te hemelen....