Futuremark werkt aan nieuwe DirectX 12- en Vulkan-benchmarks

Futuremark heeft bekendgemaakt dat het werkt aan nieuwe benchmarks voor de 3DMark- en PCMark-suites. De benchmarks zijn gericht op het testen van DirectX 12- en Vulkan-prestaties. Ook voor telefoons komen er nieuwe Vulkan-benchmarks.

Het bedrijf breidt de 3DMark-suite uit met een nieuwe DirectX 12-benchmark voor laptops, die minder zwaar is dan bestaande benchmarks in het pakket, schrijft het onder andere naar TechPowerUp. Het werkt ook aan nieuwe benchmarks voor Vulkan en virtual reality, die zowel voor Windows-computers als Android-telefoons moeten verschijnen.

Om het testen van een groot aantal apparaten te vereenvoudigen, brengt het bedrijf ook een programma uit waarmee veel computers tegelijk getest kunnen worden. Daarnaast komt het bedrijf met een nieuwe versie van PCMark voor Windows 10 en nieuwe benchmarks en testservices voor servers. Wat deze precies inhouden, is niet duidelijk.

Futuremark heeft niet aangegeven wanneer de nieuwe benchmarks uitkomen. Waarschijnlijk gaat het bedrijf hierover aankondigingen doen tijdens de CES-beurs in januari. Vorige maand bracht het bedrijf zijn eerste virtual-realitybenchmark uit, VRMark. De benchmark bestaat uit twee verschillende tests, één om te onderzoeken of een computer voldoet aan de minimumvereisten voor het draaien van vr-games en een andere om krachtigere computers op de proef te stellen.

Reacties (37)

[Putwater]

Ben benieuwd hoe de 1060 en RX480 zich zullen verhouden tegenover elkaar. Want we hebben nog geen resultaten gezien van een engine die van de grond op gebouwd is met Vulcan/dx12 in het achterhoofd.

[Yamotek]

Ashes of Singularity? Dit is vanaf het begin een DX12 spel geweest die ook vaak is gebruikt om aan te kunnen geven wat er met DX12 mogelijk is. De drawcalls zijn in het spel ook vele malen hoger dan een gemiddeld DX11 spel.

Ook bij Doom is er al goed te zien hoe de Vulkan api presteert, Bij Hitman zit er ook al een betere implementatie in het spel.

Waarom? Omdat AMD kaarten theoretisch meer TFlops hebben dan de Nvidia equivalenten. Betekent dit dat AMD kaarten beter zijn? In theorie wel, alleen hebben AMD kaarten met DX11 meer last van overhead waardoor Nvidia kaarten in DX11 vaak beter presteren dan dat AMD kaarten dat doen.

Of Nvidia kaarten of AMD kaarten beter zijn dat zal de toekomst uitwijzen met hoeveel kracht de ontwikkelaars uit de kaarten kunnen halen. Feit is wel dat AMD een hoger marktaandeel heeft dan Nvidia (de consoles hebben allemaal een AMD chip erin zitten) en AMD in dit opzicht een groot voordeel heeft.

[rbr320]

Natuurlijk zijn er inmiddels spellen met een DX12 renderer of een Vulkan renderer. Ik ga er echter vanuit dat @FreVDP bedoelt dat er nog geen spel is dat een renderer heeft voor beide APIs, zodat je een benchmark kunt doen binnen hetzelfde spel/engine om te kijken welke beter presteert. De ontwikkelaar van Ashes of the Singularity zijn wel van plan om ook Vulkan te gaan implementeren (dit met een mogelijke port naar Linux op het oog) maar die is nog lang niet klaar.

De toegevoegde waarde van een nieuwe benchmark van Futuremark die zowel DX12 als Vulkan kan testen is dat we dan niet meer appels met peren aan het vergelijken zijn.

[Putwater]

Ik had het niet over een renderer voor beide API's. Gewoon letterlijk zoals het er staat: een engine die van de grond op gebouwd is met de nieuwe API. Achteraf patchen kan toch niet hetzelfde zijn als er van dag 1 mee starten.

[Verwijderd]

Leuk, maar ze doen veel meer he. AMD doet geen kut in AI en Deep learning. Terwijl NVIDIA daar nu alleen heerser is. Daar valt straks ook flink veel geld te verdienen. Dus of AMD onder aan de streep het beter doet is nog de vraag.
GPU's gaan een gigantische grote rol spelen vanwege parallel processing, en AMD is zo dom om dat te laten liggen.

[Yamotek]

Uhm.. AMD is daar bezig met een inhaalslag, maar dit artikel ging over DX12 en Vulkan. AMD heeft in de GPU markt gericht op gaming in totaal wel degelijk een groter marktaandeel dan dat Nvidia dat heeft.

AI en deeplearning is een totaal andere markt omdat een goede deep learning chip niet goed hoeft te presteren als gaming kaart..

[Verwijderd]

Helemaal mee eens. Maar het maakt wel uit voor de winst en hoe diep hun zakken zijn voor R&D.

[Sp3ci3s8472]

De huidige DX12 benchmark van Futuremark stelt niks voor en geeft een vertekent beeld. Het is in feite DX11 in een DX12 jasje gestoken.
Zie ook de volgende post van Werelds die dit goed uitlegt.

Het grootste probleem van Time Spy ligt niet bij hun gebruik van AC. Dat ligt in het feit dat hun hele workload seriëel is. Daarmee doel ik niet op AC, maar op al die fences. Zie ook Werelds in "CJ's AMD Radeon Info & Nieuwsdiscussietopic - Deel 137"

Het probleem is dat dat niet de DX12 manier is. Dat is DX11 simuleren in DX12. En dat is niet wat de meeste developers gaan doen, want dan winnen ze niets met DX12. Je wint in DX12 JUIST doordat je geen onnodige fences hebt, zoals DX11 er die tussen ramt.

https://gathering.tweaker...message/47700983#47700983

Sowieso is 3dmark geen goede maatstaaf voor videokaarten imho.

[Putwater]

Daarmee dat ik wil zien wat een engine doet die van de grond op gebouwd is voor Vulcan/DX12. De games die nu op de markt zijn, kunnen enkel gebouwd zijn op OpenGL of DX11, daarmee dat de performance wat tegen steekt bij de nieuwe API's. Bij Ashes of the Singularity en Doom mag de implemetatie dan wel goed zijn, maar van dag 1 starten met nieuwe API's moet toch nog meer performancevoordelen opleveren

[SG]

Ik denk dat elke bestaande codebase van studio daar last van hebben. Je gooid je renderbackend architectuur niet zo maar even overhoop tot high optimised multithreadende resultaat. Het vereeist nogal hoop werk aan refactoring. En methoden toepassen die DX12 mogelijk maakt.
Tenzij je architectuur al redelijk dicht in de buurt komt van hoe DX12 het ideaalistisch wilt hebben.
DX11 is meer beshermend waar men niet zomaar aanneemt dat iets concurrent kan en wordt door api beperkt en gevalideerd. Lekker save.

Voor DX12 moet je zelf de gpu resources beheren en dus goed weten wat concurrent kan en fences strakker toepassen. Dat is iets wat je bij DX11 niet hoeft te doen maar bij DX12 juist crussaal is om zoveel mkgelijk uit concurrency te halen en dat is task voor de devs.
En niet de driver teams bij DX11 die hun magic achter de schermen doet.

DX12 is stuk moeilijker en dev krijgt groter beheer dus verantwoordelijkheid over de gpu resources. Meer iets voor render guru.s
DX12 biedkwa API ook geleidelijke overgang en ook hybride form van DX11 funcionaliteit of helper functies die onder DX12 kunnen draaien. Zoals font helper functies.

[SHiNeye]

Leuk Ben benieuwd hoe sterk mijn PC is met DX12. Heb namelijk het gevoel dat ik het voor nu beter op DX11 kan houden.

[Maulwurfje]

Die DX12 benchmark zegt op dit moment niets. Het ligt aan de game of DX12 voor prestatiewinst (of soms velies) lijdt. Met andere woorden: de correlatie tussen Futeremark en DX12 games is stukken minder dan je ziet voor DX11. Geen goede indicatie.

[Reactie gewijzigd door Maulwurfje op 23 juli 2024 17:09]

[D4NG3R]

Benchmarks zijn een prima indicatie van de potentionele prestaties. Futuremark haalt het maximale uit DX waar games die optimalisatie vaak (deels) missen.

Maar ik ben het met je eens dat synthetische benchmarks lang niet alles zeggen.

[SHiNeye]

Ik heb zelf een SLI opstelling, haal makkelijk 1080 performance in benchmarks, maar ingame valt dat soms wat tegen. Logisch ook, DX12 en SLI zijn nog niet echt geweldig ondersteund

[Verwijderd]

Sterker nog DX12 en SLI gaan niet samen. DX12 heeft multi-GPU.

[SHiNeye]

En wat is dan het verschil tussen SLI en Multi-GPU? De naam?

[novasurp]

De implementatie. Waaronder dat je verschillende merken door elkaar heen kan gebruiken.

[SG]

Nou denk eerder dat games gezien hum grote investering grote afzet markt nodig hebben dus gericht op de mainstream. Het moet redelijk draaien op huidige maar ook oude eb budged hardware.
Dat houd dus in W7 met DX11 ook.

Futuremark heeft deze commerciele voorwaarde niet. Daar is het de hardware vol in DX12 en of Vulkan aansturen . Met als twist op platformen die stuk minder zijn een wat lichtere versie. Dat kan ook.

Bij games wil men de game experience toch wel over de platformen meestal gelijk waardig houden.

[Atmosphere]

sterker nog .. futuremark heeft aangegeven dat ze maar beperkt gebruik maken van dx12 functies omdat deze niet door een groot deel van de gebruikers ingezet kan worden vanwege gebrekkige support..

Ze hebben er dus bewust voor gekozen om niet AMD voor te trekken, evenals NV hoewel deze wel veel voordeel heeft van de beslissing..

Hierdoor kan je de waarde van 3dmark dx12 tests al in twijfel trekken, laat staan gebruiken als baseline voor andere 3d engines.

vanwege het karakter van dx12 zal het aan de ontwikkelaar en MS liggen wat de voordelen zijn.. van de Vulcan benchmark verwacht ik meer

[SG]

Dat valt nogal buiten de zin van API test appje. Ik denk eerder dat futuremark dat doet op heel sterk aandringen van nVidia. nVidia gedraag zich sowieso wat agresiver dan gemiddelde firma.
Die RTS game ging niet op nV gelobby in.

Devs met ballen.

[flippy]

waarom aparte laptopbenches als nu net de nieuwe laptops desktop gpu's meekrijgen?

[Rudie_V]

Bovendien wordt op een laptop dezelfde software gedraait als op een normale pc, dus snap ook niet waarom je voor een laptop minder zware test wilt doen. Geen idee hoe ze dat verder willen doen, maar geeft dat dan niet een vertekend beeld, de score van de laptop kan je dan niet vergelijken met die van een normale desktop.

[Qauters]

Het is gewoon incompleet over genomen van de bron: "Its target hardware is notebook graphics and entry-mainstream graphics cards."
Het is dus een minder zware test omdat het richt op minder sterke hardware. Net zoals Sky Diver in het plaatje bij het artikel.

[lever]

Maar dan krijg je toch 2 hele verschillende scores. Die je niet kan vergelijken.

Als ik aan het shoppen ben en moet kiezen tussen een laptop of desktop en ik zie dat de laptop scores van (fictief nummer) 6000 behaald met geïntegreerde videokaart en de desktop met een aparte grafische kaart haalt een score van 6500 dan zou ik misschien voor de laptop gaan. Maar dan blijkt dat er een minder zware test op de laptop is gedraaid waardoor het een hogerescore haalt.

Je kan zo geen vergelijking meer maken.

[Verwijderd]

Je kan op een desktop ook gewoon deze test draaien, als je zo graag een gelijke score wil.

[lever]

Ik kan dat doen. Maar gaan review sites dit ook doen? Gaat tweakers dit doen?

Het betekend dat je weereen extra bencark moet uitvoeren. Wat een hele hoopextra tijd met zich mee brengt. Ipv gewoon1 test voor alles.

[Spekkie88]

Firestrike ultra kan je ook op je laptop uitvoeren, je bent dan alleen naar een slideshow aan het kijken meestal.

Maar ik snap niet zo goed waar je je zo druk over maakt, de verschillende tests van 3Dmark waren nooit vergelijkbaar...

[Trygve]

Maar dan krijg je toch 2 hele verschillende scores. Die je niet kan vergelijken.

Ik zie het probleem niet, je vergelijkt je toch ook geen score in Sky Diver met een score in Fire Strike of Time Spy? Je kijkt per benchmark wat de score van verschillende videokaarten/systemen zijn.

[supersnathan94]

Ik mag aannemen dat ze de score naar ratio berekenen zodat je niet "2 uur" hoeft te wachten terwijl je al weet dat de hardware er te traag voor is.

[John Doos]

Omdat er niet enkel op GPU's getest wordt

[AJediIAm]

Volgens mij is dit voornamelijk omdat de oorspronkelijke benchmark voornamelijk rauwe performance van de gpu test en niet de gemiddelde performance van een systeem.

Dagelijks gebruik op een laptop is net wat anders. Door wat breder te testen en ook het geheugen, CPU en bandwidth mee te nemen krijg je een betere vergelijking voor de werkelijke prestatie van een systeem. Dat is precies je nodig hebt om laptops onderling te vergelijken.

Nu DirectX 12 en vulkan redelijk standaard beginnen te worden is het een goede tijd om de benchmark wat te verbreden.

Edit: Dit is mijn persoonlijke verwachting en niet bevestigd.

[Reactie gewijzigd door AJediIAm op 23 juli 2024 17:09]

[darthaxx]

Nvidia is gewoon een grote sponsor van Futuremark zolang deze de DX12 futures niet in orde heeft komt er geen benchmark uit.

[micla]

Dit lijkt mij goed nieuws voor AMD. Adoptatie van dergelijke technieken door Futuremark zal AMD meer in de spotlights brengen met hen GPU's. Er zal veel meer nadruk worden gelegt op deze technieken en meer gebenched gaan worden met deze. En wat ik heb begrepen tot nu toe is dat AMD goed bezig is met hun "close to metal" API. Ikzelf draag al decennia lang een warm hart toe aan AMD, ( voornamelijk vanwege de uitmuntende HD3D support ) maar had tot vorig jaar het idee dat ze de strijd tegen nVidia zouden gaan verliezen. Met Vulcan en DX12 echter, denk ik dat ze weer helemaal de juiste koers varen. Ben benieuwd naar Vega

Edit;typo

[Reactie gewijzigd door micla op 23 juli 2024 17:09]

[SG]

Ik denk dat dat wel meevalt. Het nadeel van nieuwe API en hogere functies is dat grote titels voor mainstream ontwikkelen en de meest gemene deler nemen. Dus unieke features worden zelden benut. Zoals vroeger de matrox bumpmapping. 8500 PS1.4 ATI.
Een hele ouwe gpu die net voldeet aan BF2 toch maar snel een 9500pro toen gehaald.

Deze voordeel van GCN is nu. Maar waneer DX12 en Vulkan mainstream worden. Dat duurt aantal jaren. Dan kan ondertussen nieuwe generaties nV architecturen deze achterstand bij bijbenen.

Je dus game producties nodig die game concept hebben van iets dat niet mogelijk was met DX11 drawcall limiet maar wel met DX12 en dus geavanceerde DX12 engine ontwikkelen van grond af .
En DX11 versie dus ander zal zijn stuk terug geschaald..

[AvK]

Sinds 3Dmark bestaat (vroeger had het een naam met een associatie naar uien..... ) heb ik al een moeizame relatie met dit soort tests. Kocht ik een High End systeem (of had er net zelf een gebouwd) ging ik hem testen. En het stotterde ALTIJD!!!!! Zeer frustrerend. Ik wilde gewoon een soepel lopende test zien. En dan een vergelijkende score. Maar altijd dat stotteren. Terwijl dat helemaal niet nodig is (ik bedoel dus de beleving van de test). De vergelijking van de scores kan dan nog steeds. Waarom wil 3Dmark dat ik een stotterend beeld zie????? Waarschijnlijk doe ik die tests nog steeds omdat ze zulke ontzettend mooie plaatjes (beelden) maken.

[SG]

Ik kijk bij reviews eerder naar mijn favo games. Dan synthetische zooi.

[novasurp]

Omdat ze juist iets zo zwaars mogelijk willen maken om te kijken wat je hardware kan... Je kunt ook gewoon een van de minder zware tests draaien.