Intel toont XeSS-functie ExtraSS voor genereren extra frames in games

Intel heeft een framegenerationtechniek voor XeSS in ontwikkeling, genaamd ExtraSS. De techniek maakt, anders dan DLSS 3 en FSR 3, gebruik van extrapolatie om extra frames te 'voorspellen'. Dat moet hogere framerates opleveren in games.

Intel demonstreerde ExtraSS tijdens de Siggraph Asia 2023-beurs in Sydney, schrijft ook Wccftech. De chipmaker volgt hiermee het voorbeeld van Nvidia en AMD, die beide al framegenerationtechnieken beschikbaar hebben. De werking van Intels komende techniek is echter anders, aangezien die gebruikmaakt van extrapolatie. Intel demonstreerde de techniek in Unreal Engine, hoewel daarvan geen beelden beschikbaar zijn.

Nvidia's DLSS 3-techniek en AMD FSR 3.0 maken beide gebruik van interpolatie. Daarbij worden twee 'reguliere' frames gerenderd. Vervolgens wordt een extra gegenereerd frame tussen die twee frames in geplakt. Dat levert een relatief goede beeldkwaliteit op, maar leidt ook tot extra latency. Bij extrapolatie, zoals in ExtraSS, worden enkel oude frames gebruikt om toekomstige frames te 'voorspellen'. Aangezien de techniek geen frames hoeft achter te houden om tussenliggende frames te genereren, moet dit minder latency opleveren.

Beeld: Intel

Aangezien de ExtraSS-techniek hiermee minder data beschikbaar heeft om te gebruiken, moet er volgens Intel wel een hogere inputresolutie gebruikt worden. De techniek kan daarmee ook artefacten in het beeld veroorzaken, bijvoorbeeld als objecten die voorheen niet zichtbaar waren, opeens in beeld verschijnen, meldt de chipmaker in een researchpaper. De techniek heeft immers geen visuele data beschikbaar voor objecten die in eerdere frames nog niet in beeld zijn verschenen.

Intel koos naar eigen zeggen voor extrapolatie omdat het een nieuw flowmodel heeft, genaamd FRNet. Dat moet betere resultaten bieden dan voorgaande framegenerationtechnieken en minder latency opleveren dan interpolatie. De ExtraSS-techniek gebruikt een warping-methode om het nieuwe frame te voorspellen. Vervolgens wordt het FRNet-algoritme gebruikt om de output te verfijnen en imperfecties te corrigeren.

ExtraSS kan gebruikt worden in combinatie met de Intel XeSS-upscalingtechniek, waarmee frames in een lagere resolutie worden gerenderd en vervolgens worden opgeschaald naar een hogere resolutie. Dat moet nog hogere framerates opleveren, net als soortgelijke technieken als DLSS Super Resolution en AMD's FSR 2-techniek. Het is niet bekend wanneer ExtraSS precies beschikbaar komt voor gebruikers. Het is ook niet bekend op welke gpu's de techniek werkt. XeSS werkt op verschillende gpu's van Intel zelf, AMD en Nvidia.

Beeld: Intel

Reacties (23)

[k995]

Eens benieuwd, maar nu moet ik zeggen dan in de meeste games en met up to date drivers de frame generation via interpolatie niet echt een probleem geeft qua latency. Misschien bij bepaalde multi player pro spelers maar niet de doorsnee game/gamer.

[Morphix]

Tegelijkertijd is extrapolatie in de praktijk waarschijnlijk ook niet echt een probleem. DLSS3 en FSR3 leveren ook artefacts op, maar omdat je die bij 60 (echte) fps maar ~1/120e van seconde ziet levert dat geen issues op. Zelfs als je bij extrapolatie dus ergere artefacts hebt, zal je daar in het gebruik waarschijnlijk helemaal niet zo'n last van hebben.

In dat geval zou deze techniek dus een win zijn, want lagere latency dan de concurrentie.

[Reactie gewijzigd door Morphix op 23 juli 2024 13:47]

[k995]

Idd en als intel die drivers update zal dit steeds verbeteren net zoals bij nvidia en AMD.
Die latency kan je wat aanpakken maar kan je niet weg krijgen, artefacts zijn meer beheersbaarder.

[SgtElPotato]

De artefacts zullen wel erger zijn bij extrapolatie dan bij interpolatie. Dus ik ben erg benieuwd of ghosting en dergelijk wel beheersbaar is. Interpolatie kan namelijk zijn beeld interpoleren vanuit 2 frames, extrapolatie moet een beeld extrapoleren uit een vorige frame zonder te weten wat er aan zit te komen.

[GeertBoer]

Moet zeggen dat ik de DLSS artefacts in F1 23 toch wel ontzettend duidelijk zie omdat ze in bijna elke frame op dezelfde plek zitten.

[PjotrX]

Oculus heeft al paar jaar een optie voor frame generatie met extrapolatie om van 45fps naar 90fps te gaan. De nieuwe Assassin's Creed maakt er gebruikt van. Het werkt best wel goed maar de artifact zijn wel te zien als je weet waar je op moet letten. Maar voor vr heb je liever geen frame dips. En eerlijk gezegt heb ik voor pc spellen ook liever een hoger frame rate dan af en toe een artifact.

[Halfscherp]

Het levert niet per sé heel veel extra input latency op, maar een aanzienlijk deel van gamers denkt dat je in de buurt van 120FPS (of wat voor framegen rate je ook maar haalt) latency komt, terwijl je effectief gewoon nog op 65FPS latency speelt.

[MSalters]

Nieuwe objecten zie je niet met extrapolatie. Is dat erg? Welnee. Want zonder extrapolatie had je een paar milliseconden langer naar het vorige frame gekeken, en daarin was dat nieuwe object evenmin zichtbaar. Wiskundig gezien is het wel een artifact, maar voor een game zal dit niet uitmaken.

[Finraziel]

Dat klopt, maar wat je bv wel kan krijgen is dat een object dat van richting verandert schokkerig uit zou kunnen gaan zien. Zonder extrapolatie zou het object op dezelfde plek zichtbaar blijven en dan in het volgende frame een andere kant op verplaatst zijn, met extrapolatie zou het object door bewegen en dan in het volgende 'echte' frame een grotere delta de andere kant op hebben.

[Finraziel]

Klinkt als nuttige functionaliteit voor een volgende Wolfenstein.

[Sp3ci3s8472]

Als je die grafische optie aanzet, naast dat je iets meer input lag hebt om je trage pc net vloeiend over de 60fps te helpen krijg je ook extra SS soldaten . Dit is voor de die-hards!

Doorgestreept, lees pas net dat ze aan extra polatie doen. Dus geen extra input lag wat je met DLSS 3.0 en FSR 3.0 wel hebt. Helaas zal je wel artifacts krijgen als er bepaalde dingen in beeld komen die er nog niet zijn.

[Reactie gewijzigd door Sp3ci3s8472 op 23 juli 2024 13:47]

[dhrto]

Dit klinkt zeer interessant voor VR, waar (het sterk beperken van de) latency zeer belangrijk is. Voor zover ik weet doen sommige VR headsets/software dit al door frames te voorspellen. Wel met de nodige artifacts als gevolg. DLSS en TAA zijn in elk geval niet goed werkbaar in VR, het beeld wordt er veel te wazig van.

[Finraziel]

Voor VR is het vooral belangrijk dat de omgeving correct beweegt als je je hoofd beweegt. Als je namelijk je hoofd beweegt en het beeld blijft stil staan, dat is een van de snelste manieren om misselijk te worden.
Dat is vrij makkelijk op te lossen door het vorige gerenderde beeld te verplaatsen. Je hoeft dus niet per se een nieuw beeld te berekenen. Je kunt dat ook zien als er iets misgaat waardoor er geen nieuw frame komt (bv met streamen van VR en de connectie valt weg), als je dan je hoofd draait zie je dat er eigenlijk gewoon een beeld in de ruimte voor je ogen geprojecteerd staat. Beweeg je te ver dan zie je gewoon zwart om dat beeld heen.
Voor zover ik weet is dat alles wat VR headsets doen, geen echte frame generatie dus, laat staan extrapolatie.

[Pinkys Brain]

Als je je hoofd draait veranderen stereoscopie effecten ook. Volgens Meta is simpele rotatie ATW bijna net zo slecht als simpelweg frames herhalen als er objecten dichtbij zijn.

Valve gebruikt voor SteamVR motion smoothing de beweging van individuele objecten, maar ze gebruiken de motion estimation hardware ipv gewoon de motion vectors uit de engine te gebruiken (die worden doorgegeven voor TAA/DLSS/etc). Niet ideaal.

[GarBaGe]

Zolang frame generatie ten koste gaat van de latency, verwacht ik dat gamers eerder kiezen voor een betere latency, dan voor een hogere framerate.

[3DEXP]

Ik ben een gamer en ik kies toch echt voor extra latency, een hogere nep framerate maar vooral een soepele ervaring met alle toeters en bellen aan.

[vliegendehommel]

AMD Anti Lag en Anti Lag+ en Nvidia Reflex maakt een groot verschil en gaat dit grotendeels tegen.
Het speelt echt wel soepeler mits je die opties aan hebt staan.

[Elaborate8455]

Joh die paar milliseconden? Ik speel de meeste spellen met een wireless Xbox controller, die latency is vele malen hoger dan de extra latency voor framegen.

[dipje2]

Dat dacht ik ook. En op lagere framerates is dat ook zeker het geval.

Maar als je eenmaal snapt wat refresh rate en meer fps doet voor een sample-and-hold scherm, en hoeveel motion clarity je ervoor terug krijgt (veel minder motion blur van je scherm) begint het opeens heel interessant te worden om een game naar 120fps of meer te trekken en de latency van een native 60fps ervaring als 'genoeg' te bestempelen.

Ik dacht altijd dat het allemaal met response tijd te maken had. Maar oleds met een almost instant response tijd hebben nog steeds motion blur, komt door onze ogen . En keer fps helpt hierbij. Ook al zijn het generated frames .

Waar de grens van 'latency is snel genoeg' ligt , zal voor iedereen anders zijn natuurlijk.

[sdziscool]

waarom loopt iedereen (schijnbaar) achter NVIDIA aan? zo ga je nooit winnen als je basically elke keer als NVIDIA iets uitbrengt je je eigen RnD team moet gaan instrueren hetzelfde te maken wat dan een half jaar al dan niet langer gaat duren... Zo word je als Intel of AMD nooit een echte competitor...
is NVIDIA dit weer van iemand anders aan het afkijken of zijn ze gewoon zo oppermachtig dat ze altijd de toon zetten en de rest braaf blijft volgen?

[dipje2]

De mensen die voor lopen hebben de tijd om aan andere dingen te denken. De mensen die achter lopen zijn te druk bezig met inlopen.

Ik vind dat Intel dan nog best goed probeert mee te gaan.

Van raytracing zien sommige mensen het nut nog niet, fair. Maar de temporal upscaling en framegen zijn toch echt dingen die grote stappen hebben gezet en de andere partijen zien dat ze mee moeten of veel laten liggen.

[Pinkys Brain]

NVIDIA heeft dit nog niet. NVIDIA en AMD gaan hiermee achter Intel aanlopen, want dit soort methodes zullen helpen bij VR.

[Wolfos]

AMD heeft de console contracten toch wel in the pocket dus die hoeven niet zoveel R&D te doen. Als je kijkt naar het aandeel desktop GPU's (en dan vooral de nieuwere RX 6 en RX 7 series), lijkt me dat die een stuk minder belangrijk zijn. Nauwelijks 2% marktaandeel als je het optelt (tegenover zo'n 30% voor Nvidia 30 en 40 series).

Intel is een nieuwe speler dus logisch dat ze een inhaalslag moeten maken.

[Reactie gewijzigd door Wolfos op 23 juli 2024 13:47]