Sony-patent toont AI-techniek die inputlag tegen moet gaan

Er zijn begin januari twee Sony-patenten openbaar gemaakt door de Wereldorganisatie voor de Intellectuele Eigendom. Deze tonen een trekkeraccessoire voor de DualSense-controller en een techniek die inputlag moet tegengaan.

De voorgestelde techniek tegen inputlag gebruikt een camera om de speler en controller te bekijken, en bewegingen op te nemen. De AI voorspelt welke invoer vervolgens wordt gebruikt. Bij de andere optie let de AI op niet-afgemaakte input en probeert hij de intentie van de speler te raden.

Het andere patent toont het trekkeraccessoire voor de DualSense-controller die 'het schieten in spellen realistischer moet maken'. De speler houdt de controller op de zijkant. De trekker zit via een lus vast aan een van de thumbsticks. Volgens het patent zou het accessoire ook moeten werken met andere hardware, zoals de PSVR 2-headset.

Reacties (71)

[MPIU8686]

"De voorgestelde techniek tegen input lag gebruikt een camera om de speler en controller te bekijken, bewegingen op te nemen. De AI voorspelt welke invoer vervolgens wordt gebruikt. Bij de andere optie let de AI op niet afgemaakte invoeringen en probeert het de intentie van de speler te raden."

Serieus ? Voorspellen welke invoer wordt gebruikt of bij niet afgemaakte invoeringen de intentie van de speler proberen raden .. Als ik bewegingen niet afmaak heeft dat wel degelijk een reden .. dus gaan mijn vijanden in het spel hier anders op reageren (als er al een camera zou zijn die dit kan detecteren .. )

Dus moeten we binnenkort bij toekomstige consoles "valse" bewegingen op onze controller maken om de AI te gaan misleiden tijdens het gamen ..

[Sissors]

Dit is typisch zo'n patent die een stel bij de koffiekamer hebben bedacht, serieus hebben opgeschreven, en door de interne commissie nog heen hebben gekregen ook die patent ideeën bekijkt. Maar wat natuurlijk absoluut niet iets is waar ze daadwerkelijk aan werken. En daarom zie ik niet echt in hoe die nieuws is. Het zou natuurlijk ook nooit werken: Gelooft iemand echt dat een camera eerder gaat voorspellen dat je een trigger in drukt, dan de trigger zelf dat doorgeeft? Ja in theorie kan het, in de praktijk gaat dat echt niet fatsoenlijk werken.

[jumbos7]

Wat ik mij voor kan stellen is dat veel gamers het prima zullen vinden zolang de AI hun beweging zo voorspelt dat het resultaat in de game positief is want hun bedoeling zal vaak beter zijn dan hun uitvoering. En dat is waarom ik verwacht dat deze techniek in de praktijk helemaal niet heel erg voorspellend hoeft te zijn in technisch opzicht om toch te "werken". Voor esports lijkt het mij niet geschikt dus ik verwacht dat zoiets dan uit moet staan.

[Tjidde]

Maar als die AI er voorzorgt je input minder accuraat voelt. Is het super vervelend. Een minimale constante input lag is omheen te werken. Je went eraan dat op een knopje drukken en een actie x tijd kost.

Als dit door een "slim" systeem niet meer constant is, kan je er niet aan wennen. Want je weet niet of je knop 1 tijdseenheid nodig heeft om wat te doen of 3.

[jumbos7]

Ik denk niet dat daar waar dit zal worden ingezet dit iets is voor de meer behendigere gamers. Maar je hebt genoeg gamers met laten we zeggen wat "domme" vingers en die als iets niet lukt nu vaak lopen te razen en tieren.

Die kunnen als de AI hun pogingen vertaalt naar iets waarvan ze zelf zouden zeggen dat ze het altijd zo bedoeld hebben er niet altijd mee zitten dat het niet accuraat voelt. Ik denk bovendien dat velen van hen dat niet eens zouden merken.

[Luuk.vanRiel]

Zie voor de ultra casual dit nog wel als iets interessants. Echter wordt bij de meeste casual games al flink gewerkt met grotere input windows en automatische correcties om dingen simpel te houden.

[Zoop]

Ik weet nog in Destiny1 op de playstation4, verschillende guns met verschillende stats, dus ook aim assist. Ik heb best lang gegrind voor een goede sniper rifle die 0,0 aim assist had, want dat het constant loopt te trekken aan je cursor in een poging een vijand te volgen vond ik rete irritant en zat me vaker in de weg dan dat ik het nuttig vond. Als er 2 naast elkaar staan wil ik zelf bepalen hoe en wanneer ik ze ga neerknallen, maar die aim assist locked al op de dichtstbijzijnde. En dan rent er iemand voorbij, gaat ie die volgen en zit ik helemaal scheef.

Heb heel erg vroeger ook wel es met een aimbot geklooid, snap de lol er sowieso niet zo van, maar het feit dat je character uitzichzelf gaat lopen ronddraaien om te mikken (en dus steeds bijna een afgrond inloop) vond ik sowieso onwerkbaar. Moet je beetje stil blijven staan en nonstop headshots maken? Waar is de lol daarvan? (aimbots zijn tegenwoordig vast beter dan dat, maar het gaat om het idee).

Nee hoor, zelfs met een controller, zit aub zo min mogelijk uit mn controls. En als het dat dan toch doet, doe het dan op zijn minst dat het zo min mogelijk opvalt.

[Scriptkid]

idd ale anti cheat software flagged dit meteen.

ow ja dacht dat hij head shot wou maken maar hij miste dus heeft de AI het aangepast naar headshot,

[Stoney3K]

Hoe gaat een anticheat dit detecteren dan? Voor het spel is het niet anders dan de speler die een control input maakt.

De enige manier waarop je dit als anticheat software zou kunnen betrappen is door spelers te flaggen die in verhouding 'te goed' zijn. Maar het gevaar is dat je daarmee een behoorlijk aantal aan legitieme spelers onterecht treft.

[Scriptkid]

Totaal andere driver

Net als je macro tools gebruikt.

Camera aanwezig die dit moet registreren en software die de key simulatie uitvoerd

[Stoney3K]

Het gaat om een AI-techniek op een externe controller, niet om een driver op de PC of op de console...

Als je dat wil afvangen dan moet je als spel-maker alleen "goedgekeurde" controllers toe gaan laten.

[Frame164]

Het lijkt me eerlijk gezegd geeneens zo moeilijk om een volgende actie te voorspellen. De meeste mensen zijn minder uniek in het gedrag dan zelf denken of hopen. Of het het spelen van een game leuker maakt is weer wat anders.

[Sissors]

De volgende actie voorspellen is één ding, maar aan de hand van camera beelden? Als in, simpele shooter, natuurlijk kan je voorspellen dat wanneer iemand richting een vijand gaat met zijn wapen, dat hij gaat schieten op die vijand. Maar terwijl iemand zijn controller boos heen en weer beweegt bedenken aan de hand van camera beelden wanneer hij de trekker over gaat halen? Dat is een heel ander verhaal.

En in dat eerst geval ben je natuurlijk niet meer aan het voorspellen wat de speler wil gaan doen, maar gewoon aan het spelen voor de speler.

[oliver75]

De volgende stap is dat je een 'Playstyation AI-WaveCap' op krijgt. Allemaal sensoren erin die je hersengolven meten. Als je denkt aan de X indrukken, voila, dan is het al gedaan. Dan heb je pas zero lag!

En daarna wordt er gewerkt om dát gedrag weer te voorspellen waardoor de tegenspeler kan anticiperen op jouw gedragspatroon en je geen pepernoot meer raakt en maximale weerstand krijgt.
En zo blijven we bezig in AI land

[Peenutzz]

Ik weet het niet hoor, ik vind het altijd gruwelijk irritant om anderen te zien spelen, want die lopen en kijken niet op de manier waarop ik dat doe, dus voor mij zijn die anderen redelijk onvoorspelbaar te noemen.

[SlimNewRatSkin]

Er is meer mogelijk dan je denkt. Er is een video in omloop van een AI die rock-paper-scissors speelt tegen een mens en die altijd wint omdat hij vroegtijdig herkent welke keus de menselijke tegenspeler gaat maken.
YouTube: ROBOT WINS ROCK, PAPER SCISSORS EVERY-TIME - BBC NEWS

[Stoney3K]

En wat gebeurt er nu als je 2 van die robots het tegen elkaar laat opnemen?

* Stoney3K denkt aan een bepaalde scène uit WarGames.

[Reactie gewijzigd door Stoney3K op 15 januari 2025 14:18]

[MPIU8686]

Inderdaad, lijkt helemaal op niks en zou zeker geen toevoeging zijn. Dat is gewoon om iets af te geven aan hun werkgever om aan hun verplichte quota te komen. Het als serieus laten uitschijnen, maar heeft totaal geen toegevoegde waarde.

[iqcgubon]

Nvidia fantaseert frames, Sony fantaseert input

[nandervv]

Eindresultaat: een film?

[Catrinus]

Ja, een actiefilm kijken met een niet aangesloten controller in je handen, leuk!

[fellware]

Die controller heb ik nog wel nodig om te pauzeren tenzij de AI dat ook bedenkt!

[Coolstart]

Maar wat natuurlijk absoluut niet iets is waar ze daadwerkelijk aan werken. En daarom zie ik niet echt in hoe die nieuws is.

En waarom heeft dit geen kans? Uiteindelijk is het een extra sensor in of rond bijv de R2 trigger die de start van uw beweging ziet in uw vinger of hand en vervolgens voor u R2 triggered.

Tussen starten met klikken en effectief klikken zit lag en die kan je wegwerken.

[Sissors]

Wat jij beschrijft is waarom dit never nooit niet gaat gebeuren. Als je zoiets als dit wil, maak je bijvoorbeeld in je R2 trigger een druk sensor, die al merkt zodra je druk begint te leveren. Of je maakt het begin heel soepel, zodat de eerste 10-20% dat je hem indrukt, wat een analoge sensor dan al uitleest, heel snel gebeurd.

Maar wat hier beweert wordt is dat je een camera gaat ophangen om te zien dat jij de trigger wil gaan indrukken, met als doel een beetje minder input lag? Dat gaat nooit gebeuren, omdat zoals je zegt, er veel logischere opties zijn als je zoiets wil bereiken.

[Coolstart]

Wat 123-denken niet? Een druksensor of een zeer gevoelige knop klinkt leuk zal 99% van de tijd foutief triggeren elke keer je uw knop per ongeluk aanraakt. Daarom dat er een klik op zit natuurlijk en daarom dat ze meer info nodig hebben dan enkel de druk op de sensor om te voorspellen of je per ongeluk een beweging maakt of net doelgericht die knop wil indrukken.

Waar je naartoe wil is een zeer gevoelige trigger die niet bij elke schokje afgaat.

[koelpasta]

Als ik die R2 nog niet heb ingedrukt dan wil ik in geen geval dat het voor mij wordt ingedrukt.
En als ze de lag van de indruk hadden willen verlagen dan hadden ze de knop minder diep kunnen maken i.p.v. met een camera en AI proberen te herleiden of ik wel of niet de knop wou indrukken.

Ik denk dat er maar 1 goede use case is en dat is mensen met een beperking. Voor normale gamers gaat dit alleen maar problemen geven waarbij de AI onbedoelt de knop gaat triggeren.

[BobJung]

Wat ik hier lees is dat je een traagheids beeld hebt van de speler en daarmee in de regelkring eerder kan bepalen wat moet gebeuren. Sensoren hebben altijd een latency.
Zie dit meer als regeltechniek, dat dat dan nu AI moet heten. Bij herhaalde patronen krijg ue hierdoor meer kennis over de speler.

[VDV]

Mwah, bedrijven vragen voor van alles en nog wat patenten aan, waarvan het gros dergelijke ideeën zijn die in de praktijk nooit of te nimmer gaan werken. Van een interne commissie voor patenten hoef je dus niet te verwachten dat men daar het op gaat toetsen, het is puur hebben om het hebben zodat een ander bedrijf het niet heeft. Ben het er dan ook wel mee eens dat de nieuwswaardigheid van dergelijke patenten ook wel wat laag is.

[jumbos7]

Ik ben hier geen voorstander van. Los van de bezwaren die er zijn om in je eigen (huis)kamer met een camera door AI bekeken te worden is het raden van de intentie door AI een opstap naar steeds meer AI-assisted gaming. Maar goed het is nog maar de vraag of de AI-techniek van dit patent ooit daadwerkelijk het licht zal zien.

[Reactie gewijzigd door jumbos7 op 14 januari 2025 21:17]

[eggsforpedro]

Camera? Waar lees je dat?

[Xfade]

Waar lees jij dat niet ?

De voorgestelde techniek tegen input lag gebruikt een camera

[Marcel Boeré]

"De voorgestelde techniek tegen input lag gebruikt een camera om de speler en controller te bekijken," Eerste zin na de kop.

[Xfade]

Ja dat heb ik gequoot hè.

[ArcticWolf]

Dat staat in de patent aanvraag zelf (en getekend).

[Marcel Boeré]

Die beelden kunnen ze dan mooi gebruiken om AI te trainen

[GameNympho]

Sarcasm on Dan zet ik die camera op een bepaald soort film Mogen ze daar "mee genieten"

En dan nog eigenlijk het ergste, patent op wat ? ?
1 Als ik het goed begrijp, werkt de AI niet, zonder camera. Camera patent?
2 Trigger werkt als je m anders houdt? Ah net zoals de losse hand muizen en zo. Sensor patent?

@Ridicuul Denkwijze is easy, zonder de camera, werkt die AI software niet dus camera techniek, welk patent? Want patent op software?

Dan de trigger situatie, vroeger hadden we al die snel schiet hardware (rappid respons), erna zelfs met toetsenborden en muizen. Nu weer een "attachment" MET patent, welk patent? Want dat attachment werkt niet zonder sensor, dus welk patent?
Ik heb nm ook ducktape en een camera/trigger aanvulling, maar zonder de software van de camera/controller, werken die echt niet.

[Reactie gewijzigd door GameNympho op 14 januari 2025 23:24]

[Ridicuul]

1 Als ik het goed begrijp, werkt de AI niet, zonder camera. Camera patent?
2 Trigger werkt als je m anders houdt? Ah net zoals de losse hand muizen en zo. Sensor patent?

Ik volg jouw denkwijze hier niet helemaal. Omdat het patent gebruik maakt van cameratechnologie, zou het een patent op een camera moeten zijn? Dat is natuurlijk niet het geval, zoals je uit de tekst en bijgevoegde afbeeldingen kan afleiden.

De trigger is een attachment die je op de controller bevestigt. Het is dus een patent op een controller attachment die het overhalen van een trekker nabootst.

[Marcel Boeré]

Ik zie de prompts al voor me: Sony Playstation, genereer een tegenspeler die op de bank hangt met een zak chips en een stapel elpees om zich heen

[APClll]

Deze had @re-enter 21:07uur genest moeten zijn, excuses.

Heb je de afbeeldingen ook op ware grootte bekeken? Het is bij heel ver inzoomen inderdaad pixelig, maar er zijn absoluut slechtere kwaliteit afbeeldingen dan deze...

In ieder geval in NL is het zo dat tekeningen bij octrooien op A4-formaat ingeleverd dienen te worden, in een hoog contrast waardoor eventuele reproductie (kopieën) goed mogelijk zijn.

[Reactie gewijzigd door APClll op 14 januari 2025 21:30]

[StGermain]

Dus je beweegt je crosshair richting de vijand maar mist, de AI deduceert dat je de vijand wil raken en corrigeert. Dat heet ook wel aim assist en in extreme gevallen aimbot.

[Frame164]

Zoiets als in echte wapensystemen zit. Maar daarbij is de mogelijkheid om te verliezen natuurlijk geen onderdeel van een spel.

[n00bs]

Ah daar is eindelijk die camera in huis dat u allen kan monitoren, natuurlijk altijd enkel gebruikt voor de doeleinden zoals het aan u verkocht wordt

[Verwijderd]

Het grote probleem is dat alleen de lag niet in de controller zit, maar in het scherm en dat omzeil je niet op deze manier.

[djwice]

Oog-hand-coordinatie is de lag. Dus als hij jou een beweging ziet beginnen en goed kan raden hoe die eindigd, kan hij de input van de controller vervroegen met de lag-time.

En zo effectief de gaming lag verminderen omdat de aansturing de 'lag' eerder begint, en dus ook de rendering.

[koelpasta]

Ja, en als het ding het verkeerd raad dan ben je in no-time aan het vechten tegen de AI.

[djwice]

Over gamification gesproken.
Maar goed, zo moeilijk is het natuurlijk niet om te zien wat je doet en de beweging aan de hand van je eerdere bewegingen raden op een controller met vaste layout.
Als je in het donker speeld is dat natuurlijk een ander verhaal.

[Reactie gewijzigd door djwice op 15 januari 2025 17:45]

[koelpasta]

Ik denk dat je dan de complexiteit van menselijk bewegen onderschat.

[djwice]

Ik denk dat je de kwaliteit van de huidige (gratis) AI modellen onderschat. En de fijnheid van de motoriek van de mens overschat
De motoriek is zeer traag in vergelijking tot de hoeveelheid lag die je moet compenseren.
De delta van de beweging t.o.v. de inschatting en de mogelijk fout daarmee ook.

[Reactie gewijzigd door djwice op 16 januari 2025 00:04]

[koelpasta]

Oog-hand-coordinatie is de lag.

Nee, oog-scherm-gpu-cpu-kbd/muis-hand. Dat is de werkelijke loop.

[Ridicuul]

Ik kan me niet voorstellen dat deze AI technologie daadwerkelijk gebruikt gaat worden in console gaming.

Hoeveel win je qua tijd als je ondertussen ook de beelden moet verwerken en in hoeverre onderscheidt dit zich van hulpmiddelen als aim assist die vaak al standaard aan games zijn toegevoegd? Het lijkt me niet fair als een externe technologie jouw input beïnvloedt.

[Verwijderd]

Hier zit ik persoonlijk echt, maar dan ook ECHT, niet op te wachten. Dit computer-/AI-gestuurde "inschatten" gaat gewoon nog veel en veel te vaak mis, en dat zie ik ook echt niet veranderen voorlopig. Wat voor de ene gebruiker handig is, voelt voor een ander juist storend. Een "intelligente" suggestie in een game kan worden ervaren als een vorm van controle die wordt overgenomen. Het zal irritatie bij de speler opwekken wanneer het weer eens niet doet wat jij in gedachten had, of het werkt té goed, waardoor het eigenlijk gewoon een cheat tool is voor iedereen.

Dan rest ook nog de vraag: Hoe sturend wordt dit? Ben je dan nog wel aan het "gamen" als een AI je overal bij de hand neemt?

Ik heb nog nooit, in welke toepassing dan ook, een feilloze implementatie gezien waarin een computer vaker wel dan niet een goede inschatting maakt voor een mens. Of het nou gaat om advertenties die door AI worden voorgesteld op basis van wat ze van mij denken te weten, een Spotify-playlist die AI genereert, of een suggestie in mijn socialmedia-feed, het maakt niet uit welk voorbeeld je kiest. In de meeste gevallen zit het er veel te vaak volstrekt naast in plaats van dat het correct is of zelfs een verrijking biedt. Bij een Spotify-lijst werk je er wel omheen, maar als zoiets in de basis al geïmplementeerd zit in de kernaansturing van een game, dan hoop ik dat dit uit te schakelen blijft.

Voegt het niets toe, dan doet het afbreuk aan de beleving. Dat is iets wat dit soort techbedrijven zich goed moeten blijven realiseren.

[re-enter]

Wat een afschuwelijke tekeningen zijn me dat. Patenten moeten in lage resolutie ingediend worden, zonder enige greyscale?

[hanskroll]

Wat een afschuwelijke tekeningen zijn me dat. Patenten moeten in lage resolutie ingediend worden, zonder enige greyscale?

Dat is vanuit Tweakers zo geupload, de originele zijn hoge kwaliteit:
https://patentscope.wipo....il.jsf?docId=WO2025010132