Tobii onderhandelt met Sony over levering oogtracking voor PSVR2

Tobii is in onderhandeling met Sony over het integreren van oogtrackingtechnologie in de aankomende PlayStation VR2-headset. De ontwikkelaar van de trackingtechnologie kan nog geen uitspraken doen over de financiële kant van de potentiële deal.

Tobii maakt in de aankondiging duidelijk dat het techbedrijf nog in onderhandeling is met Sony en noemt daarbij specifiek de oogtrackingtechnologie voor de PlayStation VR2. Sony liet bij de aankondiging van de PlayStation VR2 al weten dat de vr-headset oogtracking zou krijgen, maar gaf nog geen details over de onderliggende software vrij. Wel is al bekend dat de oogtracking gebruikt wordt om een game te besturen en om foveated rendering toe te passen. Bij deze techniek rendert een game de periferie van de gebruiker met een lagere kwaliteit om de werkdruk op een systeem te verminderen.

Het van oorsprong Zweedse bedrijf Tobii is een opzichzelfstaande leverancier van eigen oogtrackingtechnologieën. Het bedrijf ontwikkelde uiteenlopende toepassingen van oogtracking voor onder meer de gezondheidszorg, auto-industrie en gaming. Zo ging Tobii al een samenwerkingen aan met Qualcomm voor het leveren van oogtrackingsoftware en bracht hij een eigen Eye Tracker uit.

Reacties (17)

Ik heb begrepen (van mensen die bij de ontwikkeling betrokken zijn) dat het voornamelijk om reeds toegewezen patenten gaat.
Je ziet dit ook terug wanneer je door de patenten van Tobii AB bladert;
https://patents.justia.com/assignee/tobii-ab

Het is zo goed als onmogelijk om iets met eyetracking te ontwikkelen zelf, aangezien Tobii praktisch alles dat je ooit kunt bedenken over eyetracking al vastgelegd heeft. Sony wilde het zover als mogelijk met eigen hardware doen maar onderhandelingen zijn nu om specifieke onderdelen direct te kopen bij Tobii, dan hoeft Sony niet voor de patenten te betalen en dit is blijkbaar goedkoper dan het eigen (potentieel efficiëntere!) idee uitwerken en produceren en dan alsnog moeten betalen voor de patenten.
Toen ik het hoorde voelde ik een lichte irritatie, maar Tobii is zeker geen patent troll.

[Reactie gewijzigd door Faust op 7 februari 2022 19:57]

Dit is inderdaad wel een voorbeeld van terechte patenten en licenties imho. Tobii is al aardig lang aan de weg aan het timmeren met deze techniek, en nu hij daadwerkelijk relevant kan worden is het alleen maar fair dat ze mee kunnen doen.

Ben benieuwd hoe effectief deze techniek uiteindelijk gaat zijn. VR is sowieso al iets waar je makkelijk misselijk van kunt worden, dus ik heb ergens angst dat dit daarbij niet gaat helpen.

VR is sowieso al iets waar je makkelijk misselijk van kunt worden, dus ik heb ergens angst dat dit daarbij niet gaat helpen.

Ik snap niet helemaal waarom je hiermee meer last van misselijkheid zou moeten krijgen, kun je dat toelichten?

Misselijkheid van VR ontstaat voornamelijk doordat het beeld wat je ogen zien niet overeenkomt met de bewegingen die je evenwichtsorgaan oppikken. Dus je ogen denken zien beweging, maar je evenwichtsorgaan registreert dat je stilstaat. Eyetracking in combinatie met foveated rendering verandert daar niets aan. Het gaat alleen om de delen die scherper gerenderd worden waar je kijkt. En delen die minder scherp zijn worden dan toch gezien door de delen van je oog met een lager oplossend vermogen, dus daar merk je niets van. De aanpassing gaat ook gewoon met de verversingssnelheid van het display (90-120hz). Dus ik zie niet helemaal in waarom je er misselijker van zou worden.

Ik ben dus bang dat die verandering door foveated rendering eventueel ook last heeft van vertragingen, waardoor je dus twee verschillende manieren hebt waardoor je misselijk word.

Maar ik zie graag het tegendeel

waarom zou het last van vertragingen geven? De GPU rendert voor VR meestal op 90 FPS of hoger. Foveated rendering zorgt ervoor dat er minder reken capaciteit is voor het centrale deel. De updates kunnen dus gewoon net zo snel blijven gaan als wanneer jij je hoofd draait in VR. Dat is een zelfde soort verandering in berekeningen. Dus zolang de eyetracking sensoren net zo snel werken als de sensoren die bewegingen van je hoofd registreren, zal er niets aan de hand zijn.

Ik heb geen ervaring met VR dus hier kan ik niets over zeggen. Maar ik ben wel iemand die motion blur uit zet omdat ik hier niet goed tegen kan. Of bij spellen waar het niet kan de draaisnelheid verminderen zodat ik er minder last van heb. Ik verwacht zelf dus dat die foveated ongeveer hetzelfde effect heeft als motion blur in games en dat het bij mij dus minder goed zal bevallen. Uiteraard zal het er ook aan liggen hoe erg de kwaliteit vermindering is of hoe ze het gaan implementeren.

Dat is niet te vergelijken. Je kijkt vooral naar een monitor met het deel van je blikveld dat scherp ziet. Je perifere visie is waar je onscherp ziet. Omdat je in VR een veel groter deel van je blikveld gebruikt is dat totaal anders dan bij een monitor.

Theorie en praktijk zijn natuurlijk wel een dingetje. Mensen zoals ik die van sommige first person games doodmisselijk worden (en ik ben echt nooit wagenziek), merken dat het enorm kan verschillen (zo vind ik het from the top the Witcher ook niet fijn, heel vreemd). 3d brillen is sowieso een nogo.

Dus dat wij enigszins terughoudend reageren is niet zo vreemd.

Ik denk dat je juist minder misselijk zal worden met deze techniek er in. De misselijkheid komt namelijk niet van onscherpte, maar van trage tracking. Door het minder scherp te renderen wordt het renderen sneller en blijft er meer capaciteit over om de tracking te versnellen.

Overigens zou ik zeggen probeer ook eens een keer een moderne PSVR titel, er zit een enorm verschil in mate van misselijkheid tussen vroege titels en modernere titels, zelfs met dezelfde hardware.

Mee eens!
Wat het misselijk worden betreft, dat is toevallig iets waar Sony dus patenten (en binnenkort een product) voor heeft; onder andere:
https://patentscope.wipo....O2020090477&tab=PCTBIBLIO

(vraag me niet of het werkt maar het zou zomaar kunnen )

Vergeet niet dat eye tracking helemaal niet nieuw is. Binnen de medische wereld wordt al jaren gebruik gemaakt van eye trackers, oa. voor wetenschappelijke doeleinden, maar ook voor diagnostische doeleinden. Zo heeft de Zeiss visual field analyser al meer dan 25 jaar eye tracking, nog voordat Tobii bestond. Verschillende systemen werken op verschillende manieren. De meeste gebruiken zogeheten Purkinje Images om de kijkrichting te bepalen, maar er zijn bijvoorbeeld ook trackers die het vaatpatroon in je netvlies als benchmark gebruiken.

[Reactie gewijzigd door r03n_d op 8 februari 2022 11:06]

Tobii maakt in de aankondiging duidelijk dat het techbedrijf nog in onderhandeling is met Sony

Ik ben benieuwd waarom ze deze informatie delen. Zou het bijvoorbeeld druk opvoeren zijn zodat Sony zich misschien meer verplicht voelt om de deal te maken? Of tijdelijk/eerder (ligt aan over ze een deal kunnen maken) de aandelen waarde verhogen? Of toch iets anders?

Want je zet jezelf als bedrijf ook in de spotlights. Gaat de deal toch niet komen zullen andere wel afvragen van waarom nou niet. Waren ze te hebberig of zijn hun producten/patenten toch niet goed genoeg?

Interessant!
Ik heb vijftien jaar geleden met de (toen nog relatief dure) HW van Tobii gewerkt, en dat werkte toen al vrij goed. Als ze ondertussen de boel flink wat kleiner en goedkoper hebben weten te krijgen, hebben ze zeker weten een goed product n handen. Nu maar hopen dat ze een financieel interessante deal met Sony kunnen sluiten, en dan hebben we ook fatsoenlijke eyetracking in een flink aantal apparaten.

Het is altijd de vraag of dit soort "niche bedrijven" een interessante speler worden voor de massa-markt, omdat ze daar normaal gesproken helemaal niet op gebouwd zijn. Maar met een grote backer als Sony zou het best wel eens kunnen slagen.

Dat lees je niet vaak, NDA is toch standaard lijkt me. Onderhandelingstechniek?

Als ze nog in onderhandeling zijn dan betekent dat ook dat het uiteindelijke PSVR2 product nog wel even op zich laat wachten..
Het is natuurlijk geen chip die je ergens in drukt en klaar.

En waar onderhandeld wordt kan de uitkomst ook zijn dat ze er niet uitkomen.

[Reactie gewijzigd door WaterFire op 8 februari 2022 06:42]

Goh ik dacht dat de vr2 al zo'n beetje klaar was om met de kerst als pakket deal verkocht te gaan worden.
Dat wordt tevens het moment dat ik overstap van de ps4pro naar de ps5.

De next gen plug and play vr ervaring, kijk ik erg naar uit.

[Reactie gewijzigd door Taipau666 op 8 februari 2022 09:49]

Aangezien PSVR2 foveated rendering krijgt, dacht ik dat eye tracking al lang en breed uitontwikkeld en verwerkt zou zijn in het product.

Tobii, maar ook Ergoneers uit Duitsland zijn 2 fabrikanten met eigen R&D die ook meer dan 10 jaar ervaring hebben met het koppelen van hun eye-tracking oplossingen met professionele motion capture systemen zoals dat van Vicon. Zie deze video uit 2011 met Ergoneers: https://www.youtube.com/watch?v=MGySys5juZo of deze van vorig jaar met Tobii: https://youtu.be/uAL93PNBgfc?t=1375