Qualcomm en Tobii gaan samenwerken aan eyetracking voor vr

Qualcomm en Tobii zijn een samenwerkingsverband aangegaan op het gebied van eyetracking voor virtual reality. De twee bedrijven gaan een referentieplatform aanbieden van een vr-bril met eyetracking.

De bedoeling is dat er een ontwerp komt van Qualcomms vorige maand aangekondigde Snapdragon 845 Mobile VR Platform met daarin Tobii's EyeCore-sensoren en -asic geïntegreerd. Qualcomms referentievoorbeeld van een standalone-vr-bril met de Snapdragon 845-soc moet daarbij ook overweg kunnen met de eyetrackingsoftware van Tobii. Fabrikanten kunnen hun standalone-vr-brillen baseren op dit referentieontwerp.

De toevoeging van eyetracking maakt foveated rendering mogelijk, waarbij de bril prioriteit kan geven aan het deel van het beeld waarop de ogen van de vr-brildrager zich richten. Daarnaast is de afstand tussen de pupillen te meten met eyetracking, waarop de weergave zich kan aanpassen. Verder noemt Tobii voordelen op het gebied van oog-handcoördinatie en de mogelijkheid tot oogcontact in virtual reality. Tobii probeert eyetracking al jaren tot gemeengoed te maken, onder andere door zich op toepassingen voor gaming te richten.

Reacties (33)

Vooral het verlichten van de workload door alleen het gedeelte in het midden van je zichtveld voluit te renderen lijkt mij een voordeel voor de huidige VR brillen.

Ze kosten per stuk al een vermogen, maar je bent ook nog eens een GPU nodig van minstens dezelfde prijs wil je niet naar een misselijkmakende diashow kijken.

Vergeet echter niet dat ook hier weer 'kosten' (in de vorm van nodige performance) aan verbonden zijn, het is (zoals paltenburg zegt) zeker iets wat we nodig zullen hebben om VR nog realistischer te maken, maar de meeste mensen (en zelfs fabrikanten..) lijken zich een beetje te verkijken op de te winnen prestaties.

Uiteindelijk moeten die pixels nog steeds updaten natuurlijk, en ze kunnen dan wel zwartwit (je ziet eigenlijk alleen met het midden van je oog kleur en de rest van je blikveld word door je hersenen ingevuld) maar als ze niet veranderen als jij je hoofd beweegt dan is de hele illusie meteen weg, dus uiteindelijk moeten die pixels nog steeds gewoon updaten, en erg veel aan de resolutie kunnen ze ook niet veranderen, want uit je ooghoek zie je immers ook verandering/beweging (juist nog meer dan van waar je op dat moment naar kijkt)

Al met al zal het zeker een goeie verbetering zijn, en een prestatiewinst opleveren, maar die prestatiewinst zal vrij klein zijn, en steeds kleiner worden tot een punt waar het overbodig word omdat je toch al 16k pixels per oog ofzo zit te pushen (toekomst dromen hehe) dan heb je weinig meer aan dat er iets minder kleur of detail in sommige delen van het scherm zit, dat is dan meer energie-verbruik-winst dan prestatie-winst.

[Reactie gewijzigd door 434365 op 16 maart 2018 16:07]

Ik meen wel eens ergens gelezen te hebben dat het niet zozeer te maken heeft met hoe vaak er ververst moet worden, maar met name in hoe gedetailleerd er gerenderd kan worden.

Als je maar 25% van het beeld op volle resolutie en met de hoogste kwaliteit textures (en andere techno babbel) hoeft te renderen, dan hou je dusdanig veel performance over dat het behalen (en behouden) van een hoge fps makkelijk is.

Als je dan ergens anders heen kijkt is de volgende frame (met het hoge kwaliteit-deel weer op de juiste plaats) zo snel gerenderd, dat je ogen nooit de tijd krijgen om een laag kwaliteit beeld te zien.

Dat zou het idee moeten zijn dan natuurlijk, als er ook maar iets vertraging oplevert zou dit al niet meer werken natuurlijk.

Het probleem is dat schermen en ogen nou eenmaal anders werken, als een scherm een lagere resolutie heeft krijg je kartel randen, in je ooghoek zijn dingen (in de echte wereld) nog steeds net zo recht/rond als in het midden van je oog, zelfs al krijgt je ooghoek veel minder info.

Dat is maar even simpel vertaald naar 'oh dan kan je dus je ooghoek een lagere resolutie voeren' maar er word vergeten dat de vorm van iets dan veranderd, wat je volgens mij gewoon zal opmerken tenzij de scherm resolutie op een of andere manier gelijk is aan hoe delen van je ooghoek (vast per persoon verschillend) stukjes info krijgen.

In onze ogen zit immers geen veld van sensoren op gelijke afstanden, het is geen camera, het is een soort semi random gebeuren van een veld van allerlei sensoren door elkaar met de meeste in het midden, komt de precieze vorm & plaatsing van het oog in het schedel ook nog om de hoek kijken, want dat verschilt dus ook per persoon, en daardoor hebben sommige mensen meer of minder 'field of view' dan anderen, word het al met al een behoorlijk ingewikkeld (en per persoon semi-uniek) verhaal om dan goed te gaan bepalen welke pixels op het scherm je nodig hebt om met een lage resolutie een hoog resolutie object in een ooghoek te krijgen.

Lang verhaal kort, volgens mij is de te behalen performance winst dus minimaal, omdat je waarschijnlijk maar heel weinig kan veranderen/optimalizeren voordat het op gaat vallen, of je moet in een winkel met een specialist zo'n VR bril gaan aanmeten en dat zie ik niet echt gebeuren. Het zal dus vooral ingezet worden voor dingen als DOF en gameplay.

Ik denk zelf dat je ernaast zit, en dat de te behalen prestatie winst gigantisch is, en ook een keiharde noodzaak voor VR is. Natuurlijk zal er wat marge moeten worden ingebouwd wat betreft FoV, maar dat is denk ik gerommel in de marge (haha) tov de totale prestatiewinst.

Ik begrijp ook niet je verhaal dat je met een lage resolutie een hoog resolutie object wil maken ofzo? Ik zou zeggen, kijk recht naar je scherm, en focus nu in je hoofd op iets anders in je blikveld, maar blijf naar je scherm kijken. Ik weet niet hoe het voor jou is, maar voor mij is het daar allemaal een vage rommel.

Je ziet nog steeds dingen uit je ooghoeken, dus je moet inderdaad niet doen dat je allemaal grote kartels daar hebt die bewegen. Maar een logischere optie zou zijn in je ooghoeken in een lage resolutie te renderen, en dan gewoon een extreem simpel anti-alias filter eroverheen, zo eentje die dingen vooral wazig maakt. Ik vermoed dat dat goed zat is voor je ooghoeken, en je krijgt niet ineens kartels waar je hersenen op reageren.

Sowieso als dat systeem trackt waar je naar kijkt, weet het dus ook waar je ogen zitten, dus dat is al geen probleem en als het nodig is kan er voor gecompenseerd worden. En zijn er echt enorme verschillen tussen hoe groot FoV voor verschillende mensen is? Want als de ene +10% zit tov gemiddeld, dan is dat gewoon marge wat in je systeem zit. Desnoods als het redelijk te doen is maak je het gewoon instelbaar in je opties.

Al met al zal het zeker een goeie verbetering zijn, en een prestatiewinst opleveren, maar die prestatiewinst zal vrij klein zijn, en steeds kleiner worden tot een punt waar het overbodig word omdat je toch al 16k pixels per oog ofzo zit te pushen (toekomst dromen hehe) dan heb je weinig meer aan dat er iets minder kleur of detail in sommige delen van het scherm zit, dat is dan meer energie-verbruik-winst dan prestatie-winst.

Dit is juist waarom juist in de toekomst het keihard nodig is. Als je 16k displays per oog hebt, hoe ga je dat in hemelsnaam aansturen op 100fps? Ja, GPUs zijn tegen die tijd sterker, maar als een monitor tegen die tijd standaard 4k @ 100Hz is, dan moeten VR games nog steeds zwaar achterlopen qua grafische pracht omdat er gewoon heel veel meer pixels zijn om te renderen. En dat voorkom je met eyetracking.

[Reactie gewijzigd door Sissors op 16 maart 2018 17:16]

edit :Veel beter uitgelegd dan wat ik schreef

[Reactie gewijzigd door bigbadbull op 19 maart 2018 11:43]

Ik bedoel, je kunt natuurlijk gewoon over het hele scherm een hoge resolutie hebben, maar het is niet erg als er bijvoorbeeld geen AA wordt toegepast op hetgeen in je ooghoek zichtbaar is, je ogen kunnen het toch niet zien.

Wanneer je vervolgens je ogen draait is de eerstvolgende frame op de voorheen niet AA'd plek ineens wel AA'd en lijkt het alsof het altijd al scherp was.

Dat is inderdaad wel goed mogelijk, en waarschijnlijk ook de richting die het op zal gaan, optimalisatie aan hardware kant of high lvl software (drivers) waar ik een beetje op door borduurde (dat is immers waar zaken als res worden geregeld en grote perf winst word behaald) zal dus volgens mij wel minimaal worden.

Ik ben het hiermee oneens: ik denk dat foveated rendering wel degelijk een groot verschil kan maken.

Het is makkelijker om een render op lage resolutie en een post-process high-res blur op te zetten, dan alles in hogere resolutie te zenden. Ook kan zo'n post-processing effect op het laatste moment in de headset gebeuren indien gewenst.

Zie bvb ook dit filmpje:
https://youtu.be/L_I5Dxdbjqg

Je overdrijft wel een beetje, mijn 1060 6GB doet het uitstekend in VR en zelfs met mijn oude 770 was er een boel te spelen (maar niet alles, daarom heb ik een nieuwe kaart gekocht). Ok, de GPU markt is een beetje achterlijk momenteel waardoor het lastig wordt hem voor de 300 te vinden waar ik hem voor gekocht heb (wat ik toen al duur vond), maar om het een vermogen te noemen? Tja, dat is voor iedereen anders natuurlijk, maar toch...

Maarja, de 1060 6GB is op dit moment dan wel achterlijk duur voor een 'net geen midrange' kaart (1070 is de midrange eigenlijk).

Mja, het zijn die achterlijke prijzen momenteel inderdaad, die vertroebelen de boel gewoon enorm. De 1060 6GB had eigenlijk echt niet meer dan 250 mogen kosten ondertussen, maar ja... Hopelijk kan de markt zich binnenkort weer recht trekken (voor gamers, als je videokaarten verkoopt vind je dit misschien best leuk).

Juist, want voor die prijs zou ik em wel kopen ja, als vervangen voor mn 760.. Voor mij is dan ook de prijs van de GPU's meer de reden waarom ik nog de Vive/Rift heb laten liggen. Gebruik mn DK2 sowieso amper.

Mwhah, wil je het spel op 90fps hebben en daadwerkelijk een beetje immersive qua graphics dan moet je al snel denken aan een 1070. Ik wil absoluut niet beweren dat het noodzaak is, maar het meer dan halveren van de effectieve resolutie door maar een klein deel van het spel fatsoenlijk te renderen zou een enorme boost geven qua performance, en daarmee de toegankelijkheid van VR.

Een vermogen, lol als je 16 bent en bij pappie en mammie woont misschien. Een Rift is even duur als een gemiddelde monitor en voor VR is een mid-range videokaart prima.

Jij wil beweren dat de gemiddelde computer is voorzien van een monitor omtrent de €400 en een GPU van diezelfde prijs? Een 1060 (>€350) is toch echt het minimale om een beetje te kunnen genieten van een soepele VR ervaring (Lees; volle resolutie @ 90FPS), maar voor de echte immersive ervaring is de stap naar een 1070 geen overbodige luxe.

We hebben het hier over meer dan 700 euro. Dat is geen bedrag wat de gemiddelde Nederlander zo even kan missen.

Een beetje sparen kan ook, een hobby mag ook wat kosten. Een tv kost je ook 700€. Een smartphone van 800€ vinden we ook normaal, om nog maar even iemand te quoten uit een recent high-end smartphone artikel dat ik hier of bij de buren gelezen heb: "ik mag binnenkort weer een nieuwe uitkiezen". Je mag niks uitkiezen, het is een dure lening voor een high-end apparaat met specificaties die bijna niemand voor normaal gebruik nodig heeft. Kwestie van prioriteiten stellen.

[Reactie gewijzigd door dezwarteziel op 17 maart 2018 11:41]

Dat is geen bedrag wat de gemiddelde Nederlander zo even kan missen

En daar gaat wat fout, of bij de inkomsten, of bij de uitgaven.

Het is niet wat je verdient, het is wat je uitgeeft dat telt. Maar je hebt helemaal gelijk.

[Reactie gewijzigd door dezwarteziel op 17 maart 2018 11:37]

Alleen een mid-range kaart is wel ff ruim meer dan 350 euro's, en dan heb je dus maar een midrange kaart waarbij je nog een hoop settings omlaag moet zetten.

Ook het automatisch corrigeren voor de afstand tussen je ogen, en scherpte(on)diepte op basis van je focus zijn dingen die het echt VR 2.0 maken imo.

Laat ze maar eerst ff eye tracking normaal in Windows werkend krijgen, vaak genoeg gehad dat tijdens het game Vjoy stopt met tobii herkennen, of anders om.

Tracking werkt goed (niet altijd) alleen voelt het nog een beetje te gimmicky.

Ik gebruik het in Star citizen, flight simulator kingdom come deliverance, the division, arma 3 en nog wat spellen/simulatie.

Windows feature update 1709 heeft Windows hello kapot gemaakt, anders kon ik nog inloggen met me ogen

Het vervelende is dus dat Alienware je naar tobii stuurt en tobii je weer naar Microsoft en Microsoft weer naar tobii.

Als het wat beter werkte (en minder vaak raar deed) had ik het voor veel meer gebruikt als alleen gamen. In Windows zelf kan je ook met je ogen Windows besturen (typen, navigeren, etc) alleen zit dat nog in de beta.

Ben benieuwd hoe het in headsets eruit gaat zien.

Voor de mensen die niet kunnen wachten en een htc vice hebben:
https://www.tobiipro.com/product-listing/vr-integration/

Ik heb daar persoonlijk geen last van, maar ik heb gewoon de externe 4c. Van wat ik lees op de forums en hun Discord is dat de Alienversie wel een hoop problemen heeft.

Terwijl het geen aparte tracker is. Mijn eye tracker is ook gewoon de 4c, alleen intern. Er is niet veel verschil tussen de normale tobii 4c en die van Alienware, behalve de software maar hardware is identiek ! Ik heb gelezen dat het door Windows zelf komt, en dat 1603 opnieuw installeren weer kan helpen.

Maar ik heb zo veel ECU management software, software van het bedrijf waar ik werk en gewoon persoonlijke dingen erop staan, dat ik er wel paar dagen mee bezig ben alles opnieuw in te stellen.

Ik vind 1709 zoiezo kut vergeleken met 1603. Alle fall creators updates zijn tot nu toe brak, en hebben me cinebench scores naar beneden getanked.

Ik wacht nog even op tobii/Alienware. Veel kan ik jammer genoeg niet doen

Nou, die mensen met een vive zullen dan toch moeten wachten, want je kunt die dingen niet los kopen, zoals ik lees is het een hele vive headset die ze leveren waarin zij dat hebben geintegreerd.. en zo simpel kun je zo'n headset ook niet krijgen..

https://www.vrheads.com/e...-heres-what-you-need-know

Kijk eens naar de datum van het artikel, en kijk nu eens gewoon op de huidige productpagina van tobii.. Dan geloof ik toch eerder de huidige productpagina van tobii dan bijna een jaar oud artikel.
overigens de quote van het artikel zelf:

Tobii's eye tracking VR dev kit is an all-in-solution built into the "HTC Vive Business Edition". With a "Tobii EyeChip" SoC (System on Chip) integrated directly into the headset, its eye tracking technology is managed independently from the headset, via the additional processing capabilities.

En die aGlass is nog steeds alleen voor developers en helemaal niet zo simpel te krijgen (en zeker niet goedkoop).

Ik ben benieuwd wat voor nieuwe features dit gaat meebrengen in videogames als dit de nieuwe norm wordt, ik kan me voorstellen dat je kan gaan aimen door middel van kijken maar weet niet of dit zal werken bij fast paced games. Hoop wel dat ze je ogen kunnen volgen zonder er al te fel licht in te schijnen aangezien het nogal donker is in een VR-bril

Voor als iemand toevallig zit te denken aan de Tobii 4c. Ik heb hem vorige week gekocht. De eye tracking werkt perfect, de head tracking is een drama.

Daarnaast is de afstand tussen de pupillen te meten met eyetracking, waarop de weergave zich kan aanpassen.

Leuk en aardig, maar zolang de lenzen op de fixed positie blijven (en eventueel de losse displays ook), heb je er weinig aan. Enige wanneer het perfect is, is dus als dan ook de lenzen/schermen automatisch correct geplaatst worden.. Verkeerde afstelling van de lenzen (focus/ipd) is eigenlijk 1 van de grootste oorzaken van motion sickness, framerate en resolutie lopen daar ver achter.. En mensen die het niet geloven dan zeg ik altijd: Zet maar eens een (lees)bril (niet voor jouw sterkte) en ga daar eens goed mee rondbewegen, vomittin in 3... 2... 1.........

Jongens, ik weet het, je houdt van vulgaire meisjes
Hoe zit het met online-communicatie met hen zonder grenzen? Hier http://datememan.ru kun je geile echte meisjes uit verschillende landen vinden.

HTC + 7Invensun zit ze op de hielen.

video is een jaar oud, en ze hebben eigenlijk nog niets nieuws laten zien sinds die tijd (op de CES wel DKII), en om ze te bemachtigen moet je nog moeite doen ook, naast dat ze dus ook nog eens een hoop kosten.