Tobii en SteelSeries demonstreren gamecontroller met eye tracking

De firma Tobii, bekend van eye-tracking-hardware voor Windows 8-pc's, wil samen met gameaccessoirefabrikant SteelSeries op de CES een eye-tracking-gamecontroller gaan tonen. Een sdk is eveneens aangekondigd.

Het Zweedse Tobii demonstreerde vorig jaar op de CES de REX, een strip waarin camera's zijn verwerkt om oogbewegingen van de speler te volgen. De REX, gericht op Windows 8-systemen, moet op een monitor worden geplaatst. Inmiddels heeft Tobii laten weten dat het op de komende CES samen met gameaccessoirefabrikant SteelSeries komt met een gamecontroller waarin zijn technologie is verwerkt.

De hardware voor de consumentenmarkt, die de naam EyeX zal dragen, komt volgens de twee bedrijven medio 2014 beschikbaar. Ook wordt op de CES een sdk aangeboden voor 95 dollar. In een video is onder andere te zien hoe de eye-tracking-hardware in het spel StarCraft 2 gebruikt kan worden om sneller te navigeren met de minimap.

Helaas!
De video die je probeert te bekijken is niet langer beschikbaar op Tweakers.net.

Reacties (22)

Ik ben benieuwd of het iets gaat worden.
Want je hebt veel games waar je gewoon rond moet lopen. Hoe ze dat dan bijv. aanpakken.
Maar soms kijk ik naar links ergens ik het beeldscherm, terwijl ik een actie uitvoer aan de rechterkant. Als je dan met de eye tracking speelt. Dan gaat ie een actie uitvoeren aan de linkerkant, terwijl de rechter wordt bedoeld. Niet zo handig. Niet dat het altijd gebeurd maar het kan soms .

[Reactie gewijzigd door 0ne_97 op 3 januari 2014 20:25]

De beste toepassing die ik kan verzinnen is Depth of Field, waarbij er ook daadwerkelijk scherpgesteld wordt op hetgeen waar je naar kijkt, ipv waar je crosshair op gericht is. Skyrim heeft geweldige DoF-mods, maar omdat het scherpstellen zo klungelig werkt is het niet ideaal. Met eyetracking zou het goed kunnen werken, mits die zo nauwkeurig is als ze beweren in het filmpje.

Eyetracking ingebouwd in een VR-bril als de Oculus Rift + DoF zou al helemaal geweldig zijn. Heb je ook geen last meer van hoofdpijn omdat je ogen proberen te focussen op iets dat uit focus is

EDIT: Ik zie dat je de sensor bovenop je scherm moet plaatsen. Daar heb ik nu m'n front-speaker hangen, ik mag hopen dat ze daar iets op verzinnen.

[Reactie gewijzigd door lennartje op 3 januari 2014 21:14]

Experimenten met VR brillen hebben aangetoond dat het realistisch scherpstellen heel weinig immersie toevoegd (praktisch geen), want de realiteit is dat de hersenen zich niet druk maken om 'de rest van je beeld' wat betreft scherpte. Ook wat betreft hoofdpijnen lost het totaal niks op, want men krijgt geen hoofdpijn van het wachten op het scherpstellen, maar van bijvoorbeeld het feit dat je ogen steeds in ontspannen toestand verkeren (naja, dat is een relatief zeldzame oorzaak voor VR hoofdpijnen, maar er zijn wel mensen die daar last van hebben en zou je daar fake scherpte aan gaan toevoegen ben ik bang dat het juist erger word want je lost het probleem niet op). Hoe dan ook, mocht je dit interesseren moet je maar op meant to be seen wat rond kijken.

Ik zie dit alleen werken i.c.m. een VR bril. Nu moet je nog je hoofd naar links, rechts, boven of beneden bewegen als je in de game daarheen wilt kijken. Met deze technologie, en mits goed uitgewerkt, kun je op een veel natuurlijkere manier rondkijken in de game. Een ander nut, ook die ze zelf aangeven, zie ik niet.

Ik denk dat je bij een VR bril juist veel meer gebruik wil gaan maken van headtracking dan eyetracking. Eyetracking is evt relevant als je 3D beelden goed wil doen, zoals het perspectief subtiel veranderen als je met je ogen beweegt, maar het grote besturen van het beeld zul je doen met headtracking.
Als je omgeving gaat bewegen omdat je met je ogen naar een hoek beweegt gaan de meeste mensen waarschijnlijk erg misselijk worden.
Hierdoor is het ook nog eens zo dat een VR bril vooralsnog volgens mij met name interessant is voor games/toepassingen waarbij je in de cockpit van een voertuig zit. De headtracking kan je dan rond laten kijken in de cockpit, maar het besturen van het voertuig doe je dan met je controller (of stuur of joystick), wat heel natuurlijk is want in het echt doe je dat ook. Een FPS echter zal een stuk minder goed werken, omdat je daarbij dus 360 graden om je heen moet kunnen draaien en ook rond moet gaan lopen zonder daadwerkelijk te lopen, wat volgens mij heel erg desorienterend zal werken (vermoed ik, maar geen ervaring mee). Dus tenzij ze systemen als de Virtuix Omni verder door ontwikkelen zie ik FPS (en andere first person games zonder cockpits) nog niet echt heel goed gaan werken met een VR bril.

Daarentegen lijkt het me wel echt een supergaaf systeem voor racegames, mechwarrior games, flightsims, spacesims en al dat soort spellen.

Maar om dan nu weer terug te komen op dit eyetracking verhaal. Ik snap niet echt de toegevoegde waarde om dit in games op een beeldscherm toe te passen. Het is een mooi proof of concept, dat zeker, maar uiteindelijk wil je niet altijd dat je scherm beweegt waar je naar kijkt. Zo wil je bijvoorbeeld ook niet altijd omkeren op je fiets als je over je schouder kijkt, of naar rechts sturen met je auto als je naar je radio kijkt bijvoorbeeld (om maar weer eens de eeuwige auto-analogie van stal te halen)
Ofwel het idee is erg leuk, en het is zeker interessante techniek maar ik ben nog niet echt verkocht vwb het daadwerkelijk nut voor games.

Wellicht verkeerd door mij geformuleerd maar ik bedoelde inderdaad de subtiele bewegingen dmv eye tracking in bijv een fps. De demo van Oculus Rift met de Omni en Team Fortress 2 vond ik een hele stap in de goede richting. Volgens mij kan eye tracking hier zorgen voor een nog grotere stap. We shall see

Ik denk dat met een VR bril dit wel een geweldige combinatie zal zijn.
Je maakt met de VR bril inderdaad al gebruik van headtracking maar een van voorbeelden die aangehaald wordt in het filmpje is dat van Skyrim. Je loopt in een bar en je kijkt naar NPC's die op je kunnen reageren omdat je er naar kijkt.
Met enkel headtracking zou je je crosshair of ganse hoofd moeten verplaatsen naar die NPC, nu kan je er gewoon naar kijken.
In een flight sim zou ik een radar beeld beneden kunnen voorstellen, zodra je er naar kijkt/glimpst, dan wordt deze een beetje groter of meer gedetailleerd. Zoals je in de auto je gps in zichtveld (of toch een beetje) hebt en om duidelijker te zijn moet je eventjes je ogen naar daar bewegen.

Op een vaste monitor, zoals er nu ook al headtracking is, denk ik niet dat dit een super geslaagd iets is. Het zal ongetwijfeld wat meer zijn dan enkel een monitor maar je kan je hoofd niet helemaal wegdraaien (om rond te kijken bv) want dan zie je je monitor niet meer. Met een VR bril kan dit dan weer wel.

Dus ik hoop dat de mensen contact zullen opnemen met Oculus VR om toekomstige mogelijkheden te bespreken. (Oculus is uiteraard niet de engiste maar, naar mijn gevoel, zit gans de wereld wel te wachten op die bril/headset)

toch lijkt me dit iets wat eerst goed moet worden uitgewerkt, voordat het ook in de competitive scene, zoals o.a. sc2 wordt gebruikt.

toch lijkt me dit iets wat eerst goed moet worden uitgewerkt, voordat het ook in de competitive scene, zoals o.a. sc2 wordt gebruikt.

Nou ik zie nog niet zo snel een gamecontroller bij starcraft 2. Met starcraft 2 werk je vooral met je hotkeys en je Minimap. (bij starcraft 1 ook nog eens dubbel met je control groups) Dit zou eerder bij spellen zoals CoD, Counterstrike ect worden gebruikt waar richten enzo veel belangrijker zijn.

Starcraft 2 zijn gewoon te veel acties (qua APM) voor een gamecontroller.

bij counterstrike is het op de bomspots echt wel mm per mm bewegen en schieten soms , kdenk dat je fast fps shooters nog even kan vergeten met deze controller tenzei iedereen het gebruikt of hoe ga je anders strafelopen en effectief 180 graden draaien, al kan het draaien wel leuk zijn dan zou ik liever controller hebben voor de voeten die hebben tijdens het fps gamen nog niet veel werk

wel goed van steelseries die hebben al reeds naam en faam met gaming randapparatuur, hebzelf de headset en muis en beide top. dus benieuwd

[Reactie gewijzigd door Rigs op 3 januari 2014 17:04]

Het navigeren op de minimap vind ik zelf een vreemd voorbeeld. Met de EyeX zal de actie op de minimap pas uitgevoerd worden op het moment dat je de (linker)muisknop los laat en niet wanneer je deze indrukt. Het voorbeeld wat verteld werd tijdens het afspelen van de beelden van Skyrim vond ik zelf interresanter.

Het navigeren op de minimap vind ik zelf een vreemd voorbeeld. Met de EyeX zal de actie op de minimap pas uitgevoerd worden op het moment dat je de (linker)muisknop los laat en niet wanneer je deze indrukt. Het voorbeeld wat verteld werd tijdens het afspelen van de beelden van Skyrim vond ik zelf interresanter.

Neem het volgende maar aan van een top 8 dia:
Als je bij sc2 nooit op je minimap kijkt zie je niet alles, en is de kans groot dat je doodgaat door een wave die je niet ziet of cheese. Je beeld zelf moet je alleen op belangrijke posities gebruiken zoals je base, enamy base bij scout, over je main army ect Dus heb je nooit tijd om op andere dingen te kijken zoals een expend van de enamy. Daar is die minimap voor gemaakt. Ook kan je er acties op uitvoeren zoals een scout sturen of acties/abilitys ondernemen. En je kan multiple attacks uitvoeren zoals een drop+marine actie. Of DT in main + expand snipe.

Waarom zal de eye tracker dan niet gebruikt worden bij starcraft 2 ? Omdat je dus op beide je minimap en je beeld kijkt, en ik kijk elke 3 sec naar mijn minimap, maar daar wil ik met mijn beeld niet heen. Mijn beeld wil ik gewoon lekker met de muis besturen. vind is wel zo fijn.

Daarnaast is het een controller, en ooit geprobeerd starcraft 2 te spelen met een Xbox controller ?

[Reactie gewijzigd door rickboy333 op 3 januari 2014 17:05]

Ik ben erg benieuwd, vooral om het feit dat ze claimen het al midden 2014 voor de consumenten beschikbaar maken.

Wel grappig dat een werknemer van Tobii een muis gebruikt van de concurrent van SteelSeries...

[Reactie gewijzigd door Hare Majesteit op 3 januari 2014 17:53]

er bestaat al software zoals facetracknoIR (een soort IRtracker zonder ir maar die de je ogen volgt )
wat bestwel goed werkt is dit niet een beetje het zelfde

die volgt niet de stand van je ogen, maar de stand van je gezicht.

Is het niet zo dat je altijd het hele scherm waarneemt? Ondanks je naar 1 punt tegelijk kan kijken, zie je toch altijd alles tegelijk... En soms klik ik ergens, en kijk ik ergens anders naar...

Maargoed, met een goede implementatie... ik ben erg benieuwd!

Mooi he, hoe onze hersenen ons voor de gek houden Feitelijk ziet maar een heel klein gebied echt scherp: steek je hand uit, en kijk naar de nagel van je duim. That's it! Alles eromheen zie je vast ook wel, maar het is veel meer out of focus dan je zou denken. Onze hersenen verzinnen erg veel bij, en vullen veel in aan de hand van eerder opgedane informatie. Je ziet toch ook niets van de gaten in je beeld die zitten op de plek waar je oogzenuw zit? Die zitten toch nog best op een hinderlijke plek in je blikveld, en toch zie je niks

Zo kun je dus nagaan dat het oog wel degelijk op een relatief klein stukje beeldscherm gericht is.

Ik ben heel benieuwd of dit echt werkt. Het filmpje laat in ieder geval niets zien van werkende technologie. Erg eenvoudig is het allemaal niet: je zit met een bewegend hoofd en bewegende ogen t.o.v van je beeldscherm, en als dat allemaal met camera's werkt, maar een paar pixels om de beweging van de ogen vast te leggen. Lijkt me nogal een uitdaging.

Zijn er trouwens meer mensen die het vreselijk storend vinden dat de synchronisatie van de muziek met het beeld ronduit irritant is? Het is iedere keer met verkeerd en daarom enorm storend...

Ik ben heel benieuwd of dit echt werkt. Het filmpje laat in ieder geval niets zien van werkende technologie. Erg eenvoudig is het allemaal niet: je zit met een bewegend hoofd en bewegende ogen t.o.v van je beeldscherm, en als dat allemaal met camera's werkt, maar een paar pixels om de beweging van de ogen vast te leggen. Lijkt me nogal een uitdaging.

Laat ik het zo zeggen, de Canon EOS 3 camera heeft een optie om met je oog scherp te stellen op iets. Die camera komt uit 1998 en is nog steeds een van hun beste ooit, maar dat is offtopic.
Bij een camera heb je een oog tegen het oculair, dus het is relatief makkelijk te scannen waar je naar kijkt. En toch, het werkte niet 100% en Canon heeft nog steeds geen opvolger voor het systeem, ondanks de enorme sprongen die de technologie in verwerkingscapaciteit en sensoren heeft gemaakt sinds 1998. (Ik wil het nog steeds hebben.)
Dus ik ben benieuwd of dit gaat werken, maar niet optimistisch.

Ik ben benieuwd hoe goed dit gaat werken. Die ontvanger moet precies meten/weten waar jij met je ogen heen kijkt. Wat S3nz idd zegt, dit moet goed worden uitgewerkt en bovendien uitgebreid worden getest, wil het een verkoopbaar product worden.

De trailer is wel heel erg "it's the next best thing". Het is maar eye tracking, het heeft wat leuke features als mogelijkheden maar zolang je er dure hardware voor moet aanschaffen voor beperkte nauwkeurigheid wordt het niks.

Ziet er leuk uit, maar eerst maar is zien hoe dit gaat uitpakken!

Zie mezelf alsnog het liefst met een controller in me hand voor de beeldbuis zonder gedoe van inspanning op een bepaald punt in het beeld.