Microsoft test eyetracking in Windows 10

Microsoft heeft eyetracking toegevoegd aan de Insider-build van Windows 10. De functionaliteit werkt in combinatie met hardware van Tobii en is bedoeld om mensen met beperkingen een Windows-pc te laten bedienen met hun ogen.

De nieuwe functionaliteit heet Eye Control en geeft gebruikers de mogelijkheid om met hun ogen de muiscursor te bewegen en te typen op een onscreen-toetsenbord. Om de functionaliteit te gebruiken is hardware nodig, Microsoft noemt specifiek de Tobii 4C, die 159 euro kost. Volgens Tobii komt er later ook ondersteuning voor andere hardware van de fabrikant.

Tobii biedt al langer eyetrackinghardware aan voor pc's gericht op gamers. Ook sommige monitoren en laptops hebben de hardware van Tobii, die met camera's werkt, ingebouwd. Eye Control zit als bèta in de nieuwste Insider-build van Windows 10. Uiteindelijk moet de functionaliteit beschikbaar komen voor alle Windows-gebruikers.

In een blog schrijft Microsoft over het ontstaan van de functionaliteit. In 2014 organiseerde het bedrijf zijn eerste hackaton en daar is het idee voor bediening via eyetracking ontstaan. Aanvankelijk werd de functionaliteit gebruikt om een ALS-patiënt de mogelijkheid te geven zijn elektrische rolstoel te bedienen via een Surface-tablet met oogbediening. Het Eye Gaze Wheelchair-project won de hackaton en was de aanzet voor Microsoft om de ontwikkeling van eyetracking in Windows 10 verder door te zetten.

Helaas!
De video die je probeert te bekijken is niet langer beschikbaar op Tweakers.net.

Reacties (43)

[aliberto]

Ik heb een Alienware 17 R4 en daar zit Tobii Eyetracking ingebouwd.

Het wordt door vele spellen ondersteund. Tobii probeert het ook aan de man te krijgen door in mijn geval 3 gratis triple-A spellen (Dying Light Enhanched Edition, Sleeping Dogs 2, Asassins Creed Syndicate) te geven in een gespreide periode zeg pak hem beet 3 maanden. Als er een spel wordt aangeboden proberen ze je op een spelende wijze doch informatieve mails en video's jou te leren hoe je met Tobii Eyetracking kan omgaan. Ik kreeg keuze uit 8 spellen waarvan ik het laatste spel mocht kiezen uit 5 spellen na voltooien van een review over de eyetracker.

Het idee van Tobii Eyetracking is dat je ogen altijd sneller zijn dan aansturing van een muis.
Ik heb het in Windows omgeving getest en er zaten zeker wel positieve punten aan. Te denken aan: Als jij je pc verlaat dan gaat de pc op energiezuinige modus of standby. Kijk ik naar de Alienware logo dan komt de pc uit slaapstand. Maar let op, werkt niet feilloos. Soms was pc aandrukken nog sneller. Je moet de juiste licht en positie / afstand hebben eer deze jou detecteert. Ook wordt het scherm automatisch gedimd of feller gezet door de eyetracker. Uiteraard kan je een hoop zelf instellen.

Voordat de Eyetracker is ingesteld wordt er een calibratie gedaan en een ruimtevaart sessie gestart waarbij jij met je ogen meteorieten moet detecteren en vernietigen. Dit duurt maximaal 5 minuten. Ik denk eerder 3 minuten.

Wat ik wel handig vond in Windows omgeving was als jij naar je prullenbak keek en dan kort je muis bewoog/aanraakte dan was je al gelijk op plaats van bestemming. Maar het kan ook met andere dingen zoals rechtsboven het kruisje van je browser enz. Je kan Glaze inschakelen, dit is een doorzichtige bol die toont waarnaar je kijkt, dus bij oogbeweging links en rechts bijv. zie je deze bewegen.
Maar Glaze is niet verplicht om ingeschakeld te hebben, ik kan me best voorstellen dat je het als storend kan ervaren en zodoende werkt de eyetracker nog steeds indien Glaze is uitgeschakeld, alleen worden icoontjes of mappen opgelicht waarnaar je kijkt.

Er zijn geregeld updates voor Tobii Eyetracking. Aan de support ligt het absoluut niet aan. Tevens om het aan de man te krijgen ook niet. Maar wat mij tegenviel was dat als je in Assassins Creed Syndicate heel even een seconde linksboven keek wat daar was, dan kreeg je al onbedoelde bewegingen. Te denken aan dat je camera alle kanten op en neer gaat. Stiekem tijdens het gamen bewegen je ogen overal naar toe.

Wat wel weer tof was, als jij even weg gaat van je pc/spel dan werd het spel automatisch die Tobii Eyetracking ondersteund op pauze gezet. Bij terugkomst weer geactiveerd. In de meeste ondersteunende spellen moet je wel Tobii Eyetracking activeren om er gebruik van te maken.

Persoonlijk vind ik in Windows 10 omgeving beter werken dan in spel omgeving. Er zijn ook nog meer commando's mogelijk maar ik heb hier geen gebruik van gemaakt.
Maar toch heb ik de eyetracker vrij snel uitgezet. Het knipperen van de infrarood lampjes onderaan het scherm was zodoende storend voor mij dat ik het niet meer kon aanzien. Tevens ben ik ook erg vastgeroest aan mijn muis en toetsenbord bediening

Voor mensen die meer informatie willen op Youtube: https://www.youtube.com/results?search_query=tobii+gaming

[Reactie gewijzigd door aliberto op 25 juli 2024 10:08]

[totaalgeenhard]

Hoe zit het met mensen met een bril?

Kun je tracking ook voor andere dingen gebruiken zoals analyse hoe iemand naar content kijkt.

[GORby]

Met een bril werkt het ook, al kunnen eventuele reflecties in de glazen het moeilijker maken voor de camera's/software. Bij mij werkt het ongeveer even goed met of zonder bril, maar da's dan met een lichte afwijking voor astigmatisme.
Heb wel eens iemand met ongeveer -5 afwijking gehad die hem testte, en dat werkte ook nog goed.

[totaalgeenhard]

Ik zat te denken glazen, extra dun vertekend en verschillende anti-kras / reflectie lage, die het zouden verpesten.

Aan de andere kant -5 is wel erg veel. Met cilinder toevallig ?

Maar ik heb al voor mezelf besloten.

Bedankt voor je reactie.

[aliberto]

Ik moet je wel bekennen. Het is meer een gimmick dan echt een musthave van €149. Het is nog niet feilloos. Zie ook conclusie van deze review: https://m.youtube.com/watch?v=a9r1cbSJDiY

Geeft ook beetje alle mogelijkheden weer.

[GORby]

Het is inderdaad -5, en met maximaal verdunde glazen, anti-kras en anti-reflexi, weliswaar zonder cilinder.

Ikzelf draag er eentje met enkel (vrij lichte) cilinder-correctie, en dat werkt prima. Over de combinatie van beide kan ik niet direct iets zeggen.

[totaalgeenhard]

Ik ga het gewoon proberen bedankt voor je antwoord.

[BeosBeing]

Aan de andere kant -5 is wel erg veel. Met cilinder toevallig ?

-6 hier, met cilinder en niet de allerdunste glazen (maar wel dunner) en weet van iemand die -13 heeft.

-13 geeft wel flinke vertekening (wen je aan) maar die persoon droeg normaal lenzen. Boven -19 moet je trouwens beide combineren, lenzen en bril.

-5 valt dus echt nog wel mee.

[Reactie gewijzigd door BeosBeing op 27 juli 2024 03:50]

[aliberto]

Dit zijn hele specifieke vragen waar ik geen antwoord op kan geven. Misschien Tobii klantensupport benaderen, hopen dat je dan antwoord op je vragen krijgt.
Ben wel benieuwd naar de uitkomst hiervan.

Ik heb tevens geen bril voor dichtbij, kan dus niet testen voor je. Maar als je ervaring wilt opdoen met Tobii Eyetracking dan ben je van harte welkom.

[totaalgeenhard]

Bedankt voor uitnodiging.

Ik ga hem gewoon bestellen.

[Da_Teach]

Ik mis wel de optie om de tracker automatisch uit te zetten als een game opgestart wordt welke niet ondersteund wordt.

Ik speel best veel Mass Effect Andromeda op mijn 17R4, en soms veroorzaakt die "staar + lichte klik" actie er dus voor dat mijn beeld ongecontroleerd verspringt want ME:A ondersteund geen Tobii.

Verder vind ik het wel grappig, vooral het scrollen waar je kijkt is funny, hoef je niet te zoeken waar je muis is, gewoon scrollen en het window waar je naar kijkt scrolt (soms is dat even wennen op sommige sites met veel scrolbare delen)

[Technomania]

+3 voor deze prachtige uitleg.

Je moet de juiste licht en positie / afstand hebben eer deze jou detecteert. Ook wordt het scherm automatisch gedimd of feller gezet door de eyetracker

En dan moet je dus ook iedere keer als je eyetracker wil gebruiken opnieuw kalibreren? Er zijn natuurlijk veel variabelen. Is het overdag of avond? Is het zomerse zonnige dag of ergens in December?
Heb je misschien een jointje gerookt dat je ogen halfopen zijn?

Of kan je profielen instellen? aanmaken?

edit Had andere reactie niet gelezen....

[Reactie gewijzigd door Technomania op 27 juli 2024 03:50]

[Drumatiko]

Dat is een mooie aanvulling op het nieuwsbericht, mooie post Aliberto!

Voordat de Eyetracker is ingesteld wordt er een calibratie gedaan en een ruimtevaart sessie gestart waarbij jij met je ogen meteorieten moet detecteren en vernietigen. Dit duurt maximaal 5 minuten. Ik denk eerder 3 minuten.

Kleine aanvulling; volgens mij is die minigame niets meer dan een korte demonstratie. Je kunt namelijk ook nog voor kalibreren kiezen waarbij je gedurende een paar seconden beurtelings naar 3 stippen op je scherm moet kijken (met een minuut ben je hier wel mee klaar). Op zich hoef je ook niet steeds opnieuw te kalibreren, (tenzij je net als ik soms de camerastrip van je beeldscherm af stoot*)

*Enkel van toepassing bij het opbouwsysteem.

[Technomania]

Interessant!

Blij dat men bezig is met nieuwe technieken om mensen met een beperking te kunnen helpen.

Wat ik mij wel afvraag is in het filmpje op 1min54sec zie je een persoon met een zonnebril. Dan zijn de oogbewegingen niet zichtbaar?

[Verwijderd]

Ik ben meer benieuwd naar 0:52 iemand met een scheel oog..

Wel goed dat ze hiermee bezig zijn.

[avec_style]

wellicht een optie om te calibreren?

[aliberto]

Die heb je zeker, je kan zelfs meerdere profielen aanmaken. Te denken aan meerdere gebruikers. Tenminste dit is bij mijn Dell Alienware 17 R4 mogelijk

[Verwijderd]

Dan heb je nog 50% kans.

[SherlockHolmes]

Zou toch wat zijn als die muis de hele tijd heen en weer schiet

[CoreIT]

^{Zo wordt solo Pong ineens een stuk interessanter.}

OT: Ik neem aan dat het ook gewoon voor 1 oog kan werken?

[Reactie gewijzigd door CoreIT op 27 juli 2024 03:50]

[stresstak]

Ik ben meer benieuwd naar 0:52 iemand met een scheel oog..

Twee monitoren ?

Bestaat het al niet ergens ? Stephen Hawking doet toch ook iets met de ogen ?

[MAX3400]

Wat ik mij wel afvraag is in het filmpje op 1min54sec zie je een persoon met een zonnebril. Dan zijn de oogbewegingen niet zichtbaar?

Irisscanners maken veelal gebruik van infrarode afbeeldingen van jouw oog. Dat is dus ander licht dan wat door zonnebrillen, leesbrillen of wc-brillen wordt tegengehouden. Het is dus zeer goed mogelijk om deze eye-tracking te gebruiken terwijl je een dubbel-gepolariseerde, extra mooie zonnebril hebt.

[Chuk]

De functionaliteit werkt in combinatie met hardware van Tobii en is bedoeld om mensen met beperkingen een Windows-pc te laten bedienen met hun ogen.

...

Aanvankelijk werd de functionaliteit gebruikt om een ALS-patiënt de mogelijkheid te geven zijn elektrische rolstoel te bedienen via een Surface-tablet met oogbediening.

Maar ze willen dit dus toegankelijk maken voor iedereen?

[Reactie gewijzigd door Chuk op 27 juli 2024 03:50]

[Patrick-58]

Toegegeven, het artikel geeft de strekking van de video niet echt weer. De video laat zien hoe met behulp van oogbewegingen grote delen van Windows gebruikt kunnen worden (emails schrijven, klikken, etc.). In de video komt naar voren dat ze Windows in zijn geheel bedienbaar willen maken met deze oogbewegingen; inderdaad voor iedereen.

[Reactie gewijzigd door Patrick-58 op 27 juli 2024 03:50]

[MAX3400]

[...]
Maar ze willen dit dus toegankelijk maken voor iedereen?

De eye-tracker hardware is al voor iedereen te koop en kan je onder andere al gebruiken om games te besturen zoals Watch Dogs 2, Assassins Creed en Flight Simulator.

Wat Microsoft nu beschikbaar wil maken, is dat er dus een "geintegreerde set commando's" wordt gemaakt die op (bijna) elk Windows OS geinstalleerd kan worden waardoor iedereen, in het bezit van de eye-tracker-hardware, op dezelfde manier het OS kan bedienen.

Dit moet wel tot in den treure doorgetest worden; hoe vaak komt het wel niet voor dat je CTRL wilde indrukken maar SHIFT deed en ineens niet 2 losse bestanden maar 20 tegelijk selecteerde? Of dat je scrollwiel te snel stond of dat (door Windows Themes) je het verkeerde kruisje aanklikte en een ander programma afsloot?

[Jelle.v.A]

Ik vraag me af hoe eyetracking gaat werken bij de man op 1:37

[Boost9898]

Net zoals bij alle andere mensen?

[aliberto]

In feite deed ik maximaal 3x caliberen omdat ik voor mijn gevoel niet het beoogde resultaat behaalde. Het viel mij op dat als er veel zonlicht is dat detectie minder precies werkte.
Dit verschijnsel zie je ook bij infrarood afstandsbedieningen van televisie of radio bijvoorbeeld. Soms wil het werken als je een voorwerp voor de ontvanger van het apparaat plaatst. Zodat het beter gezien wordt. Bij een tv heb ik toen een kartonnen vierkant gemaakt met 2 open zijdes zodat het signaal beter ontvangen werd.

Je kan inderdaad meerdere profielen aanmaken in de Tobii Eye Tracking software, want je kan niet van een ideale wereld uitgaan. Mensen delen wel eens hun pc met anderen. Ook heb je te maken met licht variabelen. Tevens computert iedere gebruiker en zeker bij een laptop met verstelbare scherm op zijn eigen hoogte en afstand.

Helaas is de software nog niet zo intelligent dat deze een ander persoon automatisch detecteert en juiste profiel hiervoor zal gaan toepassen.
Dit moet allemaal door de gebruiker handmatig gedaan worden.

's avonds werkt de Eyetracker naar mijn mening op zijn best, of in donkere omgeving. Maar dan vallen de knipperende infrarood lampjes juist ook meer op, waar ik me juist aan stoorde.

[TheMerciful]

Heeft iemand ook deze bug? Als ik fullscreen aan zet kan ik niet terug naar normale weergave

[deethan]

In Edge?
Esc, en dan verkleinen en weer vergroten.

[Tweaker1234]

Rechtsonder zie je 2 pijltjes. Om naar full screen te gaan en weer uit full screen te gaan.
(Edge browser hier, maar het heeft volgens mij niks met een browser te maken)

[TheMerciful]

De pijltjes en escape ken ik hahah, tuurlijk probeer ik dat eerst maar niks werkt, behalve pagina refreshen..
Soms irritant
p.s. in chrome. Edge is k*t


edit:
Thuis werkt het, alleen als ik op werk kijk niet want we werken via citrix xenapp. Foutje zal wel daar ergens wezen.

[Reactie gewijzigd door TheMerciful op 27 juli 2024 03:50]

[pepijntb]

Mooi dat Microsoft daar mee bezig is. Misschien toch maar eens kijken naar aandelen

[SSDtje]

"De nieuwe functionaliteit heet Eye Control en geeft gebruikers de mogelijkheid om met hun ogen de muiscursor te bewegen en te typen op een onscreen-toetsenbord.
Microsoft noemt specifiek de Tobii 4C, die 159 euro kost.
Volgens Tobii komt er later ook ondersteuning voor andere hardware van de fabrikant."

Werkelijk geweldig dit soort oplossingen, hoe meer hoe beter.
Maar vindt het toch altijd weer een beetje jammer dat een bedrijf als deze, hier gelijk weer geld aan wil gaan verdienen.
En begrijp me nu niet verkeert, dat dit in een beginfase het geval is kan ik namelijk prima inkomen, de ontwikkel kosten moeten immers ergens weg komen.
Maar wanneer deze techniek eenmaal uit de kinderschoenen is gegroeid, zal het toch geweldig zijn om als bedrijf zoveel mogelijk mensen met een beperking hier de beschikking over te geven.
Ze zijn immers al beperkt in hun doen en laten, dus zal dit toch alleen al super zijn als ze hiermee een beetje contact kunnen houden met bijvoorbeeld hun naaste familie, of familie die niet zo even naast de deur woont.
Ik hoop dan ook van harte voor deze mensen dat deze kosten, mochten deze zo blijven, terzijde tijd op de verzekeraar te verhalen zijn.
Hoe dan ook, we gaan het meemaken.

Ik ben voor in elk geval (dat de kosten uiteindelijk te verhalen zijn op de verzekeraar)

[Maximize]

Voor mensen met spraakproblemen is een laptop/PC met een Tobii 4C in combinatie met het gratis Optikey of Grid (€500) een behoorlijk goed alternatief wanneer er geen specifieke (dure) professionele apparatuur aanwezig is of aangeschaft kan worden.

[Starr0w]

Heb zelf de Tobii 4C. Leuk maar is nog net iets te onnauwkeurig. Ingame kan je bvb mikken met je ogen maar door de onnauwkeurigheid is dat echt geen optie. The Division, Wildlands... goede integratie maar voor het mikken een dikke NO GO.
Verder zeer leuk om te gebruiken in Windows en voor sommige onderdelen in games zoals cover to cover in The Division of vijanden taggen met je drone in Wildlands.
Laat de betere support maar komen!

[TMDC]

Interessante vooruitgang. Ik heb voor onderzoek wel eens met 'oude generatie' eyetrackers gewerkt, en dat was een pain in the ass. Dit maakt het allemaal erg laagdrempelig, en dan heb ik het niet over gamen maar over o.a. niet-intrusief usability onderzoek