Google introduceert app die gebruikers met oogbewegingen laat communiceren

Google introduceert zijn Look to Speak-app, die gebruikers via oogbewegingen verschillende termen laat selecteren, die vervolgens hardop worden uitgesproken. Het gaat vooralsnog om een 'experimentele' app, die werkt op telefoons met Android 9.0 of hoger.

Google brengt de app uit als onderdeel van het Start with One-project op zijn experimentenplatform, zo meldt het bedrijf. Look to Speak is voornamelijk bedoeld voor gebruikers met een motorische- of spraakbeperking. De app laat gebruikers via oogbewegingen kiezen uit verschillende termen, die vervolgens hardop uitgesproken worden door de app. Daaronder vallen standaard bijvoorbeeld zinnen als 'hoe gaat het?', 'hallo', of 'water, alsjeblieft', hoewel de termenlijst ook kan worden aangepast.

Deze termen worden vervolgens opgedeeld in twee verschillende lijsten, die respectievelijk links en rechts op het scherm worden getoond. Gebruikers kunnen vervolgens uit deze lijsten kiezen door met hun ogen naar links of rechts te kijken, waarna de termen in die lijst opnieuw worden verdeeld over het scherm. Gaandeweg worden de getoonde lijsten steeds kleiner, totdat er slechts twee termen overblijven. Het selectieproces kan daarnaast geannuleerd worden door naar boven te kijken.

Gebruikers kunnen onder andere de 'gevoeligheid' waarmee de oogbewegingen worden opgepikt aanpassen. Het instellingenmenu waarin gebruikers aanpassingen kunnen doen, kan niet via oogbewegingen worden bediend, zo blijkt uit de video die Google publiceert. Verder meldt het bedrijf dat gegevens uit de app niet worden gedeeld met andere diensten. Look to Speak is gratis te downloaden in de Play Store.

Reacties (31)

Ik kan begrijpen dat als je dit een hele dag lang gebruikt, je aan het einde van de dag ontzettend moe bent van de oogbewegingen die je hebt gemaakt

Dat is gewenning, ik werk veel met de apparatuur van Tobii, de eerste 1,5 week dat ik er mee werkte was ik inderdaad gauw moe, en snel misselijk. Maar daarna is het voor mij standaard geworden, en gebruik ik het toetsenbord nauwelijks nog op mijn werk.

Wat gebruik je juist en hoe gaat het in zijn werk?

Ik gebruik de Tobii Eye Tracker 4C, die steek je simpel in je USB poort, je download vervolgens de bijgeleverde software, je kalibreert de eye tracker en je bent klaar om te gaan. De eye tracker zorgt ervoor dat waar ik ook kijk, de muiscursor daarheen gaat.

Verder kun je in het programma nog instellingen aanpassen, zoals de snelheid waarmee een klik moet worden gesimuleerd (bij mij staat het op 0,5 seconden). Een nadeel is wel dat je daarvoor standaard het schermtoetsenbord in beeld moet hebben.

Een nog ander nadeel is dat de kans bestaat dat je kalibratie verloopt op het moment dat je tegen de eye tracker aan stoot (afhankelijk van hoe erg de eye tracker verplaatst), ik heb dit opgelost door hem gewoon standaard bovenop mijn scherm vast te plakken met dubbelzijdig tape.

Waaat? Begrijp ik het goed dat je "typt" met dat ding? Dat je hem als mouse gebruikt, OK, maar ermee typen, b.v. je reacties hierboven?

Het bericht hierboven heb ik getypt met een ouderwets toetsenbord, maar (bijna) alles op het werk doe ik inderdaad met de Eye Tracker waaronder typen.

Als ogen het enige is wat je kan bewegen, neem je dat voor lief. En na veel training zal dat ook wel minder worden.

Net even getest, na een minuutje deed het al pijn. Maar het is interessante techniek.

Doet me denken aan Dasher
https://www.bltt.org/software/dasher/index.htm

Dat gaat alleen letter voor letter. Hoe meer je een kant op kijkt hoe sneller de letters komen. De grootste kans letters komen in het midden. Relatief eenvoudig zinnen schrijven. Hier een voorbeeld video van 10 jaar terug:
https://youtu.be/x-WLiY2p1LQ

Bedankt dat je dat deelde, super interessant om te zien! Kan me goed voorstellen dat dat geweldig zou kunnen werken voor sommige mensen. Heeft natuurlijk een veel nauwkeurige oog tracker nodig, dus ben sowieso er ook van voorstander dat we meer en meer simpele 'slechtere' maar meer toegankelijke toegankelijkheid services zien op smartphones, maar super gaaf om te zien. Vraag me oprecht af hoe dergelijke opties vergelijken in snelheid voor ervaren 'oog typisten'.

Ik heb het weleens met de muis geprobeerd of als applicatie op je mobiel. De nauwkeurigheid hoeft juist niet heel precies, als je maar richting een blokje stuurt. Er wordt alleen gekeken naar je input, gelijk aan een controller joystick. Dus niet precies waar je met je muis klikt of met je oog precies naar kijkt, maar of je meer of minder naar een kant beweegt met je muis of ogen of andere input.

Volgens mij is die software ook sterk in integratie met hardware (blazen, duwen, kijken... ) en configuratie als richting letters, grootte, contrast, input, woordenboek, versnelling ..

Deed mij denken aan https://www.youtube.com/watch?v=rufnWLVQcKg

Admiral Jeremiah Denton Jr. used his eyes to blink the word "TORTURE" using Morse Code during his captivity in Vietnam. He was being filmed for propaganda purposes and this video was broadcast around the world. Naval Intelligence was able to decipher his "strange" blinking. He was awarded the Navy Cross, our Nation's 2nd highest military honor for his heroism as a P.O.W.

Ik heb dit iets degelijks zo'n 10 jaar geleden bij een bedrijf, dat hulpmiddelen voor werkplekken aanbied, in actie gezien. Was netjes in het Nederland, werkte links/rechts en als ik het me goed herinner zat er een woordenlijst achter. Weet alleen niet meer zeker of het op oog bewegingen of hoofd als totaal is (vermoed het laatste). Ideaal voor mensen die geen controle meer hebben over hun handen.

Dit google gebeuren, wellicht handig om handfree iets te doen in een auto. Maar in die situatie is het beter om uberhaupt niets met je telefoon te doen (mijn mening).

In de auto heb je je ogen nodig voor het verkeer, daar is voice de veiligste manier om iets te bedienen.
Je handen, ogen en voet(en) zijn namelijk al bezet.

Voor mensen die niet kunnen praten is dit heel belangrijk. En dat komt vaker voor dan men denkt. Dit is één van de dingen die Google doet in het healthcare segment en kan het verschil betekenen tussen niet begrepen worden en je wensen kenbaar maken.

Ja het is er al maar niet met deze kennis en zeker niet op zoiets als een smartphone van een paar honderd euro!

Ik dacht al dat er ook zo iets was voor iOS, even weer snel opgezocht , artikel uit 2018:

https://ios.gadgethacks.c...-using-your-eyes-0190963/

Beter dan zo’n bord gebruiken, dit zal een stuk sneller en efficiënter gaan en er kunnen toevoegingen aan gemaakt worden die “analoog” niet gaan.

Het zou mij heerlijk lijken om bijvoorbeeld te scrollen door naar beneden te kijken of naar volgende pagina/bladzijde door naar links of naar rechts te kijken.

Dit wil ik dus ook al lang!

De Samsung galaxy S4 had dat, zoals dehardstyler ook opmerkt. Werkte alleen niet echt lekker.

Mooi dat het (vooralsnog) gratis word aangeboden.

Op dit moment betalen wij €100,- per jaar voor een app waarmee bij het op (zelf toegevoegde) foto drukken een bewerkbare tekst word uitgesproken.

Heel fijn dat het kan allemaal maar ik krijg er een bittere smaak van dat er zo’n bedrag voor word gevraagd. En ja, ontwikkelen, onderhoud, App Store... etc. etc. kost ook wat en men mag natuurlijk flink verdienen aan een goed idee, maar toch... er word af en toe toch onrechtvaardige veel uit het zorgstelsel ‘gezogen’ mijns inzien.

Enfin, mooi initiatief van Google en hopelijk volgt er een update met plaatjes.

Ik zie een algoritme groeien wat precies gaat volgen wat jij leest...

Goed dat zo iets kan en voor mensen die alleen met hun ogen kunnen communiceren, voor de valide mens lijkt deze app zinloos..

Dat doen mensen al jaren, de vriendin hoeft haar ogen maar op de juiste manier te draaien en je weet dat je stapavond verleden tijd is.. ;-)

Ah, je bedoelt dat dit wellicht een interessante ontwikkeling is voor mensen met een handicap, zoals ALS? Of doelde je soms op een of andere obscure manier om tot wereldheerschappij te komen?

*zet aluminiumfoliehoedje op*

Welke achterliggende gedachte? Ik hang aan je lippen toetsen.

Niet de OP maar ik vermoed dat dit ook ingezet kan worden voor het verbeteren van reclames die men op een toestel ziet. Als mensen langer naar de advertenties van een bepaald thema/merk kijken, kan google deze informatie gebruiken om meer relevante advertenties aan de user voor te leggen, wat weer meer geld voor google oplevert.

Maar dat kunnen ze nu dan toch ook al? Er zit al weet ik veel hoelang een frontcamera op. En op de Galaxy S4 kon je al door webpagina's scrollen met je ogen. (Dat werkte voor geen meter overigens. )

Dus dan zou dit al heel lang een probleem moeten zijn en dat is het niet.

Dat klopt, in principe is dit gebaseerd op dezelfde techniek, alleen nu nog accurater en betrouwbaarder dan op de S4.