Duitse organisatie werkt aan gebarentaaltool voor stemassistenten

De Duitse jeugdvereniging van slechthorenden werkt aan Signs. Dat is een tool die het mogelijk maakt om met gebarentaal te communiceren met stemassistenten zoals Google Assistent, Amazon Alexa en Cortana. Het gaat om software die werkt in een browser.

Volgens de initiatiefnemers gebruikt Signs machinelearning om handgebaren te herkennen. Die gebaren worden omgezet in data waar de spraakassistenten mee overweg kunnen. Het antwoord dat de assistent geeft, wordt vervolgens weer teruggestuurd naar Signs en visueel weergegeven.

Met de tool moeten slechthorenden en doven gebruik kunnen maken van spraakassistenten, ook als zij niet kunnen praten of de antwoorden niet kunnen horen. Signs bestaat enkel uit software, die zou moeten werken op alle apparaten met een browser en een geïntegreerde camera.

Het project bevindt zich momenteel nog in een vroege prototypefase en werkt op dit moment met Duitse gebarentaal. Wanneer Signs in de praktijk beschikbaar komt en er ondersteuning volgt voor andere gebarentalen is nog niet duidelijk.

Reacties (12)

[Renald0]

Ik zie een gebaar eigenlijk als veel handiger dan stemcommando. Zeker nu ik zie hoe simpel het gebaar voor light is.

[Jerie]

De huidige stemcommando's hangen in de cloud dus RIP privacy.

Zo'n gebarenlezer zal op de een of andere manier een camera hebben die 24/7 aan moet staan (dat schijnt tegenwoordig normaal te zijn).

Uiteindelijk is dit een oplossing voor een probleem dat niet bestaat. Smartphones ed. zijn zeer gebruikersvriendelijk voor doven en slechthorenden.

Het zijn juist de slechtzienden en blinden (*) die het lastig hebben met de hedendaagse computers. Voor hen is een spraakassistent interessant. Zo ken ik iemand die slechtziend is, en gretig gebruik maakt van Siri. Dat gaat veel sneller dan het schermpje dat ze bijna niet kan lezen.

(*) En des te meer mensen die ook nog andere gezondheidsklachten hebben zoals problemen in de motoriek of naast slechtziend/blind ook slechthorend/doof of last hebben van bijvoorbeeld dementie.

[TheMak]

De smartspeakers zijn ook een oplossing voor een probleem die niet bestaat. Er zijn tal van ontwikkelingen die oplossingen bieden voor problemen die niet bestaan. Dus waarom ook niet voor doven en slechthorenden? Het idee van Siri is dat je geen toetsenbord nodig hebt. Waarom dat ook niet voor doven en slechthorenden.

[Jerie]

Omdat een smartphone (en touchscreen toetsenbord) ofwel niet ofwel ronduit kut te bedienen is voor blinden en slechtzienden. Terwijl doven en slechthorenden prima kunnen WhatsAppen, surfen, ze kunnen zelfs Netflix en YouTube filmpjes met ondertiteling bekijken en ze voelen dmv een trilfunctie (evt op de smartphone) wanneer ze een berichtje krijgen. Zo heb ik zelf bijna altijd m'n telefoon op stil.

Slechtzienden en blinden hebben simpelweg minder goede input devices dan doven en slechthorenden. Wat dat betreft biedt iets als Siri inderdaad een meerwaarde voor deze doelgroep. Die meerwaarde staat tot geen verhouding tov dit initiatief.

Helaas zit je nog steeds een cloud vast, maar gezien OSM tegenwoordig behoorlijk goed is verwacht ik dat een goede, offline spraakassistent er vroeg of laat ook is.

[dez11de]

Heb je wel eens dove horen praten?

[tim085]

Heb je überhaupt al eens gekeken hoe VoiceOver werkt?
Aan je reactie te zien niet lijkt me. Blinden en slechtzienden kunnen namelijk erg goed met smartphones overweg, er bestaan een hele resem aan specifieke gestures die dit mogelijk maken. Siri gebruiken is slecht één kleine mogelijkheid voor bediening, maar het is erg beperkt.
Daarbij kunnen blinden en slechtzienden ook gebruik maken van een brailleleesregel, wat in- en output voorziet buiten de touchscreen om.

[Jerie]

Heb je überhaupt al eens gekeken hoe VoiceOver werkt?

Ja.

Daarbij kunnen blinden en slechtzienden ook gebruik maken van een brailleleesregel, wat in- en output voorziet buiten de touchscreen om.

Zeer beperkt.

En je gaat er van uit dat alle blinden en slechtzienden motorisch begaafd zijn.

[tim085]

Jouw stelling ging over enkel visuele beperkingen, niet motorische of meervoudige. Die vlieger gaat dus niet op.

Kan je me aangeven wat jij begrijp onder “zeer beperkt”?

[Anders]

Met paard-en-wagen was ook niks mis totdat iemand een auto uitvondt. In 2040 snapt de jeugd echt niet dat wij vroeger de hele dag hebben lopen pielen met kleine pokkeapparaatjes die altijd leeg waren. "Maar.. kon je niet gewoon tegen je TV zeggen wat je wilde zien, papa?"

[Skit3000]

De huidige stemcommando's hangen in de cloud dus RIP privacy.

Zo'n gebarenlezer zal op de een of andere manier een camera hebben die 24/7 aan moet staan (dat schijnt tegenwoordig normaal te zijn).

Er zijn al tal van systemen die (hand)gebaren en bewegingen lokaal kunnen analyseren. Je hoeft dus niet een complete livestream van je woonkamer op te sturen, maar alleen de uitkomst van die analyse (zoals dit), waarna server side kan worden bepaald wat ze denken dat je probeerde te zeggen. Als je dan ook nog een hotword-mechanisme (net als bij spraak) hebt, wordt de hoeveelheid gegevens die je verstuurd helemaal beperkt tot alleen datgene waarvan je op dat moment bewust bent dat je deelt.

[Jerie]

Als je dan ook nog een hotword-mechanisme (net als bij spraak) hebt, wordt de hoeveelheid gegevens die je verstuurd helemaal beperkt tot alleen datgene waarvan je op dat moment bewust bent dat je deelt.

nieuws: Amazon-medewerkers luisteren Alexa-commando's af om algoritme te trainen

nieuws: Google Home Mini had een bug waarmee de speaker continu audio opnam

[Skit3000]

Ik leg uit hoe het kan werken met het gereedschap dat al voor handen is. Dat sommige kleine partijen zoals Amazon en Google er voor kiezen om alles server side te verwerken omdat ze schijnbaar niet de resources hebben om een degelijke offline oplossing te bouwen is inderdaad wel een beetje jammer ja.

[/sarcasme]