Gebarentaal-vertaler wordt doorzoekbaar via camerabeeld

Amerikaanse wetenschappers werken aan een interpretatiesysteem voor gebarentaal waarmee horenden straks gesproken equivalenten voor gebaren kunnen opzoeken, en doven in de 'eigen taal' op internet kunnen zoeken.

Gebarentaalwoordenboeken vertalen doorgaans enkel van gesproken woorden naar gebaren en niet andersom, wat lastig is voor bijvoorbeeld ouders van dove kinderen die een onbekend gebaar op willen zoeken, schrijft MIT's Technology Review. Onderzoekers van de universiteit van Boston proberen dit probleem op te lossen met een vertaalsysteem waarin gezocht kan worden door gebaren met een camera op te nemen en in te voeren. Dat zou een webcam kunnen zijn, maar ook de camera van een mobiele telefoon zou voldoen. Een testversie van het systeem tovert na analyse van het videomateriaal de vijf meest waarschijnlijke betekenissen van American Sign Language-tekens in het Engels op het scherm.

Volgens de onderzoekers zitten er nogal wat uitdagingen aan het project. Zo zijn er duizenden gebaarcategorieën die onderscheiden moeten kunnen worden terwijl er niet veel voorbeeldmateriaal voorhanden is om het systeem op te trainen. Bovendien zijn er subtiele dialectverschillen die het woordenboek in de war kunnen brengen. De huidige stand van zaken in het herkennen van gebarentaal is volgens sommigen dan ook vergelijkbaar met die van spraakherkenning twintig jaar geleden.

Naast een vertaalsysteem werkt de universiteit aan algoritmes om gebaren te herkennen binnen verzamelingen videobeelden, wat tot de ontwikkeling van zoekmachines voor gebaren zou moeten leiden. Een dergelijk systeem is door onderzoekers Sloogle gedoopt: de sign language -equivalent van Google. Uiteindelijk moeten er ook automatische vertalers komen. De wetenschappers hopen in 2011 prototypes van de gebarentaalsystemen beschikbaar te kunnen maken.

Reacties (19)

[ZuzZoo]

me broer (slechthorend maar nu aan 1 oor bijna doof) en ik hebben met elkaar onze eigen gebarentaal ontwikkeld. Onze eigen sleng zeg maar. Hebben we ontwikkeld omdat we vaak in publieke omgevingen zonder schaamte met elkaar konden communiceren.
(ja sommige dove en slechthorenden schamen zich (ook nog op latere leeftijd)).
Haha zou leuk zijn om ook sleng gebarentaal in te voeren zoals het al gebeurt is met sommige woordjes die nu in het hedendaagse nederlands wordt gebruikt.
Een ander goed voorbeeld van een sleng is bv., als een dove nederlandse een bepaald woord of scheldwoord als gebarentaal overneemt van bv., een italiaan. Veel invloeden uit Italie zit er ook in het hedendaagse communicatie tussen dove mensen onderling. De een maakt er dan een ander variant van want ook dove mensen roddelen en om niet te laten merken dat je roddelt verfraai of codeer je de gebarentaal.

[Reactie gewijzigd door ZuzZoo op 26 juli 2024 08:36]

[InjecTioN]

http://mobilesigns.hyves.nl/

[copy-paste]
Dit is een project van Daniël Schoevaart en Gomèr Otterspeer, we willen de kloof tussen horenden en doven verkleinen door een zo laag-drempelige mogelijke download-service van gebarencursussen te aanbieden op www.mobilesigns.nl en ondertussen zijn wij continu op zoek naar dove vrijwilligers die voor de camera willen staan en ons kunnen helpen promoten en horende vrijwilligers die onze filmpjes willen inspreken en ons willen helpen met promoten :d
Groetjes van Daniël en Gomèr
[/copy-paste]

ofwel: ook al een goed initiatief door verschillende niet-horenden en horenden

[veloce]

Een goed initiatief, veel doven kunnen danwel liplezen, maar het blijft behelpen.
Vergeet niet: de inspanning om te communiceren moet altijd van hun kant komen,
Waarom de boel niet omdraaien.....

Wat de uitdagingen aangaat, gebarentalen lopen nogal uiteen; hoewel de Nederlandse Gebaren Taal en American Sign Language allebei afgeleid zijn van de Franse zijn er een boel verschillen, kijk maar eens op onderstaande sites.

NGT:
http://www.gebarencentrum.nl/gebarenwoordenboek.asp?color=y

ASL:
http://commtechlab.msu.edu/sites/aslweb/browser.htm

Natuurlijk kan de dove ook " vingerspellen" voor een niet-dove is dit makkelijk te leren.

[ZuzZoo]

Veloce: Vergeet niet: de inspanning om te communiceren moet altijd van hun kant komen,
Waarom de boel niet omdraaien.....

zolang dove en slechthorende mensen in de minderheid zijn blijft het moeilijk om steeds maar weer aan een horende te moeten zeggen dat ie vooral geduld moet hebben wil zo iemand een dove of slechthorende willen begrijpen. Frustrerend voor een horende dat ie geduld moet hebben en niet wetende hoe hij zich moet gedragen naar een niet normaal nederlands pratende (lees:communicerende) persoon tegenover zich. Vooral interviewers of werkgevers. NOG frustrerender voor een dove of slechthorende dat ie zich weer niet begrepen voelt. Wij horenden 2x van 5 situaties niet begrepen voelen, de dove of slechthorende 5 van de 5x zich niet begrepen voelen! Als er nou na al die testen en projekten er iets duidelijks en gebruiksvriendelijk naar voren komt is dat alleen maar goed.
En vooral gratis blijven!

[Superflip]

Ik ben zelf slecht horend (±55db verlies) maar de doven die ik ken gaan hier weinig behoefte aan hebben gezien ze allemaal normaal kunnen lezen en schrijven. In gebarentaal is het veel omslachtiger, en bovendien... voor één woord heb je verschillende bewegingen en dat is nog voor elke taal verschillend.

[MrBlueEyes]

Dit is dan ook niet bedoeld voor doven mensen, maar voor mensen die dovenmensen willen begrijpen die gebarentaal gebruiken.

[RM-rf]

gebarentaal is nu juist enorm efficient, eigenlijk veel efficienter dan een op abstracte letter-karakters gebaseerd systeem, waarbij letters samengevoegd worden tot woorden een die pas weer een betekenis kunnen hebbena, afhankelijk van welke taal of dialect je spreekt.

Zo is gebarentaal eigenlijk een geinterpreteerd pictogrammen en/of ideogrammen-systeem en in die zin vergelijkbaar met Chinees (hanzi) of Japans (Kanji).
het heeft om te leren een zeer hoge drempel (en zelfs die het kunnen hebben en grot risico op 'deel-analfabetie'), maar iemand die ermee _kan_ communiceren heeft een zeer groe communicatie-vrijheid en kan zeer efficient wat ermee doorgeven.


een efficient computersysteem om bv de zwaktes op te vangen, mensen de mogelijkheid geeft snel en eenvoudig missende tekens/gebaren op te zoeken of bij te leren; alswel het omgaan met subtiele verschillen in de weergave, kan overigens mogelijk evengoed bij de aziatische schriftsystemen en de vorm van hun karakters goed gebruikt worden.

[Anoniem: 87832]

Ben geen kenner van gebarentaal, maar ik begrijp dat gebarentaal voor een computer wel makkelijker vertaalbaar zou zijn naar bijv. een andere taal dan geschreven tekst, omdat gebarentaal beter onderscheid maakt in de betekenis van woorden zodat het welbekende probleem van homonymen wordt vermeden (bijv. "kan" (als in "kunnen" vs. "kan" (als in "koffiekan")). In dat opzicht zou het wel degelijk toegevoegde waarde hebben om met gebarentaal met een computersysteem te communiceren.

[Armageddon_2k]

Is het niet makkelijker voor een doof iemand (als hij zichzichelf niet duidelijk kan maken), om gewoon op te schrijven wat hij bedoelt?
Lijkt me een stuk makkelijker dan een PC opstarten en met een webcam proberen je software aan de praat te krijgen.
Never the less een leuke vision app, maar lijkte me niet echt toegevoegde waarde.

[Tatchi]

Ik zie wel degelijk toegevoegde waarde. Vooral als woordenboek voor horende ouders, vrienden, collega's e.d. van doven. Dit kan enorm helpen met gebarentaal te leren, hetgeen heel moeilijk is en veel tijd vergt als je dat op latere leeftijd onderneemt. Een gebaar op kunnen zoeken is dan ook heel erg handig.

Ik ken zelf een horend stel met twee dove kinderen en ik denk dat zij wel blij zijn met een dergelijke ontwikkeling.

[Armageddon_2k]

Dus als je kind bij je komt en een gebaar doet dat je niet kent...
Optie1:
-Computer op starten, je kind voor de webcam te zetten en dan te kijken wat het gebaar is.
Optie2:
-Kind briefje geven en op laten schrijven wat het bedoelt

[sopsop]

Ook het alfabet zit in de gebarentaal. Woorden waarvoor nog geen gebaar is worden gewoon in gebaren 'uitgeschreven'.

Mooi voorbeeld hiervan was de doventolk bij het journaalitem over 'swaffelen'. Dat woord beeldde ze eerst uit in de afzonderlijke letters, daarna begon ze de beschrijving van de journaallezer uit te beelden ("(van mannen) het geslachtsdeel laten slingeren en moedwillig tegen een object aantikken.").

[Reactie gewijzigd door sopsop op 26 juli 2024 08:36]

[dasiro]

heel leuk dat je dit nu net in deze topic aanhaalt, want de makers van T9 zijn nu bezig om een input-systeem te ontwikkelen, waarbij je je vinger/stylus over een keyboard op een touchscreen veegt, en die beweging wordt geïnterpretteerd tot een woord, waarbij je de juiste letters niet moet raken, maar er voldoende naar bewegen. zo kan je dus met een paar strepen over je schermpje een woord schrijven, waarbij je anders bvb 8 exacte ticks op je scherm of keyboard moest ingeven.

zie de leuke analogie met gebarentaal

[MrBlueEyes]

Nu nog wel, maar je moet er ooit mee beginnen. Verder staat dat een mobiel ook zou kunnen. Dan kan je dus eenmaal een applicatie maken voor de telefoon dat je zo 1,2,3 de gebarentaal kan "vertalen" met je telefoon.

[ShadowLord]

Daar zie ik ook meer een applicatie in dan wat ze nu doen. Als je enkele woorden niet 'verstaat', dan kunnen die simpelweg geleerd worden door het op te laten schrijven. Pas als je veel (of alle) woorden niet kent, is het handig om een automatische vertaler te hebben.

Het zoeken via 'Sloogle' snap ik al helemaal niet. We hebben toch ook geen Hoogle (hearing Google) die het gesproken woord kan opzoeken? En de noodzaak daarvan ontgaat me ook even.

[bluppfisk]

toch http://hoehel.be/

[Milky Way]

Search with your voice so you don't have to type.

http://www.google.com/mobile/apple/app.html

[Armageddon_2k]

Jah dat bedoel ik, er wordt te veel gekeken naar de innovatie en dat het een mooi idee is. Maar wat ik bedoel is de toegevoegde waarde.
Want wat is er mis met een T9 woordenboekje? Lijkt me makkelijker dan een vision app bouwen voor een telefoon.
Weet niet of je ooit een vision app gemaakt hebt? maar dan werk je (bijna) altijd met hoger framerate/resolutie camera's, goeie belichting, goeie lens.
En niet te vergeten dat het immens veel rekenkracht vergt van je processing unit.
Mobieltje valt een klein beetje op alle punten weg

[Keneo]

Gewoonweg bewegingsherkenning in het algemeen is toch een leuke toepassing?
dan heb je het 'bakje' van je wii ook niet meer nodig eens dat kan

of je muis, of je toetsenbord...

Dat het dan in het begin vooraal gericht is op doventaal is niets mis mee...