Cookies op Tweakers

Tweakers maakt gebruik van cookies, onder andere om de website te analyseren, het gebruiksgemak te vergroten en advertenties te tonen. Door gebruik te maken van deze website, of door op 'Ga verder' te klikken, geef je toestemming voor het gebruik van cookies. Wil je meer informatie over cookies en hoe ze worden gebruikt, bekijk dan ons cookiebeleid.

Meer informatie

Door , , 13 reacties

Onderzoekers van het MIT Media Laboratory hebben een prototype van een leesapparaat voor om de vinger gebouwd om geprinte tekst voor visueel gehandicapten om te zetten in gesproken tekst. De FingerReader werkt met een camera en geeft ook tactiele of hoorbare feedback.

Dat laatste is vooral belangrijk om de juiste zin te blijven volgen en niet per ongeluk een andere regel te gaan lezen. Volgens een van de makers op de nieuwssite van MIT moet de vertaling die het apparaatje aan de visueel gehandicapte persoon doorgeeft snel plaatsvinden en met directe feedback zodra het fout dreigt te gaan, ook om de illusie van het voorgelezen verhaal niet te onderbreken.

De belangrijkste innovatie van de FingerReader is het algoritme dat heel lokaal opeenvolgende tekst kan scannen en lezen als enkele regels of als tekstblokken, en dat ook werkt als iemand de tekst vluchtig doorleest. De paper waarin het algoritme wordt beschreven, wordt in april gepresenteerd bij de Association for Computing Machinery's Computer-Human Interface-conferentie.

Vingerleesding MIT blind

Naast het algoritme wordt in de paper beschreven welke verschillende variaties van de FingerReader de onderzoekers gebruikten. Een van de versies heeft bijvoorbeeld twee haptische motoren, een boven op de vinger en de andere aan de onderzijde. De trilling van de motortjes maakt duidelijk of de vinger iets naar boven of naar beneden bewogen moet worden om de juiste zin te blijven volgen. Een andere versie gebruikt geluid als feedback, met een toon die luider wordt als de vinger van het juiste pad af gaat. Vooralsnog is er geen overeenstemming over wat beter werkt.

Het hart van het systeem bestaat uit de mogelijkheid om de camerabeelden in realtime te kunnen decoderen. Elke keer als een gebruiker de positie van de vinger aan het begin van een nieuwe regel zet, probeert het algoritme te schatten wat de grondlijn van de letters is. Aangezien de meeste regels letters hebben waarvan de onderzijde onder de grondlijn uitkomt en omdat een scheve stand van de vinger het systeem in de war kan brengen door nabijgelegen grondlijnen, zullen die schattingen verschillen. Het algoritme selecteert dan de mediaan van de dichtere cluster. Die laatste waarde bevat de schattingen die het systeem per nieuw frame van de video maakt, terwijl de vinger van de gebruiker naar rechts beweegt, waardoor de benodigde rekenkracht wordt verminderd.

Het algoritme volgt ook de individuele woorden die langs het oog van de camera komen. Als het een woord herkent dat in het centrum van het camerabeeld is gepositioneerd, wordt alleen dit woord uit het plaatje gecropt. Daarmee is dat woord in lijn te brengen met de rest van de zin, zodat vreemde hoeken worden gecompenseerd. Daarna wordt de tekst door middel van opensourcesoftware verder gelezen en vertaald in gesynthetiseerde spraak.

Bij het prototype was de vingerlezer tijdens het lezen aan een laptop gekoppeld, maar een mobielere versie zit in de pijplijn.

Moderatie-faq Wijzig weergave

Reacties (13)

Zelf ben ik volledig blind en volg ik de technologische evoluties zeer goed.
Ik merk dat veel algemeen ontwikkelde technologie ook voor blinde personen handig kan zijn.

Even mijn mening over dit project:
Totaal voorbij gestreefd!

Mijn reactie op eerdere posts:
- Luisteren kan ook via oortjes dus tekst moet niet door heel trein schallen.
- Omgevingsgeluid kan je blijven horen als je bone conducting headset gebruikt.


Ik heb gewoon een iphone 6 met een goede OCR scanner (knfb reader).
Foto maken en tekst wordt voorgelezen en ik kan er door navigeren zoals ik wil.

Ik zie meer toekomst in het herkennen van gebouwen en dergelijke.
Het verwerken van deze ocr in een bril zou zeker een voordeel zijn, die dan ook nog eens is voorzien van bone conducting oortjes:
https://www.kickstarter.c...ones-no-more-earphones-or

Ook project Tango is naar mijn mening erg veel belovend voor blinde personen.

Tenslotte zie ik habtische schermen ook als een enorme mogelijke vooruitgang om eventueel brailleweergave mogelijk te maken.


Maar dit dwaze stukje techniek. Daar gaan enkel de hulpmiddelen leveranciers rijk van worden.
Je geeft zelf aan toekomst te zien in iets wat via OCR tekst kan voorlezen maar ziet dit als een dwaas stukje techniek? Hoe denk je te komen tot OCR voorlezen in een bril als je überhaupt OCR voorlezen als dwaas ziet?

Nee, dit is geen ideaal eindproduct. Ik denk ook dat OCR in een draagbare vorm op een betere plaats (bril, zijkant van horloge, knoop in je jas, zijkant van een ring) beter werkt dan dit ding. Maar om daar te komen zullen er toch echt kleine stapjes genomen moeten worden. Dit is één van die stapjes.
Begrijp niet helemaal waarom je zo negatief bent. De huidige OCR is wel snel, maar niet realtime zoals dit project beoogt. Bovendien is haptische feedback bij 'wat te scannen' vooral interessant bij slecht ingedeelde of opgemaakte borden, bewegwijzering etc.

Bij boeken, brieven etc. heb je gelijk; daar is genoeg voor en dan is realtime verwerking ook iets minder van belang. Wat is 3s verwerking op een stuk tekst dat anderhalve minuut lezen vergt. Ook is bij boeken / brieven al veel duidelijker wat je moet / kunt scannen en is het boek zelf eigenlijk al de haptische feedback.

Meerwaarde ligt denk ik juist in de 'losse stukken tekst' die je overal aantreft. En of dan een systeem met de vinger nu het meest handige is, is natuurlijk bezien maar daarvoor is het ook een prototype.
Toen ik het plaatje zag dacht ik "wow! slim!", maar nu ik het artikel heb gelezen ben ik een beetje teleurgesteld.

Het zou gaaf geweest zijn als mijn initiele gedachte waarheid was, dat de camera letters herkend, en de tril motors haptische feedback geven alsof de persoon in kwestie brialle leest (of 'tril brialle' desnoods) dat ze dat niet ingezien hebben zeg, zonde! Zou mij 10x beter lijken dan het zoveelste apparaat wat iets op kan lezen, als het (behalve zachtjes zoemen) geen geluid zou maken kan een blind persoon tenminste 'onbeschaamd' in de trein een boek lezen, als een boek door een of ander apparaatje opgelezen word zit zo iemand natuurlijk een beetje voor paal/doen ze zoiets niet.
Braille is een systeem wat een langzame dood dient te sterven. Als je een apparaat maakt wat iets omzet naar braille verleng je een gedoemd systeem alleen maar.

Door gewoon normale geschreven (/getypte) tekst te gebruiken haal je de daadwerkelijke barriere weg in plaats van de ene barriere door de andere te vervangen. Met dit apparaat gaat er een hele wereld open in plaats van een klein stukje buitenwereld de gesloten binnenwereld in te trekken.
Ben jij braillelezer? Ik vermoed van niet, want dan zou je deze opmerking niet gemaakt hebben. Braille is een uitstekend lees- en schrijfmiddel voor blinden. Dat er tegenwoordig meer alternatieven zijn wil zeker niet zeggen dat braille ten dode is opgeschreven. Verdiep je dus eerst in iets voordat je zoiets zegt.
Ben je wel braillelezer, dan snap ik je punt helemaal niet.

On topic: als gebruiker van leeshulpmiddelen (Zoomtext voor schermvergroting, spraakuitvoer op de computer, VoiceOver op de Mac en ook nog eens braillelezer) met een blinde vrouw die braille leest kan ik zeggen dat noch ik, noch zij enig nut zien in dit apparaatje. Er is al zo ontzettend veel aanbod aan leeshulpmiddelen dat dit echt overbodig is. Ik krijg zelfs het idee dat het 10 jaar terug in de tijd is. Hooguit dat het algoritme een slim ding is, maar ja... daar zijn er ook nogal wat van.

Een van de meest slimme leesoplossingen voor onderweg is op dit moment de knfb-reader. Het is een direct text-to-speechprogrammaatje waarmee je zo'n beetje alles kunt lezen met je smartphone. De telefoon maakt een foto en leest de tekst direct. En zo zijn er zo veel apps en apparaatjes die prima ondersteuning bieden in het dagelijks leven voor mensen die het allemaal niet zo best zien of helemaal niet zien.
Je hebt gelijk dat er te weinig braille 'content' is, maar om nou te zeggen dat het een langzame dood dient te sterven, nee. Braille lezen is voor blinde mensen vrijwel net zo snel als 'normaal lezen' voor de rest van de wereld. En er zijn bijvoorbeeld ook al jaren apparaten die je aan een computer kunt hangen om text in braille te krijgen.

Dus, nogmaals, het zou mij mooi lijken als iemand een kleine gadget maakte waarmee je text naar braille om kon zetten, er is niets mis met braille. (Dat gezegd hebbend is er nou ook niet heel veel mis met het oplezen van text, maar zoals Ui30 ook al aangeeft, dit bestaat al jaren in allerlij vormen, dus de gadget uit het artikel heeft weinig toegevoegde waarde.
Hoeft niet via een luidspreker, kun je natuurlijk ook een koptelefoon of oordopjes voor gebruiken. Maar ik kan we wel voorstellen dat dan alle contact met de buitenwereld verloren gaat.
Schaamtegevoel krijg je vooral door afkeurende blikken (dat is ons dan ook aangeleerd, door die blikken), daar zal een blinde niet snel last van hebben, vermoed ik. Echter, etiquette is ook iets wat je aangeleerd hoort te worden :)
Cool stuff, straks draadloos en handbaarder, inzetbaar voor andere zaken dan alleen van dichtbij lezen. Misschien koppelen aan 'die ene app' die ontwikkeld wordt om realtime te kunnen vertalen (ben naam ff vergeten)
SayHi? Of Wordlens dat inmiddels is overgenomen door Google?

[Reactie gewijzigd door nms2003 op 10 maart 2015 17:27]

Ja, worldlens dacht ik. :)
Zeer mooie ontwikkelingen!
Iets gelijkaardigs, vind er niet meteen een wetenschappelijk artikel van, is het zien met de tong

Door middel van stroomstootjes geloof ik dat ze door hun tong 'zien' wat er voor hun getoond is.

Op dit item kan niet meer gereageerd worden.



Apple iOS 10 Google Pixel Apple iPhone 7 Sony PlayStation VR AMD Radeon RX 480 4GB Battlefield 1 Google Android Nougat Watch Dogs 2

© 1998 - 2016 de Persgroep Online Services B.V. Tweakers vormt samen met o.a. Autotrack en Carsom.nl de Persgroep Online Services B.V. Hosting door True