Microsoft presenteert app voor blinden die beelden omzet in spraak

Microsoft heeft een app gepresenteerd die objecten in het beeld van de camera herkent en die kan voorlezen aan de gebruikers. De app moet blinden en slechtzienden helpen om meer informatie te krijgen over hun omgeving.

Het gaat om een onderzoeksproject van Microsoft dat heeft geleid tot een app die gratis te installeren is uit de App Store. Gebruikers kunnen onder meer documenten laten voorlezen, waarbij de app zegt welke hoek van het papier nog niet in beeld is. Ook kan de app streepjescodes herkennen om te helpen bij het uitzoeken van producten in een winkel.

Microsoft demonstreert daarnaast de functie om personen te herkennen of om mensen te omschrijven. Daarbij doet de software een inschatting van geslacht, leeftijd en gezichtsuitdrukking. Als gebruikers objecten op eerder gemaakte foto's wil laten herkennen, kan dat via de deel-functie in iOS.

De app is vooralsnog alleen verkrijgbaar voor iOS en maakt gebruik van VoiceOver in Apples mobiele besturingssysteem. Het is onbekend of een app voor Android en Windows op basis van de dienst later zal volgen.

Helaas!
De video die je probeert te bekijken is niet langer beschikbaar op Tweakers.net.

Reacties (41)

[ouweklimgeit]

Ik vraag me dan toch af hoe iemand die blind is, op zijn telefoon de app kan vinden en ook nog de streepjescode goed voor de camera krijgt

[whoptimus]

Een Iphone is de perfecte telefoon voor een blinde. Ongelofelijk gebruiksvriendelijk en dan is het ding zijn prijs dubbel en dwars waard!

[Anoniem: 768593]

Helaas is het in de praktijk niet zo rooskleurig. De basis van voiceover is prima, maar er zitten bugs in waarbij je echt merkt dat er weinig tijd wordt besteed aan voiceover, 2 voorbeelden:

1. Als je je telefoon op stil zet en je krijgt een bericht binnen, kan voiceover deze voorlezen, is inconsistent, soms wordt het bericht voorgelezen, soms niet.
2. Als til op om te activeren aan staat, kan voiceover in je broekzak gaan praten als je telefoon denkt dat hij wordt opgetild. Gebeurt niet vaak, maar af en toe.

Dit zijn ook geen bugs die nieuw zijn, dat voiceover niet stil is als je telefoon een bericht krijgt op stil is een bug die erin zit sinds dat ik een Iphone gebruik, een 3gs in 2013.
Ik heb ook het idee dat dit meer een promotiefilmpje is, ik ga dus mooi niet iemand vragen om even stil te staan terwijl ik hun gezichtsuitdrukking probeer te bepalen met seeing AI of langs alle producten lopen in een supermarkt om barcodes te scannen. Het enige wat nog interessant is is de OCR, maar het wordt afwachten of dat ook daadwerkelijk beter is als de bestaande oplossingen (KNFB reader).

Bron: Ik ben zelf blind.

[Technomania]

Bron: Ik ben zelf blind.

Puur uit interesse...

Dat er manieren zijn om txt2speech te krijgen geloof ik allemaal best. Maar hoe heb je in hemelsnaam op ,,reageer'' kunnen klikken als je blind bent?

[Anoniem: 768593]

Als ik een website open, wordt deze als een soort tekstdocument weergegeven. Dus ik kan met de pijltoetsen navigeren. Er zijn ook andere sneltoetsen, zoals h voor koppen (heading). Hier vallen de tietel van het artikel onder, een kopje lees meer, het kopje boven de reactie en tracker. Als ik op de reacties kop sta kan ik omlaag met de pijltoetsen om langs alle reacties te gaan. Als ik dan op de reageer link sta druk ik op enter en wordt ik in het reactieveld geplaatst. Alle navigatietoetsen zoals h worden dan uitgeschakeld, zodat ik kan typen. Als dat klaar is, druk ik op escape en ga ik omlaag naar de knop plaats reactie en druk op enter.
Een beetje off-topic, maar als er meer interesse is in het gebruik van schermlezers kun je kijken naar nvda (non visual desktop access), een opensource schermlezer die niet ingrijpende dingen verandert aan je systeem:
https://www.nvaccess.org/
helaas is er wel een e-mailadres verijst voor het downloaden, maar het e-mailadres hoeft niet te bestaan. Misschien ook interessant voor web-developers, als er getest moet worden op toegankelijkheid.

[Melkunie]

Interessant dat NVDA, had er nog niet van gehoord! Ben zelf niet blind, maar mijn vader wel. Hij werkt al tientallen jaren met Jaws. Ben benieuwd of daar toevallig ook ervaring mee hebt en hoe deze NVDA zich daartoe verhoudt

[Anoniem: 768593]

Ik heb Jaws voor een korte periode gebruikt zo'n 7 jaar geleden, sindsdien af en toe getest in een virtual machine. Daarom kan ik geen uitspraak doen welke beter is. Wel is Jaws een stuk complexer dan nvda, vooral door de lange geschiedenis. Als je meer wilt lezen, verwijs ik je door naar
http://chrishofstader.com...ty-screen-reader-issue-2/

nvda is gratis, verandert niets aan je systeem als je portable draait, en heeft redelijk wat overeenkomsten met jaws. Dus het is een kwestie van uitproberen.

[goeroeboeroe]

NVDA is prima om sites in te testen, maar werkt helaas alleen op Windows. Dat testen zou eigenlijk elke sitebouwer moeten doen.
Ik heb kort in Jaws getest, maar de licentie verbiedt onder punt 3.1 expliciet om te testen in Jaws, tenzij je meer dan duizend dollar voor 'n licentie betaalt.
(Link: https://www.freedomscientific.com/MAGicHQ/MAGicHQ/MAGicEULA
Ik zet de link erbij, omdat vaak niet wordt geloofd dat je 'n peperdure licentie moet kopen om te mogen testen. Terwijl het goed werken van 'n site in Jaws toch ook reclame voor dat programma is. Hoe krenterig kun je zijn...)
In OS X en iOS zit VoiceOver ingebouwd, en op Androis TalkBack.
Op Linux kun je in Google Chrome de extensie ChromeVox installeren.
Al die programma's werken iets anders, maar ze geven wel 'n indruk. Dus als je iets wilt uitproberen: mogelijkheden genoeg.

[Reactie gewijzigd door goeroeboeroe op 23 juli 2024 12:58]

[Technomania]

Bedankt voor je uitleg.

Zoiets had ik dus echt niet verwacht. Ik verwachte een muismat met daarop de data (webpage) en een muis met een scanner die de data leest.

[Melkunie]

"Klikken" suggereert natuurlijk het gebruik van een muis Nagenoeg alles kan ook met alleen het toetsenbord, zeker in samenwerking met speciale software.

Kan zo snel geen superdemonstratie vinden, maar dit geeft denk ik wel een aardig idee:
https://www.youtube.com/watch?v=q_ATY9gimOM

De voorleesstem die deze man gebruikt is voor vele waarschijnlijk nauwelijks verstaanbaar, maar dat went wel en tegenwoordig zijn er ook prachtige andere stemmen verkrijgbaar: http://www.acapela-nvda.c...pela-tts-voices-for-nvda/ (demo rechts)

[Anoniem: 768593]

Wat belangrijker is: de voorspelbaarheid van een stem. Ik gebruik zelf een synthesizer genaamd espeak, die standaard met nvda wordt meegeleverd. Wat de mooiere stemmen doen zoals de gene waarnaar je linkte is kleine stukjes spraak samenvoegen tot woorden en zinnen. Dit klinkt misschien mooi, maar op hogere snelheden vindt ik ddeze persoonlijk lastiger te verstaan. Daar komt nog bij dat ze resource-intensive zijn. Misschien heeft het 5 to 10 ms nodig om de kleine stukjes tekst te laden. Als je elke keer 5 tot 10 ms moet wachten als je bijvoorbeeld op pijl omlag drukt om een site te lezen wordt dat bijzonder vervelend. Espeak is ook voorspelbaar, het gebruikt geen echte audio van mensen dus het klinkt wat bijzonder, maar is heel verstaanbaar op hoge snelheden.

[walkstyle]

verwacht je zelf innovatie straks d.m.v kunnen zien met special brillen / kunst oog / hersensturing / netvlies want techniek ontwikkelt zich nu wel snel toch ?

[Anoniem: 768593]

Misschien is er wat mogelijk in de toekomst, maar blindheid heeft heel veel verschillende oorzaken. Er is dus veel onderzoek nodig voor een niet hele grote groep mensen. Daar komt nog bij dat het een hele shock zal zijn als ik op een of andere manier zou kunnen zien, vooral omdat ik dan zou moeten leren om dingen met mijn zicht te doen die ik normaal met andere zintuigen doe. Als er een behandeling mogelijk is zal ik zeker interesse hebben, maar niet op de eerste rij staan.

[whoptimus]

Hoi Roel,

een van mijn beste vrienden, waar ik veel mee reis, is ook blind. Hij is toch erg te spreken over de Iphone en als ik zie wat hij er allemaal mee doet vind dat ik dat toch knap van Apple. Ik weet nog dat hij vroeger een Nokia had en al zijn telefoonnummers uit zijn hoofd wist op te noemen.

De eerste bug ben ik van op de hoogte, de 2de niet. Ik zal het eens aan hem vragen. Weet jij of Android ook zo gebruiksvriendelijk is voor blinden?

[WybrenPC]

Android heeft natuurlijk TalkBack, en verschillende goede (betaalde) 3rd party apps voor voorlezen en spraakbesturing. Volgensmij liggen beide systemen redelijk op een rechte lijn op het gebied bruikbaarheid voor blinden en slechtzienden

[Anoniem: 768593]

Ik heb nooit voor lange tijd Android gebruikt, maar mijn eerste indruk was wel dat het veel beter kan. Zodra ik een nieuwe spraaksynthesizer koos, viel de spraak uit. Ook hoor ik veel meer negatieve dingen over android dan over IOS, dus het lijkt me dat IOS beter toegankelijk is, maar geen objectief onderzoek bij de hand. En ja, IOS is prima bruikbaar, maar perfect is het zeker niet. Apple test voiceover niet bijzonder goed, dus er zitten soms echt bugs in waarvan je had verwacht dat ze er niet in zouden zitten. Dit is het geval bij IOS, maar ook OSX.`

[TheEagle99]

De app vinden kan bijvoorbeeld met siri in het geval bij iOS en de streepjescode wordt in het filmpje duidelijk gemaakt door een serie pieptoontjes te geven die steeds sneller worden zodra je in de buurt komt.

Al denk ik wel dat je daarvoor een stukje van de streepjes code moet zien op de camera dus zal het nog een challenge zijn.

[WybrenPC]

De meeste blinde mensen weten we ongeveer waar de streepjescode van een product zit. Ze hoeven dan alleen met de camera van hun smartphone met behulp van dat piepjes systeem de barcode te localiseren en daarna te scannen

[Inflexus]

De iPhone heeft sinds de iPhone 3GS allerlei functionaliteit voor blinden en slechtzienden ingebouwd zitten zoals VoiceOver. Dit was al voor Siri.

[Kraanmachinist]

https://www.youtube.com/watch?v=P1e7ZCKQfMA Hier is een filmpje van een blinde youtuber (Tommy Edison) die uitlegt hoe hij als 100% blind persoon zijn iPhone gebruikt. Deze video is al vrij oud en sinds die tijd is het voor blinden en slechtzienden enkel makkelijker geworden in gebruik (met bijv Siri)

[HKS-Skyline]

App openen:

Hey siri, open seeing AI

barcode: gewoon de audio ques volgen, hoe sneller hij piept des te dichter je bij de barcode bent zoals je in de video kan horen.

[cdwave]

En of de blinde wel blij is met een apparaat dat tegen hem praat.

Net zoals een dove niet snel een mobieltje voor zijn ogen zal vastbinden om geluid in beeld om te zetten, zal een blinde niet gauw geneigd zijn om zijn gehoor te verminderen met de spraak van een mobiele app.

[batjes]

MS is lekker bezig met AI en beeldherkenning. Voor wat meer achtergrond informatie van MS research en AI: https://www.youtube.com/watch?v=jnOjJMbEODA

[Derper]

Not available in de nederlandse store op dit moment? Alleen USA. Jammer wilde hier wel even mee spelen. Als het echt zo werkt in de video, heel tof!

[Technomania]

Mocht hij beschikbaar komen verwacht ik wel een review van je

Denk dat je (ik) hier uren zoet mee kan zijn. Vooral hoe goed is hij in het herkennen van objecten.

(offtopic: Niet dat hij een mollige dame in een park voor een koe in de weiland aanziet bijv. )

[bazs2000]

En erger, als jouw telefoon vertelt wat hij 'ziet' dan zou het nog eens vervelende gevolgen kunnen hebben als die mollige dame het hoort.

[WybrenPC]

Daar hebben de meeste blinde mensen dus een koptelefoon voor

[wica]

Interessant, ik ben vooral geïnteresseerd in het OCR deel, ziet er stukken gemakkelijker uit dan bij andere apps voor dyslexie. Die nog al kieskeurig zijn, hoe recht je een tekst scanned.

[Techrvw]

Dit is een geweldige app voor blinde of slecht ziende. Mooie functies en lijkt me must have voor blinde of slecht ziende.

Nu alleen nog hopen dat de App voor Android ook uit komt

[Menesis]

Gaaf!
Een kleine noot: iOS heeft al jaren een functie om blinden te helpen portretfoto's te laten schieten
Het is redelijk beperkt en leest hardop op hoeveel gezichten er te zien zijn en hoe groot die in het frame zijn.
http://svan.ca/blog/2012/blind/ Kijk wel uit als je voice over aan zet, je iPhone werkt opeens anders (1x touch is iets selecteren, 2x touch is zoals normale touch) .

Maar nu je in "photos" ook op objecten kunt zoeken mbv ML is de kans groot dat de standaard camera in iOS binnenkort ook andere objecten kan herkennen en kan 'oplezen'.

Laatst bij een workshop gevolgd over universal accessibility waar blinden vertellen hoe ze het web, iPhones en ook code editors gebruiken. Echt fantastisch!
En dat maakte ook goed duidelijk waarom WCAG2.0 zo belangrijk is. Net zoals in Noorwegen moeten ze daar in Nederland ook een wet van maken. Alle sites volgens WCAG2.0, anders boete.

[Reactie gewijzigd door Menesis op 23 juli 2024 12:58]

[whoptimus]

Ander voorbeeld is de facebook app, deze verteld wat er op een geposte foto staat. Heel cool.

[Reactie gewijzigd door whoptimus op 23 juli 2024 12:58]

[lemnis]

Niks nieuws, Tommy Edison (blinde youtuber) liet sommige features al 3 jaar terug zien: https://www.youtube.com/watch?v=NeB0BH8rAc8 . Hij heeft nog meer intressante video's waar hij laat zien hoe hoe tech gebruikt

[Technomania]

Gaaf zeg!

Vooral het gezichten/omgeving herkennen.

Over het bankbiljetten & streepjescode gedeelte ben ik minder enthousiast.

[Erasmo]

Toch ideaal juist? Dan heb je veel sneller een idee van wat er in je keukenkast staat(of hoeveel minuten iets ook alweer op moest staan) of hoeveel cash je voorhanden hebt.

[Technomania]

Het is zeker ideaal. Maar die techniek wás er al min of meer. Dat bedoelde ik ermee.

[Erasmo]

Ah op die fiets. Klopt maar dat het nou allemaal in één app is gegoten is wel prettig.

[Xtreem1988]

Super goed dit! Mensen met een beperking hebben ook recht op technologie! OCR 2.0

Wel duidelijk jatwerk van "Not a Hotdog" uiteraard!

https://itunes.apple.com/us/app/not-hotdog/id1212457521?mt=8
https://play.google.com/s...oodtechnologies.nothotdog

voor meer informatie:

https://youtu.be/ACmydtFDTGs

[QErikNL]

Dit had ik al anderhalfjaar geleden gezien! https://www.youtube.com/watch?v=rVF2duPVUTY De technologie is op Build 2016 aangekondigd. Heel impressive.