Microsoft komt met Android-versie van app voor slechtzienden Seeing AI

Microsoft heeft de Seeing AI-app uitgebracht voor Android. Deze app, die hoofdzakelijk voor blinden en slechtzienden is bedoeld, bevat enkele nieuwe AI-functies en biedt momenteel ondersteuning voor 18 talen. In 2024 zullen 36 talen ondersteund worden.

Volgens Microsoft kunnen gebruikers nu ook een gedetailleerdere beschrijving van foto’s oproepen in plaats van enkel een beknopte descriptie. De Amerikaanse techgigant heeft ook een functie toegevoegd om te 'chatten' met gefotografeerde documenten. Daarmee wordt het volgens het bedrijf mogelijk om vragen te stellen 'aan', of over, een vastgelegd document. Microsoft geeft een menukaart als voorbeeld en stelt dat er bijvoorbeeld naar de prijzen van producten gevraagd kan worden.

Seeing AI gebruikt de camera van een smartphone om objecten te herkennen en zet die informatie om in audio. Dit kan blinden en slechtzienden helpen om bijvoorbeeld objecten te identificeren. De app bestaat sinds 2017 voor iOS en is binnen Microsoft Research ontstaan. In 2019 kwam Microsoft met een update voor Seeing AI en voegde het ondersteuning voor Nederlands toe.

Seeing AI

Reacties (27)

[iOnoWLIt]

Seeing AI gebruikt de camera van een smartphone om objecten te herkennen en zet die informatie om in audio.

Het lijkt me dat de combinatie van AR en AI grote toegevoegde waarde zullen hebben voor mensen met een beperking en grote winst op het gebied van accessibility. Een camera app op een smartphone vind ik toch omslachtig.

[Reactie gewijzigd door iOnoWLIt op 23 juli 2024 05:55]

[barbarbar]

De grootste winst voor toegankelijkheid zit vaak in kleine dingen waar je normaal niet over nadenkt. Zo'n app is leuk, maar voegt in de praktijk niet veel toe. De voorbeelden zijn niets iets waar je dagelijks praktisch wat aan hebt.
Wat praktische dingen uit ervaring:
Etiketten lezen? Je hebt op een gegeven moment een vast patroon qua producten die je haalt, zoals iedereen. Als spul veel op elkaar lijkt, zoals blikjes, zet je die op een vaste plek in de kast. Etiketten lezen doe je in de app van de winkel.
Geld? De briefjes en munten hebben een heel specifieke grootte, gevoel en randjes e.d. om het te kunnen herkennen. Maar pinnen werkt uiteindelijk eenvoudiger en sneller, zoals voor iedereen.
Gezichten? Tegen de tijd dat software iemand herkend, heb je al lang aan de stem, hulphond, of manier van geluid maken herkend wie het is. Hangt iemand z'n jas op of niet? Schoenen uit? Hakken of sneakers? Dat zijn allemaal dingen die je normaal niet op let, maar je herkend veel meer dan je denkt.
Boeken/brieven: Dat is eigenlijk het enige praktische voorbeeld. Voorlezen van een brief die binnenkomt zonder iemand anders te moeten vragen. Maar OCR software is er al decennia, mooi dat dit nu in deze app ook zit.

[Autisme_tech]

Voor mensen die niet blind worden geboren kan dit een handig hulpmiddel zijn als het je opeens overkomt. Een menu kaart lezen zie ik iemand die blind is niet zomaar even doen zonder aan anderen te moeten vragen voor te lezen wat er allemaal op staat. Dat is al een grote toegevoegde waarde voor iemand die blind is. Of dat je een rondje wandelt en opeens een weg afsperring tegen komt dan is het ook wel handig om te kunnen horen waarom die daar staat of tot hoe lang want dingen worden wederom alleen in tekst aangegeven op de borden

[barbarbar]

Een menukaart lezen? Je vraagt gewoon aan de ober om gerechten te vertellen die bij je smaak passen. Voordat zo'n app je alle dingen heeft verteld op onvestaanbare manieren in onlogische volgorde en je daar een keuze uit moet maken, ben je veel langer mee bezig dan gewoon diegene vragen die daar toch al voor is.

[MartyMart01]

Ik ben zelf slechtziend. Zelfstandigheid is het meest waardevolle wat iemand wil behouden als diegene beperkt is. Hoe lief hulp ook bedoeld is, als iets zelf kan worden opgelost is dat een heel fijn gevoel. Dit is niet alleen voor mij het geval, maar ook uit mijn blinde/slechtziende kenniskring.

Dus in jouw context: de ober vragen is zeker waardevol, maar zelf je gerecht kunnen kiezen is nog veel waardevoller.

[Caelorum]

Met iets als chatgpt dat eraan gekoppeld is kan je gewoon de app vragen of er iets op staat dat aan je voorkeuren voldoet. Ja, je kan de ober ook vragen, maar daar kan je soms ook gerust 15 minuten of langer op wachten. Dan is de app sneller.

Of de huidige iteratie van de apps voldoende werkt weet ik niet. Maar ik kan mij nog goed herinneren hoe we een blind iemand hadden gevraagd een treinkaartje te bestellen op de website van de NS pakweg 10 jaar geleden. Hij heeft het echt geprobeerd, maar na 3x hetzelfde rondje door de website te worden gestuurd gaf hij aan het normaal allang opgegeven te hebben. En dat was dan nog een website die ontwikkeld was voor screenreaders. Heb je veel aan Een app als dit had hem mogelijk wel geholpen om uit de loop te komen.

Om het nog maar niet te hebben over alle takken waar ik als ziende persoon al moeite voor moet doen om ze te ontwijken. Natuurlijk, de echte oplossing is die bomen weghalen, maar we weten allemaal hoe goed de gemeente daarin is. Een app als Be My Eyes kan die tak wel (of binnen een paar jaar) detecteren en op tijd waarschuwen.

Ik vermoed dat we nu nog een beetje in de stadium zijn dat de app het net niet goed genoeg doet om echt praktisch te zijn. Het niet gebruiken zorgt er echter weer voor dat er minder animo is om dit verder te ontwikkelen, terwijl met een paar jaartjes aan effort we wel op een echt nuttig vlak terecht komen waarbij blinde mensen niet direct afhankelijk zijn van anderen (of in ieder geval in dezelfde mate als een ziend persoon).

[Reactie gewijzigd door Caelorum op 23 juli 2024 05:55]

[Zer0]

Soms wil je gewoon op je gemak zelf een keuze maken zonder dat er iemand om je heen staat te drentelen om je order op te nemen. Ik gebruik in het buitenland regelmatig Translate om items op een menukaart te vertalen.
Daarnaast vind ik het zelf prettig om niet afhankelijk te zijn van anderen.

[falcon186]

Sorry. Ik heb eens letterlijk in een frituur gevraagd: "Wat hebben jullie zo allemaal." Het antwoord was: "Wat ze normaal in een frituur hebben hé."
Om bij het concreet voorbeeld te blijven in een restaurant: als de ober er al staat, voel je een druk en is het minder fijn en chill kiezen. Daarnaast moet je er maar vanuit gaan dat hij alles voorleest inclusief de prijzen. Dat van die prijzen heeft nog geen enkele ober in mijn leven ooit spontaan gedaan.

[draak42]

Ik snap je gedachte, maar het aantal functies die in de praktijk nuttig zijn is groter dan je denkt.
* Bortjes lezen op bijvoorbeeld een treinstation
* Labels scannen op producten
* Controleren of het licht aan staat
* Het laten voorlezen van tekst op screenshots
En nog veel meer.

[Zer0]

De voorbeelden zijn niets iets waar je dagelijks praktisch wat aan hebt.

Dat hoeft toch ook niet, al heb je er maar af en toe nut van, dan is het nog steeds nuttig. Ik gebruik zelf graag Google Translate, verdraaid handige en nuttige app, maar ik gebruik het zeker niet dagelijks.

Je hebt op een gegeven moment een vast patroon qua producten die je haalt, zoals iedereen.

En soms wil je wel eens wat anders, zoals iedereen

Etiketten lezen doe je in de app van de winkel.

Ten eerste heeft lang niet elke winkel een app, en daarnaast, hoe helpt die app je als je slechtziend bent?

[Menesis]

Waar baseer je dit op? Heb je wel eens met iemand blind is gesproken?
Ik werk zelf ook aan een app voor deze doelgroep en Seeing AI wordt echt wel in de praktijk gebruikt, met voice over natuurlijk.

[barbarbar]

Directe decennia ervaring met mensen die blind zijn. Het is zeker een hulpmiddel, maar ik zie heel vaak dat het geprobeerd wordt en al snel niet meer gebruikt omdat er eenvoudigere oplossingen zijn voor vaak voorkomende problemen. De spraak functies van telefoons zijn heel handig, maar dat scannen met een camera zie ik maar zelden gebruikt worden. We hebben hier verschillende vormen getest, ander andere zo'n camera vril die dan vertelt wat er voor je gebeurd, beetje zelfde idee. Maar praktisch is dat haast onbruikbaar. Voor de ontwikkelaars is het leuk om aan te bouwen, maar velen van hen hebben denk ik nog nooit iemand die blind is z'n dagelijkse dingen zien doen.

[Menesis]

Ok dan werk je er langer mee dan ik (2 jaar). Uit de interviews / gesprekken die ik met ongeveer 10 mensen heb gehad komt seeing AI toch vaak naar voren als nuttige app. maar toegegeven: ik heb niet in de praktijk gezien hoe specifiek deze app gebruikt wordt dus ja het zal dan zeker kloppen wat je zegt gezien je ervaring. En inderdaad, we hebben ook getest met een bril maar dat was niks want de doelgroep heft al genoeg extra spullen bij zich en om nóg een product aan je dagelijkse hebben en houwen toe te voegen moet het wel veel meerwaarde hebben boven bijv. een mobiel.

[falcon186]

Ik kan je al enkele toepassingen noemen waar ik als blind persoon de Be my AI toepassing (gebaseerd op chatgpt 4) gebruik: brieven identificeren, een scherm van een toestel (zonder screenreader) uitlezen, kleding beschrijven, menukaarten voorlezen, foto's van reizen op social media beschrijven... de vormfactor van een smartphone is gewoon niet handig. Ik las recent over dit:
https://hu.ma.ne/aipin
Misschien een nuttige vormgeving..... al betwijfel ik of het ontworpen is met toegankelijkheid in het achterhoofd.

[Alfredo]

Geld in de VS heeft allemaal dezelfde grootte. Het enige briefje dat een slechtziende mogelijk kan herkennen is dat van $100 omdat de nieuwe biljetten een extra strook toevoegen als beveiliging, en die kan je voelen. De meeste winkels accepteren $100 echter niet, dus zo vaak kom je ze niet tegen.
Daarom dat geld vervalsen hier ook een groot probleem is. Het exacte papier is moeilijk te verkrijgen, maar je kan $1 biljetten wassen in bleach om de inkt eraf te krijgen. Dan worden ze opnieuw gedrukt als $20 of $50.

[TheVMaster]

Ik heb die app wel gebruikt op iOS en ik denk dat het voor mensen met een beperking een goed hulpmiddel kan zijn.
Bijna iedereen heeft wel een smartphone bij zich en wat ik van die app heb gezien, hij doet z'n werk eigenlijk best wel heel goed. Dacht eigenlijk altijd al dat er een Android versie voor zou zijn, mooi dat die er nu ook is.

[draak42]

Klopt, uit ervaring weet ik dat dat soort diensten super waardevol zijn, en hoe meer AI hoe beter. Be My AI is bijvoorbeeld een dienst die GPT4 beeldherkenning gebruikt om foto's te beschrijven. Werkt perfect.

[alex3305]

Samsung's One UI en iOS hebben een vergrootglasfunctie. Bij One UI kun je die als 'widget' toevoegen, ook al ziet dit er uit als een app. Op iOS is het geloof ik wel een app (alhoewel ik geen iPhone heb). Deze app gebruik ik minimaal wekelijks, maar echt heel erg vaak. Het heeft voor mij ontzettend veel toegevoegde waarde, aangezien ik slechtziend ben.

De app uit het artikel ziet er enorm interessant uit, maar zal wellicht niet helemaal op mij van toepassing zijn. Zoals @barbarbar terecht opmerkt zal een slechtziende bijna nooit geld identificeren met een telefoon, want die weet toch al hoe het voelt. Het lezen van etiketten doe ik inderdaad in de winkel en ik zorg gewoon dat ik altijd spaghetti koop die 8 of 9 minuten moet.

Het idee is voor blinden en zeer slechtzienden echter ontzettend goed. Ik ben duidelijk niet de doelgroep. Alleen is wellicht een touchscreen niet de beste invoermethode voor deze groep . Dan zou een haptische interface wat mij betreft wat beter aansluiten.

[Zer0]

Zoals @barbarbar terecht opmerkt zal een slechtziende bijna nooit geld identificeren met een telefoon, want die weet toch al hoe het voelt.

En als je een keer op vakantie gaat naar een land buiten de euro zone? Het is misschien geen functie die je dagelijks gebruikt, maar soms wel handig kan zijn.

[alex3305]

Ik snap je punt. Maar blinden hebben ook al jaren gewerkt zonder een dergelijke app. In het buitenland kun je het vaak vragen en zijn mensen behulpzaam. Ja, dan moet je ze vertrouwen, maar soms moet je iemand anders vertrouwen. In mijn geval betaal ik met plastic of laat ik mijn vrouw betalen. Er zijn meerdere wegen naar Rome.

[Zer0]

Maar blinden hebben ook al jaren gewerkt zonder een dergelijke app

Natuurlijk, en we hebben ook decennia van A naar B gereisd zonder gemotoriseerd vervoer, en toch gebruiken we dat nu wel.
Dat iets zonder de app ook al kon betekent niet dat de app niet makkelijker, prettiger, sneller etc kan zijn. (voor een groep gebruikers)
Zoals je zelf zegt, er zijn meerdere wegen naar Rome, dit is een nieuwe weg, die voor sommigen wellicht prettiger is, er is nu in ieder geval meer keuze.

[Reactie gewijzigd door Zer0 op 23 juli 2024 05:55]

[falcon186]

Ik ben volledig blind en gebruik al 14 jaar een iPhone. Een touchscreen hoeft geen probleem te zijn indien er goede ondersteuning van spraak is, hetgeen je wel kan verwachten in een goede android of apple smartphone. Maar uiteraard dienen app bouwers hun resultaten ook toegankelijk te maken. Bij deze app zit dat wel snor, kan ik je uit eigen ervaring vertellen.

[alex3305]

Wat fijn dat je uit de voeten kunt met deze app . Ik denk ook dat jij meer de doelgroep bent dan dat ik dat ben. Ik val vaak tussen wal en schip, omdat ik wel tekst kan lezen, maar app bouwers veelal onvoldoende rekening houden met de schaalbaarheid van hun apps.

[falcon186]

Als ervaringsdeskundige jarenlang met plezier gebruik gemaakt van Seeing AI. Sinds dit voorjaar mee betrokken bij de beta testing van de Be my AI toepassing binnen de be my eyes app. Geweldig wat er met de beeldherkenning van chatgpt zo allemaal mogelijk is geworden.
Waar ik Seeing AI nog wel voor gebruik is de real-time tekstherkenningsfunctie.

[Autisme_tech]

Fijn dat dit soort dingen er steeds meer komen, aangezien ik ook met een tijdbom in mijn ogen rondloop wat straks mijn zicht zal aantasten tot het helemaal weg is. Daarnaast is leren en met de handen voelen ook verleden tijd voor mij door complicaties. Ik ben zelf aan het rondkijken voor wat mij straks in de toekomst zou kunnen helpen en dan kom ik al os toch steeds bij google uit, ook gezien de reviews van mensen die helaas de ervaring al hebben. Hopelijk gaan meer app bouwers hun apps ook toegankelijker maken voor deze doelgroep.

[Super_Fred]

Werkt dit beter dan Google Lookout? Ik heb het zelf niet nodig, maar wel uitgeprobeerd. Ik kan mij het alleen heel moeilijk voorstellen dat dit echt heel praktisch is, aangezien de app echt alles opnoemt wat hij 'ziet'. Daar moet je dus zelf chocola van maken. Je moet dus zelf zodanig dicht bij het object staan, dat je alleen dat object (met bijvoorbeeld tekst) in beeld hebt.

[Krommetenen]

Het is nog altijd triest dat zowel Apple als Android hun toegankelijkheid opties verstoppen en daarnaast zo beperkt blijven in functionaliteit.

Het zou je als tech bedrijf sieren om een aantal parels van apps prominent in je “aan de slag” installatie mee te nemen. Dan wel in je OS te bakken.

Leuk Microsoft, tof dat AI.
Toch heb ik 2 apps en 5 clicks nodig om een mail in Outlook voor te laten lezen. En dit NA dat ik toegankelijkheid heb ingesteld. En het stem aangepast naar Nederlands… ook zoiets.
Probeer het allemaal maar eens blind.

Karig, het hele zootje.