Apple komt met toegankelijkheidsfuncties voor deurherkenning en ondertiteling

Apple kondigt meerdere toegankelijkheidsfuncties aan voor zijn apparaten. Een van de functies is deurdetectie, waarmee een deur kan worden gezocht met de camera van een iPad of iPhone. Ook werkt Apple aan live ondertiteling in zijn besturingssystemen.

Het is nog niet bekend wanneer de toegankelijkheidsfuncties naar de verschillende apparaten van Apple komen. Apple schrijft dat het momenteel nog aan de verschillende functies werkt. De deurdetectie-functionaliteit moet naar de Vergrootglas-app op iPads en iPhones komen en maakt gebruik van de camera en LiDAR-scanner.

Met de tool moeten mensen die blind of slechtziend zijn straks in een nieuwe ruimte makkelijker een deur kunnen vinden. Het moet ook mogelijk worden om met deurdetectie kamernummers te herkennen of een entreebordje te signaleren. Vanwege het gebruik van de LiDAR-scanner kan de deurdetectie alleen gebruikt worden op iPhones en iPads die met LiDAR-technologie zijn uitgerust.

Ook gaat Apple live ondertiteling ondersteunen in zijn besturingssystemen. De ondertiteling moet geactiveerd kunnen worden met 'elke vorm van audiocontent', meldt Apple. Als voorbeelden noemt het techbedrijf ondertiteling bij het kijken van een video, een videogesprek of content op social media. Daarnaast moet de ondertiteling ook kunnen worden gebruikt tijdens een gesprek face-to-face.

Het is afwachten wanneer de ondertiteling ook beschikbaar komt in het Nederlands, want voorlopig kondigt Apple alleen een bètatest aan van de toegankelijkheidsfunctie in Canada en de Verenigde Staten. Apple is niet het eerste techbedrijf dat experimenteert met het automatisch genereren van ondertiteling.Twitter kondigde vorig jaar een test met live ondertiteling aan. YouTube heeft sinds een jaar ook ondertiteling en biedt ook de mogelijkheid om deze ondertiteling automatisch te laten vertalen naar onder andere het Nederlands.

Reacties (32)

Ik denk dat dit soort features voor blinden enz een geweldige tool zijn. Ik hoop wel dat ze hierin privé residenties e.d. zaken uitfilteren.

Hierin zou het natuurlijk anders een kwestie van tijd worden voor je iemand kunt stalken zodra je een foto van hun voordeur hebt... En hoewel deze functie óók nuttig zou kunnen zijn voor een blinde, is dit toch wel érg gevaarlijk gebied.

Hierin zou het natuurlijk anders een kwestie van tijd worden voor je iemand kunt stalken zodra je een foto van hun voordeur hebt..

Hoe zou deze functie dat in hemelsnaam mogelijk moeten maken ?

Omdat het o.a. de vraag is welke informatie er gebruikt wordt om dit mogelijk te maken.

Is het een AI welke beoordeeld wat hij ziet, live, ter plekke? Of is het een herkenningspatroon over gemaakte foto's / bestaande beelden?

In geval van dat laatste; zo dus.

Dan heb je het tweede gedeelte; Gaan de beelden terug naar een database voor improved learning of voor review? Dan staat het dus in een database. Gaat deze database geautomatiseerd werken? Dan is het maar net hoe gebruikers het gebruiken en kun je voor je het weet heel veel deuren in het algoritme hebben zitten.

Ik zeg niet dat het super waarschijnlijk is of een vanzelfsprekende uitkomst, enkel dat ik hoop dat ze hier tegen weren.

Natuurlijk voeden ze dit systeem met een enorme voorraad deuren om te leren zo werken al deze systemen.

Ik sta bij jou in de tuin, ik draai de iPhone rond en de App verteld mij waar jouw voordeur is, waar jouw bel hangt en of jij een draaiknop of een hendel hebt? Of ik loop in een hotel door de gang en de app verteld mij welk nummer de deur heeft en of het een magneetslot is, of ook een hendel of draaiknop?

Dit is ter ondersteuning van mensen die moeite hebben om dit zelf waar te nemen, de meerderheid van de mensen ziet al deze info zelf zonder problemen.

Ik mis echt hoe je hiermee iemand zou kunnen stalken?

[Reactie gewijzigd door Groningerkoek op 17 mei 2022 19:43]

Die bak met foto’s komt ergens vandaan, grote kans dat dit streetview (of een concurrent is). Voor de huidige eindgebruiker is het niet mogelijk, maar als Apple de AI ook de locaties van de originele deuren geeft is het vrij simpel om een lijst van deuren te krijgen die het meest op een ingevoerde foto (bijv achtergrond van een profielfoto) lijken.

Het heeft geen enkel nut om die locatie mee te geven, het gaat om (zeer waarschijnlijk zelfs lokale) objectherkenning door een AI en niet om het te vergelijken tegen een database welke ook is aangevuld met locaties.

Ik denk dat er ook echt met bluetooth / gps locatiebepaling is. Voor apple is die data erg handig.

Dus volgens jou gaat Apple mijn voordeur in een database zetten met daarbij mijn adres en vervolgens gaan ze bijhouden wie allemaal een iPhone voor mijn deur houden?

Dan hebben we echt heel verschillende meningen.

Volgens mij gaan ze een AI met een vracht foto's leren een deur/nummer/deurklink/bel te herkennen en krijg jij in een klein handig appje vervolgens de formules waarmee de herkenning van een deur plaatsvindt. Vele malen goedkoper en geen kans op een grote boete.

Volgens mij denk jij veel te moeilijk. Waarom moet je een bak met foto's hebben om deuren te herkennen? Het gaat er om of je een deur herkent en of de klink links of rechts zit. Welke deur dat is en waar die staat is niet zo relevant.

Is het een AI welke beoordeeld wat hij ziet, live, ter plekke?

Ja, anders heb je er natuurlijk niks aan.

Dan heb je het tweede gedeelte; Gaan de beelden terug naar een database voor improved learning of voor review?

Nee. Ik zie ook niet in waarom dat nodig zou zijn. Dit is gewoon een AI die vooraf getrained is en volledig on-device draait. Zoals Apple dat met vrijwel al hun machine-learning doet.

Je bedoelt net als de audio opnames die ze zogenaamd niet hebben? Blind vertrouwen.

Edit: Ik weet niet waarom specifiek deze reactie downvotes krijgt (of m'n anderen, daar niet van), maar Apple had gezegd dit niet te doen en dit werkte ook via een lokale AI, net als dit. Om te doen alsof dit niets met elkaar te maken heeft is gewoon naïef.

[Reactie gewijzigd door NoobishPro op 18 mei 2022 17:33]

Inderdaad, deze tool geeft aan welke kant je op moet om bij de deur te komen. Het kan ook vertellen wat er op bordjes rond de deur staat, maar als je een naambordje ophangt lijkt het mij juist de bedoeling dat je wil dat mensen je kunnen vinden?

Uit het verhaal van Apple:

Door Detection can help users locate a door upon arriving at a new destination, understand how far they are from it, and describe door attributes — including if it is open or closed, and when it’s closed, whether it can be opened by pushing, turning a knob, or pulling a handle. Door Detection can also read signs and symbols around the door, like the room number at an office, or the presence of an accessible entrance symbol.

[Reactie gewijzigd door Heedless op 17 mei 2022 19:01]

Alle voordeuren afgaan? Overigens kan je ook alle naamplaatjes dan afgaan. Het klinkt mij als overdreven pessimisme.

Dit is natuurlijk ter voorbereiding op de AR headset die er aan zit te komen. Met je iPhone voor je lopen is niet handig… maar met je AR bril op wel.

Zou Lidar daarbij ook de oplossing zijn als alternatief voor een camera? Ik bedoel om camera helemaal weg te kunnen laten...

[Reactie gewijzigd door Rutger Muller op 17 mei 2022 21:48]

Lidar is alleen voor afstand meten, de camera is voor de gekleurde pixels binnen te halen... Zonder camera kan het niet lezen wat er op de deur staat in het voorbeeld van het artikel.

Gebruik Apple niet TOF camera's in telefoons? Die kunnen zowel (kleur)beelden opnemen als (vziw) per-pixel de afstand/"diepte" tegelijkertijd meten. Dat lijkt mij beter dan LIDAR.

Helemaal top, dan geven we een blind persoon een bril waarmee ie op kleine schermpjes AR kan... uh...

Oogproblemen zijn niet binair, het is niet zo dat iemand wel of niet ziet. Dit kan voor sommige slechtziende personen wel degelijk handig zijn.

Daarnaast zie je vaak dat dit soort ontwikkelingen op termijn niet op zichzelf staan. Je iPhone zou het je vermoedelijk ook kunnen vertellen zodra die deur dan gevonden is.

Dan ben je blind moet je alsnog een bril op.

Dus een blinde moet een deur gaan zoeken met een telefoon? En vervolgens moet hij alsnog op de tast de deur vinden?

Voelt een beetje als een probleem verzinnen voor je oplossing.

De blinde weet (of veronderstelt) dat ergens in de buurt een deur is. maar of die 5 meter naar links of naar rechts is kunnen ze niet zien.
Dus openen ze deze app, en gaat van links naar rechts. als de camera naar een deur wijst, zegt de app luidop "de deur is recht voor u, opX meter afstand, met huisnummer Y"

En ja, duh. een blinde moet altijd op de tast de deur vinden, maar op deze manier hebben ze toch een idee waar ze naartoe moeten stappen.

Maar dan moet die blinde eerst zijn telefoon pakken, unlocken, zoeken naar de app(good luck) en zien of de voor of achter camera aanstaat(good luck) en dan gaan zwaaien met zijn telefoon tot hij een deur vindt.

Ik denk dat het sneller is gewoon hulp te vragen. Ook minder kans dat je iemand een mep geeft of ze je telefoon van je jatten.
En voor het argument komt dat een blinde in zijn eentje naar een verlaten straatje gaat:"really?"

Zoals ik al zei, het voelt heel erg als een probleem zoeken bij een oplossing die je hebt gemaakt.

[Reactie gewijzigd door dieAndereGozer op 18 mei 2022 09:44]

Maar dan moet die blinde eerst zijn telefoon pakken, unlocken, zoeken naar de app(good luck) en zien of de voor of achter camera aanstaat(good luck) en dan gaan zwaaien met zijn telefoon tot hij een deur vindt.

Een blinde kan prima een telefoon bedienen. Hier zijn vele ingebouwde functies voor.

Ik denk dat het sneller is gewoon hulp te vragen. Ook minder kans dat je iemand een mep geeft of ze je telefoon van je jatten.
En voor het argument komt dat een blinde in zijn eentje naar een verlaten straatje gaat:"really?"

En als er niemand is om hulp te vragen? Of sowieso, zou een blind persoon niet veel prettiger zelfstandig door het leven moeten kunnen gaan? Een blind persoon is prima in staat zelfstandig te leven en door een stad te bewegen. Het vinden van de deur is (na navigatie) nog een obstakel, wat hiermee wordt weggenomen.

Zoals ik al zei, het voelt heel erg als een probleem zoeken bij een oplossing die je hebt gemaakt.

Het voelt heel erg alsof jij allemaal aannames doet over hoe zelfstandig mindervaliden willen/kunnen zijn.

Jij bent dus blijkbaar voorstander van dat mensen met een beperking vooral niet zelfstandiger moeten gaan worden. Ieder hulpmiddel waarmee mensen zelfstandiger door het leven kunnen moet toch worden toegejuicht? Ik neem aan dat jij dan ook niet wilt dat mensen die slecht ter been zijn een scootmobiel moeten krijgen. Veel beter om in een rolstoel te gaan zitten en hulp te vragen, toch?

Wil je dat ik hier serieus op ga reageren? Want jij verzint er wel hele gekke dingen bij. Als je geen argumenten hebt, doe dan alsjeblieft geen ad hominems.

[Reactie gewijzigd door dieAndereGozer op 18 mei 2022 11:36]

Blinde pakt telefoon, unlocked met zijn vingerafdruk en zegt "Siri, waar is de deur" of Siri help mij de deur te vinden"

Dear Gozer, de deur is 6 meter naar voren en dan 3 meter naar rechts, de deurbel zit aan de linkerkant.

Get your real fake doors now https://realfakedoors.org/

[Reactie gewijzigd door Mushroomician op 17 mei 2022 18:21]

Die kun je openen met een Plumbus™.

Live Captions will be available in beta later this year in English (US, Canada) on iPhone 11 and later, iPad models with A12 Bionic and later, and Macs with Apple silicon.

Nederlands moeten nog even wachten.
Maar ben benieuwd hoe het in de praktijk werkt! Dove vrienden van me zitten hier al lang op te wachten. Hopelijk komt het een beetje snel naar de rest van de wereld

[Reactie gewijzigd door SebasKolk op 18 mei 2022 09:03]

Handige functie. Google, Apple Kaart e.d. navigeren wel "ongeveer" naar de winkel, kantoor of huis van vrienden. Vooral bij onbekende adressen kan het een heel gezoek zijn om de ingang te vinden. Tasten met de stok, paar meter naar links, paar meter naar rechts, is dat gat in het hek de ingang of een versiering, welk glaspaneel is de deur of gewoon een ruit? Helemaal vervelend als er van die anti-ramkraak paaltjes staan.

"We" zijn al gewend om op de iPhone te loop navigeren, het pak melk te vinden in de supermarkt met OCR/barcode scanner, wat er op de perronborden staat, hoe laat de volgende bus aankomt bij de bushalte.

De RNIB (Engelse blindenorganisatie) adviseert bedrijven om hun what3word register bij te houden. Dat is een grid systeem waarin "de deur", of het pad van de straat naar de deur, kan worden aangegeven in een virtueel vlakje op de grond. Elk virtueel vlakje op de wereld is identificeerbaar door drie woorden.
https://what3words.com/gevallen.snuit.bakboter