Apple gaat oogbediening toevoegen aan iPhones en iPads

Apple gaat dit jaar oogtracking toevoegen aan zijn iPhones en iPads. Dat maakt de techgigant bekend. Het betreft een toegankelijkheidsfunctie die mensen met een beperking moet helpen bij het bedienen van hun apparaat. Apple komt ook met andere nieuwe toegankelijkheidsfeatures.

Apple kondigt de nieuwe toegankelijkheidsfuncties voorafgaand aan de Global Accessibility Awareness Day aan. Met oogtracking kunnen gebruikers hun iPhone of iPad bedienen met ooggebaren. Daarvoor wordt de selfiecamera gebruikt. Het is bijvoorbeeld mogelijk om door apps en menu's te bewegen. Door wat langer naar een 'element' te kijken, wordt deze geactiveerd. Het is ook mogelijk om onder meer fysieke knoppen te bedienen via oogtracking, zegt het bedrijf.

De techgigant komt later dit jaar ook met Music Haptics voor iPhones. De telefoon geeft daarmee via de Taptic Engine 'tikken, texturen en verfijnde vibraties' af tijdens het afspelen van muziek. Zo kunnen mensen die doof of slechthorend zijn muziek ervaren, stelt Apple. Deze functie komt beschikbaar via Apple Music. Er komt ook een Music Haptics-api, zodat ontwikkelaars deze functie in hun eigen apps kunnen integreren.

Apple toont ook Vocal Shortcuts, waarmee gebruikers uitspraken kunnen instellen. Als ze die uitspreken, dan voert hun apparaat bijvoorbeeld een Siri Shortcut uit. Apple zegt dat deze feature speciaal is ontworpen voor mensen met een progressieve aandoening die spraak beïnvloedt, zoals cerebrale parese, ALS of een beroerte. Verder komt Apple met functies die wagenziekte moeten verminderen tijdens het gebruik van een iPad of iPhone. CarPlay krijgt stembediening en andere toegankelijkheidsupdates voor onder meer gebruikers die kleurenblind zijn of een andere visuele beperking hebben. VisionOS krijgt op zijn beurt live-ondertiteling en meer.

Apple zegt dat de functies 'later dit jaar' beschikbaar komen, maar het bedrijf deelt geen concrete releasedatum voor de verschillende features. Mogelijk komen de functies beschikbaar met iOS en iPadOS 18. Apple kondigt die software vermoedelijk aan tijdens WWDC in juni, met een release in de herfst.

Oogbediening op een iPad. Bron: Apple

Reacties (45)

[mickeyhouse]

Kunnen ze nu ook bijhouden hoe lang je naar een advertentie kijkt...?

[Jermaine]

Het eerste waar ik als webdesigner/dev aan dacht was het openstellen van de eyetracking API, om op dit manier goed te kunnen volgen hoe een bezoeker een website op een smartphone/tablet ervaart. Helaas is jouw idee dan weer een reden voor Apple om die API juist niet open te stellen

[Luminair]

Ik vermoed dat ze zo iets implementeren in HTML door mouseOver events te gebruiken, en het als 'coarse pointer' te presenteren in Javascript. Dat doen ze nu ook met de Pencil, Vision, en de iPad cursor (die is ook 'coarse' geloof ik).

Volgens mij wordt mouseover inderdaad flink gebruikt om te tracken helaas, maar tegelijkertijd is dat iets wat adblockers gelukkig ook op kunnen.

[Snowfall]

Ik heb ooit eens een CoreML model gebouwd voor een klant die wilde tracken of een gebruiker naar de advertentie keek door de front camera te gebruiken op de iPhone en als de gebruiker wegkeek stopte de advertentie tot je weer naar het scherm keek. Anders kon je niet verder spelen.

Apple maakte met deze implementatie korte metten en hij moest t eruit slopen.

Ik denk niet dat Apple dit opeens wel gaat toestaan maar eerder gewoon developers mogelijkheden geeft om met de ogen de ui te bedienen.

[Reactie gewijzigd door Snowfall op 22 juli 2024 14:40]

[Tweakert2020]

Waar een bezoeker naar kijkt zegt toch niks over de ervaring?

[Jermaine]

My bad, misschien verkeerd verwoord. Bij een vorige werkgever hebben we op desktopniveau veel eyetracking gebruikt om te verifiëren of de plaatsing van bijvoorbeeld een dagaanbieding wel juist was. Dergelijke inzichten kunnen enorm interessant zijn, zeker nu dit dus een stapje dichterbij komt op mobiele devices die vaker gebruikt worden dan lap-/desktop.

Overigens zou het meten van de ervaring wel degelijk kunnen; de stand van de ogen zegt tenslotte vaak iets over hoe iemand zich op dat moment voelt.

[Horatius]

Het zegt enorm veel over de ervaring.

Stel je hebt site X, persoon Y probeert op site X informatie over Z te vinden. Als je kan zien waar Y kijkt om Z te vinden dan heb je informatie over wat de reactie van Y is op taak Z voor site X.
Met die informatie kan je de flow verbeteren en dus de ervaring, als mensen op de verkeerde plek van het scherm kijken voor informatie is dat een slechte ervaring.

[kozue]

Jouw reden is er ook een om de API niet open te stellen. Wellicht handig voor jou om gebruik van je website te kunnen onderzoeken, maar heb je wel eens overwogen dat de meeste mensen helemaal niet op zo’n manier gevolgd willen worden?

[Jermaine]

Ik doelde op usertests op locatie, niet op willekeurige basis zoals de tracking van bv Hotjar of Mouseflow werkt.

[dasiro]

Apple wil met AI advertenties blokkeren voordat je ze nog maar te zien krijgt

[Menesis]

Nee dat kan niet (en ook niet met de Apple Vision Pro, want je hebt als ontwikkelaar geen toegang tot de eye tracking cameras),
Maar je beschrijft wel Zuck's natte droom waar hij hard aan werkt met al zijn brillen die vol hangen met cameras. Maar niet alleen om te "kijken" hoe lang je naar een advertentie kijkt, maar nog meer om jouw leven beter in kaart te brengen.

[Reactie gewijzigd door Menesis op 22 juli 2024 14:40]

[SterkeYerke]

Was die Galaxy S4 waarmee je met je ogen kon scrollen dan stiekem zijn tijd toch vooruit?

[bzzzt]

Was die Galaxy S4 waarmee je met je ogen kon scrollen dan stiekem zijn tijd toch vooruit?

Nee hoor, dan was Canon met Eye control autofocus (camera stelt scherp waar je kijkt) in 1992 nog veel eerder.

[mjl]

Helaas hebben ze bij Canon die functie na de 33e geschrapt… ik vind het heerlijk! Ik dacht even dat het terug op de 5D IV maar helaas was de oog gestuurde AF daar op basis van de ogen van het object en niet van de fotograaf.

[L00_Cyph3r]

Volgens mij heeft de R3 het wel, mogelijk ook de R1. Is alleen wel uit de categorie “dure hobby” 😅

[mjl]

Ja dat had ik ook begrepen, ik had mezelf beloofd dat ik de eerstvolgende digitale SLR met eyefocus zou kopen maar 4800 euro is mij wel erg gortig. Heb het maar bij de EOS 5D IV gehouden, overstappen op ander glas is oerigens nog een veelvoud hiervan. Die lenzen zijn wel schrikbarend duur geworden en ik kan me niet voorstellen dat een RF naar EF converter de kwaliteit ten goede komt.

Ik had een stille hoop dat er een EOS 3 zou komen met deze functie, maar helaas gingen ze toe al over op de R-serie. Mooie melkkoe voor ze zo..

[Lagonas]

Dat kan ik me nog goed herinneren.. het werkte helaas voor geen meter in mijn beleving. Werkte de ene keer wel, de andere keer niet. Soms was het vloeiend, dan weer erg stroperig, of hij schoot in 1 keer een heel stuk door.

[TheVivaldi]

Is het ook. Wat ik hier altijd in de reacties leer is dat Apple functies van anderen perfectioneert, dus in dit geval hebben ze blijkbaar iets van Samsung gekopieerd en geperfectioneerd.

[Ryangr0]

Samsung staat nou niet bepaald bekend om de goede eyetracking. De tech was er inderdaad al jaren, maar niemand deed er iets mee. Apple heeft toch ook die aaibaarheidsfactor waardoor het "tracken van je ogen" minder indringend lijkt.

Apple zou beter naar zijn hardware kunnen kijken en daar stappen maken. Het is gewoon schandalig dat men nog steeds met 4/6/8 gig werkgeheugen uit de voeten moet.

[laptopleon]

Die aaibaarheidsfactor is geen toeval, maar verdiend. Bij Apple weet je aardig waar je aan toe bent. Minimale interface met minimale poespas. Ja, het blijft een commercieel bedrijf dus je betaalt via de hardware ook voor het operating systeem en de meegeleverde software, maar je krijgt niet overal reclame, onnodige pop-ups of bloatware sponsoring te zien.

[Tweakert2020]

Wat is er precies schandalig aan dan?
Dat er efficiënt geprogrammeerd moet worden?

[SG]

Dat is omdat groot deel die hoeveelheid niet nodig hebben dan moet je als iet wat meer eisen hebt iig niet naar de vanaf prijs kijken. Maar 2 tiers hoger. Er is groep die uitsluitend websurft en email online shopt. Ander groot deel is te weinig. Een ander deel shift van low user tot tier hoger door appje dat stuk meer vraagt dan web browsen of email tja dat is dan de niet future proof gok dat je genomen hebt.

[Ryangr0]

Hou toch op aub. Geheugen kost geen hol en Apple hanteert sowieso al een markup van enkele duizenden procenten. Dit is gewoon een marge verhaal.

[iAR]

Die zijn er wel degelijk hoor:
- Apple Pay
- Airdrop
- Continuity
- Afwerking en design
- FaceID

[k995]

Die zijn verre van perfect hoor

[iAR]

Dat vind jij, en dat is prima. Ik ben nog geen betere varianten of alternatieven tegen gekomen.

[k995]

"beter" is anders dan "perfect", geen van deze is perfect, dat ze de beste zijn in hun soort kan goed zijn.

[troje]

Next stop. Eyetracking info beschikbaar maken voor adverteerders.

[HtheB]

Doet me denken aan dit:
YouTube: The Amazing World of Gumball | Computer AI Absorbs Humanity | Cartoo...
0:00 - 0:35

[MarcoC]

Die informatie wordt natuurlijk niet zomaar gedeeld. Net zoals dat voor je camera, microfoon en locatiegegevens ook toestemming gevraagd moet worden.

[jacobras]

Google had gisteren tijdens I/O een vergelijkbare aankondiging, met Project Gameface. Ook gericht op mensen met een beperking, maar niet met oogbewegingen maar met gezichtsbewegingen (glimlachen, wenkbrauwbeweingen). https://www.engadget.com/...on-android-123029158.html.

Oogbewegingen lijken mij persoonlijk handiger. Ik heb ooit een app die dat biedt geprobeerd en dat werkte jaren geleden al verrassend goed! Maar misschien is dat niet voor iedereen een bruikbare optie.

[Reactie gewijzigd door jacobras op 22 juli 2024 14:40]

[Monkeydancer]

Ik vind het zowel een goede als een slechte ontwikkeling. Er bestaat al zoiets als Neuromarketing en dit wordt vooral met name toegepast in ongezonde reclames. Door eyetracking toe te voegen worden er nog meer mogelijkheden geopend voor Neuromarketing en adverteerders.

https://pointer.kro-ncrv....n-van-een-fastfoodreclame

Voor mensen die motorieke beperkingen is dit een mooie oplossing.

[m_snel]

Ik kan alleen voor mijzelf spreken maar heb ondertussen al jaren een soort add blocker ingebouwd. Ik zou nu bijvoorbeeld niet kunnen zeggen welke reclame er getoond is. En begrijp ook niet echt waarom mensen zich later verleiden als ze iets zien.
Ik heb wel ooit eens opgemerkt dat ik iets wilde kopen in een winkel en dat andere mensen voor mij de laatste wilde pakken.
Ook dan schiet er opeens een add blocker op die mij direct weer terug brent naar de realiteit.
Ik moet ook wel bekennen dat ik er wel eens gebruik van gemaakt hebt. Maar ja als je al twee bankstellen gekocht hebt dan is het niet gebruikelijk dat je er nog zes aanschaft .

[pfudaniel]

Mijn iris is zo mooi die krijgen ze niet 🤪

[drakiesoft]

Voor de mensen zonder beperking een mooie functie zodat Apple kan tracken waar je allemaal naar kijkt

Edit: dit is niet iets positiefs

[Reactie gewijzigd door drakiesoft op 22 juli 2024 14:40]

[m_snel]

Ik zie de rechtszaken al aankomen zoals met MS Kinect camera. Ik moet altijd een zonnebril op vanwege mijn ogen en kan er geen gebruik van maken zou een klacht kunnen zijn.

[Jermaine]

Als FaceID werkt met een (niet reflecterende) zonnebril, zal deze nieuwe optie ook prima werken.

[m_snel]

Dat zou kunnen, ik gebruik nooit een zonnebril. Maar wel een leesbril.

[Remy!!!!]

Ik moet altijd een zonnebril op vanwege mijn ogen.

ik gebruik nooit een zonnebril.

[m_snel]

Ik gaf een voorbeeld van een mogelijke klacht.

[Scriptkid]

Dus als je op je device dan een 18+ advertentie krijgt en je oog valt er op heb je meteen de site full screen open lol

[Roel1966]

Ik kan mij voorstellen dat dit handig kan zijn voor mensen met een fysieke beperking maar ik vraag mij wel even af hoe het dan zit bij mensen met een bril. Neem aan dat dan de beweging van de oogbol voor eyetracking gebruikt word maar mij lijkt dat brilleglazen het tracken kunnen verstoren.

[De_Daapse]

Ah ok, nu is het mij duidelijk. Ik dacht in eerste instantie dat ik mijn ogen zou kunnen bedienen met de telefoon, maar het is andersom.

[Joepi]

het kan veel simpeler:
oog knippen links of rechts of twee tegelijk .... enz.
hoofd schudden of buigen enz.
hoelang, volgorde, combi etc.
Ben je al heel eind! ...zonder trekking.