Kuo: Apples mixedrealityheadset krijgt geavanceerde handdetectie - update

Apples eerste mixedheadset krijgt mogelijk geavanceerde handdetectie. De headset zou daarvoor 3d-sensoren krijgen, die onder andere verschillende handgebaren kunnen herkennen. De MR-headset van Apple wordt naar verwachting volgend jaar aangekondigd.

Bekende Apple-analist Ming-Chi Kuo meldt in een analyse dat de mixedrealityheadset vier sets 3d-sensoren krijgt, schrijft 9to5Mac. Hiermee zouden de sensoren van de headset accurater zijn dan die van iPhones, die over een enkele TrueDepth-camera voor Face ID beschikken. De analist schrijft dat de sensoren objecten en ook 'dynamische detailveranderingen' van handen detecteren, vergelijkbaar met het TrueDepth-systeem dat gezichtsuitdrukkingen kan herkennen voor Animoji's. Kuo geeft als voorbeeld een virtuele ballon die wegvliegt nadat de 3d-sensoren detecteren dat deze niet langer wordt vastgehouden door de gebruiker.

Kuo verwacht dat de 3d-sensoren in Apples komende headset ook een hogere field-of-view krijgt, waardoor de headset objecten tot 200 procent verder weg kan detecteren dan de huidige TrueDepth-sensoren. De mixedrealityheadset zou verder irisherkenning, oogtracking en stemcontrole krijgen en kan mogelijk ook gezichtsuitdrukkingen herkennen. Apple kondigt zijn eerste headset naar verwachting volgend jaar aan, voorspelde Kuo eerder al. De headset moet standalone kunnen functioneren en hoeft dus niet met een iPhone verbonden te worden.

Update, 09.54 uur: Aanvankelijk werd Apples komende headset een 'AR-headset' genoemd. Dit moest 'mixedrealityheadset' zijn. Het artikel is hierop aangepast.

Tekening van hoe de Apple-headset eruit kan komen te zien op basis van beschrijvingen van anonieme bronnen. Bron: The Information

Reacties (21)

Vraag me af hoe die headset werkt voor brildragers

Goede vraag. Als brildrager en motorrijder weet ik uit ervaring dat sommige monturen zo ruim om je hoofd zitten dat ze het vizier van de helm raken. Dat zal bij dit soort headsets niet anders zijn.

Omdat in deze headsets meestal een lens zit om het beeld goed op het oog te krijgen, zou het mooi zijn als die lens zodanig instelbaar is dat de bril af gezet kan worden. Maar in de regel kan dat echt niet de hele reeks van -9 tot +9 behappen, als het al instelbaar is.

De cardbord vr-bril die hier nog rond zwalkt heb ik zowel op mijn mobiel als mijn bril moeten (en kunnen) aanpassen.

Nieuwere VR-brillen hebben al een aanpasbare diopter ingebouwd. De vraag is of dat in alle gevallen werkt natuurlijk, maar het schijnt wel aardig te werken. Zie https://www.gizmochina.co...21/10/Vive-Flow-dials.png bijvoorbeeld.

Ja diopter is een mooie oplossing. Alleen jammer dat ik nauwelijks een diopter-afwijking heb, maar enkel cylinder. En dan heb je er niet zoveel meer aan

Maar het is een begin natuurlijk. Als je het écht belangrijk vind bestaan er nog lenzen. En voor bijvoorbeeld skibrillen zijn er speciale varianten waar je zelf glazen in kan laten zetten. Je koopt de glazen, laat ze slijpen op jouw sterkte en voila!

Dus oplossingen zijn er volgens mij wel. Of die ook in de Apple-variant zitten als die komt, is de vraag.

6 dioptrie dus. Ik heb -9

Op huidige VR brillen (zoals de Oculus quest) kun je al prescription lenses opzetstukken zetten. Die kunnen alle sterktes en cilinders bevatten die een gewone bril ook heeft. Wellicht helpt dat in jouw geval.

Hopelijk is een bril juist biet meer nodig. Ze hebben ook een patent aangevraagd dat de sterkte dynamisch verzorgt kan worden

Meestal is dat soort aanpassingen wat beperkt, als je meer dan pak hem beet, -6 of +6 hebt, val je buiten de boot (verrekijkers bijvoorbeeld)

Zal wel moeten toch, anders is het niet echt bruikbaar.

Maar komen ze eerst met een VR/Mixed set en daarna met AR of slaan ze die eerste over?

AR, VR, het is maar net waar jou afkorting voor staat en welke definitie je daar achter hangt.
Artificial Reality? Augmented Reality? Aangepaste realiteit? Gelukkig zijn er wereldwijd en in het Nederlands nog veel meer betekenissen van 'ar'.
Met VR is het ongeveer het zelfde: VirtualReality is in deze context het eerste wat in mij op komt. Verbeterde Realiteit past ook. Ik kan zo snel even geen (twisted) engelse term vinden maar die zijn er vast.

Zover bij mij bekend zijn er duidelijke verschillen tussen VR, AR en MR
In een notendop:
VR = complete fictieve wereld om je heen (heeft potentieel met de 'echte' wereld om je heen te maken)
AR = Informatieve aanvulling op de werkelijkheid. (dus je kijkt naar iets en er komt bijvoorbeeld wat 'wiki-informatie' in je gezichtsveld)
MR = Grafische uitbreiding van de werkelijkheid. (een fictieve TV die aan de muur hangt die je alleen ziet via de MR-bril) Ofwel een tussenweg tussen VR en AR

Coolblue heeft het netjes uitgestippeld:
https://www.coolblue.nl/a...ixed-virtual-reality.html
Er zijn meer sites (intel, microsoft, enz.) die het uitgeschreven hebben.

In mijn Oculus Quest zit al goeie handtracking en ik zit er niet zo op te wachten om gebarentaal te leren voor communicatie met mijn headset...

Vergelijkbaar dus met de HoloLens 2, daar kun je ook dingen vastpakken, virtueel piano spelen, etc. Niet zo heel verrassend dat ze dus ook zoiets inbouwen. Het is vergelijkbare techniek als je vroeger al had met de Leap (niet verwarren met Magic Leap).

Bedoel je de Leap Motion?
https://en.wikipedia.org/wiki/Leap_Motion

Heb er wel eens mee gespeeld. Grootste handicap vond ik het gebrek aan 'tactile feedback': iets oppakken en dan niet kunnen voelen dat je iets vastpakt.

Ja, Leap Motion inderdaad, dat was de naam . Ja tactile feedback mist inderdaad, en dat is in AR met HoloLens 2 nog steeds zo en dat zal je ook bij de Apple AR bril hebben. Zolang je niet fysiek iets vasthebt of iets van handschoenen aanhebt, zul je dat blijven houden.

Gelukkig wordt er door meerdere bedrijven aan gewerkt. Een van de video's van Destin van Smarter Everyday gaat over zo'n ontwikkeling, erg interessant om te zien hoe het werkt en wat erachter zit; A Real Life Haptic Glove (Ready Player One Technology Today) - Smarter Every Day 190

Klopt. We hebben zelf samengewerkt met een aantal partijen die dit soort dingen ontwikkelen. Van handschoenen tot volledige pakken die feedback geven. In Nederland zitten aantal start-ups die dit ontwikkelen. Een mooi pak is bijvoorbeeld de Tesla Suit. Maar zoals ik al aangeef, dan moet je wel fysiek iets in je handen hebben. Tenminste, er zijn ook bedrijven bezig met haptische feedback op basis van geluid golven.

Ik denk dat het mooie van deze technologie is dat je hersenen ervoor zorgen dat het snel als 'echt' aanvoelt. In het filmpje dat ik link zie je hele simpele graphics en cartooneske bewegingen, iedereen ziet dat het niet echt is, maar omdat je het erbij voelt maakt het het echt. Daar zit hem de echte kracht, neem je hersenen in de maling en het voelt realistisch aan.

Goed voorbeeld is denk ik de vooruitgang in grafische kwaliteit van games. Ik ben op een Commodore 64 begonnen met gamen en in die 18 pixeltjes zag ik gewoon een helikopter. FIFA 98 was het meest realistische voetbalspel ever want ze bewogen zo mooi. De tussenfilmpjes uit Command and Conquer Red Alert waren met echte acteurs opgenomen en aangevuld met 3D modellen, het was levensecht allemaal.
En als je nu terugkijkt, of het aan een jongere laat zien die 120fps 4K gamen gewend is zal de eerste reactie zijn 'dat ziet er echt niet uit'. Maar op dat moment was het genoeg, en dat zal met Haptic Feedback denk ik niet anders zijn.

Kuo geeft als voorbeeld een virtuele ballon die wegvliegt nadat de 3d-sensoren detecteren dat deze niet langer wordt vastgehouden door de gebruiker.

Mijn (twisted) mind: En de rest valt netjes op de grond zoals bij een Griekse bruiloft. Of het valt in het water mocht dat herkend worden.

Wat ik me dan afvraag: zou je je macbook pro max of iPhone dan als coprocessor kunnen inschakelen? Zou dat een optie worden? Want grafisch vermogen dat wordt het vraagstuk met dit soort technologie en 'natuurlijke beleving' bij Computer Supported Cooperative Work... https://cscw.acm.org/2021/

Ik ben wel benieuwd wat Apple's idee is met hun headset. Afgezien van games zie ik momenteel nog niet veel toepassingen waarvoor ik een 'Apple prijs' voor een dergelijk apparaat over heb of waarvan ik denk dat het draaggemak het waard is. En Apple is ook niet een bedrijf wat om gaming bekend staat. Tenzij voor IOS/Apple arcade. Maar om dat nou VR/AR te doen loop ik ook niet warm voor.

Maar wie weet, vaak heb je hardware ontwikkelingen nodig om software ontwikkelingen mogelijk te maken.