Google voorziet ARCore van functie om diepte te berekenen zonder aparte sensors

Google voorziet zijn ARCore-toolkit van een nieuwe api, waarmee gebruikers op hun Android-smartphone bij ar-toepassingen diepte kunnen inschatten zonder dieptesensor met time-of-flight of de noodzaak van meerdere camera's. Ook komt occlusion beschikbaar.

Volgens Google maakt de aan ARCore toegevoegde Depth-api het mogelijk voor ontwikkelaars om occlusion te introduceren, een techniek waarbij het zicht op een ar-object of -subject deels geblokkeerd wordt door objecten uit de echte wereld. Daarbij kan bijvoorbeeld gedacht worden aan een kat die achter fysieke plantenbakken rent. Dat maakt dat de virtuele objecten veel meer onderdeel lijken te zijn van de omgeving. Occlusion komt eerst beschikbaar in Scene Viewer, een ontwikkelaarstool die augmented reality in Search mogelijk maakt. Dit komt beschikbaar op die Android-apparaten die compatibel met ARCore zijn, volgens Google meer dan 200 miljoen apparaten.

De Depth-api maakt automatisch meerdere afbeeldingen vanuit meerdere hoeken, tijdens het bewegen van de smartphone en de camera. Daarna worden de afbeeldingen vergeleken om de afstand van de gebruiker tot elke pixel in te schatten. Tijdens een demonstratie kon de medewerker bijvoorbeeld virtueel eten gooien naar een robot, waarbij de fysiek aanwezige bank op het scherm van de smartphone als bank werd weergegeven en het eten blokkeerde bij een te lage worp. De dieptefunctie vergt alleen een enkele smartphonecamera en zou het voor ontwikkelaars mogelijk maken om te spelen met physics in de echte wereld en interacties met oppervlakken.

Vooralsnog is de Depth-functie alleen nog beschikbaar via Google Search en de Amerikaanse binnenhuisontwerp-app Houzz. ARCore is te beschouwen als een doorontwikkeling van Tango en is min of meer de tegenhanger van ARKit van Apple. Het zijn tools om allerlei augmented reality-toepassingen mogelijk te maken op smartphones.

Reacties (4)

[erikieperikie]

Iemand een idee wat de ruimtelijke resolutie van dit soort AI is? Dat is: hoe kleine verschillen in lengte/breedte/diepte kun je hiermee met een bepaalde betrouwbaarheid meten?

Dit heeft voor allerlei professionele toepassingen nut om te weten, maar dan moet deze resolutie natuurlijk wel klein en betrouwbaar genoeg zijn voor de specifieke toepassing.

En dezelfde vraag heb ik over ARKit van Apple.

Iemand een link naar een whitepaper of zelfs wetenschappelijk onderzoek met dit soort toepassingen?

[Menesis]

ARKit heeft een afwijking van ongeveer 10% bij van die meet-apps (test bijv. het in iOS ingebouwde "measure") en leg er een lineaal naast
Bij deze dieptemap is het vrij onduidelijk wat ze precies genereren. Het lijkt een mesh te zijn, maar dat hoeft niet.
Er is trouwens 1 bedrijf die dit al langere tijd voor zowel ARCore als ARKit doet: https://www.6d.ai
Ze zijn bezig om 1 grote spatial mesh van de wereld te bouwen, en moet bij het stitchen van al die spatial data dan weer rekening houden met de afwijking van ARKit en ARCore. Dus wellicht is de spatial data van 6D.ai uiteindelijk weer wat beter

Maar voor professionele toepassingen binnen AR kom je eerder bij de HoloLens2 uit: handen vrij tijdens het werk en uiteraard meer immersive en betere sensoren.

[Reactie gewijzigd door Menesis op 23 juli 2024 16:42]

[DigitalExorcist]

Iemand heeft vast wel dat idee ja.

Maar los daarvan: zelf even zoeken levert wel wat op natuurlijk. Bijvoorbeeld dat het uitmaakt welke camera je gebruikt, of je TrueDepth gebruikt of de “gewone” rear camera etc.

https://developer.apple.c...ch_camera_feed_to_augment

[Tuktop]

Gave ontwikkeling! Vooral het missen van occlusion was een behoorlijke doorbreking van geloofwaardigheid.

Ben ook benieuwd wanneer dingen als kleur (en richting?) van de lichtbron kunnen worden berekend.