ARCore op Android kan tweede camera gaan gebruiken voor diepte-informatie

ARCore op Android kan voortaan informatie van meerdere camera's combineren om een betere dieptekaart te maken. Dat was tot nu toe niet mogelijk. De eerste telefoons die dat kunnen, zijn de Pixel 4 en 4XL uit 2019.

De ondersteuning voor het gebruik van de tweede camera voor ARCore komt in de komende weken uit op de Pixel 4, blijkt op de supportpagina, die Android Police aantrof. De Pixel 5 en 4a 5G uit 2020 krijgen de functie vooralsnog niet, ondanks dat die ook twee camera's aan de achterkant hebben. Dat komt vermoedelijk doordat het bij de Pixel 4 om een camera met telelens gaat en bij de nieuwere modellen om een camera met ultragroothoeklens.

ARCore draait op veel meer Android-smartphones met meerdere camera's. Het is onbekend of en wanneer de ondersteuning voor het verzamelen van meer data over diepte daarop beschikbaar komt. Google heeft daar vooralsnog niets over gezegd. ARCore werkte tot nu toe met de informatie van één camera.

Google heeft ook zijn Feature Drop van maart aangekondigd; eens in de paar maanden krijgen Pixel-telefoons een update met nieuwe functies. Komende week kunnen eigenaren van Pixel-telefoons hun hartslag meten door hun vinger op de camera te leggen, iets dat apps van derden al jaren kunnen. Ook het accepteren van hele zinnen als slimme suggestie in toetsenbord Gboard zit in de update, maar dat werkt alleen in het Engels.

Google Pixel 4 en 4XL

Reacties (29)

[mrbullet]

Wat is ARCore?

[Bor]

ARCore — Google’s AR developer platform — provides simple yet powerful tools to developers for creating AR experiences. ARCore’s features include:
Cloud Anchors
Multi-user, cross-platform experiences across both Android and iOS.

Augmented Faces
Facial tracking with: a 468 point 3D face mesh on devices without a depth sensor.

Environmental HDR
Lighting extension from the real world onto virtual objects to make digital objects appear like they’re actually part of a real-world scene

en

ARCore is een software development kit(SDK), ontworpen door Google, welke bedoeld is voor het Android besturingssysteem. Deze toolkit maakt het mogelijk, dat applicaties met gemengde werkelijkheid toegepast kunnen worden.

ARCore maakt gebruik van drie sleuteltechnologieën om virtuele werkelijkheid te integreren met de echte wereld, zoals deze te zien is via de camera van je telefoon

Met bewegingsregistratie kan de telefoon zijn positie ten opzichte van de omgeving begrijpen en volgen.
Door de omgeving te begrijpen, kan de telefoon de grootte en locatie van vlakke horizontale oppervlakken zoals de vloer of een salontafel detecteren.
Met het inschatten van licht kan de telefoon de huidige lichtomstandigheden van de omgeving schatten.

AR = augmented reality

[Reactie gewijzigd door Bor op 22 juli 2024 16:42]

[Blinkin]

Interessant. Gezien hoe verschillende telefoons verschillende camera's hebben kon die ondersteuning nig wel eens tijdrovend zijn. Wel mooie ontwikkeling.

[Steefph]

Het zou toch mooi zijn dat je hier als gebruiker iets bij kunt doen. Je geeft aan hoeveel camera's je hebt en hoeveel mm ertussen zit. Gewoon als configuratie setting.

[Reactie gewijzigd door Steefph op 22 juli 2024 16:42]

[Frosty_gamer]

Arcore moet waarschijnlijk ook weten hoe groot de kijkhoek is van de camera en hoeveel fish eye er is. Dat kan allemaal wel via software gedaan worden maar misschien werkt dat niet altijd perfect.

[Raymond Deen]

Ik denk eerlijk gezegd dat de configuratie van de camera's wel uitgelezen kan worden, of anders tenminste het type waarna van het type de specificaties kan worden opgezocht via internet. Zoveel verschillende camera's worden er nou ook weer niet gebruikt in mobieltjes.
Als ze dan ook de lay-out van de camera eilanden van internet plukken, heb je alle specificaties die je nodig hebt om die camera's te gebruiken.

[bbob]

Je zal verbaasd zijn hoeveel verschillende camera's er zijn. Het is niet alleen de sensor maar ook de lens die op die sensor zit. Voor sommige modellen kan de sensor dezelfde zijn maar is de lens net weer iets anders.
Dan heeft iedere lens ook weer een afwijking richting de hoeken toe en daar zul je ook een profiel voor moeten hebben om dat recht te trekken. Kijk maar eens bij fotobewerkingssoftware, daar heb je ook profielen waarbij je eerst camera moet kiezen en dan de gebruikte lens.
Als je dan neemt hoe veel smartphone modellen er ieder jaar op de markt komen, leuke database.

[Raymond Deen]

Een paar getallen zijn genoeg hoor om al een heel eind te komen; de rest is pure wiskunde.

[bbob]

Iedere combinatie zal toch gemeten moeten worden en dat zijn heel veel combinaties, veel meer als je dat vergelijkt met de profielen van lenzen en camera's die er voor dslr zijn.

Waarschijnlijk zal iemand het ooit doen voor populaire modellen, maar het moet wel gedaan worden.

[Oon]

Zou mooi zijn als er een kalibratie oplossing was, bijvoorbeeld een A4tje dat je uit kan printen en dan je telefoon op legt en langzaam omhoog tilt. Maar dan zul je net zien dat je printer 0,1% afwijkt in de printgrootte en je kalibratie niet klopt

[Steefph]

Tjsa, hoeveel gaat die 0,1% uitmaken in het programma.

Dan kun je beter een liniaal nemen waarbij AI de markeringen herkend

[Oon]

Ja maar het probleem is dan dat niet iedereen een liniaal heeft die hij makkelijk herkent, en vrijwel iedereen wel een printer heeft. Veel online condoomwinkels en schoenenwinkels hebben bijvoorbeeld ook linialen die je uit kan printen, maar daar lijkt me die afwijking een stuk minder belangrijk (zolang het maar op de centimeter precies is, hoeft niet op de millimeter te zijn).

Als je het hebt over kalibratie van dingen als de afstand tussen de lenzen van je telefoon dan is die millimeter juist weer wel heel relevant, want anders was die kalibratie helemaal niet nodig geweest en had het op iedere telefoon zomaar zonder problemen gewerkt, toch?

[Aduen]

Het verreist veel configuratie gezien er nooit twee dezelfde camera's achter op de telefoon zitten. Als er ondersteuning voor andere telefoons komt zal dit van de fabrikanten zelf zijn. Google heeft hier mogelijk wel een strategie voor om camera configuraties toe te voegen die geleverd zijn door fabrikanten.

[NumesSanguis]

Het kan zijn dat Google een Deep Learning model gebruikt. Dat zou betekenen dat de input video is van meerdere camera's en de output een diepte cloud? Als dit zo is, dan is het niet simpel wat camera nummertjes aanpassen, maar moet het DL model ge-finetuned worden per telefoon.

[Blinkin]

Hmm dat is niet eens zo'n gek idee inderdaad. Je zit ook met de parallax natuurlijk maar dat zou mogelijk moeten zijn.

[Sba1995]

Zou je dit kunnen gebruiken om 3D-scans te maken, net als dat bij de duurdere iPhones kan?

[Powerbyte]

Dat kan inderdaad, alleen hebben de nieuwere iPhones well betere dedicated hardware ervoor. Die gebruiken namelijk LIDAR sensoren om 3D data te verkrijgen. Enkele Android telefoons hebben ook vergelijkbare 3D sensoren, bijvoorbeeld de Huawei P30 pro, maar het wordt nog beperkt ondersteund. Als je wilt scannen met alleen de camera kan je gebruik maken van deze app, verwacht alleen geen wonderen:

https://play.google.com/s...core3dscanner&hl=en&gl=US

[Oon]

Ik heb dit toch wel altijd vreemd gevonden. Software die door veel indie filmmakers gebruikt wordt om bijv. gezichten in te scannen draait gewoon alleen (of het stabielst) op een iPhone, omdat die net die ene extra sensor hebben die daar heel goed in is. Je zou toch verwachten dat Android-fabrikanten inmiddels diezelfde sensoren zouden hebben ingebouwd, maar dat is niet zo (op een klein groepje na).

Je vraagt je dan toch af of dat betekent dat die sensor niet zo goed is, dat het nut ervan beperkt is, of dat er een andere reden is (proprietary hardware?) waardoor dat nog niet in iedere telefoon zit.

[Powerbyte]

Het is een lang verhaal.

Ik denk zelf dat het in dit geval een mix is van redenen die leiden tot een kip en ei probleem. Fabrikanten vinden het waarschijnlijk lastig om de kosten te verantwoorden aangezien het geen groot verkooppunt is voor de algemene consument. Daarnaast is het nut van de sensor sterk afhankelijk van de beschikbare software, er moet wel goed gebruik van worden gemaakt.

Apple kan hierin gewoon zelfstandig beslissingen maken, maar met Android gaat dat niet even makkelijk. Android toestellen blijven hierdoor zijn qua features toch minder sterk, alleen kies ik de keuzevrijheid (Custom ROMs, APK stores en meer keuze in hardware) op Android boven de toegevoegde features van Apple. Ze hebben beidde hun eigen voor- en nadelen.

Als Android toestellen uiteindelijk toch Apple willen 'verslaan' zullen fabrikanten zelf de software in hand moeten gaan nemen. De Oculus Quest is eigenlijk een heel goed voorbeeld van hoe dat eruit ziet, de Quest draait een zwaar gemodificeerde versie van Android op mobiele hardware en zit bomvol met allerlei features die concurrerende toestellen nog lang niet gaan hebben. Ze bouwen hun eigen ecosysteem net zoals Apple, het is namelijk zeer winstgevend. Met deze werkwijze ontstaan alleen wel monopolies als er te lang geen alternatief beschikbaar is. Ik neem hier VR als voorbeeld omdat het zich nu begint echt te ontwikkelen, maar de moeilijke samenhang van software en hardware werkt voor elk apparaat hetzelfde.

[BrbZrk]

Tegenwoordig is alles software software software...

3D scan had ik met Sony Xperia telefoons al sinds 2017. Nu mogelijk met ToF sensor.. ja beter ja... Maar als de software belabberd is.. nóg niks waard.

Is mooi dit verhaal.. maar lijkt me meer iets waa google zelf ontwikkeld, en ook zelf gaat gebruiken..

Iedereen doet zelf wat ze willen.

[SkyStreaker]

LG 3D had volgens mij al een laser om mee te focussen, waarom wordt daar geen gebruik van gemaakt?

[Luchtbakker]

Interesant maar apple zeg tog dat die van hun beter is tog ? Android is gewoon troep

Geen enkel OS is perfect. En net als Google met ARcore heeft ieder bedrijf zijn eigen technologie waarmee ze AR kunnen weergeven. Tegenwoordig zitten er maar weinig verschillen in de nauwkeurigheid.

Dus waar jouw opmerking op slaan is mij een raadsel.

[Powerbyte]

De AR functionaliteit is op iOS echt beter, ik ben persoonlijk geen grote fan van Apple, maar op AR gebied lopen ze sterk voor. Goede voorbeelden zijn de LIDAR sensoren, hun eigen USDZ bestandsformaat en memojis. Ondersteuning van AR op een Android telefoon is ook afhankelijk van een certificatie door Google, sommige telefoons kunnen het dus helemaal niet gebruiken. Als developer is het momenteel geen pretje om AR functionaliteit op Android te gebruiken. Ik hoop dat Google uiteindenlijk serieuzer omgaat met AR, anders gaat het ook gewoon niets worden. ARcore was eigenlijk al een stap achteruit ten opzichte van het hardware-gebaseerde Tango, om Apple in te halen moet er toch echt ingezet worden op dedicated hardware. Zelfs Huawei neemt het al serieuzer dan Google met hun eigen AR engine.