De toekomst die stiekem kwam - AR zit anno 2020 op veel smartphones

Titel

Kan je telefoon augmented reality weergeven? AR klinkt, mede dankzij producten als de Microsoft HoloLens, de geflopte Magic Leap One en de Apple AR-bril uit de geruchtenmolen nog als toekomstmuziek, maar dat is het inmiddels niet meer. Dus doe maar een gooi: hoeveel smartphones wereldwijd ondersteunen AR? Tientallen miljoenen? Honderd miljoen? Tweehonderd miljoen? Een half miljard?

Het aantal is afgelopen jaren in elk geval fors toegenomen, en dat komt door de inspanningen van de twee makers van de grootste smartphonebesturingssystemen. Apple bouwde ARKit in iOS in, terwijl Google het doet met ARCore. Dat gebeurde in 2017.

De kans is daardoor groot dat je te laag hebt gegokt. ARKit draait op alle iPhones die iOS 14 kunnen draaien; een exact aantal is er niet, maar het gaat al snel richting een miljard. Begin 2020 waren er 1,5 miljard actieve iOS-apparaten en 80 procent van alle in de laatste vier jaar geïntroduceerde apparaten draaide op dat moment iOS 13 en waren dus compatibel met ARKit. En op Android zijn er een miljard apparaten met ARCore aan boord.

Dan kom je al snel richting 2 miljard smartphones uit die AR aankunnen. Dan rijst de volgende vraag: waarom horen we er nu, eind 2020, nog steeds zo verrekte weinig over? En het antwoord daarop lijkt bedrieglijk simpel: sommige populaire apps gebruiken wél AR-functies, maar zeggen er niets over.

Een korte geschiedenis van AR

Optic Internet. En Hyves!

Veel mensen zijn het inmiddels al vergeten, maar fabrikanten voegen al graag apps toe aan hun smartphone zolang als ze Android gebruiken. Neem nu Samsung: die introduceerde in 2009 zijn eerste Galaxy-telefoon, de i7500. Daarin stond een app van Nederlandse makelij: Layar. Dat heette toen op de Samsung-telefoon Optic Internet.

Layar was een app om informatie over het camerabeeld van smartphones heen te leggen; zo was het mogelijk om informatie te krijgen over het Paleis op de Dam door de telefoon op de Dam te richten op het paleis bijvoorbeeld. Layar was de eerste bekende AR-app voor Android, maar zeker niet de eerste toepassing van augmented reality.

Eerder omschreven we al eens hoe augmented reality begon. De eerste technische toepassing van iets dat je AR zou kunnen noemen, was Videoplace. Videoplace was een manier om communicatie mogelijk te maken met projectiebeelden. Het systeem gebruikte in latere iteraties onder meer beeldherkenning en beeldanalyse van software om interactie tussen de schaduwen op het beeld mogelijk te maken. Projectors toverden het beeld op muren. Het project liep van 1974 tot eind jaren tachtig.

De term 'augmented reality' viel voor het eerst in 1992, als twee wetenschappers van vliegtuigbouwer Boeing een paper publiceren over een systeem om informatie over bijvoorbeeld boorgaten over onderdelen van een vliegtuig heen te projecteren.

Met smartphones kwam augmented reality weer dichterbij, vanwege de aanwezigheid van camera's, sensoren en een internetverbinding. Een enkele analist noemde augmented reality het volgende massamedium.

Google was de eerste die een blijvend succes had met augmented reality. De game Ingress kwam uit in 2012 en heeft nog steeds een fanatieke groep spelers. De meeste mensen zullen Ingress en zijn ontwikkelaar Niantic, sinds 2015 los van Google, vooral kennen van de Ingress-variant die nog meer succes kende: Pokémon Go.

Het was ook Google die probeerde de ontwikkeling op smartphones verder te brengen met Tango, een project om een ecosysteem te beginnen met hardware en software bedoeld voor augmented reality. Telefoons kwamen onder meer van Lenovo en ASUS, met time-of-flight-sensors en fisheye-camera's voor het tracken van objecten en oppervlakken in 3D.

Tango vereiste aparte telefoons en aparte apps en kende daardoor een hoge drempel; de eerste telefoons waren geen doorslaand succes, maar er was wel een ander bedrijf dat brood was gaan zien in augmented reality: Apple.

En Apple had een heel ander plan: Apple wilde vooral dat veel telefoons en tablets AR-apps konden gaan draaien. En dus werkt ARKit met alle recente iPhones en iPads. De introductie was in het najaar van 2017.

Google zag dat en het trok aan de noodrem van de Tango-trein. In plaats van Tango ging het werken aan ARCore, een manier om augmented reality aan bestaande smartphones toe te voegen. De presentatie was twee maanden nadat Apple ARKit liet zien.

ARCore en ARKit zijn wel 'AR-light': beide nemen ze in hun meest basale vorm alleen oppervlakken als vloeren en muren waar, maar een echt 3D-beeld zit er niet in. Ook interactie met analoge elementen is niet mogelijk: een digitaal poppetje dat om een vaas heen loopt kan wel in Tango, maar is niet mogelijk met ARCore.

Behalve de ontwikkelingen op gebied van smartphones waren er natuurlijk ook AR-brillen. De bekendste zijn de Microsoft HoloLens en Magic Leap One. De HoloLens is vanaf het begin gericht op de zakelijke markt en Magic Leap is ook gestopt met de focus op consumenten.

Los daarvan zijn diverse bedrijven aan de slag gegaan met een ander soort augmented reality. Door de opkomst van beeldherkenning is gezichtsherkenning en gezichtstracking afgelopen jaren drastisch beter geworden. Dat zit onder meer in apps als TikTok en Snapchat. Daarin kunnen mensen effecten over het eigen gezicht heen doen. Dat varieert van het omvormen van het gezicht tot die van een karakter uit een animatiefilm tot aan een realtime-vervorming van het gezicht van normaal tot een eenhoorn.

Apple zag die potentie ook al vroeg en voegde daarom Animoji's toe aan de iPhone X-software; gebruikers kunnen daarmee de software in realtime hun gezicht laten omzetten in een karakter of dier. Later kwam daar Memoji bij, een karakter dat een cartoonversie moet zijn van het eigen gezicht.

ARKit en ARCore werken beide ook met frontcamera's. Bij ARKit gaat het om maximaal drie gezichten tegelijk met een frontcamera, bij ARCore gaat het om een enkel gezicht. ARCore maakt een mesh van 468 punten op het gezicht op basis van beeldherkenning en houdt in real time bij waar die punten heengaan voor het toevoegen van effecten op gezichten.

Hoe het nu gaat

Om de eerste video te citeren die Tweakers maakte over ARKit: "Nu is het wachten op apps die AR veranderen van nieuw snufje in noodzakelijke toevoeging op je dagelijks leven." Die toepassingen werken vooral met de frontcamera; Snapchat Lenses gebruiken en TikTok-video's maken gebeurt ook geregeld met de camera aan de achterkant, maar de frontcamera is daarbij ook veel in gebruik.

De 'nuttige' toepassingen? Die zijn er mondjesmaat. Natuurlijk, als je bezig bent met een verbouwing zet je misschien virtuele meubels in je woonkamer of slaapkamer, maar dat zijn geen apps die je dagelijks gebruikt. Bovendien is een aparte app downloaden om AR te gebruiken niet zo aantrekkelijk: het kost veel moeite om gebruikers te overtuigen iets nieuws te installeren en nog meer moeite om hen te overtuigen de app af en toe te openen.

Uiteraard hebben we ook Google en Apple om reacties gevraagd over het gebruik van ARKit en ARCore in de praktijk - liefst ook met cijfers uit Nederland. Die cijfers kregen we niet. Rachid Finge liet weten dat Google een grote toekomst ziet voor AR op Android. "We zien een breed scala aan mogelijkheden voor AR, waarbij de toekomst, net als bij apps, vooral gedefinieerd zal worden door de creativiteit van developers. Zij zullen zonder twijfel met AR-toepassingen komen waar we zelf niet aan hebben gedacht. Zelf zetten we AR nu vaak in voor educatieve doeleinden. Er zijn ook commerciële voorbeelden: in de VS kun je via Google Shopping make-up op je eigen gezicht proberen via AR, alvorens je een bestelling plaatst."

Apple stuurde geen inhoudelijke reactie, maar verwees alleen naar een artikel van iMore met apps die gebruikmaken van de tof-sensor op de iPad Pro 2020 en iPhone 12 Pro-modellen. Andere bedrijven en analisten bleken ook niet happig om te reageren. Webwinkel Wehkamp gebruikt AR voor zijn Magic Mirror om gebruikers make-up te laten proberen, maar antwoordde niet op berichten met vragen erover. Snapchat en TikTok hebben we niet kunnen bereiken. Een analistenbureau gespecialiseerd in AR reageerde niet op vragen, terwijl een generiek analistenbureau op het gebied van smartphones en tech liet weten geen expertise te hebben op dit gebied. Het is natuurlijk de rustige periode tussen kerst en nieuwjaar en daarom begonnen we weken terug al met het benaderen van de bedrijven.

AR-game Hot Lava, op Apple Arcade

Tot slot

Augmented reality is tot nu toe geen nieuw massamedium geworden, maar stiekem is deze techniek wel terechtgekomen in een paar razend populaire apps, zoals Snapchat en TikTok. Daarbij zijn ze in gebruik vooral om gezichten van effecten te voorzien en in sommige gevallen is het resultaat zichtbaar voor vrienden of voor een groter publiek.

Maar ARKit en ARCore zijn niet de technieken die aan de wieg staan van die effecten; ze bestonden al in een vorm voor die api's er waren; het verbetert hoogstens de ervaring die mensen ermee hebben. Daarmee hebben deze api's, ondanks de brede beschikbaarheid op inmiddels miljarden telefoons, wellicht nog niet het verschil gemaakt dat Google en Apple hadden gehoopt.

En zo is het met AR toch een beetje hetzelfde gegaan als met smartphone-apps. Waar de eerste populaire apps uit de App Store zich toelegden op bijvoorbeeld scheten laten horen, zijn de populairste toepassingen voor AR de apps die het mogelijk maken om eruit te zien als een eenhoorn of een animatiefilmkarakter - hoewel er ook AR-scheetapps zijn geweest uiteraard. Kennelijk beginnen we het liefste met het gebruik van een nieuwe techniek met plezier, en komt het nut later.

Reacties (50)

[Andros]

Er zijn al veel functies die je AR kunt noemen. Gebruik de camera functie eens in Google translate, ineens kun je met je telefoon gedrukte teksten in het straatbeeld vertalen. Of flauwekul achtergrondjes etc bij videobellen?

[Nas T]

Ik denk dat veel van de toepassingen die voor consumenten beschikbaar zijn, vrij basic zijn. Google translate heeft dan wel een welkome toevoeging door in-reality de vertaling in te passen, wat niet alleen leuk, maar ook praktisch is.

Ik ben benieuwd naar de toepassingen die in de industrie/productie gedaan kunnen worden. Ik heb een demo gezien van wat er mogelijk is met hololens en dat was toch wel écht leuk om te zien.
Waar ik op mijn werk wel eens tegenaan loop, is dat we graag willen weten hoe iets op een machine gedaan wordt, of wat de output is op die machine. We kunnen niet altijd direct bij data van die machine en die laat ook niet altijd de informatie zien die we nodig hebben.
Ook benadrukken we soms om de uitvoering op een specifieke manier te doen, of zouden we graag willen zien wat er op die machine gebeurt.

Die machines kunnen bij klanten staan aan de andere kant van de wereld waar stilstand (vele) duizenden per uur kost aan gemiste inkomsten. Als je dan lokaal iemand bij die machine hebt met een hololens, dan is dat enorm handig. Want naast dat je kan zien wat de hololens opneemt, kan degene met de hololens deelnemen in een online meeting en jouw webcambeeld in de realiteit zetten, zodat je echt één op één contact hebt. Je kan dingen "tekenen" in de realiteit, dus markeringen plaatsen en dergelijke. In 3d. Je kan ook een plaatje open hebben, dus stel dat je een kast met een complexe set aan schakelaars hebt, kun je een plaatje hebben hoe je die schakelaars geschakeld wil hebben en kan een engineer dit zo instellen. Plus jij als support-engineer zien dat dit daadwerkelijk goed is gebeurd.

Ook zou je een procedure visueel bij je kunnen hebben bij je werkzaamheden op locatie, wat handiger is dan elke keer naar een laptop lopen.

[fredst]

Beste @Nas T , Dit wordt op ons bedrijf al volop gedaan.
Zie hier een stel videos:
Airbus drives innovation and accelerates production with Azure mixed reality and HoloLens 2
Holographic Tactical Sandbox
Spherion LIDAR sensor data as Augmented Reality in Helmet Mounted Display
Daarnaast zijn er nog vele andere toepassingen zoals op het gebied van training en ook wat de Service toepassingen die jij noemt.
Dus er zijn zat professionele toepassingen te bedenken en ook al deels in gebruik. Maar hoe je Augmented Reality op smartphones nuttig kan inzetten is de grote vraag. Bij veel toepassingen is het van belang dat je je handen vrij hebt. Bij een smartphone betekent het dat je dan eigenlijk met een houder en een hoofdband of iets dergelijks het echte beeld voor je moet zien op te nemen. Dat begint dan te lijken op de Mixed Reality headset die er ook al in verschillende uitvoeringen zijn.

[Waah]

Bij dat soort dingen denk ik altijd: in hoeverre levert het nu écht iets op. Voor heel veel handelingen kan je ook gewoon een head-mounted camera nemen en een teams gesprek starten. Hoef je geen extra functies en content toe te voegen die AR gebruiken.

Voor het leger, vast handig want vaak een belachelijk budget, want mensenlevens. Maar voor normale bedrijven, onderhoud/reparatie en monteurs?

Ik moet de killer AR app nog vinden. Google Translate is de enige die ik echt kan bedenken.

[KoningsGap]

Ook Google Maps heeft een mooie AR toepassing waarbij je in 'wandelmodus' je omgeving kan scannen waarna Maps blauwe pijlen weergeeft voor je looproute.

[Sergelwd]

Want tijdens het wandelen word je graag begeleid door google maps

[KoningsGap]

Als ik in een vreemde stad ben gebruik het behoorlijk vaak

[Sergelwd]

Doet me denken aan een maat die zo terwijl hij met maps bezig was tegen een lantaarnpaal aanliep en onze bestemming zo voorbij liep terwijl hij zei: hier moet het ergens zijn

[Reactie gewijzigd door Sergelwd op 23 juli 2024 22:45]

[KoningsGap]

En daar komt dan weer de AR om de hoek kijken! Je krijgt je camerabeeld te zien met een overlay met pijlen en dergelijke.

https://www.theverge.com/...eature-app-prototype-test

[Sergelwd]

Jup dat snap ik.. Maar dan ben je dus overgeleverd aan je telefoon en loop je al snel als een halve zombie over straat.

Laatste keer dat ik een verkeerde afslag nam was ook omdat maps me het bos instuurde door een wegomlegging.
Gewoon oldskool navigatie-skills en richtingsgevoel werke vaak toch net iets fijner.

[Reactie gewijzigd door Sergelwd op 23 juli 2024 22:45]

[Dreas1990]

Kaartlezen is belangrijke basiskennis die iedereen zou moeten hebben. Over het algemeen zoek ik ook van tevoren op hoe ik moet lopen en ik pak zelden mijn telefoon als ik ergens heen ga. Maar ik moet toegeven dat Google maps me soms wel geholpen hebben om bepaalde locaties te vinden waar ik nooit eerder ben geweest. AR is dan een fijne toevoeging die het makkelijker maakt.

[Heroic_Nonsense]

Dat probleem probeerde Google dus op te lossen met de Google Glass; eigenlijk een instap-AR-oplossing.

Destijds voorspelden analisten dat zo ongeveer nu iedereen met een soortgelijk device zou rondlopen en dus niet meer (/vaak) op het scherm van de telefoon hoefde te kijken.

Zeg maar een AR-HUD; zoals je wel eens ziet in videogames (Half-life, Cyberpunk 2077, Watch Dogs etc.).

[Sergelwd]

Wat een flop was dat

[twkr18526]

Zelfde met google maps in de auto: je prioriteit moet wel veilig weggedrag blijven. Ook op de stoep.

[teek2]

Want wandelen is per definitie zonder doel? Of zonder begeleiding? Wat bedoel je precies?

[Sergelwd]

Ik doel op het feit dat ik bij wandelen doorgaans geen realtime nanny nodig heb.

[nms2003]

Die laatste zie ik meer als “green screen” en heeft niets met AR te maken. Dat kon al op de eerste Mac die ik ooit kocht in 2008 en de videobel toepassing waarmee dat kon was toen niet nieuw.

Even opgezocht; dat heette iChat.

[Reactie gewijzigd door nms2003 op 23 juli 2024 22:45]

[cracking cloud]

FlightRadar24 heeft het ingebouwd in hun app, zodat je de telefoon in de richting van het vliegtuig kan houden dat op dat moment overvliegt. Je ziet dan o.a. maatschappij, type, oorsprong en bestemming van de vlucht

[Knijpoog]

Afbeeldingsresultaat voor eerste QR code
Een QR-code is een bepaald type tweedimensionale streepjescode die in 1994 is ontwikkeld door Denso Wave, een dochteronderneming van het Japanse bedrijf Denso.

In principe AR

[Gadgeteer]

"En zo is het met AR toch een beetje hetzelfde gegaan als met smartphone-apps. Waar de eerste populaire apps uit de App Store zich toelegden op bijvoorbeeld scheten laten horen, zijn de populairste toepassingen voor AR de apps die het mogelijk maken om eruit te zien als een eenhoorn of een animatiefilmkarakter"

Was een van de eerste populaire AR apps niet van NL bodem? Layar? Dat deed niets met het veranderen van je gezicht maar bood serieuze functionaliteit.

[Magic]

Maar was Layar dan echt populair? Het vulde een niche die ze niet konden vermarkten. Ik werk zelf bij een grafisch bedrijf, en ineens kwamen er folders langs die het gebruiken, maar voor mijn gevoel heeft dat maar een maand of 2 geduurd waarna het net zo snel verdween als dat het kwam.

[Reactie gewijzigd door Magic op 23 juli 2024 22:45]

[redslow]

Of was het te vroeg en was de markt er nog niet voor klaar.

Ik weet bv toen ik mijn desire had dat ik daar een app op had van Google waarmee je een foto van een object kon maken en zocht Google er info over. Was echt makkelijk en interssant. Kan hem tegenwoordig niet meer vinden.

[Len]

Dat heet nu Google Lens

[Luca]

Google Lens is echt briljant. Toen ik deze zomer in Finland was in de supermarkt, kon ik letterlijk real-time met de camera de teksten naar het Nederlands vertalen zodat ik begreep wat er nou precies op de verpakking stond. Je hoeft geen foto te maken, alleen ff camera ergens op richten en de teksten worden met een overlay (zodat je het goed kan lezen) vertaald en getoond op je scherm.

Ben best veel gewend, maar zulke dingen fascineren me echt enorm.

[MsG]

Het was mateloos populair en elke club wilde er wel een layer voor. Het bestaat nog steeds trouwens.

[nms2003]

Layar was enigszins populair onder nerds; als in binnen die groep had iedereen het wel geprobeerd en gezien dat je kon zien in welke richting, hoever hier vandaan een huis te koop was. Joepie. That’s it.
Het daadwerkelijk nit daarvan t.o.v. een kaartweergave met POI’s was exact 0,0.

[Reactie gewijzigd door nms2003 op 23 juli 2024 22:45]

[Alxndr]

Artikel wel gelezen voor je reageert? Layar wordt toch genoemd...

[hiostu]

Dit artikel richt zich wel heel erg op de consumenten markt. Er is natuurlijk nog een hele grote zakelijke markt en daar zie je al veel meer toepassingen voor AR. Ook al daadwerkelijk ingezet in de praktijk en op steeds meer uitrol op schaal. Denk bijvoorbeeld aan Remote Assist van Microsoft waarbij je iemand hulp op afstand kunt bieden middels over-the-shoulder-coaching. Je kijkt mee met de persoon door de camera en kunt informatie toevoegen door middel van augmented reality. Dit werkt op HoloLens, maar tegenwoordig ook op Android en iOS.

Er zijn nog meerdere bedrijven die dit soort dingen toepassen.

[Rickkamminga]

WIj ondersteunen onze klanten op een vergelijkbare manier in industriële applicaties. Klant kan binnen onze app contact opnemen via chat en dan kunnen we via video meekijken en via AR instructies geven. Het werkt in de meeste gevallen best aardig en klanten zijn over het algemeen best tevreden. We hebben eens geexperimenteerd met een 360 graden camera op een statief in de fabriek, icm een Oculus CV1 en de hand controllers op kantoor om dingen aan te wijzen. De klant kon dan als toeschouwer via AR op de telefoon meekijken, maar dat werkte toch niet zo lekker. Teveel vereisten en juiste opzet nodig om het goed te laten werken, lost van de bandbreedte.

[nms2003]

Nu al speculeren over het succes van AR heeft geen zin. Op telefoons is AR primair aanwezig als ontwikkelplatform. De usecase van AR / spatial computing zal headworn blijken; dmv AR glasses etc.

[Alxndr]

AR? Dit bestaat toch al jaren? Net als QR codes, waarvan het gebruik ook maar nauwelijks van de grond lijkt te komen

edit:autocorrect foutje, moet natuurlijk AR zijn

Wat ik bedoel, zoals het artikel ook zegt: Het is er al jaren. Ik gebruik het vooral voor Google Lens (al werkt dat nog matig) en Google Translate waar het bijna perfect werkt.

Daarnaast is er de massa die het voor die domme snoetjes etc op alle beschikbare messenger programma's gebruikt. Ook kun je bij Skype (en alle andere?) videochats ook je achtergrond veranderen, wat ook gewoon AR is volgens mij.

De echte vraag is, hoe komt het dat er niet meer praktische toepassingen zijn en de bestaande niet bekender zijn/breder gebruikt worden? Enkel en alleen omdat je je telefoon moet gebruiken ipv een bril?

[Reactie gewijzigd door Alxndr op 23 juli 2024 22:45]

[nms2003]

AI? Waar heb je het over? Het gaat hier over AR.

[Reactie gewijzigd door nms2003 op 23 juli 2024 22:45]

[Stranding]

Google Lens werkt best goed om in het buitenland menukaarten te vertalen.

[matroosoft]

En de live wandelnavigatie in Maps werkt ook best aardig

[ThaDocta]

Mario Kart Live: Home Circuit voor Nintendo Switch maakt op een goede manier gebruik van AR.

[Sitelabs]

De huidige toepassingen van AR zijn leuk, zoals het kunnen opmeten van ruimtes, objecten in de ruimte plaatsen om te zien hoe dit staat etc. maar wat mij vooral tegen staat met de huidige AR implementatie is het feit dat je door je telefoon moet kijken, dit staat mijn ervaring in de weg. Voor mij zal AR echt van toegeveogde waarde zijn als ik deze door een comfortabele en goed uitziende bril kan zien.

[Alxndr]

Ar is als qr, geniaal en vol potentie, maar op de een of andere manier komt het tot nu toe nauwelijks van de grond... (Voor consumenten dan, schroef een apparaat open en op bijna ieder onderdeel vind je wel een QR code)

[Dreamvoid]

Tis meer zoals VR, na grote hypes in de jaren 90 en 2010s is het nu nog steeds een gimmick voor een handvol spelletjes.

[Knijpoog]

Ik kan het geen gimmick noemen als de beleving toch echt anders is. zoek eens oop youtube naar: VR heights. Er zijn genoeg mensen die dan niet naar de rand van de afgrond durven te kijken terwijl de meeste dat met een beeldscherm geen probleem vinden.

[Centauriprime]

Daar is QR ook voor verzonnen door Denso. Toyota zocht een methode om onderdelen snel te kunnen identificeren.

Maar voor consumenten is het er toch ook aardig aanwezig nu, banken bijv. gebruiken het volop.

[lars15356]

Nog meer ar nog beter telefoons

[madcon]

Van mij hoeven de snapchat filters niet, maar voor navigatie doeleinden vind ik AR bijvoorbeeld al een nuttige toevoeging. Gimmics zoals dinosaurussen op de eettafel laten rondlopen zijn even grappig, maar daarna gebruik je het niet meer.