Inleiding: een aanloop van jaren
ARKit komt niet bepaald uit de lucht vallen. Zoals altijd houdt Apple zijn vindingen graag geheim, maar in de periode voorafgaand aan een grote aankondiging doen topmensen ineens uitspraken, waaruit je makkelijk kunt opmaken waaraan de fabrikant werkt.
Zo ook met ARKit. Al sinds vorig najaar roept Tim Cook, de directeur van Apple, af en toe hoe tof hij augmented reality vindt en dat Apple meer ziet in ar dan in virtual reality. Het was daarom nauwelijks een verrassing dat het Amerikaanse bedrijf in juni zijn sdk voor augmented reality presenteerde.
Augmented reality verschilt behoorlijk van virtual reality: waar je bij vr jezelf afsluit van de wereld en onderdompelt in de virtuele wereld, kun je met augmented reality beelden over de echte wereld heen leggen. Het einddoel daarbij is om die beelden direct in een bril of lenzen te kunnen laten zien, maar we zijn nu nog bij een tussenstap: je kunt projecties zien bovenop het camerabeeld van je telefoon.
Het is nog lang niet zeker wat met die techniek in de toekomst allemaal mogelijk is. Er zijn nu al wel veel apps beschikbaar die werken met ar. Daarbij zijn al een paar genres zichtbaar: sommige leggen zich toe op het meten van elementen uit de echte wereld, andere projecteren meubels in je woonkamer. Ook kun je uiteraard virtuele spelletjes spelen op je analoge eettafel. Beperkingen zijn er ook; zo is de resolutie nog niet hoog genoeg om op een overtuigende manier mensen te projecteren. Als dat eenmaal kan, is het de vraag wie mensen virtueel naast zich in bed neerleggen.
Nu is Apple lang niet de enige die met augmented reality bezig is. Natuurlijk: Pokémon Go en Ingress bestonden al langer, maar ook Google werkte met Tango al een paar jaar aan een softwareplatform voor ar-apps en -games. Tango vereiste echter gespecialiseerde hardware, zoals een fisheye-lens. Na de aankondiging van ARKit kwam Google met ARCore, augmented reality die werkt op reguliere smartphones als de Samsung Galaxy S8. Inderdaad, ongeveer hetzelfde dat Apple doet met ARKit.
Nu iOS 11 eindelijk publiekelijk beschikbaar is, kunnen we goed zien hoe het werkt zonder een bètalabel en wat ontwikkelaars hebben bedacht voor apps en games. Het blijkt een verre van foutloze, maar veelbelovende en leuke technologie.
De technologie: slimme combinatie van sensoren
De technologie achter ARKit is duivels ingewikkeld om te maken, maar niet heel moeilijk om uit te leggen. De software combineert input van de camera en van de gyroscoop. De input van de camera wordt gebruikt om oppervlakken te herkennen - bijvoorbeeld vloeren en tafels.
Daarnaast onthoudt het iOS-apparaat de locatie in de ruimte aan de hand van herkenbare punten, die in het beeld bewegen als je de telefoon beweegt. Een statisch beeld is immers plat voor een camera, maar als je beweegt kan de software bijhouden hoe de herkenningspunten zich tot elkaar verhouden. Apple noemt dat Visual Inertial Odometry.
Bovendien gebruikt de software het beeld van de camera om te zien waar lichtbronnen zitten, om zo schaduwen te kunnen toevoegen aan objecten in ar en de ervaring iets overtuigender te maken.
Daarmee heeft Apple een andere route gekozen dan Google en Microsoft. Microsoft maakt voor augmented reality een eigen ar-bril, de Hololens. Het voordeel van een bril is dat het direct in het zicht is en dat is een veelbelovender technologie dan objecten projecteren over een camerabeeld. Apple zou ook met hetzelfde idee gespeeld hebben.
Googles initiatief voor augmented reality heette Project Tango. Dat werkt weliswaar op smartphones, maar vereist wel aparte hardware als een fisheye-lens en infraroodzender. In vergelijking met ARKit was Tango wel veelbelovender: het is daarmee mogelijk om hele scans van ruimtes te maken, inclusief objecten.
/i/2001477267.jpeg?f=imagenormal)
Na de presentatie van ARKit gooide Google het roer echter om: het presenteerde ARCore, een 'Tango Light' die werkt met bestaande smartphones als de Google Pixel en Samsung Galaxy S8. Later komen er in het testprogramma van ARCore ondersteuning voor meer smartphones bij.
Snelheid en beperkingen
Hoewel de software zoekt naar herkenningspunten, zijn die niet in gebruik voor ARKit; dat is alleen voor lokalisatie in een ruimte. Apps voor augmented reality kunnen geen gebruik maken van een 'scan' van de ruimte en objecten hebben dus geen enkel respect voor tafelpoten, muren en andere zaken in de ruimte.
:fill(white)/i/2001681047.jpeg?f=thumblarge)
Daar loop je meteen tegen een beperking aan. Ar werkt prima in kale omgevingen met veel ruimte op de vloer, maar zodra het druk is op de grond heeft hij er veel moeite mee. Zo hebben we geregeld objecten gezien die door muren heen gingen.
De ruimtelijke oriëntatie is alleszins redelijk voor zo'n relatief simpel systeem met een enkele camera. Hij kan bovendien heroriënteren. Als je de telefoon flink schudt, kan hij even in de war zijn maar na een paar seconden zet hij objecten weer op de juiste plekken neer. Perfect werkt dat niet; als je je best doet, kun je ervoor zorgen dat het wat opschuift.
Er zijn ook veel elementen die Apple uitstekend heeft uitgevoerd. Het scannen naar een oppervlak gaat vaak redelijk snel en bovendien beweegt het camerabeeld vrijwel in realtime mee met de telefoon. Als daar vertraging in had gezeten, dan had het tegennatuurlijk gevoeld.
ARKit heeft wel soms moeite met perspectief. Zodra je afstand neemt, worden objecten relatief kleiner dan de omgeving. Het lijkt daardoor alsof hij denkt dat je meer naar achter beweegt dan je daadwerkelijk hebt gedaan. Het is een klein detail en het zal in dagelijks gebruik hopelijk in weinig apps storen, maar het prikt wel de illusie door van een virtueel object in de echte wereld.
Uiteraard wilden we ook uitproberen of er verschillen zitten tussen de verschillende iPhones bij het werken met ARKit-apps en augmented reality. Apple claimt immers dat de iPhone 8-telefoons 'tuned for AR' zijn - en we hebben uiteraard geprobeerd uit te vinden waarin dat zou zitten.
Om te beginnen: apps met ARKit laden sneller op een iPhone 8-toestel. Dat verschil ligt niet aan de camera's, want voor deze test hebben we de camera's afgedekt om het eerlijk te houden. Dit zijn de laadtijden van diverse van de geteste apps.
De iPhone 8 Plus met zijn snellere soc is een stuk rapper dan de iPhone 7. Bij lichtere apps als Gruler is er ook een verschil te zien, maar zonder stopwatch zul je dat niet merken. Dit is geen verrassing, want alle apps zijn sneller op de iPhone 8-toestellen - niet alleen ARKit-apps.
Zijn de camera's van de iPhone 8 Plus 'tuned for AR'? Apple betichten van liegen gaat ons ver, maar we hebben in elk geval geen verschil kunnen ontdekken in snelheid of prestaties. Het scannen gaat bij vrijwel alle apps even snel en ook als je ze naast elkaar gebruikt valt op dat ze precies hetzelfde reageren.
Er is, kortom, weinig reden om aan te nemen dat Apple ingrijpende wijzigingen heeft aangebracht die invloed hebben op de ar-prestaties van de iPhone 8. Voor de duidelijkheid: de iPhone 8 Plus heeft een tweede camera die de camerasoftware gebruikt om diepte te schatten bij het maken van foto's, maar ARKit kan die tweede camera niet gebruiken en speelt dus geen rol.
De accuduur bij het gebruik van augmented reality is lastig in te schatten en nog lastiger gestandaardiseerd te testen. Laten we het zo zeggen: de accu gaat sneller leeg dan bij het gebruik van reguliere apps. Dat is logisch ook: de camera staat aan, sensoren doen volop hun best, de internetverbinding is actief en de chipjes in de soc moeten ook hard werken. Je kunt het verbruik een beetje vergelijken met bijvoorbeeld het verbruik tijdens navigatie, maar het verschilt natuurlijk ook per app.
Uitwerking: leuke apps om ar te proberen
Wat is er nu leuker dan zelf aan de slag te gaan met augmented reality? Nu zijn er online veel lijstjes te vinden met ARKit-apps en raadpleeg die vooral, maar Tweakers als Nederlandstalige site heeft een typisch Hollands lijstje samengesteld - alle apps in deze lijst zijn kosteloos te proberen of voor altijd gratis, al zijn sommige wel voorzien van advertenties.
ARKit:fill(black)/i/2001681239.jpeg?f=thumbsmall)
Er zijn veel meet-apps die werken met ARKit - meten is misschien wel het eerste waar veel ontwikkelaars aan dachten. Sommige apps hebben veel functies, maar vragen een in-app aankoop om te kunnen laten zien hoe lang iets is. Gruler is echt kosteloos en hij kan nauwkeurig afstanden inschatten. Het is vooral leuk om te gebruiken als je even geen meetlat bij de hand hebt en werkt verrassend goed.
ARKit:fill(black)/i/2001682413.jpeg?f=thumb)
Fun fact: de oudste vermelding van een vorm van augmented reality komt uit een boek van meer dan een eeuw geleden: een stukje elektronica dat het karakter van een persoon samenvatte door een letter op het voorhoofd te projecteren. Met Paint Space AR en soortgelijke tekenapps kun je nu virtuele tekeningen toevoegen aan personen en fysieke objecten in je omgeving. Hij tekent een paar centimeter voor de cameralens van je iPhone, maar daarna blijft de tekening mooi op zijn plek staan. Zeker leuk om een keer te proberen.
ARKit:fill(black)/i/2001681241.jpeg?f=thumbsmall)
Het is misschien wel de bekendste ar-app tot nu toe. Met Ikea Place kun je producten van de bekende meubelgigant uitproberen door ze virtueel in je huis te plaatsen. Dat is niet alleen leuk, het kan bij tijd en wijle ook handig zijn, zeker omdat de afmetingen ongeveer overeenkomen met de grootte die de producten echt hebben.
ARKit:fill(black)/i/2001671855.jpeg?f=thumbsmall)
Kings of Pool is een regulier iOS-spelletje dat met een update een ar-modus heeft gekregen. Omdat het een toevoeging is aan een spelletje dat allang bestond, werkt het verrassend goed. Je kunt een pooltafel op je tafel zetten en vervolgens ben je klaar om af te stoten. Dit is absoluut leuk om te proberen en het geluid erbij maakt het helemaal af. Je hoeft er zelfs alleen nog een biertap bij te zetten om een poolcafé te maken in je huis.
ARKit/i/2001681247.png?f=thumbsmall)
Color BlastAR
Wat is er leuker dan op zombies schieten? Goed, dit is wel een beetje de kinderversie, want de zombies zien er niet zo eng uit en je schiet met verf, maar als je verder komt kan het alsnog een best leuk spelletje zijn, waarbij je druk verf aan het pakken bent en op de wezens aan het vuren bent
ARKit/i/2001681253.png?f=thumbsmall)
Holo
Deze app moet je even opstarten op elk feestje waar je komt en mensen je vragend aankijken waarom ar leuk is. Met Halo kun je filmpjes van objecten en mensen projecteren op de vloer. Of het nu gaat om een voetballer die hoog houdt of om een dansende roze 'engel', het kan allemaal. Deze app is een klassieker, want hij is ook beschikbaar voor Android via Googles ar-systeem Tango - en hij zal vermoedelijk ook verschijnen voor ARCore.
ARKit:fill(black)/i/2001682415.jpeg?f=thumb)
Giphy World
Gifjes. In augmented reality. De wereld is definitief af.
ARKit:fill(black)/i/2001683539.jpeg?f=thumb)
AR Airplanes
Tot slot een Nederlands tintje aan deze lijst: tweaker Menesis - wellicht bekend van de demo met de virtuele Tesla op de oprit - heeft deze app ontwikkeld. Met AR Airplanes kun je zelf een vliegtuigje bedienen. Dat werkt heel leuk, al is het met deze app wel pijnlijk duidelijk dat ARKit geen respect heeft voor muren, ramen en objecten. Dat mag de pret niet drukken, want eindelijk kun je onbeperkt je eigen vliegtuig besturen zonder ooit brokken te maken.
En nu?
ARKit is vooral een leuke technologie. Het is knap wat Apple eruit weet te persen met bestaande hardware in telefoons: een enkele camera en wat sensoren. Als je ziet wat Google op Tango-telefoons propte om augmented reality mogelijk te maken, dan is wat Apple heeft gedaan een prestatie.
Mede dankzij die beperkte hardware zijn de prestaties aardig, maar het systeem is verre van vlekkeloos. Er zijn veel positieve punten: het zoeken van oppervlakken gaat snel, hij herkent oppervlakken goed en kan afstanden meer dan redelijk inschatten. Maar, hij heeft ook veel moeite, onder meer met perspectief en objecten.
De apps en games die tot nu toe zijn verschenen geven een glimp van wat allemaal mogelijk is met augmented reality. Maar het voelt allemaal als de App Store van 2008. Het is zoeken en ontdekken voor ontwikkelaars hoe de interface eruit moet zien, hoe ar werkt en wat precies wel en niet toegevoegde waarde heeft in dergelijke apps. Het heeft duidelijk tijd nodig om tot wasdom te komen.
Dat zorgt ervoor dat augmented reality met ARKit vooralsnog leuk is, maar verre van noodzakelijk. Het is een speeltuin en Apple heeft iedereen met een iPhone 6s of hoger uitgenodigd om te komen spelen. Daarmee is de kans dat het zich snel ontwikkelt heel groot - er is immers al een groot publiek.
/i/2001682427.jpeg?f=imagenormal)
:fill(white)/i/2001681045.jpeg?f=imagegallery)
:fill(white):strip_exif()/i/2001656161.jpeg?f=thumbmedium)
:fill(white):strip_exif()/i/2002468096.jpeg?f=thumbmedium)
:strip_exif()/i/2001901855.jpeg?f=fpa)
/i/2001660975.png?f=fpa)
:strip_icc():strip_exif()/u/129865/crop5cb775b8692d8.jpeg?f=community)
:strip_icc():strip_exif()/u/433460/crop55cda835c695c_cropped.jpeg?f=community)
:strip_exif()/i/2000731900.png?f=thumbmedium)
/i/2000658159.png?f=fpa)
:strip_exif()/i/2001676671.jpeg?f=fpa)
:strip_exif()/i/2001683717.jpeg?f=fpa)
:strip_icc():strip_exif()/u/112202/lighthouse.jpg?f=community){kind=small}
)
De bijgeleverde app maakt nog geen gebruik van ARKit, maar op het dev forum is er wel uitleg hoe je daar zelf mee aan de slag kunt. Daarmee krijg je ineens magic leap / holo lens-achtige mogelijkheden 
/u/515964/original_Muchu-recupere.png?f=community){kind=small}
/u/357567/crop5dfcfaa04d0e8_cropped.png?f=community){kind=small}
:strip_icc():strip_exif()/u/8440/FlyGuy.jpg?f=community){kind=small}
:strip_icc():strip_exif()/u/449263/crop59b00bd24834c_cropped.jpeg?f=community){kind=small}
/u/269377/arnoud8bit.png?f=community){kind=small}
/u/79923/DUT11.png?f=community){kind=small}
Claim je nou echt dat ARKit, stiekem werkt met Kinect technologie van de TrueDepth camera die aan de voorkant(!) van de iPhones X zit, een toestel wat nog niet eens uit is. Dus de iPhone 6 die al jaren oud is en ook over ARKit beschikt zat stiekem al die tijd al een rgbd camera 
:strip_icc():strip_exif()/u/64489/hoogtevorst.jpg?f=community){kind=small}
/u/256438/crop5dbb270939de4.png?f=community){kind=small}
:strip_icc():strip_exif()/u/21712/crop668d500bcc980_cropped.jpg?f=community){kind=small}
:strip_icc():strip_exif()/u/176404/crop5d8a18233281d_cropped.jpeg?f=community){kind=small}
:strip_icc():strip_exif()/u/498936/crop5b62bb30b720d_cropped.jpeg?f=community){kind=small}
/u/251602/crop5d47e8d90f819_cropped.png?f=community){kind=small}
:strip_icc():strip_exif()/u/596810/crop5d1097097add7_cropped.jpeg?f=community){kind=small}
:strip_icc():strip_exif()/u/676551/crop583db30e4d6c3_cropped.jpeg?f=community){kind=small}
/u/404808/crop59132696b6921_cropped.png?f=community){kind=small}