Het heeft de potentie om een van de belangrijkste toekomstige bedrijfsactiviteiten van Google te worden. Daarom is het zo geestig dat Googles eerste stappen in de wereld van virtual reality voortkwamen uit een project dat twee Franse Googlers naast hun normale werk opgepakt hadden. Dat project heette Cardboard en heeft een revolutie in de wereld van virtual reality teweeggebracht. Waar de echte fans zich zullen richten op apparaten als de Oculus Rift, HTC Vive en PSVR, is het Cardboard dat ervoor gezorgd heeft dat een enorme hoeveelheid mensen zonder techinteresse voor het eerst in contact gekomen is met vr.
"Wij geloven dat het overgrote deel van de mensen dat de komende jaren met vr in aanraking komt, dit zal doen via een smartphone", vertelt Andrew Nartke ons tijdens Googles ontwikkelaarsconferentie I/O. Als Product Manager bij Googles vr-afdeling heeft Nartke zich in de afgelopen maanden beziggehouden met de grote broer van Cardboard, een systeem dat deze week tijdens I/O onthuld werd en luistert naar de naam Daydream. Daydream is niet zoals Cardboard alleen maar een manier om vr te bekijken; het platform behelst naast een 'viewer' ook een controller en is sterk geïntegreerd in de komende N-release van Android.
Buiten een korte aankondiging en wat renders maakte Google nog weinig bekend over de fysieke verschijning van Daydream, maar via een aantal interviews en ontwikkelaarssessies tijdens I/O hebben we een goed idee gekregen hoe Daydream werkt en wat we ervan kunnen verwachten als het later dit jaar uitkomt.
Een domme bril
Daydream bestaat in essentie uit een viewer, dat is de houder waar je een smartphone insteekt, en een controller. Die viewer moet een stuk luxer en comfortabeler worden dan Cardboard en zal wat uiterlijk betreft waarschijnlijk veel weghebben van de Gear VR van Samsung. Waar Samsung echter extra sensoren in de bril gestopt heeft om de bewegingen van de gebruiker te volgen, is de Daydream-viewer niets meer dan een 'domme' houder. Alle dataverzameling en rekenwerk zal gedaan worden op de telefoon die in de viewer gestoken wordt.
En dat levert een paar uitdagingen op. Nog geen enkele telefoon die nu op de markt is, beschikt over de juiste combinatie van sensoren, met de benodigde precisie, om aan headtracking te doen op het niveau dat Google met Daydream wil bereiken. Daarom werkt Google nauw samen met verschillende telefoonfabrikanten en heeft het een document opgesteld waarin vastgelegd is waar een telefoon minimaal aan moet voldoen om Daydream-compatibel te zijn. In die richtlijnen wordt niet alleen beschreven welke sensoren allemaal nodig zijn, maar ook aan welke eisen het beeldscherm moet voldoen. Voor vr is het belangrijk dat het scherm snel kan verversen en lcd's vallen daardoor eigenlijk meteen af. Met de eisen die Google neerlegt kun je er gerust van uitgaan dat elke Daydream-telefoon over een oledscherm zal beschikken.
Een slimme controller
De bril is dus redelijk rechttoe rechtaan en niet veel meer dan een doorontwikkeling van Cardboard. Waar het pas echt interessant wordt, is de Daydream-controller, die voorzien is van een klikbare touchpad, twee knoppen en een volumeregelaar. Deze zal meegeleverd worden met elke Daydream-headset en is eigenlijk de spil van het hele systeem. De mensen bij Google realiseerden zich al snel dat vr vele malen indrukwekkender wordt zodra je kunt interacteren met virtuele objecten in de spelwereld, iets waar we zelf onlangs ook achter kwamen toen we de HTC Vive onder de loep namen.
Google legde zichzelf daarbij wel een flinke beperking op; het bedrijf wilde niet hoeven leunen op externe sensoren om de controller werkend te krijgen, zoals wel gebruikt worden bij de Vive, de Oculus Rift en zelfs al bij de Wii. Het systeem dat het uiteindelijk ontwikkeld heeft, is daardoor niet zo precies en veelzijdig als de controllers van eerdergenoemde systemen, maar komt een heel eind.
Via een combinatie van gyroscopen, accelerometers, magnetometers en een grote hoeveelheid wiskunde op basis van quaternionen, is het mogelijk om de beweging van de controller over zowel de x-, y-, als z-as te bepalen. Daardoor kan het Daydream-systeem herkennen of een gebruiker zijn of haar pols draait of de controller beweegt, en is het zelfs mogelijk om dingen aan te wijzen in de vr-omgeving, wat erg handig is bij het navigeren door interfaces. Omdat er geen externe camera's of sensoren gebruikt worden, is absolute plaatsbepaling niet mogelijk en zul je de controller vaak aan het begin van een vr-game moeten kalibreren. Dat lijkt vooralsnog een klein offer voor de voordelen die een systeem als dit biedt.
De controller is wat Daydream onderscheidt van Cardboard en de vele klonen daarvan, en zelfs van Samsungs Gear VR. In de demo's die Google liet zien, was het onder meer mogelijk om een boemerang te gooien, pannenkoeken te flippen met een koekenpan en een vishengel uit te werpen. We zijn erg benieuwd hoe het gesteld is met de precisie van de controller en hoe hij zich verhoudt tot de Vive-controllers die we onlangs getest hebben.
Optimalisaties, optimalisaties, optimalisaties...
Voor een goede vr-ervaring is het belangrijk dat beelden zo snel mogelijk naar de bril gestuurd worden en beweging zo snel mogelijk verwerkt wordt. Dit wordt ook wel aangeduid als de motion to photon latency, oftewel de tijd die het duurt voordat een beweging van je hoofd vertaald is naar een nieuw frame op het scherm. Idealiter ligt dit op minder dan 20ms. Android is daar op dit moment nog niet geschikt voor, maar de komende N-versie van het besturingssysteem wel, omdat het uitgerust is met een scala aan vr-optimalisaties.
De belangrijkste daarvan is wat Google een 'sustained performance mode' noemt. Smartphones zijn op dit moment gemaakt met het idee dat ze voor korte perioden hoge prestaties moeten leveren. Belast je een smartphone voor langere tijd continu, dan zullen de prestaties in veel gevallen terugzakken, doordat de hardware te heet wordt. Deze throttling is onaanvaardbaar bij het draaien van vr-software, omdat de kleinste variatie in de framerate er al voor kan zorgen dat de ervaring onprettig wordt.
Telefoonfabrikanten kunnen via deze nieuwe modus aangeven wat softwareontwikkelaars moeten doen om constante prestaties te realiseren. In de praktijk zou dit kunnen betekenen dat een vr-app de processor bijvoorbeeld direct terugklokt om zo constante prestaties te garanderen. Daarbij wordt het systeem geholpen door asynchronous timewarp, een systeem dat ook door de Oculus Rift gebruikt wordt.
Timewarp zorgt ervoor dat er na het renderen van een frame op basis van de bewegingen van het hoofd van de gebruiker, meteen een warped versie van dat frame gemaakt wordt. Het beeld wordt dan gemanipuleerd op basis van de sensordata om te simuleren dat het perspectief veranderd is. Mocht de telefoon het nou niet redden om op tijd een vers frame klaar te hebben, bijvoorbeeld doordat de cpu een notificaties moet verwerken die binnenkomt of doordat in de vr-omgeving iets gebeurt dat extra rekenkracht vereist, dan kan als lapmiddel het warped frame weergegeven worden.
Samen met verbeteringen aan de rendering pipeline en ondersteuning voor de nieuwe Vulkan-api moet de combinatie van Android N en een Daydream-compatibele smartphone ertoe leiden dat die oh zo belangrijke 20ms motion to photon latency gehaald wordt.
Een echte vr-interface
Android N is niet alleen onder de motorkap geoptimaliseerd voor vr, Google heeft ook een complete user interface ontwikkeld voor Daydream. Die borduurt verder op wat we kennen van andere vr-systemen, zoals de Gear VR, Rift en Vive, met midden in het scherm een raster van plaatjes. Ook de rest van het Google-ecosysteem is met ingang van Android N vr-ready, wat betekent dat je de Play Store kunt gebruiken om apps en games te kopen en bijvoorbeeld via YouTube 360-gradenvideos kunt kijken. Binnen deze omgeving kun je de Controller gebruiken om dingen aan te wijzen en te selecteren.
Wat kunnen we later dit jaar verwachten?
Tijdens I/O heeft Google de Daydream-sdk vrijgegeven, zodat ontwikkelaars alvast aan de slag kunnen. Dat kunnen ze doen op basis van onder meer de Unity- en Unreal-engines, die beide ondersteuning voor Daydream krijgen.
Dit najaar moeten de eerste telefoons met Daydream-ondersteuning uitkomen. Deze zullen dus over de benodigde sensoren beschikken en allemaal uitgerust zijn met een oledscherm. Het lijstje fabrikanten dat zich verbonden heeft aan Daydream is behoorlijk indrukwekkend, met namen als Samsung, HTC, ZTE, Huawei, Xiaomi, Alcatel, Asus en LG.
Daydream-telefoons van de eerste lichting zullen allemaal high-end modellen zijn. Nog niet zozeer vanwege de vereiste van een oledscherm, maar het zijn vooral de sensoren en de snelle soc die de prijs opdrijven. Maar, de high-end telefoons van vandaag zijn de midrange-toestellen van volgend jaar en dat is de strategie die Google hanteert om Daydream langzaam uit te bouwen.
Tegelijkertijd komen dit najaar ook de eerste Daydream-brillen en -controllers uit. Google zal zelf een set op de markt brengen en daarnaast zullen ook andere fabrikanten ze bouwen, al is nog niet bekend welke dat precies zijn.
De populaire Unreal 4 Engine krijgt ondersteuning voor Daydream ingebouwd
Op dit moment blijven er nog wel een aantal vragen over. Samsung heeft zich bijvoorbeeld aan Daydream verbonden en wat betekent dat voor Gear VR? De Koreaanse fabrikant heeft in de afgelopen twee jaar veel geld en moeite in zijn eigen vr-bril gestoken, maar met de komst van Daydream lijkt de toekomst van het systeem op losse schroeven te staan. Daydream biedt met de controller meer functionaliteit en omdat de bril geen sensors zal bevatten, kan het systeem in potentie ook goedkoper zijn.
Dat brengt ons misschien wel bij de grootste vraag: wat gaat een Daydream-systeem kosten? Google ziet het platform als de volgende stap na Cardboard en wil hiermee de massa bereiken. Wat Cardboard zo succesvol maakt, is dat je voor een appel en een ei een kartonnen brilletje koopt. De brilletjes zijn zelfs zo goedkoop dat veel bedrijven ze gratis weggeven in combinatie met een eigen vr-app.
Om van Daydream een succes te maken, zal de prijs dus scherp moeten zijn. In potentie is dat zeker mogelijk; de bril bevat geen elektronica en de sensors in de controller zijn standaardkost. Het zou ons dan ook sterk verbazen als een Daydream-set meer dan honderd euro zal kosten en wellicht dat de wat minder luxe varianten op termijn al voor een paar tientjes over de toonbank kunnen gaan.