Lenovo Phab 2 Pro: aan de slag met de eerste Tango-telefoon

Inleiding: it takes two to tango

We zijn ons continu bewust van onze omgeving. Zodra we een ruimte binnenkomen, nemen we deze in ons op. We weten waar de deur is, waar de ramen zich bevinden en we zijn ons ervan bewust dat we op een stoel zitten, aan een bureau, met een scherm voor ons. Smartphones hebben van dat alles geen idee. Ze weten hooguit wáár ze zich bevinden, mits ze een goede gps-fix weten te krijgen.

Google werkte onder de naam Project Tango al een aantal jaar aan een techniek die smartphones net zo bewust van hun omgeving moet maken als mensen. Het werkt met camera's en sensoren die in staat zijn om bewegingen te volgen en afstanden te meten. Met die eigenschappen kunnen de omgeving en voorwerpen in kaart worden gebracht en kan het apparaat precies bepalen op welke positie het zich bevindt.

Helaas!
De video die je probeert te bekijken is niet langer beschikbaar op Tweakers.net.

Aankondigingsvideo van de Lenovo Phab 2 Pro

De Tango-techniek komt met name van pas bij augmented reality, maar ook bij virtual reality en het maakt nauwkeurige navigatie binnen gebouwen mogelijk. Met de dieptecamera is het bovendien mogelijk om van objecten of hele omgevingen een 3d-model te maken. Google heeft de techniek al lang in ontwikkeling, maar it takes two to tango en op de CES werd begin dit jaar bekendgemaakt dat Google een partner heeft gevonden in Lenovo. Het bedrijf beloofde in de zomer de eerste smartphone met Tango-hardware uit te brengen. Die belofte is nu ingelost met de aankondiging van de Lenovo Phab 2 Pro.

Gelijktijdig met de introductie van de eerste Tango-smartphone heeft Google de techniek een officiële naam en een logo gegeven. Veel verandert er niet: wat eerst Project Tango was, heet nu simpelweg Tango.

Lenovo Phab 2 Pro

Zoals de naam doet vermoeden, is de Phab 2 Pro een phablet, ofwel een erg grote smartphone, die doet denken aan een tablet. Met een 6,4"-scherm gaat die term ook zeker op voor Lenovo's Tango-smartphone. Het ips-paneel heeft een resolutie van 2560x1440 pixels en de smartphone is voorzien van een Qualcomm Snapdragon 652-soc, gecombineerd met 4GB lpddr4-geheugen en 64GB opslagruimte. Het apparaat draait op Android 6.0.1 en er passen twee nanosims in de smartphone. Het is ook mogelijk om een van die slots te gebruiken om een micro-sd-geheugenkaartje te plaatsen.

Niet alleen het 6,4"-scherm van de Phab 2 Pro is groot, de metalen behuizing is nog een stukje groter dan wat nodig zou zijn voor dit schermformaat; de smartphone is bijna 18cm lang. Samen met de Phab 2 Pro heeft Lenovo nog twee phablets aangekondigd. Deze Phab 2 en Phab 2 Plus hebben ook een 6,4"-scherm, maar zijn iets kleiner dan de Phab 2 Pro. Overigens hebben de andere Phab 2's geen Tango-hardware aan boord. Zodoende valt op te maken dat er grotere afmetingen nodig zijn om de benodigde camera's en hardware voor Tango weg te werken.

Lenovo verdedigt de keuze voor het grote formaat door te stellen dat mensen nog maar amper met hun smartphone bellen en het apparaat veel vaker inzetten voor gebruik waarbij een groot scherm juist prettig is. Hoewel dat absoluut waar is, vrezen we toch dat de afmetingen van de Phab 2 Pro voor veel potentiële kopers een dealbreaker zullen zijn.

Tango camerastack

De Tango-module bestaat uit verschillende camera's en sensoren. De bovenste camera is de reguliere kleurencamera, een 16-megapixelmodel met fasedetectiefocus. Deze wordt ook bij Tango-toepassingen gebruikt, om het beeld op het scherm weer te geven. Onder de camera zitten de dieptesensor, een infraroodlaser en de reguliere ledflitser. De dieptesensor is een Time-of-Flight-chip van Infineon, die werkt in combinatie met de infraroodlaser. De laser stuurt een infraroodpatroon uit en het teruggekaatste licht wordt door de chip opgevangen, waarna de afstand berekend kan worden. Met die informatie wordt een dieptekaart gemaakt.

De grote, ronde camera boven de vingerafdrukscanner is een groothoekcamera die de volledige omgeving kan vastleggen en ook dienstdoet als bewegingsdetector. Aan de voorkant van het toestel zit een reguliere 8-megapixelcamera met een diafragma van f/2.2.

Update 12 juni: details over Time-of-Flight-camera toegevoegd.

Om de Tango-camera's weg te werken, heeft Lenovo een gat moeten maken in het pcb van de smartphone. Het moederbord is als het ware om de Tango-module heen gebouwd. Ook is er een heatpipe en speciale koelpasta toegepast om de soc koel te houden, zegt Lenovo. Met de 4050mAh-accu moet ongeveer vier uur intensief van Tango-apps gebruikgemaakt kunnen worden.

Plaatsing van de Tango-module en heatpipe in de Lenovo Phab 2 Pro

De Phab 2 Pro komt in september op de markt voor een adviesprijs van 499 euro. Hoewel Lenovo spreekt van een wereldwijde release, is nog niet bekend of de Phab 2 Pro ook direct in de Benelux geleverd zal worden. Eind juni maakt de fabrikant bekend in welke Europese landen de smartphone in de winkels komt te liggen.

Eerste indruk

Lenovo kondigde de Phab 2 Pro samen met de nieuwe Motorola Moto Z-toestellen aan op zijn Tech World-evenement en daar kregen we de kans om de Tango-telefoon in de praktijk te proberen. De beschikbare smartphones waren voorzien van een aantal apps met Tango-ondersteuning. In alle gevallen ging het om apps die de techniek gebruiken voor augmented reality.

Het weergeven van 3d-objecten over het beeld van de camera is al langer mogelijk, ook met smartphones die geen Tango-camera's aan boord hebben, maar met de techniek van Google zijn de mogelijkheden veel uitgebreider. Met een reguliere smartphone moet voor de weergave van augmented reality een referentiepunt gebruikt worden; bijvoorbeeld een kaartje dat ergens is neergelegd. Bij Tango is dat niet nodig; de camera's scannen de volledige omgeving en kunnen daardoor overal een virtueel object in beeld zetten met het juiste perspectief.

Domino World

Verreweg de leukste en overtuigendste app die we hebben geprobeerd, was Domino World, een spelletje waarmee je eenvoudig een virtuele dominobaan in iedere ruimte opzet. Open je de app, dan zie je het reguliere camerabeeld. Met een druk op de Create-knop begin je met het maken van een dominobaan. De dominosteentjes worden in realtime neergezet op de plek waar je op mikt. Of dat nu de vloer is of een verhoging zoals een tafel, het werkt vrijwel altijd goed. Je kunt het systeem wel foppen door bijvoorbeeld te proberen de dominobaan tegen de muur op te laten lopen. Dat begrijpt de app logischerwijs niet helemaal goed. Desondanks lukte het om bijvoorbeeld dominosteentjes op het plafond te plaatsen. Ook een baan maken die niet vlak loopt, is geen probleem. Een heuveltje overwinnen is mogelijk, maar je kunt ook een baan maken die op een tafel begint en op de grond doorgaat.

Ook lukt het verrassend goed om dominosteentjes op een flinke afstand van een meter of vijf neer te zetten. De Tango-camera's konden de afstand goed schatten en het juiste perspectief berekenen. Het leuke van het spelletje is dat je enorme dominobanen kunt maken door zelf mee te lopen door de ruimte terwijl je de steentjes neerzet. Later kun je de baan vanaf een afstandje of juist van dichtbij bekijken, terwijl de steentjes vallen. Het resultaat is vooral spectaculair als je tijdens het omvallen van de dominosteentjes de smartphone laag bij de grond houdt of de vallende steentjes van dichtbij volgt.

Helemaal perfect is Domino World nog niet. Als je nadat je een baan hebt gemaakt de smartphone hard heen en weer schudt, komt het voor dat de baan opeens in de lucht zweeft of zelfs helemaal verdwenen is. Eigenlijk is de Tango-techniek van Google juist in staat om dat te voorkomen, door area learning toe te passen. Daarbij wordt de omgeving in zijn geheel opgeslagen, iets wat Google eerder demonstreerde op zijn I/O-ontwikkelaarsconferentie en waarop we later in dit artikel terugkomen. Een Google-ontwikkelaar die op Tech World de Domino-app demonstreerde, vertelde ons dat de game hier geen gebruik van maakt.

Measure It

De simpelste app, maar misschien wel de overtuigendste in praktische zin, is Measure It. De app toont een cursor in het midden van het camerabeeld en rechtsonder een plusje. De cursor lockt automatisch vast op hoeken van objecten. Dat gaat in de praktijk aardig, al lukt het niet altijd om perfect de rand van een voorwerp te vinden. Waarschijnlijk is dat afhankelijk van het contrast, het beschikbare licht en de afstand tot het onderwerp. Desondanks konden we in een vrij donkere ruimte nog prima onderwerpen meten.

Met het plusje voeg je een nieuw punt aan je meting toe. Heb je eenmaal een rechthoek - of andere vorm naar keuze - gemaakt, dan kun je deze eventueel uittrekken tot een vorm met een volume. Ben je klaar met je meting, dan kun je deze vastleggen door een foto te maken. Het resultaat wordt opgeslagen als een blauwdruk waarbij de afmetingen en het volume uiteraard weergegeven worden. Hoewel het in de praktijk waarschijnlijk niet in alle situaties tot op de millimeter nauwkeurig werkt, is een app als Measure It een uitstekend voorbeeld van hoe de techniek gebruikt kan worden om onze smartphones weer net een stukje slimmer en veelzijdiger te maken.

Phantogeist

Een andere game die we probeerden, is Phantogeist. Je kunt het spelen met de alleen smartphone, maar Lenovo had ook een demogebied opgesteld, waarin de telefoons op een Nerf-gun waren gemonteerd en waarbij de trekker via bluetooth verbonden was aan de schietfunctie in de app. De game toonde een radar, waarop rode puntjes aangaven waar de monsters zich bevonden.

De demoruimte bestond uit een mix van veel felle kleuren, een wat vreemde keuze omdat de doorzichtige monsters daardoor niet goed te zien waren. Ook de obstakels in de ruimte, die suggereerden dat je erachter zou kunnen schuilen, waren puur decoratief; de monsters in de game liepen overal doorheen. De keuze van de demo-opstelling was wellicht wat ongelukkig en Phantogeist lijkt ook nog niet de volle mogelijkheden van Tango te benutten. De hardware is immers in staat om de omgeving in 3d vast te leggen. In theorie zou het demogebied dus vertaald kunnen worden naar de game en zouden de obstakels in de fysieke ruimte dus ook in de game aanwezig kunnen zijn.

Ook probeerden we kort Raise Prototype, waarin je met een huisdiertje speelt. Het wordt bezorgd in een kartonnen doos, die zich openvouwt op de grond. Het moment dat het beestje naar je toe loopt en letterlijk tegen je benen op lijkt te kruipen en je begint te likken is vertederend. De app nodigt gebruikers vooral uit tot te experimenteren. Je kunt bijvoorbeeld een bal gooien, maar ook je hand uitsteken en kijken hoe het beestje reageert.

Een praktischere toepassing is Lowe's Vision. Lowe's is een Amerikaanse kluswinkel die onder andere keukens en badkamers verkoopt. Met de app zijn producten uit de winkel door middel van augmented reality in iedere omgeving te plaatsen. Dat moet het makkelijk maken om te kijken of een kastje bijvoorbeeld goed in je interieur past. Omdat Tango afmetingen kan meten, worden de virtuele objecten precies op de juiste grootte weergegeven. Ook het Amerikaanse meubelwarenhuis Wayfair komt met een dergelijke app.

Toepassingen en techniek

Lenovo lijkt met zijn Phab 2 Pro met name op augmented reality te mikken, maar er zijn meer toepassingen voor Tango. De afgelopen jaren heeft Google veel gedemonstreerd tijdens ontwikkelaarsconferenties en op beurzen. Ook is er al een tijd een speciale sectie in de Play Store met featured Tango-apps. Wie een devkit heeft, of straks de Phab 2 Pro koopt, kan hiermee aan de slag.

Een Tango-apparaat heeft bijvoorbeeld alle hardware aan boord om 3d-scans te maken. Het is denkbaar dat je bijvoorbeeld een ruimte of object kan inscannen door er omheen te lopen. Het 3d-model zou vervolgens gebruikt kunnen worden in een game, of om een 3d-print te maken. Lenovo heeft dergelijke functionaliteit nog niet getoond, maar met de juiste apps en software moet dit mogelijk zijn met ieder Tango-apparaat.

Een ander voorbeeld dat veel gedemonstreerd wordt, is navigatie in gebouwen. Gps werkt niet zonder zicht op satellieten en is niet nauwkeurig genoeg om bijvoorbeeld in een winkelcentrum exacte instructies te geven. Door zo'n winkelcentrum eerst met Tango vast te leggen en vervolgens die informatie te delen met andere Tango-apparaten van bezoekers, moet perfecte indoor navigatie mogelijk worden.

Tango-projectleider Johnny Lee legt uit waar de techniek voor gebruikt kan worden

Virtual reality

Een toepassing waarbij de techniek van Tango uitstekend van pas zou komen, is virtual reality. Met huidige smartphones en een eenvoudige cardboard is het al mogelijk om hoofdbewegingen te detecteren en zo rond te kijken in een virtuele ruimte. Met een Tango-smartphone is het in theorie mogelijk om volledige bewegingsvrijheid te krijgen in een virtuele ruimte. Het apparaat is zich immers bewust van zijn positie en zijn omgeving. Alle informatie over de ruimte waarin het apparaat zich bevindt, kan vertaald worden in een 3d-applicatie. Zo zou een virtuele overlay gemaakt kunnen worden van de fysieke ruimte.

HTC gebruikt met zijn Vive-headset voor zijn roomscale-systeem gebruik van trackingstations die in de ruimte geplaatst moeten worden. Deze helpen vervolgens bij het detecteren waar de headset, en dus de persoon die deze draagt, zich bevindt. Ook dat maakt het mogelijk om in een virtuele ruimte rond te lopen, maar het vergt wel de installatie van de camera's en ook moet een ruimte leeg gemaakt worden van obstakels, want die worden niet gedetecteerd.

Met Tango zou iedere ruimte geschikt gemaakt kunnen worden voor een vergelijkbare roomscale-vr-ervaring. Tafels, banken of stoelen hoeven in feite niet verplaatst te worden. Omdat Tango een volledige 3d-map van de omgeving maakt, zouden deze obstakels binnen een vr-omgeving aangeduid kunnen worden. HTC doet dat met de Vive bijvoorbeeld door een raster weer te geven zodra de drager het gebied uit dreigt te lopen. Dat voorkomt dat je tegen de muur aanloopt. Met Tango kunnen niet alleen de muren, maar ook alle objecten in de ruimte in kaart worden gebracht. In theorie kunnen deze zelfs in de virtuele omgeving worden gebruikt. Een bank zou een rots kunnen worden in een game, om achter te schuilen.

Johnny Lee, projectleider van het Tango-team bij Google

Hoewel de Tango-techniek erg interessant lijkt te zijn voor virtual reality, zijn de geschetste scenario's nu nog geen realiteit. Op Lenovo Tech World vroegen we aan Johnny Lee of er concrete plannen zijn om Tango te combineren met vr, maar dat is volgens de projectleider nu nog niet het geval. Wel ziet hij het als iets voor op de roadmap.

Ook staat het mensen vrij om bijvoorbeeld een headset te maken voor de Phab 2 Plus, zoals dat ook al eerder is gedaan voor de 7"-ontwikkelaarstablet, zegt Lee. Hij geeft echter ook aan dat de smartphone niet compatibel is met Googles nieuwe Daydream-platform voor virtual reality. De smartphone voldoet bijvoorbeeld niet aan de gestelde eisen wat minimale latency betreft. In de praktijk zullen Daydream-smartphones daarom ook een oledscherm hebben, de Phab 2 Plus heeft een ips-lcd.

Het belang van Area Learning

De Tango-techniek heeft drie pijlers: bewegingsdetectie, diepteherkenning en area learning. De eerste twee spreken grotendeels voor zich. Een apparaat dat over deze twee eigenschappen beschikt, kan de ruimte waarin het zich bevindt, waarnemen en weet op welke positie het zich bevindt. Daarmee is de 'bewustheid' waar het Tango-team naar zoekt, in feite aanwezig. De derde pijler, het leren herkennen van omgevingen, moet Tango-apparaten niet alleen bewust maken, maar ook een geheugen geven.

Area Learning houdt in dat een Tango-apparaat een omgeving niet alleen in zich op kan nemen, maar deze ook kan onthouden. Het hoeft daarvoor geen volledige 3d-weergave van de omgeving op te slaan, een verzameling van belangrijke keypoints is genoeg. Zodra je de camera van een Project Tango-apparaat op een ruimte richt, gaat deze op zoek naar belangrijke landmarks. Deze worden voorzien van keypoints en als je het apparaat vervolgens beweegt, blijven de puntjes op hun plek staan.

Kom je later in dezelfde ruimte terug, dan kunnen de landmarks vergeleken worden met de keypoints in het geheugen. Zo weet het apparaat precies op welk punt je in de ruimte bent. Dit kan gebruikt worden voor navigeren in gebouwen, maar ook voor augmented reality. Zo schreven we eerder in dit artikel over onze praktijkervaring waarbij de virtuele dominobaan na het maken van wat flinke bewegingen opeens van zijn plek verschoven was; dat probleem wordt met area learning opgelost. Google demonstreerde dat in mei tijdens zijn I/O-conferentie voor ontwikkelaars.

Google I/O-talk over Area Learning. Vergelijking met en zonder area learning vanaf 23:20.

Van project tot product

Het eerste voorstel voor Project Tango stamt uit november 2012 en in maart 2013 maakte de experimentele onderzoeksafdeling Google ATAP een eerste prototype in de vorm van een tablet. In de jaren daarna werd gewerkt aan het kleiner maken van de techniek, zodat deze weggewerkt kan worden in een smartphone. Begin 2015 besloot Google om het project uit de experimentele fase te halen door te ontwikkelen voor consumentenproducten.

Helaas!
De video die je probeert te bekijken is niet langer beschikbaar op Tweakers.net.

Korte videopresentatie van Project Tango, begin 2014.

Van Wii naar Kinect en Tango

Johnny Lee heeft de leiding over het project. Hij werd in 2007 bekend nadat hij een Wiimote omtoverde tot een apparaat voor head tracking. Hij deed dat door twee infraroodleds aan een bril te bevestigen en deze te laten waarnemen door de controller van de Wii. Het tracking-apparaat zorgde voor een overtuigende 3d-ervaring op een regulier scherm. Zijn filmpje werd op YouTube meer dan tien miljoen keer bekeken en zijn vernuft bleef niet onopgemerkt bij grote bedrijven. Lee ging in 2008 bij Microsoft in dienst en werkte daar aan de ontwikkeling van de Kinect. In 2011 maakte hij de overstap naar Google, waar hij sinds het begin betrokken is bij Project Tango.

Devkits

Voordat Lenovo zijn Tango-smartphone aankondigde, was er al hardware beschikbaar voor ontwikkelaars. Google kwam zelf met een devkit in de vorm van een 7"-tablet, voorzien van een Nvidia Tegra K1-soc en 4GB ram. Google gebruikte deze tablet voor demonstraties op beurzen en op zijn eigen I/O-ontwikkelaarsconferentie. Intel bracht begin dit jaar zijn RealSense Smartphone Developer Kit uit. Dit apparaat heeft de formfactor van een 6"-smartphone en is voorzien van een Intel Atom x7-Z8700-soc. Het scherm heeft een resolutie van 2560x1440 pixels. De devkit werkt met Intels eigen RealSense-sdk, maar ook met de Tango-sdk.

Werk aan de winkel

Hoewel Lenovo nu zijn eerste consumentenproduct met Tango heeft gepresenteerd, is het werk aan de techniek nog niet klaar. Zowel de hardware als de software zal verder ontwikkeld moeten worden om echt een groot publiek te kunnen bereiken. Vermoedelijk moet de hardware nog kleiner gemaakt worden om Tango in een smartphone met een wat meer gangbaar en handelbaar formaat te krijgen. Wat software-ontwikkeling betreft is er niet alleen ruimte voor verbetering, maar is het ook belangrijk dat er apps komen die fabrikanten en consumenten zullen overtuigen van het nut van Tango.

Google en Lenovo zijn ervan overtuigd dat Tango een techniek is die in de toekomst in meer apparaten te vinden zal zijn. Op den duur zou het net zo gemeengoed moeten worden als bijvoorbeeld de gps in je smartphone of tablet. Wat ons betreft is dat een mooi streven en zelfs simpele apps zoals Measure It laten al zien dat Tango een smartphone daadwerkelijk nog een stap functioneler maakt. De mogelijkheden zijn echter nog veel groter dan wat er tot nu toe beschikbaar en getoond is. We zijn bijvoorbeeld erg benieuwd naar wat Tango in de toekomst voor virtual reality kan beteken. In theorie is dat namelijk een sprookjeshuwelijk.

Hoewel de Lenovo Phab 2 Pro als smartphone voor veel gebruikers waarschijnlijk niet de eerste keus zal zijn vanwege het formaat, kunnen we de komst van het apparaat enkel toejuichen. Na onze eerste ervaringen met de techniek in consumentenvorm zijn we enthousiast, en we hopen snel meer te zien en meer ervaringen op te kunnen doen. Voor techliefhebbers wordt de phablet een betaalbare optie om snel met de nieuwe techniek te gaan experimenteren.