Technologieën van de toekomst

Vier projecten uit Googles researchlab

Project Soli: bewegingsdetectie met radar

Volgens Atap is er een probleem met de manier waarop we momenteel omgaan met wearables. Onze vingers zijn in combinatie met het kleine touchscreen niet in staat om op een precieze manier input te leveren. Dat ligt niet zozeer aan onze vingers - die kunnen verschrikkelijk subtiele bewegingen maken - maar wel aan de touchscreentechnologie die niet in staat is om die subtiele inputs op te vangen. De oplossing is - volgens Atap - Project Soli.

Omdat de mensen achter Project Soli wel overtuigd waren dat handen en vingers zeer geschikte instrumenten zijn voor het besturen van interfaces, gingen ze op zoek naar een manier waarop deze veel nauwkeuriger ingezet konden worden. Al snel kwamen ze uit op bewegingsdetectie. Dat wierp echter meteen problemen op; de nauwkeurigheid waar ze naar op zoek waren was niet te behalen met de voor de hand liggende technieken. Systemen als de Leap Motion en Kinect gebruiken voornamelijk camera's om handen en vingers te herkennen, maar volgens Soli-projectleider Ivan Poupyrev hebben camera's moeite als vingers elkaar overlappen, en als er niet genoeg licht voorhanden is levert dat ook problemen op.

Na een zoektocht waarbij verschillende technieken overwogen werden, kwamen ze uiteindelijk uit bij radarsignalen. Deze werken namelijk ook in het donker en kunnen zelfs door een groot aantal materialen heengaan. Het probleem was schaal: radarhardware bleek groot, veel te groot om in een wearable te gebruiken. Het afgelopen jaar werd daarom besteed aan het maken van steeds kleinere prototypes van deze radarsensor met als resultaat de versie die tijdens I/O voor het eerst getoond werd: een kleine chip van enkele vierkante millimeters, werkend op 60GHz, klein genoeg om in een wearable gebruikt te worden.

Deze sensor is echter de helft van het verhaal, misschien zelfs wel minder dan dat. Om de hardware zo simpel mogelijk te houden wordt een enkel, breed radarsignaal uitgestuurd, waarna de reflecties vanaf de hand geregistreerd worden. Dat levert extreem rauwe data op, die nog weinig te maken heeft met handen, laat staan vingers. Er zijn dan ook ingewikkelde algoritmen en veel machine learning nodig om deze data om te zetten in inputsignalen. Dat is waar de grootste uitdaging ligt.

In de praktijk

We konden bij de stand van Atap zelf even aan de slag met Project Soli, in demo-opstellingen waarbij de sensor in een tafel verwerkt was. Op een beeldscherm zagen we een visuele representatie van de bewegingen die we met onze hand uitvoerden. Er was duidelijk een correlatie tussen de handbewegingen en wat op het scherm te zien was, maar het was allemaal wel erg abstract.

Indrukwekkender vonden we de demo die Poupyrev tijdens de keynote gaf. Op het scherm was een mockup te zien van een smartwatch app, met daarin een simpele lijst van rechthoeken. Door simpelweg met zijn duim over zijn wijsvinger te vegen kon Poupyrev door de lijst met items scrollen. Daarbij kon hij het tempo bepalen door sneller of langzamer te vegen. Zelfs minimale bewegingen van zijn vingers werden correct opgepikt. In een smartwatch zou dit kunnen betekenen dat je de interface bedient door simpelweg boven het scherm kleine bewegingen te maken, waardoor je kunt blijven zien wat er op het scherm staat.

• Volgende pagina 3. Project Jacquard: aanraakgevoelige kleding