"De gebruiker wijst op een plek op het grote scherm. Een kleine, witte x-cursor op het scherm geeft visuele feedback voor het wijzen. De gebruiker zegt: 'maak hier een blauw vierkant'. Een blauw vierkant verschijnt op de plek waar de gebruiker wijst."
Dit is de beschrijving van een set-up bij de Architecture Machine Group op de Amerikaanse universiteit MIT. Die set-up vond plaats in de Media Room, een kamer met een groot scherm, en geldt als het eerste experiment van besturing van een computer met gebaren. Richard A. Bolt van de Architecture Machine Group beschreef dat in een paper.
Doe eens een gooi naar wanneer deze set-up er stond? Intussen is nog te melden dat dit dus een combinatie van input via gebaren en spraak was. Die zou volgens de onderzoekers kunnen dienen als alternatieve manier van input tegenover een toetsenbord en muis.
Als je nagaat dat de grafische interface voor computers zoals we die nog steeds gebruiken, is uitgevonden rond 1968 en de muis in de jaren zeventig van de vorige eeuw is ontwikkeld, is het wonderlijk dat de eerste stappen voor gebarenbesturing al zo snel daarna kwamen. Dit experiment komt namelijk uit 1980.
Gebarenbesturing bestaat in meerdere vormen, maar in dit artikel richten we ons op de gebarenbesturing zonder extra apparaat in de hand: dus wel de Kinect en niet de Wii. Daarbij lukt het vermoedelijk niet om een totaaloverzicht te geven, maar met de voorbeelden krijg je een aardig inkijkje in hoe gebarenbesturing in de elektronicamarkt is gebruikt.
Het is natuurlijk essentieel voor gebarenbesturing dat een apparaat gebaren kan detecteren. Daarvoor zijn diverse manieren. De eerste die veel mensen wellicht nog op het netvlies staat, is de EyeToy voor de PlayStation 2.
EyeToy is een simpel systeem en werkt met een vrij reguliere webcam met een maximale vga-resolutie van 640x460 pixels die via de USB-poort op de console wordt aangesloten en beeldherkenning heeft om de gebaren waar te nemen. Daarbij neemt de software de beweging waar rond het midden van het scherm. Dat het nog vrij basaal is, blijkt al uit het introductiefilmpje. Je moet zelf de focus aanpassen en zorgen voor goed licht. EyeToy was redelijk succesvol en Sony heeft er meer dan tien miljoen exemplaren van versleten.
Zorgen voor goed licht was enkele jaren later niet meer nodig bij de Kinect van Microsoft, bedoeld voor de Xbox 360. Die heeft namelijk twee camera's aan boord: een reguliere rgb-camera en een infraroodcamera. Die lost niet alleen het probleem met belichting op, maar werkt ook als dieptemeting. Daardoor kan die naast bewegingen van links naar rechts ook bewegingen van voren naar achteren waarnemen.
De Kinect maakte een vliegende start in 2010 en Microsoft verkocht er meer dan 35 miljoen van, maar net als de EyeToy bleek het geen blijvend succes. Het aantal games dat goed gebruikmaakte van de techniek bleef achter en de interesse zakte snel in nadat de nieuwigheid eraf was.
Maar Microsoft maakt meer dan alleen gameconsoles en dus kwam er Kinect for Windows in 2014. Heb jij nu een Kinect boven je monitor staan of in je laptop zitten? Waarschijnlijk niet. Kinect for Windows ging in 2015 uit productie, de Xbox-versie stopte in 2017. Camera's die diepte kunnen waarnemen zitten nog steeds op Microsoft Surface-apparaten, maar die zijn alleen voor Windows Hello-authenticatie. We zitten niet massaal onze pc's te bedienen met gebaren. Ook de HoloLens maakt gebruik van de technologie die Microsoft ontwikkelde voor Kinect.
Microsoft was niet eens de enige die bezig was met gebarenbesturing voor Windows. Het bedrijf Leap Motion bracht in 2013 een apparaatje uit voor bewegingsbesturing. Het bedrijf ging zich al snel richten op vr-brillen. Het bestaat nog steeds, heet Ultraleap en je kunt de Leap Motion nog steeds te pakken krijgen voor 90 dollar. Het is onbekend hoe succesvol het is, maar er zijn niet veel toepassingen die het op desktop of laptop ondersteunen.
Leap Motion werkt met twee camera's die nabij-infraroodlicht opvangen op 850nm met een resolutie van 640x240 pixels. De camera's zitten vier centimeter van elkaar en werken op een afstand van maximaal tachtig centimeter om beweging waar te nemen.
Sowieso was de tijd rond 2012 een gouden tijd voor bewegingsbesturing, want je kon toen ook bepaalde Samsung-tv's met je handen bedienen, zonder afstandsbediening. Dat werkte net als de EyeToy met een webcam, maar deze keer zat die ingebouwd in de tv. Die activeerde de interface als gebruikers de hand omhoog hielden richting de camera. Daarna verscheen een overlay om opties te kiezen.
Daar zat gelijk het probleem, aldus onze review van een van de ondersteunde tv's. "Hoewel de herkenning veel soepeler gaat dan vorig jaar, zien we met de komst van de nieuwe touch-remote eigenlijk geen reden om de feature te gebruiken. De ingebouwde webcam vinden we vooralsnog vooral geschikt voor videobellen." Ook onze collega's van Hardware Info bleken destijds weinig enthousiast.
Samsung was niet alleen bezig met gebarenbesturing voor tv's. Zijn Galaxy S-telefoons ondersteunden dat ook een paar generaties lang, beginnend met de Galaxy S4. Die kreeg de functie Air Gestures. Dat werkt met een infraroodsensor die een hand kan detecteren. Zo is het mogelijk om zonder het toestel aan te raken de telefoon op te nemen, door foto's heen te scrollen of te wisselen tussen tabbladen in de browser. Het bleek leuk bedacht, maar had weinig praktisch nut en werkte niet foutloos. Het was daardoor geen lang leven beschoren.