Kinect ingezet als multitouch-interface

Nadat er een opensource-driver verscheen voor Kinect, is het Florian Pechtler gelukt om het apparaat in te zetten als multitouch-interface. Met zijn eigen UI Tisch-software demonstreert hij het oppakken, verslepen en vergroten van foto's.

De opensource-driver werd dinsdag vrijgegeven door de Spaanse hacker Héctor Martín Cantero, die daarmee een aardige geldprijs in de wacht sleepte. Florian Pechtler ging vervolgens met de drivers aan de slag en wist Kinect met zijn eigen software aan te sturen. De multitouch-software, UI Tisch, kon ook al met een Wii-controller overweg, maar kan nu dus ook in combinatie met Kinect worden gebruikt.

In een YouTube-filmpje demonstreert Pechtler het met twee handen slepen, vergroten en verkleinen van foto's. Kinect registreert de bewegingen en de software vertaalt ze naar de juiste handeling. Vlekkeloos lijkt het nog niet te werken, maar het toont wel aan wat er in korte tijd met Kinect mogelijk is.

Ondertussen portte Theo Watson libfreenect, de opensource-driver, naar Apples besturingssysteem OSX. Verder is het op dit moment enkel in de Verenigde Staten mogelijk om gebruik te maken van Kinects Voice Control, maar die beperking is vrij eenvoudig te omzeilen. Door in het Dashboard de locatie aan te passen naar de Verenigde Staten, kan er in het Engels met Kinect worden gecommuniceerd.

Reacties (114)

[Roely]

Ik blijf het geniaal vinden, ik ben dan misschien wat ouder (41) dan de meeste lezers hier, maar de ontwikkelingen gaan rap!

Ooit had ik een droom, dat ik digitaal, op mijn computer, een snor kon tekenen op een foto. Mijn Amiga maakte die droom een paar jaar later waar.

Ik heb de Kinect op mijn Xbox, en zonder een controller aan te raken, log ik in (face recognition) en start een video of clip. Kinderen lopen door het huis, de hond staat in het gezichtsveld van de sensor, maar het werkt., beter dan ik dacht !


Ik heb drie kinderen, 5, 7 en 8 jaar. De jongste is autistisch, maar deze manier van bedienen is zo natuurlijk, dat hij na vijf minuten het spel Kinect adventures zelf kon besturen en spelen.

Nee, het zal geen toetsenbord vervangen, maar anno 2010 is het mogelijk, met een investering van 'slechts' 300 euro, een apparaat onder je TV te zetten en het volgende scenario plaats te laten vinden :

Ik kom thuis van werk, de Tv met Xbox staat aan. Ik zwaai naar de TV, wacht 20 seconden en de Xbox begroet mij bij mijn naam. Ik ga zitten, pak een sigaret en beweeg mijn andere hand, terwijl de hond mij kwispelend begroet. Ik kijk wie er online is en start een videogesprek met een vriend van mij. Samen kijken wat videootjes en babbelen we er op los. Na dit even gedaan te hebben, komt mijn zoon, zwaait ook, en start een spel waarbij hij springt en beweegt alsof het een lieve lust is. Ondertussen merk ik dat de batterijen van mijn controller al dagen leeg zijn.

Als je dit tijdens de introductie van de Xbox tegen mij had verteld, had ik je voor gek verklaard ...

[Anoniem: 383087]

Super! Je verhaal lijkt op dit verhaal over een autistiche jongen en zijn vader: http://123kinect.com/kinect-autism-father-boy/

Erg indrukwekkend (beide verhalen)!

[Reactie gewijzigd door Anoniem: 383087 op 25 juli 2024 22:50]

[Fermion]

Uit onverwachte hoek een positieve ontwikkeling voor autistische kinderen om met het gezin mee te doen. Erg mooi.

[Anoniem: 383087]

Wellicht een geweldige uitlaatklep .

[MelodyDeluxe]

geweldig om te lezen dat voor de autistische kinderen dit ook gebruikt kan worden, op een natuurlijke manier een stukje "leren" qua coördinatie met bewegingen, kan alleen maar positief zijn toch?

[Dolan]

Ziet er goed uit. We staan aan het begin van een ware evolutie van de computer UI's. Over tientallen jaren denk ik dat toetsenborden en muizen misschien niet eens meer in gebruik zijn.

[.oisyn]

Realiseer je je wel hoe vermoeiend het is om continu met je armen in de lucht te zwaaien? En hoe onhandig het is om geen tactile feedback te hebben, zoals je die met een toetsenbord en muis wel hebt? En sowieso, hoe ga je iets intypen, door het continu te roepen? Lekker irritant, wil ik liever niet naast zitten, en al helemaal onhandig op de werkplek

[Reactie gewijzigd door .oisyn op 25 juli 2024 22:50]

[jqv]

ik zeg voice recognition!!!

Of te wel stemgestuurd.

Dat kan nu al. En heeft niets met kinect te maken.

En vermoeiend is mooi. Door met je armen te zwaaien ben je in beweging. Dit is weer goed voor de gezondheid.

[Flight77]

Nou, lijkt me meer een open uitnodiging voor 100 nieuwe RSI varianten. Het zijn namelijk niet echt natuurlijke bewegingen.

[wankel]

Natuurlijk zijn het wel natuurlijke bewegingen. Als je wil zeggen "ik loop naar je toe" dan wijs je naar jezelf, dan loop je een paar stappen, en dan wijs je naar de computer.

Als je een uitnodiging wil versturen, dan laat je een brief zien, gaat vervolgens staan huppelen of je "nodig" moet, en gooit dan de brief het raam "uit" . Makkie en helemaal niet onnatuurlijk. Het is dé manier van communiceren met een machine/individu waarvan je de taal niet spreekt.

[Flight77]

Ja en ga vervolgens maar eens de persoonlijke uitnodigingen versturen voor een heel klantenbestand...

En als ik het filmpje bekijk zie ik niet heel erg natuurlijke bewegingen gedaan worden. De voorbeelden die jij geeft zijn leuk, maar om een generieke machine te bedienen zal er toch altijd teruggevallen worden op abstractere "hogere niveau" bewegingen.

Ik zeg trouwens niet dat het niet mogelijk is om een goede bewegings-interface te creeren, alleen denk ik dat je niet moet onderschatten wat dit soort repetitieve bewegingen voor invloed hebben op het functioneren van je lichaam.

[Anoniem: 87819]

Ehh, denk je dat scripts/automatisering in de toekomst verdwenen zijn?
Als je nu persoonlijke uitnodigingen wil sturen naar je hele klantenbestand heb je daar toch ook een interface voor?
Alleen ipv klikken op 'forward to all' heb je dan een gebaar ervoor. Nog makkelijker...

En repetieve bewegingen zijn iets wat naar mijns inzien al helemaal gaat verdwijnen naar mate computers meer intelligentie hebben. Repeteren kan de software wel voor je doen immers. Jij als gebruiker hoeft alleen de condities en uitzonderingen duidelijk te maken.

[Reactie gewijzigd door Anoniem: 87819 op 25 juli 2024 22:50]

[Psycho-18]

ik denk dat zijn reactie als satirisch opgevat moet worden

[0rbit]

Ja en voice recognition op kantoor werkt ook zo fijn...

Het toetsenbord zal blijven bestaan tot er een directe hersen-computer interface is die betrouwbaar werkt.

[latka]

Ik zeg "Format C:", "YES", "Enter"!

[Reactie gewijzigd door latka op 25 juli 2024 22:50]

[chaozz]

hahaha.. precies: http://www.chaozz.nl/bobbert/?bobbertid=52

[Proxx]

ik denk brainrecognition is binnen 10 jaar wel te halen denk ik.

[Nickname55]

Jah stemgestuurd een pc aansturen is vooral ook zo lekker ideaal als je onder tussen ff een praatje hebt met een collega over een feestje van gisteravond. Die pc snapt tuurlijk nooit wat voor hem bedoelt is en wat niet.

[Perkele]

En ik zeg Mind Control!!!

[marcel-o]

Denk ff aan Stephen Hawking

die doet het met zn ogen en gezicht geloof k

[roy-t]

.oisyn heeft een goed punt, daarom zie ik ook meer in Microsoft Surface (waarbij je je handen kunt laten rusten op een tafel) dan bij dat soort rechtop dingen.

[TimSeve]

Plaats de camera op de grond, richtend naar de lucht. Tussen jou en de camera plaats je een spiegel/glazen plaat. Zo kun je toch je handen/armen laten rusten

[Zoijar]

Dit soort dingen worden natuurlijk wel al heel lang (niet ) gebruikt. Bij de meeste user-studies komt er toch uit dat een standaard muis makkelijker, nauwkeuriger en sneller werkt. AR/VR begint nu een beetje in te komen bij het grote publiek en daarom zie je steeds meer van dit soort dingen, maar vroeger werd dit ook al veel onderzocht, alleen niet naar de consument gebracht.

[Anoniem: 80466]

Het blijkt anders dat een kind met autisme veel intuitiever kan werken met de Kinect interface dan met andere controlers.

http://www.gamingnexus.co...-a-console/Item20369.aspx

Het voordeel van de Kinect is dus dat het een controler is die vrijwel geen oefening of ervaring vereist maar waarvan het gebruikt direct en simpel begrepen wordt.

[Zoijar]

Een iemand z'n kind met autisme weet hoe je het moet gebruiken, en dan werkt het meteen veel intuitiever? Ten eerste, dat is slechts een kind. Ten tweede, het merendeel van de computergebruikers bestaat niet uit autistische kinderen. De studies waar ik het over heb gaan daar dan ook niet over. Volgens mij snappen de meeste mensen ook direct hoe een muis werkt. Als je dit beweegt, beweegt het pijltje mee.

Het enige voordeel van dit soort dingen is dat je geen controller nodig hebt, en het dus ook in omgevingen/situaties te gebruiken is waar een controller niet voorhanden is of erg moeilijk te gebruiken is. Rondlopen in een VR omgeving met een HMD bijvoorbeeld.

[Reactie gewijzigd door Zoijar op 25 juli 2024 22:50]

[Jasper Janssen]

Nee, muizen werken totaal niet natuurlijk. Dat je een ding beweegt en dat er iets anders dan gaat bewegen op een daaraan gekoppelde manier en dat dat dan wat betekent is veel minder natuurlijk dan alle mogelijke vormen van (multi)touch.

[Ook al Bezet]

Ziet er goed uit. We staan aan het begin van een ware evolutie van de computer UI's. Over tientallen jaren denk ik dat toetsenborden en muizen misschien niet eens meer in gebruik zijn.

Muizen misschien niet maar het toetsenbord? Iets als Kinect lijkt me toch niet lekker om mee te typen.

[Waking_The_Dead]

Schitterend! In de film Minority Report zag dit er gewoon nog onrealistisch/futuristisch uit. Maar ondertussen kan het gewoon echt en is het nog betaalbaar ook!

Ik vraag me af of dit soort films deze ontwikkelingen in de hand werkt ("He cool concept, laten we dit eens proberen met bestaande hardware").

[bollewolle]

Van Minority Report is het bekend dat bij de ontwikkeling ervan gebruik werd gemaakt van een denktank met "futurologen". Die gesture interface in de film is bedacht door John Underkoffler en die heeft dit met zijn team ondertussen ook al verder uitgewerkt tot een echt bruikbaar product. Begin dit jaar was hij als gastspreker op TED 2010 en heeft hij er een presentatie over gedaan plus liet hij het ook effectief zien. Best wel interessant moet ik zeggen.

Link naar TEDtalk

[maceddy2004]

En zonder speciale handschoentjes :-)

[Tranzy]

Nog even en dan kunnen we hetzelfde als Tom Cruise in Minority Report.

http://www.youtube.com/watch?v=NwVBzx0LMNQ

(laat maar... was niet origineel)

[Reactie gewijzigd door Tranzy op 25 juli 2024 22:50]

[MelodyDeluxe]

niet orgineel nee, wel een goede film trouwens,

ze hebben overigens al een soortgelijk scherm, alleen nog niet "holografisch" like the movie.. wel even een must see voor de gemiddelde tweaker: http://www.perceptivepixel.com/

edit: toevallig zag ik m laatst ook in een episode van de nieuwe CSI

[Reactie gewijzigd door MelodyDeluxe op 25 juli 2024 22:50]

[Noxious]

Lijkt me toch niet erg gebruiksvriendelijk door een gebrek aan hand/oog coordinatie, je handen zullen nooit echt overeen komen met de fysieke locatie op het scherm neem ik aan?

[koraks243]

Ik denk dat dat geen probleem is. Mensen hebben over het algemeen ook geen probleem met het gebruik van een touchpad, waar de locatie van je vingertop niet overeenkomt met de plek van de cursor op je scherm. Hetzelfde geldt voor de normale muis. De truc van oog-handcoordinatie is dat je hersenen je bewegingen afstemmen op wat je ogen waarnemen; daarom zijn we überhaupt in staat om te werken met gereedschappen. Denk aan het gebruik van een hamer en bijtel, het bekijken van samples onder een microscoop, enz. In al dat soort gevallen worden de bewegingen van je handen vergroot, verkleind, en/of overgebracht naar een andere plek (bij virtuele systemen).

[Reactie gewijzigd door koraks243 op 25 juli 2024 22:50]

[.oisyn]

Een touchpad is relatief, niet absoluut. Je kunt op iedere plek een vinger neerleggen en die opzij bewegen, en de muis beweegt net zoveel opzij. Het is niet dat de cursor verspringt naar de plek waar je je vinger neer hebt gelegd.

Ons brein is dan ook voornamelijk goed in relatieve bewegingen. Als je je handen los hebt van je toetsenbord is het vrij lastig om blind een toets aan te slaan. Pas als je je handen op de goede plek op het toetsenbord rust (zoals met de wijsvingers op F en J, of wat je dan ook gewend bent) weet je blind welke handeling je moet doen om de juiste toets te vinden.

Bij een interface zoals hier gepresenteerd heb je geen cursor en moet je weldegelijk direct de goede foto aanwijzen. Maar je kunt de boel natuurlijk wel gewoon configureren, zodat je gewoon naar de juiste plek op het scherm kunt wijzen. Desalniettemin, op de Wii is dat vaak ook nog best lastig, met de controller het juiste ding aanwijzen, en dan blijkt het hebben van een cursor (die je dan ook hebt) een must. Want dan wijs je eerst verkeerd, maar op het moment dat je de plek van de cursor ziet en hoe die reageert op jouw beweging kun je 'm wel naar de juiste plek dirigeren. Iets in een keer goed aanwijzen blijft echter lastig.

[Reactie gewijzigd door .oisyn op 25 juli 2024 22:50]

[Anoniem: 175233]

Een touchpad kan ook absoluut zijn. Hangt er maar net vanaf wat je gebruikt. De reden dat je op een notebook een relatief touchpad gebruikt, heeft niets met de werking van ons brein te maken, maar is simpelweg dat het ding te klein is, om 'm confortabel te gebruiken in absolute modes. De Wacom touchpads voor desktops zijnm groter, en werken wel absoluut, en dat werkt minstens net zo plezierig als relatief. Een Wii is lastig, omdat je geen referentie hebt. Een touchpad op je bureau levert je echter wél referentie, en werkt daarom uitermate plezierig.

[.oisyn]

Wacom touchpads voor desktops zijnm groter, en werken wel absoluut, en dat werkt minstens net zo plezierig als relatief.

Euh ja, weet je hoe een Wacom werkt? Als je je pen vlak boven het oppervlak plaatst dan beweegt de cursor naar die plek, maar is het nog geen klik. Oftewel, je hebt wederom feedback over waar je begint. Jij gaat echt niet met een wacom en een pen zomaar direct het juiste punt aanwijzen hoor. Dat doe je pas als je bezig bent, dan heb je een idee over waar je momenteel bent en hoe de afgelegde afstand op het tablet zich vertaalt naar de afgelegde afstand op het scherm. Zoals ik al zei, wat je nodig hebt is feedback. Je pakt een startpunt, en dat gebruik je om de beweging relatief te corrigeren. Ineens vanuit het niets het juiste punt aanwijzen kan alleen als je je eigen vinger op dat punt ziet belanden, zoals op een touchscreen.

[Reactie gewijzigd door .oisyn op 25 juli 2024 22:50]

[lamme23]

Niet om vervelend te doen, maar jullie hebben beide gelijk. Een Wacom kan zowel absoluut als relatief zijn. Een voorbeeldje staat hier. (Net onder optie 3)

Absolute Mode: The Wacom pen will act more like a real pen.
Relative mode: Makes the Wacom Pen act like a computer mouse.

Het ligt gewoon aan je instellingen. Als je een Wacom Cintiq gebruikt, is het wel zo makkelijk om hem absoluut te hebben... Voor een Intuous is relatief handiger (lijkt me).

[Fireshade]

Het is eerder een kwestie van oog-hand coordinatie.
Hoe dichter je hand bij het te manipuleren object des te beter de beheersing is.
Zou de gebruiker 'op het scherm' werken, zoals bij een touchscreen, dan is de oog-hand coordinatie zo goed, dat hij/zij in één keer iets goed kan aanwijzen.
In je voorbeeld van de Wii is dat inderdaad al lastiger: de TV staat relatief ver weg van de wiimote, en dan heb je een zichtbare cursor op het scherm nodig om je coordinatie te helpen. Dat geldt zeker ook hier met deze Kinect-toepassing. Het lijkt me zelfs nog een graad erger, want hier is er geen cursor.

[wilco14]

Wat zijn nou eigenlijk de mogelijkheden van de kinect: het uitvoeren van de recognition wordt toch in de xbox zelf gedaan en de kinect is alleen een beweegbare camera?

[killercow]

Er zit naast de normale cam ook een Lidar achtige oplossing in, die ene diepte beeld geeft.
Lidar is alleen niet te betalen voor normale toepassingen en dit wel. Met een open driver kan iedereen leuke nieuwe en innovatieve projecten doen doe niet de precisie van een echte lidar setup nodig hebben.

[Anoniem: 87819]

Het is met recht lidar-achtig, want echt lidar haal je niet (voor bv 3d reconstructie). Het is meer een soort ridge detectie in een stereo beeld.
Genoeg om contouren en verschillende objecten te onderscheiden, dat wel, en dat is genoeg voor de meeste robotica en invoertoepassingen

[Anoniem: 175233]

Onzin! Dit is wel degelijk echte lidar!

Er zit een gepulste IR lamp in, en een sensor die per pixel de tijdsduur meet van puls tot detectie. Google maar eens naar 'time-of-flight' camera. . .

[Skrichan]

Ik geloof niet dat het echt time of flight is. Als je op de pagina van PrimeSense kijkt:

http://www.primesense.com/?p=514

zie je dat ze het over "Light Coding" hebben, en een off-the-shelf CMOS sensor gebruiken. Ook een patent van hen:

http://www.google.com/patents/about?id=eTKuAAAAEBAJ

heeft het over "speckle decorrelation", een soort van structured light (hoewel ze vanwege patenten hun best doen te zeggen dat het dat niet is). Zie ook:

http://www.joystiq.com/20...-company-behind-the-tech/

[_Dune_]

Nee, er zit weldegelijk intelligentie in het device zelf. In de vorm van een system-on-a-chip, maar dat is al uitvoerig besproken in een andere nieuws posting hier op Tweakers.net.

[Reactie gewijzigd door _Dune_ op 25 juli 2024 22:50]

[roy-t]

In kinect zelf zit de processor die uitrekend waar alles is, dit wordt niet in de xbox gedaan. Maar vlakbij de webcam. Dan hoeft de 360 zich daar niet mee bezig te houden.

[zeduude]

Super!
En een goedkoop alternatief voor een multitouch screen, ook voor AR is dit een leuke tool (gesture controlled AR met een AR brilletje (av920 met de cam , is helaas nog erg prij$$ig ))

[Reactie gewijzigd door zeduude op 25 juli 2024 22:50]

[bonus]

Lijkt steeds meer op dat stuk uit Minority Report waar ze al die foto's en dingen heen en weer slepen door met je handen door de lucht te bewegen. Toen dachten we nog dass ver weg, maar het komt toch heel hard dichterbij Hoop dat ze de ontvanger ook gewoon los gaan verkopen.
Goed bezig in iedergeval de opensource community !

[Jeroen]

Volgens mij verkopen ze die ook los. In het filmpje van gisteren zei degene die libfreenect had gemaakt dat hij zelf niet over een Xbox beschikt maar hij had wel een Kinect.

[geez]

Lijkt me wel he, beetje lastig voor de mensen die al een xbox bezitten anders..

[mashell]

In Star Trek TNG lopen ze ook met van die iPad achtige apparaten. Science Fiction inspireert blijkbaar.

[Hyperik]

daar zijn ze mobieler en kleiner, eerder galaxy tab's

Gaat super verkopen joh WOW echt super cOOL die taby's, je kan er mee bellen!!!!

EffE halen voor 699 euro!!

Laptops en Desktops verbleken bij die snelheid van die Tab's en i Paddo's!!!

[Reactie gewijzigd door Hyperik op 25 juli 2024 22:50]

[sohus]

Op het moment dat science fiction iets toont is het al uitgevonden door Apple, Philips, Sony of Nokia. Ze wachten alleen nog 20 jaar zodat jij eerst nog 10 andere producten koopt voordat ze je the next best thing voorschotelen. Ze moeten iets doen om hun mensen aan het werk te houden... zie het als marketing.

[Jasper Janssen]

Uh-huh. Kun je ook maar enige minieme hoeveelheid bewijs hiervoor aanleveren?

Conpsiracy theories suck.

[Dragunov]

Dus volgens jou bestaat het holodeck van Star Trek al en kan men al gerust in de tijd reizen met een Dolorean?

[schelling]

Of zoals in de film Avatar, waar ze met één handbeweging content van het grote scherm naar hun handheld / tablet copy-pasten. Dat zag er wel zo gaaf uit!

[Anoniem: 92624]

Als het bedacht wordt, is het mogelijk. Immers basseert de bedenker zich ook op de huidige stand van de techniek. Of hij basseert zijn ideeen op mogelijke toekomstige ideeen.

[Tjeerd]

Ik denk dat de techniek toch wel al veel eerder bestond, want het was al in Minority Report te zien. Ondertussen is het zo ver gevorderd dat de handschoen niet meer nodig is

Maar goed ook dat dit ding wordt gehackt, hopelijk komt er nog een hoop leuke software voor beschikbaar en is dit ding zonder al teveel moeite in je computer te pluggen. Als het nog even zo door gaat zou ik alleen daarom al die Kinect-controller aanschaffen en mee spelen. En dan te bedenken dat dit nog maar een "eerste generatie" is, ik ben benieuwd wat de opvolgende generaties gaan brengen. Nog meer precisie, meer rekenkracht enzovoorts.

Leuk spul.

[Junky]

nu alleen nog zon leuke video muur zoals bij minority report, dat lijkt me wel wat voor op mijn kamer xD

[Anoniem: 345078]

Minority report speelt zich ook in 'de verre toekomst' af.

[Anoniem: 295700]

In films zijn het gewoon later ingemonteerde effecten! Het is wel cool dat het nu ook in het echt kan. Je zou er ook huishoudelijke apparatuur mee kunnen bedienen. Het zou bijvoorbeeld handig zijn als je je TV ermee kunt bedienen, dan is de afstandsbediening nooit zoek of toe aan nieuwe batterijen. Of wat te denken van domotica.

Zoek het filmpje 'Tokyo Breakfast' maar eens op (erg oud maar wel grappig). Die laten en passant een stereoset zien die door gebaren wordt bediend.

[Dark_man]

Hitachi heeft al een tv die door gebaren bediend kan worden.

Ik weet alleen niet of die al te koop is.

[Xthemes.us]

Sup Nigga? (Dat was een Tokyo Breakfast reference, niet een rasistische opmerking )

Die radio is inderdaad waarschijnlijk een van de eerste gesture bestuurde consumenten, heb die ooit wel eens in de radio gezien.. naast een cd-i speler. Beiden hebben het volgens mij niet bepaald bijzonder goed op de markt gedaan.

[WBT]

Geniaal; dit zijn nog eens leuke ontwikkelingen. Over een jaar is er ongetwijfeld een stabiele accurate software kit, waarmee je deze 'gadgets' nagenoeg professioneel kunt gebruiken.

[Marathir]

Mooie ontwikkeling. Dit soort interfaces ziet er erg mooi uit.
Ik vraag me alleen af in hoeverre het de huidige interfaces gaat vervangen. Een document tikken bijvoorbeeld heeft hier niet heel veel aan, en ook veel andere manieren van computergebruik niet. Ik ben benieuwd waarvoor dit werkelijk gebruikt zal worden.

[Anoniem: 80466]

Ik vraag me alleen af in hoeverre het de huidige interfaces gaat vervangen

Of gaat aanvullen.