Hoofdcategorieën
Device Settings

Kinect ingezet als multitouch-interface

Door Marc Rademaker, vrijdag 12 november 2010 10:12, views: 30.208

Nadat er een opensource-driver verscheen voor Kinect, is het Florian Pechtler gelukt om het apparaat in te zetten als multitouch-interface. Met zijn eigen UI Tisch-software demonstreert hij het oppakken, verslepen en vergroten van foto's.

De opensource-driver werd dinsdag vrijgegeven door de Spaanse hacker Héctor Martín Cantero, die daarmee een aardige geldprijs in de wacht sleepte. Florian Pechtler ging vervolgens met de drivers aan de slag en wist Kinect met zijn eigen software aan te sturen. De multitouch-software, UI Tisch, kon ook al met een Wii-controller overweg, maar kan nu dus ook in combinatie met Kinect worden gebruikt.

In een YouTube-filmpje demonstreert Pechtler het met twee handen slepen, vergroten en verkleinen van foto's. Kinect registreert de bewegingen en de software vertaalt ze naar de juiste handeling. Vlekkeloos lijkt het nog niet te werken, maar het toont wel aan wat er in korte tijd met Kinect mogelijk is.

Ondertussen portte Theo Watson libfreenect, de opensource-driver, naar Apples besturingssysteem OSX. Verder is het op dit moment enkel in de Verenigde Staten mogelijk om gebruik te maken van Kinects Voice Control, maar die beperking is vrij eenvoudig te omzeilen. Door in het Dashboard de locatie aan te passen naar de Verenigde Staten, kan er in het Engels met Kinect worden gecommuniceerd.

Hier had een filmpje kunnen staan maar je browser heeft blijkbaar geen flash-support of javascript is uitgeschakeld...

 

Volgende 10:46 Shogun 2 verschijnt op 15 maart 2011
Vorige 09:45 'Nieuwe Samsung Android-smartphone krijgt 1080p-video-opname'
Advertentie

Reacties

«  1  2  3  4  »


opensoure=opensource
feedback

( bij ieder artikel, rechtsboven )

Continu verwijzen naar de feedbackknop is nog *veel* ongewenster dan de oorzaak ervan.

Super!
En een goedkoop alternatief voor een multitouch screen, ook voor AR is dit een leuke tool (gesture controlled AR met een AR brilletje (av920 met de cam , is helaas nog erg prij$$ig ))

[Reactie gewijzigd door zeduude op vrijdag 12 november 2010 10:16]


Lijkt steeds meer op dat stuk uit Minority Report waar ze al die foto's en dingen heen en weer slepen door met je handen door de lucht te bewegen. Toen dachten we nog dass ver weg, maar het komt toch heel hard dichterbij :) Hoop dat ze de ontvanger ook gewoon los gaan verkopen.
Goed bezig in iedergeval de opensource community !

Volgens mij verkopen ze die ook los. In het filmpje van gisteren zei degene die libfreenect had gemaakt dat hij zelf niet over een Xbox beschikt maar hij had wel een Kinect.

Lijkt me wel he, beetje lastig voor de mensen die al een xbox bezitten anders.. ;)

In Star Trek TNG lopen ze ook met van die iPad achtige apparaten. Science Fiction inspireert blijkbaar.

daar zijn ze mobieler en kleiner, eerder galaxy tab's :P :P

Gaat super verkopen joh :P WOW echt super cOOL die taby's, je kan er mee bellen!!!!

EffE halen voor 699 euro!!

Laptops en Desktops verbleken bij die snelheid van die Tab's en i Paddo's!!!

[Reactie gewijzigd door Hyperik op vrijdag 12 november 2010 16:55]


Op het moment dat science fiction iets toont is het al uitgevonden door Apple, Philips, Sony of Nokia. Ze wachten alleen nog 20 jaar zodat jij eerst nog 10 andere producten koopt voordat ze je the next best thing voorschotelen. Ze moeten iets doen om hun mensen aan het werk te houden... zie het als marketing.

Uh-huh. Kun je ook maar enige minieme hoeveelheid bewijs hiervoor aanleveren?

Conpsiracy theories suck.

Dus volgens jou bestaat het holodeck van Star Trek al en kan men al gerust in de tijd reizen met een Dolorean?

Of zoals in de film Avatar, waar ze met één handbeweging content van het grote scherm naar hun handheld / tablet copy-pasten. Dat zag er wel zo gaaf uit!

Als het bedacht wordt, is het mogelijk. Immers basseert de bedenker zich ook op de huidige stand van de techniek. Of hij basseert zijn ideeen op mogelijke toekomstige ideeen.

Ziet er goed uit. We staan aan het begin van een ware evolutie van de computer UI's. Over tientallen jaren denk ik dat toetsenborden en muizen misschien niet eens meer in gebruik zijn.

Realiseer je je wel hoe vermoeiend het is om continu met je armen in de lucht te zwaaien? En hoe onhandig het is om geen tactile feedback te hebben, zoals je die met een toetsenbord en muis wel hebt? En sowieso, hoe ga je iets intypen, door het continu te roepen? Lekker irritant, wil ik liever niet naast zitten, en al helemaal onhandig op de werkplek :)

[Reactie gewijzigd door .oisyn op vrijdag 12 november 2010 10:24]


ik zeg voice recognition!!!

Of te wel stemgestuurd.

Dat kan nu al. En heeft niets met kinect te maken.

En vermoeiend is mooi. Door met je armen te zwaaien ben je in beweging. Dit is weer goed voor de gezondheid.

Nou, lijkt me meer een open uitnodiging voor 100 nieuwe RSI varianten. Het zijn namelijk niet echt natuurlijke bewegingen.

Natuurlijk zijn het wel natuurlijke bewegingen. Als je wil zeggen "ik loop naar je toe" dan wijs je naar jezelf, dan loop je een paar stappen, en dan wijs je naar de computer.

Als je een uitnodiging wil versturen, dan laat je een brief zien, gaat vervolgens staan huppelen of je "nodig" moet, en gooit dan de brief het raam "uit" . Makkie en helemaal niet onnatuurlijk. Het is dé manier van communiceren met een machine/individu waarvan je de taal niet spreekt.

Ja en ga vervolgens maar eens de persoonlijke uitnodigingen versturen voor een heel klantenbestand...

En als ik het filmpje bekijk zie ik niet heel erg natuurlijke bewegingen gedaan worden. De voorbeelden die jij geeft zijn leuk, maar om een generieke machine te bedienen zal er toch altijd teruggevallen worden op abstractere "hogere niveau" bewegingen.

Ik zeg trouwens niet dat het niet mogelijk is om een goede bewegings-interface te creeren, alleen denk ik dat je niet moet onderschatten wat dit soort repetitieve bewegingen voor invloed hebben op het functioneren van je lichaam.

Ehh, denk je dat scripts/automatisering in de toekomst verdwenen zijn?
Als je nu persoonlijke uitnodigingen wil sturen naar je hele klantenbestand heb je daar toch ook een interface voor?
Alleen ipv klikken op 'forward to all' heb je dan een gebaar ervoor. Nog makkelijker...

En repetieve bewegingen zijn iets wat naar mijns inzien al helemaal gaat verdwijnen naar mate computers meer intelligentie hebben. Repeteren kan de software wel voor je doen immers. Jij als gebruiker hoeft alleen de condities en uitzonderingen duidelijk te maken.

[Reactie gewijzigd door wumpus op vrijdag 12 november 2010 11:58]


ik denk dat zijn reactie als satirisch opgevat moet worden :+

Ja en voice recognition op kantoor werkt ook zo fijn...

Het toetsenbord zal blijven bestaan tot er een directe hersen-computer interface is die betrouwbaar werkt.

Ik zeg "Format C:", "YES", "Enter"!

[Reactie gewijzigd door latka op vrijdag 12 november 2010 11:10]


ik denk brainrecognition ;) is binnen 10 jaar wel te halen denk ik.

Jah stemgestuurd een pc aansturen is vooral ook zo lekker ideaal als je onder tussen ff een praatje hebt met een collega over een feestje van gisteravond. Die pc snapt tuurlijk nooit wat voor hem bedoelt is en wat niet.

En ik zeg Mind Control!!!

Denk ff aan Stephen Hawking :)

die doet het met zn ogen en gezicht geloof k

Plaats de camera op de grond, richtend naar de lucht. Tussen jou en de camera plaats je een spiegel/glazen plaat. Zo kun je toch je handen/armen laten rusten :)

.oisyn heeft een goed punt, daarom zie ik ook meer in Microsoft Surface (waarbij je je handen kunt laten rusten op een tafel) dan bij dat soort rechtop dingen.

Ziet er goed uit. We staan aan het begin van een ware evolutie van de computer UI's. Over tientallen jaren denk ik dat toetsenborden en muizen misschien niet eens meer in gebruik zijn.
Muizen misschien niet maar het toetsenbord? Iets als Kinect lijkt me toch niet lekker om mee te typen.

Dit soort dingen worden natuurlijk wel al heel lang (niet :) ) gebruikt. Bij de meeste user-studies komt er toch uit dat een standaard muis makkelijker, nauwkeuriger en sneller werkt. AR/VR begint nu een beetje in te komen bij het grote publiek en daarom zie je steeds meer van dit soort dingen, maar vroeger werd dit ook al veel onderzocht, alleen niet naar de consument gebracht.

Het blijkt anders dat een kind met autisme veel intuitiever kan werken met de Kinect interface dan met andere controlers.

http://www.gamingnexus.co...-a-console/Item20369.aspx

Het voordeel van de Kinect is dus dat het een controler is die vrijwel geen oefening of ervaring vereist maar waarvan het gebruikt direct en simpel begrepen wordt.

Een iemand z'n kind met autisme weet hoe je het moet gebruiken, en dan werkt het meteen veel intuitiever? Ten eerste, dat is slechts een kind. Ten tweede, het merendeel van de computergebruikers bestaat niet uit autistische kinderen. De studies waar ik het over heb gaan daar dan ook niet over. Volgens mij snappen de meeste mensen ook direct hoe een muis werkt. Als je dit beweegt, beweegt het pijltje mee.

Het enige voordeel van dit soort dingen is dat je geen controller nodig hebt, en het dus ook in omgevingen/situaties te gebruiken is waar een controller niet voorhanden is of erg moeilijk te gebruiken is. Rondlopen in een VR omgeving met een HMD bijvoorbeeld.

[Reactie gewijzigd door Zoijar op vrijdag 12 november 2010 12:46]


Nee, muizen werken totaal niet natuurlijk. Dat je een ding beweegt en dat er iets anders dan gaat bewegen op een daaraan gekoppelde manier en dat dat dan wat betekent is veel minder natuurlijk dan alle mogelijke vormen van (multi)touch.

Lijkt me toch niet erg gebruiksvriendelijk door een gebrek aan hand/oog coordinatie, je handen zullen nooit echt overeen komen met de fysieke locatie op het scherm neem ik aan?

Ik denk dat dat geen probleem is. Mensen hebben over het algemeen ook geen probleem met het gebruik van een touchpad, waar de locatie van je vingertop niet overeenkomt met de plek van de cursor op je scherm. Hetzelfde geldt voor de normale muis. De truc van oog-handcoordinatie is dat je hersenen je bewegingen afstemmen op wat je ogen waarnemen; daarom zijn we überhaupt in staat om te werken met gereedschappen. Denk aan het gebruik van een hamer en bijtel, het bekijken van samples onder een microscoop, enz. In al dat soort gevallen worden de bewegingen van je handen vergroot, verkleind, en/of overgebracht naar een andere plek (bij virtuele systemen).

[Reactie gewijzigd door koraks243 op vrijdag 12 november 2010 10:22]


Een touchpad is relatief, niet absoluut. Je kunt op iedere plek een vinger neerleggen en die opzij bewegen, en de muis beweegt net zoveel opzij. Het is niet dat de cursor verspringt naar de plek waar je je vinger neer hebt gelegd.

Ons brein is dan ook voornamelijk goed in relatieve bewegingen. Als je je handen los hebt van je toetsenbord is het vrij lastig om blind een toets aan te slaan. Pas als je je handen op de goede plek op het toetsenbord rust (zoals met de wijsvingers op F en J, of wat je dan ook gewend bent) weet je blind welke handeling je moet doen om de juiste toets te vinden.

Bij een interface zoals hier gepresenteerd heb je geen cursor en moet je weldegelijk direct de goede foto aanwijzen. Maar je kunt de boel natuurlijk wel gewoon configureren, zodat je gewoon naar de juiste plek op het scherm kunt wijzen. Desalniettemin, op de Wii is dat vaak ook nog best lastig, met de controller het juiste ding aanwijzen, en dan blijkt het hebben van een cursor (die je dan ook hebt) een must. Want dan wijs je eerst verkeerd, maar op het moment dat je de plek van de cursor ziet en hoe die reageert op jouw beweging kun je 'm wel naar de juiste plek dirigeren. Iets in een keer goed aanwijzen blijft echter lastig.

[Reactie gewijzigd door .oisyn op vrijdag 12 november 2010 10:32]


Een touchpad kan ook absoluut zijn. Hangt er maar net vanaf wat je gebruikt. De reden dat je op een notebook een relatief touchpad gebruikt, heeft niets met de werking van ons brein te maken, maar is simpelweg dat het ding te klein is, om 'm confortabel te gebruiken in absolute modes. De Wacom touchpads voor desktops zijnm groter, en werken wel absoluut, en dat werkt minstens net zo plezierig als relatief. Een Wii is lastig, omdat je geen referentie hebt. Een touchpad op je bureau levert je echter wél referentie, en werkt daarom uitermate plezierig.

Wacom touchpads voor desktops zijnm groter, en werken wel absoluut, en dat werkt minstens net zo plezierig als relatief.
Euh ja, weet je hoe een Wacom werkt? Als je je pen vlak boven het oppervlak plaatst dan beweegt de cursor naar die plek, maar is het nog geen klik. Oftewel, je hebt wederom feedback over waar je begint. Jij gaat echt niet met een wacom en een pen zomaar direct het juiste punt aanwijzen hoor. Dat doe je pas als je bezig bent, dan heb je een idee over waar je momenteel bent en hoe de afgelegde afstand op het tablet zich vertaalt naar de afgelegde afstand op het scherm. Zoals ik al zei, wat je nodig hebt is feedback. Je pakt een startpunt, en dat gebruik je om de beweging relatief te corrigeren. Ineens vanuit het niets het juiste punt aanwijzen kan alleen als je je eigen vinger op dat punt ziet belanden, zoals op een touchscreen.

[Reactie gewijzigd door .oisyn op vrijdag 12 november 2010 19:10]


Niet om vervelend te doen, maar jullie hebben beide gelijk. Een Wacom kan zowel absoluut als relatief zijn. Een voorbeeldje staat hier. (Net onder optie 3)
Absolute Mode: The Wacom pen will act more like a real pen.
Relative mode: Makes the Wacom Pen act like a computer mouse.
Het ligt gewoon aan je instellingen. Als je een Wacom Cintiq gebruikt, is het wel zo makkelijk om hem absoluut te hebben... Voor een Intuous is relatief handiger (lijkt me).

Het is eerder een kwestie van oog-hand coordinatie.
Hoe dichter je hand bij het te manipuleren object des te beter de beheersing is.
Zou de gebruiker 'op het scherm' werken, zoals bij een touchscreen, dan is de oog-hand coordinatie zo goed, dat hij/zij in één keer iets goed kan aanwijzen.
In je voorbeeld van de Wii is dat inderdaad al lastiger: de TV staat relatief ver weg van de wiimote, en dan heb je een zichtbare cursor op het scherm nodig om je coordinatie te helpen. Dat geldt zeker ook hier met deze Kinect-toepassing. Het lijkt me zelfs nog een graad erger, want hier is er geen cursor.

geweldig! zeker omdat microsoft beweerde dat t niet mogelijk was...

Bron?

waarom moeten mensen toch altijd gelijk een bron hebben, google is je vriend.

Het is heel logisch dat microsoft zoiets heeft gezegd omdat zij niet willen dan kinect voor iets anders dan een xbox wordt gebruikt.

en al helemaal niet op linux :+ want dat is toch hun vijand...

Het belangrijkste onderdeel van Kinect wordt natuurlijk ook softwarematig geregeld en dat zien we voorlopig nog niemand na doen. Dit zijn natuurlijk allemaal projectjes die totaal niet te vergelijken zijn met een normale situatie. Bijv wat gebeurd er wanneer iemand ander die persoon gaat staan met zwaaiende armen?

Wat ik wil zeggen is dat je zulke opmerkingen eigenlijk nog niet kan maken. Zoiets kan je imo pas als geweldig bestempelen wanneer de eerste "dance dance revolution" game uitkomt voor Linux :P (zal vast nog wel gebeuren)

Begrijp me niet verkeerd, dit is natuurlijk best een prestatie (ik doe het sowieso niet na) maar nog niet wereldschokkend :P

[Reactie gewijzigd door Mellow Jack op vrijdag 12 november 2010 13:38]


hier op tweakers stond dat geloof ik ;)

Microsoft had het verkeerd begrepen volgens mij dat er alleen aan een open source driver werd gewerkt. Ze claimden dat het moeilijk was om te 'tamperen' met het apparaat, dus de firmware of werking aanpassen om een voordeel te krijgen in spellen bv. Dat is ook nog niet gebeurt en ook niet het doel van deze zeer creatieve mensen :)

[Reactie gewijzigd door wumpus op vrijdag 12 november 2010 12:01]


Hand detection is wel mogelijk maar finger detection niet kijk zelf meer de video van hoe kinect werkt met al die IR stippen de afstand tussen die stippen zijn gewoon te groot om vingers te tracken.

Geniaal; dit zijn nog eens leuke ontwikkelingen. Over een jaar is er ongetwijfeld een stabiele accurate software kit, waarmee je deze 'gadgets' nagenoeg professioneel kunt gebruiken.

oops , bedankt he

Ontopic: dit gaat wel erg rap

@WBT dit duurt echt geen jaar meer

Ik denk hoogstens 2 maand

Wat zijn nou eigenlijk de mogelijkheden van de kinect: het uitvoeren van de recognition wordt toch in de xbox zelf gedaan en de kinect is alleen een beweegbare camera?

Er zit naast de normale cam ook een Lidar achtige oplossing in, die ene diepte beeld geeft.
Lidar is alleen niet te betalen voor normale toepassingen en dit wel. Met een open driver kan iedereen leuke nieuwe en innovatieve projecten doen doe niet de precisie van een echte lidar setup nodig hebben.

Het is met recht lidar-achtig, want echt lidar haal je niet (voor bv 3d reconstructie). Het is meer een soort ridge detectie in een stereo beeld.
Genoeg om contouren en verschillende objecten te onderscheiden, dat wel, en dat is genoeg voor de meeste robotica en invoertoepassingen :)

Onzin! Dit is wel degelijk echte lidar!

Er zit een gepulste IR lamp in, en een sensor die per pixel de tijdsduur meet van puls tot detectie. Google maar eens naar 'time-of-flight' camera. . .

Ik geloof niet dat het echt time of flight is. Als je op de pagina van PrimeSense kijkt:

http://www.primesense.com/?p=514

zie je dat ze het over "Light Coding" hebben, en een off-the-shelf CMOS sensor gebruiken. Ook een patent van hen:

http://www.google.com/patents/about?id=eTKuAAAAEBAJ

heeft het over "speckle decorrelation", een soort van structured light (hoewel ze vanwege patenten hun best doen te zeggen dat het dat niet is). Zie ook:

http://www.joystiq.com/20...-company-behind-the-tech/

Nee, er zit weldegelijk intelligentie in het device zelf. In de vorm van een system-on-a-chip, maar dat is al uitvoerig besproken in een andere nieuws posting hier op Tweakers.net.

[Reactie gewijzigd door _Dune_ op vrijdag 12 november 2010 10:59]


In kinect zelf zit de processor die uitrekend waar alles is, dit wordt niet in de xbox gedaan. Maar vlakbij de webcam. Dan hoeft de 360 zich daar niet mee bezig te houden.

Mooie ontwikkeling. Dit soort interfaces ziet er erg mooi uit.
Ik vraag me alleen af in hoeverre het de huidige interfaces gaat vervangen. Een document tikken bijvoorbeeld heeft hier niet heel veel aan, en ook veel andere manieren van computergebruik niet. Ik ben benieuwd waarvoor dit werkelijk gebruikt zal worden.

Ik vraag me alleen af in hoeverre het de huidige interfaces gaat vervangen
Of gaat aanvullen.

Ik wil DJ-controller software!
Dan is Kinect opeens een hele aantrekkelijke optie in plaats van een "normale" midi-controller.
«  1  2  3  4  »

Op dit item kan niet meer gereageerd worden.

Volgende 10:46 Shogun 2 verschijnt op 15 maart 2011
Vorige 09:45 'Nieuwe Samsung Android-smartphone krijgt 1080p-video-opname'
VNU Media logo Hosted by True

© 1998 - 2012 Tweakers.net B.V. - Alle rechten voorbehouden - Contact - Jouw privacy - Algemene Voorwaarden

Uitgever van:

Website van het jaar 2011