Multi-touchsysteem op basis van Wiimote gedemonstreerd

Met behulp van een camera, een Wiimote en Microsofts WPF heeft Cynergy Labs een futuristische computerinterface gebouwd. Het bedrijf brengt de interfacetechnologie die in de film Minority Report te zien was, een flinke stap dichterbij.

Voortbordurend op het concept dat Johnny Chung Lee onlangs presenteerde, bouwde Cynergy Labs in acht dagen Project Maestro. De interface doet sterk denken aan die uit Minority Report: met infraroodhandschoenen zijn objecten in een driedimensionale ruimte te manipuleren. Maestro biedt geen head-tracking zoals het project van Lee, maar vertoont sterke gelijkenis met Microsofts multi-touch interface Surface.

Project Maestro bestaat uit een Wiimote, die dienst doet als camera, en twee handschoenen met infraroodleds. De Wiimote leest de positie van de leds in de handschoenen uit en geeft de gegevens met behulp van een speciale api aan de computer door. De Windows Presentation Foundation van Microsoft verzorgt vervolgens de 'Surface-ervaring'. Het geheel levert een computerinterface op waarbij de gebruiker met hand- en vingerbewegingen elementen op het beeldscherm kan bedienen. Met de huidige software kunnen foto's verplaatst, vergroot en verkleind worden, maar Cynergy Labs werkt aan uitbreiding van de mogelijkheden.

Reacties (34)

[harley]

Johny chung had dit inderdaad ook al alleen dan in simpele basisvorm.

Wat ik alleen niet snap is waarom telkens een wii remote gebruikt wordt ? Heel leuke reclame voor het ding (heb hem zelf ook)

Maar iedere digitale camera kan infrarood zien en de meest simpele webcam zou dit volgens mij dus ook moeten kunnen. Sterker nog voor een paar rotcenten heb je dus direct een hogere resolutie en dus meer accuraatheid.

[TD-er]

Sterker nog voor een paar rotcenten heb je dus direct een hogere resolutie en dus meer accuraatheid.

Dat denk ik niet. De Wii-mote heeft een camera van 1024x786 pixels en is alleen maar gevoelig voor IR. Een gewone webcam is veel minder gevoelig voor IR, tenzij je het IR-filter eruit haalt en een stukje van een oude negatieven-strip erin zet en webcams met die resolutie zijn best wel prijzig.
Daarnaast levert de Wiimote de coordinaten van max. 4 ir-stippen, oftewel dat scheelt enorm veel rekenwerk op je PC en de Wiimote doet dat ook nog eens een stukje vaker dan de refreshrate van menig webcam.

Verder hoef je niet met kabels te klooien, want het gaat draadloos.

[Verwijderd]

De WiiMote kan niet dingen als drie assen registreren, het is namelijk gewoon een 2D camera met 1 CCD.

Dat de WiiMote erg geschikt is voor deze dingen (meer dan een standaard webcam) is vanwege de signal processing die op de chip van de camera gebeurt.
De IR camera heeft een 128 x 96 pixel CCD en een refresh rate van 200 Hz. Het beeld wordt geïnterpoleerd om tot een resolutie van 1024 x 768 te komen. Het grootste voordeel van de WiiMote is dat de data die de camera uitstuurt alleen de coördinaten en grootes van de geregistreerde IR punten zijn, tot maximaal 4 stuks. Dit scheelt een berg aan data die je moet overzenden (zou anders waarschijnlijk niet eens lukken met BT) en een berg aan rekenwerk aan de ontvangende kant.

[Verwijderd]

probleem zit hem daarna meer in de rendering: de wii-mote heeft namelijk de mogelijkheid om alle 3 de assen te registreren en een webcam of andere camera maar 2, hierdoor is het dus makkelijker om de wii-mote te kanibaliseren om het te kunnen laten zien, i.p.v. meteen een eigen versie te gaan bouwen

[Skinkie]

Onzin, die vier assen kunnen alleen geregistreerd worden door de aangeboden input data. Niet omdat de WiiMote een suprieur algoritme gebruikt

Overigens met een gewone webcam: http://www.free-track.net/english/

[Reactie gewijzigd door Skinkie op 23 juli 2024 02:41]

[ejtje]

Sinds wanneer eet een Wii-mote een Wii-mote dan?

[Verwijderd]

Een Wii-mote is relatief goedkoop voor de techniek die erin zit.
Verder is de 1024x768 IR camera met (multiple) blob tracking icm standaard bluetooth connectiviteit natuurlijk ideaal.

[svenk91]

had johny chung lee dit niet al zelf ook gemaakt?

edit: zijn site ligt eruit: http://www.cs.cmu.edu/~johnny/projects/wii/ maar daar is het wel te vinden als die het al gemaakt heeft.

edit2: youtube links gevonden: http://www.youtube.com/watch?v=5s5EvhHy7eQ hiermee kan die het al met ir pennen.
en hier: http://www.youtube.com/watch?v=0awjPUkBXOU heeft die al software om vingers te volgen.

[Reactie gewijzigd door svenk91 op 23 juli 2024 02:41]

[murky123]

tjonge jonge kunnen we niet lezen ofzo.. het staat toch zeer duidelijk vermeld in het artikel dat meneer Lee dit concept onlangs presenteerde

[Eriksk]

Nog een reden om de Wiimote te gebruiken is dat er al een api voor bestaat in .NET. Anders was het ze nooit gelukt om in 8 dagen zoiets in elkaar te zetten...

[heyajohnny]

Je ziet deze berichten nu nadat de Wii gelanceerd is, maar ik neem aan dat deze technelogie toch al best een tijdje bestaat.

Nu is het echt zo'n hype onder de wetenschappers e.d. Kijk eens wat ik met mijn Wii heb gedaan

[TD-er]

maar ik neem aan dat deze technelogie toch al best een tijdje bestaat.

Die 3D-simulatie met head-tracking die Johnny Chung laatst had laten zien bestaat al jaren, maar was tot op heden onbetaalbaar.
De 3D-cave die de RuG heeft gebouwd werkt op die manier, alleen dan met een aantal projectie-vlakken en wat beamers om je heen.
Dit multi-finger-tracking systeem bestaat ook al jaren.... op papier, maar was vrijwel onbruikbaar doordat het niet snel genoeg (of betaalbaar) geïmplementeerd kon worden.

[Tjeerd]

Ik zie commentaar dat het maar maximaal vier punten kan volgen. De volgende stap lijkt me dus logisch: wie gaat er meerdere WII-remotes bundelen (lees: clusteren van meerdere WII-remotes)?

Benieuwd hoe lang het duurt voordat er iemand is die dat project aan durft.

[Reactie gewijzigd door Tjeerd op 23 juli 2024 02:41]

[Crysania]

ik denk dat dit niet zo simpel gaat aangezien de verschillende wiimotes dan dubbele punten gaan zien.

als je bijvoorbeeld 8 punten hebt. hoe regel je dan dat de ene wiimote de ene 4 pakt en de andere de andere? juist ja niet dus

[Tjeerd]

Voor zover ik weet kijkt de WII-remote in hoeverre het infrarode licht weer terugkaatst (bij het project van die Lee-figuur in ieder geval). Wat je zou kunnen doen misschien is de frequentie (infrarood) waarop momenteel vier punten worden gelezen een beetje opschuiven (x Hz.) zodat je een iets breder spectrum krijgt waar je punten van kunt opvangen/uitlezen. Hangt er vanaf of het mogelijk is om binnen het infrarode spectrum dat nog te kunnen meten met die sensoren die in de Wii-Remote zitten.

Maar ik heb geen idee of dat technisch te doen is met de Wii, maar het is natuurlijk te verwachten dat het probleem van meer punten uitlezen er aan zit te komen en zal worden opgelost.

[Reactie gewijzigd door Tjeerd op 23 juli 2024 02:41]

[Adion]

Je zou 2 wiimotes aan elkaar kunnen kleven zodat de ene enkel de linkerkant ziet en de andere de rechterkant, dan kan je inderdaad nog niet gelijk waar 8 punten tracken, maar misschien is het voor sommige toepassingen wel bruikbaar.

[hiostu]

Ik snap niet waarom dit soort bedrijven de Wiimote gebruiken hiervoor... Maak dan gewoon gebruik van een simpel infrarood cameraatje, wat eigenlijk gewoon het zelfde is als de camera in de wiimote.

Volgens mij is het alleen maar omdat er al een DLL beschikbaar is om dit te gebruiken in .NET en omdat de Wii zo populair is...

[Verwijderd]

IR cam is leuk, maar geintegereerde blob tracking is ook een must.

[mashell]

Volgens mij is het alleen maar omdat er al een DLL beschikbaar is om dit te gebruiken in .NET en omdat de Wii zo populair is...

Als dat zo is, is dat dan niet een heel goede reden om een wiimote te gebruiken? Goedkoop, gemakkelijk te krijgen, goed geschikt en gemakkelijk integreerbaar.

[ejtje]

Maar flink verbaal hakken op een Wii-mote is voor sommige mensen belangrijk....waarom zou je toch een goed werkend product gebruiken

[VisionMaster]

De Wii-mote is ook nog eens erg goedkoop, ga maar eens uit tellen wat het zou kosten om ook ziets zelf in elkaar te knutselen, plus de tijd om het te maken en te ontwerpen. Dit ding is al kant en klaar en overal te koop.

[Lordsauron]

ik vond de interface in het filmpje niet super soepel lopen, maar het is een stap in de goede richting, ik zou graag de head tracking er nog bij willen zin om de stapel foto's wat realistischer te maken, en natuurlijk een half rond 5meter breed scherm ;p

[TD-er]

De Wiimote kan maar 4 punten volgen. Dus dan verlies je wel wat aan bedieningsgemak.
Je hebt dan namelijk maar 1 punt per hand en 2 punten op je hoofd.
Edit:
Nu ik er even over nadenk is de bediening dan nog lastiger, omdat de positie van je foto's ook steeds veranderd als je je hoofd even verplaatst.
Bij een echte omgeving is dat geen probleem, maar in dit geval gaat dat zeker problemen geven.

[Reactie gewijzigd door TD-er op 23 juli 2024 02:41]

[Dark Angel 58]

je hebt gelijk dat het niet zo spoepel liep, maar het gaat om idee... hij heeft als eerste een eerste stap gezet, de andere bedrijven (zijn bedrijf ook zeker denk ik) gaan zijn idee gebruiken en het verder ontwikkelen... zodat het produkt nog veel beter doet.

bijv TV zappen zonder afstandsbediening...
EDIT: nog 1 andere voorbeeld, denk maar aan een Star Wars Game dat je als een Jedi kan spelen, en dat je een force kan gebruiken... heel erg cooooool!

[Reactie gewijzigd door Dark Angel 58 op 23 juli 2024 02:41]

[jeroenathome]

Ik zie een toepassing voor schaakspellen. Je kan nu ook virtueel de speelstukken van het bord slaan.

[Verwijderd]

Zou wel leuk zijn op het werk.
Zeker om text te kunnen typen zonder keyboard, perfect tegen RSI.
Als het toch op 4 assen werkt dan is "mijn droomkeyboard" toch mogelijk, niet?

[N0stradamus]

Ik druk op play en krijg "We are sorry this video is no longer available."