'Besturingssysteem' uit Minority Report gedemonstreerd

Het door gebaren bediende besturingssysteem dat in de film Minority Report te zien was, heeft navolging in de echte wereld gekregen. Het 'os', g-speak genaamd, werd door het bedrijf Oblong ontwikkeld.

Een van de technisch adviseurs van Spielbergs film Minority Report, John Underkoffler, is hoofdonderzoeker bij het bedrijf Oblong Industries. De scenes van het computersysteem in de verfilming van Philip K. Dicks boek waren geïnspireerd op Underkofflers onderzoek bij het Media Lab van de MIT, zo laat Oblong weten. Het concept van het g-speak-os werd in de jaren negentig ontwikkeld en maakt gebruik van gebarenherkenning in een driedimensionale ruimte.

Oblong noemt g-speak een spatial operating environment, of soe, aangezien de software zich 'bewust' is van de ruimte waarin het gebruikt wordt en de gebaren van de gebruiker. G-speak is een combinatie van een gebareninterface en een multitouch-omgeving zoals Microsofts Surface. De software is ontwikkeld om met grote hoeveelheden data en meerdere grote displays om te gaan. De gebaren worden door handschoenen aan de computer doorgegeven, waarbij Oblong een resolutie van 0,1mm of één pixel claimt. De benodigde rekenkracht kan door een netwerk van computers geleverd worden, zodat het systeem, afhankelijk van de hoeveelheid data of het aantal gebruikers, schaalbaar is. Oblong zegt een sdk voor Mac OS X en Linux beschikbaar te hebben, maar biedt de software niet als download aan.

Video (moogaloop.swf?clip_id=2229299&server=vimeo.com&show_title=1&show_byline=1&show_portrait=0&color=&fullscreen=1)g-speak overview 1828121108 door John Underkoffler.

Reacties (105)

Hoeveel mensen dit ook proberen te 'vereenvoudigen' door te zeggen dat dit geen toepassing zal hebben in RL, dit is de toekomst.

zoals hierboven vermeld kan dit zeer goed gebruikt worden voor concept art en presentaties maar de toepassingen kunnen veeel verder gaan...

Voorbeeld: In volvo gent hebben ze een (soortgelijke) technologie staan waar men een auto inlaad in 3D and deze interactief is met de bewegingen van de persoon in kwestie.
Door de handen van elkaar weg te bewegen valt de projectie van de auto uit elkaar en laat zo alle onderdelen los van elkaar zien. Ze kunnen bepaalde delen selecteren en met gebaren de afmeting, dikte, etc bepalen van het model. In volvo word dit echter met een 3Dprojector gedaan maar ik kan mij voorstellen dat eenmaal de software optimaal is, dit systeem wel iets goedkoper zal zijn.

Zeker met het bijvoegen van een deftig Voice Recognition Software kan dit zeer uitgebreid toegepast worden. Dan zouden de gebaren enkel in 'actieve' toepassingen nodig zijn.
Internet Explorer zou dan met de stem te bedienen zijn, textinvoer met stem, etc...
Dit zou dan de 'rugklachten' van het voortdurend gebaren maken moeten beperken.

Games zouden dan veeel vlotter te besturen zijn. FPS waar je een echt herlaad gebaar moet maken, sneller selecteren van troepen in RTS, etc.

Hoop echt dat ze dit verder ontwikkelen en nog sneller commercieel uitbrengen.
Dit zou pas innovatie betekenen..

Er bestaat wel al zo'n soort handschoen.
http://carl.kenner.googlepages.com/glovepie_p5
Voor plaatjes erbij kan je wel googlen
Maar ik denk niet dat dat apparaat even gaaf is als dit. Wel goedkoper.
Ik weet niet of jij die technologie van dit artikel ooit zou kunnen betalen.

Interessant, leuk filmpje. Vind het soms wel moeilijk om de link te zien tussen het handgebaar en de bijbehorende reactie op het scherm.

Waar ik meer benieuwd naar ben: heeft dit nou voor een groot publiek werkelijk nut? Ik bedoel, denk even aan wat je normaal met een computer doet - en denk je dat dat met deze techniek veel beter kan?.

Ik kan mij wel voorstellen dat dit wat RSI-klachten zou kunnen verhelpen: de wijzer verplaatsen door naar het scherm te wijzen i.p.v. een muis te bewegen. Aan de andere kant krijg je na een intensieve dag naar het scherm wijzen alsnog schouderklachten...

Ik ben het wel gedeeltelijk eens met je.

Alles wat je hier ziet zou je in principe ook kunnen doen met een muis en toetsenbord. Eigenlijk zijn gebaren gewoon een bepaald commando en daar zou je wel veel winst mee kunnen boeken. Als gebaren zeer precies geïnterpreteerd kunnen worden, dan kan het veel natuurlijker en sneller werken dan standaard muis klikken en toetsen-combo's.

Ik denk dat dit in het begin voornamelijk leuk/interessant is voor musea, waar je op een simpele manier mensen interactief wil laten meedoen aan iets.

Daarnaast is dit natuurlijk erg tof om in je huiskamer te hebben. Het ziet er in ieder geval erg mooi en indrukwekkend uit.

Waar ik meer benieuwd naar ben: heeft dit nou voor een groot publiek werkelijk nut?

Denk maar aan de film Minority Report: dit heeft voor het grote publiek (bijna-slaven in een dystopia) geen nut. Alleen maar voor de regering/justitie/orgaan dat de massa bedient/controleert.

[Reactie gewijzigd door The Zep Man op 16 november 2008 14:45]

Dat dacht men in de vroege jaren van de PC ook, kijk wat het resultaat is.

het ziet er leuk uit, maar niet direct voor het grote publiek
de techniek die MS in Windows7 steekt en de besturing van de iPhone lijkt mij veel interessanter omdat dingen aanraken gewoon een natuurlijke beweging is die zeer intuitief zijn
gebaren in de lucht maken, zal toch weer een leercurve geven en projectie is weer indirecter
een scherm ingebouwd in de tafel lijkt veel handiger

Publiekelijk nut? Lijkt me perfect voor CNN over 4 jaar

Nu nog een Spaceship bouwen en we kunnen het gehele ship besturen, is dat in ieder geval geregeld

[Reactie gewijzigd door Mutatie op 16 november 2008 18:37]

Heel mooi. Ik denk echter dat de toepassingen vooral 'beperkt' blijven tot interactieve presentatie. Al lange tijd heb ik gefantaseerd over bijvoorbeeld de mogelijkheden die er zijn met educatie met behulp van hologrammen, en daarvoor is dit natuurlijk een ideale manier van het gebruiken van de ruimtelijke interface.

Om een koppeling naar het dagelijks leven te geven: middelbare school lessen biologie, natuurkunde of scheikunde. Veel van deze onderwerpen begrijpen komt neer op een visualisatie van een ruimtelijk proces of hoe dingen daadwerkelijk in elkaar steken. Nou ontstaat er vaak verwarring over bepaalde problemen omdat het voor leerlingen onduidelijk is wat er precies gebeurt.

Stel je nu voor; een hologram van een molecuul (in het kader van scheikunde of biologie) wat volledig interactief is. De docent kan voor de ogen van de leerlingen dus een realistisch 3D beeld laten zien van de dingen die hij wil vertellen en kan op alle manieren dingen uit elkaar halen en alles daadwerkelijk laten zien, in plaats van proberen te vertellen hoe die dingen werken. En een g-speak systeem zou hierbij de perfecte manier interface kunnen zijn. Je zal met een hologram namelijk toch in 3D moeten navigeren, en ideaal is natuurlijk met handgebaren rond het hologram.

Leuk, al die techneuten die hier niets in zien...zegt erg veel over hoe men over computers nadenkt en het vermogen om hier op een hoger nivo na te denken. Alsof keyboard en muis een natuurlijke manier is om te communiceren.
Dit is een concept, men is ermee bezig. Uiteraard zijn er toepassingen te bedenken die precies werken zoals in het filmpje getoond wordt, maar je kunt ook verder denken. Nu heb je nog een handschoen nodig om de bewegingen over te brengen. Dat moet anders. Als de computer zó onze handbewegingen kan zien dmv sensoren of wat dan ook, zonder dat we speciale handschoenen aan hebben, lijkt het me erg nuttig worden. Gecombineerd met een spraak interface, en dan een die écht slim is en goed werkt.

Als een computer gebaren kan herkennen en interpreteren, wordt het makkelijker om met die rotdingen te communiceren. Je kunt wijzen, dingen verplaatsen, zonder steeds zo'n ongeloofelijk onhandige muis ter hand te nemen. En natuurlijk is een beetje Word en Excel nou niet de meest aangewezen toepassing voor dit soort interfaces, maar ik kan me heel goed voorstellen dat ontwerpers en gebruikers van grafische software heel blij zouden zijn met deze interface. Niet zozeer om hele fijne tekeningetjes te maken (daar zijn pennen toch veel preciezer voor) maar in de fase van conceptueel ontwerp of het beoordelen van ontwerpen. Ook zie ik hier toepassingen voor controlecentra van fabrieken of datacenters. Grote hoeveelheden gegevens tegelijk of giga schermen en je moet steeds weer naar een knopje zoeken om iets te doen. Heel erg onhandig.

Nu heb je nog een handschoen nodig om de bewegingen over te brengen. Dat moet anders. Als de computer zó onze handbewegingen kan zien dmv sensoren of wat dan ook, zonder dat we speciale handschoenen aan hebben, lijkt het me erg nuttig worden. Gecombineerd met een spraak interface, en dan een die écht slim is en goed werkt.

Dat is natuurlijk een heel belangrijk punt. Ik denk dat dit precies de reden is dat veel mensen er nu nog niets in zien, omdat je steeds die handschoentjes aan moet doen. Als ze inderdaad gewoon je handen gebruiken scheelt dat al aanzienlijk.

Dit systeem zou volgens mij heel erg geschikt kunnen zijn voor medische toepassingen, bv. in combinatie met een operatie robot, of meerdere robotten die via een team van chirurgen met van die interactie handschoenen aan gestuurd kunnen worden.

Misschien zelfs wel toepassingen mogelijk in de ruimtevaart, met robotvliegtuigen, of bij werkzaamheden onderwater..

Supercool.

Het voordeel van dit systeem boven muisgestuurd is mijns inziens bij projecties op zeer grote beeldschermen (beeldschermen die zelfs je perifere zicht vullen).
Het stuurt volgens mij makkelijker en intuïtiever omdat je door een groot scherm toch al de beleving hebt onderdeel te zijn van wat je ziet.
Zou je een traditionele muis over zo een groot beeldscherm moeten bewegen dan werk het minder makkelijk.

Die handschoenen zijn de logische stap na de Wii-mode lijkt mij.

[Reactie gewijzigd door Neurotica op 16 november 2008 17:09]

ik denk niet dat het voor chirurgen geschikt is. dit ding lijkt me vooralsnog veel te onnauwkeurig.

Supergaaf. Ik denk wel dat je redelijk misselijk gaat worden als je dit lang achter elkaar gebruikt.

Ik vraag me ook serieus af of we zo'n omgeving ooit als gemeengoed zullen krijgen. Je geeft zelf al aan dat je er 'misselijk' van kunt worden, maar ik zou het nog iets breder willen trekken: dit soort omgevingen zorgen ervoor dat ik als gebruiker ook erg intensief met het OS bezig moet zijn, aangezien alle data in een 3d wereld wordt gepresenteerd, die ik zelf moet interpreteren. Ik weet niet of mensen in een 3d OS net zo makkelijk hun spullen kunnen vinden als in de huidige 2d omgevingen. Denk bijvoorbeeld aan paden die 3d worden. Evolutionair gezien hebben vrouwen minder gevoel voor ruimte, ruimtelijk inzicht en routes. Ik weet zelfs niet eens zeker of ik het wel zo goed kan; het is veel moeilijker om een helikopter view van je totale systeem te krijgen in 3d dan in 2d.

dit huidige concept is dan nogal gericht op hoe het hele 'gebruiksconcept' van een '2d desktop-omgeving' nu functioneert.. waarbij men een beperkt ruime voor 'display-scherm' met een duidelijk begrenzde viewbox gebruikt en één pointer device....


ik denk dat je dit nieuwe concept gewoon meer zien als een 'speelruimte' waarin men complete andere besturingsideeen kan toepassen, maar ook de omgeving geschikt kan maken voor toepassingen die duidelijk de natuurlijke viewbox 'verlaten'...

op basis van deze initiele concepten kan men voor specifieke toepassingen hele nieuwe gebruiksconcepten bedenken en uitwerken...
Mogelijk eerst in game-toepassingen, misschien in de entertainment-sector of juist bij voordrachten/presenaties , of gecombineerd met nieuwe specifiek ontwikkelde hardware

Niet dat echt daadwerkelijk dit OS een 'productieve uitgave' is met een breed publiek doel als 'generiek OS of als direkte vervanger van de bestaande desktop-OSen ... Het s eder 'spielerij' me jist als doel verdere ontwikkeling van nieuwe gebruiksconcepten 'buiten de bestaande vormen van besturing'.

[Reactie gewijzigd door RM-rf op 16 november 2008 16:27]

Dit soort interfaces zijn eigenlijk ook niet zo bedoeld voor algemeen gebruik, maar voor specifieke toepassingen, namelijk applicaties die veel bandbreedte nodig hebben en een hoge interactiviteit met de gebruiker vereisen.

Ik meen me te herinneren dat een prototype van dit systeem gebruikt is om na 9/11 enorme bergen video materiaal te analiseren, iets waarvoor de interface van dit systeem zich uitstekend leent.

Voor het bewerken van een Word documentje lijkt deze interface me inderdaad minder geschikt

[Reactie gewijzigd door froggie op 16 november 2008 20:35]

Ik denk dus NIET dat zo'n omgeving gemeengoed zal worden en ik zal uitleggen waarom.

De 3d accelerated window managers die tegenwoordig op elk workstation OS kunnen draaien voegen bijna niets toe aan de usabillity. Het is fijn dat je windows kan schalen met OpenGL/Direct3D (denk aan OSX Expose) maar dat dat is ook echt de enige toegevoegde waarde als je naar usabillty kijkt. Zolang je de ins en outs van je OS en window manager kent, werkt een gestripte classic user interface (denk Windows 2000, Xfce) echt net zo fijn als de moderne 3D accelerated window managers.

Vaak zijn de ouderwetse window managers zelfs handiger bij heel veel data. Stel je hebt 140 windows open staan die bij 30 verschillende taken horen waar je mee bezig bent.
Wil je dan Expose? Wil je je windows gaan zoeken in een 3D wereld? Waarchijndelijk niet. Wat je dan wil is het oude vertrouwde Linux multiple-desktop princiepe. Je maakt 30 desktops aan (en je geeft ze namen) waarop je je windows kan ordenen zodat je vooral niet te veel tegelijk ziet op een en de zelfde desktop. 3D zou de boel alleen maar vertagen in dit geval.

[Reactie gewijzigd door SuperNull op 16 november 2008 22:20]

Kinderen die een zandkasteel bouwen in de zandbak hebben geen enkele moeite om hun 3d wereld te interpreteren, omdat het direct tastbaar is. Zo is het denk ik ook met dit systeem, je doet het met je handen zonder dat er een instrument tussen zit, dus volgens mij kan iedereen het meteen bedienen.

Als het intuïtief is, natuurlijk. Wanneer je in het ene programma met je hand omlaag beweegt om te scrollen, waar het in het andere in- of uitzoomen betekent, ben je er totaal niet mee geholpen.

omdat ook de stand van de vingers ten opzichte van elkaar een rol speelt als je goed oplet.

zo kan je met je muis ook dezelfde beweging maken, maar doordat er een andere knop is ingedrukt gebruik je een andere functie

Meeste mensen hebben al moeilijkheden om een 3d tekening in autocad te kunnen bewerken....
Zelfs al kunnen ze met 2d gedeelte van acad omgaan.

Kost sommigen behoorlijk wat tijd, voordat ze het door krijgen, terwijl anderen het gewoon makkie vinden.

En dan heb ik het alleen over hoe de lijntjes/vlakken te interpreteren, niks zelf bewerken nog.

Potje supreme commander iemand ?

Ik zie hier wel toepassing voor in bibliotheken.
Of het spelen van strategiespellen zou ERG gaaf zijn zo.

Zie het al voor me dat je bij Red Alert 8 jeuk op je hoofd krijgt en per ongeluk een nuke op je base dropt

Ik moest hierbij direct denken aan babylon 5 waar ze de het complete slagveld om zich heen projecteren en schepen gingen selecteren met de hand om een strategie uit te zetten.

Dit heeft wel wat weg van Camtrax. Dat is een programma waarmee je met een willekeurig voorwerp je cursor kan besturen. Het is een stuk minder uitgebreid en mijn ervaring is dat het niet zo goed werkt, maar dat laatste kan ook aan m'n webcam liggen. En uiteraard is er op GoT ook een topic over.

ik heb wel mn bedenkingen.

het ziet er supergaaf uit, en het zou een leuke tech theatervoorstelling zijn.

maar ik heb geen idee wat de taken zijn die precies uitgevoerd worden door de mensen in het filmpje. zekers, het ziet er spectaculair uit wat ze doen maar wat doen ze precies? hoe efficient is de interface in hetgeen ze proberen te bereiken? het scrollt allemaal supersmooth en het lijkt de bewegingen van de handschoentjes te volgen enzo... maar of het allemaal zo efficient is weet ik niet.

vooral het moment dat ze letters bij elkaar zoeken en er niet in slagen een woord te componeren uit die letters geeft te denken. dan voldoet een keyboard toch een stuk beter om tekstuele informatie in te voeren.

Ja, maar het mooie van dit systeem is dat je enkel een paar handschoentjes draagt. Het bedienen van een multi-touchscreen(zoals ook in het filmpje gebeurt), toetsenbord of muis wordt niet uitgesloten. Het is dus enkel een toevoeging aan al bestaande technieken en hoeft niet noodzakelijk als vervanger gezien te worden.

Het ziet er inderdaad prachtig uit, maar natuurlijk krijg je hier de beste situaties die dat systeem (wat overigens ontzettend krachtig is zo te zien) aankan. Verder moet je je bij dit soort systemen altijd afvragen in welke situaties het ook echt nut heeft, want 1 van de grote problemen lijkt mij dat een mens na een uurtje of 1-2 erg moe wordt van het continue zwaaien met de handen. Het systeem leent zich dus wat mij betreft vooral voor toepassingen die af en toe nodig zijn. Zoals tijdens een presentatie of op kantoor samenwerken aan 1 groot iets en daar mee interacteren. Echt het code-kloppen, schrijven, Excellen, werken, etc. zie ik er dan weer niet in zitten.

edit: Ik zie dan toch meer in zoiets als Surface van Microsoft, daar kan je je handen lekker laten rusten. Nu hebben ze hier ook iets dergelijks, maar gebruiken ze vooral het grote scherm, ik zou dat dan andersom doen.

[Reactie gewijzigd door vgroenewold op 16 november 2008 14:50]