Microsoft-technologie laat gebruikers met handen typen in virtual reality

Microsoft heeft een technologie getoond waarmee gebruikers hun volledige handen kunnen zien en gebruiken in een vr-omgeving. Daardoor is het bijvoorbeeld mogelijk in virtual reality te typen op een qwerty-toetsenbord of piano te spelen.

De technologie, die mensen van Microsoft Research met onder meer onderzoekers uit Oxford en Cambridge hebben ontwikkeld, maakt gebruik van een dieptesensor zoals ongeveer de Kinect voor Xbox-consoles. Die meet de precieze vinger- en handbewegingen via 146 punten op de handen.

Door vervolgens de handen met een glad oppervlak weer te geven in virtual reality, moeten gebruikers het idee krijgen dat ze de handen echt kunnen gebruiken in vr. Daarmee lijkt de technologie een kruising van een preciezere versie van wat Microsoft al jaren doet met Kinect, met bewegingscontrollers in vr die onder meer HTC en Oculus al hebben laten zien voor de Vive en Rift.

In de video demonstreert Microsoft hoe de technologie gebruikt kan worden voor typen en piano spelen, maar ook als manier om met de hand een ruimtevaartuig in een game te besturen. De onderzoekers van Microsoft zullen meer laten zien van de technologie op Siggraph 2016, dat over een maand plaatsvindt in de Verenigde Staten.

Helaas!
De video die je probeert te bekijken is niet langer beschikbaar op Tweakers.net.

Reacties (61)

[ArthurMorgan]

Ik heb het beeld aan het begin een paar keer stil gezet omdat ik het vermoeden had dat het beeld best achterliep bij de handen. Dat klopt.
Levert dat geen problemen op bij zeker iets als pianospelen? Maar ook bij typen lijkt het me niet fijn.
Zie ik beren op de weg waar ze niet zijn, of is dit puur omdat het een prototypeidee is?

Het is niet mijn bedoeling om het af te kraken, want als idee lijkt het me inderdaad weer een stap voorwaarts, maar dan moet het wel vloeiend gaan lijkt mij.

[diondokter]

Bij typen zal het waarschijnlijk niet super veel uit maken (wel erg irritant), maar piano wordt onspeelbaar bij een zekere vertraging.
Het beste is natuurlijk nog steeds geen vertraging. Maar ik heb in het verleden wat geëxperimenteerd en kwam toen uit op zo'n 10ms. Dat was voor zover ik me kan herinneren de grens van goed speelbaar naar slecht speelbaar.

Naar het filmpje kijkend kun je dus zien dat de latency zo'n 20x te hoog ligt voor piano spelen.

[Webgnome]

Bij typen is het ook niet werkbaar. Als je een beetje snel kunt typen (+ 250 aanslagen per minuut) dan is het irritant als je je letters op je beeld ziet verschijnen.

[diondokter]

Nou ja, je kunt altijd langzamer gaan typen. Maar een piano nummer heeft nou eenmaal een tempo dat volgehouden moet worden.
Zoals ik zei, denk ik dat typen erg onaangenaam is maar dat piano spelen niet te doen is.

[CEx]

Zodra ik bewust langzamer ga typen krijgt mijn backspace het te verduren.

[PolarBear]

Vrijwel niemand typt 250 aanslagen per minuut (je zit dan echt in wereldrecord gebied) en al zeker niet voor langere tijd achter elkaar.

[Webgnome]

Ik denk dat de gemiddelde secretaresse met gemak de 250 aantikt hoor.

[marking]

"A professional or good typist hits around 325 to 335 CPM" [bron]

Records over de 200 woorden per min. bron2

[Reactie gewijzigd door marking op 22 juli 2024 23:18]

[johnkeates]

Ik type vaak toch al wel tegen de 190 aanslagen per minuut als ik een stukje constant kan typen en ondertussen niks hoef te doen, dan is elke vertraging toch al vrij irritant. Bij een seriële verbinding of langzame SSH sessie is het al haast niet meer te doen, en dan spreken we over zo'n 7ms vertraging.

[AudiSub]

Onzin, ik zit op ruim 400 per minuut. Ooit bij mijn cursus van Scheidegger als scholier in groep 7 haalde ik op een typemachine al meer dan 200.

[The Reeferman]

precies wat ik ook heb gedaan en geconcludeerd. Latency mag nog wel wat omlaag.

[Verwijderd]

het is waarschijnlijk nog een prototpye, ik zag namelijk nog wat meer dingen die net niet helemaal klopten

[TweakMore]

Je hebt zeker gelijk dat er een duidelijke vertraging aanwezig is. Maar hier is wel het een of ander over te zeggen. Natuurlijk is dit net in ontwikkeling, het idee werkt. Nu zal het vooral finetunen worden en de ervaring beter maken.

Microsoft heeft in het verleden al laten zien dat bij dit soort toepassing ( bij touchscreen gedemonstreerd ) latency erg belangrijk is. Zie hier een kort filmpje waar ze de latency van touchscreen flink hebben verkort. Ik neem aan dat ze natuurlijk ook bij deze technologie de latency zullen verlagen.

https://www.youtube.com/watch?v=vOvQCPLkPt4 ( Ze nemen wel als voorbeeld hele slechte touchscreens. )

Off-topic
Als piano speler kan ik vertellen dat de vertraging weinig uitmaakt zolang er niet met andere wordt gespeeld.

[Reactie gewijzigd door TweakMore op 22 juli 2024 23:18]

[Verwijderd]

Timing is essentieel in muziek.

Bij dit soort dingen moet je eigenlijk altijd in het achterhoofd houden dat men niet weet waar zo'n technologie voor bedoeld gaat worden. Men gaat dan al gauw bestaande dingen onder brengen in VR. Zoals piano spelen.

Maar piano spelen is leuk in de realiteit, niet met een VR bril op. Je hebt ook bij piano spelen echt gevoel nodig in de gewogen toetsen. In VR kun je al die zenuwcellen niet nabootsen die een rol spelen, je hele zenuwstelsel is er bij betrokken. Elke vorm van latency maakt VR muziek spelen nonsens.

Alleen als je nieuwe virtuele instrumenten verzint is het zinvol. Ik vind de tech leuk maar het zal gebruikt worden voor dingen die we niet al kunnen leren zonder VR.

Het lijkt er vaak op de laatste tijd dat alles wat we al kunnen en kennen ondergebracht moet worden in VR, alsof het echte leven niet genoeg is. Zo moeten we van fb op terrasjes zitten in virtueel Parijs omdat blijkbaar een echt terrasje pakken met je vrienden niet meer leuk is.

Maar we kunnen het echte leven nooit omruilen voor een virtueel leven.

[martijndemulder]

Een leuke ontwikkeling, alleen mis je nog steeds feedback waardoor je niet voelt wat je aan raakt. Iets wat naar mijn idee cruciaal is om dit echt te kunnen gebruiken.

[Hoppa!]

Dat is een volgende stap. Met een combinatie van sensoren en een implantaat in je hersenen kunnen de bewegingen worden vertaald naar het stimuleren van je hersenen, zodat zij een aanraking registreren.

Kunnen we niet gewoon beter terug naar een typemachine?

[lololig]

Of je zou handschoentjes aan kunnen hebben die interactie simuleren door kleine elektrische pulsen te geven of door te trillen

[Hoppa!]

Kan ook, maar het leuke is natuurlijk als het voelt zoals een aanraking zou moeten voelen. En dat kan alleen via de hersenen.

[lololig]

Waarom kan dat alleen in de hersenen? Normaal komt je gevoel toch ook via de zenuwen bij je hersenen? Dus als je die zenuwen stimuleert voel je ook gewoon.

[sjoemie1985]

Ik denk dat dat vrij lastig wordt zonder gebruik van eventuele handschoenen of iets dergelijks.
dan zul je dus ook iets van gewone schoenen met sensors etc nodig hebben voor als je wilt voetballen of zo

[AOC]

Ik denk dat m.b.v. een handschoen met tientallen/hondertallen holle kamertjes, waar je vloeistof in kan laten lopen, het nabootsen van gevoel/tast mogelijk is met wat slim programmeerwerk. Maar goed, het voelen is niet echt een uitdaging, het blijf gewoon een raar idee dat als je in VR tegen een deur aanduwt, dat je dan in real life er met je hand (voor het idee) er doorheen gaat.

edit:

Om echt realistische feedback te creeeren zal je denk ik gebruik moeten maken van een exoskeleton. Wanneer je dan tegen een deur aanduwt, dat dan de cilinders in het pak je beweging van je lichaam beperken/stoppen.

[Reactie gewijzigd door AOC op 22 juli 2024 23:18]

[Verwijderd]

Zouden ze dat niet op kunnen lossen met gyroscopen in diverse basis vormen om vast te houden/handschoen?

[MacD]

Deed de Leap dit ook al niet?

[vanaalten]

Leap Motion controller bedoel je?

Daar heb ik onlangs even mee gespeeld. Leuk, maar je merkt wel iets essentieels: gebrek aan 'tactile feedback' maakt het vaak onhandig en onbruikbaar. Dat kan bij dit nieuwtje ook een probleem zijn, lijkt mij.

[Reactie gewijzigd door vanaalten op 22 juli 2024 23:18]

[HooksForFeet]

Ook zoiets ja, maar de accuratesse daarvan laat nogal wat te wensen over. Bovendien kan de Leap je vingers niet goed zien als ze zicht boven elkaar bevinden - omdat de onderste vingers dan het zicht op de bovenste blokkeren. Als ze dat hier op hebben weten te lossen kan dit wel eens een volgende stap zijn.

[SuperDre]

Yep.. En hun software wordt met elke nieuwe release beter en beter, terwijl de hardware een stuk crappier is dan bv de laatste kinect (en je kunt de leap motion heel goedkoop krijgen)..

[drakiesoft]

Leap Motion :-)
Microsoft is hier ook al jaren mee bezig.
In dit holodesk voorbeeld uit 2011 wordt de hand met dezelfde techniek gescand om hologrammen vast te kunnen pakken. Om het realistisch te maken hebben de hologrammen ook last van zwaartekracht.
Ik verwacht dat dit straks toegevoegd gaat worden aan windows holografic en daarmee gebruikt kan worden door ontwikkelaars voor apps in hololens, oculus rift etc.

[Division]

Dit hoeft dus niet per se virtual reality te zijn, maar kan gebruikt worden voor elke toepassing waarbij visuele feedback is van je invoer. Weer een stap verder weg van een touch screen, en ironisch genoeg een virtueel stapje dichter bij het toetsebord

[Daileass]

inderdaad, een touch screen is niet altijd een voordeel, ik haat het bijvoorbeeld om games te spelen op mijn gsm en tablet. geen fysieke knoppen hebben is hierbij een grote handicap en als deze technologie wordt uitgebreid en ingezet op smartphones en andere toestellen wordt deze handicap zo toch opgevangen.

[defixje]

Je kan tegenwoordig ook je toetsenbord op je telefoon aansluiten via de mini USB poort.

[Daileass]

dus in de wachtzaal of op de bus lekker even mijn toetsenbordje bovenhalen?

[defixje]

ik zeg niet dat het ideaal is, maar geef alleen de mogelijkheid aan

[Verwijderd]

Klopt, en dan terwijl je speelt het apparaat tussen je benen klemmen

[janvanakkerbeke]

ik zie het probleem niet, ik doe dat bijna dagelijks.

[Niemand_Anders]

Dus een toetsenbord is niet praktisch, maar je neeemt wel even je gehele headset mee in het OV? Lijkt mij een oprolbaar toetsenbord toch handiger.

Daarnaast hoopte ik eigenlijk op basis van de titel op een iets andere invulling. Ik speel vooral simulatie games zoals P3D (Prepar3d, soort van opvolger van Microsoft Flight Simulator) en European Truck Simulator 2/American Truck Simulator.

Ik heb redelijk veel joystick addons zoals een Logitech G27 samen met een CSIO 18-speed gear knob replacement (op range en split buttons), maar ook een Trustmaster A10 Warthog joystick en CH Products Eclipse Yoke + rudder pedals + Throttle Quadrant. Die laatste gebruik ik overigens ook in ETS/ATS om zo weinig mogelijk het toetsenbord te moeten gebruiken.

Echter bij het gebruik van een Rift of Vive zie niet je eigen devices waarom deze niet praktisch is voor dergelijk simulatie games. Echter de TrackClipPro attachment van de TrackIR voor mij koptelefoon is net iets te vaak gevallen en gebroken en zit nu met ducktape aan elkaar waardoor deze niet meer helemaal goed werkt. Een nieuwe trackClip (voor op een baseball cap) kost 9,95, maar de verzendkosten zijn met minimaal 40 dollar erg hoog..

Ik hoopte dus heel even dat de technologie van Microsoft je eigen hand zou tonen middels een extra camera welke het beeld van de cam zou projecteren bovenop de virtual reality beelden..

[[Remmes]]

Een bluetooth mini toetsnbord werkt in de meeste gevallen ook.

[MacD]

En als je een Android toestel hebt zelfs je muis.

Zodra ze Freeform mode helemaal fixen (want als je er nu mee probeert te werken is het knudde ... maar de potentie is er!) dan wordt Android een Windows rivaal.

En dit is anders dan Linux of OSX (erm ... MacdonaldOS ) omdat niet alleen hebben heel veel mensen Android op hun telefoon, maar al die apps die niet op linux draaien? De makers ervan zijn zeer zeker aanwezig op Android: Adobe, Autodesk, SAP, vele academisch/technische programma's ...

Straks doet Android wat Ubuntu/Sailfish/etc probeerden maar niet konden waarmaken. 5 jaar; 2021; android wordt door minimaal net zo veel gebruikers als OSX/MacdonaldOS gebruikt als desktop (maw met kb/muis en groot scherm thuis).

[Bongoarnhem]

Je mist dus een N900, wie niet....

[RDNZN]

Er bestaan prima controllertjes om je telefoon in te stoppen. In de meeste (bekende) games functioneert dit prima.

[drakiesoft]

Vindt microsoft zelf ook.

[Alcmaria]

Het doet me ook een beetje denken aan deze:

http://www.palminfocenter...er-keyboard-now-shipping/

uit 2004.. lasertoetsenbordje beetje in het luchtledige op tafel typen.
Ik mis de feedback wel.. mijn voorkeur zal toch uitblijven gaan naar een fysiek toetsenbord.. (al is het maar omdat ik daar 300 aanslagen per minuut op haal en dat niet ga redden met een virtueel toetsenbord)

[Hoppa!]

Puur theoretisch zou je op een virtueel/touch toetsenbord juist sneller moeten kunnen typen dan op een mechanische variant. Simpelweg omdat je geen tijd kwijt bent met het indrukken van de toets.

Dat het niet lukt, heeft meer met gewenning te maken dan met iets anders. Doordat je niet de feedback krijgt die je gewend bent, ga je twijfelen en dat is dodelijk voor snelheid.

[pmeter]

Dat zou alleen zo zijn als je geen tweede toets alvast kan indrukken terwijl je nog met de beweging van de vorige bezig bent. Maar dat kan wel, behalve in de gevallen waar je tweemaal achter elkaar dezelfde toets indrukt. Als je met 10 aanslagen per seconde typt, ben je altijd meerdere toetsen tegelijk aan het indrukken, alleen de ene toets net iets later dan de andere.

[Hoppa!]

Daar heb je een punt. En toch verandert dat niets aan mijn initiële stelling. Een virtueel/touch toetsenbord blijft in theorie sneller. Al was het inderdaad alleen al maar vanwege het aantal woorden met dubbele letters.

[pmeter]

Kun jij vaker dan 10 tot 15 keer per seconde met je vinger op tafel tikken? Zo nee, dan heb je daar de beperking te pakken waar je tegenaan loopt. Die snelheid kun je ook halen op een gewoon toetsenbord. Ik zie niet in waarom een plat of een VR-toetsenbord dat aantal zou verhogen.

[Hoppa!]

Het spreekt voor zich dat je op een zeker punt tegen een beperking in snelheid aanloopt. Maar ik reageerde op iemand die aangaf 300 aanslagen per minuut te halen en daarbij de stelling deponeerde dat dat op een niet-mechanisch toetsenbord voor hem onhaalbaar was.

Dat is dus niet zo. Heel simpelweg omdat je, als je die snelheid in je vingers hebt, je op een niet-mechanisch toetsenbord in theorie minder vertragingsmomenten hebt en dus theoretisch sneller kunt zijn.

[pmeter]

Wie weet is het theoretisch precies andersom. Een mechanisch toetsenbord versnelt het typen door de vingers te helpen sneller èn preciezer te bewegen dan dat ze uit zichzelf zouden kunnen. Denk aan een trommelaar in een fanfareband. Die slaat keihard 20 x per seconde op de trommel. De feedback (terugvering) van de trommel is daarbij noodzakelijk. Op een harde oppervlakte zou hij/zij nooit zo snel kunnen trommelen. De vergelijking is in elk geval juist voor zover de wisselwerking tussen je handen en een zekere mate van feedback de snelheid kan vergroten.

Oja, 10 aanslagen per seconde is 600 per minuut. Dat is dubbelzoveel als de 300 waar jij het over hebt. De beperking zit in de coördinatie van je handen. Niet in de af te leggen afstand.

Ik type trouwens 500 aanslagen per minuut. Op een niet-mechanisch toetsenbord is dat voor mij onhaalbaar

[Reactie gewijzigd door pmeter op 22 juli 2024 23:18]

[BvZ]

Dit ziet er goed uit, dat bereik is ook erg groot!
Ik ben benieuwd hoeveel dit gaat kosten en hoeveel rekenkracht dit kost.

[Webgnome]

Dit ziet er goed uit en geeft hoop voor een VR ervaring die verder gaat dan alleen maar een beetje om je heen kijken. Hopelijk gaan ze iets verzinnen op de feedback zodat het ook aanvoeld alsof je dingen vast pakt of aan raakt.

[Erwintjuh]

Een soort van leap motion. Zij zijn ook al heel ver net deze techniek.

[Flumble]

Precies. Ik ben heel benieuwd naar hoe deze tracking zich verhoudt tot die van Leap.
Bovendien: is deze techniek ook toe te passen met een head-mounted camera, zodat je je handen overal kan tracken? En wat is überhaupt de FoV van dit systeem?

[Nieuwevolger]

Zo slecht is die kinect dus helemaal niet, zou wel de dream combo zijn hoor, ocules, kinect en always online. Mark word al opgewonde van de gedachte.

Maar dit is serieus wel een hele mooie ontwikkeling.

[SKay]

Johnny Mnemonic