Oculus kondigt techniek om handen te tracken aan voor Quest-headset

Oculus heeft een techniek aangekondigd om handen van gebruikers te tracken voor gebruik in vr-toepassingen. Gebruikers kunnen gebaren gebruiken om elementen te besturen en hebben geen controllers nodig.

De techniek maakt gebruik van de vier monochrome camera's om de positie van de handen te voorspellen door middel van een neuraal netwerk op het apparaat, claimt Facebook. Het maakt geen gebruik van technieken om diepte in te schatten, maar herkent de vorm van handen in het beeld.

De techniek komt begin volgend jaar beschikbaar voor consumenten in een proefversie. Dan verschijnt het ook in de sdk, zodat ontwikkelaars het kunnen gebruiken in apps en games. Oculus claimt dat het voordeel is dat het geen controllers zijn die je moet vasthouden of hoeft op te laden. Daardoor zou het een meer natuurlijk interactie met elementen in vr mogelijk maken.

Behalve handtracking kondigde Oculus nog meer zaken aan tijdens de eigen ontwikkelaarsconferentie OC6. Zo kunnen gebruikers van de Oculus Quest met een gamepc Rift-titels downloaden en spelen via Oculus Link.

Reacties (25)

[venqwish]

Holy moly, mijn controllers zijn nu plat en mijn handen hebben tenminste geen batterijen nodig! .

Alle gekheid op een stokje, dit maakt VR weer een stapje meer toegankelijk en immersief, met bestaande hardware. Moesten de camera's nu niet monochroom zijn, kon de Quest bijna ook dienen als een AR headset. Hoewel er wat lag op de monochrome throughput zit, is dit super om met de headset aan gewoon door de kamer te wandelen.

Dit plus Oculus link, ook top hoewel er betere en vrijere opties lijken te zijn momenteel met bvb ALVR. Deze heb ik spijtig genoeg nog niet kunnen testen wegens gebrek aan een gamepc .

/edit: Er komt ook een passthrough+ naar de quest, dat is ook wel interessant:

Passthrough+: A Whole New View in VR. And with Passthrough “on demand” shipping later this year, you’ll be able to check your surroundings without removing the headset any time you want.

[Reactie gewijzigd door venqwish op 22 juli 2024 13:36]

[Sissors]

Het is uiteraard een mooie ontwikkeling, en wanneer het voldoende betrouwbaar werkt kan ik wel spellen voorstellen die eromheen gemaakt zijn. Echter denk ik zeker niet dat dit op zichzelf de toekomst gaat zijn, immers in heel veel spellen heeft je karakter iets in zijn handen (een pistool, boog, beatsaber lichtzwaarden, etc). Volgens mij ben je dan beter af met controllers.

Edit: Oculus Link zal zeker de betere kwaliteit hebben tov ALVR. Immers gaat die draadloos, en Oculus Link is bedraad via USB-C. Nu is draadloos natuurlijk leuker, maar de kwaliteit van ALVR en vergelijkbare toepassingen schijnt toch wel twijfelachtig te zijn (simpelweg door latency en te weinig bandbreedte). Dit lijkt mij meer de doodsteek voor de Rift S, tenzij die veel goedkoper wordt. Want de voordelen daarvan lijken mij te beperkt om evenveel aan uit te geven als aan een headset die zowel standalone als bedraad gebruikt kan worden.

[Reactie gewijzigd door Sissors op 22 juli 2024 13:36]

[landcross]

Ik weet niet of je zomaar kan stellen dat ALVR slechter is omdat het draadloos is. Deze link cable is namelijk een enkele USB aansluiting en daar zit ook max iets van 5gbit aan bandbreedte op. Als je bedenkt dat een normale display Port of HDMI aansluiting al iets van 15-20 Gbit bandbreedte heeft. Op Reddit heeft een medewerker dan ook aangegeven dat er inderdaad gebruik wordt gemaakt van 'speciaal ontwikkelde' compressie technieken om de boel over een USB 3 kavel te laten lopen.

[Sissors]

Wifi verbindingen komen nog geen eens in de buurt van de 5gbit, die van een Quest al helemaal niet, ik denk dat je blij moet zijn als je een tiende daarvan haalt. Dus dan moet dit toch wel altijd beter zijn dan ALVR, met als enige vraag of het goed genoeg is voor de kritische gebruiker.

[WinterMute2025]

Ik vraag me af of de Oculus Link via USB-c niet te kwetsbaar is met een spelletje Beat Saber (via je PC) ? Als je de kabel er bruut uit zou rukken, dan heb je misschien een defecte USB-c poort op je Quest als resultaat. Zijn er trouwens ook magnetische USB-c kabels die 5 meter lang zijn en dus ook op de Quest kunnen werken met de Oculus Link ? Dat zou geniaal zijn.

[venqwish]

Ow, ik had gemist dat dit via USB-C verloopt. Op zich niet slecht, laden en beeld over 1 kabel. Dat is nog altijd een serieuze verbetering tov mijn PSVR. Thanks for the info!

[hantheman]

Helemaal eens dat je in games vaak wat in je handen hebt, maar dan kun je natuurlijk gewoon weer de controller oppakken.
Je kunt ze nu ook al zien liggen terwijl je de bril op hebt.
Het lijkt me juist heel immersief.

[Xamsix]

Lijkt me dat dit dan ook voor de Rift S mogelijk is?

[Riuujin]

misschien wel, maar camera's staan op andere punten dus dat zal misschien invloed hebben.

[Joerdgs]

Ik neem aan dat het later ook naar de Rift S komt. Meeste features waar ze aan werken komen eerst naar een van de platforms voordat ze het naar de andere overbrengen (Quest krijgt deze week bijv. Passthrough+, wat Rift S al sinds launch heeft).

[TheLastOttoman]

https://www.youtube.com/watch?v=HIyAbZFxB3o&t=393s

[Verwijderd]

Whoooo, dus ze gaan 16 punten per hand tracken in real time (kijk maar naar de video)? En dat ook als je naar links kijkt en je rechterhand wat 'rechts' van je is?

Ik mag graag verbaasd zijn maar voorlopig schaar ik dit in de folder "Marketing Vvdeos die de firma graag niet meer gelinkt wil in 2020". Want werkelijk, dit is simpelweg niet mogelijk met de huidige hardware.

[Sissors]

Nu ben ik geen expert op het gebied van zulke beeldherkenning, maar is dat echt zo onmogelijk? Alles wat ze hier laten zien is redelijk recht voor de camera's. Uiteraard als je buiten het beeldveld van de cameras komt is het voorbij. En ook als je je armen recht voor je uit strekt zal hij moeite hebben met zien wat je vingers doen. Maar ik zou niet verwachten dat dit nou echt ondoenlijk is.

[CrazyJoe]

Het probleem van herkenning van handgebaren is occlusie. Met andere woorden: Als je je handen voor je houdt met de vingers zichtbaar voor de camera is het niet moeilijk om een gebaar te herkennen, maar zodra je de handen en de vingers in een houding zet waarbij de handpalm een gedeelte van de vingers afdekt voor de camera, dan wordt het ineens een stuk lastiger.

Nu zal het gebruik van meerdere camera's natuurlijk ervoor zorgen dat je meer dan 1 view op de handen hebt en dus minder last hebt van occlusie (moet je natuurlijk wel de views op de handen van meerdere camera's goed met elkaar kunnen combineren), maar er zal altijd een situatie zijn waarin de handen ook met meerdere camera's last gaan krijgen van occlusie.

De Leap Motion probeerde deze situatie te vermijden door de camera onder de handen te plaatsen, maar daar hadden ze problemen met situaties waar de handen (bijna) verticaal gehouden werden.

[MN-Power]

Dit kon al jaren geleden met Leap Motion, en aangezien dit door Oculus zelf geïmplementeerd is zou het wel eens veel beter kunenn werken.

[paltenburg]

"dit is simpelweg niet mogelijk met de huidige hardware."

Waarom? Als de handen in het bereik van de camera's zijn, kun je ze toch ook gewoon visueel herkennen?

[boe2]

Met xbox kinect was al veel mogelijk met een "simpele" IR camera. Dit was lang niet perfect, maar ondertussen zijn we veel jaar verder met veel betere hardware en machine learning. Het lijkt me niet zo onmogelijk.

[Tummie555]

Echt supercool! Ik heb zelf een rift cv1 gehad, een Samsung oddyssey, een oddyssey plus, een pimax 5k plus, en een hp reverb, allemaal waren/zijn ze geweldig en voelden ze aan als een stap dichterbij de toekomst, maar mijn Oculus Quest, die heeft zichzelf nog het meest bewezen. En eerlijk gezegd ook het meest verbaast. Het draadloze, alles ingebouwd, zeer goede apps, altijd direct beschikbaar, en nu ook nog officieel hybride en handtracking. Dat ding is echt gruwelijk futuristisch. Ik ben geen fan van Facebook, maar ben ze wel dankbaar voor deze bijdrage. Anders had het nog minstens 2 of 3 jaar geduurd voordat we dit op zo'n gelikte manier hadden kunnen ervaren. Zeker voor die prijs. Bizar staaltje techniek.

Nog even over het hybride gedeelte, doordat de Quest het zo goed deed, en omdat er best veel goede games uitkwamen als Rift-exclusive, twijfelde ik al een tijdje om misschien toch ook een Rift S te kopen. Ondanks dat de specs van dat ding mij niet aanstaan (geen hardwarematige IPD, LCD ipv OLED, lagere resolutie dan Quest, etc). Maar nu heeft Oculus mij dus letterlijk 450 euro bespaard, dmv een update! Vanaf November is de Quest ook een Rift. En misschien wel, de beste Rift tot nu toe. (afgezien van 72hz display).

[Reactie gewijzigd door Tummie555 op 22 juli 2024 13:36]

[Segafreak83]

Niet of lullig te doen, maar Kinect kon dit toch allang zonder hulpmiddelen?

Hooguit is het nu iets accurater geworden met meer individuele punten.

[Joerdgs]

Kinect deed niet echt aan finger tracking wat ik me herinner, daar was het niet accuraat genoeg voor. En wat bedoel je 'zonder hulpmiddelen'? Kinect zelf was een set extra hardware wat je aan je Xbox moest hangen. De Quest gebruikt gewoon z'n bestaande camera's die die al voor positional tracking worden toegepast.

[GekkePrutser]

De Kinect 2 (die van de Xbox One en ook voor Windows ontwikkelaars beschikbaar) kan wel degelijk vingers tracken.

[Joerdgs]

Van wat ik kan vinden is het vrij grove tracking, en gaat er eigenlijk van uit dat je je handen dicht bij de Kinect houd terwijl de gebruikelijke setup voor full-body tracking is.

[Roon!]

Ik hoop wel dat de sensoren niet in de headset zelf zitten. Bij de Hololens was namelijk wel het geval, hierdoor moest je naar je handen kijken om ze te kunnen gebruiken.

[Bram313]

De sensoren (camera's) zitten op de headset. Dit werkt dus zolang je je handen in het zichtsveld van de camera's zijn. En dat is aardig groot.

[PrimeTinus]

Jammer dat het belangrijkste nieuws, dat de Oculus Quest als PC headset kan worden gebruikt tussen neus en lippen door wordt gezegd. Hoop dat Tweakers er toch wel een nieuw item van maken als deze optie beschikbaar komt