Nieuwe telepresence-robot werkt met Oculus Rift

Onderzoekers van de University of Pennsylvania hebben een telepresence-robot gebouwd die werkt met betaalbare sensoren en actuatoren en commercieel verkrijgbare vr-technieken, zoals de Oculus Rift. Het systeem heet DORA, Dexterous Observational Roving Automation.

De onderzoekers bouwden DORA om een menselijke ervaring te geven op een andere locatie zonder daarvoor enorme bedragen uit te moeten geven. De setup bestaat uit een robot en een Oculus Rift. De bewegingen van het hoofd van de Oculus Rift-gebruiker worden gevolgd en direct doorgegeven aan de robot op een andere locatie. De data wordt door de robot verwerkt via een Arduino en Intel Edison-microcomputers. Na de verwerking beweegt de robot zijn hoofd net zoals de menselijke gebruiker.

In tegenstelling tot veel andere, goedkopere telepresence-opstellingen, heeft de gebruiker niet het gevoel dat er gewoon tegen een scherm aangekeken wordt. Om die ervaring te verkrijgen, moet de lag zo laag mogelijk zijn. Op dit moment ligt de lag rond de 70ms. Het doel is de lag terug te schroeven naar 60ms. Hoe lager de lag, hoe minder last de gebruiker heeft van bewegingsziekte. Op dit moment werkt DORA nog via een radio-link met een bereik van ongeveer zeven kilometer.

Ondanks dat DORA nu nog in en om het laboratorium rondrijdt, is het ook mogelijk een dergelijke robot op andere plaatsen in te zetten. In eerste instantie denkt het team aan gebruik in musea om virtuele rondleidingen aan te bieden en om het in te zetten bij bepaalde rampen waar een mens moeilijk kan rondlopen. Om dat laatste te bereiken, moet DORA wel worden voorzien van wifi- of 4g-verbindingen, maar op dit moment zou dat nog voor te veel vertraging zorgen.

Helaas!
De video die je probeert te bekijken is niet langer beschikbaar op Tweakers.net.

Reacties (21)

[Verwijderd]

De TU Delft heeft ook een robot die te besturen is via PS3 controller + Oculus Rift. De videobeelden van de Asus Xtion (vergelijkbaar met Xbox Kinect) worden weergegeven op de Oculus Rift. Zie https://youtu.be/scZnVTJmLrc

Het is vooral leuk om jezelf te zien via de Oculus Rift. Dat geeft een soort out of body experience

[Gamebuster]

Avatar (die blauwe mannetjes versie, niet de epic tekenfilmserie)

[Reactie gewijzigd door Gamebuster op 27 juli 2024 07:48]

[Verwijderd]

Dit is iets dat een gemiddelde hobbyer voor elkaar kan krijgen zover ik het kan zien.
Het enige wat ik indrukwekkend vind is het bereik icm met de latency. Ik verwacht dan ook dat er veel meer van dit soort vision-robotica combinaties worden gemaakt in de komende jaren simpelweg omdat VR opeens goed beschikbaar is.

Zelf was ik van plan een VR bril te combineren met een quadcopter, inclusief de camera die gelinkt is.

[Alxndr]

kan je een VR bril die de werkelijkheid doorgeeft (het beeld van je drone) wel een VR bril noemen? Volgens is het dan gewoon een headmounted display

[Verwijderd]

Het zou inderdaad pas VR zijn als je ook daadwerkelijk het idee hebt dat je je op de plek bevindt waar de robot zich bevindt. Dat je het als ruimtelijk ervaart en om je heen kan kijken. Als de robot bij jou in huis staat en ik kijk vanaf hier met mijn oculus dan moet het voor mij dezelfde ervaring geven als wanneer ik echt in je huis zou staan.Het moet dus meer zijn dan een beeld dat je ook via bijvoorbeeld een webcam zou kunnen zien.
Het lastige is dat we die ervaring nog niet op kunnen doen. Het blijft maar wachten op dat ding.

[Durandal]

Dan is het nog steeds niet Virtueel, maar Reeel want de ruimte waar je naar kijkt bestaat echt. Real Reality, RR, zeg maar.

[Dutch_CroniC]

Jij bevind je op dat moment Virtueel in die Reality. Dus VR is wel op zijn plek.
Zet een gewone veiligheidsbril op en je hebt Real Reality

Of moet het dan Real Virtuallity worden?

[Reactie gewijzigd door Dutch_CroniC op 27 juli 2024 07:48]

[SirJMO]

Combineren van gewicht distributie op een quadcopter gecombineerd met zo'n automatisch aanpassende camerahoek. Dat zou gaaf zijn, maar misschien een stapje hoger dan de gemiddelde hobbiër aankan

[Alxndr]

Handig een museum vol van deze bots, liever dan gewoon het museum virtueel nabouwen zodat er niet iets of iemand in je uitzicht gaat staan.

Trouwens, is 60 ms lag niet al/nog waarneembaar?

[SirJMO]

alles is waarneembaar, ook meer als 144 fps, maar het brein haalt foefjes uit om de constante feed van de ogen te verwerken. Dus zal het verwaarloosbaar zijn/worden.

[Skohsl]

60 ms aan lag is heel erg duidelijk merkbaar. De laatste prototypes van de bekende VR head-sets mikken naar een getal rond de 11-13 ms (75 a 90 fps). Het beeld zal dus merkbaar vertraagd zijn ten opzichte van de beweging van de gebruiker. Ondanks dat het nog lang niet op een 'niet merkbaar' niveau zit is de hoeveelheid latency, gezien er nog een communicatie- en bewegings-stap in zitten erg indrukwekkend. Zeker in vergelijking met de hoeveelheid lag die gangbaar is voor dit soort telepresence-robots.

Zoals ook in het bronartikel staat vermeldt: "... Oculus cites early VR research to suggest that 60 milliseconds is “an upper limit for acceptable VR… [but] most people agree that if latency is below 20 ms, then the lag is no longer perceptible"...."

[Cerebriform]

Heel tof. Een gedeeltelijke oplossing voor de latency zou het continue opnemen van 360 graden video in alle richtingen kunnen zijn. Als je dat allemaal streamt hoef je alleen lokaal uit te rekenen welk perspectief je naar de oculus stuurt. De enige latency die over blijft is wat er in de omgeving gebeurt, niet de houding/het perspectief dat de gebruiker verwacht.

[Alxndr]

zou dat werken gezien je stereoscopisch beeld nodig hebt? Ik bedoel, de camera's moeten net als ogen naast elkaar staan lijkt me, anders vertekend het beeld.

[Cerebriform]

Je zou het dan twee keer 360 graden kunnen doen, zoals hier.

[Gamebuster]

Dat kan niet, gezien je 2 ogen van positie veranderen als je rondkijkt. Je kan dus niet vooraf 2x 360 graden beeld opnemen voor iedere mogelijke kijkhoek

[Cerebriform]

Oh ja heen en weer bewegen van je hoofd kan je daarmee niet namaken inderdaad.

[koelpasta]

Ook voor alleen ronddraaien van het hoofd kom je niet weg met slechts 2x 360.
Je zou eigenlijk dan vanuit elke positie (stapje van de robot) een enkele foto per oog moeten maken, maar deze dan niet stitchen tot een 360 beeld. Je zou vervolgens per positie de dichtstbijgelgen beelden moeten interpoleren. Daarmee moet je wel een heel stuk meer data opslaan.

[SirJMO]

Opzich wel gaaf, maar zoals gezegd niet nieuw.
"In tegenstelling tot veel andere, goedkopere telepresence-opstellingen"
Goed dat de technologie zo vooruit gaat dat de lag (vertraging) zo omlaag gaat.
Technologie moet vooruit gaan en ze zijn nu heel dichtbij nul bewegingsziekte.
Ga zo door.

[BaRF]

Leuke naam ook! Als deze robot wordt gebruikt bij onderzoek op locatie, kun je spreken van DORA the Explorer

[walteij]

En ik maar hopen dat ik daar eindelijk vanaf was doordat de kinderen iets ouder zijn geworden.....

[Tengri]

Zo'n ding zou ik wel op mijn voordeur willen hebben maar dan met vuisten en wapens.