Oculus Rift krijgt officiële ondersteuning voor mixed reality capture

De Oculus-ontwikkelaars hebben de eerste stappen gezet naar ondersteuning voor mixed reality capture. Dat houdt in dat beelden van een speler van een ander perspectief binnenin een virtuele ruimte nu geregistreerd en bijvoorbeeld gestreamd kunnen worden.

Mixed reality capture was al onofficieel mogelijk met oplossingen van derde partijen, maar het feit dat de eerste stappen naar officiële ondersteuning nu gezet zijn, moet ervoor zorgen dat het gebruik van de functie des te makkelijker wordt. Wel waarschuwt Oculus dat hoewel er nu ondersteuning is vanuit hun software, de makers van Oculus-apps en -games ook zelf moeten zorgen voor ondersteuning aan hun kant van het proces. Zo moeten ze ondersteuning voor een extra Touch-controller toevoegen die voor de locatiebepaling van de camera dient.

De HTC Vive, de grootste concurrent van de Rift, heeft schijnbaar ook nog geen officiële ondersteuning hiervoor waar de consument gebruik van kan maken. Achter de schermen is die ondersteuning er al wel, zo blijkt uit een artikel op Ars Technica. Wel is natuurlijk een extra camera vereist. Wellicht dat de zet van Oculus ervoor zorgt dat Valve en HTC dit voorbeeld gaan volgen.

Mixed reality capture is niet zozeer een toevoeging voor spelers als dat het wel een toevoeging is voor kijkers. De ervaring leert dat het perspectief van de speler tonen aan een ander niet altijd een even goed beeld geeft van hoe het werkelijk voelt om een vr-headset op te hebben. Een extra, ruimer perspectief kan daaraan toevoegen en de kijker een beter gevoel geven van wat de speler ervaart.

De trailer voor Googles Tilt Brush is een voorbeeld van gebruik van mixed reality capture. Deze beelden zijn waarschijnlijk in post-productie flink opgepoetst, maar in principe gaat het hier om de techniek die Oculus met deze update ook mogelijk begint te maken.

Helaas!
De video die je probeert te bekijken is niet langer beschikbaar op Tweakers.net.

Google Tilt Brush - een voorbeeld van wat bereikt kan worden met mixed reality capture

Reacties (21)

Maar om het voorbeeld uit het Google-filmpje te maken is toch wel meer nodig dan alleen een extra controller voor de camera-positie? Om de speler zelf in beeld te brengen moet die extra controller ook een camera bevatten, en liefst eentje die 3D kan filmen zodat de speler makkelijk van de echte achtergrond gescheiden kan worden en in de virtuele ruimte geplaatst kan worden.

Daar gebruik je een green screen voor, niet een 3D camera.

OK, (semi-)professioneel heb je dan inderdaad een green screen nodig, maar het lijkt me dat in de huiskamer een camera met goed 3D-verwerking het ook zou moeten kunnen.

Met wat voor camera zou dat dan moeten werken? En hoe zou je de beelden dan samen voegen?

Ik hoor graag als ik er naast zit maar volgens mij kan dat namelijk niet.

[Reactie gewijzigd door walterg op 18 juni 2017 21:55]

Het samenvoegen gebeurt op de PC lijkt me, niet in de camera.

Dat snap ik, maar als je een green screen hebt kan je de achtergrond eruit keyen, met een 3D camera zie ik het allemaal niet voor me.

Of hij vergist zich óf hij is op de hoogte van een techniek die ik goed zou kunnen gebruiken. Ik heb namelijk wél toegang tot een 3D camera maar niet tot een green screen

(Ik ben dus oprecht geinteresseerd. Sceptisch, maar geinteresseerd)

Als je de depthmap hebt, kun je alleen de pixels op locatie (diepte) van de speler behouden

Hij heeft het over een huiskamer oplossing die laagdrempeliger is dan een green screen

Ik ben oprecht nog steeds benieuwd of het een misvatting van @sandeman is of een techniek die ik niet ken.

Een Kinect camera kan toch een Depthmap maken, dus die zou hier volgens mij al geschikt voor zijn. Of in ieder geval is er niet veel extra technologie nodig om zoiets te maken.

Nee inderdaad, dit lijkt me alleen een stukje software dat je moet schrijven, OpenCV heeft hier vast wel wat voorbeelden voor.
Maar natuurlijk, een green screen is een bestaande oplossing die ook werkt, alleen is het wat uitgebreider om op te zetten (en goede belichting is ook lastig)

Klopt. Voor mixed reality capture heb je een extra camera nodig. Ik heb dat er nog even tussen gezet.

Dat klopt. Mixer reality ook niet echt nieuw. De eerste demo filmpjes van de vive gebruikten het al door een extra controler op de camera te zetten. De camera wordt daarmee in 3D getraceerd en dan is het een kwestie van beelden mixen.

Tegenwoordig doen veel youtubers hed ook al met gratis recording software. Hier is een uitgebreide uitleg:
http://www.croteam.com/mi...serious-sam-vr-last-hope/

Erg tof dat ze dit eindelijk zelf ondersteunen! Als actieve VR ontwikkelaar hoop ik dat HTC dit ook snel bij de Vive zal gaan inbouwen. Het zou mooi zijn als een volgende stap het ondersteunen van greenscreens met deze mixed reality wordt. Dit zal het zeker voor streamers nog interessanter maken.

Als ik moest kiezen zag ik liever hogere resoluties boven alle andere gimmicks. Dat is echt nog een struikelpunt nu.

Dit heeft enkel een software update nodig en geen hardware (vanuit Oculus) waar het geen van jouw wens dat wel vereist.

Zie het nut hier echt niet van, dus EN een extra controller nodig EN weer een extra camera, alleen maar om anderen die kijken een aangepaste versie te laten zien. Hiervan zie ik sowieso niet hoe dit de ervaring van wat de speler met helm op beter laat zien.

Niet echt iets waar ik als rift eigenaar op zit te wachten, doe mij maar wat fatsoenlijke single player games met een normale speelduur. Ondersteuning Doom 4 VR, Fallout 4 VR en Skyrim VR zou beter zijn. Het enige spel waar ik tot nu toe echt van onder de indruk ben is Robo Recall.

In de toekomst dragen we allemaal een Star Wars bounty hunter helm VR/Augmented reality en een gasmasker omdat we de aarde hebben verkloot

[Reactie gewijzigd door stewie op 18 juni 2017 21:11]

Ik vind de racesimfilmpjes vooral erg tof met mixed reality.

https://www.youtube.com/watch?v=YzUGiC1GYCA

Misschien moeten ze eens ondersteuning bieden om een daadwerkelijk product te worden waar we echt wat aan hebben.

Misschien moeten ze eens ondersteuning bieden om een daadwerkelijk product te worden waar we echt wat aan hebben.

Zoals?

Ik persoonlijk vind dit een hele interessante ontwikkeling. Het is iets wat op dit moment eenvoudig nog niet kan en vaak moet je eerst de techniek in orde maken voor de applicatie komen.