Oculus komt met Passthrough-api voor mixed reality op Quest 2-headsets

Oculus heeft een nieuwe api aangekondigd die ontwikkelaars mixed reality-beelden laat gebruiken in hun Oculus Quest 2-games en -apps. Daarvoor worden videobeelden van de Oculus Quest 2-sensoren 'gemengd' met virtuele VR-beelden.

Een experimentele versie van de Passthrough-api wordt in v31 van de Oculus-sdk geïntroduceerd, meldt het Facebook-dochterbedrijf in een blogpost. Met de api kunnen VR-ontwikkelaars onder andere de zwartwitbeelden van de vier Oculus Quest 2-camera's verwerken in hun apps en games. Deze beelden kunnen vervolgens worden aangepast, bijvoorbeeld met kleurenoverlays.

Oculus noemt verschillende gebruiksscenario's voor de feature. Zo zouden productiviteitsapps het fysieke toetsenbord van Quest 2-gebruikers kunnen weergeven in een virtuele omgeving. Games zouden de feature bijvoorbeeld kunnen gebruiken om zombies in de woonkamers van gebruikers te plaatsen, schrijft het bedrijf.

De Oculus Quest-headsets en de Rift S beschikken al over een soort passthrough-functie, waarmee gebruikers tijdens het spelen van een game kunnen bekijken wat er in de echte wereld gebeurt. Facebook laat echter aan UploadVR weten dat de nieuwe Passthrough-api voorlopig alleen beschikbaar komt voor de Oculus Quest 2. Het bedrijf laat verder weten dat de videobeelden door de Quest 2 zelf worden verwerkt en toegevoegd aan de VR-app of -game. Dat betekent volgens het bedrijf dat apps en games die de Passthrough-api gebruiken, deze camerabeelden niet zelf kunnen opslaan of bekijken.

De Passthrough-api laat gebruikers onder andere hun fysieke toetsenbord gebruiken binnen VR-omgevingen. Klik voor een gifje.
Bron: Oculus

Reacties (56)

Titel:

Oculus komt met

Artikel:

Oculus-moederbedrijf Facebook heeft een nieuwe api aangekondigd

Uiteindelijk is het dus gewoon Facebook die een aankondiging doet? Oculus zelf zegt niet veel meer tegenwoordig.

Goed punt! Ik heb het in de tekst aangepast naar 'Oculus' of 'Facebook-dochterbedrijf' (de info komt uit een Oculus-blogpost), met uitzondering van het stuk over het citaat van UploadVR (dat komt volgens die website specifiek van een Facebook-woordvoerder)

Oculus is volgensmij gewoon een apart bedrijf, waar Facebook de eigenaar van is.

Hoe dan ook klopt een van de statements niet helemaal in het artikel dus.

Gezien het vereiste van een Facebook account kan ik Oculus sowieso niet meer als apart bedrijf zien. Een apart bedrijf zou dat nooit zo verplichten.

[Reactie gewijzigd door fapkonijntje op 25 juli 2021 17:51]

Nope. Oculus is vooral een brand-name nu. De medewerkers werken (voor een groot deel) gewoon op de Facebook campus.

[Reactie gewijzigd door Joerdgs op 25 juli 2021 19:33]

Dat was het heel even. Maar tegenwoordig is "Oculus" niets meer dan een front (met naamsbekendheid en goodwill) voor "Facebook Reality Labs". Het is nu 100% geabsorbeerd, zoals vele al bij de overname al verwachte. De Quest headsets, zijn Facebook headsets incl. alle tracking die je daarvan mag verwachten. Onderzoek wijst uit dat 5 minuten aan tracking data al genoeg is om een persoon met 95% zekerheid te identificeren (source: https://www.nature.com/articles/s41598-020-74486-y).

Mooi om te lezen dat Oculus doorontwikkeld. Het is technisch een geweldig apparaat, en ook erg leuk om te gebruiken.

VR blijft een beetje een niche, maar de Quest 2 is in mijn ogen wel behoorlijk toegankelijk voor de gewone consument, zeker omdat je geen krachtige PC nodig hebt.

Met als nadeel dat als je iets meer wil, het de headset is die de zwaarste PC nodig heeft (mogelijk gedeeld met de G2). Dat is gewoon echt mijn inziens een minpunt, sinds vooral de Rift CV1/S, maar ook de originele Vive, er niet meer is, is PCVR steeds minder toegankelijk geworden.

Hoezo minder toegankelijk? Sowieso kun je altijd een 2e hands set aanschaffen. En je kunt de huidige headsets ook gebruiken met een lagere resolutie (vergelijkbaar met de oude headsets die je noemt) in de aansturing zodat je oudere GPU het ook nog aan kan, want daar gaat het dan om. Alleen de markt voor die 'low resolution' headsets is er niet meer, men wil niet die lage resolutie niet meer nadat men de Quest2, reverb G2, Vive Pro 2 of zelfs de Index heeft gezien. Wil je goedkoop VR dan is de Quest 2 op dit moment de beste keuze, OF je moet de PSVR headset gebruiken, die je ook op je PC kunt gebruiken (via third party software).

Klopt dat je op lage resolutie kan renderen, maar je blijft op zijn minst extra overhead houden bij de Q2. Daarna vraag ik me erg af hoe een Q2 er op CV1 resolutie in de praktijk uit zou zien.

Beter dan een CV1. De resolutie is dan natuurlijk niet heel geweldig dan. Het screendooreffect is op de Q2 bijna niet merkbaar wat wel wat meer nadruk zal geven aan een lagere resolutie maar echt vervelend is het niet. Verder heb ik een prima Alyx ervaring ervaring gehad op mijn 500EU PC. En dat is met Synchronous Spacewarp alleen maar meer.

Dat valt toch best wel mee.. Ik kan prima spelen met een laptop met een 1060 erin. Das nou niet echt highend.

Terecht. Als je anno 2021 een CV1 opzet springen de tranen in je ogen. We moeten verder !

En dan gebruik ik toch nog bijna dagelijks mijn CV1, zonder enige tranen in mijn ogen . Een Q2 heeft natuurlijk een veel hogere resolutie, maar buiten dat om is het voor mij op elk punt een downgrade. Slechtere kleuren / zwart waardes. Veel slechter geluid. Gigantisch oncomfortabel. En nee, dat zijn geen vooroordelen, ik heb hem geprobeerd, net als de G2. (Mooie headset, wat tracking issues, maar vooral op mijn systeem had ik teveel rotational latency).

Als mijn CV1 de geest geeft, of ik toch besluit wat nieuws te nemen, wordt het waarschijnlijk wel de Q2 hoor. Maar als je bedenkt dat ik mijn CV1 3 jaar geleden ofzo voor €400 heb gekocht, en dan kijk wat ik nodig heb om een Q2 in diezelfde richting te krijgen: fatsoenlijke USB kabel (ja ik weet over wireless streaming, voor een Beat Saber wil je op zijn minst die kabel als backup hebben), deluxe audio strap + 3D printed connecties ervoor en mogelijk ook nog een andere facial interface, want ook daar was ik niet bepaald een fan van toen ik de Q2 probeerde. Conclusie is dat ik dan ruwweg uitkom op wat ik voor de G2 had betaald.

(En voor er iemand komt met dat de default strap prima is: Ben blij voor je dat het voor jou werkt, voor mij werkt het niet. Overigens de G2 zat wel weer prima qua draagcomfort. Was ook wel even wennen, maar verder zo licht als een veertje op je hoofd).

Met de Elite headstrap en het ontbreken van de kabel ben ik van een stoffige CV1 eigenaar naar een regelmatige VR gebruiker gegaan dankzij de Q2.

Met een fatsoenlijke GPU en FS2020 heb je iets wat daadwerkelijk VR een nieuwe ervaring maakt die je wil blijven doen. Met CV1 was het na een paar maanden wel klaar.

Ik zit precies vanwege FS2020 heel erg te twijfelen om een VR headset te halen.
Ik heb RTX 2070 Super erin zitten. Lukt het daarmee of is dat echt behelpen?

Ik speel zelf op een 3080 en beschouw dat op dit moment als de instapper voor FS2020 in VR... Met mijn 2080 Super was het nauwelijks te doen in 2020. Wellicht dat de optimalisaties het nu wel mogelijk maken maar bij de 2070 Super denk ik dat je performance te kort komt.

Ja, leek me ook wel. Thanks voor de insight.

Games zouden de feature bijvoorbeeld kunnen gebruiken om zombies in de woonkamers van gebruikers te plaatsen, schrijft het bedrijf.

Want buiten alle data, willen we graag ook nog de volledige indeling/inhoud van je woonkamer weten.. aldus Facebook.

Dat betekent volgens het bedrijf dat apps en games die de Passthrough-api gebruiken, deze camerabeelden niet zelf kunnen opslaan of bekijken.

'Oops.. toch wel, maar dat was een bug, we zetten het snel uit'.

Oculus weet dat natuurlijk al lang, daar werkt de tracking namelijk mee...

Opslaan is niet nodig, ze inventariseren gewoon je woonkamer en houden enkel de meta data bij.

Facebook weet de indeling van je huiskamer al sinds je de de oculus hebt gebruikt. Nu mogen alleen derden het ook via een aapje gebruiken

Er staat in het artikel dat apps en games geen mogelijkheid hebben om toegang te krijgen tot de camerabeelden.

Dat claimen ze inderdaad ja.

Die videobeelden zijn al in gebruik sinds dag 1 voor oa de tracking, alleen nu dus ook voor AR, wat overigens dus gewoon de OpenXR standaard gebruikt.

Wow is dat geen privacy bewust implementatie?

Ter informatie. Je kan Facebook ook extra geld betalen, zodat ze je gegevens niet gebruiken, namelijk met de "Oculus Quest 2 for Business". Daarvoor moet je ongeveer het dubbele betalen in aanschafkosten, en daarboven jaarlijks $180 aan extra kosten betalen. (Wel krijgen ze nog bij de jaarlijkse kosten je betaalgegevens in handen.) Dit geeft ongeveer een beeld van wat je persoonlijke VR gegevens bij Facebook bij waard zijn.

Nou dat quest voor business is wel even wat anders dan jij voorstelt. De normale Quest mag je niet voor commerciele doelen gebruiken bv, daarvoor heb je die business licentie nodig.

Wat dus betekent dat je bij aanschaf van dat apparaat niet de eigenaar ervan bent. Als jij de eigenaar bent, bepaal je zelf wat je met je product doet.

Dat was bij de vive in principe ook zo.

Je hebt op deze Oculus for Business geen toegang tot de consumenten markt, dus dit werkt niet zoals je zegt.

Ter informatie. Je kan Facebook ook extra geld betalen, zodat ze je gegevens niet gebruiken, namelijk met de "Oculus Quest 2 for Business". Daarvoor moet je ongeveer het dubbele betalen in aanschafkosten, en daarboven jaarlijks $180 aan extra kosten betalen. (Wel krijgen ze nog bij de jaarlijkse kosten je betaalgegevens in handen.) Dit geeft ongeveer een beeld van wat je persoonlijke VR gegevens bij Facebook bij waard zijn.

Ik snap niet dat mensen zo stom zijn om een VR Bril te kopen van Facebook, wanneer je genoeg andere keuzes heb, nee sorry ik moet echt helemaal niks van een bedrijf als Facebook.

Je hebt iets tegen facebook? Omdat ze oneervol data verzamelen? en deze gebruiken om geld te verdienen?

Dus Apple, Google, Microsoft, DGP media accounts zal je ook niet hebben (verzamelen ook data, en verdienen er bakken vol geld mee)

Ook geen Android hé, dus een domme foon, en je gaat ook slapen met alu hoedje?

Geen Assistenten, geen navigatie in de auto, geen wifi als je het huis uit gaat, al je camera's zijn afgeplakt, je microphones dicht gelijmd... en je hebt analoge TV (bij digitale tracken ze welke zender je kijkt).

Man, iedereen verzamelt data, Facebook iets meer dan anderen, maar geeft gratis diensten.

Ga ook niet naar de supermarkt, en betaal nooit met de pinpas...

Who cares wat FB over jou zou kunnen verzamelen, je merkt er zelf niks van.

Meeste mensen horen hier en daar wat dingen en denken het dan meteen de expert ergens in te zijn. Facebook heeft een hoop data van mensen verzameld enz, dus nu is het hip om anti facebook te zijn...

Maar wat jij zegt, een leven zonder dat iemand data van je verzamelt om bijvoorbeeld gerichte advertenties te plaatsen bestaat gewoon niet meer. En dat is al veel langer dan mensen zich waarschijnlijk beseffen, alleen is het nu allemaal veel transparanter.
En wat maakt het uit, een hoop mensen doen alsof ze het allemaal zoo erg vinden maar je merkt er helemaal geen zak van.

Ik heb nog steeds een facebook account (zit er alleen niet meer op), gebruik gewoon whatsapp en instagram en het enige wat ik zie is dat je op instagram gerichte advertenties hebt. Lekker boeiend.

Ik heb zo goed als niks van wat je opnoemt, Facebook is nooit voor de mens geweest, en weet een manier om zo veel mogelijk gegevens van je stelen, en door verkopen, en Googe gebruik ik ook zo goed als niks meer van, en Microsoft het zelfde, Android ga ik binnenkort helemaal van af, ga op Linux, navigatie gebruik ik niet, en ja me camera is afgedekt, heb niks voor niks de Logitech C925e gekocht toen, en ja ik heb een domme TV want heb de zogenaamde smart gedeelte niet op internet aangesloten, heb geen TV abonnement dus ook geen probleem, en pin gebruik ik ook niet in supermarkten, gebruik cash, en gratis bestaat niet, en als je iets niet merkt, betekent niet dat het geen kwaad doet, dat is lachwekkend, denken als je iets niet merkt het geen kwaad kan.

Heb verders een leuke dag nog verders, zal ik wel hebben.

Welke andere keuzes zijn er dan? Ik heb een Quest 2 omdat er gewoon geen stand alone alternatieven zijn..

javelinnl: Andere keuzes? Niet echt, welke andere stand-alone bril is er met dezelfde mogelijkheden, prijs en software aanbod?

Welke andere keuzes zijn er dan? Ik heb een Quest 2 omdat er gewoon geen stand alone alternatieven zijn..

DPVR M2 PRO
GenBasic Quad HD
HTC VIVE Focus
HTC Vive Cosmos
HP Reverb G2
Lenovo Mirage Solo
Pico Goblin
Pico Neo
Xiaomi MI VR

[Reactie gewijzigd door AmigaWolf op 26 juli 2021 00:08]

DPVR M2 PRO (ouder model ik zou de P1 pakken)
GenBasic Quad HD( model is niet te vinden)
HTC VIVE Focus(ongeveer 4 keer zo duur als de quest 2 daarnaas business model)
HTC Vive Cosmos(3 keer zo duur maar wel stand alone)
HP Reverb G2 (vergelijkbaar)
Lenovo Mirage Solo( niet langer ondersteund door fabrikant) lastig
Pico Goblin (model G1 is niet te krijgen G2 is business only)
Pico Neo (neo 2 only neo 3 is business en asia markets voor het meest)
Xiaomi MI VR (niet leverbaar in europa-import only)

van al deze keuzes zijn er een aantal die niet voor consumers te gebruiken zijn.
en van de gene die dat wel zijn is het china only of import met vieze instellingen die nog niet native ondersteunt worden in engels of uberhaupt in andere talen dan chineese of aziatishe markten

vergelijkbare modellen zijn
Banggood Pipo v2 wifi
Dell VRP100 VR
XRSpace Manova
DPVR P1

prijstechnisch wel maar spec verre van

[Reactie gewijzigd door Emula op 26 juli 2021 00:29]

Maakt niet uit dan nog zijn er andere keuzes zo als de:

HTC VIVE Focus
HTC Vive Cosmos
Valve Index
Pimax 5K Super
HP Reverb G2

Ook al zijn ze duurder of veel duurder, koop ik liever een van deze dan ooit iets van Facebook, en geef me Steam support over wat facebook heeft/geeft any day.

Wat bedoel je met 'Steam support'? Elk device van Oculus / Facebook heeft perfecte 'Steam support'???

Wat een onzin lijst.. sorry maar meeste niet verkrijgbaar en daarnaast totaal niet vergelijkbaar op enig punt behalve dan dat het allemaal VR Headsets zijn..

[Reactie gewijzigd door Antonie_Bouman op 26 juli 2021 09:45]

Andere keuzes? Niet echt, welke andere stand-alone bril is er met dezelfde mogelijkheden, prijs en software aanbod?

Ja of de prijzen zijn bewust stuk hoger om het dus te ontmoedigen

Is maar net hoe je ernaar kijkt.

[Reactie gewijzigd door marco-ruijter op 25 juli 2021 20:44]

De spellen kunnen het niet, FB zelf wel

Headset self verwerkt de beelden, dus word niks over gepomped.

Is de Quest 2 beter, mooier beeld dan de PSVR?

Het is echt een verschil van dag en nacht. Vooral de room scaling en geen kabels is een verademing.

En het berschil in beeldkwaliteit?

Helaas heeft de quest 2 geen oled, das dus wel een stap achteruit. Wel is het scherm veel hogere resolutie en refresh rate (tot 120hz) . De field of view is vergelijkbaar.

PSVR heeft denk ik meer zaken zoals particle effects.
Quest 2 beeld is een stuk scherper door de hogere resolutie.
Verder worden alle bewegingen een stuk nauwkeuriger gevolgd op de Quest, de PS move controllers zijn daarvoor gewoon te gedateerd.
Maar zoals johannes al vertelde is het gebrek aan kabels wel echt een vooruitgang.

100%. En draadloos te gebruiken met PC VR games. Dus een beetje best of all worlds tot PC VR brillen draadloos krijgen. Dat is echt wel de toekomst van VR.

Het is mij nog niet gelukt om een goede ervaring te krijgen met draadloos PC VR + quest2. Veel compressie artifacts en een vertraging. Bij hoofdverplaatsing merk je de vertraging en is direct misselijkmakend. En dat terwijl ik wel een goede wifi heb hier.

Ze doen echt niet veel meer aan de Rift S. Het is alleen nog maar Quest dr laatste tijd.

deze camerabeelden niet zelf kunnen opslaan of bekijken

Ik vraag me dan af als je de beelden niet kunt 'bekijken' hoe je AR toe kunt passen, want daarvoor heb je toch informatie van de image zelf nodig.

Handig in bijv racegames datt je de knoppen en scherm van je stuur echt kan zien

Ik snap niet dat de term ''monster pc'' voor VR nog steeds hier her en der op duikt. Dat is nog een beetje uit de tijd dat een GTX 970 een high end kaart was.