Meta Quest-headsets krijgen ondersteuning voor Apples Spatial Video

De Meta Quest Pro, Meta Quest 2 en Meta Quest 3 kunnen Spatial Video-opnames afspelen. Dat kan door Spatial Video-opnames te uploaden naar de headsets via de Meta Quest-app op een iPhone 15 Pro of iPhone 15 Pro Max.

Meta schrijft dat de v62-update in de komende weken wordt uitgerold. De Spatial Video-opnames kunnen worden geüpload naar de headset via de Meta Quest-app op iPhone 15 Pro- en Pro Max-telefoons. Als de video is geüpload, wordt de inhoud geconverteerd voor weergave op Meta Quest-hardware en opgeslagen in de cloud, legt Meta uit. Het bedrijf stelt demovideo's beschikbaar die de gebruiker 'een voorproefje moeten geven van de functie'. De video's staan in het Files-menu onder het kopje Spatial Video.

Ook voegt Meta ondersteuning toe voor meer controllers, waaronder PlayStation- en Xbox-controllers. Daarnaast is de ondersteuning van PlayStation 5 DualSense Wireless-controllers en PlayStation 4 DualShock-controllers verbeterd, volgens Meta. Facebook Live Streaming is beschikbaar voor alle Quest-gebruikers en tijdens het livestreamen via YouTube is de chat zichtbaar. Bij het laatste kan het tonen van de chat worden in- en uitgeschakeld.

Verder worden zogeheten Quick Actions toegevoegd. Hiermee kunnen gebruikers bepaalde acties uitvoeren door naar hun hand te kijken en een bepaald gebaar te maken. Door te knijpen kan de gebruiker bijvoorbeeld het algemene menu tevoorschijn halen of verbergen. De besturing van de Apple Vision Pro, die 2 februari op de Amerikaanse markt is verschenen, werkt eveneens met handgebaren.

Meta Quest Spatial Video
Bron: Meta

Door Loïs Franx

Redacteur

02-02-2024 • 10:09

61

Reacties (61)

Sorteer op:

Weergave:

Ik ben hier dus eens even ingedoken.
‘Spatial Video’ uses the MV-HEVC format and currently records at 1080p30 which can be viewed either stereoscopically or monoscopically (like any common video).
Bron. MV-HEVC staat dan weer voor Multiview High Efficiency Video Coding, en is standaard van het Fraunhofer Heinrich Hertz Institute.
Already during the initial phase of HEVC, multi-layer extentions were planned and the proper hooks were included into the base specification.

The JCT-3V was established to work on multiview and 3D video coding extensions of HEVC and other video coding standards.

The multiview extension of HEVC (MV-HEVC) provides support for coding multiple views with inter-layer prediction. It is was designed as a high-level syntax only extension to allow reuse of existing decoder components.

MV-HEVC is included in the second version of HEVC, which was finalized in October 2014.
Het mooie is dus dat HEVC ontworpen is met multi-view in gedachten, en daarom het meer is dan gewoon een wrapper om een paar verschillende videostreams heen. Het deelt daadwerkelijk informatie tussen de streams (inter-layer prediction), en daarmee hoeft het dingen die beide camera's zien dus niet twee maal op te slaan.

De video's kunnen ook relatief makkelijk op een "normaal" scherm afgespeeld worden, dan wordt gewoon maar een van de twee streams getoond (vaak die van het linkeroog).

Waarschijnlijk kan de hardware van de iPhone 15 Pro's wel meer aan dan 1080p30. Toch zou ik het gek vinden als dat een hardware beperking is, gezien Apple al meerdere generaties in 4k60fps encodeerd. De bottleneck zal dus ook misschien niet het encoden zelf zijn, maar het visueel transformeren van de streams van de iPhone camera's naar streams voor twee ogen. Er zitten namelijk niet precies twee camera's op oogafstand op een iPhone (en afstand tussen ogen verschilt onderling, ik weet niet hoe groot dat probleem is en of/hoe ze het oplossen). Het zou me niet verbazen als in toekomstige apparaten daar aparte hardware voor wordt ingebouwd, wellicht als onderdeel van de ISP of Neural Engine.

Echter, het lijkt nog niet of Apple echt goed gebruik maakt van MV-HEVC inter-layer prediction:
Use Camera on iPhone 15 Pro and iPhone 15 Pro Max to record spatial videos and then relive the memories in three dimensions in the Photos app on Apple Vision Pro. You can view spatial videos in two dimensions on any of your other Apple devices and share them just like regular videos. Spatial videos are recorded at 1080p at 30 fps in SDR. One minute of spatial video is approximately 130 MB (one minute of regular 1080p 30 fps video is approximately 65 MB).
Verder kwam ik nog een app tegen om Apple's Spatial Video's om te zetten naar "standaard 3D".

Ik ben benieuwd hoe dit zich verder ontwikkeld, en wanneer Apple andere fabrikanten toelaat / certificeerd om spatial video op te nemen. Ik kan me voorstellen dat met een Canon RF 5,2mm F2.8L Dual Fisheye-Lens je een heel eind moet komen.
Oh cool!!

Nu nog de mogelijkheid om spatial video's op te nemen op apparaten anders dan die van Apple. Op Android moet dit ook kunnen immers. Technisch zijn daar geen redenen voor dat dat niet zou kunnen.
De besturing van de Apple Vision Pro, die 2 februari op de Amerikaanse markt is verschenen, werkt eveneens met handgebaren.
Nou het enige handgebaar op de vision pro is momenteel het samenknijpen van duim en wijsvinger om dingen aan te klikken, en het scrollen door de hand te bewegen terwijl je dat doet. Dit zijn precies twee handgebaren die allang op de Quest beschikbaar waren, al sinds de handtracking werd toegevoegd een jaar of twee geleden. Er worden er nu wat aan toegevoegd die de vision pro juist niet heeft.

Het enige gebaar wat de Vision Pro doet en de Quest niet kan, is kijken naar iets en dan "aanklikken" met duim en wijsvinger. Maar de Quest 2/3 hebben gewoon geen oogtracking hardware. De pro wel maar die heb ik niet dus ik weet niet of die dat kan.

[Reactie gewijzigd door Llopigat op 22 juli 2024 21:24]

He, je kunt er ook windows mee verplaatsen en groter en kleiner maken ;)
Ja maar het zijn dezelfde gestures, je moet alleen naar een ander punt kijken (de streep onder het window of in de hoeken respectievelijk)

Wat meta hier introduceert zijn andere handbewegingen.

[Reactie gewijzigd door Llopigat op 22 juli 2024 21:24]

Wat je benoemt is wel echt een wezenlijk verschil:

AVP: gaze als aanwijsapparaat, handgebaar als invoer,
Quest: handbeweging als aanwijsapparaat, handgebaar als invoer,

Neemt niet weg dat de Quest niet eerder was, maar gaze-input lijkt me het magische deel van de oplossing, en iets dat in volgende Quest-brillen niet kan ontbreken. Ik vind de Quest implementatie wel prettiger en directer werken, zoals touch-screens ook directer werken dan een muis op het bureau.
Het is helemaal niet zo 'magisch', zoals de meeste reviewers zeggen is het juist onhandig dat je constant moet kijken naar wat je wil aanklikken. Terwijl dat normaal iets is dat je niet continu doet. Ik vind het geen fijne keuze, maar ik zou zoiets toch met een toetsenbord en muis gebruiken. Wat de Quest doet vind ik ook niet fijn.

Zoals The Verge zegt vind ik het heel goed verwoord:
But the next few times you use hand and eye tracking, it stops feeling like a superpower — and in some cases, it actively makes using the Vision Pro harder. It turns out that having to look at what you want to control is really quite distracting.

Think about every other computer in your life: the input mechanism is independent of whatever you’re looking at. On a laptop, you can click on controls and use the keyboard while keeping your focus on a document. On a phone, you can do things like drag sliders in a photo editing app while keeping your eyes focused on what those changes are actually doing to your photo.

The Vision Pro simply doesn’t work like that — you have to be looking at something in order to click on it, and that means you are constantly taking your attention away from whatever you’re working on to specifically look at the button you need to press next. I spent some time playing a lovely little game called Stitch that quickly became maddening because I kept looking away from the piece I wanted to move to the place I wanted to move it, which meant I wasn’t picking it up when I tapped my fingers.

[Reactie gewijzigd door Llopigat op 22 juli 2024 21:24]

Ik geef je 100% gelijk. Enkel Gaze-input is ruk en killt productiviteit. Maar je kunt niet ontkennen dat het een ongekende mogelijkheden met zich meebrengt. Het moet geen aanwijsapparaat zijn, maar kan een groot deel van de gebruikersintentie tonen. Goed te vergelijken met het feit dat je in windows kunt scrollen in niet-actieve schermen door er met je cursor boven te hoveren.

Ik stel me een toekomst voor waar gaze-input bovenliggende informatie op laat vragen, maar je actieve input nodig hebt om daadwerkelijk te bedienen. Voorbeelden: kijken naar de lucht om (niet intrusive) informatie over het weer te zien, kijken naar de magnetron om resterende tijd (groter) te bekijken, of huidige temperatuur te bekijken, maar daadwerkelijk met handen gebaren om te bedienen.
Ik denk dat dat soort cameras dit jaar al op de markt verschijnen, b.v. GoPro achtige dingetjes. Echte 3 D cameras zijn er overigens al veel langer.
Met de QuestGamesOptimizer is "3D capture" al mogelijk.

[Reactie gewijzigd door Prince666 op 22 juli 2024 21:24]

Nu nog de mogelijkheid om spatial video's op te nemen op apparaten anders dan die van Apple. Op Android moet dit ook kunnen immers
Als ik online zoek blijkt dat "Apple Spatial Video" natuurlijk gewoon standaard 3D video is, en daarvoor gebruiken ze het formaat MV-HEVC (in een ISO-BMFF container, zoals altijd gebruikt Apple hier de MPEG standaarden).

In principe houdt niets je dus tegen om met een ander apparaat 3D videos te maken die je op de Vision Pro kan bekijken... behalve dus dat 3D video op smartphones een totale flop was, en daarom zijn alle fabrikanten er ook heel snel mee gestopt. Bij mijn weten was de laatste smartphone met 3D video de HTC EVO 3D uit 2012. Wat me aan dat toestel opvalt is dat, hoewel deze telefoon al 12 jaar oud is, de resolutie relatief dichtbij die van de iPhone 15 Pro liggen: 720p 30 fps op dit fossiel vs 1080p 30 fps op de iPhone 15 Pro. Ik vraag me oprecht af waarom de iPhone 15 beperkt is tot zo'n lage resolutie bij het opnemen van 3D video's.

Edit: Ik vind het best opvallend dat de iPhone 15 Pro slechts 1080p30 aankan in 3D video. Zeker omdat de SoC in principe wel de rauwe kracht heeft om meer data te verwerken (bij gewone video kan hij wel 4K60 in HDR aan, oftewel 5x meer bandbreedte). Omdat de rauwe kracht er wel is vermoed ik dat er een suffe beperking is in de SoC. Vermoedelijk is de media engine simpelweg niet gebouwd om 2 streams tegelijk te encoden: als je hardware encoder 4k60 aankan heb je wel de rauwe kracht voor 2x4k30, maar als de hardware encoder simpelweg geen 2 simultane streams aankan werkt het niet.

Dit doet me een beetje denken aan hoe de iPhone 15 geen 3D video kan opnemen: de reden hier is dat de lenzen diagonaal staan, wat stereoopnames onmogelijk maakt. Als ze verticaal stonden had het gewoon gekund, een domme ontwerpfout dus die een hele feature blokkeert.

Deze twee beperkingen geven mij een beetje het gevoel dat Apple 3D video als feature gerusht heeft en pas op het einde toevoegde aan de Vision Pro, of de release ervan recent naar voren trok: deze Apple VR headset wordt al jaren gepland, dus het is heel erg on-Apple dat de meest recente iPhone 15 Pro niet de mooiste beelden kan maken om erop te kijken.

[Reactie gewijzigd door kiang op 22 juli 2024 21:24]

Je hoeft echter niet naar je handen te kijken om daar gebruik van te maken… Handtracking op Apple Vision is wat dat aangaat wel een klasje verder ook aangezien het hele OS geen controller nodig heeft.
Dat hoeft bij de Quest ook niet hoor? Die ziet ook veel meer met de camera's dan alleen waar jij op dat moment naar kijkt. Ik geloof best dat de hand tracking op de vision pro beter zal zijn (mag ook wel voor dat geld) maar ik denk niet om die reden...

Overigens ben ik er ook nog niet van overtuigd dat het wel zo'n voordeel is om zonder controllers te werken. Voor veel toepassingen zijn knoppen gewoon veel fijner denk ik. Ja het is een extra iets om op te pakken als je de bril opzet, maar dat voordeel verkwanselt de vision volledig door vervolgens een losse accu te hebben die je aan moet koppelen en dan nog moet booten, of er aan moet laten hangen terwijl je hem af- en op zet. Ik denk dat ik mijn Quest pro uiteindelijk sneller op mijn hoofd heb en bezig ben met de controllers.

Als je de boel koppelt met een muis en keyboard dan is het wel handiger om geen controllers in je handen te hebben maar dat kan de Quest ook... Het voelt voor mij eerder als een beperking van de Apple dat je geen controllers kúnt gebruiken.
We gaan het meemaken. Ik ben er persoonlijk van overtuigd dat het kijken en knijpen UI principe van de Vision Pro de standaard gaat zijn. Als ie beter wilt typen pak je een toetsenbord, als je precies wilt werken in een app een muis. Basis navigatie werkt dan met eye-tracking en vingers knijpen. Als je goed oplet merk je dat de handtracking op de Apple Vision heel goed is, maar tegelijk is erg weinig handbeweging nodig is om de boek te bedienen. Je computer bedien je ook niet met controllers, maar met point en click. Precies dat is hier vervangen door kijk en knijp. Sneller gaat niet, immers je kijkt sneller dan je kunt muizen.
Dus voor licht gebruik kun je het apparaat gebruiken zónder extra hardware. Wil je echt productief zijn of gamen, pak je een toetsenbord, muis of gamecontroller.
Leuk om te zien dat de introductie van Apples headset alleen maar verbeteringen brengt voor de quest 3. Hoop dat we straks ook meer 3d films kunnen streamen.
Ook voor 3D projectors, eindelijk dan 4k 3D, ipv 1080p :)

[Reactie gewijzigd door FireStarter op 22 juli 2024 21:24]

Ook als Apple fan vind ik dat geweldig. Dit is een markt in wording en alles wat vanuit de Vision doorsijpelt om producten tegen lagere kosten breder toepasbaar te maken maakt dat deze markt kan gaan groeien. En als die markt groeit komen er meer spelers, meer producenten die investeren in benodigde techniek en daarmee schaalvoordeel waarmee de productiekosten per onderdeel, per product omlaag kunnen.
Daarbij heeft dit nieuws mij nieuwsgierig gemaakt naar manieren om nu al mijn Spatial Video opnames te kunnen kijken.
Zo kwam ik op een app ‘Spatialify’ die een Spatial Video stereoscopisch kan weergeven op je telefoon. En toen vond ik mijn Google Cardboard terug. In één woord geweldig! Zelfs met de pauper plastic lensjes én duidelijk dat dit niet helemaal het format is; ik zie voor het eerst eigengemaakte 3D video, het effect is zeer duidelijk en overtuigend en met airpods in versterkt zelfs stereo geluid het ruimtelijke gevoel.
Hoewel ik geen iPhone heb en waarschijnlijk ook niet snel zal nemen, vind ik dit wel een gave cross platform dienst.
Natuurlijk heeft Apple hier baat bij, want zij zijn op dit moment de enige die dit hebben (en voor de niche die dit willen op een niche VR device), maar dan nog, gebeurt het erg weinig dat Apple en Meta dergelijke functies met elkaar werkend maken.
Ik hoop dat dit ook voor Android komt op niet al te lange termijn, biedt voor mij echt extra meerwaarde om van een mooie reis dergelijke beelden op mijn VR bril opnieuw te kunnen ervaren.

Handgebaren zoals beschreven waren al op de Quest 3 since release beschikbaar, dat is niet nieuw met deze patch.
De spec voor spatial video is in principe een open-spec, dus iedereen zou dit kunnen maken en toe kunnen passen in hun 3D omgeving.
Maar hier heeft Apple niets mee te maken, deze 'spatial'video's zijn in een standaard formaat die al langer bestaat, een standaard waar Apple niets mee van doen heeft, ofwel de titel is gewoon fout.
Krijg vandaag mijn quest 3 binnen.
Erg benieuwd naar hoe VR ontwikkeld is de afgelopen jaren, laatste keer dat ik het probeerde was de originele PSVR toen die gloednieuw was op een gamingconventie.
Succes ermee en geniet ervan!
Heb de quest3 nu een paar maanden en stelt niet teleur. Veel plezier ermee.
Dat is een wereld van verschil. Een originele PSVR is als gamen door een beslagen skibril
Wat zijn spatial videos? Want zelfs de website van Apple is vaag over het concept, behalve dat het "a groundbreaking new capability that helps users capture life’s precious moments" is.
https://www.apple.com/new...capture-on-iphone-15-pro/
Dat zijn videos geschoten met 2 lenzen die daarmee een soort 3D beeld genereren. Echt 3 D is het niet, je kunt er niet omheen lopen, maar vanuit dezelfde hoek bekeken als waarvandaan het beeld is gemaakt, zie je links en rechts en wat ander beeld en daarmee diepte.
Word gemaakt dmv de sensoren om een depth map te maken. Lenzen staan te dicht bij elkaar voor stereoscopisch beeld
Die helpt mee om de te kleine afstand tussen de lenzen te corrigeren. Ben overigens verbaasd dat Apple die lenzen niet verder uit elkaar geplaatst heeft op 2 eilandjes, dat zal dan wel in 16 of 17 komen…
Ik heb gisteren de app ‘Spatialify’ gebruikt en het stereoscopisch beeld is toch echt opgenomen. Spatialify geeft een spatial video weer als twee beeldjes naast elkaar op je telefoonscherm. Die oude Google Cardboard kwam ineens weer van pas.
Het effect is geweldig.
Ik weet overigens niet of the depth sensor uberhaupt een rol speelt.
De lenzen staan iets uit elkaar en nemen op op een 4K sensor. Uit de 4K wordt een 1080p beeld opgenomen uit elke lens. Ik denk dat ze daarmee de beperkte afstand tussen de lenzen corrigeren; Voor de linker lens het meest linkse deel van de sensor, voor de rechter lens het meest rechtse deel van de sensor.

[Reactie gewijzigd door nms2003 op 22 juli 2024 21:24]

Dat bedoelde ik ook te zeggen, maar in plaats daarvan is het waarschijnlijk beter de lenzen op oogafstand te plaatsen, dus 6 cm of zo. Met mobieltje horizontal gehouden lijkt me dat goed mogelijk, verticale opnamen kunnen dan niet.
Het is reclameterm voor stereoscopie.
Ik heb mijn 2e hands Quest 3 nu een weekje en ben er zeer van onder de indruk. Als ik kijk hoeveel functionaliteit van de Vision Pro er ook in de Q3 zit tegen een fractie van de prijs, dan ben ik er zeer tevreden over. MKBHD was erg onder de indruk van hoe strak een venster of object in de ruimte bleef staan als je je hoofd beweegt, maar dat is bij de Q3 ook perfect. Ik ben er heel blij mee. Nu nog even de Bobovr M3 Pro binnen krijgen.
Hoei! Ik zou voor de S3 Pro Super Strap gaan, met betere batterijen. Bereichten over de M3 pro waren, na aanvankelijk enthousiasme niet zo goed, omdat de batterijtechniek voor de Quest2 en andere VR sets gebruikt is. De Quest3 verbruikt meer.
Ik heb een boel reviews gezien en denk dat de M3 Pro voor mij voldoende is. De S3 Pro is toch weer aardig wat duurder. Maar zeker mooi. Al een zeer positieve review van gezien.
Ik heb net de s3 pro voorbestemd voor €88,41, incl. shipping naar Duitsland, op de Bobovr site zelf.

[Reactie gewijzigd door batteries4ever op 22 juli 2024 21:24]

Ik zie persoonlijk nogsteeds het nut van de vision pro niet en dit ondersteunt die gedachte alleen nog maar meer. voor 3500 euro een "spacial compute" (oftewel gewoon een VR bril) is de prijs niet waard als je ziet wat de quest 3 of quest pro kunnen voor een fractie van de prijs. Nu zeker omdat meta kan leren van de software trucjes die apple gaat toevoegen en daar een eigen versie van gaat uitbrengen. Apple mist ook nog de WOW factor, het is voor nu een gimmick apperaat. Video conferenties, werken in een viruele omgeving, films kijken op een "groot" scherm, internet browsen. Er is gewoon niet iets wat het echt aantrekkelijk maakt, zeker niet voor deze prijs.
Ben wel benieuwd waar deze nieuwe "feature race" naar toe kan gaan
Interessante beschouwing. Voor mij is het net andersom. De Apple Vision Pro biedt een visie van wat komen gaat. Dit is de eerste versie waarin de minimale technische eigenschappen zijn gerealiseerd en het user interface paradigma wordt gepresenteerd. De schermen zullen ooit een nog hogere resolutie krijgen, stroomvoorziening zal wellicht ooit anders mogelijk worden, gewicht zal omlaag gaan en de prijs ook zodra er verschillende productsegmenten als Apple Vision, Vision Air, Vision SE ontstaan.
Echter de basis staat; dit is het ‘minimum delightful product’ (MDP) qua techspecs. Met voldoende resolutie, juiste helderheid schermen, acceptabele lichtgevoeligheid camera’s, gedetailleerde eyetracking, handtracking, ultra lage latency door de R1 chip die alle sensor input in synch houdt met wat het scherm je laat zien. Maar het belangrijkste, waar al die techniek ondergeschikt aan is; het interactie model dat werkt zonder extra hardware, contollers.
Net als destijds met de Mac en iPhone. Na ‘point and click’ met de muis, ‘touch and swipe’ met touchscreen is er nu ‘look and pinch’ voor spatial computing.

Ik heb naar aanleiding van dit nieuwsbericht gekeken naar de Quest 3, maar dat staat voor mij echt te ver af van het MDP dat Apple zojuist heeft gelanceerd. Zowel qua techniek als interactiemodel. Ik wacht de ontwikkelingen geduldig af en kijk tot die tijd mijn Spatial Video’s via mijn Google Cardboard met de Spatialify app ✌️
En qua prijs is de Vision Pro een “koopje”; het dichtst in de buurt van de Vision Pro komt de Varjo, maar daar mag je €5000+ voor neertellen en dan moet je er wel nog een computer op aansluiten die het apparaat überhaupt kan aansturen. Reken voor het gemak er nog minimaal €1500 bij op.

[Reactie gewijzigd door nms2003 op 22 juli 2024 21:24]

Daar verschillen we inderdaad in, de snufjes van de Vision pro zijn technologish interessant maar niet speciaal genoeg voor de prijs. Voor een bedrijf wat vaak voor innovatie zorgt is dit een beetje een misser. Iphone en Mac waren grote gamechangers voor hun tijd maar de vision pro past naar mijn idee niet in dat rijtje, tuurlijk het ziet er flashy uit en doet wat mensen misschien nog nooit gezien hebben maar in werkelijkheid zitten veel van deze features al in verschillende VR brillen. Hand tracking, AR passthrough, eye tracking (niet op de quest 3, daarom zeg ik verschillende brillen) en virtual desktops. Waar de vision pro verschilt is hoe ze deze dingen uitvoeren. De "look and pinch" is inderdaad een "nieuwe" feature omdat dit een variant is op bijvoorbeeld de handtracking van de quest 3 en pro. Waar de 3 en pro de vingers/hand volgen en op basis van mikken en pinchen je kan interacten met een object in de virtuele omgeving heb je bij de apple vision pro hetzelfde idee maar dan met je ogen. Kan je de ene beter noemen dan de ander? Ik denk het persoonlijk niet maar in de vergelijking vision pro vs quest mis je voor die 3000 euro niet veel. Om varjo die een veel profesioneler stukje markt heeft in de vergelijking te gooien is een beetje oneerlijk al komt het qua prijs dichterbij. Maar om een consumer headset te vergelijken met een industiële/commerciele headset klopt niet helemaal met de marketing van apple
mooi, nu nog netflix in de browser kunnen afspelen en dan is dat gezeur ook gedaan...
Titel is fout, want het is niet Apple's spatial video's, het is een reeds langer bestaand standaard formaat.

Op dit item kan niet meer gereageerd worden.