Qualcomm toont referentieontwerp van vr-bril met Snapdragon XR2-chipset

Qualcomm toont een vr-bril met zijn nieuwe Snapdragon XR2-chipset die als referentie voor fabrikanten moet dienen voor vr-brillen met de 5g-chipset. De bril heeft onder andere zeven camera's.

Het referentieontwerp is bedoeld voor virtual reality, augmented reality en mixed reality. Er zijn twee interne camera's voor eyetracking aanwezig. Daarnaast zijn er vier externe camera's, twee rgb-modellen voor mixed reality en twee voor headtracking en dieptemetingen.

Voor de 5g-connectiviteit bevat de XR2-chipset Qualcomms Snapdragon X55-modem, en de 5g-ondersteuning moet onder andere verbindingen met lage latency mogelijk maken. Daarnaast noemt Qualcomm de mogelijkheid verbindingen via 60GHz naar een pc op te zetten. Dit verloopt zeer waarschijnlijk via de 802.11ay wifi-standaard.

De bril ondersteunt spraakbediening en biedt een weergave van 2kx2k-beelden per oog. Daarnaast is 6dof-tracking van partnerbedrijf Northern Digital aanwezig voor controllers, evenals embedded eyetracking Tobii.

Reacties (28)

[Simkin]

Bij de aankondiging van de chipset hadden ze het over 3kx3k, enig idee waarom dit nu niet benut wordt?

Het platform kan een resolutie van maximaal 3k bij 3k per oog op 90fps verwerken, luidt de claim, en 360-gradenbeelden van 8k op 60fps streamend of lokaal tonen.

[SuperDre]

Voor zover ik begrijp is er helemaal geen specs nog vrijgegeven wat deze referencemodel werkelijk aan kan, dus hoe ze op 2k x2k per oog uitkomen is voor mij een raadsel, zeker omdat er ook gestelt wordt dat deze chipset 8k aan kan.

[jimshatt]

Ik heb geen ervaring met VR, dus misschien een domme vraag, maar hoe komt dit apparaat aan z'n content? Heeft elke fabrikant zijn eigen store?

[eltweako]

Ja, elke fabrikant heeft helaas zijn eigen store. Je installeert de content ook lokaal op de bril.
Oculus heeft zijn eigen store voor content voor de Quest. Als je deze op de pc aansluit, of een van de PC brillen hebt (Rift) dan kun je gebruik maken van zowel Oculus als Steam VR.
Op de bril zelf kun je officieel alleen content kopen via de ingebouwde store. Vaak zijn het ook nog eens afwijkende versies van de PC, waardoor je de content nog een keer mag kopen.

Vaak draaien ze een vorm van Android, dus kun je bij de brillen ook sideloaden. Op die manier kun je ook content draaien die niet in de store van de fabrikant staat of die je ergens anders gekocht hebt.

Zaligmakend is het niet, maar een VR-ervaring zonder kabels is wel een heel vooruitgang.

[Reactie gewijzigd door eltweako op 23 juli 2024 19:44]

[NrFive]

Wat @eltweako zegt, helaas eigen stores. Klein lichtpuntje als je bijv. kijkt naar Oculus Quest, deze kan middels een USB-C 3.0 kabel verbonden worden met je PC en fungeren als PCVR, zie ook Oculus Link pagina.

Daarnaast kan je met de Oculus Quest 'm instellen als "developer device" (registeren via Oculus website als dev. en een vinkje aanzetten in de app), waarna je spellen kan sideloaden. Meest populaire manier hiervan is via een programma genaamd SideQuest. Hiermee al prachtige dingen voorbij zien komen, o.a. Half-Life en Quake middels VR (zonder snoer!). Via deze manier kan je dus ook custom songs laden voor spellen zoals Beat Saber.

[Tummie555]

Ziet er echt fantastisch uit qua specs. Ik ben bang dat de "high end pc-tethered vr headsets" steeds langzamer ontwikkeld gaan worden totdat dit soort full-freedom vr headsets het grote publiek voor zich hebben gewonnen. Daarna wordt zal het wel weer aanwakkeren, maar het geduld van de harde kern zal op de proef gesteld worden.
Overigens is de kans groot dat VR uiteindelijk dit gaat worden: Cloud-based streamen van games en dan via lokale 5g naar volledig draadloze headset.

Aldus deze koekenbakker.

[Tripledad65]

Het is een beetje console vs PC all over again. Er is ruimte voor beide in de markt. Zo zal er lijkt mij voor de afzienbare toekomst nog steeds behoefte blijven aan PC based VR, console based VR en stand-alone VR.
Ik denk wel dat PC en console based VR op redelijk korte termijn untethered zullen zijn. Dat is dan een ernstige concurrent voor de stand alone head sets. Die hebben namelijk alleen nog als pluspunt dat je ze kan meenemen.
Cloudgaming zie ik voorlopig niet doorbreken.

[BikkelZ]

Rare zaak dat ze wel investeren in VR maar de markt voor non-Apple wearables verder dood laten bloeden.

[mikesmit]

Dit voorspeld ook geen zekere toekomst voor de VR chipsets natuurlijk

[Depeet55]

Is een prachtig verhaal en het klinkt geweldig. Zal nog wel een paar jaar duren voor deze bril ook echt te koop is. Een computer met een 5G-netwerkkaart?..

[SuperDre]

Nee hoor, verwacht maar dat er eind dit jaar modellen hierop gebaseerd op de markt komen.

[boner]

Even een vraag van een niet gamer. Ik vind het vervelend dat iedereen in de tv-hoek naar dezelfde content op hetzelfde moment moet kijken. Ook lopen er steeds mensen door het beeld, bijvoorbeeld met koffie en chips en dat gebeurt altijd op het moment dat het slecht uitkomt. Liefst vlak voor een doelpunt of de clou van een thriller. Ik denk dat er meer mensen zijn die dit herkennen. Ook moeten we steeds de tv op pauze zetten, kan tegenwoordig gelukkig, als er iemand naar de wc moet.

Of de een wil voetbal kijken en een ander naar een film.

Dan nu de vraag: kunnen we niet op een simpeler VR bril individueel naar tv kijken? Eigen beeld waar niemand doorheen loopt. Eigen geluid, dus de een wat harder en de ander wat stiller. De een kijkt stream-a en de ander naar stream-b.

Zijn die er? Of is alles incompatibel?

[Simkin]

Dat kan met 3d tv's, sommige merken ondersteunde dat. Ene bril kreeg beeld x, andere bril beeld y. Zie bvb https://mashable.com/2013/01/07/samsung-mulit-view-tv/

Voor headsets kijkt iedereen zijn eigen stream, ik ga ervan uit dat je vraag niet daarover ging

[DeanXeL]

Natuurlijk kan dat. Ik ben geen expert, maar ga er van uit dat er wel apps zullen bestaan voor een heleboel zenders of content providers. Dan kan je daarmee dus op je neus kijken naar wat je wilt, Netflix, sport,...

Het enige wat ik daarbij wel ga zeggen is dit: TV-kijken is vaak juist voorzien als een sociaal gegeven. Denk je dat het leuk zal zijn als iedereen in de sofa zit met z'n eigen bril op, in z'n eigen wereldje te kijken naar z'n eigen programma? Als je niet hetzelfde wilt kijken als iemand anders in huis, kan je nu ook al vrij eenvoudig met een laptop of tablet gewoon ergens anders gaan zitten, of gewoon ernaast in de zetel maar met een koptelefoon op. Dan kan je wel nog altijd elkaar zien en met elkaar babbelen.

VR-brillen zijn hier dus MOGELIJK, maar het is zeker niet de meest gezellige use-case.

[vetpannl]

Ik heb zelf een Oculus Quest en daarop VR Desktop, hiermee stream ik draadloos de VR games van mijn PC met nagenoeg geen lag naar mijn Quest, dit komt mede door Oculus Time Warp. Je moet wel een SideQuest versie downloaden om VR gaming te activeren ( Oculus blocked dit ivm concurrentie met link kabel ). Maar het is zeker vandaag de dag al mogelijk Cloud VR. Zie ook deze video waar iemand met een shadow cloud PC VR speelt.

[SpiceWorm]

Het grootste nieuws van dit bericht is de embedded eyetracking!

Eye tracking maakt foveated rendering mogelijk. Dat maakt dat de grafische kwaliteit enorm omhoog kan zonder dat je veel meer processing power nodig hebt. Het haalt het moment dat we volledig dmv ray casting de virtuele wereld kunnen renderen en dus fotorealistisch renderen met flinke stappen dichterbij.
Dat dit in een entry level VR bril zit is veelbelovend!

Ik weet niet zo goed wat je met 5g moet in een VR bril, cloud rendering wellicht maar dat lijkt mij een scenario voor de verre toekomst.


Edit: iets te snel, de bron heeft het over "Compatibility with embedded eye tracking from Tobii includes Tobii Spotlight Technology™ for foveated rendering which helps optimize system resources."
Dus dit lijkt mij meer een optie, "compatibility" lijkt mij wat anders dan "build in".

[Reactie gewijzigd door SpiceWorm op 23 juli 2024 19:44]

[SuperDre]

'enorm' is overdreven, want ook eyetracking en foveated rendering heeft ook zo zn problemen.

[SpiceWorm]

Zoals wat dan?

[SuperDre]

De Tobii Eyetracking heeft vaak genoeg last van 'lag', en dan loopt dus de foveated rendering iets niet 'scherp' te renderen terwijl jouw oog daar wel al naar kijkt..

[SpiceWorm]

Hm ja dat zou de tobii eyetracking in z'n huidige vorm niet geschikt maken voor fofeated rendering. Wellicht kan een 2e generatie oogtrackers dat wel.

[SuperDre]

Dat zou kunnen, de LYNX R-1 headset bv gebruikt een nieuw soort lenssysteem waarbij de camera voor eyetracking gewoon recht voor het midden van het oog geplaatst kan worden (verder maakt die headset ook gebruikt van deze XR2 chip).

[Caelestis]

Vertraging van rendering. Je GPU moet reageren op eye tracking om te weten wat het moet renderen naast de normale input lag wat je al heb van je controllers.

[SpiceWorm]

Volgens de journalisten die zo'n systeem gebruikt hebben is de response instant en zien ze geen verschil tussen foveated rendering aan en uit.

Hoe kom je er bij dat dit een probleem is als ik vragen mag? Werk je met dit soort headsets? Ontwikkel je ervoor en loop je tegen deze beperking aan? Of denk je dat eye tracking latency met zich mee brengt vanwege de gebruikte techniek? Ik hoor 't graag van je.

[Caelestis]

Welke VR bril heeft Foveated Rendering beschikbaar dat een journalist kan testen? En in hoeverre zijn die journalisten geschikt om daar over te oordelen? Ik hoor 't graag van je?

[SpiceWorm]

Er zijn meerdere prototypes beschikbaar waar o.d. tested naar gekeken heeft. Er zijn er wel meet maar specifiek kan ik mij niet herinneren.
Dat beoordelen kan iedereen die ogen heeft - als het er met foveated rendering is gerenderd zie je als het goed gedaan is geen verschil maar is de load duidelijk lager. Eenvoudig genoeg te checken door een techjournalist. Staan genoeg voorbeelden op youtube.

[SuperDre]

De HTC Vive Pro Eye, maar je kunt dus ook de Tobii eyetrackers installeren in de originele Vive (Pro). Maar er zijn dus wel degelijk problemen zoals dat die tracking je ogen niet altijd bijhouden en dan dus omdat foveated rendering nog iets wazig heeft gerenderd waar je al met je oog naar kijkt.
Enuh, als er geen verschil te zien is tussen met of zonder, waarom zou je dan met gebruiken... Foveated rendering is vooral interessant op tragere hardware, maar daar komt wel weer bij dat er genoeg processing power moet zijn om de eyetracking te kunnen afhandelen..
En de Tobii eyetrackers zijn niet zo goedkoop, dat is ook de reden waarom je nog geen eyetracking in consumer headsets ziet, en alleen als extra in de 'professionele' versies.

[SpiceWorm]

Natuurlijk is het nuttig om de techniek te gebruiken ookal zie je geen verschil - een lagere load op je gpu geeft ruimte voor ontwikkelaars om de grafische kwaliteit op te schroeven