Nvidia demonstreert prototype van lightfield-vr-bril

Nvidia heeft op de Virtual Reality LA-beurs een prototype getoond van zijn vr-bril, die werkt met lightfield-technologie. Het bedrijf werkt samen met Stanford University aan de bril, die gebruikers in staat stelt om op elk gewenst punt op het scherm scherp te stellen.

Er is nog niet veel nieuwe informatie bekend over de bril, anders dan een aantal foto's die de site Tweaktown in zijn bezit heeft gekregen. Nvidia werkt sinds vorig jaar samen met Stanford University aan het project, dat de naam 'Light Field Stereoscope' draagt. De vr-bril moet gebruikers in staat stellen om op natuurlijke wijze scherp te stellen op objecten, afhankelijk van afstand. De bril maakt gebruik van twee lagen lcd's om een diepte-effect te creëren, dat wordt gecombineerd met de stereoscopische techniek om elk oog afzonderlijke beelden in een andere hoek te tonen. Dit zou tot gevolg hebben dat de beelden niet plat zijn, waardoor de belasting op de ogen afneemt en duizeligheid wordt verminderd.

Nvidia-tweet toont prototype lightfield-vr-bril

Het diepte-effect wordt bereikt door elk oog een combinatie van 25 afbeeldingen te tonen en het effect zou zijn dat elk oog dan een soort hologram krijgt voorgeschoteld, al zijn details over de techniek dus nog vrij schaars. In een virtualreality-omgeving kan het effect worden bereikt door een gehele scène met behulp van de lightfield-techniek te renderen. Eerder gaf Nvidia-onderzoeker Douglas Lanman aan dat 'vrijwel elke game-engine' met vijftig regels code omgebouwd kan worden om door middel van raytracing lightfield-rendering te ondersteunen. Lanman doet al langer onderzoek naar 'near eye light field displays'. De vr-bril van Nvidia zou in 2018 op de markt moeten verschijnen.

Schematische weergave van het Nvidia-prototype

Reacties (55)

[Splitinfinitive]

is er voor VR brillen trouwens een standaard met input/output e.d. of modderd iedereen maar wat aan wat betreft code e.d.? ik heb echt het gevoel dat dadelijk VR flopt als die standaard er niet is. en dat iedereen dadelijk zijn eigen code hanteert. waardoor de markt versplinterd raakt of dat je dadelijk 10 brillen thuis hebt liggen omdat programma/game A niet werkt met 9 van de 10 brillen enz.

[Verwijderd]

Valve heeft een tijdje geleden een standaard geïntroduceerd (SteamVR) het is echter (ondanks de grootte van Valve) de vraag of ze alle grote partijen daar in mee zullen krijgen, want dan word plat gezegd het hebben van Steam een vereiste voor VR. (en hoewel velen daar niet echt een probleem mee zullen hebben denken partijen als Oculus en Sony daar anders over)

[David Mulder]

SteamVR is een implementatie van OpenVR en OpenVR heeft geen Steam afhankelijkheid an sich. Als gamemaker kan je dus prima OpenVR gebruiken en je game nog steeds buiten steam distribueren, al moet je dan zelf die API's implementeren. Tenminste, zo begreep ik het onderscheid, ondanks dat ik het gebruikt (alleen voor wat getest) heb is mij de splitsing niet 100% duidelijk.

Hoe dan ook, SteamVR is niet iets wat headset makers per se implementeren, het is iets wat Steam update zodat games die uit komen automatisch werken met nieuwe headsets. Dus als in dit geval Nvidia een headset uit brengt dan zal Steam daar support voor kunnen toevoegen waardoor alle games die van OpenVR gebruik maken automatisch werken. (Of Nvidia die support zelf ook zou kunnen schrijven weet ik niet zeker, ik denk het wel, maar tot nu toe was Valve het die het schreef, maar goed, dat is ook weinig verbazend in de huidige markt)

[Reactie gewijzigd door David Mulder op 28 juli 2024 20:56]

[Faeron]

Op dat genoemde Github account staan binary blobs, geen broncode. Weinig open aan OpenVR dus.

[David Mulder]

Klopt inderdaad, wat dat betreft is er niet veel spannends aan, het kan zelfs enigszins misleidend zijn, want ondanks dat sommige code in die GitHub repo staat is het wel gewoon ge-copyright (ja, dat is mogelijk onder GitHub's voorwaarden, enige recht wat je GitHub praktisch geeft is dat andere je code mogen forken, maar jij mag dan niks met de resulterende code doen ), zat er net over te denken om daar over te klagen, maar bedacht me daarna dat uberhaupt het beschikbaar maken van die software gratis en het bouwen aan een de basis voor een standaard prijzenswaardig genoeg was dat ik niet wou klagen dat ze het nog beter konden doen (Ik bedoel maar, andere bedrijven die met VR bezig zijn zijn nog stuk geslotener).

[increddibelly]

OpenVR specificeert een interface - die zul je als hardwareboer toch echt zelf moeten implementeren.

[jqv]

Een openstandaard in de markt gezet door een bedrijf dat er baat bij heeft klanten te trekken.
En dan ook nog zelf aanbieders implementeren in de software.

Klinkt weinig open.

Open zou zijn als de maker van de headset zo kan maken dat ondersteuning zelf kan worden ingebouwd in het apparaat/software. Zonder tussenkomst van de uitgever.

Nu heeft steam de zaken in handen en zie ik het eerder als reclame voor steam.

[bogy]

ik vrees dat die nvidia brillen niet alleen prachtig zullen zijn, maar ook enorm duur; er zitten 2 lcd lagen in; dat zijn dus 2 hoge resolutie lcd's; momenteel een van de duurdere onderdelen in de vr headsets.

Als het echt zo makkelijk is als nvidia beweert met slechts 50 regeltjes code, dan zullen op termijn wel meer bedrijven lightfield headsets uitbrengen met een dubbele lcd-laag..
Ik denk dan ook dat deze headset voorlopig nog niet voor het brede publiek is bedoeld, maar voor entertainment- en onderzoekscentra. Wanneer de lcd's betaalbaar worden per 2, dan wordt dit brilletje wellicht bereikbaar voor de enthousiaste gamer.

[govie]

Het zou natuurlijk mooi zijn als je de door jouw geproduceerde hardware kunt gebruiken om je eigen community and sales platform op te zetten. Een beetje hoe dat Valve hun titels hebben gebruikt voor de promotie van steam, wat toch ook jarenlang trage bagger was, met wel leuke feestdagensales, maar daar was alles dan ook wel mee gezegd.

[Crazy Harry]

OSVR, opgezet door Razer is open source en daarmee een open standaard. Het ondersteunt ook brillen werkend op OpenVR(Steam) en het platform van Oculus Rift.

[SuperDre]

Oculus ondersteund gewoon SteamVR (of andersom, het is maar hoe je het bekijkt), dus zo'n probleem is het niet. En sony is playstation only, dus ook geen probleem.

[Nyarlathotep]

Ging het zo ook niet met blu-ray versus hd-dvd? Beiden kwamen op de markt, en blu-ray overwon omdat het populairder was...

[joeri1]

Dat is met heel veel technieken op die manier gegaan. Kijk maar naar de videobanden, cassettebandjes, compact discs, etc. Er komen veel technieken, een wordt populair en dat wordt dan de "standaard".

[SPee]

BR vs HD-DVD is geheel anders verlopen, aangezien beide partijen flink met geld (kortingen op licenties e.d.) hebben lopen smijten om de industrie voor hun standaard te laten kiezen.
Uiteindelijk had het BR kamp een paar grote aanjagers (zoals de PS3), waardoor daar uiteindelijk de voorkeur van de consument naar uitging. En uiteindelijk HD-DVD de handdoek in de ring gooide.

De VR "oorlog" ligt het wat anders. Daar kun je door middel van softwarematige aanpassingen ondersteuning voor de concurrent toevoegen. Is de tweestrijd groot, dan zal een partij komen die als interface gaat fungeren (zoals openGL, directX). Uiteindelijk zullen de makers gaan pushen voor een gelijke interactie om de ontwikkeling gelijk te houden. Of als een partij te klein is, deze te negeren. Een goede vergelijking is de smartphone markt: frameworks waarmee je met 1 taal voor alle platformen kan programmeren, partijen die "gewoon" voor elk platform een versie uitbrengen of partijen die de kleine marktpartijen negeren.

[MsG]

Er is bijna nooit magisch 1 standaard, er is nu eerst het gevecht om de markt, wie wint de consumenten, welk product wordt het meest populair. Slaat het aan? Dan krijg je dat ontwikkelaars het toch wel vervelend vinden dat ze elke bril los moeten ondersteunen, en dat de consument inderdaad meemaakt dat bril X niet op game Y werkt, en dan krijg je wellicht standaardvorming op den duur. Het belang vanuit de brillenmakers is helemaal niet dat die bril van de concurrent ook prima kan werken, maar excusiviteit, de consument echter wil dat een bril met alles werkt. Deze belangen druisen 100% tegen elkaar in.

[svenk91]

Dominante spelers willen hun eigen exclusieve systeem. Kleinere spelers kunnen baat hebben bij een standaard. Mocht de rift een groot marktaandeel hebben (en de VR markt is ook groot dan zullen game devs zich aanpassen en hun games met de rift compatible maken. Als kleine speler wil je juist een standaard zodat jouw bril compatible is met veel games.

Voor consumenten heeft een standaard het nadeel dat het innovatie kan remmen, denk aan Apple die een veel betere interface had met lightning poorten, als er een strenge wettelijke drang op micro-usb poorten was hadden die voirdelen niet goed benut kunnen worden.

Nou wil ik niet zeggen dat een standaard slecht is, normaal ben ik juist zeer pro-standaarden, maar ik wil enkel duidelijk maken dat het niet zo zwart-wit is als jij schetst. Voor zowel bedrijven en consumenten zijn er voor en nadelen en of een standaard in je voordeel is kan heel subjectief zijn!

Zelf hoop ik dat er wel een standaard komt in de vr wereld maar niet te vroeg! Laat eerst de markt wat volwassener worden en pas als er een dominant design is geevolueerd dat men een grote markt consolideert met een breed gedragen standaard.

[SG]

Nuchtere neutrale consumenten gaan uiteraard voor standaarden. En mijden deze firma afhankelijke gadgeds. Houd dus in dat men eerder voor OR of Vive gaat. Tenzij dit zo veel beter is dat men het toch overweegt.
NV en AMD hebben op GPU gebied hun mindere en betere periodes. En deze markt afsplitsende producten binden je aan GPU merk. Dat wil je niet. Voor de fan maakt het uiteraard niet uit.

[darknessblade]

het is een beetje zoals de asus v1000 GPU
deze had een 3d bril die alleen op die bepaalde serie werkte, en niet bij andere GPU's

zal wel zo worden gemaakt net als hun 3d brillen.

[Accretion]

Werkt zo'n 3D bril niet gewoon met een video input, zoals elk beeldscherm?

[trogdor]

Dat lijkt me niet zondermeer mogelijk met een enkele normale video verbinding, tenzij ze de boel dan in 4 delen knippen en die bij de 2 ogen en op de verschillende laagjes weer aanelkaar puzzelen. Maar daarmee zakt de kwaliteit dan weer aanzienlijk.

[darknessblade]

de oude van asus niet, die werkt via een 3.5/2.5mm input die de bril aanstuurde

[Accretion]

Hmm, bijzonder eigenlijk.

Een 3D bril is toch niets meer dan 1 of 2 schermpjes met wat lenzen ervoor? Oké, natuurlijk moet er ook iets van motion-control in, maar dat kan via USB.

Een specifieke 3D-Bril ingang lijkt me dan weer raar
Dus vraag mij af waarom iedereen zich zo druk maakt over standaardisering? Al kan het wel dat NVidea iets "advanced" inbouwt, bijv draadloos, wat weer slecht werkt met andere draadloos standaarden.

[Phehistyr]

De 3 grote partijen op VR gebied (Oculus Rift, HTC Vive en Sony PSVR) hebben voor zover ik weet allemaal hun eigen SDK en API. De komende jaren zal er ontzettend veel ontwikkeling zijn en het zal nog wel even duren voor er één universele standaard is.

[cappie]

Goed opgelet tijdens de video van Extra Credits ...

[Barsonax]

Ff alle game engines met ray tracing laten werken....das wel stukkie zwaarder dan de huidige kaarten aankunnen.

Leuk voor in de toekomst maar dat gaat em dit jaar echt niet worden.

[Flight77]

Door middel van ray tracing betekent niet dat de volledige image met ray tracing opgebouwd moet zijn. Het zou kunnen dat je met een ondiepe trace bijvoorbeeld een fuzziness/focus depth kan berekenen. Deze kan dan als filter over de rendered image geplaatst worden.

voor de leek: ray tracing betekent niet meer dan dat je vanuit elke pixel van je display (oogpunt) een staal (ray) naar buiten stuurt.
Bij het "normale" raytracing zorgt elk contact met een oppervlakte dat je een berekening doet van de lichtreflectie op dat punt (kleur etc). Vanaf dat contact punt wordt weer een bepaald aantal rays de scene in gestuurd om te achterhalen waar vandaan het licht komt. Dit herhaal je afhankelijk van de reflectieve eigenschappen van het oppervlak een aantal keer (diepte).
https://en.wikipedia.org/wiki/Ray_tracing_(graphics)

De reden dat de technology pas in de toekomst echt mooi wordt, is omdat je een image in feitte opsplitst in een aantal veel kleinere images, die door middel van een microlens-film op de juiste manier naar je oog gestuurd worden er meer informatie nodig is. Door middel van verschillende technieken, bijvoorbeeld door een microlens-film, of in dit geval 2 schermen met een vaste afstand (diepte), wordt er extra informatie naar het oog gestuurd zodat afhankelijk van waar je zelf op focust met je oog, er een juist beeld getoond wordt. Douglas Lanman noemt in zijn presentatie een factor 5, dus als je een vergelijkbaar scherm als de occulus wilt, heb je per oog een oled met 5x de resolutie nodig. Die zijn er nu simpelweg niet, of zijn onbetaalbaar.

[Reactie gewijzigd door Flight77 op 28 juli 2024 20:56]

[freaq]

in dit geval moet er echter een lightfield gebouwd worden,
dus niet 1 uiteindelijk beeld maar 25 slices met verschillende focal depths...
vrij zwaar dus.

een voorbeeld van offline rendered lightfields:
https://home.otoy.com/render/light-fields/

en wat oudere research:
https://graphics.stanford...light-lores-corrected.pdf

mooie is dat je zelf echt op de diepte kan focussen, maar het is wel zwaar voor de GPU,
zelfs al zou je deze traditioneel rasterizen is het nog steds zwaar,

deze rig draaide dan ook op erg lage framerate.
maar wel erg prettig mo naar te kijken.

[PuzzleSolver]

Volgens mij is het ook nog factor 5 in 1 richting, oftewel 25 keer de resolutie om weer dezelfde resolutie te halen. Dat verklaart ook deze zin uit het onderzoek:

Using today’s technology (as demonstrated with the second prototype) allows for spatial resolutions of about 150 – 200 pixels across and a field of view (FOV) of 40 degrees. However, Lanman notes that high-resolution glasses with up to 80 degrees FOV should become a reality within three to five years.

Zeker wel een interessante techniek voor de toekomst, maar als ik het met die getallen uitreken dan heb je met een 2 keer een 8K scherm een resolutie van 1536x864 per oog. Nog steeds iets minder dan een Oculus, maar de "field of vision" van een Oculus is ook veel groter (110 graden) waardoor ook meer resolutie nodig is. Het kunnen focussen is een van de dingen waarom mensen nu nog niet een volledig dieptebeeld hebben dat is wel een lagere resolutie waard.

[Reactie gewijzigd door PuzzleSolver op 28 juli 2024 20:56]

[PuzzleSolver]

Eerder gaf Nvidia-onderzoeker Douglas Lanman aan dat 'vrijwel elke game-engine' met vijftig regels code omgebouwd kan worden om door middel van raytracing lightfield-rendering te ondersteunen

Ik vond die zin ook al vreemd. Games werken momenteel niet met raytracing omdat dat nog niet haalbaar is. Games gebruiken wel veel truukjes die met raytracing anders opgelost moeten worden. Dus even de game engine aanpassen met 50 regels code gaat volgens mij bij veel games niet werken.

Wel ondersteunen veel games depth of field rendering en voorzover ik deze techniek begrijp moet je 25 verschillende dieptes renderen. Dat keer 2 ogen levert sowieso al een performance probleem op, of het moet weer ten koste gaan van de resolutie.

[SpiceWorm]

Ik vermoed dat ze raytracing afschieten op het 3d model wat al gerenderd is.

Zo'n makkelijk te implementeren truuk is dan ook verre van efficient en we zullen nog flink wat extra renderpower nodig hebben.

[trogdor]

De vr-bril van Nvidia zou in 2018 op de markt moeten verschijnen.

[Barsonax]

Dan nog zie ik het niet veel verder gaan dan wat demo's.

[AJediIAm]

Nvidia zal vast een oplossing klaar hebben liggen tegen de tijd dat hun VR bril op de markt komt. Ze zijn al een tijdje bezig met realtime ray-tracing. Ik moet eens bijlezen over wat lightfield precies is.

[Mative]

Tijd voor een nieuwe mythe.
Welke VR bril zal uiteindelijk de standaard worden, omdat
de intieme 'natuurfilm' industrie de techniek adopteert

[govie]

Ik denk dat je wel eens gelijk kan hebben, grootse mogelijkheden in die sector.

[Verwijderd]

Ongelooflijk veel mogelijkheden in allerlei sectoren!!!
Mijn hoofd wordt duizelig van de opties.

Realtime volgen en besturen op onbereikbare plekken (bomuitschakel robots, ISS).
De gehele design industrie.
Skypen 2.0
Werkcollege's in virtuele omgeving, met oneindig veel papier.
Robot in je huis -> op afstand door je huis lopen en diverse taken uitvoeren.
3D interfaces voor informatie intensieve omgevingen (stock market, luchtverkeersleiding).
Gaming, porno, werken op afstand (wordt al gedaan bij medische operaties).
enz...

[sab]

Bij veel van de voorbeelden die jij noemt, is 3D niet van zwaar toegevoegde waarde. Sowieso is realtime video (waar je meerdere keren op hint) geen optie voor VR, aangezien je bij de minste latency in VR al kotsmisselijk wordt. Deze latency is al vrijwel onwerkbaar over een LAN, laat staan over het internet.

Juist bij luchtverkeersleiding en aandelenhandel is het van groot belang dat je ten alle tijden een totaaloverzicht hebt, en dat je niet iets vergeet omdat het net buiten zicht was.

Ja, VR is een interessante technologie, maar er zit al genoeg hype achter, meer luchtbellen heeft het echt niet nodig.

[Verwijderd]

Sowieso is realtime video (waar je meerdere keren op hint) geen optie voor VR, aangezien je bij de minste latency in VR al kotsmisselijk wordt. Deze latency is al vrijwel onwerkbaar over een LAN, laat staan over het internet.

Daar heb je zeker gelijk in. In veel van de voorbeelden moeten andere technieken ook verbeterd worden, zoals onderlinge communicatie en bandbreedte. Dat moet allemaal geleidelijk gaan.

Zeker bij luchtverkeersleiding. Dan moet van elk vliegtuig realtime de x,y,z gegevens vertaald worden naar een nieuwe virtuele omgeving in 3 dimensies. Het liefst heel vaak ververst. Maar als ik zie waar luchtverkeersleiders nu tegenaan moeten kijken. Dan denk ik dat dat voor verbetering vatbaar is, om het maar iets minder 'hyperig' uit te drukken.

[SG]

Als er heel veel informatie realtime in gaten moet worden gehouden en bijgestuurd. Dan doet dat een team van mensen met leiding gevenden.
Gezien de lucht corridors kan computer de gegevens een bound check doen dus probleem gevallen vroeg tijdig high lighten. Of blink blink.

[C00P]

Over 10 jaar zeggen we, Had ik maar aandelen van dit of dat aangekocht. :-)

[DoubleDutch]

"Eerder gaf Nvidia-onderzoeker Douglas Lanman aan dat 'vrijwel elke game-engine' met vijftig regels code omgebouwd kan worden om door middel van raytracing lightfield-rendering te ondersteunen"

Begrijp ik dit nu goed dat je de meeste spellen die al uit zijn gebracht ,door middel van de code te veranderen kunt gebruiken op deze bril?

[SuperDre]

In theorie kan dat ook al met de huidige vr brillen, er is een hele goeie driver te koop waarmee je oude spellen kunt spelen in VR, zoek maar eens op vorpX..

[DoubleDutch]

O dat is nieuw voor mij,bedankt voor je reactie.

[DigitalMesh]

Ik vroeg me al af hoe lang het zou duren voor Nvidia zelf met iets kwam, en hoe!
Knap stukje techniek, nu wachten tot de gemiddelde dev er 50 lijntjes code voor over heeft
En nog een jaartje of 2 en we kunnen er mee gaan spelen thuis. Iets om in't oog te houden!

[Flight77]

Ik vindt het een beetje misleidend. Als ik het stukje over die 50 regels code bekijk, gaat het over een microlens-film oplossing om met een enkel oled display het light field te genereren/projecteren.

In dit geval gaat het over 2 lcd displays. Die door middel van lensen en de vastgestelde diepte tussen de displays, een light field kunnen weergeven.

De ene techniek is wat ik begrijp heel anders dan de andere (met andere voor en nadelen), en de rendering die nodig is om beide LCDs aan te sturen zal ook anders zijn dan de enkele display met die film. Geen idee hoe efficient dit gebruikt kan worden op bestaande engines.

[burgt]

Lijkt me ook een achteruitgang om in een VR bril van OLED terug te gaan naar LCD vanwegen de back light bleeding, dat wil je niet hebben.

[ATS]

Ik vraag me af hoe je dan scherpstelt? Werkt dat met eye-tracking zodat hetgeen je naar kijkt automatisch scherpgesteld wordt? Of heb je er een anders soort interface voor nodig?

[Bever!]

Ik denk dmv die hologrammen waar ze over schrijven?

[himlims_]

en die dingen werken natuurlijk pas 'echt optimaal' icm de pascal-architecture gpu's

[erwinwernars]

En vast en zeker exclusief voor Nvidia gebruikers.

[Countess]

In 2018? Nee dan werken ze voor geen meter op pascal. Werkt alleen met de aller aller nieuwste nvidia gpu op dat moment.

[PeterBezemer]

Deze techniek kan een mooie opvolger zijn voor de huidige generatie

[VickyNick]

Zie volgende filmpje voor wat meer "diepgaande" informatie

[AJediIAm]

Als ik het goed begrijp kijk je dus met beide ogen naar het zelfde stuk display in plaats van een display wat een plaatje voor het linker oog en een plaatje voor het rechter oog laat zien.

[Tiny]

Uit de tekst:

De bril maakt gebruik van twee lagen lcd's om een diepte-effect te creëren, dat wordt gecombineerd met de stereoscopische techniek om elk oog afzonderlijke beelden in een andere hoek te tonen..