Lytro maakt vr-video's mogelijk waarin kijker van positie kan veranderen

Lytro, het bedrijf dat eerder twee lichtveldcamera's op de markt bracht, presenteert een nieuwe techniek voor het maken van vr-video's. Met het Immerge-platform kunnen beelden worden gemaakt waarin kijkers achteraf zelf in beperkte mate kunnen bewegen.

Hoewel het met huidige vr-brillen zoals de Oculus Rift en zelfs Googles cardboard al mogelijk is om 360-gradenvideo's te bekijken, kan de kijker daarbij niet het camerastandpunt veranderen. Lytro introduceert nu het Immerge-platform dat dit wel mogelijk moet maken. Het bedrijf gebruikt hiervoor zijn lichtveldtechniek, waarbij alle lichtstralen worden vastgelegd. Het apparaat waarmee de beelden worden opgenomen is uitgerust met honderden lichtveldmodules, die vastleggen waar het licht een oppervlak raakt en waar het vervolgens heen gekaatst wordt. Als al deze data worden vastgelegd, kan de scène achteraf als het ware opnieuw gecreëerd worden vanuit verschillende standpunten.

Kijkers hebben tijdens het bekijken van de beelden een beperkte bewegingsvrijheid. Er kan alle kanten op gekeken worden en het is mogelijk om binnen het beeld van positie te veranderen. Volgens Uploadvr, dat met de makers van het systeem sprak, is het mogelijk om binnen een straal van ongeveer een meter te bewegen. Naast positiebepaling zorgt de opnametechniek ook voor het ontstaan van horizontale en verticale parallax, wat een echt dieptegevoel oplevert.

Helaas!
De video die je probeert te bekijken is niet langer beschikbaar op Tweakers.net.

Het Lytro Immerge-platform bestaat uit een speciale camera, een server voor het opslaan en verwerken van de beelden, en bewerkingssoftware, die het ook eenvoudig moet maken om de beelden van de camera te combineren met cgi. Het bedrijf belooft vloeiende integratie met software zoals Nuke. Tot slot is er een player om het resultaat te bekijken, die moet werken met alle populaire bestaande vr-headsets en de headsets die nog zullen volgen.

Het systeem lijkt nu nog grotendeels in de conceptfase te verkeren, maar Lytro heeft al eerder werkende lichtveldcamera's op de markt gebracht voor consumenten. In 2011 presenteerde het bedrijf zijn eerste camera waarmee achteraf scherpgesteld kan worden. In 2014 verscheen een geavanceerde opvolger, de Lytro Illum. Geen van de camera's werd een groot succes en beide zakten snel in prijs. Het bedrijf wil met het Immerge-platform een nieuwe richting inslaan. Dat werd begin dit jaar al duidelijk, toen het bedrijf nieuw geld van investeerders ontving om zich te richten op de vr-markt.

Bedrijven die content willen creëren met het Immerge-platform kunnen zich aanmelden om met een prototype aan de slag te gaan. Dat zou in het eerste kwartaal van 2016 moeten gebeuren, als ook de eerste vr-brillen voor consumenten op de markt worden verwacht. Lytro gaat het systeem later ook verkopen en verhuren.

Lytro Immerge-cameraconcept

Reacties (45)

[SamuraiP1zzaCat]

Cool, vrij bewegen in een film is weer een stapje dichterbij. Hoe vet is het als je een film maakt van je verjaardag als kind, en je kunt hier 20 jaar later weer bij zijn en vrij in die film rondbewegen. Gespreken mee luisteren die je misschien tijdens de verjaardag niet eens hebt gehoord

Er zijn al verschillende VR filmpjes gemaakt van bij een concert waar je kan switchen van positie. Dus bijv. tussen het publiek, of achter de drummer. Maar vrij rondbewegen is wel uniek. Behalve dan voor gerenderde beelden uiteraard.

[The Zep Man]

Cool, vrij bewegen in een film is weer een stapje dichterbij. Hoe vet is het als je een film maakt van je verjaardag als kind, en je kunt hier 20 jaar later weer bij zijn en vrij in die film rondbewegen. Gespreken mee luisteren die je misschien tijdens de verjaardag niet eens hebt gehoord

Volgens mij staat er niets in het tekstartikel over geluidsopname. Dat zou je dan ook vanuit 360 graden moeten doen. Dat hoeft overigens geen probleem te zijn, maar het nieuwsartikel gaat specifiek in op "lichtveldcamera's".

Maar vrij rondbewegen is wel uniek.

Je positie is beperkt tot die van de camera's op het moment van opname. Er is dus geen vrij bewegen bij. Wel kan je vrij om je heen kijken.

[Reactie gewijzigd door The Zep Man op 24 juli 2024 20:25]

[SamuraiP1zzaCat]

De situatie die ik schetste is natuurlijk ook een toekomst beeld waarvan deze technologie weer een stapje is. Sowieso denk ik dat je op dat moment meerdere camera's zou moeten neerzetten om de gehele omgeving in beeld te krijgen. Zelfde geldt dan uiteraard voor microfoons. Grote nadeel van meerdere camera's is, is dat je deze dan ook in de film gaat zien.

Je positie is beperkt tot die van de camera's. Er is dus geen vrij bewegen bij.

Ook beperkt vrij rondbewegen t.ov. de positie van de camera is tot op heden uniek.

[micla]

Ik vermoed dat deze techniek in eerste instantie niet voor bovengeschetste doeleinden zal zijn. Het kan er uiteindelijk toe leiden, maar ik denk dat dit voornamelijk bedoeld is om positional tracking toe te voegen aan film-vr en dan heb je aan een meter genoeg.. Positional tracking is uitermate belangrijk in vr. Zonder dat wordt je al snel misselijk ( motion sickness ) Zelfs de kleinste bewegingen kunnen er voor zorgen dat je misselijk word zonder juiste feedback van je bewegingen. Zoals met de DK1 van Oculus destijds. Ik heb de DK2 ( met positional tracking ) en hier is motion sickness ( voor mij althans ) volledig geëlimineerd doordat elke beweging van je hoofd ook daadwerkelijk word omgezet in zichtbaar bewegen in vr..

edit: was eigenlijk een reactie op tERRiON maar evengoed ontopic...

[Reactie gewijzigd door micla op 24 juli 2024 20:25]

[djwice]

En wat dacht je van het opnemen van commercials?
Hoe veel takes het kan duren voordat het juiste glide & zoom tempo geschoten in terwijl de acteur ook zijn rol perfect doet.

Met deze camera kan een goede acteer sessie de take zijn. De juiste glide + zoom kan achteraf nauwkeurig gemaakt worden, incl. slomotionn steady.

Zeer gaaf. Scheeld wellicht uren opnames maken met een heel team, en ook nog een nog perfecter resultaat.

[Reactie gewijzigd door djwice op 24 juli 2024 20:25]

[Dark_man]

Dat nadeel van de zichtbare camera's is in de toekomst ook opgelost.

Ze zijn al bezig met een invisibility cloak dus dat kan je verbergen.

[Verwijderd]

Waar het mij aan doet denken is het Trophy systeem uit Israel.

[Henk Poley]

Rafael Trophy lijkt toch voornamelijk een rond draaiende radar te zijn. Dat is dus anders dat iets dat van zichzelf al alle kanten op kijkt..

[DanielsWrath]

Hoe zou je echt vrij willen bewegen in een film? Dan heb je oneindig veel camera's nodig die alles vastleggen vanaf elk punt. Dat zal dus denk ik alleen weggelegd zijn voor virtuele werelden.

Posities daarentegen zijn natuurlijk wel mogelijk.

[SpiceWorm]

Nee dus, dat is dus precies wat ze demonstreren. Je kan ongeveer een meter heen en weer bewegen.

[Nibbz]

Intressant lees voer "deep learning"

i.c.m. deze techologie.. denk ik dat we die 100meter echt wel kunnen halen (demo filmpje is al ongelooflijk ziek om te zien.. wat een techniek)

https://www.youtube.com/watch?v=HOLoPgTzV6g

[tERRiON]

Volgens mij zou je met 3 camera's een heel eind moeten kunnen komen. Als je die in een driehoek plaatst dan kun je met huidige technieken al een 3D-foto maken. En een film is dan volgens mij nog maar een kleine stap. Nog een stap verder is dan vrij kunnen 'bewegen' binnen die driehoek. Je zou zelfs kunnen stellen dat Google Maps ook al zoiets dergelijks is.

Ik ben geen kenner maar volgens mij moet dit voor de wizzkids niet zo heel erg lastig zijn. Je zit hooguit op dit moment nog met rekenkracht en opslagcapaciteit.

[Spanky79]

Volgens mij kom je met drie apparaten inderdaad een heel eind. Alhoewel die niet zomaar om een scherpe hoek kunnen kijken zal er met schaduw etc een hoop kunnen. Voor voldoende details heb je meer nodig. Met 4 of 5 camera's kun je zomaar een hele ruimte bedekken, of voor een statische omgeving kun je het ding gewoon verplaatsen natuurlijk....

Als je ziet wat er mogelijk is in games dan denk ik dat je met slimme software een eind kunt komen....

[SamuraiP1zzaCat]

Daar gaat dus juist deze techniek over, door het berekenen van het lichtveld kun je dus de omgeving nabootsen. In deze case dus beperkt tot 1 meter. Maar in de toekomst misschien wel tot 10 meter of 100 meter. En als je dan 4 camera's neerzet die allemaal 90 graden kunnen filmen kun je de cirkel rondmaken.

[fommes]

jep, dan ben je toch een soort van aan het tijdreizen

[ari-equal95]

Wat een vreselijk filmpje. Ze wekken de hele tijd de indruk dat de beelden die je ziet zijn zoals de camera ze kan maken terwijl dat (verwacht ik) niet waar is. Dit gevoel had ik bij de shots van de personen voor ze hun verhaaltje doen en bij veel beelden van de boot.

Verder een langdradig, interessant klinkend verhaal wat mij betreft.
En wat gebeurd er van 1:00-1:09 met de reflecties van de lampen op die schilderijen aan de muur?

Hoe dan ook, coole techniek. Ik ben erg benieuwd naar het resultaat!

[Henk Poley]

Het zou wel fijn zijn als ze zouden laten zien wat het systeem momenteel kan. Is een gedeelte van de beelden in het filmpje uit de Lytro Immerge, zet het er dan even bij.

Van die reflecties is denk ik omdat de lijsten aan draden voor de wand hangen. Soort van afscheidingen in hippe 'open plan' kantoren.

[Reactie gewijzigd door Henk Poley op 24 juli 2024 20:25]

[Tjeerd]

Ik zat inderdaad ook te twijfelen of dat heen-en-weer bewegen bij de boot nou met een echte camera is vastgelegd of dat het de achterafversie is waarbij je zelf vrij rond kunt kijken. Maar aangezien er niet duidelijk wordt aangegeven dat het beelden uit een normale filmcamera zijn of hun eigen product, gok ik er op dat het met een normale bewegende filmcamera is gefilmd bij de boot.

[djwice]

Kijk op https://www.lytro.com/immerge klik op player. Dat stukje met de boot komt van hun eigen camera.

Js, zo gaaf is het dus, dat je denkt dat het met een normale camera op een rolbank en met contra gewichten geschoten is, maar het is vanuit een statische positie met nabewerking gemaakt.

Ik heb er geen andere woorden voor: super vet!

[Henk Poley]

Lijkt me toch vrij knap als ze met een rondom kijkende camera ter grootte van een torso, op een statief helemaal vanaf de zijkant tot van bovenaf in de boot kunnen kijken. Daar zullen zo toch iets van 'inpainting' voor moeten doen, voor de onzichtbare onderdelen.

[Menesis]

Holy ****, wordt wel heel tof zo. Maar betekent dit dat special FX voortaan in realtime moeten worden gerenderd? Zal wel niet maar ik zie vanuit mijn 3D visualisatie perspectief niet zo snel hoe je anders van perspectief zou kunnen veranderen. Of alles vanuit veel meer camerastandpunten renderen en dan realtime interpoleren tijdens het kijken?

[pim]

De 3d data kan in een compatible formaat worden opgeslagen,dan hoeft het niet opnieuw gerenderd te worden.
Al geeft real-time rendering het voordeel van interactie.

[Menesis]

Een soort lightfield formaat? Bestaat dat? Duurt vast heel veel langer om te renderen.

[WoutervOorschot]

Dat vraag ik me ook af, volgens mij zit je als het ware in een 3d object van 'foto's', eigenlijk video.

Ze hebben het er zelf over dat ze alle exacte locaties en kleurwaardes hebben, maar dit is dus eigenlijk een soort van 3d scanner voor video. Vandaar dat je het ook goed kan combineren met cgi.

[Verwijderd]

Virtual Reality? Ik zie dit eerder als de techniek om fatsoenlijk 3D in de films te krijgen. Momenteel is het een halve kijkdoos dat je beter 2.5D kunt noemen. Zodra je je hoofd naar links of naar rechts beweegt veranderd het beeld namelijk niet. Met deze techniek doet dat het dus wel.

Voor films hoef je echter niet snel zoiets te verwachten. Dan zul je de crew in beeld krijgen. Zou je dat allemaal willen wegpoetsen wordt de film weer exponantioneel duurder om te maken, buitenom dat het creatief gezien weer veel nieuwe uitdagingen met zich meebrengt. Sets zijn vaak greenscreen of plat, gericht naar één of enkele camerapunten. Bij 3D animatie films is het een ander verhaal, daar is het goed mogelijk en wordt ook al gedaan.

[micla]

Een "echte" 3D tv:

https://www.youtube.com/watch?v=Jd3-eiid-Uw

Vanaf 2.45 goed te zien

[Verwijderd]

Jepz, vind het nog steeds jammer dat ze er niets mee hebben gedaan. Werkt enorm goed Z'n andere projecten toevallig ook al eens bekeken? Zitten leuke dingen tussen.

[Henk Poley]

Die aanpak werkt helaas alleen met 1 kijker. Voor de anderen die het scherm ook zien krijg je een erg onstabiel beeld.

Edit: Nog een onpraktische aanpak die wel geinig is: je omgeving bekleden met retroreflectie materiaal (denk verkeersborden) en dan twee projectors op je bril monteren: http://CastAR.com/

[Reactie gewijzigd door Henk Poley op 24 juli 2024 20:25]

[Nibbz]

Die jonge werkt trouwens nu bij Google he

edit

Of google heeft hem (zijn bedrijf) gekocht.. im not sure

[Reactie gewijzigd door Nibbz op 24 juli 2024 20:25]

[jerisson]

Dan lijkt mij een lichtveldscherm interessanter: 3D en vrij bewegen zonder dat er tracking nodig is. Alleen moet er iets meer data verwerkt worden

voorbeeld: https://www.youtube.com/watch?v=3oX-aOJMX34

[Verwijderd]

Zijn dat diezelfde dingen als die in de Efteling staan?

[jerisson]

Ik heb eigenlijk geen idee welke dingen je bedoelt. Maar gezien de extra vrijheid en het gevoel dat dit geeft lijkt het me inderdaad iets dat verkocht zou kunnen worden aan pretparken. (Ik herinner me nog de tijd dat je een stereo 3D-scherm vrijwel alleen in een pretpark tegenkwam)

Bovendien is er ook geen beperking op het aantal mensen dat er gelijktijdig naar kan kijken (geen tracking en er worden gelijktijdig verschillende 'beelden' uitgezonden in verschillende richtingen), wat het interessant maakt voor attracties met grotere groepen mensen.

[S-A-I-N-T]

geeft een volledig nieuwe dimensie aan 3D films.
like it

[Verwijderd]

Hoe Sci-Fi win je je camera hebben!!
Als dat ding vijf jaar geleden ergens gestaan had hadden we ofwel gedacht dat er echt aliens waren, of dat er een kunstenaar aan het werk geweest is

[Webgnome]

Dit is toch wel een mooie ontwikkeling. Ik hoop ergens dat dit soort technologieen zich naar de bioscopen gaan begeven zodat we allemaal met een VR bril in de zaal zitten en dan een hele nieuwe ervaring kunnen gaan krijgen.

Met VR is het al mogelijk om een deel van het holodeck na te bootsen.. Of overdrijf ik nu?

[Kram Nelook]

Zolang het niet door iedereen zo in de browser of in apps als Instagram kan worden gebruikt gaat het nooit echt lopen. (Net per ongeluk bij de video gepost)

[Menesis]

Ik denk dat platte schermen binnenkort verleden tijd zijn!

[Reactie gewijzigd door Menesis op 24 juli 2024 20:25]

[Kram Nelook]

Ik vind je toon niet fijn met "ga toch weg". Verder denk ik dat je gelijk hebt. Schermen zijn maar een fase. Ben benieuwd naar de toekomst.

[Menesis]

aangepast

[Kram Nelook]

[jiriw]

In die fase is dit project nog helemaal niet (dus; dat ze algemene acceptatie willen) Er wordt hier gewerkt aan de technische mogelijkheden. We hebben al meermaals gezien dat er bij dit soort technieken een kip-of-het-ei scenario speelt. Er komen geen toepassingen zonder technologische doorbraken en er wordt geen nieuwe technologie ontwikkeld zonder (op z'n minst) ideeën over toepassing ervan.
Alleen maar mooi dat Lytro z'n langzaam aan steeds beter bruikbare technologie die het tot nu toe alleen voor losse beelden inzette, nu gaat toepassen op een nieuw veld; 'Moving pictures'.

[bones]

Erg mooi, ik zie grote ontwikkelingen aankomen in de porno industrie.

[PoJa84]

Tja, het zou niet de eerste keer zijn dat porno technologische ontwikkeling stimuleert: zie VHS in de jaren tachtig, on-line betalen en streamen... [klik]

[Reactie gewijzigd door PoJa84 op 24 juli 2024 20:25]