Lytro presenteert lichtveldcamera voor filmproducties

Camerafabrikant Lytro heeft met zijn Cinema-camera een lichtveldcamera gepresenteerd die bedoeld is voor gebruik in de filmindustrie. Met de lichtveldtechnologie moet het mogelijk zijn om ieder frame om te zetten in een 3d-model.

Volgens Lytro bestaat ieder frame uit 755 'raw megapixels' en bedraagt het dynamisch bereik van de beelden zestien stops. Met de lichtveldtechniek kan ieder frame omgezet worden in een 3d-model, omdat de pixels ook diepte-informatie bevatten. Volgens Lytro wordt het met de camera veel makkelijker om cgi-effecten naadloos te integreren in filmopnames.

Helaas!
De video die je probeert te bekijken is niet langer beschikbaar op Tweakers.net.

De lichtveldtechniek van Lytro maakt het onder andere mogelijk om achteraf scherp te stellen. De fabrikant claimt dat de Lytro Cinema-camera in high bandwidth-modus in staat is om achteraf elke framerate en sluitertijd te simuleren. Bioscoopfilms worden met reguliere camera's opgenomen met 24fps, omdat dit de gewenste bewegingsonscherpte geeft. De Lytro Cinema neemt beelden op met maximaal 300 fps, maar door de gebruikte techniek kan de gewenste bewegingsonscherpte achteraf ingesteld worden.

Technische details over de gebruikte lens in de camera ontbreken nog. Het Lytro Cinema-systeem bestaat naast de camera ook uit software en een server voor het verwerken van de beelden. Het is nog niet bekend wat de camera gaat kosten. Lytro zegt meer informatie bekend te maken op de NAB Show, een beurs voor filmmakers en broadcasters, die van 16 tot 21 april plaatsvindt in Las Vegas. Op die beurs zal ook de eerste korte film gemaakt met de Lytro Cinema getoond worden.

In november kondigde Lytro zijn Immerge-cameraconcept aan, een systeem voor het vastleggen van beelden voor virtualrealityvideo's waarin kijkers achteraf zelf in beperkte mate kunnen bewegen. De Immerge is voorzien van honderden lichtveldmodules, die vastleggen waar het licht een oppervlak raakt en waar het vervolgens heen gekaatst wordt. Als al deze gegevens worden vastgelegd, kan de scène achteraf als het ware opnieuw gecreëerd worden vanuit verschillende standpunten.

Begin april heeft Lytro bekendgemaakt dat het stopt met het maken van camera's voor consumenten. Aanvankelijk wilde het merk die markt veroveren, maar de twee consumentencamera's die Lytro uitbracht werden geen groot succes. In 2013 introduceerde Lytro zijn eerste lichtveldcamera waarmee achteraf scherpgesteld kon worden. De rechthoekige camera deed wat hij beloofde, maar de foto's zijn alleen in een speciale viewer te bekijken en hebben een lage resolutie. Een jaar later volgde een tweede model, de Lytro Illum. Dat model beschikte over een zoomlens en had een hogere resolutie. De geavanceerde camera had een introductieprijs van 1599 euro en is nu nog verkrijgbaar voor zo'n 600 euro.

Reacties (36)

[SomerenV]

Ik snap nooit zo dat je een product aankondigt, compleet met filmpje met interviews, en dan geen voorbeelden toont die je compleet weg kunnen blazen (terwijl als ik de interviews hoor, dit echt 'next level' filmen moet zijn). De achterliggende techniek van deze camera vind ik zeer interessant maar het filmpje laat me nou niet echt iets zien waarvan ik denk 'wow'. Maar goed, de komende week dus even het internet in de gaten houden voor die shortfilm.

[Reactie gewijzigd door SomerenV op 25 juli 2024 22:27]

[Menesis]

Het is in dit geval niet zo dat de camera ineens veel mooiere beelden geeft voor traditionele 2D filmpjes.
Voor traditionele filmpjes zorgt hij voor meer flexibiliteit: de regisseur kan achteraf de depth of field nog aanpassen (wat scherp is en wat onscherp) en het special effectsteam kan veel makkelijker special effects matchen.

Maar daarnaast geeft lightfield hele toffe mogelijkheden voor 3D achtige toepassingen. Je kunt in 1 keer diepte opnemen, en op een meer geavanceerde manier dan stereoscopisch 3D (2 cameras naast elkaar). En die andere camera van ze is helemaal gaaf, daarmee kun je virtual reality filmen, maar met de mogelijkheid om je hoofd ook (beperkt) te bewegen (niet roteren), zodat je om objecten heen kunt kijken.

Overigens: is deze Cinema camera nou extreem groot? Zo lijkt het wel namelijk

[Xtuv]

Hij lijkt inderdaad extreem groot, maar dat is niet vreemd als de claim van 755 megapixels raw-data per seconde waar te maken is. Ik vraag me af welke hardware in staat is om een dergelijke datastroom te verwerken. Bij 300fps zou het om 226.500 megapixel per seconde gaan . Zelfs al zou dat tot maximaal 30fps gelden houdt je nog 22.650 megapixel/s over.

Helaas heeft Lytro nog niks loslaten over de hardware, op wat getallen na. Een kijkje binnenin deze machine lijkt mij zeer interessant

[freaq]

waarschijnlijk maken ze 755 miljoen samples per seconde,
dus ok 300 FPS is dat 2.51megapixels/samples per frame.

ze werkten voorheen ook in megarays, wat niet direct overeenkomt met pixels,
elke pixel is namelijk een aantal samples welke een incomende light vector representeerd, (daarom weten ze dus ook de afstand en richting van de ray)

hier is meer informatie over de lens arrays en hoe je bijv stereo kan filmen met 1 lightfield camera, en wat je er nog meer mee kan doen:
https://www.youtube.com/watch?v=_PVok9nUxME
rond 20 minuten kan je een pointcloud zien welke uit een oudere lytro camera komt

[Reactie gewijzigd door freaq op 25 juli 2024 22:27]

[Rutje!]

Waarschijnlijk wordt dat direct op sensor niveau al geaggregeerd naar alleen een intensiteit en een richtingsdimensie per uiteindelijke pixel? Ik kan zo snel niets vinden over hoe die sensor is opgebouwd (filmpje nog niet gekeken), maar meestal bestaat één uiteindelijke pixel, uit een heel aantal 'subpixels', die subpixels hoef je voor de meeste toepassingen waarschijnlijk niet allemaal apart op te slaan, waardoor de hoeveelheid data een stuk simpeler wordt.

[Xtuv]

Dat zou kunnen, maar als je de beelden wil omzetten naar een 3d-model en in bioscoopkwaliteit wilt filmen, dan neem ik aan dat er zo lang mogelijk in het proces met ruwe data wordt gewerkt. Er is nog geen informatie over de exacte werking van de camera en opbouw van de sensor helaas.

[supersnathan94]

Gezien het feit dat er een compleet serverrack is voor storage heb ik zo het idee dat dit ver boven de beste pro camera uit gaat. Zelfs een 5K red is dan nog een kleintje.

[PuzzleSolver]

Als ze dit zouden willen verwerken in real time zou een high-end GPU nodig zijn om de datastroom live te kunnen verwerken.

De RAW pixels gaan meestal over individuele rood groen of blauw pixels. De vorige camera gebruikte 12 bits per pixel. Geen idee wat deze camera zal hebben maar waarschijnlijk meer. Als we uitgaan van 12 bits bij 300fps hebben we het al over 316GB per seconde. Zelfs op 30 FPS is dat met 31.6GB/sec teveel voor de meeste hardware (netwerk/ thunderbold/PCI-Express etc.). Een PCI-Express 3.0 x16 komt niet verder dan 8GB/sec.

Een high-end GPU kan als kleinste rekeneenheid werken met FP16 getallen, dat komt dan neer op 421GB/sec.

Met de onlangs aangekondigde Pascal van NVidia kun je 21.2 TFLOPS halen op FP16:

nieuws: Nvidia kondigt Tesla P100-accelerator met Pascal-gpu en 16GB hbm2-geheugen aan

Hiermee zou je 90 berekeningen in real time kunnen los laten op die pixel (dit schaalt in werkelijkheid niet zo aangezien je dan dezelfde berekening parallel op meerdere pixels moet doen om de max te halen). Op UHD 60 fps ben je al het resultaat van 755MP(RAW)/8MP(2160p)*(300/60) = ~455 pixels nodig om 1 pixel te maken. Maar je kan dan best veel berekeningen op die pixel loslaten op een moderne GPU.

Al met al ben ik nu ook wel erg nieuwsgierig hoe ze dit probleem hebben opgelost. Vooral hoe ze die hoeveelheid data op de plaats krijgen die de berekeningen moet doen,

[Reactie gewijzigd door PuzzleSolver op 25 juli 2024 22:27]

[cyble]

Je kunt niet om objecten heen kijken.
Hooguit wat parallax mapping aangezien de informatie van andere aanzichten simpelweg ontbreekt.

[Menesis]

Die immerge camera is een bol van ongeveer 60x60x60. Binnen die bol kun je met ene vr bril je hoofd vrij bewegen. Dan kun je dus een beetje om een object heenkijken.

[bbob]

Tja marketing noemen ze dat, mensen lekker maken alleen is het wederom de vraag of ze alles echt waar kunnen makan. Het artikel zelf geeft ook al aan dat de 2 eerdere camera's geen succes geworden zijn. Dat was ook allemaal mooi en fantastsich.

300fps klinks ook mooi tot je gaat kijken in raw en de hoeveelheid data. Daarbij komt nog meer data voor het scherpstellen. Ik neem aan ook in 4k dus je hebt het in raw over gigantisch veel data.

Het lijkt me dat als deze techniek werkt die bedoeld is voor grote studio's waar ze best een paar ton voor dit soort camera's willen neerleggen als ze ook doen wat ze beloven.

Maar ja ook hier is het eerst zien dan geloven en een pro filmpje met mensen die praten is leuk, maar iedereen wil het resultaat zien en geen geleuter.

[Mathijs]

Die consumentencamera's waren ook nog eens erg goedkoop. Ik denk dat ze geflopt zijn door de lage resolutie. Dat nieuwere model was 4 mpix, waar voor velen 12 mpix toch de ondergrens is in deze tijd.

Ik verwacht dat je voor de prijs van deze videocamera inclusief storage server ook een mooi huis kunt kopen, dus is deze technologie voor normale stervelingen leuk om naar te kijken maar meer ook niet.

Ik had graag gezien dat ze een 4k variant voor consumenten hadden ontwikkeld die ook nog eens betaalbaar was.

[Reactie gewijzigd door Mathijs op 25 juli 2024 22:27]

[Xtuv]

Dat laatste is waarschijnlijk lastig. Een enkele rawfoto uit de Illum is 50MB groot. De resolutie is met 4 megapixel niet erg hoog, maar er zit veel meer data in door de diepteinformatie. Een reguliere rawfoto van 4 megapixel zou een factor tien kleiner zijn. Om te filmen in 4k raw formaat zal ook een enorme datastroom nodig zijn. Comprimeren kan niet direct zonder de diepteinformatie te verliezen. Of het kost veel rekenkracht omdat per frame talloze beelden morgen worden verwerkt voor verschillende focuspunten.

[bbob]

De bestandsgrote gaf ik zelf ook al aan.

Neem nu 4 megapixel 50mb per frame. Bij 24 frames zit je al op 1,2 gb per seconde aan data x 60 = 72 gb per minute.

Dan praat je al over hele snelle opslag, afgezien van de hoeveelheid.
Nabewerking met deze hoeveelheden vraag gigantisch veel rekenkracht.

Gaat dus al over stufio's met groot budget.
De vraag daarbij is hoeveel kunnen ze er van verkopen.

De consumentenmarkt kan met een leuk product met goede prijs veel beter zijn maar wie weet over een paar jaar komen ze terug op die markt.

[gjmi]

Ik denk omdat dit bedoelt is om meer vrijheid te hebben met integratie met CGI en met postproductie. De regisseur kan dus achter spelen met scherptes en sluitertijden, zonder dat daar meerdere (en dus duurdere) opnames voor nodig zijn.

Het uiteindelijke resultaat zal een gewone film zijn. Een echte 'wow' voor het publiek zal er nauwelijks zijn.

[robvanwijk]

Ik snap nooit zo dat je een product aankondigt, compleet met filmpje met interviews, en dan geen voorbeelden toont die je compleet weg kunnen blazen

Dit is geen product-aankondiging, die komt volgende week in Las Vegas. Wat je hier ziet is de "flyer" die ervoor moet zorgen dat alle geïnteresseerden bij die aankondiging aanwezig zijn (en dat de tech-fanaten weten dat ze de hele dag moeten F5-en ).

Maar goed, de komende week dus even het internet in de gaten houden voor die shortfilm.

Mission accomplished!

[Bullettooth]

Zouden we nou over een aantal jaren hiermee ook onze eigen Hologram boodschappen op gaan nemen?

De technologie springt echt met elk jaar verder vooruit, heerlijk om hier bij te zijn.

[Verwijderd]

Daarvoor moeten ze eerst een Hologram uitvinden Als je doelt op de 'tussenoplossingen' zoals nu al mogelijk is met bijvoorbeeld Augmented Reality, uiteindelijk vast wel. Kan nog wel heel wat jaren gaan duren. Het achteraf fijnstellen in foto cameras ben ik in het wild nog niet tegengekomen terwijl die techniek er ook al een paar jaartjes is bijvoorbeeld.

[gjmi]

Je kunt met deze camera nog niet om dingen heen kijken. Bij hologrammen verwacht ik tenminste dat je die van alle kanten kunt bekijken.

[Verwijderd]

Gefaald in de consumentenmarkt en nu denk Lytro het wel te gaan redden in de filmindustrie.

Een mooie technologie, maar een fotograaf of filmer weet vooraf al welke scherptediepte hij zal willen gebruiken. De enige toegevoegde waarde is hooguit voor wat special effects.

Ondanks de mooie technologie, zie ik dit niet echt wat worden.

[ADT_Phantom]

Nu moet voor een film bijvoorbeeld dat allemaal van te voren worden bepaald/besproken. Ik kan me voorstellen, door het achteraf te kunnen aanpassen, dat er misschien veel kosten bespaard kunnen worden door deze besprekingen vooraf en eventuele nieuwe opnamen achteraf niet meer nodig te hebben.

[Mathijs]

Ik zie ook wel mogelijkheden voor interactieve films, een mix tussen een film en een game-achtige ervaring, waarbij de kijker enige invloed kan uitoefenen.

[SuperDre]

Gefaald in de consumentenmarkt? Die was daar gewoon nog niet klaar voor, komt wel vaker voor met dit soort producten..
En de 'enige' toegevoegde waarde hooguit voor wat special effects? Dat is wel een understatement.. En wat betreft scherptediepte, met deze camera heeft de regiseur achteraf dus nog zelf een hoop keuzes en is een shot niet verpest omdat de focuspuller niet oplette of iets dergelijks..
Tja, dat jij het niet echt wat ziet worden in de professionele wereld zegt natuurlijk helemaal niets.

[zonoskar]

Deze camera en dan in combinatie met een VR bril, en oogtracking zodat er naderhand, in real-time, scherpgesteld kan worden op waar jij naar kijkt, in plaats van waar de regisseur vind dat je naar moet kijken (en dus scherp is). Dat lijkt me nou echt een vooruitgang!

[wizzard48]

De meeste films moeten het juist hebben van waar de focus in het beeld ligt. Als je bijvoorbeeld een horror of actiefilm kijkt willen ze juist dat je naar een bepaald punt kijkt zodat de verrassing groter is als er iets nieuws gebeurt.

[GerardHenninger]

NAW Show? Die ken ik niet, is die nieuw? NAB ken ik wel, daar is het altijd super gezellig

[Xtuv]

Ninja-edit

[GerardHenninger]

Normaal zeik ik ook niet zo, tis gewoon een teken dat ik je mis

[poor Leno]

Fantastische technologie die alleen maar beter gaat worden, mits doorontwikkeling

Ideaal voor toekomstige VR films!

[BamSlam_]

Bioscoopfilms worden met reguliere camera's opgenomen met 24fps, omdat dit de gewenste bewegingsonscherpte geeft.

Niet helemaal juist. Bioscoopfilms werden met 24fps opgenomen omdat dat, een jaar of 80 geleden, de sweet spot was op het snijvlak tussen techniek en gebruikerservaring. 24fps werd de minimale framerate bevonden waarbij het schokken van het beeld nog acceptabel was voor de kijker en waarbij de mechanische apparatuur van die tijd technisch aansloot. Minder fps was onacceptabel voor de kijker, meer fps werd technisch lastig. De laatste jaren worden veel films op 48fps geschoten, nu de stand van de techniek dit toelaat, om een vloeiender beeld te krijgen. En in veel televisies van de laatste 10 jaar zit framerate-upsampling, die van 24fps door interpolatie van tussenliggende frames wel 2 tot 4 keer zoveel fps maakt.

Wel is er de nodige discussie over het verschil in "feel" tussen 24 en 48fps. Sommige mensen vinden 48fps te vloeiend. Persoonlijk ben ik er inmiddels aan gewend en vind ik dat vloeiende beeld wel fijn.

[Reactie gewijzigd door BamSlam_ op 25 juli 2024 22:27]

[SuperDre]

Ik vind de hogere framerate echt walgelijk om te zien, het is dan echt alsof je naar een soap aan het kijken bent.. Wat mij betreft hoeft het er niet uit te zien alsof ik daar naast sta, vond bv de vechtscene in het kasteel in de 2e hobbit niet om aan te zien via HFR, was alsof ik een life reptitie van een toneelstuk aan het kijken was..

[Xtuv]

De films die op 48 fps (hfr, high frame rate) zijn geschoten zijn op een paar vingers te tellen volgens mij? Ik kan mij alleen de Hobbit-films indenken.

Het klopt dat van oudsher 24fps een beperking was. Maar omdat dit decennialang is gebruikt prefereren veel mensen de bewegingsonscherpte die het oplevert. Juist dat wordt geassocieerd met de bioscoopervaring.

Natuurlijk is dat ook een kwestie van voorkeur en het kan prima zijn dat nieuwe generaties juist hfr gaan waarderen en prefereren. Er zijn echter weinig filmmakers die nu op dit moment kiezen voor hfr, terwijl het technisch al veel langer mogelijk is om met hogere framerates te filmen.

[Nees]

Ik zie hier geen succes in. Geen info over lenzen wisselen, dus een regisseur krijgt ookal geen vrijheid met dit ding. En zou dus in zeer bepaalde scenarios enkel kunnen werken als deze net dat type lens wil gebruiken dat matched met deze camera en dan nog toevallig voor CGI. Lijkt me dus een dure onhandige camera.

[Lisadr]

755 'raw megapixels' per frame en 300 frames per seconde! 1 minute film = 13,3 TB! 1 uur film is 796TB data! Zelfs bij 24 fps is het 64TB per uur. Een complete film is tientallen uren aan video.

Dat is heel veel data dat verwerkt moet worden door hele snelle computers.

Ze hebben het over cloud opslag, maar zelfs met 1Gbit verbinding duurt het 6 dagen om 1 uur raw video van 24fps te uploaden naar de cloud.

[Sméagol]

De vorige 2 cameras hadden geen goede beeldkwaliteit, als ze geen succes waren dat is dat, gecombineerd met de prijs de oorzaak. Ik betwijfel dan ook dat dat deze wel geschikte beeldkwaliteit hebben.

Jammer, want de techniek is zeker interessant. In dit geval zou ik 't zeker een mooie ontwikkeling vinden als ze 3D films kunnen verbeteren, post-process 3D is tot op de dag van vandaag nog steeds verschrikkelijk. Deze cameras zijn een stuk praktischer dan echte 3D camera set-ups. Als de beeldkwaliteit wel van goed (genoeg) niveau is, hoop ik dat ze in ieder geval de post-proces 3D films compleet overbodig maken.