Onderzoekers ontwikkelen nieuw type lightfield-camera

Onderzoekers van de Cornell University hebben een ontwerp voor een beeldsensor ontwikkeld waarbij de pixels de richting van de invallende lichtstralen kunnen bepalen. Met deze lightfield-sensor kan het brandpunt achteraf worden bepaald.

Het onderzoeksteam onder leiding van Alyosha Molnar van de Cornell University heeft een beeldsensor ontwikkeld waarmee het mogelijk is om niet alleen de intensiteit, maar ook de hoek van het invallende licht op de pixels te registeren.

De zogeheten angle-sensitive pixels zijn gemaakt met een normaal 130nm-cmos-procedé en hebben een opbouw met twee op elkaar gestapelde lagen met minuscule gleuven boven een fotodiode. De eerste tralielaag levert een bepaald diffractiepatroon op, terwijl de tweede laag het licht in meer of mindere mate blokkeert dan wel doorlaat.

Met behulp van een fouriertransformatie is dan de afstand tot een object te berekenen. Ook is hiermee achteraf het focuspunt in beeld te bepalen. Het idee lijkt op dat van de Lytro, maar die laatste lightfieldcamera maakt gebruik van een tralielaag en een matrix van microlenzen om zich een 3d-beeld voor te stellen.

Ook denkt Molnar dat zijn methode beter is dan de Lytro-technologie, omdat de hoek van de lichtstralen eenvoudiger en met minder rekenkracht is te herleiden. Vooral voor video zou de oplossing van Molnar beter zijn.

Het testexemplaar van de cmos-beeldsensor van Molnar beschikt over 150.000 asp-pixels en deze hebben een grootte van 7μm. Hoewel de resolutie nog relatief laag is, kan dit verhoogd worden door de chip groter te maken.

Reacties (26)

[Durandal]

Begrijp ik dan dat je ook geen lens meer nodig hebt?

Verder begrijp ik de gaatjes in de Second Grating niet. Zeker omdat er geen 3rd Grating onder zit. Ik zou een ononderbroken laag of een met maar heel kleine gaatjes verwachten.

[Tjeerd]

Een lens lijkt me altijd nog nodig om iets dichtbij te halen en/of juist veraf te houden. Het enige wat dit doet is het focuspunt achteraf bepalen.

[Verwijderd]

Het lijkt mij dat als je niet wilt vergroten of bijv groothoek nodig hebt je dit in principe ook met een pinhole camera moet kunnen gebruiken. Dan heb je inderdaad geen lens nodig.

We hebben al jaren de mogelijkheid om achteraf zaken als belichting en witbalans aan te passen. Als we straks de autofocus kunnen elimineren en achteraf ook de scherptediepte volledig kunnen veranderen dan is dat natuurlijk een gigantische stap vooruit in de fotografie. In feite heb je nu een sensor die geen plat vlak meer is maar de lichtbundels ruimtelijk in beeld brengt. Dat schept veel meer informatie dan voorheen. Ik vraag me alleen af hoe groot een gemiddeld raw-bestand wordt met bijv een 10 Mpixel sensor.

Het schept ook leuke nieuwe mogelijkheden. Zo kun je bij een groepsfoto er nu voor zorgen dat alle gezichten automatisch scherp zijn. Of nog beter: je kunt nu meerdere scherptediepte-reeksen aanbrengen in 1 foto. Dus bijv een macro-shot van een bloem betekent een scherpe bloem op de voorgrond maar bijv ook een bloem op de achtergrond scherp en de rest onscherp. Ik ben benieuwd hoe snel deze technologie in de fotografiewereld wordt geaccepteerd.

*edit*
Kun je met lightfieldcamera's geen 3D-foto's produceren? De afstand tot alle objecten op de foto is immers te berekenen. Dan heb je geen stereocamera meer nodig om 3D op te nemen. Sterker nog, dan zou je als eindgebruiker zelf kunnen instellen wat bijv de afstand tussen je ogen is om een zo natuurlijk mogelijk beeld te produceren. En eindelijk is het hele beeld in focus te krijgen en dat scheelt weer vermoeide ogen.

[Reactie gewijzigd door Verwijderd op 23 juli 2024 02:08]

[TranceSetter]

Mensen zien ook geen 3d met 1 oog. Je hebt dus twee verschillende beeldhoeken tov je onderwerp nodig om het 3d te zien. Zo zit dat dus ook met camera's, en heeft het achteraf scherpstellen hier niets mee te maken.

[Zartok]

Zelfs al zouden we dat niet kunnen (mensen kunnen wel degelijk 3D zien met 1 oog) is het nog geen steekhoudend argument om te beweren dat het niet mogelijk is met een camera.

Kun je met lightfieldcamera's geen 3D-foto's produceren? De afstand tot alle objecten op de foto is immers te berekenen.

Ja, je kan 3D-foto's produceren. Staat er letterlijk in:

Met behulp van een fouriertransformatie is dan de afstand tot een object te berekenen.

[Reactie gewijzigd door Zartok op 23 juli 2024 02:08]

[Asprine]

Na stills over op streaming en voordat je het weet zitten we met een 3D/DOF bril op in de bioscoop en bepalen we zelf waar we op willen focussen.

[doltishDuke]

Dat was ook het eerste waar ik aan dacht. Ik stoor me bij 3D beelden mateloos aan het feit dat de maker bepaald waar ik op focus. Zie alleen nog niet helemaal hoe een bioscoopscherm zodoende de honderden mensen in de zaal kan bedienen.

Ook lijkt me dat dit soort data gigantisch groot gaat worden omdat licht uit verschillende hoeken toch zal moeten worden opgeslagen. Of zie ik dit verkeerd?

[Verwijderd]

"Ook lijkt me dat dit soort data gigantisch groot gaat worden omdat licht uit verschillende hoeken toch zal moeten worden opgeslagen. Of zie ik dit verkeerd?"

Volgens mij valt dit nogal mee denk ik. Uiteindelijk sla je een foto op met een DOF van oneindig, of dus m.a.w. alles scherp. Maar dan met als extra informatie bij iedere pixel de afstand tot het object vanaf waar het licht is vertrokken.

[Waah]

net zoals we nu IRL dus ook doen, focussen op wat je wilt zien. Dat zie ik wel zitten

[Koesper]

Jammer voor de jongens van Lytro, maar op deze manier is er wel een kans dat Lightfield camera's wat meer main-steam gaan worden

[Yoozer]

Niet jammer. Lytro heeft een werkend product wat in de handel is en wat ze nog kunnen verfijnen, en met die aankondiging kun je inschatten hoe lang 't gaat duren eerdat je de concurrent in je nek voelt hijgen.

[SpacyRicochet]

Tevens, niks weerhoudt de Lytro-jongens ervan om deze technologie te gaan gebruiken. Als dit de betere methode blijkt te zijn, dan is het natuurlijk prima om te kijken of ze er een licentie op kunnen nemen voor hun camera's.

[bbob]

Lytro is gewoon leuk speelgoed niets meer niets minder. De resolutie is gewoon bagger, te laag voor de huidige standaard. Als je dan nog leest dat dit veel minder complex is lijkt me dat hoewel dit niet marktrijp is het wel meer toekomst zal gaan hebben.

[PaulC]

Nee, 't is een ontwikkeling van nieuwe technology, zoals in de jaren '90 een camera van 640x480 al knap was. Binnen 10 jaar is dit misschien helemaal geen kinderspel meer, maar 'standaard' in compacts en GSM's. By By focussing.

[Verwijderd]

640*480? Ik denk dat je even opnieuw moet kijken wat voor resoluties er in de jaren negentig beschikbaar waren. De allereerste commerciele digitale camera had al een resolutie van 1524*1012, deze Kodak camera (ja, die jongens die net failliet zijn gegaan omdat ze de overschakeling naar digitaal niet goed hebben ingeschat) is in maart 1994 geintroduceerd. Precies een jaar later kwam Kodak al met de volgende camera op de markt die al een resolutie had van 3060*2036 (= 6 MP).

[Verwijderd]

Deze sensor lijkt mij echt een enorm voordeel hebben voor Mirrorless camera's. Die moeten nu nog scherpstellen met constrastdetection. Een relatief langzame methode omdat niet duidelijk is in welke richting er scherp gesteld moet worden. Met deze techniek is wel te bepalen of je front- of backfocus hebt.

En dan ga ik er nog vanuit dat er scherpgesteld moet worden. Dat is immers bij de Lytro camera ook zo. Misschien is deze techniek wel helemaal zonder scherpstellen te gebruiken.

[fvschie]

Mooie kinectvervanger. Diepteinformatie uit één sensor, zonder infrarood-laser grid er overheen. Een tig aantal van deze dingen in een kamer en je kan zelfs volledig surround 3D beelden maken.

[lezzmeister]

Okay, dus met een lens als deze kun je dan scherpstellen als het beeld als gemaakt is?
Of wat is dan het enorme voordeel?

[Rannasha]

Achteraf (= op de computer, of eerder door een menu in de camera) scherp stellen is een gigantisch voordeel. Je hebt nooit meer last van foto's waar de focus verkeerd ligt of waar de scherptediepte te groot of te klein is. Al deze dingen kun je in alle rust bepalen en verschillende mogelijkheden uitproberen.

Daarnaast kost de auto-focus vaak redelijk wat tijd, zeker in moeilijke omstandigheden zoals een donkere ruimte. Als auto-focus niet meer nodig is, kun je dus veel sneller een foto maken, waardoor je minder van de actie mist.

[schaafkaas]

Inderdaad, en daarnaast zit het verschil tussen een goede lens en een uitmuntende lens vooral in scherpte, bokeh en een groot maximaal diafragma met het bijbehorende depth of field effect. Als je dit allemaal met software kan doen, zou dat dure lensen overbodig maken.

Dus ja de huidige Lytro camera is weinig meer dan een gimmic, maar de technologie zou op den duur een revolutie kunnen veroorzaken.

[MossMan]

Ik neem wel aan dat deze beelden echt véél meer informatie zullen bevatten dan een gewone beeld - ze zullen dan ook X keer groter zijn wat betreft opslag. Vraag me dus af in hoeverre je ze wil "laten" ipv. direct een brandpunt kiezen en gewone een jpeg van maken.

Zoiets als alles in raw-format laten, maar zelfs nog erger.

Maw. al zullen devices deze sensoren benutten, ik verwacht dat de bediening toch "traditioneel" blijft voor de meeste (goedkope) toestellen - je zult dan de optie krijgen om in onbewerkt format op te slaan, maar dat zal een beetje specialistisch blijven.

[Verwijderd]

Op zich heb je natuurlijk gelijk dat de hoeveelheid informatie die je opslaat sterk toeneemt. Echter het is nu al geen enkel probleem meer om raw files van 20~30 MP cameras en masse op te slaan en te verwerken. Tegen de tijd dat deze sensor technologie volwassen genoeg is om praktisch toepasbaar te zijn zal de opslag en processing capaciteit ook zoveel verbeterd zijn dat we ons daar ook niet druk over hoeven te maken.

[Carbon]

Okay, dus met een lens als deze kun je dan scherpstellen als het beeld als gemaakt is?

Het is geen lens maar een beeldsensor.

Je kunt de opname achteraf op bijna ieder willekeurig punt scherpstellen.

[bbob]

Het is maar de vraag of je wel of geen lens nodig hebt.

Met een lens zoom je in op detail. zoom je dan 4x in dan maakt je met 16 megapixels een foto.

Zoom je niet in met deze lens en maak je met 16 megapixels een foto zul je dus softwarematig 4x moeten inzoomen met het gevolg dat je dan dus minder pixels = details zal gaan overhouden.

Je kan dat alleen compenseren door zeg een 50 megapixel sensor te gebruiken die dan bij 4 keer inzoomen rond de 16 megapixels zal geven. 50 magepixels wil weer zeggen of een hele grote sensor = duur of een sensor waar de pixels te dicht op elkaar zitten waardoor het ook niet optimaal is.

Conclusie voor echte closeup zul je dus altijd toch een soort lens moeten hebben

[Verwijderd]

Het zal wel aan mij liggen, maar deze redenering volg ik niet helemaal. Het gaat hier om een sensor, die ook de invallende hoek van de lichtstralen bepaald. In mijn ogen heeft dat niks met zoomen te maken. In de PDF kun je ook zien dat er nog steeds een lens nodig is.