Cookies op Tweakers

Tweakers maakt gebruik van cookies, onder andere om de website te analyseren, het gebruiksgemak te vergroten en advertenties te tonen. Door gebruik te maken van deze website, of door op 'Ga verder' te klikken, geef je toestemming voor het gebruik van cookies. Wil je meer informatie over cookies en hoe ze worden gebruikt, bekijk dan ons cookiebeleid.

Meer informatie

Door , , 19 reacties

Onderzoekers van de Stanford-universiteit hebben een beeldsensor ontwikkeld die - beperkt - 'diepte' kan zien. Het prototype van de drie megapixel-beeldsensor is een multi-aperture-ontwerp.

Multi-aperture beeldsensor 3 Standford UniversityDe cmos-beeldsensor is gebakken op een 110nm-procedé en is onderverdeeld in groepen van 16 bij 16 pixels, waarbij elke pixelgroep voorzien is van een microlens die een klein deel van het beeld projecteert op de onderliggende pixels. In totaal bevat de beeldsensor 12.616 van deze groepen. Elke groep bekijkt het te 'vangen' beeld vanuit een iets andere hoek en de geprojecteerde beelden van aangrenzende groepen overlappen elkaar gedeeltelijk.

Beeldbewerkingssoftware kan uit de resulterende opname niet alleen het originele tweedimensionale beeld terug toveren, maar ook de diepte-informatie is te herleiden. Volgens Keith Fife, die het onderzoek bij Stanford leidt, kan deze extra informatie als metadata toegevoegd worden aan een jpeg-bestand. Fife presenteerde het ontwerp tijdens de ISSCC-conferentie.

De nieuwe beeldsensor heeft als voordeel dat de kleurruis in foto's af kan nemen, omdat aan de hand van meerdere groepen pixels nauwkeuriger de juiste kleur kan worden bepaald. Deze zogeheten 'chroma noise' treedt vooral op bij hogere lichtgevoeligheden van een beeldsensor. Daarnaast is het mogelijk om de pixelgroepen toe te wijzen aan één van de rgb-kleuren om zo het 'lekken' van kleuren naar andere pixels tot een minimum te beperken. Volgens Fife is er voor extreme close-ups zelfs geen extra lens voor de beeldsensor nodig. Vooral voor medische toepassingen zou dit handig kunnen zijn.

Nadelen kleven ook aan een multi-aperture-indeling van de beeldsensor: de uiteindelijke beeldresolutie is beduidend lager vanwege de redundante beeldinformatie, er is tien keer meer rekenkracht nodig om het tweedimensionale beeld en de bijbehorende diepteinformatie te berekenen en om diepte te onderscheiden moet er genoeg contrast zijn tussen de in beeld gebrachte onderwerpen.

De oplossing van de onderzoekers van Stanford lijkt veel op de facetlens van Adobe. Met het verschil dat bij de oplossing van Adobe het beeld van één van de kleine lenzen op de sensor de hele scene bestrijkt. Bij een presentatie van de facetlens bevestigde Adobe's Dave Story dat de volgende stap het integreren van de microlenzen op de beeldsensor is.

Multi-aperture beeldsensor 2 Standford University
Moderatie-faq Wijzig weergave

Reacties (19)

Met die microlens array is het ook mogelijk om de focusdiepte nadat de foto is genomen aan te passen. Volgens mij werd in een ouder paper (met als titel uit m'n hoofd waarschijnlijk iets van "lightfield photography with hand-held plenoptic camera") het diepte aspect al genoemd. Door die microlensjes heb je een klein parallax effect, d.w.z. dat je nadat de foto is genomen parallel aan de lens van de camera heen en weer kan schuiven.
Als dit systeem fatsoenlijk wordt uitgewerkt is het misschien mogelijk om achteraf scherp te stellen. Misschien wel nuttig voor telefooncamera's die autofocus ontberen? Dan moet de chip waarschijnlijk wel iets 'dieper' kunnen (en nog een jaar of 10 ontwikkeling afgewacht worden)
dit zou geniaal zijn voor de video en special effects industrie. niks meer hoeven schieten voor een blue screen omdat je de diepte weet kan je zo de voorgrond van de achtergrond onderscheiden
zo'n videocamera is er al, de Z-Cam; ander principe, overigens.
( http://www.3dvsystems.com/technology/tech.html )
Leggen zich tegenwoordig meer op de gamesmarket, overigens.

Dit is meer makkelijk om de focus achteraf nog wat te kunnen wijzigen - zo ook het perspectief (een heel klein beetje). Dit idee was er al -voor- die Adobe multi-facet lens, en beide zijn eigenlijk van dezelfde groep.

Vergeet niet dat je een enorm resolutie verlies hebt... groepjes van 16*16 pixels, dus voor een sensor die anders 2k opneemt houd je nog maar ~0.13k over. Niet echt imposant.
Nu heb je dan eindelijk een reden om 10+Megapixel camera's te kopen. In combinatie met dus deze technologie kan je toch nog in goeie kwaliteit plaatjes schieten.
Klopt. Maar dan moet je wel een systeem hebben dat snel genoeg is om bewegend beeld op te nemen.

De zware berekeningen, die als een post process zullen meoten gebeuren, maken het ook duur voor bewegend beeld.

In special fx gebruiken we trouwens depth informatie (z-depth) al lang. Computer genereerde beelden worden vaak gerenderd met z-depth (een waarde die voor elke pixel bepaald hoe ver die pixel van de camera ligt).

Die info kan dan gebruikt worden voor allerhande zaken zoals snel herrenderen (re-lighting), post effects (2D en 2.5D) zoals depth of field, mutipass rendering en recomping, etc
@ Jonas.b
"is het niet handiger/ goedkoper om gewoon twee cmos-beeldsensoren naast elkaar te zetten. en daaruit de diepte te berekenen?" Nee, dit is gewoon leuker ;)
Ik denk dat het gewoon compacter is, en je zit maar met 1 perspectief. Je kan er leuke stereo foto's mee maken, die je dan bijvoorbeeld in 3D brilletjes kan plakken, of in VR brillen kan tonen. Dit is maar 1 perspectief, en toch weet je hoe ver alles ligt.
En alsnog, ze zullen nog wel meer leuke toepassingen hiervoor vinden, en niet alleen in fotocamera's.
En overigens "De nieuwe beeldsensor heeft als voordeel dat de kleurruis in foto's af kan nemen, omdat aan de hand van meerdere groepen pixels nauwkeuriger de juiste kleur kan worden bepaald." De 3D 'fotografie' is dus niet het enige wat deze techniek met zich meebrengt.
Een andere toepassing die ik kan bedenken is een selectieve onscherpte toepassen op de foto.
Zo kun je de Depth-of-field met deze methode ook een stukje digitaal beinvloeden en zou je dus de foto's van compact-camera's meer kunnen laten lijken op foto's van dSLR's.
Je zou op die manier ook de focus op je object kunnen instellen, waardoor de omgeving onscherp wordt, terwijl de afstand tot de lens niet anders is. Oftewel dingen die met een gewone parallel geplaatste lens tov de sensor niet zou lukken.
Uiteraard kun je dat ook na afloop doen, als je de diepte-informatie mee opslaat.
Mooie techniek om scherpere foto's te maken, maar je hebt nu ook eigenlijk een 3-D foto. En volgens mij kun je die weer laten zien in een hologram of met die techniek om lichtgolven al dan niet vertraagd te projecteren ... Ben benieuwd wat de toekomst brengt.
Moah, 3D-foto... je hebt niet heel erg veel diepte informatie, doordat beide lagen erg dicht bij elkaar staan. Kortom de afwijking, waarbij een plaatje een pixel verder komt te liggen op de 2e laag, zal een erg grote afwijking in diepte zijn. Nu kun je uiteraard ook wel verplaatsingen meten in delen van een pixel, maar die nauwkeurigheid neemt erg snel af met de toename in ruis in het beeld.
Echter is een minimale indruk al voldoende om je dat gevoel te geven en dat kan toch een mooie dimensie in je gevoel geven bij het kijken van zo'n foto.
is het niet handiger/ goedkoper om gewoon twee cmos-beeldsensoren naast elkaar te zetten. en daaruit de diepte te berekenen? zoals bij de klassieke stereo fotografie? (met een 2de lenzen set

je heb dan zonder reken werk al 1 (eigenlijk 2) vlak beeld.

al denk ik wel dat het mogelijk moet zijn om dat in 1 lens te verwerken?

[Reactie gewijzigd door jonas.b op 21 februari 2008 18:27]

door dat te doen, krijg je alleen links/rechts diepte, maar mis je op/neer diepte.
met deze techniek heb je ook dieptezicht als je je hoofd iets kantelt.
Dan zal je ook twee lenzen moeten hebben om op elke chip een scherp beeld te krijgen, dit is in verhouding met deze techniek wat duurder en onhandiger denk ik zo :)
Ik zou het niet zozeer doen met 2 sensoren, maar eventueel door 2 opnames vlak na elkaar te maken, waarbij je de lens-afstand tot de sensor iets vergroot.
Uiteraard werkt dat alleen maar bij stilstaande objecten en niet bij actie-shots.
zou dit afgeleid zijn van de manier waarop het facet oog van een insekt werkt ?
prachtig stukje techniek, en mooi afgekeken van de natuur.

dit is een 'goedkope' oplossing biologisch gezien, een beetje zoals insecteogen (met facetten) werken. Wij hogere organismen hebben dan wel maar 2 ogen, maar die zijn groter, hebben meer receptors, en een gigantisch visueel processing systeem erachter (in je hersenen). Die facettenogen brengen een gedeelte van de processing naar de ogen, zodat je met veel minder rekenkracht ook diepte kunt processen.

Op dit item kan niet meer gereageerd worden.



Apple iOS 10 Google Pixel Apple iPhone 7 Sony PlayStation VR AMD Radeon RX 480 4GB Battlefield 1 Google Android Nougat Watch Dogs 2

© 1998 - 2016 de Persgroep Online Services B.V. Tweakers vormt samen met o.a. Autotrack en Carsom.nl de Persgroep Online Services B.V. Hosting door True