Nieuw type sensor dumpt groene subpixels voor minder ruis

Sensorfabrikant Aptina heeft een nieuwe camerasensor voor mobieltjes onthuld. Deze sensor heeft geen reguliere indeling met rode, groene en blauwe subpixels, maar verruilt de groene pixels voor kleurloze varianten, wat minder ruis moet opleveren.

Bijna alle camerasensors zijn opgebouwd uit rode, groene en blauwe subpixels, die samen één reguliere pixel vormen, in een zogeheten Bayer-opstelling. Daarbij zijn vaak een rode, een blauwe en twee groene subpixels aanwezig. Bij de nieuwe Clarity+-techniek van Aptina worden de groene subpixels vervangen door kleurloze pixels, waardoor meer licht opgevangen kan worden en de hoeveelheid ruis in de foto vermindert, zo schrijft DPreview. De informatie die normaal door de groene pixels wordt geleverd, wordt nu verkregen door de informatie van de rode en blauwe pixels in mindering te brengen op de gegevens uit de 'clear pixels'.

Volgens Aptina verbetert dit de signal-to-noise-ratio en daalt het ruisniveau in foto's flink. Doordat de sensor gevoeliger is, kunnen kortere sluitertijden gebruikt worden, wat bijvoorbeeld weer gunstig is bij het maken van hdr-opnamen. De fabrikant claimt dat het nieuwe sensortype op het vlak van scherpte en kleurreproductie gelijk is aan bestaande Bayer-sensors. Aptina heeft nog geen commerciële producten aangekondigd die op de Clarity+-techniek gebaseerd zijn, maar een volledig werkend prototype is al wel gemaakt.

Reacties (79)

[kakanox]

Ziet er interessant uit, ook al is het feitelijk niks meer dan het weglaten van een kleurfilter voor de normaal gesproken groene pixels. De winst zou dan dus moeten komen uit het feit dat het normaal gesproken toegepaste kleurfilter boven die pixels voor een verlies zorgt.

Ik ben dan ook erg benieuwd wat er gebeurt wanneer er licht buiten het voor de mens zichtbare spectrum aanwezig is. Klopt de kleur dan nog wel, of wordt dit zichtbaar in de foto?

Je krijgt bij bijvoorbeeld de Leica M8 dit wanneer je geen IR filter gebruikt.

[Reactie gewijzigd door kakanox op 25 juli 2024 16:52]

[Dirxess]

Het filter van de Leica die je noemt (en fotocamera's in het algemeen), heeft een filter dat in principe al het licht buiten het zichtbare spectrum tegenhoudt, lijkt me. Als je het filter verwijdert, krijg je dus niet alleen maar infrarood erbij.

Bij de sensor in het artikel zou best kunnen zijn dat er wel degelijk een filter voor de "clear pixels" zit, maar dat dat alles tegenhoudt buiten het zichtbare spectrum. Daardoor zullen infrarood en andere frequenties niet in de kleurinformatie zitten.

Dit klinkt in theorie als een echt slimme techniek waarbij er geen nadelen zijn: er is meer lichtgevoeligheid zonder in te leveren op kleurinformatie. Toch lijkt het me interessant te weten of deze sensors moeite hebben met witbalans vinden. Je hebt namelijk geen perfecte meting van je groen, dat is een breder of ander spectrum dan wat je met puur groene pixels binnenhaalt. En misschien zie ik nog wel een hele hoop over het hoofd

[bigbadbull]

Het enigste nadeel dat ik me kan voorstellen is nu net dat groen dominant wordt.

Als het kleuren palet in toptaal 300 zou zijn meet men 100 blauw, 100 rood en 100 groen. (elk 1/3)
met deze sensors meet men nu 200 groen.
Wordt het pallet dan niet verstoord daar groen nu 1/2 van het pallet bedraagt?

[kakanox]

Groen bedraagt altijd 1/2 van het palet bij Bayer-sensoren. Ze zijn standaard RGGB, zoals je ook in het plaatje ziet. Nu wordt dat RWWB (met W=wit).

Er wordt normaal gesproken ook altijd scherpgesteld op groen (vandaar paarse randen bij sommige objectieven = niet alledrie de basiskleuren komen dan in hetzelfde punt samen).

Hier een tekening die een vorm van dit verschijnsel (nl. chromatische aberratie) uitlegt.

[Reactie gewijzigd door kakanox op 25 juli 2024 16:52]

[Shark.Bait]

Dat filter heet een "hot mirror" en is een stukje glas dat zo groot is al de gehele sensor en bovenop die sensor zit. Bij infrarood camera's wordt deze door een normaal stukje glas vervangen, al dan niet met een anti aliassing filter (de hot mirror bevat soms ook datzelfde anti aliassing filter)

[kakanox]

Vergelijk het grijs in beide voorbeelden eens. Ik twijfel of een simpele hot mirror voldoende is.

[Aham brahmasmi]

Het filter van de Leica die je noemt (en fotocamera's in het algemeen), heeft een filter dat in principe al het licht buiten het zichtbare spectrum tegenhoudt, lijkt me. Als je het filter verwijdert, krijg je dus niet alleen maar infrarood erbij.

De Leica M8 die kakanox noemt staat erom bekend dat hij een te dun IR-filter heeft en nog een extra filter op de lens nodig heeft om volledig van IR-vervuiling verlost te zijn.

[Magic]

Wat wel meteen opvalt is dat het groene van de auto een stuk "vuiler" is dan die in het origineel. Ondanks de ruis vind ik de eerste foto een stuk prettiger naar te kijken, deze heeft volgens mij ook meer detail. (of de ruis voegt de illusie van detail toe).

[Hobbit13]

Yep,

Vind de rechter foto er eigenlijk gewoon uit zien als de linker foto + sterke ruisfilter.

Bovendien heeft de rechter foto veel meer dichromatische afwijkingen (blauwe gloed rondom het embleem op de radiator).

Extrapolatie van groen levert natuurlijk meer ruis voor groen op, dus ik zou wel eens een foto willen zien met veel bomen etc.

[florisje]

precies, de detailering is ook een stuk lager, in de grille bijvoorbeeld.

het lijkt me ook niet zo verwonderlijk dat je resolutie verliest doordat je nu informatie van de naastgelegen subpixels gebruikt...

[inorde]

Hoe vang je groen af zonder groene subpixels? Je kunt toch niet softwarematig verzinnen wat groen is met enkel rood/blauw/"wit". Ik bedoel, je hebt toch RGB nodig om alle kleuren en mixen af te vangen?

Ik mis toch wat contrast in het detail in de rechterfoto waardoor deze minder scherp lijkt.

[Reactie gewijzigd door inorde op 25 juli 2024 16:52]

[Playa del C.]

Bij benadering kan het, omdat als je rood en blauw van het wit aftrekt, je 'groen' overhoudt (als je RGB gebruikt).
Simpeler gezegd: als er volgens de sensor veel licht binnenkomt, maar er wordt weinig rood en blauw gemeten, dan moet het dus veel groen licht zijn geweest.

Alsnog zijn het inderdaad allemaal trucjes, en op de foto's is inderdaad duidelijk te zien dat hierdoor verschil optreedt. In mijn ogen zie ik dat de nieuwe techniek voor minder ruis, maar ook minder nauwkeurig groen zorgt.

Misschien niet de beste oplossing voor toepassingen met natuurgetrouwe kleuren, maar wel goed voor surveillance-camera's.

[Durandal]

De transparante pixel vangt licht van alle kleuren (RGB). Trek daar de R+B van naastliggende pixels af en je hebt G.

[torp]

Interessante oplossing. Had men in plaats van de groene evengoed de blauwe of rode pixels kunnen weglaten?

[Verwijderd]

Het menselijk oog is gevoeliger voor groen (heeft iets te maken met de kegeltjes en staafjes in het oog die het licht opvangen), dus als het groen accurater wordt weergegeven, heeft dit het gevolg dat het totale beeld als "beter" wordt beschouwd.

Om even in de geschiedenis van computer graphics te duiken: Toen de SVGA/VESA standaard populair begon te worden, had je grafische kaarten die 15bit of 16bit waren. De 15bit varianten gebruikten 5bits per kleur, de 16bits varianten gebruikten 5 bits voor rood en blauw, en 6 bits voor groen. Men had natuurlijk een andere combinatie kunnen kiezen (zoals 6 bits voor rood, en 5 bits voor groen en blauw) , maar aangezien het oog dus gevoeliger was voor groen, werd het beeld met 6 bits voor groen als "beter" ervaren. Vanaf 24bits/pixels (8bits per pixel) werd het effect verwaarloosbaar.

[daan.timmer]

nee, want er waren 2 groene en maar 1 rode en blauwe. Dus als je een blauwe of rode weglaat. Dan heb je geen blauw of rood.

[A Lurker]

Ze hebben beide groene pixels vervangen, dus volgens jou zouden ze dan geen groen meer hebben. Maar het hele idee is juist dat ze de 3e kleur afleiden uit pixels van de twee andere kleuren, door het verschil te berekenen tussen de clear pixels en de rode en blauwe pixels.

Licht is nou eenmaal 3 componenten, en de clear pixels ontvangen alle licht, dus daar hoef je dan 'alleen maar' het blauwe en rode licht vanaf te trekken om je hoeveelheid groen te krijgen.

De reden dat ze hier juist groen voor gekozen hebben lijkt mij direct in relatie te staan met het feit dat ze twee groene pixels nodig hebben voor een fatsoenlijke groene kleurrepresentatie op de foto's.

Blijkbaar zijn die groene pixels niet erg gevoelig, of is groen gewoon een lastige kleur. Dat soort dingen zijn niet bevordelijk voor je ruis danwel kleurrepresentatie. Dan ligt het voordehand om de twee groene pixels te vervangen voor clear pixels, gezien dit waarschijnlijk meer ruisreductie oplevert dan bijvoorbeeld de enkele blauwe pixel te vervangen.

[Loderunner]

Licht bestaat niet uit drie componenten maar uit vele verschillende frequenties binnen het lichtspectrum. Groen is inderdaad een wat afwijkende kleur, maar dat ligt hem niet aan de sensor, maar aan onze ogen. We kunnen namelijk veel beter groen waarnemen dan rood en blauw. Betere ruisprestaties kunnen we behalen door in dit geval 2 groene subpixels te hebben, deze vangen meer licht omdat ze meer oppervlak vertegenwoordigen op de sensor. Bekijk de losse kanalen RGB van een foto maar eens in grijswaarden, dan zie je dat groen weinig ruis bevat, rood iets meer en blauw het meest.

Maar wat ik nu zo vreemd vind is dat er in het geval van deze sensor bijna een aanname gedaan wordt in de trant van;"licht uit bijna het gehele visuele spectrum minus rood en blauw is groen". Waarschijnlijk bevat het beeld nu een stuk minder ruis omdat we ook delen van het spectrum erbij betrekken die weinig met groen te maken hebben, er zal dan in de verwerking van de beeldinformatie wel wat wiskundige trucjes uitgehaald moeten worden om een realistische representatie van het beeld te maken.

[Pepperoni]

Ik vroeg me dat ook af, die aanname groen=compleet spectrum-groen-blauw. Aan de andere kant, de huidige sensoren doen nu ook min of meer de aanname compleet spectrum=groen+rood+blauw en dat lijkt ook goed te werken.

Een interessant argument tegen deze sensor is dat in goed verlichte situaties de heldere subpixels sneller "vullen" dan de gekleurde, waardoor het rood en blauw kanaal relatief meer ruis zal bevatten. Dat zou dan weer leiden tot verminderde kleurechtheid, hoewel de totale signaal/ruisverhouding lager is. In theorie zou een Bayer setup het dus beter doen in goed verlichte situaties, en deze in donkere. De tijd zal leren hoe dit allemaal in de praktijk zal zijn.

[Reactie gewijzigd door Pepperoni op 25 juli 2024 16:52]

[Verwijderd]

Licht is niet 3 componenten, onze ogen werken zo.

[Aham brahmasmi]

Sommige mensen (heel zeldzaam) hebben echter 4 soorten kegeltjes in hun netvlies (tetrachromaten).

[link0007]

Iedereen heeft dat; je hebt een speciale soort zenuwcel in je oog die afgestemd is op het blauw van de lucht, om zo je dag-nacht-ritme te regelen: http://en.wikipedia.org/wiki/Photosensitive_ganglion_cell

[codebeat]

Offtopic: Mijn dag en nacht ritme is geheel ontregelt. mis ik iets?

[Shark.Bait]

wat pinobot zegt. Het feit dat ultraviolet en infrarood weggefilterd worden met een hot mirror zorgt ervoor dat de heldere pixels die "kleuren" niet als groen zien bij het toepassen van de subtractie van rood en blauw.

[Coocoocachoo]

Nee, als je op het plaatje kijkt met de subpixels (http://ic.tweakimg.net/ext/i/imagelarge/1374048703.png) dan zie je dat ze beide groene subpixels hebben vervangen door transparante subpixels.

De informatie die normaal door de groene pixels wordt geleverd, wordt nu verkregen door de informatie van de rode en blauwe pixels in mindering te brengen op de gegevens uit de 'clear pixels'.

[daan.timmer]

Excuus, niet gezien :-)

[Orion84]

Beide groene pixels worden vervangen door kleurloze varianten, dus dat argument gaat niet op.

Waarom ze dan toch voor groen hebben gekozen ipv. rood of blauw weet ik niet. Voordeel is natuurlijk wel dat je op deze manier de helft van alle 'pixels' vervangt door een lichtsterke kleurloze variant, terwijl je bij vervangen van rood of blauw maar een kwart van alle pixels zou vervangen.

Wel een interessante aanpak. In Bayer sensoren wordt van elke eenkleurige pixel nu al een RGB pixel gemaakt aan de hand van de info van omliggende pixels, dus het gebruik van omliggende rood en blauw pixels voor het bepalen van de groenwaarde zou op zich inderdaad niet heel veel verlies aan detail moeten opleveren.

[Reactie gewijzigd door Orion84 op 25 juli 2024 16:52]

[zonoskar]

Dat was ook mogelijk geweest, maar dan win je dus veel minder licht. Aangezien er 2 groene pixels zijn, en maar 1 rode of blauwe.

[Wobblier]

Interessante oplossing. Had men in plaats van de groene evengoed de blauwe of rode pixels kunnen weglaten?

Het aandeel groen in een beeld is altijd groter dan rood en blauw. Door 2x zoveel groen te bemeten ten opzichte van rood en blauw verhoog je de dynamic range van een sensor.

Dit gegeven is denk ook belangrijk voor de clear pixels, waar de lichtwaarde van de clear pixel een factor 2 keer zoveel groene informatie bevat als de rode of de blauwe, zodat er een betere benadering wordt berekend wanneer je de rood en blauw uitfiltert.

[Phuncz]

Een goede keuze, als we de voorbeelden mogen geloven. Ruisvermindering op hardwarevlak mag bij camera's meer aandacht krijgen, zodat een hogere ISO niet meer hand in hand gaat met grove stappen kwaliteitsverschil. Vooral bij compact- en mobiel-camera's valt dit heel erg op.

[freaq]

vraag me af of dit nog steeds goed zou werken bij DSLR, en hoeveel impact het heeft op de correctheid van de kleur, al is een Bayer filter ook al een interpolatie natuurlijk.

hoedanook bij een DSLR zou het ook kunnen leiden tot ruisvermindering op lage ISO's
als het tenminste de kleurechtheid niet te zwaar compromitteerd

[bartheijt]

Ik kan me dit bericht nog herrineren.

Een foto sensor met grafeen die veel gevoeliger is voor licht. Het zou zelfs tot 1000x gevoeliger zijn dan conventionele technieken. Daarnaast zou het ook goedkoper te produceren zijn mits massaproductie wordt toegepast. Ik weet niet of deze techniek ook gebruikt maakt van de subpixelstructuur maar anders zouden deze technieken nog gecombineerd kunnen worden.

Ruis is in mijn ogen zeker bij telefoons en compactcamera's nog steeds een probleem bij situaties met weinig licht. Ik ben benieuwd wanneer we deze technieken voor het eerst in telefoons, maar ook in dslr camera's te zien krijgen.

[Blazing-Studios]

en hou verhoud de kwaliteit zich bijvoorbeeld tegenover Nokia's implementatie van ruisvermindering dmv superpixels/veel pixels die het licht op kunnen vangen?

[Wobblier]

Nokia's implementatie van pureview is vooral veel marketingsaus en een veel grotere sensor (= betere low-light performance). Dat resulteert in lagere iso's en ruis.

http://www.allaboutsymbia...zes_and_the_Nokia_808.php

[watercoolertje]

Zoek een foto en houdt hem er naast zou ik zeggen?

Maargoed deze sensor is niet om te concurreren met die 40mp sensor die Nokia gebruikt, maar om reguliere (dus kleine) sensoren beter te maken voor dezelfde of zelfs lagere prijs. Waar nokia's sensor een stuk duurder is.

Daarbij als je weinig ruis wilt verklein je je 8-12mp foto toch gewoon naar 3mp dat is wat Nokia ook doet (alleen dan van 40 naar . En tada je ruis is weg...

[Avathar]

Welke data geven de "clear" subpixels door?

En, als ik het goed begrijp krijg je kleur (althans RGB) door software berekening? Lijkt mij een goed salesverhaal ipv een reel verhaal.

Als je kijkt naar de problemen die veel sensors hebben gehad in het verleden, denk ik dat dit het begin is van een reeks flawed sensors. Die mogelijk op termijn wel goed zullen worden.

[Xudonax]

Het lijkt me dat de "clear" pixels puur helderheidsinformatie geven, dat lijkt me het meest logisch. Echt zeker weten doe ik het echter niet. Dit is dezelfde truc die ook gebruikt word bij component video. Luminance, Luminance-R en Luminance-B gaan daar over de lijn, en uiteindelijk word daar ook een goed beeld van gemaakt.

[Reactie gewijzigd door Xudonax op 25 juli 2024 16:52]

[ATS]

Maar de vraag is: de helderheid in welk deel van het spectrum?

[Xudonax]

Het volledige spectrum muv IR en UV, dus het hele zichtbare spectrum in principe. En aangezien component video werkt, zijn de verhoudingen tussen rood, groen en blauw bekend. Hiermee is groen dus relatief eenvoudig te berekenen.

[D4NG3R]

Het ziet er goed uit, en qua prijs lijkt me dit een vrij goedkope 'oplossing' voor een probleem. Ik vraag me echter af of dit in video's ook zo goed gaat.

[M.l.]

Ik denk het wel :"Doordat de sensor gevoeliger is, kunnen kortere sluitertijden gebruikt worden, wat bijvoorbeeld weer gunstig is bij het maken van hdr-opnamen."

Het zal vast een positieve invloed hebben op de ontwikkelingen van hogesnelheidcamera's, al ben ik bang dat ze duur zullen blijven, Aptina zal er natuurlijk ook goed aan willen verdienen.

[MoZe]

Ben ik de enige die de rechterfoto een zweem van blauw vind hebben?

[Verwijderd]

Inderdaad. De kleuren van de twee foto's zijn compleet verschillend. De linker is heeft een veel helderder groene auto, en ook het grijs van de achtergrond is compleet verschillend.

Niet zo'n lekker vergelijkingsplaatje... Het lijkt er op dat ze te weinig groen mixen in het tweede plaatje. (Er vanuitgaande dat de klassieke Bayer een goed gecalibreerde sensor is, die correct kleurweergave heeft)

Maar verder wel een mooie technologie!

[Astennu]

Inderdaad Minder ruis. Maar ook een hele andere kleur. Er zit voor mijn gevoel een wat rode gloed over de rechter foto. Dit komt de kleur echtheid niet ten goede. Als ze dat kunnen oplossen is het een interessante techniek. Maar anders heb ik liever betere kleur echtheid dan minder ruis bij slechte belichting.

[Koppensneller]

En iemand anders (MoZe in 'nieuws: Nieuw type sensor dumpt groene subpixels voor minder ruis') zei juist dat de rechterfoto een blauwe zweem had.

[Durandal]

Hangt misschien van het scherm af. Ik zelf zie een paarse zweem; De bloem rechtsboven komt er sterker uit en oranje neight wat meer naar roze. In ieder geval is het grijs niet grijs.

Ook zijn de reflecties boven op de koplampen nu lichtgroen geworden i.p.v. kleurloos/wit.