Sony ontwikkelt technologie om apparaten beter te laten 'kijken'

Sony heeft een technologie gepresenteerd om met bestaande beeldsensors ook nabij-infrarood vast te leggen. Door één groene subpixel van het rgbg- of Bayerfilter te vervangen door een witte subpixel zijn mechanische nabij-infraroodfilters niet meer nodig.

Normaal bestaat een pixel op een beeldsensor uit vier subpixels: een rode, een blauwe en twee groene. Dit patroon is vernoemd naar zijn uitvinder: Bryce Bayer. In dit geval heeft Sony kleurenfilters van Fujifilm toegepast op een beeldsensor waarbij een van de groene subpixels is vervangen door een witte. Door vervolgens via het interpolatiealgoritme de groene, rode en blauwe informatie af te trekken van de witte, waarin ook het ir-spectrum is vastgelegd, kan beeld worden vastgelegd met of juist zonder het infraroodgedeelte.

Groot voordeel van de Sony's technologie is dat deze volgens de sensorfabrikant gecombineerd kan worden met bestaande beeldsensors, waardoor de toepassing relatief goedkoop is. Op dit moment moet bij digitale camera's nog gebruikgemaakt worden van een ir-filter. Silicium sensors zijn namelijk zeer gevoelig voor ir-licht, waardoor de belichting nadelig wordt beïnvloed.

Sony's technologie kan praktisch zijn voor verschillende toepassingen, maar 'machine vision' lijkt een goede eerste kandidaat, getuige de poster die Sony presenteerde op het Infrared Array Sensor Forum 2015. De extra beeldinformatie kan bijvoorbeeld gebruikt worden om het 'zicht' van zelfrijdende auto's te verbeteren of om beveiligingscamera's te maken die zowel overdag als 's nachts goed kunnen 'zien'. Wellicht kan ook traditionele infraroodfotografie hierdoor makkelijker uitgevoerd worden. Een andere denkbare toepassing ligt bij het bestuderen van het heelal, waarbij veel gebruik wordt gemaakt van infraroodfotografie, of bij ander wetenschappelijk onderzoek.

Het helaas veel te onduidelijke plaatje van de poster. Bron: nikkei.com

Reacties (12)

[engibenchi]

En zo'n witte subpixel, slaat die alleen aan als er "wit" licht op valt? Dus waneer alle drie de kleuren op gelijk niveau binnen vallen.
Maar blijkbaar levert het ir-gedeelte dan extra helderheid of verkleuring op die niet in de combinatie van de drie andere sub pixels is terug te vinden.
Of zie ik het nu te simplistisch?

[Reactie gewijzigd door engibenchi op 24 juli 2024 01:42]

[klaagmuur]

Het menselijk oog ziet dingen al snel wit. Van een akkoord uit een muzikinstrument kunnen we de individuele noten horen maar zodra drie vershillende kleuren licht samenvallen zien wij het als wit.

Ik denkt dat de witte subpixel wit is als in zwart-wit. Dus gevoelig voor alle frequenties.

[84hannes]

Ik kan lichtoranje zien hoor, veel groen, veel rood, beetje blauw: geen probleem om dat van wit te onderscheiden. Anders zou je lichte vlekken op een wit overhemd ook niet kunnen zien: de praktijk is weerbarstiger.

[84hannes]

Ik denk dat 'wit' hier transparant is. Wit is immers geen kleur en ook van witte kleurenfilters heb ik nooit gehoord.

[Verwijderd]

Technisch gezien is wit juist de ultieme kleur, het bevat namelijk ALLE kleuren.

[NBK]

Dat hangt van de kleur wit af. Je kunt ook wit maken met maar een smalle band in het rood, groen en blauw. Dat lijkt voor ons wit maar is het eigenlijk niet.

[Verwijderd]

transparant is ook geen kleur?

[ghangster]

Kan iemand mij uitleggen waarom die groene subpixel zomaar vervangen kan worden? Het lijkt me dat die tweede groene subpixel er niet voor niets zat. Is er naast het winnen van nabij-infrarood informatie ook sprake van verlies van andere informatie?

[Reactie gewijzigd door ghangster op 24 juli 2024 01:42]

[gjmi]

Menselijk ook kan in groen de meeste nuances zien, met 2 subpixels kan groen dus nauwkeuriger vast gelegd worden. Zo krijgen we mooiere foto's

Maar voor machines die objecten moeten gaan herkennen is dat niet van belang.

[intel_478]

De helderheid van licht wordt grotendeels door die extra groene pixel gemeten.

[Verwijderd]

Ik vind toch dat ze er vrij lang over hebben gedacht voordat ze zich gingen afvragen of die 4 subpixels wel de perfecte combinatie vormden...

[Coolstart]

Volgens mij is die 'witte' subpixel gewoon een IR pixel die de 2de groene subpixel vervangt. Daarom is het makkelijk te implementeren. Wit omdat hij niet genaakt is voor kleurinfo te geven, enkel IR intensiteit.

Gewone Sensors hebben naast een groene, blauwe en rode ook 2groene subpixels om meer groen licht uit de omgeving te halen waardoor het groene licht feller is in foto's. Voor mensen heel normaal, wij zien niets verkeerd.

Machines willen ook in het donker kunnen zien en de extra IR pixel maakt dat mogelijk. Deze subpixel wordt via een algoritme verwerkt in alle andere subpixels om tot de uiteindelijke pixelkleur te komen.

Zolang een een beetje licht is kunnen de andere subpixels ook kleurinformatie doorgeven zodat een beveiligingscamera een groene regenjas als groen ziet. De lichtintensiteitsinfo is dan afkomstig van de IR subpixel. Het algoritme doet de rest om met alle waarden een goed beeld te vormen.

Beveiligingscamera's die enkel zwartwit opnemen zijn traditioneel gezien veel gevoeliger voor licht dan beveiligingscamera's die ook kleurinfo opnemen. Blijkbaar wordt het nu mogelijk om ook HD beelden te schieten in kleur, zelfs al is er heel weinig licht.