Sony patenteert bsi-cmos-beeldsensor met 'global shutter'

Sony heeft een nieuwe patentaanvraag ingediend voor een beeldsensor met een zogeheten global shutter. Om de lichtgevoeligheid te verhogen zou gebruik worden gemaakt van bsi-technologie en meerdere kleurgevoelige lagen per subpixel.

Huidige cmos-beeldsensors maken gebruik van een belichtingsmethode waarbij het beeld pixelrij voor pixelrij uitgelezen worden. Hierbij kan bij snelle beweging in het beeld het zogeheten rolling shutter-effect optreden, waarbij bijvoorbeeld rechte lijnen er in het uiteindelijke beeld scheef uitzien. Een global shutter, waarbij alle pixels op hetzelfde moment belicht worden, kan dit probleem oplossen. Ccd's maken al gebruik van een global shutter, maar bij cmos-sensors wordt de technologie nog niet breed toegepast.

Sony heeft nu een patentaanvraag voor een cmos-beeldsensor met global shutter ingediend bij het Amerikaanse patentenbureau. Sony combineert dit concept met een backside illuminated-opbouw van de beeldsensor, waarbij de metalen bedradingslagen onder het lichtgevoelige oppervlak liggen. Ook beschrijft Sony de extra mogelijkheid om meerdere kleurgevoelige lagen per subpixel te gebruiken, net als bij het Foveon-sensorontwerp van Sigma.

Volgens de patentaanvraag, ingediend op 6 juli dit jaar en op 22 december gepubliceerd, maken bovenstaande technieken het mogelijk om kleinere beeldsensors te bouwen en/of de lichtgevoeligheid te verhogen. Het is niet bekend of Sony de technieken gaat gebruiken voor beeldsensors in smartphones, compactcamera's of het grotere werk.

Reacties (45)

[Vinand]

http://www.youtube.com/watch?v=F_6c0AL_57E

Hier een mooi voorbeeld wat Sony met de patentaanvraag probeert te verhelpen. Voornamelijk bij de Alpha zie je het inderdaad dat bij proppelors en ventilatoren als voorbeeld het beeld helemaal anders word dan het hoort. Logische zet om het te verhelpen.

[bbob]

Ook een mooi voorbeeld dat er dus ook zinnige patenten zijn die echt iets nieuws brengen en patentwaardig zijn.

[surfrider]

Het wordt hier gebracht als wereld nieuws: Global Shutter voor CMOS.. Alsof dat rocket-sciense is..
Global Shutter voor CMOS helemaal niet zo nieuw dat het patenteerbaar is, laat staan wereld nieuws:

zie wikipedia: http://en.wikipedia.org/wiki/Active_pixel_sensor

Other innovations of the pixels such as 5T and 6T pixels also exist. By adding extra transistors, functions such as global shutter, as opposed to the more common rolling shutter, are possible

Dus ze willen weer iets patenteren dat al bestaat.

[Reactie gewijzigd door surfrider op 23 juli 2024 07:20]

[Vinand]

Nee hoor, ze doen iets heel anders, als je het artikel verder gelezen had dan alleen de titel. Ze combineren door middel van een nieuwe uitvoering ervan beste van beide werelden. En dit doen ze omdat ze een probleem willen oplossen waar een rolling shutter last van heeft. In weze is dit zeker innoverend en vernieuwend. Kijk, als apple met een compleet nieuwe unieke laptop komt die kan tijdreizen betekent het toch ook niet dat het niet innovatief is omdat er een lcd scherm inzit. Dus het is niet " weer iets patenteren" dat al bestaat...

[surfrider]

Ze doen niks anders, Global Shutter voor CMOS is niet nieuw!

Wat nieuw is voor CMOS is de combinatie Global Shutter met backside illuminated-opbouw.

[TD-er]

Wat nieuw is voor CMOS is de combinatie Global Shutter met backside illuminated-opbouw.

Vergeet het stapelen van gevoelige cellen niet. Dat maakt de artifacten voor het deBayer-proces een stukje minder erg en dus het deBayer-proces een stuk simpeler.
Maar dan nog zijn dat allemaal bestaande technieken en is het combineren ervan nauwelijks een innovatie te noemen, maar eerder een logisch gevolg.

Wat is het volgende patent?
CMOS sensor met multiple-readout combineren met global-shutter, back-lit exposure, stacked CFA's (Color-Filter-Array, oftewel de subpixels op een sensor) en parallel electronen well om het dynamisch bereik te vergroten?
Dan heb je echt alle nieuwe zaken van de afgelopen 3 jaar gecombineerd op het gebied van beeld-sensoren.

Het combineren van zulke op zichzelf wel innovatieve ideeën zou niet patenteerbaar moeten zijn.
Maar goed, het hele patent-systeem is tegenwoordig toch al zo idioot en contra-innovatief als mogelijk, zeker sinds de laatste aanpassing aan het patent-systeem waarbij de eerste aanvrager een patent krijgt, niet zozeer degene die het verzonnen heeft.

[Crazy Harry]

Waarom zou het combineren van op zichzelf innovatieve ideeën niet patenteerbaar moeten zijn? Wat als dat nu erg ingewikkeld is?
Als het makkelijk zou gaan, zou het allang gedaan zijn...

Het is makkelijk om te roepen dat het huidige octrooisysteem idioot en contra-innovatief is zonder uitgedachte alternatieven aan te dragen.
Maar ja, je bent niet de eerste en ongetwijfeld niet de laatste die dat doet.

[Reactie gewijzigd door Crazy Harry op 23 juli 2024 07:20]

[TD-er]

Als zaken combineren een logisch gevolg is, dan is dat niet patent-waardig IMHO.
De zaken die ze hier combineren zijn ontwikkeld door verschillende fabrikanten, relatief kort na elkaar. Dus het combineren van dergelijke zaken door een derde partij laten patenteren is op z'n minst nogal vervelend voor de bedrijven die de eerdere stappen bedacht hebben.
Dan kun je ineens gaan betalen om je eigen vinding te kunnen gaan gebruiken icm met een andere vinding.
Als partij A en B beide iets uitvinden wat prima te combineren is, dan zou je verwachten dat ze met elkaar een overeenkomst treffen over het gebruik van de technieken, als dat nodig zou zijn. (als het dus gepatenteerd is), maar wanneer partij C een patent verkrijgt op de combinatie, dan is dat nogal vreemd. Dan moeten A en B ineens met C om tafel gaan zitten, of eigenlijk hun eigen patenten vrijgeven aan C.
Dat is dus eigenlijk iets wat precies ingaat tegen waar patenten voor bedoeld zijn en daarom is het wat mij betreft oneigenlijk gebruik van het patentsysteem om combinaties ook te patenteren.

[surfrider]

Helemaal mee eens!

[Nas T]

Een patent-aanvraag heeft als eis dat het te patenteren idee ook daadwerkelijk innoverend moet zijn. Dus in principe brengt een nieuw patent altijd iets nieuws...

[TD-er]

Jammer alleen dat het Belgische bedrijf CMOSIS al een jaar of 2 Cmos sensoren op de markt heeft met global shutter.
Een 4 Mpixel die 180 fps aan kan en er komt een 12 Mpixel die 300 fps kan halen.

Dus zo nieuw is het concept van global-shutter met Cmos niet meer.

[Aham brahmasmi]

Het is absoluut geen nieuw concept. Ik neem aan dat Sony zijn eigen specifieke implementatie patenteert?

[Crazy Harry]

In het bericht staat ook al aangegeven dat een global shutter niet veel wordt toegepast bij CMOS sensoren. Dat betekent dat het dus wel al gedaan wordt.

Sony zal echt wel zijn nieuwigheid hebben, anders hadden ze geen patentaanvraag gedaan. En ook daarover wordt in het artikel al gerept.

Niemand beweert dus dat een CMOS sensor met global shutter een nieuw concept is, zelfs Sony niet...

[TD-er]

Niemand beweert dus dat een CMOS sensor met global shutter een nieuw concept is, zelfs Sony niet...

Moah ik zie hier tussen de reacties minstens een stuk of 10 reacties staan van de strekking "eindelijk een waardig patent".
En dat betwijfel ik dus. Het is namelijk amper meer dan een samenvoeging van bestaande technieken en puur omdat het een samenvoeging is zou het patenteerbaar moeten zijn. Daar heb ik zo mijn twijfels over.

[Fireshade]

Je twijfels hebben vast strekking op dit artikel, maar niet op het patent zelf.
Dit patent is namelijk behoorlijk ver technisch uitgewerkt. Ik zou zeggen, lees het patent maar eerst: http://www.freepatentsonline.com/20110310282.pdf

Patenten zijn -als het goed is- relatief concrete oplossingen voor problemen. Het idee van een global shutter is natuurlijk niet nieuw, maar zo'n global shutter kun je in principe op vele manieren uitvoeren, waarbij elke methode best patentwaardig kan zijn.

Een beetje patent is ook best technisch van aard, waarbij uitgelegd wordt hoe de oplossing bereikt wordt en welke problemen de oplossing verhelpt. Dat hoeft niet alleen het eindproduct te zijn, maar ook kunnen productievoordelen worden aangestipt die voortkomen uit de methode (denk hier in het bijzonder aan de kunststoffen- en procesindustrie).

[jarmo28]

Fillfactory, overgenomen door Cypress en nadien door On Semiconductor heeft al veel langer global shutter sensors waarvan zelfs BSI modellen.

[Xenan]

Een patent-aanvraag heeft als eis dat het te patenteren idee ook daadwerkelijk innoverend moet zijn

Die eis mag er dan misschien zijn, in de praktijk blijkt dat het Amerikaanse patent bureau daar helemaal niet naar kijkt en zo'n beetje alles te patenteren is.

[Verwijderd]

Dat is niet waar, er wordt genoeg onzin gepatenteerd omdat er veel geld en macht in het spel is. Het is niet voor niets dat bijvoorbeeld Apple designrechten heeft op heel generieke elementen als afgeronde hoeken. Een element wat bij vrijwel elk product voorkomt.

[Westbam]

Zoals ik het ooit had begrepen, zijn CMOS sensoren goedkoper te produceren dan de tegenhanger, de CDD sensor, als ze met dit idee het rolling shutter effect kunnen verhelpen, en het is betaalbaar te implementeren, dan zeg ik: "Damn.. eindelijk weer eens een patent dat wel patent waardig is!!"

[Marathir]

Een patent dat in het nieuws komt en in de zeer nabije toekomst nuttig is bedoel je?

Veel patenten zijn pas na lange ontwikkeltijd nuttig, en lijken daarom op dit moment niet handig of te technisch.
Dit is één van de uitzonderingen, en inderdaad een erg aansprekende techniek!

[Supremo]

Maar je kunt je afvragen hoe innoverend dit nu echt is, vooral omdat CCD het al kan. En naar mijn idee zit het echte denkwerk hier niet in het patent, maar vooral in de implementatie.

[TD-er]

CCD werkt op een heel ander principe.
CCD staat voor Charge-Coupled Detector en dat is precies wat het doet.
Een fotodiode laad een condensator op, maar voordat de lading gemeten kan worden, wordt deze eerst naar een condensator overgedragen die niet beïnvloed kan worden door het licht.
Door dat overbrengen van de lading nu gelijktijdig voor alle pixels te doen, krijg je dus het global-shutter effect.
Nadeel is wel dat een grote lading naast een kleine lading wel invloed heeft op elkaar. Oftewel scherpe overgangen in het beeld zullen een beetje lekken waardoor je een minder scherp beeld krijgt. Dat noemen ze ook wel "Bleeding".

Bij (traditionele) CMOS-sensoren worden alle pixels na elkaar gelezen (en gereset), dus heb je veel minder last van dergelijke effecten. Nadeel is wel dat elke pixel op een ander moment open is gezet en weer uitgelezen wordt. => Rolling-shutter effect.

Je kunt echter ook de toevoer naar de lading afsluiten, waardoor je feitelijk de lading onder invloed van licht niet laat toenemen. Voordeel is dat je geen lading hoeft te verhuizen. Nadeel is dat je de tijd tussen 2 frames minimaal moet laten toenemen met de tijd die je nodig hebt voor uitlezen (en resetten).
Dat kun je eventueel oplossen door 2 condensatoren per pixel te hanteren. Dan kun je de ene vullen terwijl je de andere uitleest. Die zou je in minder tijdkritische zaken ook tegelijk kunnen gebruiken om het dynamisch bereik te verhogen (dat kan meer dan verdubbelen als je het slim aanpakt).

[Supremo]

Alleen beantwoord je de hamvraag niet: WAAROM werd CMOS pixel na pixel uitgelezen? Was dat een beperking van de techniek, of komt het meer omdat CMOS zich eerst op basis van lage prijs op de markt heeft gezet?

[TD-er]

Ik weet niet wat de doorslag heeft gegeven, de prijs, of het probleem van bleeding willen aanpakken.
De extra transistoren die nodig zijn per cel om de lading los te koppelen van de fotogevoelige diode kan mogelijk in het begin ook wel problematisch zijn geweest om te maken.

In elk geval heeft de aanpak van per pixel uitlezen ook een aantal hele handige voordelen opgeleverd.
Je hebt namelijk heel simpel de mogelijkheid om delen van de sensor uit te lezen en je kunt veel hogere framerates halen.
Vooral in de automatisering zijn CMOS sensoren veel beter geschikt dan CCD. Vaak speelt rolling-shutter helemaal geen rol daarbij, maar is het voorkomen van bleeding wel een issue en ook de hogere uitleessnelheden.
Bij CCD speelt ook nog mee dat je een latency hebt tussen het uitlezen en het moment dat het beeld opgenomen is. Dat is er bij CMOS vrijwel niet. In sommige toepassingen kan dat ook meespelen.
In sommige gevallen is rolling-shutter ook een voordeel. Bijvoorbeeld bij het vinden van een focus-vlak kan het net even een extra dimensie geven. (je moet een frame dan zien als een parallellogram in 3D, waarbij elke hoogte gesampled wordt door ten minste 1 pixel)

Kortom, het zijn 2 verschillende eigenschappen met elk hun eigen voor- en nadelen. Prijs kan meegeholpen hebben met het kiezen/doorbreken van een techniek, maar het is zeker niet het enige wat meetelt.

[Terrestraeon]

Leuke innovatie, zou het beste van CCD en CMOS kunnen samenbrengen.

Heb je niet de 'Vertical Smear' bij lichtbronnen die optreed bij CCD en niet meer dat 'Rolling Shutter'-probleem van CMOS.

De 'backside illuminated'-opbouw zou toch ook voor betere prestaties bij low-light situaties moeten leiden toch? Ook weer positief

[Reactie gewijzigd door Terrestraeon op 23 juli 2024 07:20]

[TD-er]

De 'backside illuminated'-opbouw zou toch ook voor betere prestaties bij low-light situaties moeten leiden toch? Ook weer positief

Klopt, in de datasheets van andere back-lit sensoren van Sony noemen ze 6 - 8 dB verbetering in de SNR. (signaal-ruis-verhouding)
Oftewel ruim een factor 2 beter.

[Ted_W]

Dit klinkt mij tenminste als een 'patent-waardige' patent. Niet van die vage patenten op vormen en veegbewegingen, waar we de laatste tijd vrijwel dagelijks over horen omdat die wereldwijd tot tig verschillende rechtszaken hebben geleid.

[1990BW]

Hopelijk gaat het hier over een Foveon-achtige sensor.
Dit betekend namelijk dat het kleurbereik x malen hoger is dan een single-bayer sensor.
Het zou helemaal mooi zijn als het laagdoorlaatfilter (preventief filter tegen moire) ook verdwijnt.
Dan houdt je ook nog eens veel meer scherpte over!

[Aham brahmasmi]

Hopelijk gaat het hier over een Foveon-achtige sensor.
Dit betekend namelijk dat het kleurbereik x malen hoger is dan een single-bayer sensor.

Volgens mij klopt dat niet. Hoe enger de bandbreedte van de kleurfilters van een Bayer-sensor, hoe betrouwbaarder en preciezer de kleuren zullen zijn. Foveon moet met ingewikkelde wiskundige trucs de kleuren interpoleren en heeft hierbij veel last van zgn. metameric failure (verschillende kleuren worden als identiek opgenomen). De output wordt dus onberekenbaar/onbetrouwbaar.
Ik heb gelezen dat Fuji een concept heeft voor een sensor die de problemen met Foveon op zou lossen, maar het is de vraag of ze dat voor redelijke kosten productierijp kunnen maken. Nog te duur waarschijnlijk.

Trouwens, met een Foveon-sensor heb je nog steeds moiré, alleen dan monochromatische en geen kleurenmoiré.

[Reactie gewijzigd door Aham brahmasmi op 23 juli 2024 07:20]

[Verwijderd]

Incorrect. Het weglaten van het low pass filter is pas zinvol als het objectief de limiterende factor is in oplossend vermogen. Het weglaten levert in die situatie dan ook geen voordeel op (alleen een kosten-voordeel).

[Astennu]

Ik zeg overal toepassen waar nu die flit CMOS dingen zin zitten

[Aham brahmasmi]

Ik zeg eerst maar eens kijken of het überhaupt op betaalbare manier geproduceerd kan worden. Niemand zit te wachten op camera's met peperdure sensors. BSI wordt ook alleen nog maar gebruikt voor de piepkleine sensoren in telefoons en compacts, omdat de winst daar het grootst is en de implementatie grotere sensoren veel duurder zou maken (met relatief weinig performanceverbetering).

[Reactie gewijzigd door Aham brahmasmi op 23 juli 2024 07:20]

[TD-er]

BSI wordt vrijwel in alle apparaten gebruikt die in low-light omstandigheden moeten kunnen werken.
Bijvoorbeeld de Panasonic SD90 HD-camera. Gewoon een consumenten-filmcamera.
Het kost wel iets meer, maar de prijs van de sensor is echt niet kosten-bepalend te noemen.
Denk aan in de orde van 30$ voor relatief kleine aantallen (enkele tientallen) voor zo'n 1/4" 5 Mpixel-sensor die back-lit is.
Grotere sensoren richting APS-C of groter worden wel duurder, maar dat gaat nog steeds niet echt schrikbarend hard omhoog.

[Aham brahmasmi]

BSI wordt vrijwel in alle apparaten gebruikt die in low-light omstandigheden moeten kunnen werken.

Kan zijn. Je vindt BSI tot nu toe iig in geen enkele (consumenten-)fotocamera met sensor van m4/3 of groter.

1/4" is voor een sensor voor een fotocamera piepklein.

[Reactie gewijzigd door Aham brahmasmi op 23 juli 2024 07:20]

[Verwijderd]

Dat wil niet zeggen dat dat door de prijs komt. Zoals je zelf al schreef, is er geen substantieel voordeel bij grotere formaten.

[TD-er]

Kan zijn. Je vindt BSI tot nu toe iig in geen enkele (consumenten-)fotocamera met sensor van m4/3 of groter.

Het heeft ook vrijwel geen enkel voordeel voor sensoren met "grote" pixels.
De back-lit techniek is vooral voor kleine pixels van invloed.
Je kunt het ook wel ongeveer terugrekenen hoeveel impact het heeft.

Bij een sensor met 1.6um pixels scheelt het ongeveer 6 - 8 dB. Ruw geschat scheelt dat dus een factor 2 in SNR, oftewel het effectieve pixel-oppervlak zal ruw geschat een factor 2 groter zijn bij pixels van 1.6x1.6 um.
Dus de draadjes nemen ongeveer de helft van het oppervlak in, dus ruw geschat zo'n (1 - 0.7) x 1.6 um = ~0.48 um breed.

Datzelfde draadje maakt bij een APS-C sensor met zo'n 5.5 um pixels ongeveer (5.5^2 / 5.0^2) - 1 = 21% uit.
Dat is ongeveer 1dB winst.
Niet echt iets wat het ombouwen van een productielijn zou rechtvaardigen vermoed ik.

[Verwijderd]

Het wordt tijd, ik ben het een beetje beu om steeds Rolling Shutter te moeten gebruiken in Nuke...

Enorm vervelend als je 3D content in een plate moet integreren. Cameramatching is soms een hel met die scheve frames.

http://www.thefoundry.co.uk/products/rollingshutter/

[Reactie gewijzigd door Verwijderd op 23 juli 2024 07:20]

[Pixeltje]

Lijkt me dat Sony dit in eerste instantie gaat gebruiken bij de duurdere dSLR's, daar kan het meeste geld mee terugverdient worden in eerste instantie. Daarna uitrollen naar de compactcamera's om het grote publiek te bereiken.

[Reactie gewijzigd door Pixeltje op 23 juli 2024 07:20]

[mutley69]

Het is zo dat de sony sensoren niet enkel door Sony gebruikt worden, ook Nikon, Pentax en nog een paar anderen gebruiken deze - soms met eigen verbeteringen.

Het is sommige gevallen ook al voorgevallen dat deze sensoren eerst in het hogere comsumer-gamma opduiken en dan pas in de DSLR - ga er niet van uit dat deze sensor nu asap gaat opduiken in de nieuwe Full-frame die op komst is.

Er zijn zo nog patenten opgedoken - waar meestal pas een jaartje of twee nadien een produkt van verschijnt. Maar 't is een goeie evolutie - dat we eindelijk van die bayer-sensoren af gaan geraken...

[Verwijderd]

Lijkt me zeker bruikbaar voor de toekomstige opvolgers van de FS100/F3 e.d. Vooral de global shitter is zeer welkom