Sony maakt cmos-sensor met hdr en flicker-reductie voor autonome auto's

Sony heeft de IMX390CQV-sensor gepresenteerd. Het is een chip van het 1/2,7"-formaat met een resolutie van 2,45 megapixel. De sensor is in staat om hdr-beelden te maken en daarbij flicker-reductie toe te passen. Dat komt van pas bij het waarnemen van bijvoorbeeld stoplichten.

Volgens Sony is de IMX390CQV de eerste sensor die hdr en flicker-reductie combineert. De fabrikant prijst de chip aan voor gebruik in autonome auto's. Dankzij de hdr-functie moet het mogelijk zijn om bijvoorbeeld in een tunnel zowel de donkere binnenkant als de heldere buitenkant waar te nemen.

Flicker-reductie zorgt ervoor dat de camera signalen zoals snelheidsborden en stoplichten die gebruikmaken van ledlampen, goed kan herkennen. De sensor kan ook bij hdr-weergave de sluitertijd lang genoeg maken, zodat er geen knipperend beeld optreedt. Het beeld wordt zestig keer per seconde ververst bij gebruik van een resolutie van 1920x1080 pixels.

Vanwege de lage resolutie is de sensor niet interessant om toe te passen in bijvoorbeeld smartphones. Omdat de pixels relatief groot zijn, kan hij veel licht vangen. Volgens Sony is de chip geschikt voor waarneming bij maanlicht. Sony gaat samples van de chip vanaf mei dit jaar verstrekken aan fabrikanten. De prijs bedraagt 5000 yen per stuk, omgerekend zo'n 43 euro. De massaproductie moet in maart 2018 van start gaan.

Helaas!
De video die je probeert te bekijken is niet langer beschikbaar op Tweakers.net.

Reacties (26)

[Verwijderd]

Zo, dat is wel echt bijzonder. Is voor autonoom rijden natuurlijk erg belangrijk en handig dat de auto's de verkeersborden en signalen goed kan herkennen. Maar dit zie ik ook nog gebruikt worden in de film-industrie. Heb zovaak bij Top Gear gezien, zeker bij slowmotions dat je de flikkeringen van de autokoplampen/achterlichten ziet. Ziet er niet uit. Maar goed, daar kunnen de editors/cameramensen niets aan doen. Limiet van de techniek. (Die Sony nu dus heeft weten te verbeteren)

[phsdv]

Zo bijzonder ook weer niet. Andere image sensor producent hebben dit ook al. Bij voorbeeld de AR0231AT van ON Semiconductor. Eigenlijk loop Sony een beetje achter....

[Reactie gewijzigd door phsdv op 25 juli 2024 17:43]

[CrazyJoe]

Alleen is de AR0231AT niet in staat om zowel HDR als flicker-reduction te gelijkertijd te doen.

Uit hun spec sheet:

"It captures images in linear, HDR or LFM modes, and offers frame-to-frame context switching between modes."

Met andere woorden of HDR of LFM, niet beide te gelijkertijd.

Bron: http://www.onsemi.com/Pow...duct.do?id=AR0231AT&pdf=Y

Dus dat Sony beide tegelijkertijd kan doen is dus wel nieuw.

[Reactie gewijzigd door CrazyJoe op 25 juli 2024 17:43]

[phsdv]

Klopt inderdaad, maar het gedeelte "offers frame-to-frame context switching between modes" betekent dat je b.v. eerst 3 frames neemt voor de HDR en dan 1 frame LFM. waardoor je toch beide kan. Hiermee kan je dan een hoge frame rate HDR video maken en tegelijkertijd regelmatig een flicker vrij beeld voor het ADAS systeem maken.

[CrazyJoe]

Natuurlijk kun je dit soort capture sequences maken om te proberen hetzelfde (of in ieder geval dicht genoeg erbij voor practische doeleinden), maar als het allemaal geïntegreerd is in 1 mode is het natuurlijk een stuk eenvoudiger om te processen.

[cruysen]

Klopt, citaat uit product pagina van ON Semiconductor:
It includes LED Flicker Mitigation (LFM) that eliminates high frequency LED flicker from traffic signs and vehicle LED lighting and allows Traffic Sign Reading algorithms to operate in all light conditions.
bron

[Reactie gewijzigd door cruysen op 25 juli 2024 17:43]

[bbob]

Het is een leuke demo alleen bij dikke mist heb je er nog steeds niets aan.

Voor autonoom rijden zul je dus radar, deze camera maar waarschijnlijk ook thermisch infrarood moeten gebruiken. Thermisch infrarood is alleen nog vrij duur maar wie weet als het een massa product kan worden dat de prijs omlaag gaat en de resolutie ook sterk omhoog.

[TheGhostInc]

Het is een leuke demo alleen bij dikke mist heb je er nog steeds niets aan.

Bij dichte mist doet een normale weggebruiker het niet beter.
Daarnaast is infrarood vooral nuttig als er daadwerkelijk een contrast in warmte is, dus een persoon die op de weg staat. En om ook echt iets te onderscheiden kom je mogelijk op 2 camera's uit voor 3D-beeld, anders kan die 'kleine persoon', zowel een kind direct voor de auto als een volwassene in de verte zijn.
En waarvoor? Om met 130km/u door een mistbank te kunnen rijden?

Kun je beter de auto's onderling laten communiceren en in een treintje laten rijden. Zodra de eerste auto weer uit de mistbank komt kun je de snelheid opvoeren omdat je weet dat de hele baan vrij is. Binnen de stad kan een auto ook 'vertellen' aan andere auto's wat hij ziet. Zodat ook niet autonome auto's worden waargenomen.
En als ik de krant zit te lezen in de auto, dan maakt het weinig uit dat ik 5 minuten later op het werk ben, kan ik een extra artikeltje lezen. Dus een lagere snelheid is niet zo'n punt. Ik heb echter wel een probleem als gewone automobilisten inschattingsfouten maken en een parkeerplaats maken van de snelweg...
Met 10km/u is de remweg maar een halve meter, dat halen zelfs mijn parkeersensoren nog (mijn reactietijd voegt er echter 2 meter aan toe). Een autonome auto kan dus zelfs stapvoets rijden op basis van de parkeersensoren.

[Snelisvd]

Thermisch infrarood kan niet door mist heen waarnemen, de kleine druppels absorberen de warmte. Zelfs met de military grade oplossingen heeft men hier flink last van, dan hebben we het over gekoelde sensoren / cameras die normaal tot 15KM kunnen waarnemen.

[Verwijderd]

Heb zovaak bij Top Gear gezien, zeker bij slowmotions dat je de flikkeringen van de autokoplampen/achterlichten ziet. Ziet er niet uit. Maar goed, daar kunnen de editors/cameramensen niets aan doen. Limiet van de techniek. (Die Sony nu dus heeft weten te verbeteren)

Ik snap niet dat fabrikanten maar blijven doorgaan met het produceren van die flikkerende led kerstversiering op auto's. Ik zie echt van alles knipperen op de weg. Vooral de volkswagen GTE met die kromme ledlampen voor, die knipperen zo hard dat ik ze zie dansen in mijn achteruitkijkspiegel. Net alsof ze niet aan de auto vastzitten.
En dat terwijl het technisch prima mogelijk is om de leds niet te laten knipperen...

[andreetje]

Helemaal mee eens. Die knipperende leds van VW zijn zeer storend in het verkeer. Ik begrijp niet dat dit toegestaan wordt.

Bij de nieuwste modellen hebben ze de richtingaanwijzers vervangen door een glijdende feestverlichting. Tsja.

VW heeft echt de verkeerde prioriteiten.

[Verwijderd]

De achterlichten van veel Volvo's zijn ook dramatisch. Gelukkig zijn de nieuwe modellen wel weer voorzien van een betere techniek; helaas voor ons knipperzienden blijven Volvo's het altijd heel lang volhouden.

Bij Top Gear heb ik het idee dat het effect er expres in gehouden wordt omdat het een soort van 'cool' effect geeft; dat het een fout is was nooit in me opgekomen.

Gezien alle verschillende frequenties die gebruikt worden op (naast) de weg en de enorme verschillen in licht-intensiteit die bij een auto kunnen voorkomen een knappe prestatie. Ik vraag me wel eens af hoe dit soort camera's zich houden bij een laagstaand voorjaarszonnetje in de avondspits, zeg maar die momenten waar nu files ontstaan alleen maar doordat wij mensen niet meer normaal naar voren kunnen kijken omdat we recht richting de zon moeten rijden.

[RwinG]

Ik snap niet dat fabrikanten maar blijven doorgaan met het produceren van die flikkerende led kerstversiering op auto's.

Dat heeft te maken met de manier waarop je oog helderheid waarneemt en hoe LEDs werken. Een LED kan maar een bepaald vermogen leveren anders wordt hij te heet. Stel dat je een constante stroom neemt van 20mA dan geeft hij 100% helderheid. Maar je kunt een LED ook pulsen, zeg 10% van de tijd aan 90% uit maar als hij aan staat wel met een stroom van 200mA. Gemiddeld hetzelfde vermogen maar wel met lichtpulsen die 10x helderder zijn. Je oog ziet dit ook werkelijk als een veel helderder licht. En als je dan maar snel genoeg pulst dan ziet je oog toch continue licht. Een beamer doet het ook zo.

Dit is een optimalisatie - sommige auto LED lampen pulsen eigenlijk niet snel genoeg maar als ze sneller dus met minder max stroom zouden pulsen zouden ze als minder helder gezien worden.

Een tweede reden is dan nog dat je de LEDs wil dimmen (gewoon achterlicht/ remlicht). Dat doe je het makkelijkst met het korter maken van de pulsen, niet met veranderen van de stroom.

Als je een camera in de auto gebruikt werkt dat pulsen van b.v. stoplichten helemaal niet goed omdat een camera veel sneller opneemt dan het menselijk oog. Dat kan heel fout gaan, als een camera 60fps is en een stoplicht met 60 pulsen/s werkt dan zou het zo kunnen zijn dat de camera precies beelden schiet op het moment dat het stoplicht "uit" staat. Dan ziet een autonome auto dus helemaal geen licht. Het verschil tussen frame rate en puls rate geeft netto het knipperend effect wat je in het filmpje ziet. Eigenlijk hetzelfde effect als in de film wanneer ronddraaiende wielen stil staan en rotorbladen langzaam lijken te draaien.

[Reactie gewijzigd door RwinG op 25 juli 2024 17:43]

[Verwijderd]

[...]


Dat heeft te maken met de manier waarop je oog helderheid waarneemt en hoe LEDs werken. Een LED kan maar een bepaald vermogen leveren anders wordt hij te heet. Stel dat je een constante stroom neemt van 20mA dan geeft hij 100% helderheid. Maar je kunt een LED ook pulsen, zeg 10% van de tijd aan 90% uit maar als hij aan staat wel met een stroom van 200mA. Gemiddeld hetzelfde vermogen maar wel met lichtpulsen die 10x helderder zijn. Je oog ziet dit ook werkelijk als een veel helderder licht. En als je dan maar snel genoeg pulst dan ziet je oog toch continue licht. Een beamer doet het ook zo.

Is dit echt zo? Dat een LED dus als helderder word ervaren als je hem laat knipperen met een hoge piekstroom (maar met dezelfde gemiddelde stroom als een constant brandende LED). Ik heb wat gegoogled e de informatie die ik kan vinden lijken erop te wijzen dat dit een mythe is. (https://electronics.stack...eater-apparent-brightness

Volgens mij is dat hele geknipper er alleen maar zoals je terecht opmerkt om de LED's te dimmen. Achterlichten hebben vaak een dubbelfunctie als remlicht en de voorkant dagrijverlichting moet kunnen dimmen ivm regulering in verschillende landen en dimlicht/grootlicht.enz.

Maar, ze hoeven niet te knipperen om de dim functie te bereiken, ze kunnen ook gewoon de stroom door de leds reguleren. Alleen is de benodigde electronica daarvoor duurder/complexer en ik denk dat dat de reden is dat de fabrikanten kiezen voor de goedkope PWM oplossing.

PS er zijn ook auto's die niet knipperende LED verlichting hebben, ik heb die van mij er nog niet op kunnen betrappen in ieder geval

[RwinG]

Ja ik heb ook zitten googelen en het hangt inderdaad ook af van de techniek die ze gebruiken. Bij nieuwe auto's lijkt het geknipper minder. Kan ook zijn dat frequentie gewoon hoger is.

Ogen zijn niet linear, een hele korte flits van hoge intensiteit is wel degelijk veel indrukwekkender en kan je verblinden gedurende een bepaalde tijd. Je oog heeft een grote tijdsconstante om ergens op te anticiperen. Zowel je netvlies (gevoeligheid receptoren gaat chemisch) als je iris regelen traag. Dus kan me er wel wat bij voorstellen.

Maar jouw link is ook interessant omdat dit effect betwijfeld wordt. Er staat wel in dat men in ieder geval vroeger dacht dat het waar was. Dus dat verklaart dan nog steeds dat LEDs gepulst werden.

[evanraalte]

Is er enige logica in de IMX-XXX notatie? Ik zie heel vaak verschillende types voorbijkomen maar het nummer na IMX lijkt niet heel veel toegevoegde te geven tot de specs/kwaliteit van de sensors. Bij Qualcomm is dit een stuk duidelijker aangegeven met de snapdragon 4XX/6XX/8XX serie.

[flippy]

Waarschijnlijk komt dit omdat het geen consumentenproduct is. De doelgroep voor deze chips is -in tegenstelling tot de doorsnee consument- niet gevoelig voor marketing. Het gaat hier puur om wat het datasheet zegt. Welk bestelnummer eraan hangt is totaal niet belangrijk.

[Reactie gewijzigd door flippy op 25 juli 2024 17:43]

[TheGhostInc]

Qualcomm maakt helemaal niet zoveel 'verschillende' modellen, maar bouwen, op basis van de bouwblokken die ze hebben, verschillende varianten. Ga maar naar hun vergelijkingspagina en dan hebben ze tig modellen, maar die zijn opgebouwd uit 6? LTE modems (waarbij ik niet uitsluit dat die eigenlijk ook gewoon modulair zijn opgebouwd en dus uit 2 of 3 blokjes bestaan), 3 soorten CPU en 3 soorten GPU. En die CPU's en GPU's bestaan uit een x aantal kernen die weer gecombineerd zijn. Dus als de opvolger van de Krait-core of A53 uitkomt, dan kunnen ze zo 10 nieuwe modellen lanceren.

Die sensors zijn een heel ander verhaal, want elke sensor heeft zijn eigen ontwerp. Een paar 'pixels extra' betekent een compleet nieuwe chip. Maar ook de keuze tussen een 'rolling shutter' of een centrale vereist een ander ontwerp. HDR is ook iets wat fundamenteel 'anders' is op pixel niveau. Als je pixel niet nauwkeurig genoeg is, dan kun je wel proberen het ding nauwkeuriger uit te lezen, maar dan krijg je vooral ruis (en dus bijvoorbeeld ook flicker).
Jouw 'rangorde' van slecht naar goed is dan ook amper te maken. Deze sensor kan super cool zijn, maar als dit een rolling shutter model is, dan is hij waardeloos als je daarmee op een productielijn defecten probeert te detecteren in hoog tempo, dan is die 40 fps ook maar magertjes en heb je externe shutter control? En is die 0.1Lux ook totaal niet relevant, want je hebt daar genoeg licht. Dan heb je misschien liever wel een zwart/wit model. Is dat dan 'heel slecht'? Ook als dat ding 5000fps haalt?

[Fairy]

Ideaal voor een dashcam. Daar heb je vaak te maken met uitdagende lichtsituaties.

[Ruudjah]

Op het eerste gezicht een goede gedachte. Maar bedenk dat als je dit in je auto hebt geïntegreer, je waarschijnlijk geen dashcam meer nodig hebt .

Wel handig voor bestaande autos.

[Fairy]

Klopt, maar bedenk je wel dat ondanks dat Tesla's helemaal volhangen met camera's, er toch geen beelden worden opgenomen!

[jeroenk13]

Is zo'n type chip nou bijvoorbeeld ook toepasbaar in DSLR's ?

^{Over de resolutie heen gelezen}

[Reactie gewijzigd door jeroenk13 op 25 juli 2024 17:43]

[ebx]

Met 2,45 megapixel ga je niet ver komen bij een DSLR vrees ik. Deze chip is gericht op automotive. Self driving and assist functions. Onder zoveel mogelijk omstandigheden zo een duidelijk mogelijk
beeld geven aan de software om goede keuze's te kunnen maken...

[flippy]

Waarom zou je zo'n chip in een consumentencamera doen? Geen consument die een 2 megapixel dslr koopt....

[gjmi]

Je doelt volgens mij op een ongeluk met een zelfrijdende auto, wat misschien niet iedereen weet. En deze sensor alleen gaat dat niet voorkomen, ook de software moet er op aangepast worden.

En het zou geen klap uit moeten maken of je in een auto of op een motor zit. (Tenzij je zo'n auto/motor rijder bent die zich niet aan de verkeersregels houd)