Onderzoekers gebruiken infrarood- en uv-licht als flitser

Twee onderzoekers aan de universiteit van New York hebben een methode ontwikkeld die het mogelijk maakt zonder zichtbaar flitslicht foto's in het donker te maken. Zij gebruikten hiervoor een aangepaste flitser met infrarood- en uv-licht.

De voor het project verantwoordelijke student Dilip Krishnan en zijn begeleider Rob Fergus maakten een aangepaste flitser. In plaats van zichtbaar licht, flitst dit prototype met infrarood- en uv-licht, dat voor de mens niet of nauwelijks zichtbaar is. De camera-sensor heeft normaal gesproken filters om deze golflengtes te weren, maar die werden door de New Yorkers verwijderd. Foto's die met de aangepaste camera gemaakt worden, hebben echter een onrealistisch kleurenpalet, maar ook daar werd een antwoord op gevonden.

Direct na het nemen van de foto met de 'onzichtbare flitser' wordt een tweede foto, zonder flits, genomen. Deze is vanzelfsprekend onduidelijk en onderbelicht, maar bevat wel realistische kleurinformatie. Met behulp van software worden de twee foto's gecombineerd, wat een realistische, goed belichte foto oplevert. De onderzoekers werken echter nog aan enkele problemen: sommige materialen absorberen het flitslicht, waardoor ze niet zichtbaar zijn op de foto's. De onderzoekers zullen hun bevindingen in augustus presenteren tijdens de Siggraph-conferentie in New Orleans.

Foto's met donkere flash

Door Willem de Moor

Redacteur

18-07-2009 • 17:06

59

Reacties (59)

59
59
42
9
2
4
Wijzig sortering
Misschien handig om er bij te vermelden wat elk plaatje is :)

F = Flash (dus de flits met UV en Infrarood licht) met korte exposure tijd
A = Zonder flits, alleen omgevingslicht, met korte exposure (die eigenlijk onderbelicht zou zijn)
R = de reconstructie van F samen met A
L = een foto genomen met een langere sluitertijd

In dit geval zijn R en L dus direct te vergelijken :)
A pair of images
are captured at a blur-free shutter speed, one using a multi-spectral flash (F), the other using ambient illumination (A) which in this case
is 1/100th of that required for a correct exposure. The pair are combined to give an output image (R) which is of comparable quality to a
reference long exposure shot (L). The figures in this paper are best viewed on screen, rather than in print.

[Reactie gewijzigd door MaxxMark op 23 juli 2024 13:15]

Maarja nummer A noem ik nou niet alsof dat in het donker is opgenomen... als ze dat donker noemen dan hebben ze in het verleden wel hele slechte camera's gebruikt..
kijk eens naar de pupil van de persoon? het is daar relatief "donker" (of in ieder geval schemerig)

maar na het perfectioneren van dit systeem zouden mooie "ongestoorde" foto's genomen kunnen worden in de nacht (voorbeeld zou zijn dieren in het wild) en ook mensen betrappen op dingen in het donker ;)

ze zijn in ieder geval op de goede weg!
kijk eens naar de pupil van de persoon? het is daar relatief "donker" (of in ieder geval schemerig)
Of hij is stoned. Ik vindt het ook niet zo donker op A.
Foto A is zwaar onderbelicht. Daardoor wordt de automatische ISO van de camera omhooggegooid waardoor de foto erg korrelig wordt om toch nog scherp te blijven.
Wat ook zou kunnen is dat ze de helderheid van de foto opgekrikt hebben om voor het 'gevoel' hetzelfde licht niveau te hebben. Ook daardoor wordt een foto erg korrelig omdat je alleen maar het onderste stukje van het bereik van de lichtsensor gebruikt hebt. Omdat je digitaal fotografeert krijg je dan last van quantiseringsruis.

edit: voorbeeldje,

Je camera kan 30 niveaus van licht onderscheiden. Het plaatje heeft een aantal pixels die in normaal ligt rond niveau 25 liggen. Bijvoorbeeld 24, 25, 24, 26, 25, 25, 26, 25. Nu gaat het licht uit en het is tien keer te donker. Er wordt weer een foto genomen. Het rijtje wordt nu bijvoorbeeld: 2, 3, 3, 2, 2, 3, 2, 3. Nu ga je het tien keer helderder maken om hetzelfde lichtniveau te hebben. Resultaat: 20, 30, 30, 20, 20, 30, 20, 30. In het eerste geval zitten tussen de donkerste en lichtste pixel, 2 niveaus. In het tweede geval wel 10. Het tweede plaatje is dus veel 'ruiziger'. Ik ga er wel even van uit dat er geen interpolatietrucjes gebruikt worden. Dat wordt soms gedaan om ruis weg te filteren, maar als je dat doet verlies je vaak ook detail...

[Reactie gewijzigd door jiriw op 23 juli 2024 13:15]

Anoniem: 201824 @jiriw18 juli 2009 23:48
Ik weet niet wat die lichtreflectie op z'n pupil daar doet, maarre... dat lijkt me of een lamp, of gewoon een ordinaire flitser. Voor een lamp is het een rare inval (bijna centraal op z'n pupil). Voor een flitser zou t kunnen. Is dit een hoax?
Ik heb sterk de indruk dat de ruimte helemaal niet zo extreem donker is.

Dat blijkt ook wel uit A, want zo vreselijk korrelig is die foto ook weer niet.
Ik denk dat er gewoon een zwakke lamp in die kamer aanwezig is, en die zie je in de pupil.

Die lamp is zwak genoeg dat ie te weinig licht geeft voor een normale nette foto, maar je ziet 'm wel in de pupil.

Maar er is volgens mij wel het nodige gerommeld met die foto.

Zo komt de flits blijkbaar van exact dezelfde plek af?
Terwijl aan de slagschaduw te zien is dat de flits links van de camera stond. Dat lijkt al niet helemaal te kloppen.

Maar er is nog meer mis.
Er is flink gerommeld met de schaduwen. Er wordt beweerd dat alleen de kleurinformatie van foto A wordt gebruikt. Maar als je de helderheid info van A combineerd met F dan kom je NOOIT op R uit.
Kijk bv naar de slagschaduw op de muur. Met een flits is die hard, zoals in F. Maar in R is dat een zachte schaduw. Hoe kan dat als je alleen de kleurinformatie gebruikt?
Met de Flits is er ook een diepe schaduw in het linkeroor van de persoon. (voor de kijker rechts)
Maar in R is die diepe schaduw weer niet te zien.

Nee, als ik zo naar die fotos kijk, dan is er een totaal andere techniek gebruikt dan gesuggereerd wordt in het artikel.

Ik zie een ruisreductie techniek waarbij veel minder details verloren gaan.
Als je foto A door een normaal ruisreductie filter heen haalt, dan heb je ook je normale kleuren terug, maar je verliest een boel details. Veel meer dan de details die je in R ziet.
Maar die details zijn wel heel duidelijk aanwezig in F. Wat je dus kunt doen is die ruis op een tradiotionele manier wegfilteren, en de details halen uit F.
En dan kom je op R uit.

Je ziet dan ook meteen het verschil met L.
Kijk maar eens naar het detail in het wit van het oog. (De rode bloedbaantjes)
Die zijn in L net zichtbaar. In A uiteraard niet omdat de ruis te hoog is. In F opvallend genoeg ook niet. rode details op wit, in combinatie met infra rood valt blijkbaar weg?
In R zie je die details dan ook niet.

Het verklaart ook het vreemde gedrag van die schaduwen. Een slagschaduw heeft afgezien van de randen geen detail. Vandaar dat het dus geen invloed heeft op het plaatje en dat je een zachte schaduw krijgt in R.
Idem voor de diepe schaduw bij het oor.


[edit:] Net even het orginele artikel doorgelezen en zo te zien was mijn analyse correct.
(wel een typisch academisch artikel. De helft bestaat verwijzingen naar andere bronnen, en verder blijven ze erg vaag over wat ze nu precies doen.)
Maar het komt er op neer dat je het moet beschouwen als een ruisreductie methode.
Je kunt deze techniek niet gebruiken in een ruimte die daadwerkelijk donker is. Je moet voldoende licht hebben om met een DSLR bij ISO3200 een net belichte foto te krijgen. (met een sluitertijd die bewegingsonscherpte uitsluit)
M.a.w. dat is niet erg donker !!
Vervolgens haal je een normaal anti-ruis filter op hoge sterkte over dat ISO3200 plaatje heen. Dan verlies je echter alle fijne details. Maar die fijne details haal je uit het geflitste plaatje.
Echter zijn een heleboel details niet zichtbaar onder IR/UV licht. Bij het oog is dat al zichbaar, maar in het orginele artikel nog veel beter:
http://cs.nyu.edu/~dilip/wordpress/?page_id=38
Kijk eens hoeveel details (sproeten) er uit het gezicht verdwenen zijn. Retoucheren hoeft niet meer, dus je vriendin zal je dankbaar zijn...

[Reactie gewijzigd door mjtdevries op 23 juli 2024 13:15]

@mjtdevries
Je kunt deze techniek niet gebruiken in een ruimte die daadwerkelijk donker is. Je moet voldoende licht hebben om met een DSLR bij ISO3200 een net belichte foto te krijgen. (met een sluitertijd die bewegingsonscherpte uitsluit)
Je weet niet wat voor F-waarde is gebruikt. Een IS3200 icm 1.2F of zelfs 0.8F laat toch best redelijk donkere ruimtes fotograferen met bv 1/10s sluitertijd.

Ik zie alleen veel meer nadelen. Dit werkt misschien in situaties waarbij de persoon ook stil staat, want als hij bewogen heeft tussen beide foto's dan klopt het kleurpallet niet meer met de eerste foto. Daarom zie ik ook niet zo snel in wat voor situaties dit bruikbaar zou zijn. Waarom zou je niet gewoon een flitser kunnen gebruiken.

[Reactie gewijzigd door hiostu op 23 juli 2024 13:15]

1/10s sluitertijd is te lang om bewegingsonscherpte te voorkomen. Omdat je hoge ISO foto de basis van je uiteindelijk foto is, mag je geen bewegingonscherpte hebben.

btw een DSLR met een 0.8F lens? Beeeeeeetje onwaarschijnlijk. (zoniet onmogelijk)
Bij een compact camera moet je zo te zien uitgaan van ISO800 of zo.

Hoe dan ook, zelfs als je van uitzonderlijke situaties uitgaat, (F1.2 met een DSLR) dan kun je nog steeds geen echt donkere ruimtes fotograferen. Maar het is wel voldoende voor dat etentje bij kaarslicht.


Voor actiefotos is het niet geschikt nee, maar als je uitgaat van 1/60 s voor de normale foto en direct er achteraan 1/400 s voor de flits dan moet dat niet zo'n probleem zijn.

De situatie waarbij je dit gebruikt is in situaties waarbij je mensen niet wilt verblinden met een felle flits, of waarbij je anderen niet wilt storen met een flits.
Buiten dat de infrarood foto gecombineerd wordt met een foto met zichtbare kleuren is hier niet zo veel bijzonders aan hoor.
Met een normale infrarood camera (of een gewone met verwijderd ir filter) en infrarood licht kan je ook dieren in de nacht filmen.

Waar dit vooral goed voor is is om foto's onder slechte lichtomstandigheden te maken zonder een zichtbare flits.
Thnx voor de info, dat maakt het verhaal ook weer stukken duidelijker! :D
Leuk bedacht maar ik denk dat dit alleen bruikbaar is bij statische onderwerpen. Bij beweging krijg je met twee foto's verschillen waardoor het chrominance kanaal niet meer klopt met het luminance kanaal.
Het is juist bij bijvoorbeeld sport fotografie waar flitsen vervelend kan zijn voor de spelers handig maar deze techniek zal door de extra foto die genomen moet worden niet werken. Bij theater zul je toch gebruik blijven maken van de aanwezige verlichting aangezien dat een belangrijk aspect is van de scene.
Bovendien wordt het ook lastig voor veel lensen om goed te focusen aangezien UV en IR een andere focale afstand hebben (elke frequentie heeft een andere brekingsindex, daarom zit op veel dslr lenzen een IR indicatie).
In de bron melden ze dat ze met de 'flits' op 1/100e van een seconde foto's maken. Zowel op de flash (uv/ir) als zonder (voor de ambience)

Waarschijnlijk is het dus zo dat ze in 2 misschien 3/100e van een seconde (als je tussen elk shot 1/100 'vrij' houdt) een foto maken.

True, dat je in extreme sports verschil krijgt in 2/100e van een seconde. Maar geld dat niet ook voor alle ook voor alle steadyshot functionaliteit die in iedere huidige camera zit?
Anoniem: 202651 @imqqmi18 juli 2009 20:59
Zou mooi zijn (na door ontwikkeling) als je dit straks in cameraphones terugvindt.
Anoniem: 292610 18 juli 2009 18:21
Ik dacht dat je met IR-fotos ook de aders onder de huid zichtbaar maakt, dat lijkt me ongewenst.

Even googlen, hier is iemand die zijn webcam naar IR ombouwd en inderdaad
meld dat aders zichtbaar worden.
http://www.thuisexperimen...uur/IRWebCam/irwebcam.htm
Leuke en goedkope mod. Ik zal hem eens uitproberen.
Wel kans dat deze cam gewoon slecht is. Het is een simpel modje, die werkt met simpel IR met beperkte golflengtes, en bovendien geen UV. Deze camera heeft een speciaal ontworpen flitser, en de camera zelf werkt ook anders dan met een filtertje.
Ik wil geen spelbreker zijn, maar is dit niet heel schadelijk voor je ogen?
UV-licht heeft veel meer energie dan zichtbaar licht. En als die UV-flits net zo 'fel' is als die reguliere flits (die ik toch heel fel vind) dan krijg je een hoop UV-licht in je oog.
Het gaat om lange golf UV (en korte golf IR) net buiten de randen van zichtbaar licht dus, heeft daarom maar een klein beetje meer energie. Bovendien gaat het om een standaard flitser met een filtertje ervoor, dat ding levert dus niet meer UV dan een standaard flitser, en maar een heel zwak flitsje.
Aangezien het zichtbare licht is weggefilterd, zal hij minder licht leveren... Hetgeen de flitser compenseert door langer te flitsen. Om dezelfde hoeveelheid flitslicht te krijgen, zul je dus wel degelijke meer UV gebruiken.
UV heeft meer energie per foton Voor dezelfde hoeveelheid licht (energie) heb je dus minder fotonen nodig, dat is alles.
Dus feitelijk schiet je een keer zoveel foto's. Lijkt me niet bevordelijk voor bijvoorbeeld de levensduur van je DSLR :)
Een DSLR is ook wel lichtgevoelig genoeg om in bijna donker nog een behoorlijke foto te schieten. Mits je lens natuurlijk genoeg licht doorlaat. Gewoon de ISO-waarde omhoog gooien naar 25600 (ja, die zijn er al).
Met een hoge iso krijg je veel ruis, zoals foto A. Het is dus een oplossing om ruisvrije foto's te maken in het donker...
Nee niet volledig ruisvrij maar met sterk gereduceerde ruis, de infrarood foto (F) met voldoende licht wordt dus gecombineerd met de onderbelichte foto (A) met veel ruis.
Het is dus een alternatief op een hogere ISO waarde, maar natuurlijk vooral bedoelt als een alternatief op de conventionele flits.

Je kunt hier ook zelf wat mee experimenteren (zonder infrarood) door twee dezelfde foto's (binnen in huis, want die zijn meestal onderbelicht) te combineren, maak één foto met flits en één onderbelicht en combineer de twee in een fotobewerkings programma en/of misschien in een HDR beeld. Probeer hierbij de gecomineerde foto af te stellen op realistische kleuren met voldoende helderheid en vergelijk het resultaat eventueel met een foto met een hogere ISO waarde (en waarschijnlijk meer ruis).
Met het verschil dat het hiet automatisch gebeurt.

Het is geen triviaal probleem om de juiste kleuren te halen uit een foto vol met ruis. Wat dat betreft lijkt het mij makkelijker worden als je bij foto A grote sluitertijden gekoppeld aan een groot diafragma gebruikt. Hierdoor wordt de ruis onderdrukt, maar zal de foto waarschijnlijk onscherp worden. Maar omdat je alleen geïnteresseerd bent in de kleuren info in die plaat, lijkt mij dat een kleiner probleem dan dat de foto veel ruis bevat.

Wat ik opzienbarend vind is het feit dat ze zowel een foto met met IR en UV gecombineerd maken, lichtsoorten aan de twee uitersten van het spectrum. Ik vraag me af waarom ze beide nodig hebben en niet alleen met UV of IR af kunnen, omdat de rest van de info (kleur en eventueel diepte) uit de A-foto gehaald kan worden.

Foto's met flitsers in het onzichtbare gebied is overigens niet nieuw. De flitspalen gebruiken tegenwoordig vrijwel niet anders (vervelend zie je het niet meer.. :) ), maar ja de overheid is niet geïnteresseerd in kleurechtheid, maar slechts in je nummerbord...

In de eerste foto zie je duidelijk schaduwval achter het hoofd, d.w.z. dat er waarschijnlijk recht toe recht aan geflitst wordt. In de andere foto's zie je een hele lichte schaduwval, hetgeen dat lichtpuntje in de ogen verklaard. Die schaduw is echter te zwak om van een flitser te komen, dus er zal wel ergens een lampje staan welke die schaduw veroorzaakt en het lichtpuntje in zijn ogen verklaart.
Dat lichtpunt kan natuurlijk ook gewoon een raam zijn..

Ik denk dat het overigens van IR tot in zichtbare spectrum en van zichtbaar spectrum tot UV gaat, het lijkt me stug dat men het zichbare spectrum er tussenuit laat.
Het is geen triviaal probleem om de juiste kleuren te halen uit een foto vol met ruis.
Dat is juist ontzettend simpel. Gewoon de waardes middelen. (Dat doen alle ruisfilters)
Het grote probleem daarbij is dat je daarmee ook je details verliest. Maar die details heb je dus in je flitsfoto.

De reden dat ze zowel IR als UV gebruiken is waarschijnlijk om zoveel mogelijk details zichtbaar te maken. Details die onzichtbaar zijn onder UV zijn hopelijk wel zichtbaar onder IR.
Maar zoals je in het orginele artikel duidelijk kunt zien zijn er ook dan heel veel details die wegvallen.
Maar het is vooruitgang, en de DSLR kan nog wel wat vooruitgang gebruiken. Een electronische sluiter bijvoorbeeld, dan maakt die levensduur niets meer uit. Sterker nog, doordat lange belichtingen niet meer nodig zijn kan de sensor met 2 korte belichtingen zelfs ontlast worden.
High speed digitale camera's zoals je ide nu link en rechts ziet werken echt niet meer met een sluiter. Ook krijg je bij dit soort foto's uiteraard niet de kwaliteit van een goed belichte DSLR foto. Dit is lijkt me meer bedoeld voor situaties waar een flitser niet acceptabel.
Sinds de digitale foto's mainstream geworden zijn maak ik ook ontelbaar meer foto's, dus het argument dat de dslr erdoor sneller gaat verslijten lijkt me niet echt relevant. Een auto gaat ook sneller stuk als je er meer mee rijdt, maar daarvoor dienen die dingen toch?
Dat vroeg ik mij dus ook als 1e af.
Als dit goed doorontwikkeld word lijkt mij dit een uitkomst. weg met al dat geflits bij sportevenemnten, geen sterretjes voor m'n ogen en tijdelijke blindheid als ik zelf op de gevoelige plaat word gezet (Ik heb nogal lichtgevoelige ogen) en ik neem aan, ook geen last van het "rode ogen" effect.

Ik vraag me af of de musea hier blij mee zullen zijn, UV lijkt me niet bevorderlijk voor oude/kwetsbare schilderijen. Vaak mag er met een normale flitser al niet gefotografeerd worden, straks zullen ze dit niet eens meer kunnen vaststellen.
Helaas ook bij IR flitsen krijg je vlekken voor je ogen. Zelfs hardnekkerige vlekken dan bij de normale wit-licht flitsen :)
Lijkt me zeer sterk, heb je een bron. Ir kun je niet zien of gewoon zo waarnemen.
Met een ir lamp voor een videocamera heb je ook geen last en bij een gewone camera lamp wel hoor.
Wij hebben vorige jaar met een aantal IR flitsers een groot aantal testen gedaan (ja voor de flitspalen), toen ik naar huis fietste had ik een aantal erg grote vlekken voor mijn ogen. Dus nee geen bron, puur een ervaring ;)
Ze gebruiken een gewone flitser waar het zichtbare licht weggefilterd is. Vrijwel alle flitsers produceren IR en UV, vandaar dat flitsers altijd al in musea verboden waren.
Anoniem: 128823 @ZenTex20 juli 2009 08:55
Lijkt me juist geen oplossing voor sportevenementen. Er worden namelijk 2 foto's genomen en dit is niet bevorderlijk voor de sluitertijd.
Dat is bij zo'n eerste proefopstelling problematisch. Een structurele oplossing is een camera die niet 3 kleuren (RGB) maar 5 (IR-RGB-UV) tegelijk vastlegt. Dan neem je dus op hetzelfde moment alle frequenties mee.
Heb je in het donker geen last van lange sluitertijd als je geen flitser hebt? Dan is deze zeer gevoelig voor beweging.

Of is het niet de bedoeling dat het pikkedonker is.
Daar zeg je me wat. Een groter probleem lijkt het me dat je in het donker, met of zonder lange sluitertijd te weinig echte kleur krijgt, wat het uiteindelijke resultaat zeer donkerbruin maakt denk ik zo.

Ik bedoel dus dat het wel donker kan zijn, maar een lagere grens als met de huidige flitsers.

[Reactie gewijzigd door ZenTex op 23 juli 2024 13:15]

nu dat valt best mee hoor, er zit best behoorlijk wat kleur in een foto met langere sluiterstijd. Als je de sluitertijd goed uitrekent, kan je best wel verbluffend mooie fotos krijgen, en heus niet donkerbruin.
Dat is nou juist de truc: ze gebruiken voor de 'A' foto wel een lange sluitertijd, die dus een onscherpe foto oplevert. Maar omdat de software uit die foto alleen de kleurinformatie gebruikt en die aan de 'F' foto toevoegt, is het resultaat toch scherp.
Nee. foto A heeft een korte sluitertijd, maar met een hoge ISO. Daarom heeft die veel ruis, maar is wel scherp.
Goede vinding. Je kan wel zien dat R ietwat minder contrast heeft dan L. Hier zit wel toekomst in. Als dit iets verder word ontwikkeld en toegepast zou kunnen worden in bijvoorbeeld film camera's en dan dit weer toegepast worden in nacht kijkers voor het leger...
Als je de pdf bekijkt bij het bron artikel, zie je dat ook de scherpte behoorlijk minder is, en er erg veel detail is weggevallen. De man op de foto heeft sproeten die bij de geconstrueerde foto grotendeels weggevallen zijn. Het lijkt wel een geairbrushde foto, erg natuurlijk komt het niet over.

Het is beslist een leuk idee, maar het heeft wel een hoop beperkingen: er moet nog redelijk wat licht aanwezig zijn, en het onderwerp mag niet (snel) bewegen. Een hele hoop gedoe dus dat voor maar een beperkt aantal situaties resultaat levert, en dan nog geen resultaat om over naar huis te schrijven. In plaats van dit soort constructies ben je beter af met een grote gevoelige sensor schat ik, want die doet in alle situaties z'n werk.
Inderdaad zijn er heel veel details verloren gegaan bij die man.

De reden is heel simpel: die details zijn niet zichtbaar onder IR en UV licht. (zie foto F)
En dat probleem kun je dus niet oplossen.

m.a.w. leuk idee. Aardige manier om een student bezig te houden, maar uiteindelijk niet bruikbaar.
Uitleg van de pic:
A pair of images are captured at a blur-free shutter speed,
one using a multi-spectral flash (F),
the other using ambient illumination (A)
which in this case is 1/100th of that required for a correct exposure. The pair are combined to give an output image (R)
which is of comparable quality to a reference long exposure shot (L).
Nice!!
Ik verwacht de eerste full color night vision systemen binnen enkele jaren :p

Eventueel met twee CCD's gestackt ofzo, eentje met IR filter en eentje zonder. Ofwel intermedierend een afbeelding verwerken met IR aan en vervolgens met IR uit. Je IR lampje moet dan ongeveer aan 50Hz knipperen om een 25 fps stream te krijgen. Jammer dat er niets gegeven staat van de rekentijd om één foto/beeld te verwerken. Anders zal men eerst nog zware DSP's leren bouwen om al dat rekenwerk aan 25 beeldjes per seconde af te handelen. Beveiligingscamera's aan één, twee, vijf of tien beeldjes per seconde zullen eerder in aanmerking komen.

Op dit item kan niet meer gereageerd worden.