MIT verzint manier om reflecties uit foto's te halen

Onderzoekers van het Massachusetts Institute of Technology hebben een algoritme ontwikkeld dat in veel gevallen automatisch de reflecties uit foto's kan filteren die genomen zijn door een raam. Vaak zijn objecten, zoals de fotograaf zelf, zichtbaar in foto's genomen door een raam.

Het algoritme zal door de onderzoekers in juni op de Computer Vision en Pattern Recognition-conferentie gepresenteerd worden aan het publiek. De werking berust op het feit dat foto's die door een raam met dubbel glas genomen worden, over het algemeen twee vrijwel identieke reflecties weergeven die net een stukje uit elkaar liggen. Een van de onderzoekers, YiChang Shih, legt op de site van MIT uit dat bij dubbele beglazing sprake is van een weerkaatsing van het beeld via zowel het binnenste als het buitenste raam. Hetzelfde effect treedt op bij ramen van dik enkel glas.

Het systeem functioneert alleen bij dubbele reflectie, anders is het vooralsnog vrijwel onoplosbaar doordat het algoritme een vergelijking maakt tussen twee verschillende, maar verder gelijkende afbeeldingen in een raam. Shih geeft als voorbeeld: "Als A + B gelijk is aan C, hoe kun je dan A en B terugkrijgen uit een enkele C? Dat is wiskundig uitdagend. Dan hebben we gewoon niet genoeg selectiecriteria om een conclusie te trekken."

De tweede reflectie is dus nodig, waarbij de waarde van A hetzelfde moet zijn als de waarde van B voor een pixel die op eenzelfde afstand staat in een bepaalde richting. Als dat selectiecriterium toegevoegd wordt, is het een stuk makkelijker om A, B en C van D los te weken.

Toch bestaat niet de volledige oplossing uit het vergelijken van pixels op deze manier. Daarvoor haalden de onderzoekers nog een onderzoeksgroep van stal. Deze groep gaat ervan uit dat een beeld dat door een raam gefotografeerd is, een bepaalde statistische regelmaat bezit, net zoals zogenaamde 'natuurlijke' foto's. Het idee is daarbij dat op pixelniveau abrupte overgangen binnen natuurlijke en door de mens gebouwde omgevingen vreemd zijn en dat als een overgang plaatsvindt, ze langs duidelijke grenzen lopen. Dat betekent dat wanneer een cluster pixels een deel van een blauw en een rood object omvat, alles aan de ene kant blauwachtig is en aan de andere zijde roodachtig. Toch werkte die benadering niet heel goed.

Er bleek tijdens het onderzoek wel iets te zitten in de pixel-benadering, maar daarvoor moest het algoritme wel het een en ander leren. Daarvoor gebruikten de onderzoekers een techniek ontwikkeld op de Hebrew University of Jerusalem. Door statistiek los te laten op blokjes pixels van acht bij acht in 50.000 proefplaatjes kon de correlatie tussen de pixels berekend worden en zo een goed resultaat verkregen worden.

Shih hoopt dat als het algoritme verder verbeterd wordt, het op den duur een plekje kan krijgen in normale fotosoftware en, wellicht veel belangrijker, om robots beter te laten 'zien' in ruimtes met veel glas.

Reacties (34)

[LaitSolaire]

Het klinkt wellicht een beetje negativistisch, maar me dunkt dat opsporingsambtenaren met deze techniek ook weer wat oude foto's uit de kast kunnen halen. Als ik het voorbeeld zo zie, kun je niet alleen de fotograaf weghalen, maar ook juist naar voren halen (dat geldt uberhaupt voor dat wat weerspiegeld wordt). Foto's kunnen zo meer informatie opleveren dan ze in het verleden hebben gedaan. (Dit geldt natuurlijk niet enkel voor in het verleden gemaakte foto's.)

OffT: doet me ook een beetje denken aan deze scene uit blade runner: https://www.youtube.com/watch?v=QOlPNZzneGw

[armageddon_2k1]

Niet gehinderd door enige kennis op dit gebied denk ik dat dat wel meevalt. Het ligt er natuurlijk aan over 'hoe oud' je het hebt, maar ik denk te begrijpen dat deze techniek heel erg leunt op de hogere resolutie (bitwise en niet megapixels) van digitale foto's en dan met name het RAW formaat.
12-bit raw en zelfs 14-bit raw bezitten een stuk meer informatie dan 8-bit jpeg (256 dieptes per kleur vs 4096 of zelfs 16384).

Aangezien ze expliciet melden dat ze een dubbele reflectie nodig hebben om dit truukje toe te kunnen passen en je zoal de verschillende reflecties moet kunnen onderscheiden als de achtergrond is de kleurdiepte en contrast nogal bepalend en vermoed ik dat het simpel inscannen van een Volkskrant plaatje van 35 jaar geleden niet gaat voldoen aan de criteria

[Reactie gewijzigd door armageddon_2k1 op 22 juli 2024 13:51]

[WimBarelds]

In veel gevallen zijn dergelijk bewerkte beelden niet bruikbaar als bewijs. Wel kan het in die gevallen alsnog kunnen worden gebruikt om hints in de juiste richting te vinden.

[Nas T]

Mooie ontwikkeling. Alhoewel een beetje fotograaf er al heel snel achter is dat door glas fotograferen betekent dat je schuin moet staan t.o.v. het glas of het objectief tegen het glas aan moet zetten, zijn er nog wel voorbeelden te verzinnen waar het niet anders kan.

[Magic]

of een polarisatiefilter gebruiken

Edit: DinX was me net voor

[Reactie gewijzigd door Magic op 22 juli 2024 13:51]

[Verwijderd]

Maar dat is alleen maar mogelijk met camera's waar je zo'n filter op kunt schroeven. En aangezien de meeste foto's tegenwoordig met smartphones worden gemaakt is een softwarematige oplossing wel handig.

[Magic]

Zelfs B+W heeft tegenwoordig clip-on filters voor telefoons

Daarnaast hebben we het over "beetje fotograaf". Nu wil ik niet zeggen dat er niet mensen zijn die prachtige foto's met telefoons maken, maar over het algemeen zijn die mensen wel voorzien van de nodige gear

[Stoney3K]

Maar dat is alleen maar mogelijk met camera's waar je zo'n filter op kunt schroeven. En aangezien de meeste foto's tegenwoordig met smartphones worden gemaakt is een softwarematige oplossing wel handig.

Alleen jammer dat het dan niet de telefoon weg kan flteren in de spiegelselfies.

[Dykam]

Voor het eerste gedeelte beschreven in het artikel moet je sowieso schuin staan, anders zijn de reflecties met elkaar in lijn.

[Xirt]

Het idee is daarbij dat de schuine hoek minimaal hoeft te zijn (milimeters); zeker met het detailniveau dat camera's tegenwoordig vastleggen.

[DinX]

Of een polarisatiefilter gebruiken, dat doet ook al erg veel.

[Arumes]

Dat werkt niet als je recht voor het raam staat. Met een polarisatiefilter kan je bijvoorbeeld nooit een reflectie van jezelf of van de camera verwijderen. De werking van een polarisatiefilter wordt namelijk minder naarmate je 'haakser' op het raam staat, en bij 90 graden (recht voor het raam dus) werkt het helemaal niet meer.

[Nas T]

Klopt, maar ik maak soms ook foto's met gebruik van de reflectie (levert soms leuke effecten op). Als ik dan vergeet het filter te draaien en er een momentopname komt, dan is dit dus wel handig...

[jarrin]

Of de foto kleiner maken zoals hierboven! Vallen details ook minder op

[Shark.Bait]

Zwart dragen. Een apart zwart T-shirt gebruiken met de hals opening rond het objectief, de onderkant van het T-shirt tegen het raam houden (zodanig dat het T-shirt niet in beeld komt)...

[francoski]

Tenzij je dubbel glas hebt, en op de tweede laag glas alsnog licht valt..

[MrEddy]

Misschien nog een beetje fine-tunen, want ik zie wel degelijk een persoon in de verwerkte foto.

[MAX3400]

Als kleur-ranges van object A en object B dicht bij elkaar liggen, is het lastig voor software (of voor een persoon) om te beoordelen of het weggummen ervoor zorgt dat A verdwijnt of dat B vervaagt.

Finetunen zou kunnen maar op een gegeven moment wordt het erg lastig; je kan het ook zien als een omgekeerd green screen zoals wordt gebruikt voor het weerbericht. Als de presentator verkeerde kleding aan heeft, zie je ook een regenwolkje op zijn sok verschijnen.

[Stoney3K]

Finetunen zou kunnen maar op een gegeven moment wordt het erg lastig; je kan het ook zien als een omgekeerd green screen zoals wordt gebruikt voor het weerbericht. Als de presentator verkeerde kleding aan heeft, zie je ook een regenwolkje op zijn sok verschijnen.

Om iets preciezer te zijn zelfs: Een difference matte.

[Tazzios]

In hoevere zou je de reflectie van de persoon herkent hebben indien je niet wist dat er een reflectie was?

[MrEddy]

Vrij goed, door de hand.

[beantherio]

Die hand (en het deel van de foto dat nog een geel/oranje/roze huidskleur heeft) zou ook door bomen schijnend zonlicht kunnen zijn zou ik zeggen. Of het wat warmere licht van vlak voor zonsondergang. Ik vind dat daarom nog niet perse opvallen. De glinstering in het brillenglas viel me in de bewerkte foto eigenlijk veel meer op. Dat is wat minder makkelijk te vertalen naar een natuurlijk fenomeen.

[Verwijderd]

Dan zou je je afvragen waarom er van die rare vlekken op de muur zitten....

[bodamn]

Het is in ieder geval al een stuk minder.
Misschien dat fine tunen het verschil maakt inderdaad. Ik ben vooral benieuwd of het werkt op een foto waar de persoon minder duidelijk gereflecteerd wordt.

[_Erikje_]

Bij CSI kan dit al jaren

[Verwijderd]

Bij films en tv-series kunnen ze al decennia lang uit 1 zilverkorrel of 1 pixel een high res foto genereren. Stom dat camerafabrikanten dat nog steeds niet kunnen.

[Stoney3K]

CSI zijn maar beginners.

https://www.youtube.com/watch?v=JMIHNiR3CP8

[MrBlueEyes]

Leuk dat ze hier mee bezig zijn. Zo te zien is er inderdaad nog wel genoeg te verbeteren. Alle beetjes helpen! Vooral in telefoons is dit natuurlijk ook erg handig om te verwerken.

[anodesni]

Ik vind het eigenlijk veel interessanter dat je de reflectie veel beter kan zien (plaatje rechtsonder).
Dat zou misschien handig kunnen zijn om mensen te kunnen identificeren in camera opnames van reflecterende objecten.

[Mitrilvich]

Zou je hiermee makkelijker naar binnen kunnen kijken? Dus bij gebouwen waar het binnen donker is en de ruiten veel spiegelen?

[FrankHe]

Gafe ontdekking. Logisch dat het alleen werkt bij dubbel glas. Ik zie een nieuwe wet aankomen die enkel glas gaat verbieden

[Patrick-]

Met de huidige EPC normen is het toepassen van enkel glas voor nieuwbouw al verleden tijd. Voor oudbouw zullen de regels met betrekking tot het vervangen van glas hoogstwaarschijnlijk ook nog aangescherpt worden.

Ben wel benieuwd of er na het wegfilteren van de fotograaf of andere spiegeling nog veel details in de foto over blijven.