Onderzoeker reconstrueert schermafbeelding van Toad door schaduw te fotograferen

Computerwetenschappers van de Amerikaanse Boston University stellen dat ze een methode hebben ontwikkeld waarmee om de hoek kijken mogelijk is op basis van wat zichtbaar is in een op een muur geprojecteerde schaduw van een object of subject.

Vivek Goyal en andere onderzoekers van de Universiteit van Boston hebben voor hun methode een nieuw computeralgoritme gemaakt voor het analyseren van foto's. Daarnaast is voor de methode een reguliere, relatief goedkope camera nodig. Het systeem analyseert het licht dat van matte oppervlakken, zoals muren, wordt gereflecteerd. Daarmee is het grofweg mogelijk om 'om de hoek te kijken', of in ieder geval op een grove manier afbeeldingen te reconstrueren die niet direct te zien zijn.

Het gaat bij deze methode specifiek om het analyseren van de beeldinformatie van de penumbra. Dit wordt ook wel de halfschaduw of bijschaduw genoemd en is het deel van een schaduw waarin de achterliggende lichtbron deels kan worden waargenomen. Bij de umbra of kernschaduw is de lichtbron volledig geblokkeerd.

De onderzoekers gebruikten een opstelling in een verduisterde kamer zonder ramen, waarbij ze een monitor verschillende afbeeldingen lieten weergeven, waaronder een eenvoudige tekening van het Nintendo-personage Toad. Door middel van het plaatsen van een stoel tussen het scherm en de muur werd een penumbra gecreëerd. Met een op een statief bevestigde camera werden twintig foto's geschoten met een totale belichtingstijd van drie seconden. Dit beeldmateriaal werd vervolgens door het computeralgoritme geanalyseerd, waarna na een paar minuten een grove reconstructie van de tekening van Toad tevoorschijn kwam.

Vlnr: de plaatjes zoals ze op de monitor waren te zien, de penumbra's daarvan en de gereconstrueerde afbeeldingen.

Voor deze methode is het belangrijk dat een deel van het te reconstrueren object geblokkeerd wordt. Daarbij mag geen doorzichtig object worden gebruikt. De schaduwen bevatten informatie voor het computeralgoritme dat de verspreiding van het licht kan analyseren en zodoende kan bepalen hoe de originele scène eruitziet.

Vooralsnog staat de technologie in de kinderschoenen. De gereconstrueerde afbeeldingen zijn nog erg pixelachtig en niet bepaald scherp. Bovendien is de technologie nog niet in staat om veel gedetailleerdere objecten of subjecten te reconstrueren, zoals menselijke gezichten. Goyal zegt dat hij deze methode nog niet heeft geprobeerd voor het reconstrueren van een afbeelding van een persoon die zich om de hoek bevindt, maar volgens hem is er geen reden waarom dat onmogelijk zou zijn. Volgens de onderzoeker is het contrast tussen de penumbra en de omringende omgeving de belangrijkste beperking. De methode is getest in een verduisterde ruimte. Zodra de hoeveelheid licht in de kamer werd vergroot, was de penumbra steeds moeilijker te zien en was het systeem ook minder goed in staat om de reconstructies te maken.

De onderzoeker stelt dat in de toekomst wellicht een hybride methode kan worden gehanteerd waarbij het systeem in staat is de niet-doorzichtige objecten op de voorgrond te lokaliseren en die informatie mee te nemen in de computerreconstructie van de scène. Goyal stelt dat dit onderzoek aantoont dat er heel veel informatie uit penumbra's is te halen, en die zijn overal te vinden. Op basis van de oriëntatie van de schaduwen zou het 's avonds bijvoorbeeld mogelijk kunnen worden om de locaties van alle straatlantaarns te bepalen. Het reconstrueren van Toad is lastiger dan het in kaart brengen van straatlantaarns, zegt Goyal tegen Wired.

Gordon Wetzstein, een elektrotechnisch ingenieur van de Stanford-universiteit die niet bij het onderzoek betrokken was, is bezig met het ontwikkelen van een soortgelijke technologie waarbij lasers worden gebruikt. Hij zegt tegen Wired dat het onderzoek van Goyal kan bijdragen om robots te helpen beter te manoeuvreren en dat zelfrijdende auto's er veiliger van kunnen worden. In de medische sector kan het gebruikt worden voor het detecteren van tumoren of om om botten heen te kijken.

Onder meer Darpa, een Amerikaans defensie-instituut dat nieuwe technologie voor het leger ontwikkelt, heeft dit onderzoek ondersteund. Het gaat hierbij om het Darpa-programma Reveal, waarmee onderzoek wordt gesponsord om afbeeldingen te maken met heel weinig licht. Overheidssurveillance of legertoepassingen zouden dus ook baat kunnen hebben bij het onderzoek van Goyal.

Goyal en de andere onderzoekers hebben hun bevindingen gepubliceerd in een artikel in het wetenschappelijke tijdschrift Nature, onder de titel Computational periscopy with an ordinary digital camera. Dit onderzoek bouwt voort op een MIT-studie uit 2017, waarin schaduwen werden gebruikt om vast te leggen in welke richting mensen liepen die zich om een hoek bevonden. Bij dat oudere onderzoek konden echter geen duidelijke plaatjes worden gemaakt en speelde kleur nog geen rol.

Reacties (39)

[Nilltris]

" Goyal zegt dat hij deze methode nog niet heeft geprobeerd voor het reconstrueren van een afbeelding van een persoon die zich om de hoek bevindt, maar volgens hem is er geen reden waarom dat onmogelijk zou zijn"

Misschien niet onmogelijk maar wel heel lastig. Een afbeelding op een monitor heeft nogal wat contrast. Een persoon dat om een hoek staat zal dit veel minder hebben lijkt me. Het lijkt me dat er dan ook minder informatie in de schaduwen zit of begrijp ik dit nu totaal verkeerd?

[Core2016]

Met een laser is dat probleem denk ik redelijk goed opgelost.

[Moortu]

Lasers zijn cool en al, maar ze lossen niet alle problemen op.

[Verwijderd]

Wel, als je met lasers EN ducttape werkt.

[vlaaing peerd]

En blauwe LEDjes

[Moortu]

Vergeet bluetooth niet, alles is beter met bluetooth

[Nico Klus]

WD40

[Rudy12]

Deze is een must!

[Verwijderd]

Een afbeelding op een monitor heeft nogal wat contrast. Een persoon dat om een hoek staat zal dit veel minder hebben lijkt me. Het lijkt me dat er dan ook minder informatie in de schaduwen zit of begrijp ik dit nu totaal verkeerd?

Het contrast in de halfschaduw hangt af van een hele reeks factoren zoals:

• Constrast van het object op zich
• Lichtsterkte van het object relatief t.o.v. andere lichtbronnen
• Relatieve hoek van de verschillende lichtbronnen t.o.v. de lijn object - schaduw
• Gloss waarde (geeft aan of reflectie diffuus op spiegelend is) van het oppervlak waarop de schaduw word geprojecteert

In dit onderzoek is zo ongeveer de meest gunstige combinatie van factoren gebruikt. Desalniettemin is het een interessante techniek. De toepassing om hiermee echt om de hoek te kijken is een flink stuk lastiger, maar wie weet wat er mogelijk is.

Edit:

Wat ik me ineens realiseer is dat ze hier niet het object hebben gereconstrueerd dat de schaduw veroorzaakt (de stoel), maar de lichtbron die daarvoor gebruikt is (Toad op het beeldscherm). In een echte applicatie zal het echter gaan om het object dat de schaduw veroorzaakt.

Is het dan uberhaupt mogelijk om meer informatie dan alleen de vorm van het object te verkrijgen? In de halfschaduw komt dan maar een heel klein beetje licht terecht dat op de randen/zijkanten van het object is gereflecteerd (en ook alleen maar indien de lichtbron groter is dan het object). Dit is de enige kleur informatie die dan beschikbaar is. Ook informatie over de 3d vorm van het object zal beperkt zijn tot de randen/zijkanten en kan je niks vertellen over de voor/achterkant.

[Reactie gewijzigd door Verwijderd op 22 juli 2024 23:36]

[demonite]

Ik heb er ook mm twijfels bij. De monitor is een lichtbron. Het is niet een schaduw die geanalyseerd werd maar de reflectie van die lichtbron op de muur. Die reflectie is natuurlijk minimaal omdat de muur mat is, maar dat is toch echt wel heeeel wat anders dan die muur als "spiegel" gebruiken.

[laptopleon]

Kortom alleen al de lijst met omstandigheden is veel te lang. Je moet genoeg licht hebben vanuit ‘om de hoek’ / juist weinig licht op het oppervlak waar de schaduw valt / dat oppervlak moet genoeg maar niet te veel glanzen…

Laten we niet vergeten dat dat oppervlak sowieso aanwezig moet zijn! Dit werkt dus alleen als er overal muren o.i.d. staan.

Ik begrijp ook niet wat de gereconstrueerde monitor-afbeeldingen er toe doen want daar gaat het toch niet om, het gaat toch om de vorm van het voorwerp wat de schaduw veroorzaakt?

[Sandwalker]

Een groot voorwerp, heeft een grote schaduw. Uit de echte schaduw haal je geen informatie anders dan de 2D representatie van een object.
In de halfschaduw is wat meer informatie beschikbaar, doordat je ook een deel van de lichtbron hebt. Hiermee kun je zaken als kleur en in mindere mate ruimtelijke positie (vorm) bepalen. Een uitsteeksel op een bol, geeft een ander schaduwbeeld dan een scherpe hoek.

Het punt wat je maakt over contrast is ook al in het artikel zelf genoemd, als de ruimte niet verduisterd is, wordt het veel moeilijker om de halfschaduw goed te onderscheiden. Dat komt omdat het mogelijk contrast minder wordt; het hele plaatje wordt immers lichter dus je signaal ruisverhouding neemt af.

[GenomDalar1983]

De methode is getest in een verduisterde ruimte. Zodra de hoeveelheid licht in de kamer werd vergroot, was de penumbra steeds moeilijker te zien en was het systeem ook minder goed in staat om de reconstructies te maken.

Hmmm...snap ik op zich omdat de schaduw dan ook minder wordt, maar zou "het systeem" dit zelf niet op een of andere manier kunnen reconstrueren door te spelen met contrasten en de mindere-schaduw "uit te rekenen"?

[roger128]

Ja dat kan natuurlijk, maar het gaat om het contrast.

Stel de ruimte is volledig donker, en het licht van "om de hoek" is 5 in een random maat. Het contrast is dan oneindig, want 5/0.

Maar, als er al 100 units omgevingslicht in de ruimte aanwezig is, dan wordt het verschil ineens 1-100/105=plusminus 5%. Da's een stuk minder "resolutie" om mee te werken.

[S0epkip]

Gaaf! Voor de beeldvorming () had de laatste foto wel aan het begin van het artikel geplaatst mogen worden trouwens.

[Waterbeesje]

Eerste wat mij te binnen schiet om hier zinvol gebruik van te maken:
Analyse van foto's waarop duistere zaakjes staan:
- getuigen vinden bij een ongeluk
- fotograaf van een wietplantage
- beelden van een overval met iemand die om de hoek op wacht staat
- omstanders vinden na een terreurdaad
- producent van kinderporno traceren

De dader verlinkt zichzelf met zijn eigen foto.

[Pepper92]

Ik ben er bang voor dat er op foto's een te kleine kleurruinte bestaat om daadwerkelijk informatie terug te halen. De (moderne) camera zelf registreert een kleurdiepte van 14 bit, een JPEG wordt teruggebracht tot 8 bit. Alle schaduw wordt op een afgedrukte foto / jpeg daardoor al snel tot 1 of enkele kleuren teruggebracht.

[harley]

CSI zoom en enhance techniek.

Erg knap dat dit kan maar zie nog wel een aantal voorwaarden die het nog niet op de "echte" CSI manier toepasbaar maken. Wel erg knap dat ze dit voor elkaar krijgen !

[Danneh93x]

Technologie op z'n best!

[Core2016]

Dit gaat straks gewoon ingezet worden op camera systemen, killer robots en drones. Mij lijkt dit uitermate geschikt om mensen uit te moorden of in de gaten te houden.

Maar laat ik in het goede van de mens geloven, het is een mooi stukje techniek waar waarschijnlijk nog niet eens alle toepassingen voor bedacht zijn.

[Reactie gewijzigd door Core2016 op 22 juli 2024 23:36]

[WaterFire]

Klopt, en bij de uitvinding van ijsklontjes bedacht iemand meteen dat je daar wel heel scherpe punten mee kan maken en na een kwartier is het moordwapen gesmolten. Zo kan je bij iedere uitvinding wel iets opschrijven natuurlijk.

[Core2016]

Dat klopt ook, ik bedoel het ook niet slecht.
Echter door al die sci-fi-om-hoek-kijk-guns-met-perfect-beeld scenes dacht ik daar aan.
En gezien Darpa denk ik eerder aan militaire dan civiele toepassingen

[Parrotmaster]

Je vergelijking klopt, maar er worden veel minder mensen vermoord met ijsklontjes dan dat er in de gaten worden gehouden door camera's of gedood worden door drones.

[ajolla]

IJsklontjes zijn niet met hulp van Defensie (wat hier eigenlijk een misnomer is) uitgevonden.

[Verwijderd]

Je wordt een beetje omlaag gemod maar ik ben inmiddels ook redelijk geconditioneerd om te bij dit soort nieuwe ontwikkelingen als eerste te denken hoe dit nou weer gebruikt gaat worden om mensen kapot te maken. Zeker als instanties als Darpa er achter zitten.

Ik ben nog in dubio of ik gewoon raar ben of dat dat gewoon mentale conditionering door realiteit is.

Breekt verder ook niet af aan het feit dat het cool is dat dit kan.

[Reactie gewijzigd door Verwijderd op 22 juli 2024 23:36]

[ajolla]

Als je niet vermoord wil worden moet je gewoon een schijnwrper meedragen, of een felle lamp.

[AibohphobiA BoB]

Nou eigenlijk bestond dit volgens mij al een tijdje. Watson en Crick hebben iets dergelijks gebruikt om de vorm van DNA te bewijzen.
Het valt mij een beetje tegen dat dit nog niet eerder gebruikt is.

[Condor70]

Toad? Dit is toch een Super Mushroom?

Admin-edit:

Spelfouten en/of ander commentaar m.b.t. nieuwsposts horen thuis in
Geachte Redactie.

[Reactie gewijzigd door Dirk op 22 juli 2024 23:36]

[Dan0sz]

Precies wat ik dacht!

[dooiedodo]

shit, ik had andere toad in gedachten en dacht echt...wtf

[Dancing_Animal]

Doet me aan een Star Trek TNG-aflevering denken waarbij ze aan de hand van een schaduw een reconstructie maken.

[Verwijderd]

Seizoen 4, aflevering 18: Identity crisis

[wica]

Ze hebben dus op een monitor afbeelding getoond. Wetende dat een monitor een lichtbron is, die maar 3 kleuren uitzend.
Hoe willen ze dit dan doen met echte objecten, die geen lichtbron zijn. Met licht wat een veelvoud van die 3 kleuren is.
Ik ben zeer benieuwd.

[Reactie gewijzigd door wica op 22 juli 2024 23:36]

[Verwijderd]

Inderdaad, voordat ik geloof dat je hiermee “om de hoek kunt kijken” zou ik graag eerst een voorbeeld zien van een reconstructie van een object dat beschenen wordt. Ze hebben nu de lichtbron gereconstrueerd, geen object. En die lichtbron reconstrueren vanuit de wetenschap dat de penumbra voor verschillende golflengtes anders is is een kwestie van rekenen.

Overigens wel heel gevaarlijk voor de mensen die in hun cubicle denken dat niemand kan zien wat ze op hun monitor bekijken. Genoeg “roze” in de reconstructie is meteen verdacht

[WhatsappHack]

Wallhack 2.0 zegmaar?