Onderzoekers maken technologie die via camerabeelden om een hoek kan 'zien'

Computerwetenschappers van het Massachusetts Institute of Technology hebben een technologie ontwikkeld die bewegende objecten of personen die zich uit het zicht achter een muur om de hoek bevinden, in kaart kan brengen door licht- en schaduwinformatie op camerabeelden te analyseren.

De technologie werkt via het analyseren van de lichtinformatie op de vloer vlak bij een hoek, bijvoorbeeld bij een gang met een T-splitsing. Als er beelden worden gemaakt van de vloer vlak bij het punt waar je de hoek om moet, kan een computerprogramma veranderingen in het licht op de vloer waarnemen. Alles weerkaatst licht, en door de fluctuaties in de lichtsterkte op de vloer te fotograferen, kan er een idee worden gevormd van wat er zich allemaal om de hoek bevindt.

Deze veranderingen in lichtsterkte zijn voor het menselijk oog niet waarneembaar, omdat de fluctuaties plaatsvinden in slechts 0,1 procent van het licht dat wordt gereflecteerd. Door het versterken van de kleuren van de beelden met een computer, kunnen bepaalde gekleurde pixels worden gekoppeld aan bepaalde objecten of subjecten om de hoek. Iemand met een groen shirt, zal groen licht weerkaatsen, of de aanwezige lichtbron wordt geblokkeerd zodat er een donker patroon ontstaat. De bewegingen van mensen die zich om een hoek bevinden, zijn hiermee in kaart te brengen. Het gaat in feite om verschillen in de pixels, waardoor het ook in real-time werkt, zo meldt een van de onderzoekers aan Wired.

De technologie is relatief eenvoudig, werkt ook buiten en in de regen, en werkt met beelden van bijvoorbeeld een Sony A7s-systeemcamera of een iPhone 5s. Er zijn echter nog wel wat beperkingen. Zo moet de camera zich nog op een vast punt bevinden, al proberen de onderzoekers het systeem nu ook werkend te krijgen bij bewegende beelden. Dat zou de technologie bruikbaar kunnen maken voor toepassing bij zelfrijdende auto's. De onderzoekers denken dat dit uiteindelijk al kan werken als de auto nog vrij ver van een hoek verwijderd is. Voor het analyseren en het verwerken van de beeldinformatie is nu nog een laptop nodig, maar de wetenschappers denken dat het systeem ook volledig op een smartphone moet kunnen werken, al is dat nog niet gedaan.

Het onderzoek is gepubliceerd in een paper met de titel Turning Corners into Cameras: Principles and Methods.

Reacties (54)

[HooksForFeet]

Wie kent het oude point & click adventure Blade Runner nog? Daar kon een of andere computer ook aan de hand van 2D foto's op magische wijze naar nummerborden om de hoek van een gebouw inzoomen. Vonden we toen je reinste science fiction onzin.

[Verwijderd]

Ik heb iets vergelijkbaars al vele jaren terug gezien.
Ik ga zoeken... Maar dit is echt niets nieuws...

[bilbob]

ik denk dat je gelijk hebt. Heb dit jaren geleden ook gezien.
En het was toen al een werkende demo.

Dit onderstaande filmpje uit 2012 is niet het filmpje dat ik zocht maar toch wel aardig om te zien.
https://www.youtube.com/watch?v=5ACY3dUQbTk

[Reactie gewijzigd door bilbob op 23 juli 2024 22:41]

[ikt]

Het grote verschil met die implementatie en die van het artikel, is dat de oude oplossing een aparte camera en laser nodig had. De camera's die in het artikel worden gebruikt kunnen conventionele camera's zijn, die met omgevingslicht werken. Minder betrouwbaar, maar wel vele malen goedkoper en 100% in software te implementeren.

[Accretion]

Persoonlijk vindt ik deze video wat beter: https://www.youtube.com/watch?v=Y_9vd4HWlVA

[Pater91]

Precies wat ik dacht! Heb dit echt een heel aantal jaar geleden ( 4 ? ) nog gezien. Niet op tweakers, maar in een tech demo op youtube.

Edit, found it:
https://youtu.be/7xAaHDOV8VA

[Reactie gewijzigd door Pater91 op 23 juli 2024 22:41]

[Verwijderd]

Inderdaad, snap niet waarom het nog een keer ‘nieuws’ is

[wouterg00]

Wauw. Wat de ene dag nog science fiction is is de andere dag realiteit. Kudos naar MIT! Nu nog hopen dat de techniek ook daadwerkelijk word toegepast, want volgens mij gebeurt dat met het gros dat MIT uitvindt niet.

[OddesE]

Ik doe dit in de auto. Als er een (groot) voertuig voor me rijdt dat het zicht belemmert probeer ik middels schaduwen / reflecties op het wegdek te zien wat zijn voorganger doet; werkt verbazingwekkend goed. Je kunt gewoon zien dat de voorganger remt voordat het voertuig voor je begint te remmen. Kun je alvast het gas los laten. Ik zou zeggen let er eens op tijdens het rijden (niet teveel natuurlijk )

[wouterg00]

Ik ben confused, als er een vrachtwagen voor je zit kan je de schaduw van de auto daarvoor toch helemaal niet zien ? Of heb ik dat fout?

[Reactie gewijzigd door wouterg00 op 23 juli 2024 22:41]

[OddesE]

Ja heel vaak wel. Een beetje tegenlicht is daarvoor genoeg. Of als het wegdek een beetje nat is zie je vaak de reflectie.

Overigens wacht ik nog steeds op de dag dat ze verplicht gaan stellen dat grote voertuigen die het zicht belemmeren een scherm achterop gemonteerd krijgen waarop de beelden van een dashcam geprojecteerd worden zodat ik niet meer via schaduwen / reflecties hoef te kijken maar gewoon 'door de vrachtwagen heen' zijn voorganger kan zien. Kost wat? 500 euro? Niet heel duur voor een veiligheidsfeature op een vrachtwagen (ok dit zal wel iets duurder worden want moet hufterproof zijn dan natuurlijk, maar toch)

[Reactie gewijzigd door OddesE op 23 juli 2024 22:41]

[Ronald_VR]

Samsung "The Safety Truck"

[mrdemc]

Of je houdt gewoon voldoende afstand

[OddesE]

Of je doet beide.

Beetje moraalridder opmerking zeg. Ook bij voldoende afstand ontneemt een vrachtwagen je het zicht hoor. Het is gewoon niet fijn om niet verder dan één voertuig vooruit te kijken, dus ging ik op zoek naar manieren om verder te kunnen zien en mij is opgevallen dat schaduwen en reflecties dat vaak inderdaad mogelijk maken.

[PvdVen777]

Hoog moraalridder gehalte vandaag inderdaad, en men lijkt niet te willen snappen wat je zegt. Dit systeem is gewoon observatie in het kwadraat op zijn nuttigst. Net zoals je bijvoorbeeld in het donker een ander aan ziet komen om de hoek aan zijn koplampen bijvorbeeld maar dan in een (dag)licht situatie.

[Kalief]

Je zou misschien ook gewoon wat afstand kunnen houden. Lijkt me veiliger dan naar een monitor op de achterkant van een vrachtwagen zitten turen.

[walteij]

En dan de monitor hacken, zodat het digitenne/satteliet beeld dat de chauffeur binnen op zijn TV aan heeft staan wordt getoond (want er zijn er genoeg die hun TV gewoon aan hebben staan tijdens het autorijden).

[Miglow]

Zal iets meer kosten. Een vrachtwagen moet namelijk ook open kunnen en daarbij onder alle weersomstandigheden blijven werken. Daarbij worden opleggers en aanhangers nogal eens verwisseld en zal je dus een systeem moeten hebben dat je vaak in en uit kunt schakelen. Ikzelf rijd bijvoorbeeld met een lzv en koppel dagelijks minimaal 5x aan en af. Mijn collega doet dat diezelfde dag ook nog zoiets, dus dan gaat het hard. Tel erbij dat veel transporteurs het al te duur vinden om een camera boven de voorruit te hangen ipv een spiegel, laat staan achterop een vrachtwagen en je plan is bij voorbaat al te duur.

Want heel simpel: Boven de voorruit doet een spiegel hetzelfde en aan de achterkant is degene die achterop rijdt toch schuld in het overgrote deel van de gevallen.

En ik wil niet weten hoeveel energie het kost om een scherm van 2,5mx2,7m in twee (of 4) delen achterop te verlichten. En voor je aandraagt dat het ook kleiner mag zijn: Het lijkt mij zeer stug dat jij op een afstand van 45-50m detail kunt onderscheiden in een fractie van een seconde op een 60" scherm.

[OddesE]

Pfff wat een niveau hier weer. Je wilt graag zien wat er voor de vrachtwagen voor je gebeurt en dús ben je aan het bumperkleven. Wat een onzin.

Ik vind mensen die bumperkleven super irritant en zelf vlak achter iets rijden is al even vervelend. Continue heel scherp op moeten letten en meteen moeten remmen omdat je totaal geen tijd hebt om te reageren. Snap niet dat iemand dat doet. Super gefrustreerde types zijn het. Ik ga altijd maar snel aan de kant voor ze want man man wat irri zo iemand in je spiegel te hebben.

Overigens is achter een bumperklever rijden, ook al heb je genoeg afstand, nog steeds irritant omdat ze de hele tijd remmen. Het ergst zijn busjes die bumperkleven. Zelf zie je niet dat ze maar een paar meter achter hun voorganger rijden maar ze trappen wel steed ineens op de rem.

Probeer toch eens niet zo goedkoop te scoren met je insinuerende opmerkingen. En ik zou zeggen let eens op de reflecties en schaduwen als je achter een busje of vrachtwagen zit. Het helpt echt.

EDIT: Overigens zijn er genoeg kop-staart botsingen elk jaar om zo'n systeem te verdedigen. Mensen die bumperkleven doen dat toch wel. Die denken blijkbaar dat ze superman zijn of zo (x-ray ogen??). Voor ons normale chauffeurs helpt het om verder vooruit te kunnen zien.

[Reactie gewijzigd door OddesE op 23 juli 2024 22:41]

[spNk]

Maar wat schiet ik er mee op? Hoe verder ik achter het busje of vrachtwagen ga rijden hoe meer ik zie. Meer dan wanneer ik op "reflecties" let.

[OddesE]

Je moet wel heel erg veel afstand houden voordat je om een vrachtwagen heen kunt kijken op een rechte weg. En wat gebeurt er dan in ons drukke land? Gaat er meteen iemand voor je neus naar rechts en zit je weer op de 'normale' afstand.

Maar goed hou het lekker bij één voertuig vooruit kijken als je dat wil. Mij lijkt het fijn en het hoeft vrijwel niks te kosten. Ik denk ook dat ik het nog wel ga meemaken dat het standaard op zulke voertuigen zit als de prijs eenmaal ver genoeg gezakt is.

[spNk]

Sorry maar als we het over een meerbaansweg hebben zie ik helemaal het probleem niet. Als je dan achter de vrachtwagens rijdt ben je of aan het in/uitvoegen of aan het slakken, anders ga je gewoon op de 2e rijbaan rijden. Ik ging van een enkelbaans weg uit.

[OddesE]

Welk probleem??? Wie zit hier nu al 3 posts een probleem te maken?? Ik heb het over een oplossing!

Ook op de linkerbaan kan er een groot voertuig voor je rijden. Ook daar is ie irritant. Ook als je niet aan het bumperkleven bent.

Schaduwen en reflecties kunnen je dan helpen er 'omheen' te kijken. Dat is alles wat ik zeg.

[spNk]

Als er geen probleem is er ook geen oplossing nodig.
Maar goed, laten we maar stoppen met deze redelijk nutteloze discussie.

[SpiceWorm]

Als een groot voertuig je zicht belemmerd rijdt je er te dicht op

[mashell]

Ik sluit me bij je aan. Dit werkt echt. Uiteraard het beste als je er niet direct op rijdt. Maar gezien de reacties en de beschuldigen van bumperkleven zijn er nog vrij veel mensen die het niet snappen.

[Tourmaline]

Ach, dit is typisch een uitvinding die het Amerikaanse leger of de CIA/NSA wel kunnen gebruiken.

[Lagonas]

Dit is een uitvinding dat elk leger goed kan gebruiken, en nog veel meer instanties.

[sassymousasi]

Thuis ook bewakingsbeelden hebben vaak genoeg dit soort hoeken.

[THA_ErAsEr]

Zoals bij veel uitvindingen moet het rendabel zijn om het idee uit te werken, te implementeren en te verkopen. Als er niet duidelijk geld mee verdient kan worden, gaat geen enkel bedrijf er tijd en moeite in steken. Deze technologie is prachtig en zal mogelijk in kringen zoals defensie/politie/veiligheids diensten gebruikt worden. Daarbuiten kan ik niet meteen partijen bedenken die flink willen betalen om een ideetjes te hebben wat er achter een hoek plaats vindt.

[Firarain]

dit ziet er zeker interessant uit voor meerdere toepassingen. Camara bewaking voor algemeen en in de winkels bijvoorbeeld. maar ook voor de auto industrie zoals al gezegd werd in de post. ben benieuwd hoe dit verder ontwikkeld.

[Mr777]

dit ziet er zeker interessant uit voor meerdere toepassingen. Camara bewaking voor algemeen en in de winkels bijvoorbeeld.

Zou het voor winkels en bedrijven niet veel eenvoudiger zijn gewoon een extra camera om de hoek te installeren? Dan heb je tenminste rechtstreeks beeld in plaats van een hoop berekeningen die wat kleurvlakjes opleveren.

[Firarain]

da klopt daar heb je gelijk in Mr777, zou zelf ook eerder enkele Camara's meer plaatsen zelfs met zoon software tot beschiking.

het ziet er nog onhandig uit, maar als ze hier verder in gaan zou het wel kunnen. het is volgens mijn een software die ze er over kunnen laten draaien bij het terug kijken van zoon filmpje. hoeft niet in de winkel te zijn kan ook buiten de winkel in de zij straat. waar het niks met de winkel te maken heeft. een misdrijf bij voorbeeld dan is het handig om te weten welke kleding/kleur er gedragen werd.

[Reactie gewijzigd door Firarain op 23 juli 2024 22:41]

[Gandalf68]

Zou dit ook in combinatie met een dode hoek camera gebruikt kunnen gaan worden voor voorspellingen van gedrag van auto's en fietsers... zou aardig wat doden kunnen besparen ?? Zou een nuttige toepassing zijn.

[warhamstr]

Een dodehoek is er al niet meer met de huidige oplossingen (lees: cameraas met groothoek lensje)

[Gogar]

Dit zijn dingen waar ik soms over na denk wanneer ik bijvoorbeeld video shiet. Je gaat er vaak van uit dat alleen te zien is waar je de camera op richt, behalve als er een chroom object in beeld is, dan ben jij zelf soms ook te zien.

Maar ook als dit niet duidelijk het geval is, is het moeilijk in te schatten wat er op technische wijze uit beeld informatie te halen valt.

Onderschat het niet. Ik ga altijd uit van 360 graden zicht, en nu dus zelfs ook om hoeken heen.

Misschien een leuk machine learning projectje om te proberen: Met twee cameras in twee tegenovergestelde richtingen filmen, en dan kijken of je een neuraal netwerk kan trainen om elkaars beeld te produceren. Het zou het dan moeten leren te doen uit reflecties ed. Waarschijnlijk iets te hoog gegrepen, maar wie weet.

[base_]

Iemand wel eens een schaduw en/of reflectie bekeken net langs de hoek van een muur? Dit deden we toch allemaal al toen we verstoppertje speelden vroeger? Ik zie niets nieuws en geen enkele praktische toepassing.Ik zie alleen een vage grafische weergave van kleur/intensiteitsverschuivingen die meer aan de verbeelding overlaten als een normale schaduw of verhoogde contrastweergave. Zonder vaste bekende lichpunten, cameraposities (en onderwerpvormen) kan je hier relatief weinig mee vrees ik.

[CivLord]

Je kunt zien dat er iets net buiten het camerabeeld gebeurt. Dat kan om de hoek zijn, maar ook net buiten het door de camera opgenomen beeld. Je zou zo bv. kunnen zien dat er mensen onder de camera door lopen, zonder die mensen zelf te kunnen zien. Een zeer praktische toepassing zou ik denken.

[Xorifelse]

Leuk bedacht, ik zie hier geen enkele toepassing voor. Hij detecteert rood en blauw. Nu eens even proberen met een zwarte jas. Iedereen draagt andere kleding, dus niet toepasbaar op het brede publiek.

Laten we eerst maar eens tot een punt komen waar elke camera minimaal 1080p opneemt en dan is dit misschien interessant.

[Reactie gewijzigd door Xorifelse op 23 juli 2024 22:41]

[TheBorg]

Het lijkt mij dat het met elke kleur kleding moet kunnen werken, zelfs met zwart. Er wordt hier gedemonstreerd dat het systeem twee personen uit elkaar kan houden.

[Xorifelse]

Zwart reflecteerd geen kleur, en dit filmpje laat zien dat het op die manier werkt. 'Om de hoek kan zien' ~> 'over time'. Hoe is deze techniek toepaspaar in onze huidige samenleving?

Het is leuk dat het is ontwikkeld, hierop moet alleen verbetered worden. Er kan geen super computer achter elke camera hangen om te identificeren hoe iemand achter een hoekje loopt als hij (of zij) 1 op de 100 000 keer een criminele actieviteit verricht.

Nogmaals, de innovatie is er. Ik zie op dit moment niets dat er mee gedaan kan worden.

[THA_ErAsEr]

Zwart reflecteerd wel licht, gewoon minder. Als er een plek met minder reflectie is, kan je er dus vanuit gaan dat er donkere kleur dat licht reflecteert. Ook hangt er geen super computer aan, maar een laptop. Had je geweten als je het filmpje had gezien of het artikel had gelezen.

Deze techniek gaat volgens mij ook niet door het gemiddelde bedrijf of de gemiddelde mens gebruikt worden, eerder door geheime diensten/leger/politie en dergelijke.

[CivLord]

Het gaat er niet om om mensen te herkennen of te volgen wanneer ze net buiten beeld zijn. Het gaat erom om te kunnen zien dat er iets net buiten beeld gebeurt, doordat een gekleurde reflectie of schaduw beweegt.
Bij een uitrit kan het bv. interessant zijn om te kunnen zien dat er om de hoek iets of iemand aan komt, terwijl je uit privacy-oogpunt geen camera om de hoek op de openbare weg mag richten.

[MacD]

Je hebt dus niet eens naar het filmpje gekeken.

Ja, het begint met rood en blauw. En later zie een meisje in een roze jas huppelen en ook twee mensen in zwarte jassen.

Laten we dus eerst op een punt komen waar je eens kijkt voordat je iets zegt.

[Proxxima]

Zow, dat kon nog wel eens handig worden in oplossen van misdaden...
Op het moment dat men dezelfde kleur kleding aan heeft wordt het wel
verwarrend voor z'n systeem. Maar mooi 'proof of concept' hoor!

Al is de boef nog zo snel, met de schaduw achterhaalt men hem wel

[Reactie gewijzigd door Proxxima op 23 juli 2024 22:41]

[Sharkoon]

Hang een spiegel op en neer je kunt ook om een hoek kijken..

[Wannial]

Zie je het al voor je, een auto met een stok van 50 meter er voor en daar een spiegel aan.

Dat dit nu wordt gedemonstreerd vanuit stilstand wilt niet zeggen dat het ook alleen daar gebruikt wordt. Ze zijn juist druk bezig om het ook zo aan te passen dat het bewegend werkt.

Stel je voor dat een auto al verkeer om de bocht ziet aankomen! Of een kind tussen de auto's ziet voordat het ineens besluit over te steken. Dat gaat ene hoop noodstops (en hoofdpijn) schelen denk ik!

[mashell]

Zie je het al voor je, een auto met een stok van 50 meter er voor en daar een spiegel aan.

Tot een paar jaar terug konden we ons ook geen mensen voorstellen die met een stok van anderhalve meter liepen met aan het eind een camera. Nu zie je ze overal...