Wetenschappers ontwikkelen goedkope nauwkeurige 3d-camera

Onderzoekers van de Northwestern University in de Verenigde Staten hebben een goedkope en nauwkeurige 3d-camera ontwikkeld die ook werkt bij fel verlichte of glimmende objecten. De camera werd getoond op de IEEE International Conference on Computational Photography.

Op de website van het onderzoeksproject leggen de onderzoekers uit dat 3d-scansystemen die werken zoals de Kinect van Microsoft wel heel snel zijn, maar problemen hebben bij objecten die bijvoorbeeld fel verlicht zijn, die glimmen of die een interfererend patroon hebben. Dat komt doordat goedkope 3d-scanners werken met een systeem waarbij een infrarode lichtbron een punt- of streeppatroon op een object projecteert. Een naburige camera vangt dit beeld vervolgens op en berekent uit de veranderingen in het patroon een dieptebeeld. Wanneer de omgeving ook al veel licht uitstraalt, zoals in de buitenlucht, verstoort dat het streeppatroon en daarmee het 3d-beeld. Bovendien is de resolutie van de 3d-beelden van de Kinect niet hoog.

Een andere techniek om 3d-beelden te creëren maakt gebruik van laserscanners. Deze kunnen beelden maken met een hoge resolutie, en laten zich niet snel om de tuin leiden door veel licht. De scanners zijn echter duur en verbruiken veel stroom. Bovendien werken laserscanners traag, wat ze ongeschikt maakt voor bewegende beelden.

De door de onderzoekers ontwikkelde camera moet de voordelen van laserscanners en systemen als de Kinect combineren. De nieuwe techniek heeft de naam Motion Contrast 3D-scanning meegekregen, ofwel MC3D. Het systeem bestaat uit een camera en een goedkope laserprojector. Met behulp van de laser wordt de scène punt voor punt verlicht. De camera registreert de veranderende lichtval op het object. Uit de overgang van lichte naar donkere delen wordt een 3d-beeld geconstrueerd. Een speciaal algoritme zorgt ervoor dat pixels die niet veranderen, niet meegenomen worden in de berekening, wat rekenkracht bespaart. Doordat de camera ook veranderingen in beweging van het beeld detecteert, vormen bewegende scènes geen probleem voor het systeem. Het gebruik van een laser om het beeld te verlichten, zorgt ervoor dat lichtbronnen of schitteringen in de scène geen meetfouten opleveren.

Een goedkoop systeem dat weinig energie nodig heeft en in de buitenlucht gebruikt kan worden, kan volgens de onderzoekers veel toepassingen vinden in het normale leven. Robots kunnen het gebruiken om diepte te 'zien', het is bruikbaar in zelfrijdende auto's en er zijn toepassingen voor augmented reality. De onderzoeksgroep ontving van Google de Faculty Research Award om de technologie te integreren met het zelfrijdende autosysteem van Google.

De onderzoekspaper is hier te vinden.

Reacties (25)

[Jerrythafast]

Lieve reageerders, dit is toch helemaal geen 3D camera voor stereoscopisch filmmateriaal? Dit heeft niks met 3D films te maken en je hebt ook nergens een brilletje voor nodig.

Een meer accurate benaming voor deze techniek is een 3D scanner: het scant de afstand en vorm van objecten die je er voor houdt.

Het is vast mogelijk om de informatie die dit apparaat produceert te gebruiken bij het maken van 3D filmmateriaal maar dat kan ook prima zonder. Andersom zijn er legio andere toepassingen voor deze techniek, zoals de in het artikel aangehaalde zelfrijdende auto's.

[Anoniem: 653707]

Leuk dat dit steeds beter en goedkoper wordt, echter vraag ik me af en misschien kan iemand me dit uitleggen, wat heb ik hier als consument aan? Stel ik koop een 3D camera, neem ik aan dat ik ook een 3D beeldscherm nodig heb om deze beelden te bekijken in 3D. Ik weet niet of het zo werkt, maar ik hoop dat iemand me het kan uitleggen.

[Maverick]

ik denk dat je de "winst" meer moet zien in betere technieken voor bijvoorbeeld robots en auto's. Zoals ook in de laatste ainea te lezen is. Google gebruikt nu bijvoorbeeld Lidar, das behoorlijk duur en groot. Dit zou een alternatief kunnen zijn.

[freaq]

er is een 2e video welke veel meer laat zien:
https://vimeo.com/125511538

in het kort:
lidar scant maar een snapshot en niks kan bewegen, maar het is hoge resolutie,
Kinect dit wel beweging in realtime, maar slechts op een erg lage resolutie.
dit is zowel realtime als relatief hoge resolutie. en het werkt beter icm felle belichting.
daarom is dit dus extra interssant voor bijv google met rijdende auto's
maar ook voor bijv betere google maps streetview...

verdere info
http://compphotolab.north...ontrast-3d-laser-scanner/

[Reactie gewijzigd door freaq op 24 juli 2024 21:20]

[Mr_Light]

Duurste component van een robot die op de conventionele manier SLAM doet is de laser scanner de stereo camera is ook een optie maar deze is ook niet goedkoop(afhankelijk van de uitvoering) en heeft dus het probleem dat de sensor snel 'overloaded' is (range van wat hij kan meten is beperkt en de hele sensor moet met de zelfde range werken). Bv. agrarische robots hebben hier nog al wat last van, open veld icm zon op of ondergang is niet echt ideaal.

Als een robot interactie wil met zijn omgeving moet hij deze uiteraard wel kennen. Om bv een object op te pakken moet hij weten waar hij is en ook z'n oriëntatie. Nu kan je er zelf markers op plakken die makkelijk middels beeld verwerking zijn te detecteren, maar wie wil er nu al zijn gebruiksvoorwerpen volplakken of uitstekende bollen aan hebben? Alternatief is toch dat je iets met de vorm/diepte gaat doen.

Ander voordeel van goedkoper is natuurlijk dat je er meerdere op je robot kan zetten. Tenslotte weet iedereen die iets met robots doet dat 'Sensors will fail' als je maar 1 input hebt kan je nooit bepalen of de output met enige waarschijnlijkheid klopt.

[batjes]

Je kan nu toch ook 3d beelden op je 2d beeldscherm zien?

[Anoniem: 653707]

Ja, maar in een uitgeprinte foto kan je ook diepte zien, omdat je hersenen weten dat boom x op de achtergrond staat omdat die kleiner is. Dus, wat is de toegevoegde waarde? Ik ben een leek op dit gebied, dus misschien haal ik me dingen in m'n hoofd die niet kloppen

[batjes]

Ze halen zelf laser scannen en de kinect aan. dus lijkt mij voor bewegings posities, gezichts uitdrukkingen e.d. Met de voordelen van laserscannen en de kinect, zonder de nadelen van beide. Laser is niet echt toepasbaar in de woonkamer, en de kinect niet buiten.

Denk aan een Google Car zonder LIDAR op het dak, of met de XBO op een zonnige dag in het park zitten. In tablets of mobiele telefoons voor de leuk.

[tuinboontje]

Leuke theorie behalve dat je dit terplekke bedenkt. Je hersenen gebruiken schaduwen om diepte en beweging te zien.
https://www.youtube.com/watch?v=5fgOK0odA1o

Dit is een perfect voorbeeld, onthoud dat de bal alleen in een rechte lijn beweegt.
Alle andere bewegingen worden met de schaduw gedaan.

[mrtak]

je kunt een brilletje kopen met twee lensjes erin. Zoals deze;
http://www.dewijs-3d.com/...3D/Real_3D_viewer_NL.html
Dan de dubbele foto heel klein uitprinten en erin zetten.
Dat doen ze al meer dan 100jaar
stereoscopie

3d is eigenlijk niet fijn.
De randen van foto/video beeld zijn problematisch,
Zoals een 'half' hoofd aan de rand van de foto.
(wordt ook een probleem met hologram video)
Veel mensen hebben niet 2x dezelfde ogen ,vaak is een slechter.
De truukjes om 3d te produceren geven je ogen en brein toch problemen
en hoofdpijn is het gevolg.
In films is het, net als 3d geluid, meer een special effect voor bepaalde scenes.

[Anoniem: 653707]

Ah okay, jullie reacties geven mij wel een beter beeld, dank:)

[xoniq]

Foto dubbel uitprinten heeft geen zin. Ze moeten wel iets van elkaar verschillen. Net as je je focussen op 1 punt en je sluit om de beurt ieder oog, je ziet dan ook niet exact hetzelfde, maar allebei Iers verschoven doordat je ogen allebei vanuit een andere (minimaal verwchillende) hoek kijken.

[MBV]

Staat o.a. in het artikel. Een van de mogelijkheden is de nu extreem specialistische camera's die nodig zijn voor zelfrijdende auto's te vervangen door simpelere en goedkopere camera's. Dus als consument kan je misschien over 10 jaar een zelfrijdende auto kopen voor 30.000 euro.

En 3d-beeldschermen zijn niet zo gek bijzonder of duur. Er zijn nogal wat LCD-tv's die met een speciale bril op prima als 3d-beeldscherm werken.

[cadsite]

Er bestaan nu al apps die verschillende 2D beelden samenvoegen tot een 3D bestand:
http://www.123dapp.com/catch

Mocht deze app beelden krijgen van een 3D camera kan ik me voorstellen dat alles nog veel juister zal zijn.

Dat betekent dus dat je enkele foto's kan nemen van iets leuks, wat knutselt aan het bestand en het kan 3D printen. Opties genoeg zou ik denken.

[moozzuzz]

Deze techniek is net gefocused op beweging, dus niets met 3d-printing te zien.

[moozzuzz]

Wat het je hieraan:
Dat je dit kan gebruiken als een efficiente en goedkope input voor computer-systemen. De computer/robot ziet dan ook 3D op basis van feiten (en niet zoals mensen die veelal "3d" zien op basis van interpretaties).

[pastoelio]

misschien voor 3d printers

[StGermain]

De meeste moderne televisies hebben 3D, mijn computerscherm heeft zelfs 3D, ik zou mijn familiefoto's maar al te graag in 3D kunnen zien, helaas zijn de goede camera's te duur.

[totaalgeenhard]

Binnenkort krijg je patent/octrooi schendingen doordat mensen 3D foto's maken van objecten in de winkel en deze thuis gaan printen.

Maar stel je kan echte 3D waarneming digitaal vastleggen dan kan je later je visuele ervaring die jij had omdat je op een bepaalde plek bent geweest aan anderen doorgeven.

Het het meest ultieme geval kan je door iemand een VR helm op te laten doen, de perspectieven die jij met je eigen ogen hebt gezien in een lager resolutie aan een ander laten zien.

Bij 2D moet verzinnen je hersenen meer dat er daadwerkelijk op foto te zien is. (zoals de diepte)

[batjes]

Goedkoper is de infrarood filter van je mobiele telefoon camera slopen.

Maar mooie ontwikkeling, hopelijk is het ook toepasbaar, het ziet er nogal lomp uit. En dat dikke koelblok voorspelt ook niet veel goeds

[Juantinto]

Het mooie van dit is dat ze vanaf dit punt, in experimentele fase, kunnen testen en optimaliseren. De mogelijkheid om snel aanpassingen te kunnen doen speelt de estetische behoefte natuurlijk uit

[batjes]

Dat is zeker zo, ik ben ook wel benieuwd, maar vraag me af of de rekenkracht niet te veel blijft. Zulke benodigde koeling beperkt eventueel mobiel gebruik nogal.
Maar dit kan voor het autonoom rijden bv wel erg handig zijn. Hoeven ze niet meer zo'n lomp snelronddraaiend blokje gevoelige instrumenten op het dak te plaatsen. Dit zou je in de belijning van de auto kunnen wegwerken net als de achteruitparkeer biepjes.

[NESFreak]

Wat ik dus niet snap is dat ze bij deze actieve scanners als toepassing buitengebruik in bijvoorbeeld zelfrijdende autos geven. Als er 2 autos bij elkaar in de buurt staan/rijden (niet geheel onvoorstelbaar, lijkt me), dan heb je dus ineens twee lasers die tegelijkertijd door elkaar heen schijnen, en de sensors zullen dan ook beide oppikken. Het zelfde geld overigens voor het infrarode rasterpatroon van de kinect: ze pikken elkaars signaal op...

Grote actieve radarinstallaties gebruiken hiervoor bijvoorbeeld modulatie in het signaal, maar kan dat ook zomaar hier toegepast worden?

---edit---
http://research.microsoft...706/shake%27n%27Sense.pdf

Bij microsoft hebben ze het opgelost door de kinects te schudden. Doordat de sensor en de projector synchroon schudden, is het eigen patroon niet geblurred, terwijl de patronen van de andere kinects door motionblur 'verdwijnen'.

[Reactie gewijzigd door NESFreak op 24 juli 2024 21:20]

[The Reeferman]

Zou moeten kunnen volgen mij. Het is dan alleen de vraag hoeveel golflengtes je apparatuur kan onderscheiden in de voor ons niet zichtbare lichtspectrums. Op glasvezel netwerken worden ook verschillende frequenties gebruik.
En ik meen ook ooit te hebben gelezen dat er lasers zijn voor op een geweer, of laser designators die gebruik maken van verschillende frequenties. Die dan alleen zichtbaar zijn met een nachtkijker, en dan alleen voor de gene die op die frequentie staan afgesteld.

[nestcam]

Als ze het over de kinect hebben welke versie bedoelen ze dan versie 1 of 2 ik kan het niet op hun site vinden, zou een beetje misleiding zijn als het versie 1 blijkt te zijn.

edit: ik zie het al is versie 1, als ze echt beter zijn moeten ze het vergelijk met kinect v2 aan aandurven.

[Reactie gewijzigd door nestcam op 24 juli 2024 21:20]