Cookies op Tweakers

Tweakers maakt gebruik van cookies, onder andere om de website te analyseren, het gebruiksgemak te vergroten en advertenties te tonen. Door gebruik te maken van deze website, of door op 'Ga verder' te klikken, geef je toestemming voor het gebruik van cookies. Wil je meer informatie over cookies en hoe ze worden gebruikt, bekijk dan ons cookiebeleid.

Meer informatie

Door , , 66 reacties

De Kinect-sensor is door een groep wetenschappers van het Massachusetts Institute of Technology gebruikt om een robot van 3d-zicht te voorzien. De robot kan dankzij Kinect omgevingen in kaart brengen en mensen herkennen.

Diverse ontwikkelaars van het ROS, een opensource-besturingssysteem voor robots, werken aan een ROS-driver voor Kinect. Microsofts systeem met afstandsensor, kleuren- en twee zwartwit-camera's en microfoons zou zich uitstekend lenen als sensorplatform voor robots. Niet alleen zijn alle sensors in één kleine behuizing geïntegreerd, ook de prijs is relatief laag en de verkrijgbaarheid is niet voorbehouden aan onderzoekslabs. Dat is ook reden voor de Personal Robots Group van het MIT om met de Kinect-sensor aan de slag te gaan.

Zij plaatsten een Kinect-sensor op een iRobot Create, een robot bedoeld voor hobbyïsten die door de fabrikant van de Roomba-serie gemaakt wordt. De door de sensor vergaarde camera- en diepte-informatie wordt naar een pc gestuurd en daar verder verwerkt tot een driedimensionaal beeld van de omgeving. De robot kan die data weer gebruiken voor navigatiedoeleinden. Ook kunnen mensen herkend worden en de gebaren die zij maken kunnen als commando worden geïnterpreteerd. Ook de data die van de microfoons en accellerometer afkomstig is, kan door de robot gebruikt worden.

Philipp Robbel en zijn collega's van de Personal Robots Group hebben de iRobot Create voorzien van de Kinect Sensor, een extra afstandsbepaler, lipo-accu en een Atom-pc. Op de host-pc wordt de sensordata die de robot verzamelde verwerkt: middels slam-berekeningen wordt een 3d-kaart gegenereerd. Ook kunnen gebaren worden herkend en geïnterpreteerd, zodat eenvoudige besturingscommando's aan de robot kunnen worden gegeven. Wanneer de ROS-ontwikkelaars hun driver gereed hebben, zou de Kinect-sensor door een breder publiek als onderdeel voor robots ingezet kunnen worden. 

Gerelateerde content

Alle gerelateerde content (25)
Moderatie-faq Wijzig weergave

Reacties (66)

'Wetenschappers' van het Massachusetts Institute of Technology? Kinect... techniek? Juistja.
Ze bedoelen een commercieel product genaamd Kinect op een commercieel product iRobot geplakt. Yeey. Misschien is het goed om te bedenken dat wetenschappers dit al bedacht hadden ver voordat MS het product GEKOCHT had van PrimeSensor. En dat mag je best even opzoeken. Dit artikel laat het klinken alsof het andersom zou zijn.

PrimeSensor heeft een compact systeem ontwikkeld waarbij een infrarode lichtbron de omgeving belicht en waarbij de weerkaatsing wordt opgevangen door een enkele cmos-sensor. Niks geen stereocamera's dus. Uit de vergelijking van het gecodeerde licht en de opgevangen weerkaatsing wordt door een chip een dieptebeeld van de omgeving gemaakt. De techniek hier achter is al zo oud als Metusalem. Ik ben niet erg onder de indruk van de 'prestatie' van de wetenschappers van het MIT.

En @sjaakwortel: 'tegen een klein prijsje' is natuurlijk relatief.
Als je naar de hobbyzaak gaat en je haalt 1 infrarood led, een infrarood cmos, een atombordje, etc ,etc. en je maakt je eens goed kwaad, dan kun je dit voor een fractie van de prijs zelf in een sigarendoos (laten) bouwen. Misschien een leuk afstudeerproject voor de ambitieuze informaticastudent?
De techniek bestaat al langer, maar nu kan iedere idioot met een paar honderd euro op zak er zelf mee aan de slag. De barriere om onderzoek te doen in dit gebied is daarom enorm verlaagd.


De meeste universiteiten werken met kant en klare robots. Soldeerwerk hoort niet thuis op een Informatica opleiding. Knutselen met electronica laat je maar over aan mensen die daar voor geleerd hebben.
Als informaticus wil je de hardware gewoon kant en klaar krijgen en ga jij nadenken over wat je met de software kan.


Al zouden de uni's willen, een robot bouwen kost maanden zo niet jaren. Tegen de tijd dat je studenten een eigen robot hebben gebouwd zijn ze al afgestudeerd.
De meeste universiteiten werken met kant en klare robots. Soldeerwerk hoort niet thuis op een Informatica opleiding. Knutselen met electronica laat je maar over aan mensen die daar voor geleerd hebben.
Als informaticus wil je de hardware gewoon kant en klaar krijgen en ga jij nadenken over wat je met de software kan.
ik weet zeker dat een groot deel van de informaticastudenten het ook leuk vindt om met soldeerbout in de hand een robotje te fabriceren. een beetje basic electrotechniek en een pic, kant en klaar servercontroller pakket, wat servo's en een zooi plastic is genoeg om in een weekje een botje te bouwen!

[Reactie gewijzigd door Prototype666 op 18 november 2010 18:58]

Eh nee hoor. Informatica-mensen zijn software-bouwers en allesbehalve soldeerfans.
Voor een keertje vinden ze het vast wel leuk, maar zodra je project er van afhankelijk wordt verandert dat. Je gaat toch geen punten krijgen voor je soldeerwerk, daar gaat de opleiding niet over. Als je robot niet werkt omdat jij niet kan solderen dan loopt je hele project in de mist.

(Kant en klare robots gaan helaas ook stuk weet ik ervaring :'( )
Als je een Kinect loskoppelt van de xbox is het toch gewoon een stereo camera? Wat maakt de Kinect zo bijzonder dan?
Het is geen stereocamera. Met behulp van een IR-projector wordt een bekend patroon van IR-puntjes geprojecteerd op de omgeving. Aan de hand van de geometrische vervorming van dit patroon wordt bepaald hoe de omgeving wat betreft diepte eruit moet zien om deze vervorming te bewerkstelligen.

Let wel; Een stereo camera kun je calibreren zodat je er haarfijn mee kunt meten en het dieptebeeld dus afstanden bevat. Voor zover ik weet is dit met Kinect niet in die hoge nauwkeurigheid mogelijk. Er is slechts informatie beschikbaar die van iedere pixel zegt of deze voor of achter een andere pixel ligt.
Dat lijkt me niet helemaal correct. Afstandsbepaling is juist met grote nauwkeurigheid mogelijk. Je meet hoe lang het uitgezonden licht erover doet om terug te komen. Je weet de snelheid van IR licht door 'lucht' en dus weet je de afstand.
Dat lijkt me niet helemaal correct. Afstandsbepaling is juist met grote nauwkeurigheid mogelijk. Je meet hoe lang het uitgezonden licht erover doet om terug te komen. Je weet de snelheid van IR licht door 'lucht' en dus weet je de afstand.
Dat zijn TOF (time of flight) cameras en die werken anders en hebben doorgaans veel lagere resoluties. De convolutie tussen een uitgaand signaal en een inkomend signaal wordt bepaald en daar wordt dan een afstand uit gehaald. Omdat de lichtsnelheid hoog is kan dit vrij snel en dus voor veel punten gedaan worden.

Waar je wel op moet letten bij zulke cameras is dat er doordat er verschil in absorptie kan zitten van een bepaalt vlakje er diepteverschillen gemeten kunnen worden terwijl een object toch echt vlak is, een voorbeeld hiervan zou een A4tje zijn waarvan de helft zwart en de andere helft wit is. Door het verschil in absorptie komt het wit dichterbij (of juist verderweg, is even weggezakt ;) ).
Het is geen stereocamera. Met behulp van een IR-projector wordt een bekend patroon van IR-puntjes geprojecteerd op de omgeving. Aan de hand van de geometrische vervorming van dit patroon wordt bepaald hoe de omgeving wat betreft diepte eruit moet zien om deze vervorming te bewerkstelligen.

Let wel; Een stereo camera kun je calibreren zodat je er haarfijn mee kunt meten en het dieptebeeld dus afstanden bevat. Voor zover ik weet is dit met Kinect niet in die hoge nauwkeurigheid mogelijk. Er is slechts informatie beschikbaar die van iedere pixel zegt of deze voor of achter een andere pixel ligt.
Wat zowel een stereo camera als deze doen is het toevoegen van een vergelijking aan het 2D beeld dat locatie afhankelijk is en daardoor kan een 3D punt worden bepaalt. De nauwkeurigheid die je dus kan gaan halen is dus vergelijkbaar en is afhankelijk van de nauwkeurigheid waarmee je je setup maakt. Een slechte calibratie (wat je ook met IR licht moet doen, je wilt immers weten vana welke punt je licht wordt verzonden) of een lage resolutie van een camera zorgt er voor dat de nauwkeurigheid omlaag gaat.

Een voordeel wat je natuurlijk hebt met IR licht erbij is dat je goede vergelijking kan opzetten, met een stereo camera kun je immers false matches hebben en daarnaast je zal de matching moeten verzorgen, wat niet mogelijk is voor egale oppervlakken (je weet immers niet welke pixel in de ene afbeelding bij welke pixel in de andere afbeelding hoort).

Nu we het toch over extra vergelijkingen hebben, wat dacht je van een goede beeldverwerking van 2D beelden, in combinatie met wat goede voorkennis kun je dan gewoon 3D kijken met 1 camera ^^ (net als een mens)....

@hieronder:
Het is larie dat de mens enkel 3D ziet door met beide ogen te kijken. Met 1 oog kan ik een prima diepte schatting van de omgeving maken en dat kan ik ook van een afbeelding of video. We gebruiken dan ook veel informatie uit 2D afbeeldingen, denk aan overlappende objecten, perspectief, maar ook zaken als schaduw geven info weer over 3D informatie. De mens krijgt ook nog extra vergelijkingen door relatieve beweging (optical flow concept) ten opzichte van het object, naast de stereoscopie en accomodatie van de ogen die jij aangeeft.
Een mens is inderdaad visueel voor de gek te houden, maar ik geef ook niet aan dat dat niet zo is. Je zal hier dan ook aanpassing van de waar te nemen wereld moeten maken, voor normale situaties (waaronder dus ook het verkeer, hier wordt juist alles zo constant mogelijk gemaakt!!) zal er echter weinig aan de hand zijn. Daarnaast ben ik net klaar met mijn stage, waar ik een vision algorithme heb ontwikkeld dat met 1 camera de 3D locatie en orientatie kan waarnemen, dus het is gewoon zeer goed mogelijk.

[Reactie gewijzigd door Zartok op 19 november 2010 09:34]

Goede en duidelijke uitleg. Helaas gaat alleen de laatste zin de fout in; een mens kijkt 3D met behulp van de informatie van beide ogen. Mensen met zicht aan n oog kunnen slechts afstanden inschatten op basis van de overige informatie in de omgeving. (je weet bijvoorbeeld hoe groot stoel 1 is, en als ie iets kleiner lijkt dan stoel 2, dan zal ie wel iets verder weg zijn). Mensen zonder stereo-scopisch zicht zijn dan ook heel makkelijk te 'foppen' door items die te groot of te klein zijn. (dit kan in het verkeer dus best gevaarlijk zijn.)
Dit wordt slechts hl beperkt aangevuld door de benodigde inspanning van de oogspier, aan de hand waarvan ook afstand in te schatten is. Dit maakt echter alleen onderscheid tussen heel dicht bij en verder weg.
Er zaten meer fouten in hoor. ;)

In de Kinect zit geen TOF camera, maar een IR cmos. Die kost €20. Consumentenprijs. Echt waar. Je kunt bij de electronicazaak leuke setjes krijgen:
http://www.sparkfun.com/products/8773
(En ik zeg niet precies DEZE, maar zoiets als dit. Ik roep ook maar ff snel wat.)
Als MS ze groot inkoopt kosten ze een fractie hiervan. Denk €2 per stuk, Max.

De 'grap' is IR licht weg te sturen in pulsen, en deze pulsen weer op te vangen en met software plaats (x,y) en tijd te meten. De derde dimensie kun je dan berekenen met redelijk simpele algortihmes (afstand is snelheid maal tijd, stelling van pythagoras, om mee te beginnen) en het 3D plaatje is geboren. Als de camera daarnaast ook nog beweegt, kun je met delta (x,y) dynamische diepteberekening doen en angsaanjagend nauwkeurige 3D plaatjes maken. Resolutie van de sensor is niet eens zo heel erg interessant. Maargoed, als deze frut kun je op je zolderkamertje programmeren in een miniPC of misschien zelfs wel op een EEPROM. Zoals vroeger. :9

Damn, ik word oud. :D
@ mrlammers, vrijdag 19 november 2010 12:25

nieuws: Lasercamera kijkt om de hoek

U heeft deze ontwikkeld? }:O
Neen. Maar ik ben wel bekend met de techniek die hierachter zit:
mrlammers in 'nieuws: Lasercamera kijkt om de hoek'
Zucht. Deze vraag wordt standaard in elk nieuwsitem over Kinect gesteld, dus daar gaan we dan weer: het heeft een dieptecamera. Die kosten dus normaal duizenden euro's, en kinect kan d.m.v. de IR projector/camera vrij nauwkeurig een 3D beeld vormen (met 1 IR camera dus, de 2e camera is er puur zodat het dieptebeeld over een mooi kleurenplaatje gelegd kan worden)
dat er ook nog een IR projector in zit en de drivers natuurlijk
Het kost bijna niks, en werkt zeer accuraat ;) en aangezien er nu al gratis opensource drivers beschikbaar zijn is dat ideaal voor de ontwikkelaar of onderzoeker.
De Kinect heeft toch een veel grotere invloed op de technologie dan verwacht.
Het werd ontwikkeld als gamecontroller en uiteindelijk gebruikt als robotogen en computercontroller.

Ben benieuwd wat we over 3 jaar wel niet kunnen dankzij de Kinect.
Verbaasd me eigenlijk dat Microsoft zelf nog geen dingen voor de Kinect aan het ontwikkelen is buiten de xbox om.

Kinect zou overigens goed gebruikt kunnen worden om apparaten met gebaren te bedienen. Erg handig voor luie mensen en al helemaal voor blinden.
In eerste instantie was MS daar ook mee bezig... TV afstand bediening, gebarentaal interpretatie e.d.... Maar het lijkt er op dat je daarvoor toch een hogere resolutie nodig hebt, hetgeen de Kinect extra duur zou maken. En dat past dus niet in het economische plaatje van de game console.

Ik denk echter dat wanneer Kinect een succes wordt, er vrij snel een 'Kinect Plus' met hogere resolutie zal komen, en het breder zal worden toegepast.
Dat je er niets over leest wil niet zeggen dat ze echt niets doen..
Ze wachten even af om af te kunnen kijken bij anderen, dat scheelt een boel geld in ontwikkelkosten en die zijn al aardig hoog geweest voor de hele Kinect. (En als je het onder de loep neemt ook nog vrij brak uitgevoerd, alles op minimaal waar veel meer te halen is)
uuh denk dat ze die 500 mil marketing eerst terug willen verdienen of in ieder geval weet wat kinect is zodat wanneer de nieuwe xbox met waarschijnlijk een hogere res kinect uitkomt marketing niet zo duur hoeft te zijn omdat kinect dan al in de folks mond zit.

En microsoft is nu aggresief alle bedrijfjes aan het over kopen die soortelijke technieken in 3D camera maken als kinect om hun markt voorsprong zolang mogelijk vol te houden of later als enigste licensies te verlenen ze verdienen het niemand wou zoiets radival als kinect doen dus als het lijkt kunnen ze misschien kappen met dat er geen innovatie in ms zit.
Weet iemand of ze winst maken op dit product? Wat bijv. bij de PS3 het geval is dat ze verlies maken op de console (Weet niet of dat nu nog zo is) en winst door de spellen.

Hoop niet dat dit bij microsoft ook het geval is? Anders mogen ze absoluut niet klagen vooral niet bij dit apparaat wat niet echt een concurrent is van de xbox (hele andere markt)

Erg leuk om te zien wat sommige mensen wel niet kunnen met al die apparaten :)

[Reactie gewijzigd door Vinnybinny op 18 november 2010 16:04]

zolang dat ding maar verkoopt lijkt me wel dat ze winst maken. ik krijg ook steeds meer het vermoeden dat ze veel meer kunnen doen met de kinect dan ze ooit gedacht hadden..
Je hoeft niet perse winst op de hardware te maken... zolang je maar meer winst op de software/consumables kunt maken.

Dacht gebeurt o.a. met consoles, waarbij de console soms te goedkoop verkoopt wordt, maar het dan terugverdiend wordt op de prijs van de spellen. Maar ook bij printers zie je het, waar het dan in de inkt wordt terugverdiend.

Vooral bij een console kan het logisch zijn om de hardware met weinig marge, of zelfs verlies, te verkopen, als je op die manier kan zorgen dat je je klanten aan jouw systeem bindt. Daarna komen de inkomsten dan vanzelf binnen via de spellen.

Juist bij Kinect, waarbij je een compleet nieuw concept op de markt brengt, hetgeen een nieuw soort van spellen vereist, is het heel erg belangrijk dat je heel snel een grote userbase weet op te bouwen. Want anders kun je developers niet verleiden er games voor te schrijven.
Dat lijkt zo, maar verlies maken en lachen is iets wat in de bedrijvenwereld heel gewoon is. Gewoon reclame blijven maken, zeggen dat je product het beste is, en lekker goedkoop. Ook als er geen winst is, ook als er verlies is. Het gaat steeds meer om het idee dat je klanten moet binden, en dat je daarna kan gaan melken. (Zoals Microsoft licenties werken)

[Reactie gewijzigd door johnkeates op 18 november 2010 16:26]

Wellicht dat DARPA al eenzelfde techniek heeft, zo niet zal er waarschijnlijk door de recente ontwikkelingen een nieuw project worden gestart.

Voorzie een hele range van mogelijkheden, van live 3D-battlefield imaging & mapping tot geavanceerdere targeting software.
DARPA gebruikt Lidars (http://en.wikipedia.org/wiki/LIDAR)

Is ergens wel soortgelijk aan de Kinect, alleen gebruiken Lidars laserstralen om zo de omgeving in te scannen, inplaats van een infrarood projector en camera.
En Lidars zijn waanzinnig duur. Wellicht dat de Kinect hier toch van toegevoegde waarde is.
Het snel, gemakkelijk en goedkoop visualiseren en herkennen van de omgeving n personen door AI is dan eindelijk begonnen.

Cool dat schadeloze straling zoals IR hier een hoofdrol in speelt, dat is altijd een goed ding dat er niet meer radiogolven bijkomen.

@AHBdV; please jongen: lees anderen hun post voordat je iets brubbelt.

[Reactie gewijzigd door bert170881 op 18 november 2010 19:48]

IR is niets meer of minder gevaarlijk dan radiogolven... Beiden verwarmen slechts je lichaam als het je raakt. Je moet naar ioniserende straling om bij lage intensiteiten toch schade toe te brengen.
Zou Microsoft dan de 1e stap hebben gezet voor the Rise of the Machines?

Serieus:
Leuk om te zien dat de Kinect voor andere doeleinden word gebruikt
En dat het ook echt werkt.
Ben benieuwd wat we nog meer kunnen gaan verwachten.
egt super dit het lijkt me egt handig als ik een robot kan luister naar wat je zegt en ook kan onderscheiden wie en wat het zegt en comandeerd _/-\o_ .
dit is volgens mij een grote stap naar de toekomstige robots, als de robots met dit zicht worden toegepast en wat verder word uitgewerkt dan zouden ze ook diepte kunnen zien. :D
Vet een stofzuiger die je weg kunt sturen :P
Tja, simpele techniek op een leuke manier gebruikt, maar er zijn veel betere systemen. Een voorbeeld is de Z-Cam die al wat jaartjes bestaat: http://en.wikipedia.org/wiki/ZCam

Bij de Z-Cam wordt een dieptemap gemaakt met IR-pulsen op een dermate hoge resolutie dat per pixel op het beeld een dieptewaarde beschikbaar is die tot op ongeveer een centimeter nauwkeurig is. Stereocamera's zijn leuk, maar de processing die erachter moet zitten is complex om het goed te laten werken.

edit: ik zie dat het inmiddels is opgekocht door.... Microsoft :P

[Reactie gewijzigd door Exirion op 18 november 2010 22:41]

Maar natuurlijk zijn er veel betere systemen. Maar er zijn geen betere systemen in dezelfde prijsklasse als de Kinect en dt is het verschil.

Ik geen verstand van dieptecamera's, maar als ik al denk aan de high-end camera's die we gebruikten bij Computer Vision op de opleiding, die dingen waren niet te betalen. Dan praat je over camera's waarbij de gemiddelde prijs rond de €10.000 euro ligt en dan heb je een IR camera, of misschien een high FPS camera met een redelijke capturekaart. Ik kan me niet voorstellen dat die ZCam-achtige producten goedkoper dan dat zullen zijn, nee eerder nog veel duurder.

Op zich heb je dus gelijk hoor, er zullen ongetwijfeld nog wat betere systemen zijn, maar absoluut niet voor een enigszins vergelijkbare prijs.

[Reactie gewijzigd door Cloud op 19 november 2010 10:45]

Op dit item kan niet meer gereageerd worden.



Apple iOS 10 Google Pixel Apple iPhone 7 Sony PlayStation VR AMD Radeon RX 480 4GB Battlefield 1 Google Android Nougat Watch Dogs 2

© 1998 - 2016 de Persgroep Online Services B.V. Tweakers vormt samen met o.a. Autotrack en Carsom.nl de Persgroep Online Services B.V. Hosting door True