Foto's zoeken met 3d-technologie

De Zweedse Start-up Polar Rose heeft een technologie ontwikkeld die het zoeken naar foto's op het internet moet verbeteren. Het opmerkelijke is dat van een foto een 3d-beeld gemaakt wordt, en dat op basis van dat beeld gezocht gaat worden naar gelijkende foto's.

De meeste afbeeldingenzoekers op internet, zoals Google Images, gebruiken de tekst die rondom een foto staat om foto's op trefwoorden te zoeken. Deze methode is echter niet altijd even nauwkeurig. Met de technologie van Polar Rose moet dit probleem opgelost worden. Door een 3d-beeld van een 2d-foto te maken kan de zoektechnologie rekening houden met de positie van de camera, de lichtinval en bijvoorbeeld de houding van iemands gezicht op een portretfoto. Door nu deze gegevens uit de afbeeldingsinformatie te filteren kan beter gezocht worden op gelijkende afbeeldingen. Helemaal nieuw is het zoeken op basis van een voorbeeldafbeelding niet. Vorig jaar bijvoorbeeld heeft het bedrijf Riya software met dezelfde mogelijkheden op de markt gebracht. De methode die Polar Rose gebruikt is wel uniek en moet aanmerkelijk betere resultaten opleveren volgens Jan Eric Solem, cto en oprichter van het Zweedse bedrijf. De software moet begin volgend jaar in de vorm van een adware-plugin te downloaden zijn.

Werking van de browser-plugin.

Reacties (33)

Dit was al eerder ontwikkeld.

Door een Amerikaan meende ik. Die had dit in spelvorm bedacht en speelde je ook tegen een tegestander. Zo maakte hij er een spelletje van maar het was tevens ook funtioneel..

Kan ze even niet de naam noemen maar dit is neit nieuw!

Je bedoelt Peekaboom?

http://doi.acm.org/10.1145/1124772.1124782
http://www.peekaboom.org/

Vroeger wel bekend als de ESP Game
http://www.espgame.org/

Correctie:

The ESP game staat nog steeds bekend als The ESP game.

Peekaboom is een ander spel, ook ontwikkeld door Louis von Ahn, van CMU.

Het idee van The ESP Game (extrasensory perception) is tag matching door twee verschillende personen.

Het idee van Peekaboom is dat Player Boom delen van een plaatje onthult waarna Peek het bijbehorende label moet raden. Zo wordt de locatie van het object opgeslagen.

ESP game is inmiddels ook gelincensed door Google
http://images.google.com/imagelabeler/

Andere leuke games zijn:

Labelme van MIT
http://labelme.csail.mit.edu/

Phetch (ook van von Ahn)
http://www.peekaboom.org/phetch/

Al deze "games" maken gebruik van het concept Human Computation (zie post van Kevlar).

Interessant, maar hoe ze betrouwbaar van 2d naar 3d gaan lijkt me nog veel interessanter om te weten.

Idd, ik ben al jaren werkzaam in de CAD wereld. Alles is tegenwoordig 3D, maar 2D tekeningen moeten nog steeds handmatig om worden gezet in 3D tekeningen, terwijl alle informatie toch aanwezig is in de 2D tekeningen.

Niet alle informatie is aanwezig in 2d afbeeldingen, alleen hints naar de informatie. Hints die voor een mens vaak makkelijk te herkennen zijn, maar laat een computer maar eens bekijken wat nou echt 3d is, jij op de foto of de coole graffiti wandtekening op de muur achter je.
Voorbeelden van dat soort hints zijn: Schaduwen, focus (of het gebrek daaraan natuurlijk) en de redelijkheid van afmetingen. (iets kan klein zijn omdat het ver weg is, of omdat het gewoon klein is, das voor een computer moeilijker te bepalen dan voor een mens)
@jbr, ik dacht aan precies hetzelfde, maar ik dacht dat het mijn punt alleen zou verwarren, gezien in die gevallen zelfs ons hint herkenningssysteem faalt en nog maar moeilijk onderscheid kan maken tussen echt en nep.
En occlusie lijkt mij iets dat je met de hints kunt bepalen, niet een hint opzich..

Het gaat hier over een dienst zoals gogle images.

Over het algemeen zie je op google images slechts 1 aanzicht, en dus geen voor- en zij- en bovenaanzicht.

Moest het om een nieuwe techniek zijn die 2d CAD tekeningen automatisch omzet naart 3D, dan heb je id gelijk, maar dat is hier niet het geval.

In afbeeldingen wellicht niet, maar in 2D CAD (Computer Aided Design) staat die informatie wel. Als ik iets vergeet, staan die gasten uit de werkplaats gelijk naast mij .
Maar met een afbeelding is dit idd heel anders. Maar daar zie je dan ook een 3D object in 2D weergegeven.
In een CAD tekeningen heb je behalve bijv. het vooraanzicht, ook nog een bovenaanzicht en zijaanzicht. Met deze drie aanzichten zou je genoeg informatie moeten hebben.

Ik neem aan dat je daarbij occlusie niet meeneemt?

... en trouwens....
http://files.blogter.hu/u...3d_street_painting_15.jpg

Dan vraag ik me toch een beetje af wat voor CAD werkzaamheden jij dan aanhaalt. Ik ben zelf bouwkundig tekenaar en ik kan me moeilijk voorstellen dat een programma alles zomaar uit een 2D tekening kan halen.
Een paar aanzichten is zeker ook niet genoeg. Stel voor 2 ramen onder elkaar op één verdieping maar ze hebben beide net iets andere dieptematen. Daarvoor heb je als mens dus detailboeken voor elk van dat soort verschillen maar een computerprogramma maken die de link legt tussen plattegronden, aanzichten en detailleringen is waarschijnlijk lastiger dan gewoon in de basis al beginnen met het tekenen in 3D.
[/offtopic]
Zulke technieken zijn natuurlijk interessant. Tot nog toe vind ik de kwaliteit van gevonden afbeelden bij een zoekopdracht erg minimaal. (kwantiteit zijn ze daarentegen meestal toch behoorlijk goed in)

Erg leuk, maar met mogelijk verregaande privacy problemen. Zet wat foto's van hooligans online, en binnen de kortste keren komen er namen bij te staan... idem ditto voor je vakantiefoto's die je op flickr o.i.d. plaatst.

Helaas geld ook nu weer dat de privacy die we hebben afhankelijk is van techniek in plaats van afspraken. Dat is op zich jammer, want hoe verder de techniek zicht ontwikkeld (en dat doet zich, rap) hoe minder er van zoiets als "privacy" over blijft.

De bedoeling is dus om foto's te laten taggen door gebruikers om ze zo van meta-informatie te voorzien. Jammer dat die informatie dan niet opgeslagen wordt bij de foto zelf, maar alleen in de databases van Polar Rose natuurlijk.

Polar Rose relies on a combination of our unique face recognition algorythms and the collective intelligence of our users.

http://www.polarrose.com/

Inderdaad een beetje jammer. Maar hoe wilde je dan anders die metainformatie opslaan, het gaat immers om een externe server waar je geen schrijfrechten op hebt.

Klinkt nogal logisch dat het enkel in hun database staat..

eh was Photosynth hier ook al niet mee bezig? Men had daar ook al idee bedacht van 'zoeken van foto's a.d.v. positie'.
http://labs.live.com/photosynth/
(voor gave demo http://phototour.cs.washington.edu/applet/index.html )

Wel grappig om te zien dat meer mensen met soortgelijke dingen bezig zijn.. Belooft nog wat...

Geen idee of bij die phototour-applet in de (achterliggende) database gebruik wordt gemaakt van GPS-informatie uit foto's, maar los daarvan: ik hoop dat de huidige/komende generatie digitale camera's steeds vaker een GPS-ontvanger ingebouwd krijgen, zodat gelijk ook de coordinaten worden opgeslagen. Als die informatie namelijk steeds meer standaard wordt opgeslagen bij een digitale foto, kun je ook nog eens vele malen makkelijker lokaties en 3d-posities van foto's bepalen.

In de Int. Herald Trib. stond hier een artikel over, op maandag. De argumentatie is dat je Google toch niet kunt verslaan op algoritmisch zoeken, dus je moet winnen met specialisatie.

Het was gekoppeld aan een tweede artikel over het opvallende gebrek aan succes van Google in rusland. Een deel van hun verklaring sloeg nergens op ["het russische woord voor een bank en een blik stamt van dezelfde wortel, dat geeft problemen" --- daar waar volgens mij het Engelse woord bank eenduidig is, het betekent enkel maar (a) zitobject, (b) financiele instelling, (c) rivieroever, plus (d) rekenen op, (e) bankverrichtingen doen en (f) een scherpe bocht nemen],
maar het lijkt mij dat Google zowel de specialisten als de buitenlanders kan beginnen opkopen.

uhm bank is in het engels dus nooit een object om op te zitten zoals onze bank, en banking is ook geen scherpe bocht... maar de zijwaardse rotatie bij een bocht, voornamelijk dus bij vliegtuigen gebruikt.. een auto bv kan in een bocht niet banken gezien je dan a la stuntman op 2 wielen rijdt.. tweewielers banken technisch wel maar de term wordt in die sfeer niet gebruikt. correcte woord voor bochten is cornering vaa wordt ook turning gebruikt alhoewel dat laatste eigenlijk betekend draaien op de plaats (dus geen bocht maar je omdraaien terwijl je stil staat).

maar op zich miereneukerij want hoeveel duizendtal nederlandse woorden worden wel niet verkeerd gebruikt?

Zoek je identical twin op het internet

Erg boeiende video over, onder andere, het taggen van foto's.

http://video.google.nl/vi...35143&q=human+computation

De software moet begin volgend jaar in de vorm van een adware-plugin te downloaden zijn.

Teleurstellende keuze...

Ik neem aan dat je zelf bepaalde markeer punten moet aangeven in de foto met daarbij bepaalde "tags". voor echt goede resultaten te krijgen natuurlijk. Is dit niet enorm veel werk?

Er zijn al systemen die dit automatiseren, hier is ook een wedstrijd voor.

MS, IBM, een japans, zweeds en een nederlands bedrijf doen hier aan mee.

Zij moeten uit een collectie fotos een 150 tal bekende onderwerpen zoeken, en dit zo nauwkeurig mogelijk doen voor elke collectie.

Het nederlandse bedrijf zit vanwege suprieure algoritmen hier op de 1nabeste plek. ibm staat boven ze omdat ze zoveel rekenkracht hebben en dus met bruteforce de fotos doorzoeken ipv slim met een algoritme.

Er zitten dingen bij als vliegtuig (simpel vanwege de lucht die er altijd omheen zit)
of een dictator (lastig, want hoe kenmerk je hem..)

Ik heb dit live zien werken, en het werkt best goed al. (vanwege t goede algoritme)

Het bedrijf uit de topic zal wel het zweedse bedrijf zijn uit die wedstrijd.

(bovenstaande is van een seminar van een week of 4 geleden, kan dus foutjes bevatten, spreker was teamleider nederlandse groep)