Microsoft werkt aan zoekmachine voor cameratelefoons

Microsoft werkt aan een zoekmachine met als invoer foto's die genomen zijn met een mobiele telefoon. Het concept waarbij een foto via email of mms van een mobieltje naar de zoekmachine gestuurd wordt, heeft de naam Photo2Search meegekregen. Wanneer de zoekmachine een foto ontvangt, zoekt deze in een database met plaatjes naar een gelijkende foto en stuurt relevante informatie over het gefotografeerde object terug naar de gebruiker. De technologie heeft volgens Microsoft heel wat praktische toepassingen, zoals het nemen van een productfoto in een winkel om vervolgens prijzen van dit product in andere winkels op te zoeken, of het nemen van een foto van een restaurant om zo recensies op te zoeken.

Xie, onderzoeker van de Web Search en Mining group bij Microsoft Research Asia, zegt dat de technologie tot doel heeft het gat tussen de fysieke wereld en de digitale wereld te overbruggen. Iemand kan een object in de fysieke wereld zien en meer informatie uit de digitale wereld erover willen hebben. Dit kan bijvoorbeeld door het gebruik van barcodes of RFID-tags, maar het gebruik van een foto is gemakkelijker voor de eindgebruiker. Mobiele telefoons zijn simpel te gebruiken, maar door de kleine afmetingen is het niet eenvoudig om tekstgebaseerd te zoeken. Eind 2004 kwam de onderzoeker daarom met het idee om foto's van mobieltjes te gebruiken als invoer voor de zoekopdracht. 'Het coolste is dat een zoekopdracht puur op basis van een plaatje uitgevoerd kan worden, zonder enige vorm van tekst, wat een volledig nieuwe ervaring is,' aldus een enthousiaste Xie.

Xie en zijn collega's hebben beeldherkenningsalgoritmen ontwikkeld die kenmerken van de plaatjes kunnen herkennen en op basis daarvan zoekopdrachten kunnen uitvoeren. De technologie doorzoekt een database van zesduizend plaatjes en geeft volgens Microsoft binnen de drie seconden een antwoord terug. De database moet echter een voorgedefinieerde verzameling plaatjes bevatten en door mensen worden onderhouden en voorzien van metadata. In de toekomst moet de efficiëntie verbeteren en zullen grotere databases worden ondersteund. De onderzoekers presenteren hun werk volgende maand op een conferentie over Mobile Data Management in Japan.

Reacties (22)

[Verwijderd]

Leuk idee, al bestaat deze techniek al sinds 1997:
http://www-db.stanford.edu/IMAGE/IJODL97/wang.pdf

Ik weet natuurlijk niet of ze dezelfde aanpak hebben gekozen bij MS Research, maar een belangrijke tekortkoming van deze techniek is dat het in principe werkt op basis van overheersende kleurvlakken (bepaald mbv wavelets). Daarmee zou een rode appel op een lichte tafel en een rode standbal op het strand er dus hetzelfde uitzien volgens het algoritme.

Dat is op zich een heel leuk resultaat, maar voor productvergelijkingen werkt dit natuurlijk voor geen meter. Ik ben niet op de hoogte van MS optimalisaties, maar ik kan me niet voorstellen dat ze dit zo hebben geperfectioneerd dat productvergelijkingen mogelijk worden, al helemaal niet tussen verschillende merken/types.

[PWM]

Jouw voorbeeld is 10 (!!) jaar oud.

10 jaar, weet je wat wij 10 jaar geleden allemaal draaiden op onze computers?

Het is dus absoluut niet te vergelijken, en er van uitgaan dat MS een techniek van 10 jaar oud niet kan verbeteren is een beetje kortzichtig.

[Verwijderd]

Ik wou ook alleen aangeven dat het niet bepaald een nieuwe techniek was. Ik zat net het artikel verder door te lezen en MS geeft zelf al aan dat deze techniek niet werkt, ie. dat ze hem idd niet kunnen verbeteren, maar dat ze hem wel hebben uitgeprobeerd:

“We found,” Xie says, “the precision of CBIR is not sufficient for practical use.”

Then he turned to computer-vision techniques, but again, challenges arose.

“We found speed is a very big concern,” he says. “Most computer-vision algorithms are slow.”

Die paper van Wang is afaik altijd een authoriteit geweest binnen het hele imaging gebeuren, daarom haalde ik hem aan. Ik ben pas sinds kort bezig met computer vision technieken, dus daar kan ik niet met zekerheid over oordelen, maar resolutie en detail zal altijd een probleem blijven.

Hoe willen ze bijvoorbeeld verschil tussen twee computers maken om tot een bruikbare prijsvergelijking te komen? Ik heb alle vertrouwen in MS (ben misschien zelfs wel een fanboy), maar dit lijkt me een beetje marketing-praat.

[Verwijderd]

Je moet niet te ver willen denken op het begin. De irisscan heeft ook lange tijd in kinderschoenen gestaand. Er zijn veel ontwikkelingen langs gekomen waar sceptisch over gereageerd werd (af en toe met goede redenen), maar uiteindelijk wel goed werkten. Uiteraard is het zoeken naar prijzen op internet van een computer die je fotografeert niet te doen, omdat je alleen een case verstuurt. Echter, als je, zoals in het bericht ook is aangegeven, recensies wilt lezen over een restaurant, dan kan een foto van een uithangbord met de naam van het restaurant al genoeg zijn.

Het blijf lastig om te bepalen wat de gebruiker gefotografeerd heeft, maar zeker niet onmogelijk! Het lastige is vaak dat het binnen een gebruiksvriendelijke tijd gebeuren moet, wat vaak niet het gewenste resultaat op kán leveren.

Misschien is het wel interessant voor de kunstliefhebber die met zijn telefoontje meer informatie wil opzoeken over het desbetreffende voorwerp (wat wel goed mogelijk moet zijn). Dus ik ben wel benieuwd naar hoe het uit zal pakken en of hier meer nieuwe ontwikkelingen uit zullen komen.

[Verwijderd]

in combinatie met RFID reader in je telefoon

[Verwijderd]

Dat met die RFID en barcode scanner kan ik nergens in het MS artikel terugvinden, dus ik neem aan dat dat een toevoeging van Tweakers is. Met deze technieken kan het natuurlijk wel, maar dan is het toch geen afbeelding-zoekmachine meer?

Begrijp me niet verkeerd, ik zie ook de mogelijkheden en ik ben ook erg benieuwd naar de MS implementatie ervan, maar ik sta wat sceptisch tegenover de indruk die ze geven over de volwassenheid van dit product.

[Verwijderd]

Uhm... 2006-10 = 1996
Ik denk Windows 95.

mgoed:
http://wwwqbic.almaden.ibm.com/
http://grail.cs.washington.edu/projects/query/


demo:
http://www.hermitagemuseu....mac/qbic?selLang=English

[NoepZor]

Hoop niet dat ie 1,3 of zelfs meer Mpixel foto's van 500KB / stuk gaat versturen. Dan wordt het wel een duur geintje.

Het is natuurlijk ook nog de vraag of ie een bekend object ook herkent als het vanuit een andere hoek is gefotografeerd.

[Verwijderd]

Daar bestaan al heel wat algoritmen voor hoor...

Er bestaan al zoekmachines die vragen beantwoorden ivm beeldmateriaal zoals ARANEA.

Ik denk ook niet dat het een hype is... Microsoft stelt alleen maar een technologie voor die ook in andere toepassingen gebruikt kan worden. Je mag niet kortzichtig zijn en enkel kijken naar de huidige toepassing.

Beeldonderzoek staat nog steeds in kinderschoentjes en mag wel eens aangespoord worden...

[Verwijderd]

Ik denk dat dit toch echt wel handig kan zijn voor mensen

Zoals al gezegd is dat als je iets ziet staan en je weet niet wat het is word het moeilijk te omschrijven. Zeker als je via google op je telefoon gaat zoeken is het lastig. ff een foto maken, opsturen via de mail en (hopelijk) binnen 3 seconden een uitleg van wat het is.

Maar wat ik uit het bericht heb begrepen kan je ook barcodes opsturen. Dus je ziet een mooie home cinema set ofze. Maakt een foto van de bar code, stuurt hem op en (weer hopelijk) binnen 3 seconden een lijst met prijs vergelijkingen. Zo krijg je gelijk meer inzicht in wat iets zou moeten kosten.

[laurentbas]

weer zo'n hype iets dat niemand gaat gebruiken. Ik dacht dat je met tekst toch al wel zo'n beetje alles kan omschrijven

[Yoeri]

Handig als jij een object ziet staan en niet weet wat het is. Ga maar even Googlen: "big iron thing with lots of wheels and some chains, painted green with some red dots en with a large flashlight in front of it"

Of even een foto naar Microsoft mms'en en het antwoord terugkrijgen

[cavey]

Shit!

Waar heb jij mijn teletijdmachine gezien? Een onverlaat heeft die gestolen van mij!

[SnakeMind]

Denk dat het russiche leger veelvuldig gebruikt maakt van jouw teletijdmachine dan

[Verwijderd]

Ik zie het jochie al in de bosjes zitten met zijn eerste date. Hoe pak ik dat nu aan............

[chaos.be]

Ik voel me Ash Catchem met men digitale agenda.

"Welke pokémon is dat nu weer ?"
* chaos.be neemt zen pokedex en richt die op de pokémon in kwestie

[Verwijderd]

dit lijkt me handig als ehbo tool. stel, je moeder krijgt een blinde darm ontsteking, je maakt een foto van haar buik en je krijgt zo presies terug gestuurd waar je moet beginnen met snijden

[Wh4ck0]

en dan maar hopen dat je niet de handleiding voor een keizersnede toegestuurd krijgt

[bleep1912]

kdenk dak toch maar wacht op de ambulance dan dat ik jou met je photo2search aan me laat snijden.

[bolke]

Ik wil liever een gezichtsherkenning in mijn foto search applicatie. En niet alleen het herkennen dat het een gezicht is maar er gelijk een naam aan hangt ook.

Kunnen ze dat niet eens goed uitzoeken?

[Verwijderd]

Dat lijkt me een goed plan. Als je dan in een winkel bent geweest ben je gelijk abonnee van hun folder, als je 's avonds uit de kroeg komt krijg je direct een sms met "waag het niet in je kar te stappen, mvrgr Oom Agent", enz. Hoera, de laatste stap naar de totale overheidscontrole en de laatste ademtocht van de werkelijke vrijheid.