Microsoft werkt aan een zoekmachine met als invoer foto's die genomen zijn met een mobiele telefoon. Het concept waarbij een foto via email of mms van een mobieltje naar de zoekmachine gestuurd wordt, heeft de naam Photo2Search meegekregen. Wanneer de zoekmachine een foto ontvangt, zoekt deze in een database met plaatjes naar een gelijkende foto en stuurt relevante informatie over het gefotografeerde object terug naar de gebruiker. De technologie heeft volgens Microsoft heel wat praktische toepassingen, zoals het nemen van een productfoto in een winkel om vervolgens prijzen van dit product in andere winkels op te zoeken, of het nemen van een foto van een restaurant om zo recensies op te zoeken.
Xie, onderzoeker van de Web Search en Mining group bij Microsoft Research Asia, zegt dat de technologie tot doel heeft het gat tussen de fysieke wereld en de digitale wereld te overbruggen. Iemand kan een object in de fysieke wereld zien en meer informatie uit de digitale wereld erover willen hebben. Dit kan bijvoorbeeld door het gebruik van barcodes of RFID-tags, maar het gebruik van een foto is gemakkelijker voor de eindgebruiker. Mobiele telefoons zijn simpel te gebruiken, maar door de kleine afmetingen is het niet eenvoudig om tekstgebaseerd te zoeken. Eind 2004 kwam de onderzoeker daarom met het idee om foto's van mobieltjes te gebruiken als invoer voor de zoekopdracht. 'Het coolste is dat een zoekopdracht puur op basis van een plaatje uitgevoerd kan worden, zonder enige vorm van tekst, wat een volledig nieuwe ervaring is,' aldus een enthousiaste Xie.
Xie en zijn collega's hebben beeldherkenningsalgoritmen ontwikkeld die kenmerken van de plaatjes kunnen herkennen en op basis daarvan zoekopdrachten kunnen uitvoeren. De technologie doorzoekt een database van zesduizend plaatjes en geeft volgens Microsoft binnen de drie seconden een antwoord terug. De database moet echter een voorgedefinieerde verzameling plaatjes bevatten en door mensen worden onderhouden en voorzien van metadata. In de toekomst moet de efficiëntie verbeteren en zullen grotere databases worden ondersteund. De onderzoekers presenteren hun werk volgende maand op een conferentie over Mobile Data Management in Japan.