Software kan objecten herkennen in afbeeldingen

Yahoo, Google, MSN en AOL's Singingfish hebben allemaal een eigen zoekmachine voor afbeeldingen ontwikkeld. Deze zoekmachines vertrouwen echter op de tekstuele beschrijving van een afbeelding, waardoor het mogelijk is dat de afbeelding iets totaal anders laat zien dan de beschrijving weergeeft. Een groep Europese onderzoekers is daarom begonnen met de ontwikkeling van een softwaretechnologie die het mogelijk moet maken om alledaagse objecten op een digitale afbeelding te herkennen. De groep bestaat uit onderzoekers van Xerox Research Centre Europe en universiteiten uit Frankrijk, Groot-Brittannië, Zweden, Oostenrijk en Zwitserland. Deze software gaat in een afbeelding op zoek naar zogenaamde key patches, belangrijke vormen en objecten, en berekent daar de relatieve posities en vormen van, om zo de inhoud van de afbeelding te kunnen categoriseren.

Sinds de ontwikkeling in 2002 is begonnen, heeft de software al enkele honderden objecten leren onderscheiden. De technologie zou door zoekmachines gebruikt kunnen worden om afbeeldingen beter te analyseren en het op die manier mogelijk te maken om specifieker naar bepaalde afbeeldingen te kunnen zoeken. Ook IBM werkt, via zijn Pervasive Media Management-afdeling, ook aan visualisatiesoftware, Marvel genaamd, die in staat moet zijn om objecten te herkennen op een afbeelding of in een video binnen een aantal vastgestelde categorieën. Volgens John R. Smith, projectleider bij IBM, is het noodzakelijk dat dergelijke technologie ontwikkeld wordt, omdat het handmatig categoriseren van afbeeldingen en video's te veel werk is, zeker als in de toekomst de vraag naar kwalitatief goede zoekmachines voor afbeeldingen zal gaan toenemen.

Reacties (42)

[Yoeri]

Het is overigens belangrijk dat deze technologië het niet mogelijk maakt om naar "een rode muts en blauwe handschoenen" te zoeken. De software indexeert een plaatje namelijk op basis van herkenningspunten, zodat je wel kunt zoeken naar "Bush" in "Mensen". Op die manier wordt voorkomen dat je allerlei plaatjes van bomen, bosjes, struikgewas, ... krijgt.

De software weet dus niet wat er precies op de foto staat, maar ziet wel in welke sector het zich bevindt.

Je kunt dus niet zoeken naar "een jaguar in een boom", maar wel naar "jaguar+tree" in de categorie "dieren" of zo, zodat je geen plaatjes van auto-ongevallen krijgt.

[Anoniem: 87832]

Waar haal je deze wijsheid vandaan?

[Aesculapius]

Volgens mij bestaat dit al gedeeltelijk;

als je namelijk een geldbiljet inscant en in photosjop gooit, dan wil hij hem ook niet openen....terwijl het een gewoon jpegje is; dat moet ps toch ergens aan zien dan lijkt me...

[Florimon]

http://slashdot.org/comments.pl?sid=91981&cid=7914236 :

Photoshop maakt gebruik van een algoritme, dat op zoek gaat naar kleine cirkeltjes in de blue channel van het plaatje. Aan de hand van de onderlinge afstand van deze cirkeltjes, wordt bepaald of het inderdaad een afbeelding is van een bankbiljet, en zo ja welke bank het biljet heeft uitgegeven.
De cirkeltjes zijn op bankbiljetten vaak onopvallend gemaakt door ze te camoufleren als muzieknootjes (britse pond), het cijfer '0' in de 'twintigjes' die op een 20 dollar biljet staan enz.

[Anoniem: 103193]

das mooi natuurlijk.

maar als degenen die hun afbeeldingen ter beschikking stellen op internet zouden voorzien van een duidelijke naamgeving is dit eigenlijk overbodig.

[Beaves]

maar als degenen die hun afbeeldingen ter beschikking stellen op internet zouden voorzien van een duidelijke naamgeving is dit eigenlijk overbodig.

Dat kan vaak niet. Als je bijvoorbeeld een aanbieder bent van stock foto's (dus foto's die je actief verkoopt) kan je moeilijk de naam van elke foto zo maken dat er in voorkomt wat er op de foto staat.

Stel dat je een foto hebt van een fietsende oude man 's morgens vroeg in een mistige koude omgeving. Moet je de titel dan "oude-man.jpg" maken of "oude-man-op-fiets-smorgens-koud-mistig-bomen-overdag-kleur.jpg"? Die laatste titel is misschien wel erg handig voor de zoekmachine's, handig werkt dat allerminst.

Het is niet voor niets zo dat je als je een berg foto's hebt je een archiveringssysteem ala cumulus gebruikt. Daar kan je de foto's onderverdelen, kan je er keywords aan hangen etc.

[DriesA]

Je kan niet de naam "oude-man-op-fiets-smorgens-koud-mistig-bomen-overdag-kleur.jpg" gebruiken, maar op een website wel de HTML-tags alt="" en title="" gebruiken voor een uitgebreidere omschrijving. En in JPG's kun je ook metadata opslaan, digitale camera's slaan daar al wat gegevens in op (belichting, sluitertijd, lensopening,...)

Die software lijkt me een goede aanvulling voor tags. Weinig webmasters doen de moeite om een tag te bedenken voor elke afbeelding (terwijl dit voor blinden zéér handig is).Dus waar die tag ontbreekt, kan die software misschien een oplossing bieden.

edit:
Waarom off-topic?

[wildpicture]

Je bestandsnaam is irrelevant. Je neemt de omschrijvingen gewoon op als IPTC keywords die in het bestand worden opgeslagen. Dat is de standaard bij (foto)persbureau's en stockbureau's.

[Olaf van der Spek]

maar als degenen die hun afbeeldingen ter beschikking stellen op internet zouden voorzien van een duidelijke naamgeving is dit eigenlijk overbodig.

Maak jij een transcript bij elke homevideo die je maakt?

[_Thanatos_]

Hoef ik tenminste niet meer zelf alle waardeloze pr0n van het goeie spul te scheiden

[Anoniem: 399]

tenzij je imagefinder een voorkeur heeft voor homosexuele mannen en zaken met gele en bruine pixels.

smaakherkenning is wat anders dan patroonherkenning, daarom heet het ook anders ;-)

[_Thanatos_]

Ik doelde eigenlijk meer op plaatjes van belabberde kwaliteit, maar je hebt wel een punt

[Fridge-RaideR]

wat mist er nog bij robots die dingen kunnen horen en voelen... het gene dat ze als ze iets zien via de webcams in hun ogen.. dat ze niet een bal herkennen ofzow.. als die software nu gemaakt wordt.. kunnen ze ook al dingen gaan herkennen

[Ethnocentrix]

Grappig dat je dat zegt. Ik ben samen met een aantal andere studenten bezig met de 'Beeegle'(www.beeegle.nl) Dat is een robvot die ballen moet zoeken, en deze moet 'vangen' (zie http://www.robochallenge.nl/)

Het is dus al goed mogelijk om dit soort dingen te maken.

[NaliXL]

Dat idee, een sleutel genereren op basis van key-patches, heb ik al eens bedacht (voor meer info: http://www.shouldexist.org/story/2003/8/16/182444/175 ), en heb tijdens mijn stage zelfs plannen gehad om het te implementeren. Helaas nooit meer van gekomen dan wat onderzoek, omdat ik helaas van nature geen doorzetter ben, maar toch leuk om te zien dat nu zo'n groep professionals aan precies hetzelfde begint.

[Anoniem: 97360]

Dit soort onderzoek bestaat al heel lang. Key patches (ook wel descriptors of features te noemen of 100 andere fancy woorden) zijn behoorlijke voordehand liggende hulpmiddelen bij object herkenning. Ik heb er zelfs een lesboek over gevonden uit 1978. De kunst is kwalitatieve features te vinden die echt heel distinctief en robuust zijn. Of een echt goede classifier (algoritme wat op basis van deze patches concludeert welk object het is). Daar is al heel wat onderzoek naar gedaan. Zeggen dat jij ooit als eerste bedacht hebt features te gebruiken is echt onzin.

[jimshatt]

IBM ook:
http://www.research.ibm.com/marvel/
http://mp7.watson.ibm.com/marvel/

[beetje offtopic]
Ik zou heel graag een zoekmachine willen hebben waar je liedjes waarvan je de melodie vaag van weet mee kan vinden. Dus, geef mij het liedje dat klinkt als: tata taaa doebidoebidooooeee! (alleen dan gezongen ofzo )
[/beetje offtopic]

[Anoniem: 120782]

Of door een audio sample te uploaden .

Ik heb al eens gehoord van een (was het nou een Duitse?) dienst die je op kon bellen met een GSM, en als je dan een nummer liet horen door de telefoon, zou je een SMS-je krijgen met de artiest of andere informatie.

Jammer genoeg nooit meer iets over gehoord. Zou zelf ook wel een paar nummers willen identificeren .

* Wordt wakker. Wrijft in ogen. Hmmz. Laat ik de rest van de thread ook eens lezen.
* Oh, oke... Het bestaat dus wel. Genoeg te proberen zo te zien.

[SteveO]

Bij trajectcontroles op snelwegen wordt met een [gewone] camera de kentekens geregistreerd. Dus daar moet de computer ook het kenteken alleen te pakken zien te krijgen, ook zoiets dus.

[Anoniem: 79837]

dat hoeft niet perse, kenteken is continu hetzelfde stukje van de auto (geel) en continu op hetzelfde plekje waardoor het veel makkelijker te herkennen word (soort OCR)

[tweaktubbie]

Laat me raden, er zit ook een roze-pixel-detectiesysteem in

[Masselink]

Deze software is er al heel lang. Deze werd gebruikt voor content filtering. (dus andersom zoeken)

Er werd een foto van een schumacher gestuurd en de software herkende hem.

Dit alles werd op TINE 2001 gedemonstreerd.