Nieuwe fotoherkenning van Google+ herkent ook objecten

Door nieuwe fotoherkenning in Google+ worden objecten in foto's herkend en kan daar vervolgens op gezocht worden. Ook als een foto niet handmatig van tags is voorzien kan deze alsnog met de zoekfunctie worden gevonden, aldus Google.

Tijdens Google I/O vertelde vice president of engineering Vic Gundotra al dat Google+ onder meer automatisch tags aan posts zal toevoegen, door te begrijpen waar mensen het over hebben om zo andere relevante posts te kunnen tonen. Het blijkt dat er reeds een soortgelijke functie voor foto's in Google+ zit. Wanneer iemand in Google+ op foto's met een bepaald voorwerp zoekt dan vindt Google automatisch de relevante foto's.

Als bijvoorbeeld wordt gezocht op 'sieraden', dan toont Google+ foto's van verschillende typen sieraden, ook als er geen tags zijn ingevuld bij de foto's, zo ontdekte Android Police. Het werkt ook met andere zoektermen zoals 'voedsel' en 'Barcelona', waarbij bij de laatste zoekterm bekende gebouwen in Barcelona worden getoond.

De feature lijkt nog niet in alle talen beschikbaar te zijn. Uit een test van Tweakers blijkt dat foto's die op Google+ gezet worden, wel vindbaar zijn met Engelse termen, maar niet in het Nederlands.

Reacties (27)

[analog_]

Deze techniek wordt dus idealiter toegepast in de verwerking van google glasses streams. Dit is het begin van automagisch labelen van de wereld en dit georganiseerd te presenteren en zoekbaar te maken.

[MegaTronics]

Zou mij niets verbazen dat je zo meteen ook kunt gaan zoeken naar je gestolen goederen. Even een foto ter referentie opgeven en zoeken maar op marktplaats.

[BamSlam_]

Je idee gaat niet op. Op Marktplaats zijn spullen / foto's per definitie getagd. Niemand gaat natuurlijk bv. een iPhone op Martkplaats zetten zonder in de titel / omschrijving te zetten dat het een iPhone is.

[Pikoe]

Hij doelde denk ik meer op unieke items, zoals sieraden of schilderijen.

[Anoniem: 372378]

Iets dergelijks bestaat al; die hebben een image crawler. Ongetwijfeld is die niet zo intelligent als Google en kloppen dingen als aspect ratio's van de opanemen altijd wel: http://www.trosradar.nl/u.../03-10-2011/getty-images/ .
Verder zal de intelligentie van dit systeem wel mee vallen, de wetenschap is nog lang niet zo ver wat betreft object herkenning. Wat ze eerder doen is het op en aantal punten matchen met foto's die er erg op lijken a la wat er al bestaat met op afbeelding zoeken via google.

[analog_]

Wat je beschrijft is simpel 2D beelden bijna 1-op-1 vergelijken. Dit gaat veel verder dan dat, hier worden uniforme modellen ontwikkeld per object onafhankelijk van de verlichting, 3d positie en andere variabelen.

Het grootste probleem is dat deze technieken veel cycles eten.

[Reactie gewijzigd door analog_ op 23 juli 2024 18:40]

[David Mulder]

Heel veel cycles ja, maar het geeft ook heel veel informatie. En trouwens, die 3d modellen worden ook lang niet altijd gemaakt, dat is maar 1 van de vele technieken die er bestaan voor beeld herkenning en zover ik weet mixed google er flinkt wat.

In ieder geval, dit is absoluut geen nieuwe feature want in Google Drive zat dit al

Using Google Goggles and Optical Character Recognition technology, you can also search for images by describing or naming what's in them. For example, searching for "Mount Everest" will show all your photos of Mount Everest and any documents that contain text about Mount Everest. If you narrow your search to "Mount Everest Nepal," you'll only see images taken from the Nepal side of Mount Everest.

Zelf heb ik het een paar maandjes geleden uitgetest. Ik uploade een stuk of 4 afbeeldingen van appels, een afbeelding van een gitaar en een paar afbeeldingen van een slowaaks natuurgebied (die ik zelf had gemaakt). En ja hoor, zoeken naar appel, het merk van de gitaar ("guitar" an sich niet als ik me goed herinner) en bos (en vergelijkbare termen) werkte allemaal . Het werkte wel niet perfect, maar wow, het kwam een stuk dichterbij dan ik had verwacht.

[Cerberus_tm]

Volgens Android Police werkt het ook in Google Drive, zo las ik (voor degenen onder ons die Google Plus niet gebruiken). Ik las ook dat het ook de gezichten van je contacten kan herkennen(!), wat volgens mij illegaal is in Europa, althans zonder toestemming: zie Facebooks gezichtsherkenning.

[Reactie gewijzigd door Cerberus_tm op 23 juli 2024 18:40]

[analog_]

Klopt maar objecten zijn ook eigendom en zolang ze niet publiekelijk zichtbaar zijn is het denk ik nog steeds discutabel of jouw glasses die mogen verwerken, bv. op bezoek bij mij thuis. Ik moet jouw recht geven om het te mogen verwerken (door wie-ever of instantie) in jouw privé objecten database lijkt me.

Als ik je een minuut binnenlaat is het nu ook niet mogelijk om uren in je 'herinneringen' te doorzoeken of ik wel of niet een rol wc papier naast de computer heb staan. Dat je het toevallig ziet kan, maar dat is wat anders dan offline kunnen minen.

[Reactie gewijzigd door analog_ op 23 juli 2024 18:40]

[thegve]

Ik was vanmiddag aan het navigeren met Google navigatie, en bedacht mij dat het wel een handige feature zou zijn als ze objecten die ze op streetview herkennen kunnen verwerken in de gesproken navigatie.
"Sla linksaf bij het bankje, vervolgens na de derde boom rechtsaf." Straatnaamborden zijn vaak slecht te vinden, daarnaast verwerken ze deze ook nu niet in de gesproken navigatie.

[RoestVrijStaal]

Dan moeten die objecten er wel nog staan vanaf het moment dat ze geindexeerd zijn. Te oordelen dat er om het aantal jaren lantarenpalen worden vervangen, bomen worden vervangen door een grasmat en/of bankjes worden gesloopt door vandalisme, ga ik me af vragen of zo'n type navigatie gaat werken.

[analog_]

In België wordt veel gewerkt met herkenningspunten ipv. straatnamen. Zo spreek je af bij een bepaalde winkel of gebouw, niet een adres/straat. "Sla links af op het kruispunt van de AH" zou het dan worden.

[Philos31]

Ik heb in mijn foto's op "Kasteel de Haar" gezocht en warempel komen daar de foto's tevoorschijn die ik afgelopen zomer (toe de zon wel nog af en toe scheen ) heb genomen.
Dus officiele benamingen van gebouwen in het Nederlands lijken te werken.

Ik vind het wel een handige optie

Edit: Plopsa of plopsaland werkt niet, Efteling daarentegen weer wel.
Ook dieren worden herkend, elephant gaf me foto's van olifanten en een nijlpaard, Giraffe gaf me de giraffe's.

[Reactie gewijzigd door Philos31 op 23 juli 2024 18:40]

[swtimmer]

Het zou machtig mooi zijn om te zien wat voor keys/labels aan je foto's hangt. Soort van auto-tagging. Ben benieuwd wat voor objecten ze herkennen en wat zoal mogelijk gaat worden!

[Atmosfeer]

Ik ben benieuwd of robotica hier ook van kan profiteren. Voor robots zou het super handig zijn als ze razendsnel objecten kunnen herkennen - en eventueel - ook meteen weet hoe je dit object het beste kan vast houden, van wel materiaal het is, etc.

Misschien krijgen we op een gegeven moment een enorme cloud-based objecten-herkennings dienst van Google die je voor allerlei toepassingen kan inzetten. Het probleem is vaak dat het aanleggen van zulke databases enorm veel tijd kosten, maar als straks robots toegang hebben tot de gigantische database van google met informatie over duizenden objecten kan dat best een grote stap betekenen.

[Reactie gewijzigd door Atmosfeer op 23 juli 2024 18:40]

[biglia]

Hoe zit het eigenlijk met lichaamsonderdelen? Herkent hij een voet, een knie etc?

[Anoniem: 245897]

Alleen derde benen momenteel

[jip_86]

Dit was toch al getoond op de keynote? Snap niet waarom dit nu nog nieuws is.

[Baspower]

Klopt, ik dacht dat het toen gedemonstreerd werd met de Eifeltoren.

[Anoniem: 390875]

Ik snap sowieso niet waarom het nieuws is - behalve dan dat ze het nu dus toepassen op Google+; immers was dit spul 1 van 'de' features van de Google Goggles app: http://www.google.com/mobile/goggles/#text

[Cloud]

Goggles doet zo te zien wel wat anders, of in elk geval veel minder spectaculair. Die geef je een foto en daar haalt Goggles wat relevante informatie uit die je kunt gebruiken om te zoeken op iets specifieks. Zo te zien moet je nog steeds aangeven waarvoor je het deel van de foto gebruikt om mee te zoeken. Bijvoorbeeld Landmarks, waarbij je een foto van je eigen landmarkfoto invoert. Of Books waarbij je de voorkant van een boek invoert.

Het lijkt er wel wat op maar dit gaat toch een stuk verder. Dit kijkt naar je foto's en identificeert zelf objecten en vindt daar de naam bij; zonder dat je als gebruiker daar iets voor doet. Je geeft geen klasse op, je wijst niets aan, je maakt geen uitsnede.

Met name het voorbeeld van de slangen in dat gras is echt een prestatie van formaat. Gebruiker heeft tijdens het wandelen allerlei foto's geschoten en op een aantal van die foto's stonden blijkbaar slangen. Nu, via Google+, zoekt de gebruiker op 'snake' in zijn foto's en Google+ geeft je daadwerkelijk foto's waar slangen op staan.

[Fly-guy]

Goggles herkent wel degelijk vanzelf dingen. Ofwel zodra je de foto gemaakt hebt, ofwel als je de camera iets ziet. Daarvoor hoef je niets in te voeren, noch aan te geven. Echter dit artikel gaat over het zoeken op items in foto's. Je voert en zoekterm in en hij laat alle foto's zien die die term laten zien. Dat komt overeen met goggles, maar is net iets anders.

[RoestVrijStaal]

En zo krijgen dieven, privédetectives die door jan en alleman kunnen worden ingehuurd en trollen die designpatenten gebruiken het nog makkelijker.

Beland je ook in de "aardappel fanclub"-Google+-circle als Google een foto scan waar je aardappelen aan het schillen bent?

Het moet niet gekker worden, maar te oordelen op de afleveringen van "DWDD university presenteert: De wereld van Klöpping 3.0" als er aan een projectmanager/medewerker van Google gevraagd wordt of er ook aan de maatschappelijke/ethische aspecten gedacht wordt, en daar met een big smile, ontwijkend en "Goh, daar heb ik en/of mijn medewerkers nou echt niet over nagedacht." op antwoord ( ¤, vanaf 47:26 ) vrees ik dat het nog gekker gaat worden als bij Google enkel medewerkers werken die alles laten vallen ten koste van hun 'technische/visionaire nieuwsgierigheid'.

[Reactie gewijzigd door RoestVrijStaal op 23 juli 2024 18:40]

[David Mulder]

Lekker bezig met het verdraaien van de woorden van die gast van Google, net even geluisterd:

- Ten eerste zegt ie dat hij er persoonlijk zich er niet mee heeft bezighouden met het voorgelegde vraagstuk. Daar legt hij ook nog eens nadruk op.
- Ten tweede gaat het niet over of er over "maatschappelijke/ethische aspecten gedacht wordt", maar over een heel expliciet voorgelegd probleem. Namelijk dat je niet kunt kiezen dat je niet gefilmd wilt worden door Google Glass gebruikers.
- En hij heeft er blijkbaar genoeg over nagedacht om aan te geven dat vanuit zijn persoonlijke perspectief het op hetzelfde neerkomt als gebruik maken van je mobieltje of een willekeurig andere camera. En dat je met een mobieltje ook niet weet of iemand je aan het filmen is terwijl die onopvallend met z'n mobieltje rondspeeld.

Echt ongelovelijk dat je de moeite hebt gedaan om het moment van de aflevering te vinden waar hierover word gesproken, maar als je het eenmaal vond niet even te luisteren naar wat er word gezegd.

En zo krijgen dieven, privédetectives die door jan en alleman kunnen worden ingehuurd en trollen die designpatenten gebruiken het nog makkelijker.

Niks mis met het beter doorzoekbaar maken van foto's die reeds publiek zijn, maar wat je dan even heel handig bewust lijkt te vergeten is het feit dat Google+ nog steeds de meeste duidelijke controle heeft of je wel of niet iets publiek maakt en met wie je het deelt (en na aanleiding van Google+ heeft facebook hun eigen systeem ook verbeterd).

Beland je ook in de "aardappel fanclub"-Google+-circle als Google een foto scan waar je aardappelen aan het schillen bent?

En hier maak je duidelijk dat je Google+ niet eens kent, want je kunt niet in de ... circle belanden, want je beheert je eigen circles. Dat is nou net het geweldige van Google+. En als Google je helpt om circles op te bouwen en suggesties heeft wie in welke circle hoort op basis van foto's dan vind ik dat persoonlijk alleen maar knap. Natuurlijk, het echte probleem zit hem in de te grote centralisatie van data bij Google, maar op het moment is het alleen maar goed als Google+ groeit, want facebook is momenteel veel te groot.

[Reactie gewijzigd door David Mulder op 23 juli 2024 18:40]

[RoestVrijStaal]

Dat hij er nog niet eens zakelijk vanuit het perspectief van andere mensen ermee bezig heeft gehouden is nog het ernstige.

Hij was geen perswoordvoerder, hij was nota bene degene die het project moest leiden.

[Ryangr0]

Een soort van pokédex maar dan met objecten? Leuk! Ik kan niet wachten.