Google en Stanford laten neurale netwerken situaties op foto's herkennen

Onderzoekers van Google en Stanford hebben los van elkaar flinke vorderingen gemaakt in computersystemen die kunnen herkennen wat er op foto's en video's gebeurt. Zelflerende systemen wisten tijdens proeven tal van situaties op foto's en beelden vrij nauwkeurig te beschrijven.

Google- en Stanford-onderzoekers trainden computers binnen een neuraal netwerk in eerste instantie met een beperkt aantal afbeeldingen die waren voorzien van korte, door mensen opgestelde beschrijvingen. Vervolgens moesten de computers zelf bijschriften bij foto's verzinnen. De Stanford-onderzoekers publiceren de bevindingen in een rapport. Zo wisten computers kloppende bijschriften als 'een groep mannen die Frisbee spelen' en 'een horde olifanten in een droog grasveld' te genereren, al had de software wel moeite met een groene vlieger, die werd bestempeld als 'een man die door de lucht vliegt op een snowboard'.

De onderzoekers van Google en Stanford kwamen los van elkaar tot hun conclusies. Google meldt de bevindingen in een blogstuk. Computers zijn al langer in staat om objecten op foto's en video's te herkennen, maar hebben moeite met het herkennen van situaties. De software van beide onderzoekers is enkel in staat om patronen te herkennen die het eerder heeft waargenomen, maar doet dat wel veel beter dan huidige algoritmen.

Het onderzoek zou kunnen helpen om op internet geplaatste foto's en video's automatisch te classificeren, of om mensen met weinig of geen zichtvermogen te helpen navigeren. Software met geavanceerde patroonherkenning zou echter ook kunnen worden gebruikt voor surveillance: het beeld op camera's zou er automatisch mee kunnen worden geanalyseerd, tekent The New York Times aan.

Reacties (36)

[yrosma]

Ik vind dit nog steeds wel een beetje appart. Huidige computers (systemen) kunnen heel veel dingen sneller en better dan onze hersennen.

Maar als het dan op het beeldherkenning/verwerking of hoe je het wilt noemen aan komt zijn onze hersennen toch nog ontzettend goed.

Zeker als je er over gaat nadenken. Je ziet een foto en hebt gelijk een situatie voor je wat zich daar op de foto afspeeld.
Of als je een keer een shot / foto van een film zit. Je weet gelijk welke film het is.

[Blazing-Studios]

Tja verschil is, siliconen levensvormen bestaan pas een jaar of 60 waar organische levensvormen al miljoenen jaren hebben gehad om zich daartoe te evolueren.
Tenzij je in god gelooft, dan heb ik er geen verklaring voor

[Flowmo]

Daarbij is het probleem ook dat de AI's door de mens geprogrammeerd moeten worden, dus moeten we een goede kennis hebben van hoe we zelf werken (en die hebben we nog niet) voordat we het efficient om kunnen zetten in iets dat een computer begrijpt. Zeker wanneer we het over zaken als herinneringen, interpretatie, karakter, etc gaan hebben wordt dit erg lastig voor een mens om te programmeren voor een computer.

[ATS]

Het is natuurlijk niet noodzakelijk om exact te begrijpen hoe wij iets doen, om soortgelijke vaardigheden te kunnen bouwen voor computers. Ter vergelijking: we hoeven niet persé te begrijpen hoe lopen werkt bij mensen, als we een apparaat willen bouwen dat zich kan voortbewegen. Dat wil natuurlijk niet zeggen dat er geen geweldige inspiratie te halen is uit hoe bepaalde dingen in elkaar zitten in de natuur.

[Flowmo]

Daar maak je een ietwat kromme redenatie, je vergelijkt voortbewegen met lopen. Als we een apparaat willen bouwen dat zich voortbeweegt, dan kan dat ook kruipend of rollend. Maar wanneer we een apparaat willen laten lopen als een mens, dan moeten we wel degelijk begrijpen hoe we dat doen met welke bewegingen. Zolang we dat niet goed begrijpen zal een robot niet net zo natuurlijk lopen als een mens (zoals ze dat nu nog steeds niet doen vziw).

[ATS]

Dat is nu juist het punt: het hoeft niet perse "zoals een mens". Situaties herkennen, of AI in het algemeen, kan ook op andere manieren bereikt worden dan via het imiteren van mensen. Een schaakcomputer werkt bijvoorbeeld ook anders dan een menselijke schaker, maar je kan er prima een partij tegen spelen.

[Reactie gewijzigd door ATS op 23 juli 2024 08:05]

[watercoolertje]

Maar als het dan op het beeldherkenning/verwerking of hoe je het wilt noemen aan komt zijn onze hersennen toch nog ontzettend goed.

Lijkt me logisch, je hersenen zijn door evolutie juist toegespitst op dingen die jou helpen langer te (over)leven (waar herkenning heel handig is zodat je gevaarlijke situaties kan ontwijken, of juist fijne situaties weer op kan zoeken)...

Rekentaken waar een PC goed in is is voor overleven natuurlijk bijzaak

[Reactie gewijzigd door watercoolertje op 23 juli 2024 08:05]

[CompactDisc]

Niet alleen dit maar wij ontworpen computers om te doen waar wij niet goed in waren: rekenen. Eigenlijk evolueert een computer evenveel als de mens, gewoon sneller en niet op natuurlijke wijze =)

Het enige jammere vind ik dat mensen voortwerken op wat er al is. Een computer die kan wat wij doen moet niet gebaseerd zijn op reken-efficientie per se. Het zou leuk zijn als andere mensen een geheel ander soort machine ontwerpen voor dit doel. Het zou tot veel meer vooruitgang kunnen leiden op andere vlakken.

[ShDT]

Bepaalde zaken zoals herinneringen en (levens)ervaring lijken me moeilijk te realiseren in een computer.

[BaRF]

Je ziet een foto en hebt gelijk een situatie voor je wat zich daar op de foto afspeeld.

Ik raad je aan om de grappige plaatjes en .gif plaatjes topics eens door te lopen, daar staan genoeg situaties waar je echt geen idee hebt wat daar gebeurt Ben echt ZO benieuwd wat die computers daar voor bijschrift zouden geven.

Zoals deze: http://s300.photobucket.c.../4%20Misc/wtffz4.jpg.html

[spNk]

Iemand die met een foute party/caranaval-achtig iets een beetje dronken was waarna er "iets" is gebeurd waardoor deze opgehaald moest worden door een ambulance?
Zo moeilijk is dat niet. Een computer heeft geen fantasie/inbeeldingsvermogen, een mens wel.

[BaRF]

Ik denk dat een computer wel inbeeldingsvermogen heeft, als hij een groep mensen die 'frisbee' spelen bestempeld als 'mannen'

Maar goed, ik zou nog steeds die systemen een analyse van dergelijke foto's willen laten maken, want dat van jou is natuurlijk slechts een aanname

[Mamoulian]

"Ik vind dit nog steeds wel een beetje appart. Huidige computers (systemen) kunnen heel veel dingen sneller en better dan onze hersennen. "
Spelling bijvoorbeeld

Zaken, patronen of personen herkennen dat gaat ook al vlot maar de relatie tussen objecten en/of personen begrijpen dat is al heel iets anders. Vergeet ook het feit niet dat je hersenen heel wat extra info bij een foto verzinnen, bijvoorbeeld als iemand half achter een muurtje staat weten wij wel _ongeveer_ hoe de volledige persoon er uit zal zien op basis van de info die we hebben en welke verwachtingen de info schept.
In een notendop: Hersenen zijn dankzij vele duizenden jaren aan evolutie fantastisch goed geworden in het leggen van verbanden, het zoeken naar patronen en het hebben van een rijke verbeelding. We kunnen niet verwachten dat software die evolutie op enkele jaren kan doormaken.

[brunoj]

Het heeft vooral te maken met de rijke achtergrondkennis ("common sense knowledge") die elk mens bezit, maar die in de computer vooralsnog apart gestopt moet worden, wat met de huidige technieken nog niet op een coherente of complete wijze gedaan kan worden. Het is onvoldoende om de computer alleen de concepten te laten leren; abstractie en combinatie zijn noodzakelijk om autonoom lerende machines te maken, die op een mens-achtige manier bruikbare kennis zouden kunnen opdoen gebruik makend van verschillende "zintuigen". Daarom is deep learning (hier genoemd) een potentieel interessante methode die de oplossing een stap dichterbij brengt doordat het in staat is ZELF, zonder menselijke efforts, abstracties te maken en verbanden te vinden. Het is echter nog onvoldoende flexibel is om het autonoom leerproces van de mens na te bootsen, omdat vooralsnog alle bruikbare Artificial Neural Networks (ANN) hierarchisch van karakter zijn, daar waar het menselijk brein non-hierarchisch is. Het is uiteraard ook mogelijk om non-hierarchische ANN te maken, maar we ontbreken vooralnog algoritmes om ze op een zinnige schaal te trainen. Aan de andere kant weer, is deep learning ook pas goed mogelijk sinds 2006, toen algoritmes uitgevonden werden voor snelle convergentie van Restricted Boltzmann Machines; binnen AI en machine learning is dit enorm nieuw, gezien meeste algoritmes die nu gebruikt worden in de periode 1952-1998 uitgevonden zijn (maar nu pas grootschalig toegepast kunnen worden doordat hardware goedkoop genoeg is); dat relatief recent nog zulke enorme stappen gemaakt zijn in nieuwe algoritmes geeft hoop op nieuwe doorbraken.

Voor de geinteresserden:
http://en.wikipedia.org/wiki/Boltzmann_machine
en specifieker:
http://en.wikipedia.org/wiki/Restricted_Boltzmann_machine

[timonb]

Heel raar is het niet. Computers zijn juist gemaakt om één ding te doen en dat is rekenen. Dat is iets waar onze hersenen niet heel goed in zijn.

Hersenen werken op basis van een patroon dat werkt op basis van input waardes, waar vervolgens een antwoord uit komt. Het antwoord van 1+1 is in de hersenen ongeveer 2 met een betrouwbaarheidsfactor. Hersenen moet je dus ook trainen om die taak uit te kunnen voeren, waarbij het vaker doen leidt tot een beter antwoord met een hogere betrouwbaarheid.

De vraag is dan ook eigenlijk, wat doe je precies als jij een foto van een film ziet. Het is niet alleen herkennen van de persoon, de objecten en de omgeving. Je kijkt tegelijkertijd ook naar het scenario waarin dat plaats vind en spiegelt dat met je herinneringen. Dat zijn echt onnoemelijk veel aspecten die in een fractie van een seconde plaats vinden.

[imdoctorbob]

Een beetje appels met peren vergelijking. Hersenen zijn zeker complex maar zijn dat ook omdat ze een bepaalde taken doen waar die complexiteit voor nodig is. Computers zijn door de manier waarop ze zijn ontworpen erg goed in andere taken waar het gemiddelde brein wel erg veel moeite mee heeft.
Deze "neurale computing systemen" zijn anders ontworpen en al een stuk beter in de taken die ook de hersenen doen (want ze zijn van vergelijkbaar ontwerp, of iig we proberen het te benaderen).

[Verwijderd]

Ah, is dat waarom we rekenmachines gebruiken om dingen snel te berekenen?
En harde schijven hebben een slechtere hoeveelheid/vergeet ratio dan ons brein.

[3x3]

De vraag is, mag google dit zomaar gebruiken of loslaten op de privé foto's die ik met hen mail?

Google's privacy voorwaarden zijn er onduidelijk over.

We verzamelen gegevens op twee manieren:

Gegevens die u aan ons levert. Voor veel van onze services moet u zich bijvoorbeeld aanmelden voor een Google-account. Wanneer u dit doet, vragen we u om persoonlijke gegevens, zoals uw naam, e-mailadres, telefoonnummer of creditcard. [..]

Gegevens die we ontvangen op basis van uw gebruik van onze services. We kunnen gegevens verzamelen over de services die u gebruikt en de manier waarop u ze gebruikt, [..]
[..]

Hoe we gegevens gebruiken die we verzamelen

We gebruiken de gegevens die we uit al onze services verzamelen om de services te leveren, [..] We gebruiken deze gegevens ook om gepersonaliseerde inhoud aan u te leveren, zoals relevantere zoekresultaten en advertenties.

Het is mij nog een beetje onduidelijk, of ze dat zomaar mogen.
Als jij foto's upload naar mail of cloud, 'lever' je dan die foto's aan een service?

[RielN]

Ja, dat mag Google. Uiteindelijk wordt die functionaliteit om de foto's te vinden enkel aan jou getoond, en hun systemen worden ermee verbeterd. NIemand ziet jouw foto.

Zoek in je Drive maar eens op Car of House, en kies 'afbeeldingen'.

[watercoolertje]

Als jij foto's upload naar mail of cloud, 'lever' je dan die foto's aan een service?

Uhm ja want mail/cloud is toch een service...

[3x3]

Vind je dat niet eng?
Dat een bedrijf zo ver kan & mag gaan dat ze je prive foto's mogen analysen voor reclamedoeleinden?

Ik vraag mij ook af, of zoiets op zéér grote schaal ook maatschappelijk wenselijk is.

[watercoolertje]

Vind je dat niet eng?

Ik vind elke cloud service in dat opzicht eng, daarom upload ik daar ook vrijwel alleen maar kansloze foto's en plaatjes

Maar dan nog een foto zegt niet altijd meer dan 1000 woorden natuurlijk, ik denk dat ze meer hebben aan mijn zoekopdrachten of mail/hangout conversaties...

[Reactie gewijzigd door watercoolertje op 23 juli 2024 08:05]

[3x3]

Er zijn manieren om erg véél geld te verdienen aan persoonlijke informatie.

Klein voorbeeldje.
Ik ben persoon X, ik heb een zware, dure medische conditie, waardoor ik de helft van het jaar in het ziekenhuis lig. Voor een zorgverzekeraar betaal ik 1400 euro premie per jaar, maar kost mijn zorg per jaar 60.000 euro.

Als ik veel foto's deel/upload vanuit het ziekenhuis, of daar veel m'n gps lokatie deel, kan het voor een verzekeraar 58,600 euro schelen, om mij negatief uit te selecteren voor de reclame's die hij maakt via Google.

Weigeren mag een verzekeraar niet, maar zolang je kan vermijden dat een zorgbehoevende je vind, kun je je winst met tienduizenden euro's verhogen. En omdat véél mensen zich oriënteren op een zorverzekering via Google, is die negatieve selectie bij Google de zorgverzekeraars veel waard.

[watercoolertje]

Als je nou onoplettende gebruikers hier op attendeert prima, maar mij? Dan ben je aan het verkeerde adres, ik snap prima hoe google werkt

Maarja het was in je eerste post al duidelijk dat je dit graag kwijt wou, gezien je een vraag stelde waar je het antwoord zelf ook wel op wist...

[Reactie gewijzigd door watercoolertje op 23 juli 2024 08:05]

[Thystan]

Ze kunnen bijvoorbeeld de foto's van je privé email checken.
Net als je bestellingen en subscriptions etc. kunnen ze checken.

Van bijvoorbeeld vakantie bestellingen weet je dat ze het doen. Ik kreeg opeens het weer van mijn vakantie bestelling als pop-up, mijn vertrektijden, hoe druk het was op de weg naar het vliegveld en wat er was te doen op mijn bestemming. Ik had alleen een ticket en een hotel geboekt (de transavia & booking.com mails werden uitgelezen en aan de hand daarvan werden andere aanbiedingen voorgeschoteld).

Straks checken ze ook nog je vakantie foto's. Wat vind je interessant? Gebouwen, of natuur? Vrouwen of mannen? Selfie's of groepsfoto's? Sport of cultuur?

En aan de hand daarvan krijg je dan advertenties van café's, museums of tours die je leuk zou kunnen vinden.

[RebelwaClue]

Als je niet wilt dat een Google je foto's analyseert (of andere data wat dat betreft) voor reclamedoeleinden, moet je overschakelen op een betaald Google account (Google for business bv). Dan wordt er niet aan datamining gedaan (bv door de NSA dan )

[Flowmo]

Nee, dat hangt van de voorwaarden van die service af. Als daarin staat dat je van al je rechten afziet bij het uploaden van jouw foto's en de service er mee mag doen wat ze willen, doe je er (on)bewust afstand van. Wanneer er niks in staat of dat er staat dat jouw rechten behouden blijven, dan behoud je dus al je rechten over je eigen werk.

[watercoolertje]

Ten eerste antwoord ik op zijn vraag of het nou een service is of niet, niet op de vraag of ze er wel of niet wat mee mogen doen

En ten tweede, met de kennis dat je gegevens dus onder die service vallen hoef je enkel zijn quotes te lezen om antwoord op jou post te geven.

[RebelwaClue]

Bij de meeste clouddiensten behoudt je gewoon de rechten over je eigen werk. Maar bedrijven moeten zich wel indekken. Als jij een map met foto's deelt op het internet, of foto's public maakt via bv G+, moet dat juridisch wel afgedekt zijn aangezien Google op dat moment jouw foto's openbaar maakt. Maar dit is bij andere clouddiensten niet anders.

[nils7]

Ach als je een verhaal aan tig mensen door verteld zou het best zo eens kunnen zijn dat die vlieger inderdaad een man op een snowboard was dus hoe heel erg fout deze uitkomst is valt te betwisten

[mission]

[durian]

Eigenlijk niks nieuws, dit probeerden we in de jaren 80 en 90 al - alleen is de rekenkracht van computers veel beter nu. Iets waar we toen op zaten te wachten ("stel je voor als we deze rekenkracht zouden hebben..")

De Nikon F5 heeft trouwens een neuraal netwerk aan boord wat het beld bekijkt en indeelt in situaties om de belichting te bepalen.

[Macshack]

Over duizend jaar zegt de computer dat ze zo geevolueerd zijn zoals ze nu zijn. De mens kennen ze alleen nog maar van boeken bestanden maar het bewijs dat ze bestaan hebben is ver te zoeken. Alhoewel sommige computers dit wel geloven. Wel hebben ze overtuigende theorieen over hoe ze na miljarden jaren zo ontstaan zijn. Komen met voorbeelden van materiaal dat zich aanpast aan zijn omgeving. En als je dat materiaal dan maar langgenoeg blijft veranderen er vanzelf een werkend mechanisme uit zal voort komen. En hoe er ooit energie is gegeven aan het aller simpelste motortje door zon of bliksem.

Hmmmm

[Reactie gewijzigd door Macshack op 23 juli 2024 08:05]