Cookies op Tweakers

Tweakers maakt gebruik van cookies, onder andere om de website te analyseren, het gebruiksgemak te vergroten en advertenties te tonen. Door gebruik te maken van deze website, of door op 'Ga verder' te klikken, geef je toestemming voor het gebruik van cookies. Wil je meer informatie over cookies en hoe ze worden gebruikt, bekijk dan ons cookiebeleid.

Meer informatie

Door , , 35 reacties

Google Research publiceert informatie over zijn onderzoek naar neurale netwerken. Dat doen ze aan de hand van verschillende soorten plaatjes, zowel door het netwerk te voeden met beeltenissen als andersom: een netwerk leren vormen te maken uit willekeurige ruis en al wat daartussen zit.

De achterliggende technieken voor neurale netwerken zorgen voor interessante beeltenissen. Het laat zien dat kunstliefhebbers zich in de nabije toekomst misschien moeten gaan afvragen of ze naar een door een mens vervaardigd werk kijken of naar een werk bedacht door een paar sets kunstmatige neuronen.

Een naam voor de nieuwe kunststroming is er in ieder geval al: inceptionism. De stroming bestaat uit neurale netwerken die getraind worden door miljoenen plaatjes te analyseren, waarna geleidelijk de netwerkparameters worden aangepast totdat er de classificatie uitkomt die de onderzoekers willen. Elk plaatje wordt eerst in de input-laag gestopt, waarna die laag met de volgende laag 'praat' totdat de output-laag is bereikt. Het 'antwoord' van het netwerk komt uit de output-laag.

De uitdaging voor de onderzoekers is om te begrijpen wat er precies in elke laag plaatsvindt. Er is op dit moment niet bekend wat elke laag detecteert. Het kan bijvoorbeeld zo zijn dat een eerste laag kijkt naar hoeken en randen, de daaropvolgende lagen de basisvormen interpreteren, zoals een deur of een dier en dat de laatste lagen actief worden bij nog complexere vormen, zoals hele gebouwen. Om er achter te komen wat er in het netwerk gebeurt, kan de procedure omgedraaid worden door bijvoorbeeld te vragen aan het netwerk om zich een plaatje voor te stellen van een banaan vanuit willekeurige ruis, dan wordt het echt interessant.

noise to banana ruis banaan Het blijkt dat netwerken die getraind zijn om verschillende plaatjes te interpreteren heel wat informatie in zich hebben om zelf onderwerpen weer te geven, al klopt het niet altijd, zoals bij het woord 'dumbbell', waar structureel een deel van een mensenarm bij tevoorschijn komt:

dumbbell

Het team heeft ook testen gehouden met interpretaties waarbij niet van tevoren ingegeven wordt wat er uitgelicht moet worden, maar het netwerk zelf mag beslissen wat er te zien is. Dan wordt een willekeurig plaatje ingeladen en wordt aan een laag van het neurale netwerk gevraagd om uit te lichten wat het netwerk dan detecteert. Omdat elke laag van het neurale netwerk op een andere manier omgaat met abstractie, komen er van alleen simpele streken tot figuren en hele beelden uit. Door een feedback-loop te maken, komen er steeds beter herkenbare plaatjes uit.

Inceptionism Image GalleryInceptionism Image GalleryInceptionism Image GalleryInceptionism Image GalleryInceptionism Image GalleryInceptionism Image Gallery

Bron: Inception Image Gallery

Uiteindelijk doet Google dit werk natuurlijk niet voor de lol. Het is om te begrijpen en visualiseren hoe neurale netwerken leren moeilijke classificatietaken uit te voeren, hoe netwerkarchitectuur te verbeteren is en wat het netwerk leerde tijdens de training.

Update 22 juni, 11.38: Tweaker H!GHGuY merkt terecht op dat het artikel wel een erg grote versimpeling is van de werkelijkheid. Het artikel is daarop aangepast.

Moderatie-faq Wijzig weergave

Reacties (35)

Erg interessant! Het geeft heel fraai weer hoe patroonherkenning en verwachting essentiŽle aspecten van waarneming zijn.

Vergelijk bijvoorbeeld eens het originele plaatje van de waterval met wat het neurale netwerk ervan heeft gemaakt. Rechtsonder zie je dat donkere stenen in de witte watermassa met de nodige fantasie een hondenkop kan voorstellen. Dat is dan ook wat het neurale netwerk er van maakt.

In dit geval is het wel zo dat er maar een heel beperkt aantal plaatjes aan het netwerk zijn gevoed om uit te kiezen. Je ziet dan ook dat hondenkoppen overal opduiken, naast vogels, vissen en nog een paar beesten. En dan zijn dit ook nog eens veel beperktere 'concepten' van deze dieren, dan die wij ervan in ons hoofd hebben.

Je kunt dit vergelijken met selectieve waarneming bij ons: zoek van alles wat ook maar enigzins op de vorm van dieren lijkt en je zult met wat creativiteit een heel eind komen. Probeer je daarentegen bijvoorbeeld letters te zien, dan zullen die (met meer of minder moeite) juist herkenbaar zijn en zie je niet zo gauw hondenkoppen.
De verwachting van wat je denkt te zien, of wat je wilt zien, bepaalt sterk wat je uiteindelijk waarneemt.

Als je dit doortrekt naar abstractere concepten, plus daarbij een veel grotere 'database' aan representaties die als verwachtingen kunnen dienen, dan krijg je een klein beetje een idee hoe onze eigen neurale netwerken (hersenen) tot denken kunnen leiden.

[Reactie gewijzigd door Timfonie op 18 juni 2015 14:04]

De vraag is: is patroonherkenning aangeleerd of niet.

Als het niet aangeleerd is, dan hebben we een deel in ons hersenen dat afzonderlijk van ons bewust zijn aka intelligentie dingen kan herkennen. Een soort firmware.

Als het aangeleerd is, dan zien we verschillende objecten, omdat we gebruik maken van onze intelligentie of is er een deeltje zo getraind tijdens onze babyjaren dat het geprogrammeerde firmware geworden is?

Het lijkt me leuk te "zien" (haha) of een blinde die opeens kan zien, objecten kan herkennen.

In de laatste 2 gevallen kan een computer dan ook wel objecten herkennen, maar in het eerste geval zal het nog eventjes duren. Trouwens is object herkenning sinds 1960 in de maak, zonder echt goeie resultaten. Google kan nu veel goeie research doen omdat het een enorm grote database met afbeeldingen en tags heeft.

[Reactie gewijzigd door ? ? op 18 juni 2015 16:56]

Off-topic: Er is ontzettend veel onderzoek gedaan (en wordt nog steeds gedaan) naar de werking van hersenen, en mijn samenvatting is dat onze hogere cognitieve functies eigenlijk allemaal te danken zijn aan een fantastische patroon-verwerkend systeem in de hersenen. Dit werkt allemaal onafhankelijk van de zintuigen, dus het is inderdaad zo dat blinde mensen objecten kunnen herkennen; er ontstaat wat complexiteit als bijv door een operatie hun gezichtsvermogen wordt hersteld en de nieuwe visuele iput moet worden gemapped op de concepten die ze al hadden.
Als je hier wat meer over wil lezen: http://www.hup.harvard.edu/catalog.php?isbn=9780674057111 en http://www.amazon.com/Thi...el-Kahneman/dp/0374533555. Deze boeken zijn wat meer gericht op taal maar zoals gezegd, patroonverwerking is device-onafhankelijk :)
Je ogen bepalen denk ik niet zo zeer hoe je hersens een beeld maken. Het beeld is hoe hersens de ingekomen signalen representeren.

Echter ben ik wel benieuwd naar wat een een mens die jarenlang blind is geweest en aan dingen gevoeld heeft, dan plots ineens kan zien. Of hij dingen herkend of niet. Misschien dat door aanraken je namelijk ook al een beeld kan vormen. Net zoals je beelden kunt vormen door je gehoor door middel van echo locatie.

Dus de vraag: Kunnen je hersens beelden maken zonder ogen? En zijn deze beelden dan vergelijkbaar met als mensen wel ogen zouden hebben? ( niet met kleur o.a. maar vormen )

[Reactie gewijzigd door Texamicz op 18 juni 2015 20:51]

Misschien wat offtopic, maar ik vind die plaatjes er echt te gek uitzien! Hier kunnen creatieve geesten vast nog veel moois mee maken.
Inderdaad zijn er leuke andere toepassingen mee te bedenken.

Probleem met (kunstmatige) neurale netwerken is dat het, door het grote aantal iteraties, vaak veel tijd en/of rekenkracht nodig heeft om het fatsoenlijk te trainen. Zeker als je complexere zaken wil herkennen waar meerdere lagen voor nodig zijn, voegt iedere laag weer een extra dimensie toe die ook geleerd moet worden.
Daar staat tegenover dat als het netwerk eenmaal getrained is het gebruik ervan juist heel snel is. Eigenlijk net als bij mensen. Het kan een hele tijd duren om iets te leren herkennen maar als je het eenmaal ziet dan doe je het razendsnel. Denk bijvoorbeeld aan het herkennen van automerken. Iemand die veel met auto's bezig is kan van de meeste auto's onmiddelijk zeggen welk merk het is. Wie niks met auto's heeft kan dat niet.
Nogal een logisch gevolg als (kunstmatige) neurale netwerken gebaseerd zijn op de biologische varianten van onze synapsen en neuronen. :+
Om deze reden kunnen kunstmatige neurale netwerken ook gebruikt worden voor het simuleren van bijvoorbeeld hersenbeschadiging, bijvoorbeeld door te kijken hoe de performance/nauwkeurigheid afhangt van het aantal 'beschadigde' neuronen.
Ik vroeg me al af hoe ze dat deden bij Google Photos. Daar worden je foto's automatisch gecategoriseerd per onderwerp. Maar het leek mij zo onbetaalbaar veel rekenkracht kosten om dat voor miljoenen mensen hun duizenden foto's te doen. Wanneer je er nieuwe foto's op zet heeft ie ze vrijwel meteen gecategoriseerd met best specifieke categorieŽn zoals: vogels, bier, picknicks, standbeelden, brandweer, etc.

[Reactie gewijzigd door RoelRoel op 19 juni 2015 09:22]

ik vind bijvoorbeeld dat die ene tempel enorm vaak terug komt .... bv in het 'landschap' staat ineens een tempel, en ook in de wolken kom je die tempel tig keer tegen...

wellicht staat die ergens als favoriet of is de imagestack beperkt waardoor hij maar uit een beperkt aantal afbeeldingen dingen kan opbouwen...
maar ik vind bepaalde afbeeldingingen echt wel knap; inception is way to go; zeker als je wat paddo's op hebt denk ik dat je uren/dagen naar die afbeeldingen kan blijven kijken.... dat beroemd schilderij, een van de versies die de computer ervan gemaakt heeft lijkt sterk op pointillisme (schilderen met puntjes)
Vooral die laatste vind ik erg mooi.

Ik begrijp niet precies hoe dit nou werkt, maar ben wel benieuwd naar de resultaten als dit neurale netwerk wordt geperfectioneerd. Krijg je dan juist meer/beter lijkende resultaten?
Nee, zeker niet. Wat je hier ziet is een soort "gemiddelde" van een groep trainingsplaatjes. Daarom zie je zo vaak een stuk arm bij de "dumbbell". In de verschillende plaatjes zit de rest van het lijf op heel verschillende plekken, dus dat deel middelt uit. Maar juist die arm zit vaak direct aan de dumbbell, en dus versterkt die juist.
voor wie niet weet wat een dumbbell is (ik wist het ook niet); het is een armgewicht voor het gewichtheffen.... (je weet wel, de kleine versie van het zwaargewichtheffen... zo'n stalen buis waar je naargelang je kracht meer of minder gewichten aan hangt)
Het Nederlandse woord is een 'halter'.
ja, een dumbbell is dus de kleine halter...
ik was zelf ook naar dat woord aan het zoeken en je kent dat wel; het lag op het puntje van m'n tong maar het kwam er maar niet uit.... dus jah moest ik m'n omschrijving wat aanpassen want ik heb ook niet de tijd om uren naar m'n scherm te staren tot dat het woordje dat ik zocht van m'n tong valt.

hopelijk herinner ik het mij volgende keer wel :) en jah 't is ook mijn wereld niet zo, dat bodybuilden enzo, en dat maakt het extra lastig om woorden terug te halen die je zo eens om de vier jaar hoort tijdens de olympiades ;)
Ik begrijp niet precies hoe dit nou werkt,
Wat je hier zit is een Compressie -> Decompressie.
Met JPEG heb je het zelfde eerste heb je 10MB die word gecomprimeerd naar 100Kb daarna weer decompressed naar 10MB. En dan zie je artifacts voor als je compressie-decompressie 100x herhaalt.

Dit neurale netwerk vertaal een plaatje van landschap 10MB in compactere informatie zoals Boom score : 0.1, wolk score : 1, blauwe lucht 0.1 .....
Als je deze compressie van informatie omkeert, oftewel decompressie krijg je het oorspronkelijke plaatje terug, maar met veel artifacts door verlies van informatie.
Van iets creatiefs iets creatiefs maken. Niet creatief toch, gewoon diefstal :)
Ik vind dit zonder gein mooier dan de troep die vandaag de dag als kunst wordt gelabeled.
Het is ongelooflijk om te zien dat een groepje kunstamtige neuronen al tot zoveel in staat is.
Wat bij mij alleen maar meer woede opbrengt als ik zie wat tegenwoordig voor miljoenen verkocht
wordt.
Echte kunst is het verkopen van troep voor miljoenen. Vergeet dat niet.
Via de link in het artikel: "One of the challenges of neural networks is understanding what exactly goes on at each layer."

Inherent aan neurale netwerken is dat je niet weet wat er precies gebeurt in het netwerk. Als je dat precies wil weten dan heb je een mechanistisch mathematisch model nodig.

Neurale netwerken kun je daarom niet inzetten voor kritische processen (zoals het aansturen van een kernreactor): wellicht gaat vrijwel alles goed na training, maar een nieuwe situatie kan een onvoorspelbare reactie geven.
Inderdaad. Wat zo interessant is aan dit soortstudies dat ze juist proberen methoden te ontwikkelen die juist wel inzicht gaan geven in het hoe/wat/waarom een neural network werkt.
Je kunt bekijken wat er gebeurt in de huidige staat van het neurale netwerk. Ik weet niet of inzicht dan het juiste woord is. Als je het netwerk verder traint kun je in principe weer helemaal overnieuw beginnen met de studie van wat er gebeurt.

(Los daarvan, ik gok dat de resultaten beter worden als je 3D input gebruikt.)
Na het kijken van de plaatjes heb ik een liedje in mijn hoofd :)

Lucy in the Sky with Diamonds 8)7
Ik vind het interessant dat deze renders inderdaad erg veel lijken op typische visuele hallucinaties die vooral lysergamides teweeg brengen. Dan vraag ik me toch af of er overeenkomsten zijn tussen de manier waarop de mens en deze netwerken visuele informatie interpreteren.

Meestal onthouden we slechts een abstract beeld van hoe iets eruit ziet. Als ik mij een bekend gezicht probeer te herinneren, zie ik meestal een vrijwel fotorealistisch beeld van deze persoon. Als ik vervolgens naar de ogen of mond van deze herinnering probeer te kijken, verwaterd de herinnering volledig, en besef ik hoe vaag het beeld eigenlijk is.

Om een beeld van de wereld om je heen te krijgen doe je enorm veel aannames, en hier wordt je als kind een specialist in waardoor alles er meestal 'normaal' uit ziet. Als je dan vervolgens (niet als kind) bijvoorbeeld LSD of psilocine neemt, breng je onrust in de fijnafstemming, waardoor informatie 'ongeÔnterpreteerd' wordt ervaren en door elkaar begint te lopen. Een hallucinatie is dan ook meestal geen nieuwe informaite, maar een sterke vervormingen van zintuiglijke data en herinneringen.

Deze netwerken zijn nog maar net begonnen met verbanden leggen, dus missen die fijnafstemming waar wij op vertrouwen om te bepalen of iets realistisch eruit ziet.

Veel gebruikers van psychedelen vertellen ook dat ze tijdens een trip de wereld als een kind ervaren, voorbij het visuele. Voor enkele uren vergeet je even wat alles zou moeten zijn, en dan ga je nadenken over dingen die je anders onbewust zou invullen. Een jong kind zou een dumbbell ook best onlosmaakbaar van een arm kunnen zien. Hier ontstaat voor trippers ook de humor, omdat je als volwassene wťťt hoe iets in elkaar zit, maar het ineens niet meer zo ziet. Zo werkt een grapje ook.

Het kan best zijn dat mijn begrip van zowel onze perceptie als de werking van deze netwerken er totaal naast zit. Ik ben hier nieuwsgierig naar, dus als iemand hier meer over weet hoor ik het graag!

[Reactie gewijzigd door ThePendulum op 18 juni 2015 14:46]

Je haalt nu twee zaken door elkaar: recall en herkenning. Met het eerste bedoel ik hoe goet je bewust informatie kunt reconstrueren.

Om een simpel voorbeeld te geven: " recall" is weten wanneer de Tweede Wereldoorlog in Nederland begon. Herkenning is weten dat "4 mei 1940" het begin van de Tweede wereldoorlog was.
Ik had het inderdaad over het gezicht herkennen en natekenen, maar dat stukje heb ik inmiddels (nog voordat ik deze reactie las) opnieuw geformuleerd.

Herkenning en recall zullen beide plaatsvinden als je je een gezicht in detail voor de geest probeert te halen. Het gaat in mijn voorbeeld inderdaad om de integriteit van de recall, waarbij ik herkenning echter als een vereiste zie. Als je een gezicht niet herkent, kun je ook niet van jezelf verwachten dat je het kunt reconstrueren. Daar doelde ik op.

[Reactie gewijzigd door ThePendulum op 18 juni 2015 15:30]

Toch jammer, ze proberen wat uit te leggen met illustraties... gaan mensen "oeh en aah" roepen om die plaatjes.

Dat was niet helemaal het punt mensen :D
Een van de redenen dat ze dit doen denk ik is om straks perfect te kunnen zoeken op afbeeldingen. Nu is dat nog afhankelijk van tags die aan afbeeldingen vast zitten. Maar als computers zelf kunnen uitmaken wat het hoofd onderwerp van een afbeelding is kan er veel meer en beter gezocht worden.
Google Photos maakt gebruik van dit machine learning om de inhoud van foto's te herkennen zodat je kunt zoeken op mensen, dingen, locaties, etc. zonder dat deze ooit getagd waren. Erg handig. Dit soort onderzoek is inderdaad o.a. bedoeld om de herkenning te verbeteren.
Het lijkt aardig op hoe onze eigen visie werkt. We weten dat onze hersens ook beelden analyseren in verschillende kenmerken en patronen. Daarbij worden brede patronen (bv "brede horizontale strepen", "rondjes" of "rood") gecombineerd in hogere lagen tot complexere structuren ("brandweerauto") die dan weer verder gecombineerd worden tot een heel specifiek beeld ("DAF ladderwagen uit Duitsland met zwarte wielen en blauwe zwaailichten"). Overigens is dat niet beperkt tot alleen visuele informatie. Zo netjes zijn onze hersens niet, alles wat werkt kan gebruikt wordne. Als je een geluid hoort (bv een sirene) dan kan dat beinvloeden wat je ziet.
Inderdaad. Zo was vorige maand nog in het nieuws dat onze smaakervaring van vliegtuigvoedsel beÔnvloedt wordt door het geluid in een vliegtuig. Daarom smaakt het eten vaak flauw.

Onze hersenen kunnen ook aangeboren kortsluitingen hebben tussen de zintuigen. Dit heet Synesthesie en leidt er bijvoorbeeld toe dat mensen geluiden ervaren als kleuren of woorden ervaren als een bepaalde smaak.
Nu begrijp ik wat dit plaatje voor moet stellen. Het zwierf al een paar dagen rond maar nu is dus bekend hoe het is ontstaan.

Als je op Google.com deze zoekterm https://i.imgur.com/6ocuQsZ.jpg invoert, dan klikt op "search by image", dan naar beneden scrolt en klikt op "visually similar images" krijg je echt allemaal verschillende resultaten. Grappig hoe je een zoekmachine kan foppen.
Ik neem aan dat deze neurale netwerken nog in software zijn beschreven. Of experimenteren ze al met neurale hardware van bijvoorbeeld ibm of intel.
nieuws: IBM presenteert processor die werkt als een brein
http://www.research.ibm.com/articles/brain-chip.shtml
http://www.technologyrevi...neuromorphic-chip-design/
Is dit de eerste computer gegenereerde kunstentoonstelling?
Als je door je wimpers heen kijkt zijn de twee plaatjes van de antilopen nagenoeg hetzelfde

Op dit item kan niet meer gereageerd worden.



Apple iOS 10 Google Pixel Apple iPhone 7 Sony PlayStation VR AMD Radeon RX 480 4GB Battlefield 1 Google Android Nougat Watch Dogs 2

© 1998 - 2016 de Persgroep Online Services B.V. Tweakers vormt samen met o.a. Autotrack en Carsom.nl de Persgroep Online Services B.V. Hosting door True