Cookies op Tweakers

Tweakers maakt gebruik van cookies, onder andere om de website te analyseren, het gebruiksgemak te vergroten en advertenties te tonen. Door gebruik te maken van deze website, of door op 'Ga verder' te klikken, geef je toestemming voor het gebruik van cookies. Wil je meer informatie over cookies en hoe ze worden gebruikt, bekijk dan ons cookiebeleid.

Meer informatie

Door , , 32 reacties

Onderzoekers van een Amerikaanse universiteit werken aan een co-processor voor smartphones die het mogelijk moet maken om foto's en video's op smartphones te doorzoeken op objecten of situaties die in het beeld te zien zijn.

Zo moet het bijvoorbeeld mogelijk zijn om in een collectie te zoeken op 'rode auto' of 'zonnige dag', waarna alle foto's waarin dat object of die situatie te zien is worden getoond, zeggen de onderzoekers volgens Technology Review. Daarvoor gebruiken de onderzoekers van de Amerikaanse Purdue-universiteit 'deep learning', waarbij een processor werkt als een neuraal systeem zoals de hersenen. Eerder testte Google al een systeem met deep learning, waarbij 16.000 processors werden gebruikt om katten te herkennen op afbeeldingen.

Het onderzoek moet ertoe leiden dat 'deep learning', dat nu nog krachtigere hardware vereist, beschikbaar zal worden via co-processors voor smartphones. De neurale processor zou nu al vijftien keer efficiënter zijn voor het doorzoeken van foto's en video's dan een conventionele gpu en hij moet nog eens tien keer efficiënter worden.

De onderzoekers hebben een prototype gemaakt met een fpga, waardoor het concept getest kan worden. Het plaatsen van co-processors in smartphones naast de gebruikelijke chips voor specifieke taken gebeurt al op grote schaal, al zijn dan vooralsnog geen neurale processors. Apple heeft bijvoorbeeld de door het Nederlandse bedrijf NXP gemaakte M7 voor het bijhouden van input van bewegingssensoren en Motorola gebruikt in zijn Moto X co-processors voor de Active Standby-functie op het amoled-scherm en het registreren van een stemcommando van de gebruiker als het toestel niet wordt gebruikt.

Moderatie-faq Wijzig weergave

Reacties (32)

In samenwerking met Geo tagging zou deze functie best wel eens sterk kunnen worden.
Het ligt eraan hoe dit ook weer geimplementeerd wordt.
Sorteren op "feesten waar ik ben geweest" - submapjes "feest in Amsterdam, feest in Utrecht".
Misschien zelfs sorteren op "Foto's waarin mensen lachen."

Je zou maar een designer zijn, zou handig zijn om je eigen collectie door te kunnen spitten met zoektermen als "Foto bevat een Kerk, bevat een Auto (misschien zelfs Merk)".

De mogelijkheden zijn beperkt met wat we ons kunnen inbeelden ;)
We zullen zien waar de onderzoekers mee op de proppen komen.

Laat het duidelijk zijn, dat de functie ook daadwerkelijk iets moet toevoegen.
Trek die lijn even door: Foto's waarbij gezichtsherkenning al is uitgevoerd voordat je het zelf weet/toestemming voor geeft, gekoppeld met GEO-tag. Info wordt teruggestuurd naar de server waar jij in de APP toestemming aan hebt gegeven om zo'n beetje alles aan metadata te delen middels de TOS et voilà, de eerste Blackhawk is al onderweg omdat iets of iemand is herkend.

Met de "juiste regering" van een bepaald land aan de macht is het niet de vraag of dat gebeurt, maar wanneer.
Je hebt gelijk, maar dat is nu ook al aan de hand met Google die foto's analyseert op het internet.
Daarop bedoelde ik juist "het moet iets toevoegen", en dan in de zin van ;
Hoe kun je dit implementeren, gebruiken en veilig maken zodat het niet zomaar je privacy aantast.
Ik begrijp en waardeer je betoog maar ik denk dat je niet de illusie dat iets "veilig en privacybeschermend" is, moet koesteren. We leven momenteel helaas in een wereld waar je ten alle tijden ervan uit moet gaan dat de mens van nature niet jouw belangen voorop heeft. Winsten ten koste van alles en alleenheerschappij/dominatie zijn de kenmerken en drijfveren van vele Global Players.
Ik heb jaren geleden al eens gehoord over een insteek kaart voor de PC met een hardwarematige neuraal netwerk simulator. Dit zou toen "the next big thing" moeten worden, maar ik heb er nooit meer iets van gehoord.

Als ik op Google zoek op "neural network hardware implementation" dan wordt ik doodgegooid met patent aanvragen.

https://www.google.nl/sea...spv=210&es_sm=93&ie=UTF-8

Misschien is dat de reden dat niemand zoiets op de markt brengt.

Verder natuurlijk een goed idee, ik hoop dat het wat wordt. En ik vraag me af of het systeem achteraf nog meer termen kan leren of dat het alleen de vooraf geprogrammeerde zoektermen kan gebruiken.

edit:
@MSalters: Het kan zijn dat ze juist wel gefixeerd worden op voorgeprogrammeerde zoektermen. Dit kan nl nog meer hardware besparen, in plaats van programmeerbare nodes krijg je dan gefixeerde nodes. Het trainen ga je nl. toch niet meer doen op je telefoon, gezien er vele iteraties en diversiteit aan bronmateriaal voor nodig is om een neuraal net te trainen.

Verder zijn ze zo inefficiënt om uit te voeren omdat het heel anders werkt dan een huidige GPU/CPU. Nodes in ons brein werken allemaal tegelijk een CPU moet alles sequentieel afhandelen. Vooral als het neurale netwerk complex wordt is het erg lastig om CPU/GPU efficiënt in te zetten. Je kan b.v. de eerste nodes parallel doorekenen die aan je input hangen (in dit geval de image). Maar daarna gaat die output naar een hoeveelheid andere nodes die je pas door kan rekenen in de volgende iteratie. Als je ze in hardware implementeert is het een geval van aan elkaar knopen en werkt alles parallel.

[Reactie gewijzigd door PuzzleSolver op 2 januari 2014 11:20]

Neurale netwerken zijn een periodiek terugkomend idee in Kunstmatige Intelligentie. Het is eigenlijk een erkenning dat ze om dat moment geen beter idee hebben, want ze zijn behoorlijk inefficient. Dat Google 16.000 processoren (eigenlijk CPU cores) nodig heeft is veelzeggend.

Het grote voordeel van neurale netwerken is juist dat ze niet beperkt zijn tot vooraf geprogammeerde zoektermen. Dat is waarom ze evolutionair zo'n succes zijn.
Welja, weer een techniek die voor grootschalige privacyschending gaat zorgen. Zelfs zonder onderschrift kan men dan zien waar iemand is geweest.

Erger nog: je kunt bepaalde genetische aanleg herkennen in een gezicht (meest extreem voorbeeld: mensen met down-syndroom) Een droom voor zorgverzerkeraars om zoveel mogelijk foto's van jou te hebben om een risicoprofiel op te stellen met bijbehorende premie.

Om deze reden moet er zo snel mogelijk een verbod (naar Zweeds model) komen die het strafbaar maakt beeldopnamen te maken en/of te publiceren zonder toestemming van afgebeelde personen.

[Reactie gewijzigd door ari3 op 2 januari 2014 14:48]

Welnu, de techniek is er al, alleen nog niet in mobiel telefoons, dus eigenlijk zouden we dot als een goede ontwikkeling moeten zien, omdat we dan voortaan zelf vanaf onze telefoon kunnen zien wat de NSA allemaal weet over ons :+

Maar verder ben ik het met je helemaal met je eens!
Toelichting Zweeds model:
In Zweden gelden strengere regels voor het publiceren van foto's en filmpjes in de privésfeer. De wet is bedoeld om het verspreiden van foto's tegen iemands wil via internetdiensten als Twitter, Facebook en YouTube tegen te gaan.

Bron: http://nos.nl/artikel/512...ie-zweden-aan-banden.html
"zijn dan vooralsnog geen neurale processors"

moet 'neurale' niet 'neutrale' zijn?
Nee. "Neuraal" komt van "neuron", de cellen die in hersenen het denkwerk doen. Een neuraal netwerk simuleert het gedrag van een klein aantal neuronen. Indien je die (gesimuleerde) neuronen een aantal patronen aanbiedt met bijbehorende labels, dan leren de neuronen dat patroon. Bied je die getrainde neuronen vervolgens ongelabelde patronen aan, dan zoeken die neuronen het best passende label op.

Intern werkt dit vrij simpel: elk neuron heeft een aantal inputs, die door een stel weegfactoren gecombineerd worden tot 1 output. Sommige inputs lezen direct de input data in, sommige outputs leveren de uiteindelijke resultaten op, maar verreweg de meesten zijn intern doorverbonden. Bij het inleren wordt gekeken welke weegfactoren bijdragen aan het goede resultaat en welke juist noet. Goede weegfactoren worden verhoogd en slechte verlaagd.

Het praktische probleem is dat je al gauw duizenden neuronen nodig hebt als je een beetje complexe input hebt, zoals een beeld. Om die reden doen je oren en ogen al behoorlijk wat voorverwerking. De Fourier transformatie van geluid vindt bijvoorbeeld plaats door de haartjes in je oren.
Neuraal in de zin van, op een analoge wijze van de hersenwerking.
Hoeft NSA nog minder moeite te doen.
De smartphone is dadelijk een totale spy system. en wij maar kopen.
waar telkens meer dingen aan toe woorden gevoegd dat ze letterlijk ( ECHT ) alles weten van audio fotos etc...
een Core die alleen maar zoekt in je smartphone naar alles wat AIVD.NSA. Etc.. willen weten

[Reactie gewijzigd door DSTech op 2 januari 2014 18:09]

Waarom moet bij elk nieuwbericht de NSA er weer bijgehaald worden.. Een techniek kan in goede zin en kwade zin gebruikt worden. Met de juiste beveiliging en bijvoorbeeld open source software is er niet veel waar je bang voor hoeft te zijn.
Je was een jaar of 7 a 8 toen de muur viel, dus we kunnen je de uitspraak "Met de juiste beveiliging en bijvoorbeeld open source software is er niet veel waar je bang voor hoeft te zijn." het niet echt kwalijk nemen, maar verdiep je eens in het communimse/ socialisme van de 20e eeuw en de grip die die systemen op hun burgers hadden. Langzaam maar zeker glijden we, het "vrije" westen, weer die kant op. Destijds ging dat ook geleidelijk, nu kan het vele malen soepeler, zeker nu bijna iedereen met een spionage- en volgsysteem in zn zak loopt.
Er is maar 1 echte oplossing. Wij, de burgers, moeten onze regeringen op democratische manier duidelijk zien te maken dat het op grote schaal schenden van onze rechten, niet gepikt wordt of ooit gepikt gaat worden. Natuurlijk moeten politie, justitie en eventuele (militaire) inlichtingendienst over bepaalde opsporingsmiddelen kunnen beschikken, maar dan wel binnen wettelijke kaders, met respectering van grondrechten en universele verklaringen van de rechten van de mens EN met onafhankelijke, rechterlijke toetsing, zowel vooraf als achteraf (en uiteraard forse sancties voor organisaties en individuen die willens en wetens buiten de wettellijke kaders opereren.)
Verder moeten wij burgers ons eens gaan realiseren dat een 100% veilige maatschappij niet bestaat of ooit zal bestaan en de politici die dat beweren eens hard uitlachen. Tot slot mag het wmbt bij elk nieuwsitem tot vervelens toe erbij gehaald worden, wellicht dat het grote gevaar eens eindelijk doordringt bij de grote massa. Ik hoor nog iets te veel, ook in mijn omgeving, de dooddoener "Ik heb niks te verbergen"
Ik ben ook helemaal zo naïef dat ik dat niet zie gebeuren, ik zie de ontwikkelingen ook en vind het heel eng. Maar om bij elke technologische ontwikkeling te roepen dat de NSA dit gefinancieerd zou kunnen hebben om ons te bespioneren vind ik te kort door de bocht. Daarnaast gebruikt men massaal de technieken en zetten we alles in de cloud zonder erbij na te denken. Dat is geen reden voor opsporingsdiensten om dat te gebruiken maar we maken het ze wel heel makkelijk zo.

Uiteindelijk gaat dit artikel om een applicatie specifieke processor die goed voor het zoeken in foto's, net zoals we applicatie specifieke processoren hebben voor beeldbewerking (GPU's) en geluidsanalyse (DSP's). Ik begrijp gewoon niet wat de NSA hier mee te maken heeft. DSP's zouden ook gebruikt kunnen worden voor het analyseren van telefoongesprekken bijvoorbeeld.
Omdat dit gewoon de realiteit is. Je kan nu met zekerheid stellen tijdens deze continue stroom van NSA onthullingen dat techniek sowieso voor kwaad (grootschalige spionage van iedereen) wordt gebruikt. Het is geen kwestie meer van : het kan, nee het gebeurd! Dus dat de NSA straks heel je gefotografeerd leven kan doorzoeken op objecten in je fotos door een simpele zoekinstructie te sturen naar je smartphone vind ik wel zorgwekkend. Ze kunnen nu ook al wel foto's doorzoeken, maar het kost hen factor X meer moeite en kost bakken met geld. Straks betalen wij het in de prijs van onze smartphone en hopla: alle foto's zijn doorzoekbaar voor 0 dollar investering!
Mocht de NSA dat inderdaad gaan doen, dan zou het ook zomaar kunnen zijn dat de NSA dit financieerd. Zou me ergens ook niets verbazen. Aan de andere kant, technieken blijven ontwikkelen en iedereen kan eraan meedoen. Dus ook de NSA.
Ik zie meer nut voor dit op de desktop? Ik heb 150.000 (of zo) fotos op de NAS staan, tegen minder dan 100 op smartphone of tablet.
Het foto's doorzoeken is niet het doel, het is slechts een aansprekende toepassing. Het doel is een energie zuinige vorm van "kunstmatige intelligentie" / patroonherkenning toevoegen die voor veel verschillende dingen gebruikt kan worden.
Dan nog zou ik niet weten waarom het tot smartphones (en tablets) beperkt zou moeten worden? Met name in laptops kan zo'n co-processor ook best nut hebben, als dat een snelheidsverhoging combineert met een lager energieverbruik.
Omdat de markt voor smartphones en tablets nu al vele malen groter is dan die voor desktops en laptops.

Ik ben het met je eens overigens dat dit soort dedicated coprocessoren ook voor allerlei andere toepassingen interessant zijn en dat je ze daarom wellicht ook in andere apparaten gaat zien, maar ik kan me ook voorstellen dat de hoofdreden om zulke ontwikkelingen te doen is alle "mobiele devices" met hun typische constraints op 't gebied van energieverbruik (en afmetingen).
Ik denk dat het van de algemene computer-ontwikkelingen af gaat hangen. Het is een hardware-oplossing die technisch ook in software toegepast kan worden. Als de hardware niet met de ontwikkelingen meegroeit wordt het heel snel ingehaald door software die hetzelfde sneller en goedkoper kan. Dat het hier om een neuraal systeem gaat is volgens mij niets meer dan een P&R-praatje voor de betrokken onderzoekers. Tenminste, ik neem aan dat het gewoon om een 'conventioneel' logisch computersysteem gaat en niet om fundamenteel anders werkende elektronica. Software-emulatie van dit systeem is in dat geval altijd mogelijk en zal op termijn dezelfde performance halen. Volgens Moore duurt dat niet eens zo gek lang dacht ik.
Neurale netwerken zijn behoorlijk anders. Analoog, zelfs, alhoewel deze FPGA waarschijnlijk dat deel simuleert.
De desktop heeft sowieso al meer rekenkracht dan een smartphone dus of dat nut heeft in een desktop is maar de vraag.

Ik kan mij ook vergissen hoor :P
Een desktop/laptop processor heeft inderdaad meer rekenkracht... maar doorgaans ook vele malen meer data om te verhapstukken. @ADQ zegt het al: 150.000 foto's op z'n NAS vs. 100 op z'n smartphone. Bij mij is de situatie niet heel veel anders. Ik zie het nut van deze toepassing op een desktop wel hoor...
Waar zouden ze het dan moeten integreren? In de CPU zelf?

Als je het zo bekijkt dan heb je wel gelijk :)
Of misschien omdat Google het al net desktops heeft gedaan probeert deze universiteit het met smartphones.
Als ik het artikel lees willen ze uiteindelijk het IP verkopen aan chipmakers zoals Samsung of Qualcomm maar bedrijven zoals Google zullen deze technologie ook zeker interessant vinden om ons weer betere advertenties te tonen afgestemd naar onze interesses op de foto's.

Ben alleen bang dat niet alleen advertentiebedrijven maar ook inlichtingendiensten deze technologie, als ze deze nog niet bezitten, interessant zullen vinden.

[Reactie gewijzigd door Chocoball op 2 januari 2014 10:32]

Neurale-netwerk technologie is absoluut niet nieuw, en hardware implementaties zijn dat ook niet. Dat waren vroeger insteekkaarten, maar je gemiddelde smartphone heeft geen PCI-e slot. Deze nieuwe technologie zal dus voor inlichtingendiensten en advertentiebedrijven weinig opleveren.

Sowieso verbaas ik me erover waarom ze dit on-device willen doen. Een 480x320 plaatje in JPEG formaat is zo verzonden, en kan dan server-side herkend worden. Plaatjes in hogere resolutie leveren simpelweg teveel pixels op voor een neuraal netwerk in een enkele chip
Word gratis geleverd met backdoor voor de NSA. Kortom: geen goed idee. Ik vis zelf wel de foto's uit mijn collectie die ik wil zien.
Hmm. Op zich interessant maar als het net zo "goed" is als de gezichtsherkenning krijg je nogal een fout resultaat.
Eerder testte Google al een systeem met deep learning, waarbij 16.000 processors werden gebruikt om katten te herkennen op afbeeldingen.
Daar hebben ze in elk geval een flinke collectie van... Het praktisch nut ontgaat me alleen.

Op dit item kan niet meer gereageerd worden.



Apple iOS 10 Google Pixel Apple iPhone 7 Sony PlayStation VR AMD Radeon RX 480 4GB Battlefield 1 Google Android Nougat Watch Dogs 2

© 1998 - 2016 de Persgroep Online Services B.V. Tweakers vormt samen met o.a. Autotrack en Carsom.nl de Persgroep Online Services B.V. Hosting door True