Microsoft demonstreert kunstmatige intelligentie Adam

Microsoft wil met zijn kunstmatige intelligentie Project Adam concurrent Google naar de kroon steken. Het neurale netwerk met de naam Adam zou niet alleen sneller zijn dan Google Brain, maar zou ook nog eens met minder hardware toekunnen.

Het kunstmatige-intelligentieproject van Microsoft concurreert onder meer met Google Brain, Apples techniek achter Siri en Facebooks algoritmes voor tagging. Het is gebaseerd op een vorm van ai die deep learning genoemd wordt, waarbij handelingen als spraakherkenning, vertalen en computer vision uitgevoerd worden. Daarvoor worden neurale netwerken, die gemodelleerd zijn naar hersenen, ingezet. Microsofts neurale netwerk Project Adam zou vooral goed zijn in het herkennen van afbeeldingen en zou Googles Brain ruimschoots voorbij streven. Details over Adam gaf Microsoft echter tot dusver niet.

Inmiddels is daar verandering in gekomen: het hoofd van Microsoft Research Peter Lee heeft Project Adam uit de doeken gedaan. Zo liet hij zien hoe Adam in de ImageNet 22K-benchmark de beste prestaties neerzet. Microsoft claimt twee keer de nauwkeurigheid van Google Brain met slechts een dertigste aan hardware. Daarbij worden het systeem tweeëntwintigduizend afbeeldingtypes voorgeschoteld die geclassificeerd moeten worden, genoeg om menig systeem op de knieën te krijgen. Hoe Adam wel succesvol met die dataset overweg kan, komt vooral door de manier waarop data uitgewisseld wordt tussen de diverse servers. Grote hoeveelheden 'nodes' moeten door masterservers gecontroleerd worden om geen conflicten met data-uitwisseling te krijgen.

Dat kost rekenkracht en is lastig naarmate systemen complexer worden. Adam gebruikt echter een techniek die Hogwild genoemd wordt en asynchrone systemen levert. Zo hoeft niet gewacht te worden op verschillende servers en kan veel sneller gewerkt worden. De techniek werd door de universiteit van Wisconsin ontwikkeld en door Microsoft uitgebouwd voor gebruik met Adam. Het project draait nu nog op servers van Microsofts Azure cloud, maar in de toekomst zouden fpga's wellicht effectiever ingezet kunnen worden. Gpu's zouden niet geschikt zijn en alleen maar data-bottlenecks opleveren door een stortvloed aan data.

Project Adam draait vooralsnog als app die alleen bij Microsoft Research beschikbaar is: of een publieke versie in het verschiet ligt is onbekend. De app wordt onder andere gebruikt om dieren te herkennen wanneer een foto van ze gemaakt wordt. Toekomstige applicaties zouden echter stukken uitgebreider zijn, op vlakken als gezondheid en entertainment.

Helaas!
De video die je probeert te bekijken is niet langer beschikbaar op Tweakers.net.

IT-banen

Reacties (67)

Barryke 15 juli 2014 15:12

Belangrijke aan Hogwild! is dat het berust toestaat dat meerdere processen in hetzelfde geheugen werken, en dus dat de volgorde waarin meerdere processen ermee werken niets uitmaakt.

De software moet hier natuurlijk op voorzien zijn: als er 1 in het geheugen staat en het moet opgehoogd worden met 2 en met 5, dan maakt de volgorde niet uit.. de uitkomst is toch 8. En om die reden dat de software zo anders/speciaal/veeleisend is, maakt het des te interessanter om meteen FPGA's te overwegen ipv CPU's..

En nu hebben ze dus het principe (niet de techniek!) van Hogwild! toegepast op systeem-netwerk schaal.

[Reactie gewijzigd door Barryke op 23 juli 2024 03:57]

MSalters

Wetenschap
Kunstmatige intelligentie

@Barryke • 15 juli 2014 18:00

Sorry, nee. Hogwild gaat niet over processen die in hetzelfde geheugen werken. En je verhaal over 1+2+5=8 mist dan ook elke relevantie.

Het probleem wat Hogwild oplost is Gradient Descent. Als ik een functie f(x1, x2, x3, x4, ... xn) heb, dan kan ik makkelijk de waarde op elk punt vinden - gewoon invullen. Het is lastiger om het minimum te vinden. Met een simpele 1-dimensionale functie gaat dat vrij simpel - helling naar beneden volgen. In 2D werkt het ook nog goed. In 10000 dimensies heb je een probleem.

Hogwild lost dit probleem op door meerdere hellingen naar beneden uit te rekenen, in niet-overlappende dimensies. Als je bijvoorbeeld een stap naar het Noorden kunt nemen, en een stap naar het Westen, dan neemt Hogwild aan dat je het beste naar het Noordwesten kunt.

Wat je dus ziet zijn niet-overlappende simultane updates. Niet 1+2+5, maar Noord += 1 en West += 2 (de stapgrootte hang van de helling in elke richting af)

En wat Microsoft Adam nu doet is dit Gradient Descent algoritme toepassen op neurale netwerken. In neurale netwerken definieer je een kostenfunctie die het verschil is tussen de classificaties van het neurale netwerk en de handmatige classificatie van een trainingsset. Hoe meer verschillen, hoe meer fouten, hoe hoger de kosten. Dat is een complexe, hoog-dimensionale functie - elk neuron uit het neurale netwerk draagt 1 of 2 factoren bij. Met Gradient Descent kun je die fouten minimaliseren, met met Hogwild Gradient Descent kan dat dus snel. En daarmee krijg je dus nieuwe, betere coëfficienten voor de neuronen in je neurale netwerk.

[Reactie gewijzigd door MSalters op 23 juli 2024 03:57]

Barryke @MSalters • 16 juli 2014 08:23

Sorry, nee. Hogwild gaat niet over processen die in hetzelfde geheugen werken.

Wellus

, en bedankt voor je gedetaileerde antwoord. Daar is +1 +2 +5 een keurig abstract voorbeeld van. Zie ook..

3) The HOGWILD! Algorithm
Here we discuss the parallel processing setup. We assume a shared memory model with p processors. The decision variable x is accessible to all processors. Each processor can read x, and can contribute an update vector to x. The vector x is stored in shared memory, and we assume that the componentwise addition operation is atomic,
(..)

Bronnen: http://www.wired.com/2014/07/microsoft-adam/ en http://i.stanford.edu/hazy/papers/hogwild-nips.pdf

Hetgeen Adam verder abstraheert is dat systemen nu elkaars data mogen manipuleren zoals eerder bij Hogwild! alleen verschillende processors in 1 systeem dat konden.

[Reactie gewijzigd door Barryke op 23 juli 2024 03:57]

MSalters

Wetenschap
Kunstmatige intelligentie

@Barryke • 16 juli 2014 09:33

Weet je waarom het een shared memory model is? Je hebt die vector x1...xn in shared memory zodat elke update daar de vector kan wijzigen. Maar de essentie van Hogwild is dat je elke vector component apart wijzigt. x1+2 en x2+5 bijten elkaar niet.

Ik weet dat het Wired artikel dit simplificeert, maar dat is voor leken geschreven. De paper van Stanford is bedoeld voor techneuten. Die maakt duidelijk waarom het geen issue is. Het voorbeeld van 1+2+5 gaat in de praktijk fout omdat elke moderne processor een load-add-store doet. Met twee processoren heb je potentieel 2 loads van 1, 2 adds met resultaten 3 en 6, en twee stores waarbij de tweede het resultaat van de eerste overschrijft.

En wat processen betreft, je quote gaat over processoren. Ik zie nog steeds niet waar Hogwild meerdere processen gebruikt. Adam is wat dat betreft onduidelijker - het is een multi-server systeem, ja, maar het moest duizenden images leren. Dat is waarschijnlijk embarrassingly parallel. Elke server leest een batch met images in, en doet zelfstandig de feature extractie. Het neurale netwerk trainen kan daarna op 1 dikke server.

Barryke @MSalters • 16 juli 2014 10:11

You say tomato, ik zeg hetzelfde wat abstracter.

DeEchteKwartel 15 juli 2014 14:46

Klinkt allemaal heel erg spannend. Ben benieuwd wat dit kan brengen. Persoonlijk zou ik het vet vinden als Cortana met Adam kan praten. Daar zijn vast nuttige toepassingen voor te bedenken. Ook zou dit kunnen helpen in de strijd tegen kinderporno e.d. waarbij er dus minder mensen belast hoeven worden met deze afgrijselijke taak.

HuRRaCaNe @DeEchteKwartel • 15 juli 2014 15:33

Op het youtubekanaal van Microsoft Research hebben ze een snippet gepubliceerd van een live demo. Hier wordt Cortana gebruikt: https://www.youtube.com/watch?v=zOPIvC0MlA4

D-Three @DeEchteKwartel • 15 juli 2014 15:11

Hopelijk blijft er toch enige menselijke controle. Ik weet niet of zo'n systeem nu al het verschil kan bepalen tussen wat kinderporno is en iemand die zijn baby in bad doet... Moeten we trouwens blij zijn dat het merendeel van de cloud opslagdiensten onze data scannen?

Hoppa! @D-Three • 15 juli 2014 15:54

Twee opmerkingen:

1. Als vader vind ik dat je een foto van je baby/peuter/kleuter die je in bad doet sowieso niet op internet moet plaatsen. Ik zie dat soort dingen ook wel eens voorbijkomen op social media, echt iets voor hele domme ouders. Dan kun je wel zeggen dat je die foto alleen deelt met je 'vrienden', maar ik durf mijn handen niet in het vuur te steken dat er tussen al mijn vrienden/collega's en andere vage social media vrienden, niemand zit die de foto van mijn dochter vrolijk deelt met zijn pedo-vriendjes.

2. Maar gelet op de rest van je bericht doel je vooral op foto's die niet publiek toegankelijk zijn en ergens in de cloud staan. Dan wordt het verhaal anders. Dan vind ik inderdaad dat die niet gescreend zouden moeten worden door opslagdiensten. Althans, niet zonder opdracht van iemand met een zoekbevel. Ook niet om te screenen op terroristisch of pedoporno. Ik ben helemaal geen privacyfundamentalist (ik word hier zelfs regelmatig uitgemaakt voor naïef en niet van deze wereld op dat terrein) maar domweg alles screenen gaat te ver. Overigens koester ik mij geen enkele illusie, het gebeurt allang. Misschien niet door de opslagdienst, maar wel door regeringen.

Lisadr @Hoppa! • 15 juli 2014 17:13

Over 1. Moeten dit soort ANP foto's dan ook niet meer op internet? http://www.rtlnieuws.nl/s...et%20kinderen%20anp_0.jpg

Hoppa! @Lisadr • 15 juli 2014 17:20

Ik zou daar als vader absoluut geen toestemming voor geven, inderdaad.

Forsakeneyes @Hoppa! • 15 juli 2014 17:59

Ik snap dat alleen al de gedachte dat iemand zich af zou kunnen trekken op zo'n foto al niet fris is. Maar ik vind dit -in tegenstelling tot het voorbeeld in je betoog- toch vrij ontschuldig.

Het fotografieverbod dat veel zwembaden al hebben ingevoerd gaat mij dan ook veel te ver. Ouders, familieleden of vrienden zouden toch op zijn minst gewoon foto's moeten kunnen maken van (hun) koters die afzwemmen of iets dergelijks?

[Reactie gewijzigd door Forsakeneyes op 23 juli 2024 03:57]

Maulwurfje @Forsakeneyes • 15 juli 2014 19:50

Het schieten van een plaatje is niet zozeer hey probleem. Het verspreiden via internet is niet altijd handig of 'veilig'.

mcmd @Hoppa! • 15 juli 2014 21:39

Jeetje, wat aggressief. Je kunt toch ook gewoon een praatje maken en vragen wat er gebeurt?
Niet iedereen die een foto maakt is meteen een misdadiger.

Diavire @mcmd • 15 juli 2014 21:52

Als iemand duidelijk een foto staat te maken van jouw kind in badpak, dan is dat geen overdreven reactie, je kan natuurlijk vragen wat er is, maar noem mij eens een situatie waar die fotograaf er smetteloos vanaf zou komen?

mcmd @Diavire • 15 juli 2014 22:02

Dat is dus het hele punt, dat weet je niet en je komt er alleen maar achter door te vragen lijkt me. Je kunt dan verrassende antwoorden krijgen en niet alleen maar richting pedo of zo.
Door zo primair te reageren (dan timmer ik hem op zijn bek) is m.i. een probleem in onze samenleving, zeker als veel mensen zo zouden reageren. Wie durft er dan nog op straat te lopen en een ander aan te kijken...

Forsakeneyes @mcmd • 15 juli 2014 23:38

Tja, bangmakerij in de media hé...

Diavire @mcmd • 16 juli 2014 08:26

Ik denk dat je gewoon een andere voorstelling er van maakt, ik verwacht dat jij gewoon iemand voor je ziet die over een groot oppervlak een foto maakt.

Zoals Hoppa het voorsteld zie ik iemand voor me die recht tegenover je kind gaat zitten en plaatjes gaat schieten.

Verschil in situatie, denk ik.

(maarre, bedenk eens een situatie waar dat ok zou zijn? Ik kan er namelijk geen bedenken, serieus niet.)

Bonez0r @Hoppa! • 16 juli 2014 01:36

En hoe ga je dat uitleggen aan je kind? Iemand maakt een foto en vervolgens slaat pa diegene het ziekenhuis in? Dat lijkt me een nogal traumatische ervaring voor het kind, terwijl als je wat minder doorgeslagen hysterisch zou reageren er niks aan de hand is. Ik vraag me trouwens af wat je gaat doen als google glass er is, of de opvolger in de vorm van contactlenzen die van buitenaf niet te zien zijn. Ga je dan iedereen in elkaar timmeren die ook maar een seconde naar je dochter kijkt? Of sluit je haar dan thuis op achter slot en grendel?

kimborntobewild @Hoppa! • 15 juli 2014 21:34

Hoe weet jij dat ze foto's van hun kinderen maken? Als ik in een zwembad iemand zie die een foto van mijn dochter maakt dan timmer ik hem op zijn bek.

Dus als iemand foto's maakt van hun eigen kind tijdens het afzwemmen en jouw kind zou daar tievallig ook bij op staan omdat ze ook inhet zwembad is, begin jij direct te timmeren? Gewelddadig hoor. En totaal doorgeslagen als je het mij vraagt.

Silmarunya @Lisadr • 15 juli 2014 17:23

Even omdraaien: waarom moeten ze er wel op?

Als er geen goede reden is om iets te doen, doe het dan niet. Zeker als het om iets gaat dat kan misbruikt worden.

davince72 @Silmarunya • 15 juli 2014 20:19

Omdat het onschuldig is!
Draai het om: Moeten we alle foto's weren van internet waar minderjarigen op staan? Wat een onzin.
Neemt niet weg dat er hele zieke geesten op deze wereld rondlopen, maar wat doe je daar aan? Hier geld ook een beetje wat niet weet wat niet deert.
Er zullen vast ook malloten zijn die aan hun trekken komen met een staatsieportret van Beatrix.

Silmarunya @davince72 • 15 juli 2014 20:22

Wie spreekt over verbieden? Ik deel wel de mening van Hoppa dat foto's van je kinderen (en foto's tout court) niet op het internet horen als er geen goede reden is om ze erop te zetten.

Overigens; niet alles dat onschuldig is, hoort ook thuis op het internet.

davince72 @Silmarunya • 15 juli 2014 20:44

Je reageerde op lisadr en zijn anp foto.....vandaar. De ANP foto lijkt mij onschuldig en zinvol om het zomerse vertier aan het strand te visualiseren.
Natuurlijk deel ik de mening dat je niet zomaar al je kiekjes op internet moet dumpen, maar je kunt overdrijven.

En verder heb ik het niet over verbieden gehad?? Heb wel de term 'weren' gebruikt in een vraag....

[Reactie gewijzigd door davince72 op 23 juli 2024 03:57]

D-Three @Hoppa! • 16 juli 2014 18:31

Maar gelet op de rest van je bericht doel je vooral op foto's die niet publiek toegankelijk zijn en ergens in de cloud staan. Dan wordt het verhaal anders. Dan vind ik inderdaad dat die niet gescreend zouden moeten worden door opslagdiensten. Althans, niet zonder opdracht van iemand met een zoekbevel. Ook niet om te screenen op terroristisch of pedoporno. Ik ben helemaal geen privacyfundamentalist (ik word hier zelfs regelmatig uitgemaakt voor naïef en niet van deze wereld op dat terrein) maar domweg alles screenen gaat te ver. Overigens koester ik mij geen enkele illusie, het gebeurt allang. Misschien niet door de opslagdienst, maar wel door regeringen.

Ik had het inderdaad over foto's die opgeslagen zijn in de cloud en niet publiekelijk toegankelijk. Maar ik vrees dat je wel nog illusies koestert, het scannen gebeurt zeker ook door de opslagdiensten. Officieel dikwijls om te controleren of de content wel voldoet aan de eisen van hun beleid. Maar wat er achter de schermen mee gebeurt, weet je uiteraard nooit zeker. Wist je trouwens dat je bij het gebruik van sommige foto-diensten ook de toestemming geeft dat ze jouw foto's mogen gebruiken? Niemand leest die kleine lettertjes...

DeEchteKwartel @D-Three • 15 juli 2014 15:14

Oh nee zeker, maar nu zijn er mensen die bakken met zulk soort plaatjes door struinen, maar alle geautomatiseerde hulp is wenselijk, al is het maar een voorselectie.
Ik denk dat je daar nog steeds toestemming voor moet vragen..

[Reactie gewijzigd door DeEchteKwartel op 23 juli 2024 03:57]

mad_max234 @DeEchteKwartel • 15 juli 2014 15:30

Toestemming geef je veel al bij de registratie op dit soort sites.

Verwijderd @DeEchteKwartel • 16 juli 2014 00:51

Persoonlijk zou ik graag eens een achtergrond-reportage zien over de technieken die bij het deep-learning worden gebruikt, en over wat je er allemaal mee kan.

[Reactie gewijzigd door Verwijderd op 23 juli 2024 03:57]

Idifix-nl 15 juli 2014 14:48

Ik zou graag wel eens wat bench marks naast mekaar willen zien in gelijke omgeving onder gelijke omstandigheden.

Inpv voor jezelf de optimale situatie creëren en dan roepen dat je beter beter bent dan je concurrent. Zo komt mij dat te-minstens nu over

Los van dat kan ik wel toejuichen dat meer grote spelers zich bezig houden met de ontwikkeling van AI
Naast Google en Apple doet met zelfs beetje denken aan de film Transcendence maar das wel beetje offtopic ;-)

the_shadow @Idifix-nl • 15 juli 2014 14:55

Ik zou graag wel eens wat bench marks naast mekaar willen zien in gelijke omgeving onder gelijke omstandigheden.

Inpv voor jezelf de optimale situatie creëren en dan roepen dat je beter beter bent dan je concurrent. Zo komt mij dat te-minstens nu over

Hoe is dit niet gelijke omstandigheden? ImageNet is een onderzoeksproject van Stanford en wordt gewoon als synthetische benchmark gebruikt, net zoals je 3D Mark, Sun spider etc gebruikt (maar dan voor een ander doeleind natuurlijk).

[Reactie gewijzigd door the_shadow op 23 juli 2024 03:57]

Verwijderd @Idifix-nl • 15 juli 2014 15:37

Inpv voor jezelf de optimale situatie creëren en dan roepen dat je beter beter bent dan je concurrent. Zo komt mij dat te-minstens nu over

De relevante benchmark wordt genoemd in het artikel

[Reactie gewijzigd door Verwijderd op 23 juli 2024 03:57]

CuBras 15 juli 2014 14:48

Wat een vooruitgang in techniek de laatste jaren!
Jammer dat dit soort techniek nog in "de kinderschoenen" staat en dat wij als consument er pas over tientallen jaren mee aan de slag kunnen. (hoop ik!)

the_shadow @CuBras • 15 juli 2014 14:59

Jammer dat dit soort techniek nog in "de kinderschoenen" staat en dat wij als consument er pas over tientallen jaren mee aan de slag kunnen. (hoop ik!)

Goed mogelijk dat dit op een gegeven moment gewoon de image search engine van Bing gaat faciliteren. Je zal het dan wel niet direct zelf zien, maar kan wel van de verbeteringen gebruik maken. Sterker nog: dit zijn hoe dan ook technieken die als engine gebruikt dienen te worden, niet iets waar je als consument direct mee interact.

[Reactie gewijzigd door the_shadow op 23 juli 2024 03:57]

ToCoBu @the_shadow • 15 juli 2014 17:02

Ik meen mij te herinneren (heb even geen andere bron dan mijn geheugen) dat dit een van de redenen is waarom ook Google hiermee bezig is. Het idee dat zij al weten wat jij gaat zoeken voordat jij het gaat zoeken.
Natuurlijk ook iets wat makkelijk misbruikt kan worden (als zij bijvoorbeeld dit voor jou gaan bepalen / manipuleren), maar het concept in de pure vorm 'een computer die jou begrijpt/ of zelfs jou beter kent dan jijzelf' en die jou vervolgens verder helpt is wel een zeer interessante ontwikkeling om te blijven volgen.

Verwijderd @CuBras • 15 juli 2014 15:27

Wat een vooruitgang in techniek de laatste jaren!
Jammer dat dit soort techniek nog in "de kinderschoenen" staat en dat wij als consument er pas over tientallen jaren mee aan de slag kunnen. (hoop ik!)

Deze techniek staat niet in de kinderschoenen maar is nu al operationeel en deel van de technieken die SIRI en dergelijke services leveren. In het Engels (of beter Amerikaans) krijg je vaak verbluffend diepzinnige en correcte antwoorden.

TryOG 15 juli 2014 15:02

Combineer Adam met een laser, leer het met deep learning kankercellen herkennen en fire away!

Ik kan niet wachten op wat de toekomst gaat brengen.

Bonez0r @TryOG • 16 juli 2014 01:42

Ik begon met lezen en dacht dat je een heel andere kant op zou gaan. Zoiets als:

"Combineer Adam met een laser, leer het met deep learning vijandelijke soldaten herkennen en fire away!"

Zoals met veel uitvindingen zal het, naast mooie toepassingen, ook wel weer gebruikt worden om efficiënter mensen te doden.