×

Help Tweakers weer winnen!

Tweakers is dit jaar weer genomineerd voor beste nieuwssite, beste prijsvergelijker en beste community! Laten we ervoor zorgen dat heel Nederland weet dat Tweakers de beste website is. Stem op Tweakers en maak kans op mooie prijzen!

Cookies op Tweakers

Tweakers maakt gebruik van cookies, onder andere om de website te analyseren, het gebruiksgemak te vergroten en advertenties te tonen. Door gebruik te maken van deze website, of door op 'Ga verder' te klikken, geef je toestemming voor het gebruik van cookies. Wil je meer informatie over cookies en hoe ze worden gebruikt, bekijk dan ons cookiebeleid.

Meer informatie

Facebook verbetert schaalbaarheid machine learning voor beeldherkenning

Door , 29 reacties, submitter: moeilijkenaam

Facebook heeft een methode ontworpen om de trainingstijd voor machine learning terug te brengen bij het verhogen van het aantal gpu's. Een test bij een dataset van 1,2 miljoen afbeeldingen verlaagde de trainingstijd van meerdere dagen naar een uur, met behoud van accuraatheid.

Facebook maakt voor zijn methode gebruik van het modulaire Caffe2-framework voor schaalbare deep learning en van de Gloo-library voor collectieve communicatie. De software draaide op Facebooks eigen Big Basin-servers met Nvidia Tesla P100-accelerators.

Facebook zet hiermee gedistribueerde training voor deep learning-modellen in, met Distributed synchronous SGD, maar onderzoekers van het bedrijf voeden de gpu's met grotere minibatches van beelden dan gebruikelijk.

Bij een test met het populaire ResNet-50-model voor beeldclassificatie op ImageNet, bestaande uit 1,2 miljoen afbeeldingen, deed Facebook er 29 uur over om te trainen met 8 Tesla P100-accelerators als minibatches van 256 beelden ingezet werden. Tot nu toe was het zo dat grotere modellen en datasets tot een flinke toename van de trainingstijd leidden, wat opschalen bemoeilijkt. De onderzoekers van Facebook slaagden erin de omvang van de minibatches te verhogen naar 8192 afbeeldingen, waardoor het aantal gpu's ook efficiënt verhoogd kan worden, bij het onderzoek naar 256 gpu's. Hiermee lukte het om ResNet-50 in een uur te trainen, met behoudt van het accurate niveau van de kleinere batches.

Het onderzoek met de titel Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour werd gepresenteerd door de Nederlandse Facebook-ontwikkelaar Pieter Noordhuis tijdens de Data @Scale-conferentie in Seattle.

Door Olaf van Miltenburg

Nieuwscoördinator

08-06-2017 • 22:31

29 Linkedin Google+

Submitter: moeilijkenaam

Reacties (29)

Wijzig sortering
De reden waarom Facebook dit doet, is omdat ze extreem inzetten op het automatisch herkennen van foto's, geupload door gebruikers;

Ze willen exact weten wie er op de foto te zien valt, wat hij doet, in welke context en wie hij is.

Nu al is elke foto (die je upload) voorzien van een soort "guess mechanism" - bijvoorbeeld deze foto;

https://scontent-amt2-1.xx.fbcdn.net/v/t1.0-0/s480x480/19029366_1698012253559905_503662567415501688_n.jpg?oh=2354129290e941351f8e775185d8a3a2&oe=59AD41F6

Dit is een foto (van NU.nl) over de formatie van de Nederlandse regering en Facebook koppelt daar vol-automatisch deze "guess" context aan:
Image may contain: 2 people, people standing, outdoor and nature
Bron : [screenshot van de console] - https://s16.postimg.org/8txc79ppf/foo.png
Ik kan het nog niet reproduceren. Als ik naar dezelfde foto blader op Facebook en ik kijk in bron dan staat er:
alt="foto van NU.nl."

:?
Geen idee waarom jij de "guess" niet ziet, want het is standaard Facebook-gedrag.

Bij deze foto - https://scontent-amt2-1.x...49e17a9ceb903&oe=59D6D4C9

Zie ik bijvoorbeeld de "guess" van;
Image may contain: 4 people, people smiling, wedding, beard and outdoor
Bron - https://s3.postimg.org/z5mftbp29/new.png

Hier probeert Facebook dus een etnische profilering toe te passen op een (abstract gezien) Jidische bruiloft (wat een foto van de New York Times is, maar goed...).

- edit - Je moet niet in de bron kijken (dat is de statische code) maar via F12 / console (de dynamische code), daarmee zie je de dynamisch gerenderde code (javascript, in dit geval) van Facebook.

[Reactie gewijzigd door deathgrunt op 9 juni 2017 01:17]

De feature waar je het over hebt plaats een alternate text bij elke foto zodat slechtziende mensen die screenreaders gebruiken een impressie en meer context krijgen waar een post/artikel over gaat.

Zie ook https://newsroom.fb.com/n...lind-people-see-facebook/ en https://code.facebook.com/posts/457605107772545. De laatste link heeft meer informatie over de technologie.
Gewoon Spionage dus. Walgelijk. het ergst vind ik dat er altijd wel een paar foute lui een ontzettend mooie reden verzinnen om het wel te doen. Aan de bezwaren gaat men vrolijk voorbij. Precies die mensen die ons op grote schaal belazeren , samenwerken met foute geheime diensten en naar oorlog streven , geeft men nu alle macht op technologisch gebied. Lekker is dat.
Onduidelijk voorvoor die foto analyses gebruikt worden. Wie Facebooks voorwaarden leest, weet dat bijna voor alles kan zijn.

Het maakt mij als gebruiker van het platform, nog sceptischer om welke foto dan ook up te loaden.
Elke foto die je upload, wordt eigendom van Facebook.

Je draagt je IP (intellectual property) over, je vaderschapsrechten en je eigendomsrechten...

Bij LinkedIn overigens net zo...

- edit - Ook je portretrecht draag je over als je post op Facebook.

[Reactie gewijzigd door deathgrunt op 8 juni 2017 23:10]

Ik kan het mis hebben, maar volgens mij geef je enkel een licentie om er alles mee te doen, je draagt het eigendom noch copyright over. Copyright overdragen gaat eigenlijk ook niet echt.
Daar heb je gelijk in.

Je geef Facebook de licentie om er mee te doen wat ze willen; vaderschapsrechten zijn bv. niet overdraagbaar.

Feit blijft dat je - in de praktijk - alles overdraagt aan Facebook, na een upload van je foto.
Je draagt helemaal niets over, zoals gezegd geef je enkel een licentie (en als je een beetje logisch nadenkt is die licentie gewoon noodzakelijk voor wat je wil dat facebook met je foto doet, zonder die licentie mogen ze je foto niet aan anderen tonen bijvoorbeeld, wat toch net de reden is dat je de foto op facebook plaatst)

Belangrijk hierbij is dat die licentie slechts geld zolang je foto op facebook staat. Van zodra je de foto verwijdert telt ook de licentie niet meer.
Dat maakt het praktisch onmogelijk voor facebook om je foto te verkopen bijvoorbeeld, de koper zou immers op elk moment de foto moeten kunnen verwijderen.
Des te meer informatie over de gebruiker bekend is des te beter ze gerichte, en dus duurdere, advertenties kunnen verkopen.

Een beschrijving van een foto alleen is dus niet genoeg. Bijvoorbeeld: 'Dagje weggeweest'. Maar als er in de foto specifieker te zien is wat voor dagje weg dan kan hier toekomstige advertenties op worden aangepast.

Daarnaast​ zal Facebook wel meer doen met zo'n enorme berg informatie, maar hun hoofddoel is beter gerichte advertenties verkopen.

Andere sidenote: Google doet dit ook al. Bij Google Photos kan je bijvoorbeeld zoeken op een onderwerp zoals 'boot'. Vervolgens wordt geprobeerd alle foto's te tonen met boten erin. Nog verdergaand is het live bekijken van dingen waar Google suggesties voor geeft.
Bij Google Photos kan je bijvoorbeeld zoeken op een onderwerp zoals 'boot'. Vervolgens wordt geprobeerd alle foto's te tonen met boten erin.
Facebook gaat wel iets verder; als je zoekt op "boot", krijg je niet alleen foto's van boten te zien - maar probeert het "guess mechanism" ook te voorspellen of het een boot is, aangestuurd door mensen met een baard / op zee / in de buurt van een tanker / met wapens.

"boot" interesseert Facebook niets; zij willen weten welke boot, hoe laat hij vertrokken is, in welke zee gespot en de naam / achternaam / telefoonnummer en seksuele voorkeur (plus ziekte-indicaties) van de bootsman zelf.
Dit is niet echt nieuw, zie bv research van Baidu (~chinese Google):
https://arxiv.org/vc/arxiv/papers/1501/1501.02876v1.pdf

edit: verwarde met Weibo

[Reactie gewijzigd door venkinto op 9 juni 2017 13:00]

Baidu is geen social media platform. Je kan het beter vergelijken met Google.
bedankt, ik heb de reactie aangepast
Nou, ze hebben we zeer slimme mensen binnengehaald van Baidu naar FB's FAIR programma. Een heb ik paar dagen geleden ontmoet in San Francisco tijdens een ML/AI congres.
Data parallelism is inderdaad niet nieuw. Wat in het FB paper wordt beschreven is een algemeen toepasbare regel om de hyperparameters voor training aan te passen bij groter wordende batch size.
Dit gebeurt vrij uitgebreid binnen de grote spelers, interessant om te zien hoe hard die stappen gaan; Google, Microsoft, Facebook, Amazon. Allen willen beter kunnen 'snappen en begrijpen' (lees: context toevoegen aan hun dataset) om enerzijds eindgebruikers beter te kunnen bedienen met features en services en anderzijds beter die eindgebruikers te classificeren en segmenteren om daar ook hun geldstromen (ads, subscriptions etc) op te kunnen optimaliseren.
Ben zelf wel diep onder de indruk van wat er al mogelijk is met bijvoorbeeld een Vision API van Google:
https://cloud.google.com/vision/
Een test bij een dataset van 1,2 miljoen verlaagde de trainingstijd van meerdere dagen naar een uur, met behoud van accuraatheid.
1,2 miljoen wat? Fietsbellen?
"bestaande uit 1,2 miljoen afbeeldingen"

[edit] Sorry net zo'n nutteloze post van mij. 8)7

[Reactie gewijzigd door T-Forever op 9 juni 2017 00:47]

8192, niet 8129.
Over 5 jaar in het nieuws: amerikaanse/britse/nederlandse overheid koopt licentie op beeldherkenningstechniek van facebook, gaat op alle cameras in de openbare ruimte draaien.

[Reactie gewijzigd door Origin64 op 9 juni 2017 15:23]

Dank je wel FB, per heden geen gebruiker meer. Veel plezier gewenst aan de rest van de FB community.
Dit was de druppel die de emmer deed overlopen? Het feit dat ze schaalbaarheid hebben kunnen verhogen?

Opvallend.
idd. Zat er al een tijdje over na te denken. Dat ze het efficiënter willen aanpakken is vanuit technologisch oogpunt heel leuk maar het monster dat fb voorstelt (in mijn perceptie) ben ik liever kwijt dan rijk.
ik denk dat deze gebruiker nog niet helemaal op de hoogte was van de (verregaande otwikkeling van) automatische beeldherkenning op facebook

[Reactie gewijzigd door Origin64 op 9 juni 2017 15:27]

Dat schreeuwen zoveel tweakers bij ieder klein nieuwspostje over Facebook. En stiekem zijn ze ondertussen op fb Farmville 2 aan t spelen
dat zal je dan met die zovelen moeten oppakken. ik voel mij niet aangesproken.

Op dit item kan niet meer gereageerd worden.


Apple iPhone X Google Pixel 2 XL LG W7 Samsung Galaxy S8 Google Pixel 2 Sony Bravia A1 OLED Microsoft Xbox One X Apple iPhone 8

© 1998 - 2017 de Persgroep Online Services B.V. Tweakers vormt samen met o.a. Autotrack en Hardware.Info de Persgroep Online Services B.V. Hosting door True

*