Facebook gebruikt kunstmatige intelligentie om tekst in plaatjes te begrijpen

Facebook zet kunstmatige intelligentie in om tekst in plaatjes te begrijpen. Het systeem genaamd Rosetta herkent niet alleen de tekst, maar begrijpt ook de context. Het systeem wordt op Facebook en Instagram ingezet om onder andere haatberichten te vinden.

Facebook geeft op zijn website uitleg over Rosetta. Volgens het sociale netwerk is het gebruik van traditionele ocr-technieken niet voldoende, omdat de manier waarop tekst in afbeeldingen staat steeds verandert en ook omdat met ocr de context niet begrepen kan worden.

Rosetta maakt gebruik van een machinelearningmodel dat meer dan een miljard plaatjes met tekst van Facebook en Instagram heeft bekeken. Het gaat om openbare afbeeldingen. Voor het herkennen van tekst gebruikt de kunstmatige intelligentie Faster R-CNN.

In eerste instantie is het model getraind met alleen korte woorden, van maximaal vijf letters. Nadat het systeem al die woorden onder de knie had, zijn er steeds langere woorden toegevoegd. De kunstmatige intelligentie kan overweg met verschillende talen en tekens, moment herkent Rosetta onder andere Engels, Arabisch en Hindi.

Rosetta wordt al breed gebruikt door verschillende teams binnen Facebook en Instagram. Met de technologie worden onder andere haatberichten opgespoord. Facebook zegt nog lang niet klaar te zijn met het systeem. Er moet ondersteuning komen voor veel meer talen en het herkennen van tekst in video blijft een uitdaging.

Onderzoekers van Facebook hebben een paper geschreven over Rosetta, met de titel: Large scale system for text detection and recognition in images.

Reacties (52)

[Dennisdn]

Toevallig schrok ik er afgelopen week van hoe goed die plaatjesherkenners zijn tegenwoordig. Iemand wees mij op het vergrootglasje in de standaard iPhone foto-app. Eens wat zoekacties in gegooid als auto, dier, fiets, scooter etc. En feilloos worden ze herkend. Zelfs foto’s waar ze ergens op de achtergrond staan worden goed herkend. En ook al een soort van context. Op “scooter” kwam hij ook met de quads die we eens gehuurd hebben. En bij “auto” weet hij blijkbaar dat een bus ook een soort auto is. Bij “tijger” kwam hij met een achtergrond waar alleen een tijgermotiefje is verwerkt.

Bij “tattoo” kwamen er zelfs oude festivalfotos naar voren waar toevallig iemand met een tattoo op staat.

Voor de meesten zal het al lang bekend zijn, maar ik schrok er best van hoe goed mijn eigen iPhone daarin al blijkt te zijn.

[Reactie gewijzigd door Dennisdn op 22 juli 2024 23:21]

[MsG]

Dat is het voordeel natuurlijk van de grote schaal waarin zij dit soort data verwerken. Google foto's heeft dit ook goed voor elkaar. Dan hoef je niet per se alles in albums te gieten om iets te vinden. Nee als ik een bepaalde foto terug wil vinden kan ik gewoon dingen als "plastic rood" of "gele stoel" intikken en dan krijg ik die in fotoresultaten terug.

[WhatsappHack]

Thing is, de iPhone voert dat geheel lokaal uit met beperkte capaciteit.

[jabwd]

Sterker nog, ik ken een digibeet die mij een verschrikkelijk mooie compilatie stuurde van foto's en filmpjes van poesjes die de iPhone gewoon automatisch aan elkaar had geplakt en suggereerde... als een digibeet zoiets opstuurt gaat er iets correct.

Even terug op het nieuws, fuck facebook. Technisch leuk allemaal maar dit wordt weer voor volledig andere doeleinden gebruikt.

[Reactie gewijzigd door jabwd op 22 juli 2024 23:21]

[WhatsappHack]

Klopt! “Vrienden met vacht” Momenten/Terugblikken, heerlijke functie en idd kan je op basis van de zoekfunctie ook van die dingen genereren.

HTC had dat vroeger ook al trouwens met die Zoë-compilaties. Apple heeft het nog een stapje verder geduwd.

[Puffino]

Oh ongetwijfeld zal het ook voor "volledig andere doeleinden" gebruikt worden, maar vergeet niet dat social media concerns, zoals Facebook, regelmatig onder vuur liggen omdat er weer eens iets op gepubliceerd is geweest waarvan achteraf bleek dat... En zo.

Dus dat ze proberen te laten zien in elk geval iets tegen haatzaaiers te doen, logisch. Wat is daar op tegen? Why "f*** Facebook"?

[edit: zie bijv. nieuws: Brussel wil dat techbedrijven extremistische inhoud binnen uur verwij... ]

[Reactie gewijzigd door Puffino op 22 juli 2024 23:21]

[dirk161]

Omdat facebook gaat bepalen wat “haatzaaien” is en hiermee de publieke opinie wil beïnvloeden.

[Bux666]

Dat gebeurt nu al, en allemaal vanuit een Amerikaans oogpunt. Gisteren was de documentaire The Cleaners op TV bij de VPRO. "Wie bepaalt wat we te zien krijgen op internet? Een inkijk in de verborgen wereld van Facebooks digitale schoonmaak, waarbij geweld, pornografie en politieke boodschappen verwijderd worden."
Kijk 'm hier terug.

[dirk161]

Voor deze aflevering geldt een leeftijdsbeperking. De aflevering kan alleen tussen 22:00 uur en 06:00 uur bekeken worden of door een NPO Start Plus account aan te maken

Wat een poppenkast weer.

[burne]

Voor de meesten zal het al lang bekend zijn, maar ik schrok er best van hoe goed mijn eigen iPhone daarin al blijkt te zijn.

Het voordeel is dat enkel je eigen iPhone dat weet. Apple is daar heel duidelijk over: als je 10 Apple devices hebt zullen ze alle tien hun eigen verbanden moeten leggen en niets daarvan komt in iCloud. Mijn iPad Pro herkent mijn zusje beter dan mijn iPhone. Betere CPU, meer RAM. Maar het onderstreept Apple's privacy-paranoia.

[osmosis]

z0u de alg0r1tme d1t 00k n0g kunnen l3z3n?
Als het embedded zit in een afb

[ToolBee]

L33tsp33k is een "erkend accent".
Daar ga je geeks natuurlijk niet mee foppen! (En de AI die ze bouwen ook niet...)

[WhatsappHack]

h3t*

[ToolBee]

Alles in gothic font dan maar!
Probeer die bands maar eens te ontcijferen op die metalshirts

[Christoxz]

Dat is niet het bijzonder, dat is OCR en een goeie zou daar ook wat inzien. Het bijzondere hier ia dat de AI ook de context begrijpt, ipv alleen maar leest en afzoekt op woorden.

[burne]

Dat is niet het bijzonder, dat is OCR en een goeie zou daar ook wat inzien.

Dan heb ik een klassieke poster voor je. Bel je even als je OCR er klaar mee is?

[ToolBee]

Q.E.D. ! Beter voorbeeld kan ik niet verzinnen!

[Stoelpoot]

Het is niet nodig om die te begrijpen, dan zou het systeem slimmer zijn dan de mens.

[ToolBee]

Ze zijn ook bezig (MS, Google) met herkennen van inhoud in fotos. Uiteraard alleen maar om kinderporno tegen te gaan...
De resultaten van die "perk" vallen nogal tegen voorlopig. Om dan ook een goede context te bepalen is meer spionage (via facebook of zo) noodzakelijk.

[dsdevries]

Nou, dan kunnen de meeste Automated Turing Tests ook weer terug naar de tekentafel.

[ToolBee]

Captcha was er toen nog niet. Maar hier was geen AI bezig. Gewoon zelf speuren! (niet waar ik naar op zoek was, overigens)

[Amadeus1966]

Tja wat is kinderporno. We hebben er allemaal wel beeld bij maar....
De één zijn familiefoto's is de ander zijn porno.
Bedoel te zeggen als ik de badder en zwem kinderfoto's van mijn inmiddels volwassen dochter online zou zetten zou dat voor iemand met een zieke geest al porno zijn.
Zou dat ook opgaan voor die zoekmachines ?

Btw dergelijke foto's heb ik natuurlijk niet online.
Was puur hypothetisch.

[Maxxi]

Juridisch zijn daar vrij concrete criteria voor. Een bloot kind in een zwembad dus niet.

Gaat om duidelijk seksuele afbeelding van een duidelijk minderjarige.

[xp2002]

Facebook gaat willen proberen om berichten te censureren die momenteel op deze manier de algoritmes kunnen omzeilen. Op zich grappig hoe ze het omschrijven: om haatberichten te filteren, maar zoals we al vaker lezen is Facebook een platform geworden dat zich opwerpt als waarheid controleur.

De vraag is moet je dat willen? De welbekende memes die een kritische noot zijn over een gevestigde orde zullen zo gewoon (kunnen) verdwijnen.

[Frituurbaas]

Over memes: Memes beïnvloeden menselijk gedrag, volgens sommigen zijn memes de belangrijkste elementen in desinformatie stromen en worden memes door rechts (subreddit The Donald, 4Chan) gebruikt om haar politieke ideologie te verspreiden. Waarom zou Facebook dan toch memes gaan verbieden?

[FlaffTweakr]

Wat is dan het verschil tussen katholieke kruizen, landvlaggen, advertenties met logo .. en memes? Zo kan je alles verbieden wat menselijk gedrag beïnvloedt. Tuurlijk zitten ze op 4chan, op andere platformen gaat dit gewoon niet door de beugel. Maar mogen die megabedrijven als FB/Google echt kiezen wat gefilterd wordt zonder ons de optie te geven het toch te zien? Dat is pas manipulatie. Ze hebben elk miljarden gebruikers. Aangezien corruptie groeit waar geld/macht te vinden is, worden ze gewoon politieke machines.

Ik vraag me af in welke mate we nu al beïnvloed zijn. Vergeet niet dat FB+Google met die getallen hun preutsheid opdringen aan minstens 10% van de wereldbevolking.

[--Andre--]

Wat, je wil dat ik straks vinkjes krijg waarin ik kan aanvinken dat ik anti-moslim-memes wil zien, in plaats van die shit gewoon verwijderen?
Dan krijg je pas filterbubbels. De anti-moslim bubbel, de anti-vaccinatie bubbel, noem maar op. Dat lijkt me verre van ideaal.

[Frituurbaas]

Nog even en Facebook geeft toe dat zij een publisher is ipv een provider.

edit: Ter verduidelijking, een publisher is aan veel meer regelgeving gebonden dan een provider. Waar Facebook en Twitter zichzelf tot op heden profileren als zijnde providers (like KPN), schuift dit modereer mechanisme stiekem richting een publisher-variant.

[Reactie gewijzigd door Frituurbaas op 22 juli 2024 23:21]

[Free rider]

Daar worden ze toe gedwongen - Facebook (ook Twitter, Google...) moet een klachtenprocedure hebben, ingediende klachten moeten binnen 24 uur zijn behandeld, en, indien terecht bevonden, passende maatregelen hebben uitgevoerd.
Merk op dat er geen uitzonderingen worden toegelaten, als op een dag tien miljoen klachten binnenkomen dat moeten die ook allemaal in 24 uur zijn behandeld.
Daar kan je geen personeelsbeleid voor maken. Het ligt voor de hand dat je gaat censureren.

[ToolBee]

Ik vrees dat je door mensen gekoppelde tags als "hit" krijgt. Wellicht door jezelf door ze aan een bericht, met die woorden erin, te koppelen.

Zoniet, dan ga ik ff para worden...

[Tonne2016]

Ga dan maar para worden...

Zojuist geprobeerd, bijna alles wat ik maar kan verzinnen vindt Google wel ergens op een foto.
Let wel, dit zijn mijn eigen foto's. Nog nooit met anderen gedeeld of iets met taggen gedaan...

[ToolBee]

WHAAAAAAAAAAAAAAAAAAAAAA!!!!!!!!!!!!!!

Sorry.

on topic: Inderdaad creepy!

[BlaDeKke]

Welkom in 2018. Het jaar dat computers beter zijn in object herkenning in foto's dan de mensen die ze genomen hebben.

[burne]

bijna alles wat ik maar kan verzinnen vindt Google wel ergens op een foto.

Mijn avatar is ook echt de kop waar ik de hele dag mee rondloop. Die foto staat online, op een publiek toegankelijke website. En Google heeft 'm in z'n index, dat weet ik zeker. Maar als ik zoek op mijn volledige naam lukt het Google niet om de foto aan het gezicht te koppelen. Ik moet echt gaan sturen om je aan een harde match te helpen.

[silencer727]

Dit gaat volgend jaar gebruikt worden om memes en andere copyright bull* te bannen net als bij youtube hun systeempje vorig jaar...

[Thalion987]

Het is mooi dat we zoveel coole dingen kunnen doen met AI, maar ik ben niet blij dat grote techbedrijven meer macht vergaren met dit soort dingen. Je wilt niemand met te veel macht. Niet de overheid, niet internationale organisaties en niet grote bedrijven.

[2Fast.]

Haatberichten = alles wat (extreem)rechts post? Facebook is nu al goed bezig met zo links mogelijk te zijn...

[Verwijderd]

Snappen mensen wel dat dit weer een stukje beperking is van de vrijheid op het web? Als zo een systeem vindt dat jij haatberichten verspreidt sta dan niet gek te kijken in de toekomst dat je als een mogelijk gevaar voor de samenleving wordt gezien. Meer en meer beperken ze ons in bewegingsvrijheid. Gaat steeds meer op Minority Report lijken.

Iedereen maar denken wat een positieve ontwikkelingen.