Facebook blokkeert uploaden afbeeldingen wraakporno die in database staan

Facebook gaat het uploaden van afbeeldingen met wraakporno blokkeren als de afbeelding al in een database met bekende wraakporno-afbeeldingen bekend is. Daarmee wil het de strijd aanbinden met het verspreiden van zulk beeldmateriaal via Facebook, Messenger en Instagram.

Facebook gebruikt technologie om de foto's te herkennen aan de hand van een database met bekende afbeeldingen, schrijft het social netwerk. Het is onbekend welke technologie het sociale netwerk daar precies voor gebruikt. Het bedrijf heeft PhotoDNA in gebruik voor kinderporno, maar die techniek en de bijbehorende database, die werkt door afbeeldingen om te zetten in een 'hash', heeft Facebook niet in eigen beheer. De techniek is van Microsoft. Facebook heeft wel eigen fotoscan-technieken voor bijvoorbeeld gezichtsherkenning.

Als een gebruiker een afbeelding van bekende wraakporno wil uploaden op Facebook, Facebook Messenger of Instagram, krijgt hij of zij een melding dat de afbeelding de regels van het sociale netwerk overtreedt en dat uploaden onmogelijk is. Als de afbeelding bij de eerste keer uploaden nog onbekend is, moeten gebruikers het beeldmateriaal rapporteren. Een team van Facebook bekijkt vervolgens of de foto weg kan en eventueel blokkeert Facebook het account van de uploader.

Met de stap wil Facebook gestalte geven aan de wil om iets te doen aan het uploaden van wraakporno, pornografisch beeldmateriaal dat in privésituaties is gemaakt en waarvan degene die op de afbeelding te zien is niet wil dat het online verschijnt. In Nederland voerde een slachtoffer van wraakporno een rechtszaak tegen het sociale netwerk, dat de identiteit van de uploader niet wilde geven. Het slachtoffer won die zaak.

Reacties (55)

[T-Forever]

Waarom kunnen ze niet de gebruiker een manier geven om ook een hash te genereren van een afbeelding, en die zo automatisch te blokkeren? Scheelt ze mankracht en ik kan al mijn dickpicks bij voorbaat al laten blokkeren.

Zou toch geweldig zijn?

[cotix]

Omdat je dan een pixel in de afbeelding 1 pixel iets lichter kan maken en dan alsnog kan uploaden.

[Verwijderd]

Wat vaker wordt gedaan is de afbeelding eerst te verwerken, en pas de hash eruit te halen.

Door hem bijvoorbeeld naar zwart/wit te trekken, naar een bepaalde afmeting te halen, blur toepassen etc. Daarmee kun je al veel van dat soort zaken eruit halen. Ook al zal je een regel pixels eraf halen, her en der iets aanpassen etc gaat dan niet meer zomaar werken.

[kiang]

Je komt al in de buurt, maar het is wat complexer als dat: jouw methode zou namelijk makkelijk te omzeilen zijn door de afbeelding te spiegelen of roteren.

In Image hashing wordt er met een heleboel factoren rekening gehouden.

[Verwijderd]

Daarom gaf ik ook enkele voorbeelden en niet allen

[supersnathan94]

Inderdaad. Je gaat niet zomaar input hashing doen zonder voorbewerking. Er hoeft maar een pixel gewijzigd te worden en dan zou die hash al niet meer hetzelfde zijn.

[ZpAz]

Een hash is inderdaad niet de juiste aanpak hier, maar er zijn wel algoritmes die "dezelfde afbeelding" kunnen herkennen, ook al zijn pixels anders, is de grootte anders, of is er compressie toegepast e.d.

Bijvoorbeeld Tineye's reverse image search maakt gebruik van zo'n techniek.

[Philip Ross]

Omdat je dat weer kan misbruiken om alle afbeeldingen te blokkeren die je wil, dus ook die van andere gebruikers.

[Brammos85]

Er is dus een database met dat soort foto's? Dat is het meest verontrustende wat ik in dit bericht lees.

[GertMenkel]

Hoogstwaarschijnlijk zijn het gewoon hashes, her zou iet mooi zijn voor Facebook als ze per ongeluk een verzameling kinderporno opbouwen...

[jdh009]

Het gaat hier in dit bericht niet om kinderporno maar om wraakporno. Vaak gewoon door de slachtoffer (en partner) geschoten film en fotomateriaal wat online terecht is gekomen. Dat is heel wat anders dan kinderporno. Maar dat maakt het opbouwen van een database nog steeds niet netjes, denk dat het zoals je al aangeeft gewoon om hashes gaat.

[supersnathan94]

Bij Kinderporno gaat het idd om hashes zoals het artikel ook aangeeft. Het probleem is echter dat een hash niet bekend is totdat de afbeelding al een keer is geupload.

Aangezien wraakporno in privésfeer wordt geschoten en vervolgens pas bij publicatie als wraakactie echt publiek beschikbaar is heeft een hashing algoritme dus al weinig nut.

Bij uitvoer van de wraakactie is de afbeelding immers nog niet bekend en is de actie dus behoorlijk doeltreffend.

Nadat de afbeelding geflagged is kun je wel verder verspreiding en oplaaing na enkele maanden/jaren (door reuploaden) tegenhouden.

[Daniel_Elessar]

En toch kan dat samen gaan. Slachtoffer was minderjarig ten tijde van het opnemen van de film/foto's. Dat blijft maken/ bezit/ verspreiden van kinderporno. En zal heel hard aangepakt mogen worden. of het dan wraak is of niet maakt niet uit.

[BikkelZ]

Dus als je een minuscule wijziging doet dan wordt de hash al niet meer herkend?

[GertMenkel]

In de simpelste vorm wel. Waarschijnlijk hebben ze daar wel trucjes voor, maar hoogstwaarschijnlijk zal op beeldmateriaal een one way hash/statistische analyse worden uitgevoerd. Anders wordt zoeken veel te duur.

[BikkelZ]

Google doet het anders, daar worden plaatjes die een klein beetje aangepast zijn wel als het zelfde plaatje herkend, bijvoorbeeld als een gezicht is gefotoshopt op een lichaam.

[Deltanic]

Gaat waarschijnlijk om de checksums (bijvoorbeeld een SHA-1 hash) van de afbeeldingen, niet om de daadwerkelijke afbeelding zelf.

[Verwijderd]

Vraag me af of het zo plat werkt, maar zelfs al is dat wel zo lijkt me het redelijk nuttig als je hiermee kan voorkomen dat het elders beschikbaar is.
Dergelijke zaken weren op basis van een voorkennis wordt anders wel best lastig.

[Knijpoog]

"...Een team van Facebook bekijkt vervolgens of de foto weg kan en eventueel blokkeert Facebook het account van de uploader."

Het zal je werk maar zijn
Ook mensen die kinderporno moeten filteren. Kan me voorstellen dat dat psychologische gevolgen heeft. Respect voor die mensen maar geeft ook tegelijk een akelig gevoel. Je moet denk ik wel "ijskoud kunnen zijn" wil je z'n beroep jaren doen.

[TweakJunior]

Tijdje terug was het ook op het nieuws vgm.
Dat zulke moderators psychologische problemen kregen ofzo.

[CJ_Latitude]

Hier wordt verteld hoe dat werk in z'n werkt gaat:
http://nos.nl/artikel/216...t-voor-de-goede-zaak.html

[Makkelijk]

Die hashes zijn een heel ding. Toen ik bij Leaseweb werkte hadden we het probleem dat we een filtersysteem op de incoming traffic wilden op basis van md5 hashes uit een politiedatabase maar bezit van de hashes telde ook als bezit van kinderporno

[Verwijderd]

Ben wel benieuwd wie daar mee kwam dan.

[Makkelijk]

Zo legde de security officer de afwijzing van de KLPD uit.

[Accretion]

Uit de hashes is toch nooit meer een afbeeld te genereren?

[Myrdhin]

Het idee erachter is denk ik dat je die hashes zou kunnen misbruiken om geautomatiseerd naar kinderporno afbeeldingen te zoeken.

[Daniel_Elessar]

En niet thuiswerken of je wel mee naar huis nemen

Mar ja, dat zal zeker een behoorlijke psychische druk hebben. Maar dat denk ik ook van mensen die moeten beslissen of bijvoorbeeld een kind wel of niet uit huis geplaatst wordt. Een spoed coördinator in het ziekenhuis die bij een ramp de leiding heeft en beslissingen neemt over leven en dood. Ik heb in de erotische branch gewerkt als magazijn/vertegenwoordiger/IT en bij het 'normale/extreme' spul knipper je soms al eens een paar keer. Moet er niet aan denken dat daar dan kinderen bij betrokken zijn.

Heel goed dat Facebook dit doet. AL dacht ik dat dat al gebeurde bij bijvoorbeeld Dropbox/google met bekende Kinder porno afbeeldingen.

[10 feet high]

Het doel is natuurlijk wel redelijk vergelijkbaar (verspreiding van bepaalde foto's tegengaan), maar tegen wraakporno wordt er (nog steeds) maar bitter weinig gedaan en als er al eens iets gebeurt, gaat dat bijzonder traag.

Van mij mochten ze nog veel verder gaan in het bestrijden van wraakporno. Maar ok, dit is toch al een eerste stap. En hopelijk wordt dit geen wassen neus.

[Daniel_Elessar]

Ben ik met je eens hoor. Dit is een leuke eerste stap maar het zou veel en veel harder aangepakt moeten worden.

[ToFast]

Dus ze onderhouden een database met wraakporno afbeeldingen..Leuk als die gehackt wordt, ligt alles op straat met alle info erbij

[SacreBleu]

Kunnen ook alleen hashwaardes zijn, lijkt mij ook schappelijker qua opzoeken en opslagcapaciteit.

[JJzD]

Dat verwacht ik niet. Want een hash is ontworpen om als er een pixel omvalt, je dat gelijk door hebt.
Ik verwacht een combi waarin er lijnen worden gedetecteerd, en hun verhouding. Daarnaast nog aantal gemiddelde kleuren etc.
En dan komt er uit de vergelijking deze foto lijkt voor 98% op foto 2563 en wordt dus geblokkeerd.

Ik verwacht dus wel een database van plaatjes 128x128 in grijswaarden. Ja, een risico, maar liever een goed beveiligde omgeving, dan bij miljoenen op de tijdslijn toch? Zeker omdat één wraakfoto binnen het eigen netwerk veel meer pijn doet, dan bij duizend onbekenden in swahili.

[supersnathan94]

Die plaatjes van 128x128 kun je juist heel mooi hashen door er ook blur overheen te gooien en eventuele kenmerken los op te slaan (zoals aantal personen in beeld en waar deze zich grofweg bevinden).

[Sissors]

Nee ze onderhouden (zeer waarschijnlijk) een database met 'hashes' van wraakporno afbeeldingen.

[Gopher]

Lijkt me sterk, een watermerk er overheen (of zo iets simpels) en je kunt al weer uploaden.

Mogelijk is het iets minder simpel, maar zal op een soortgelijke oplossing llijken daar hebben we algoritmes voor.

[Sissors]

Daarom stonden er ook aanhalingstekens omheen. Het zal niet letterlijk hash van het bestand zijn, want dan is één pixel voldoende. Maar zie het net als een vingerafdruk scanner, die slaat ook geen foto van je vingerafdruk op, maar specifieke patronen. Zo zal zoiets ook werken vermoed ik.

[bones]

Staat deze database dan ergens op het internet? misschien een offline database?

[Dyon_R]

Maar wat als iemand die foto horizon- of verticaal spiegelt?
Of als de foto in negatief wordt geüpload? Zou het systeem dat alsnog herkennen dan?

[Morrar]

Als ze een beetje snugger zijn maken ze er een machine learning oplossing van. Met convolutioneel netwerk kun je vrij eenvoudig onderdelen van een foto herkennen. Als je dan bij het trainen al de meest voor de hand liggende transformaties meeneemt (crop, contrast, spiegelen, zwart/wit, etc) dan leert het model daar ook meteen mee omgaan. Uiteindelijk kun je controle dan nog door een mens laten doen. Systeem dat met hash werkt of pixel voor pixel vergelijkt lijkt me inderdaad ook minder handig.

Eerlijk gezegd zou je ook meteen een oplossing kunnen maken die alles waar geslachtsdelen (met enig realisme) op te zien zijn markeert. Voor een tutorial hoe zoiets werkt, zie: https://medium.com/@ageit...ral-networks-f40359318721

[Reactie gewijzigd door Morrar op 27 juli 2024 21:57]

[10 feet high]

Het is niet per se een waterdicht systeem, maar het kan er alvast voor zorgen dat een foto die door één iemand (bij wijze van spreken) op een facebookgroep of via hun messenger verspreid werd, niet meer zo gemakkelijk verder of opnieuw verspreid kan worden. Daarnaast is het ook een extra mechanisme om mensen duidelijk te maken dat het helemaal niet ok is waar ze mee bezig zijn.

[kozue]

Klinkt als iets met een mug en een olifant. Zouden er nou echt zoveel mensen zijn die
1. pornografisch materiaal van anderen hebben
2. een hekel aan die persoon hebben
3. zo laag gezakt zijn dat ze dat willen uploaden om wraak te nemen
4. op Facebook zitten
Als iemand echt een fulltime baan kan overhouden aan dit soort gevallen doorspitten is de wereld nog erger gezakt dan ik al dacht. Misschien tijd om social media dan gewoon te verbieden, want dan levert het blijkbaar meer problemen op dan het oplost.

[ThaStealth]

Vergis je niet hoe vals sommige mensen kunnen worden als hun relatie uit gaat, en vooral als het aan de ander ligt of er sommen geld in het spel zijn...

Daarnaast heb je nog de internetpesters waarbij sexting foto's doorgestuurd worden op Facebook geknalt worden .

Denk dat meerdere fulltime banen hiermee gevuld worden...

Verbieden is bijna nooit de oplossing, gaat het gewoon underground.
Betere regelgeving en grotere pakkans zal het eea wel verbeteren, helaas ten koste van de privacy

[Reactie gewijzigd door ThaStealth op 27 juli 2024 21:57]

[Gopher]

+ als zo een foto eenmaal online staat, gaan anderen het ook uploaden.
Zonder te realiseren dat het een "wraak" foto is, heel vaak blijven zo foto's decennia lang rondzweven online.

[10 feet high]

Dat is wel degelijk een heel groot probleem van de laatste jaren. Het gaat dan niet per definitie om "wraak", en ook niet per definitie om "porno", maar om foto's waarvan het nooit de bedoeling is geweest dat meer dan een iemand te zien zou krijgen. Noem het gewoon een moderne vorm van seksuele intimidatie. Zo'n foto's komen vaak ofwel bij vrienden/kennissen terecht, of in redelijk afgeschermde facebook groepen.

[AW_Bos]

Volgens mij scannen ze al tijden op foto's. Ik heb een jaar of drie geleden ooit eens een foto geupload die op het randje lag, maar Facebook wou na het uploaden wel weten wie ik daadwerkelijk was (telefoonnummer koppelen). Paranoïde gedoe.....

[Verwijderd]

Volgens mij scannen ze al tijden op foto's. Ik heb een jaar of drie geleden ooit eens een foto geupload die op het randje lag, maar Facebook wou na het uploaden wel weten wie ik daadwerkelijk was (telefoonnummer koppelen). Paranoïde gedoe.....

Vind jij het werkelijk een probleem als ze wat informatie willen hebben als jij iets upload waarvan je ZELF zegt dat het op het randje is? Als je je aanmeldt op Facebook ga je akkoord met hun regels, nietwaar?

[Verwijderd]

Maar dat spul staat voornamelijk op porno streaming sites, niet op Facebook. Soms is het wel even zoeken, zoals dat filmpje van Chantal uit Werkendam waar Peter de Vries toen nog reclame voor gemaakt heeft, maar vinden doe je het toch wel.

[dimmak]

Het staat iig dan niet op Facebook. En dat scheelt al een hoop.

[Verwijderd]

Ja, op facebook zou ik het nooit hebben kunnen vinden. Nu wordt het netjes geindexeerd door Google en is Facebook de kop van jut.

[dimmak]

Hoe handig jij bent met Google staat in contrast met hoe het gros van Nederland Google gebruikt. Facebook is heel toegankelijk voor deze generatie. Maar niet alleen Facebook, ook kunnen de afbeeldingen niet verspreid worden via Messenger en andere diensten van Facebook die deze generatie gebruikt.

[Verwijderd]

WhatsApp versleutelt alles end to end dus daar valt niks te filteren. Op het toestel zelf filteren lijkt me wel heel erg zwaar.

[ultimasnake]

Dit had Lapai een hoop issues voorkomen, veels te laat! Mij benieuwen of ze FB gaat aanklagen.... angstaanjagend stil trouwens rond haar zaak.

Daarnaast zou dit ook ingezet kunnen worden voor/tegen IS propoganda?

[lf2]

In principe werkt de blockchain ook op deze manier. De hash van het origineel opslaan en tegengaan als er een kopie wordt gemaakt.

Het probleem alleen is als iemand de image download en aanpast (logo) dan is dat weer een andere hash.