Tool laat minderjarigen naaktfoto's via hashes rapporteren van sociale media

Een samenwerkingsverband van bedrijven en kinderrechtenorganisaties heeft een tool gemaakt waarmee minderjarigen hun naaktfoto's kunnen opsporen op internet. Die worden lokaal gehasht en de hash wordt gedeeld met sociale media, waaronder Facebook.

De tool heet Take It Down en is een initiatief van het Amerikaanse National Center for Missing & Exploited Children, of Ncmec. Met de webtool kunnen gebruikers een naaktfoto lokaal voorzien van een hash. Die hashes worden geüpload naar een database van het Ncmec, die een database met hashes deelt met deelnemende bedrijven. De leeftijd van de gebruiker is op het moment van het hashen niet belangrijk: ook meerderjarigen kunnen nog foto's insturen van zichzelf, zolang ze minderjarig waren toen de foto werd gemaakt. Het Ncmec benadrukt dat de afbeelding alleen lokaal wordt gehasht en zelf niet naar de database wordt verstuurd. Dat gebeurt alleen met de hashes.

Deelnemende bedrijven kunnen de database met hashes aan hun systemen koppelen en het hashalgoritme daarop toepassen. Dat gebeurt bijvoorbeeld bij Meta. Dat hasht vervolgens geüploade foto's op het platform en vergelijkt die met de hashes in de Ncmec-database. Als er een overeenkomst is, wordt de hash beoordeeld en de foto bij een match verwijderd.

"Wanneer technologieplatforms zich aanmelden om deel te nemen, krijgen ze deze hashwaarden, zodat ze de afbeeldingen op hun openbare of niet-versleutelde sites en apps kunnen detecteren en verwijderen", aldus het Ncmec. "Dit gebeurt allemaal zonder dat de afbeelding of video ooit een apparaat verlaat of dat iemand ernaar kijkt."

Het is niet bekend welk hashalgoritme de tool gebruikt. Het Ncmec gebruikt al jaren een systeem om bekende kindermisbruikafbeeldingen op te sporen, die bijvoorbeeld door internationale opsporingsdiensten worden aangedragen. Ncmec gebruikt daarvoor PhotoDNA, een technologie van Microsoft, maar het is niet bekend of Take It Down van PhotoDNA gebruikmaakt. De tool is ontwikkeld in samenwerking met Meta, dat Take It Down-hashes in Facebook en Instagram verwerkt. Meta heeft een eigen alternatief voor PhotoDNA, gebaseerd op het PDQ-afbeeldingherkenningsalgoritme. Tweakers schreef vorig jaar een achtergrondartikel over welke tools er zijn en hoe deze werken.

Los van Facebook en Instagram doen ook andere platforms mee met Take It Down. Yubo, OnlyFans en Pornhub zijn ook aangesloten bij de tool. Als de content op een andere website staat of als deze via een versleuteld platform zoals WhatsApp wordt verzonden, kunnen de foto's of video's niet verwijderd worden. Het is niet bekend wat er gebeurt met bewerkte foto's; sommige tools zoals PhotoDNA voorzien daarin en veranderen een hash niet als een foto wordt bijgesneden.

Reacties (146)

[GertMenkel]

Wat voorkomt nu dat men hier niet-naaktfoto's in stopt? Iedereen kan toch iedere foto erin gooien die ze offline willen hebben, aangezien je een hash niet kan omdraaien?

Binnen no time staan tank man en andere foto's die staten of andere mogendheden niet op internet willen in die database. Open je die foto om te bekijken of het rapport geen false positive is dan heb je zojuist willens en wetens kinderporno binnengehaald, daar wil je de politie maar beter niet achter laten komen!

Werk je niet mee en implementeer je dit niet, dan ben je duidelijk een pedo die kinderporno leuk vindt want je weigert om de arme kindertjes te helpen. Wellicht komt er een mooie straf op te staan van onze lieve overheden zodat bedrijven niet in verleiding komen om niet mee te doen. Ja, doe maar liever niet dit.

[Reactie gewijzigd door GertMenkel op 23 juli 2024 00:23]

[ZinloosGeweldig]

Wat voorkomt nu dat men hier niet-naaktfoto's in stopt? Iedereen kan toch iedere foto erin gooien die ze offline willen hebben, aangezien je een hash niet kan omdraaien?

Klopt, het is dus aan de deelnemende platformen om te bepalen hoe ze met content die een match oplevert om gaan. Flaggen voor human review lijkt dan voor de hand te liggen.

Hopelijk heeft het bedrijf wel een terug-rapporteer functie om hashes die enkel false positives op leveren uit de database te verwijderen.

[Reactie gewijzigd door ZinloosGeweldig op 23 juli 2024 00:23]

[Thomas18GT]

Dus dan is je baan de hele dag naar naaktfotos en kinderporno kijken?

[LOTG]

Ja, en dat is al heel lang iets dat bestaat maar voorheen vooral bij opsporings instanties lag zoals politie, indertijd waren het videobanden, nu is het online.

De hele dag naaktfoto's kijken is niet zo een probleem, dat is iets waar je snel aan went (we zijn immers van nature naakt).

Waar het probleem begint is het misbruik wat er bij hoort. Dat is iets wat zwaar weegt en waar de meeste normale mensen niet aan wennen (van de ene kant gelukkig maar, aan de andere kant problematisch voor de mensen zelf).

Ik meen ooit een keer ergens gezien te hebben dat mensen bij de FBI en zo dit werk ook niet jaren lang doen, omdat het gewoon slopend is.

Een plaatje is al een ding, maar dan krijg je meestal complete videos te zien en is het je werk om uit te zoeken of je ergens iets kunt vinden om kinderen/personen/locaties te achterhalen.

Dat bedrijven het zelf moeten regelen is dan ook extra problematisch omdat die het weer outsourcen en dan komt het bij mensen terecht die de hele dag dit mogen doen, het mee naar huis nemen en vervolgens psychisch in storten want geen (goede) hulp.

Dit zou gewoon op overheidsniveau geregeld moeten worden, instanties oprichten die (deels) betaald worden door de bedrijven en die dan hun match doorsturen naar deze plek waar mensen goed gescreened worden en mentale zorg krijgen om te bepalen of ze dit werk kunnen (blijven) doen en te helpen.

[deadderek]

Daar zijn helaas inderdaad mensen voor nodig. Ik heb wel eens een artikel gelezen van iemand die dat deed voor FB. Zware baan, en FB ging er ook niet heel goed mee om. Ik zal eens kijken of ik het kan terugvinden.

[Frenziefrenz]

Deze?
https://www.nrc.nl/nieuws...er-voor-facebook-a3962439

[JDx]

Heb het ooit wel gelezen, maar jouw link is niet te bekijken.

[GertMenkel]

Hij is te vinden op de web archive mocht je de inhoud willen piraten.

Het komt neer op iemand die PTSS aan die baan heeft overgehouden, met verhalen van alcohol- en drugsmisbruik onder veel collega's om met de psychologische impact om te kunnen gaan.

Het gaat hierin niet alleen om porno, maar ook om dingen als onthoofdingen en martelvideo's.

[JDx]

Klopt, is vrij heftig, dat bericht komt eens in de zoveel tijd terug.

[leuk_he]

https://archive.is/YWWUW omdat het relevant genoeg is.

[deadderek]

Mijn herinnering is van een artikel van de WSJ of NYT, Engels in ieder geval, maar ik kon het niet meer vinden en dit lijkt goed in dezelfde lijn te liggen. Thanks voor het delen!

[3dfx]

Hierbij een linkje naar een artikel op de BBC-website.
Ik weet niet of je die bedoelt, maar de ervaringen van de meeste mensen die het werk doen/deden zijn vaak gelijksoortig:
afschuwelijk en mentaal zwaar, en niet genoeg nazorg vanuit FB.

Facebook moderator: ‘Every day was a nightmare’

[Phobophile]

Dat doen moderators van bijvoorbeeld Facebook toch al? Door het systeem met een hash wordt dat juist minder nodig, lijkt me?

[3raser]

En je weet hoe die moderators van Facebook eraan toe zijn? Ze lopen volgens mij allemaal bij een psycholoog omdat ze dagelijks de meest gruwelijke dingen te zien krijgen.

[Phobophile]

Dat weet ik, maar ik wil alleen zeggen dat dat de huidige situatie is. Dat mensen dat materiaal beoordelen is niet iets wat ontstaat door invoering van deze techniek.

Het zou er zelfs beter van kunnen worden, omdat er na een keer beoordelen al veel op hash gefilterd kan worden. Voor zover ik weet moet ieder platform dat momenteel opnieuw doen (en geen idee of er dan hashes gebruikt worden).

[Oon]

Ja, gelukkig hoeven wij ons hier in Nederland niet druk om te maken, want daar worden mensen uit landen als Afrika en Venezuela voor ingehuurd. Die hebben geen rechten en hoeven ze maar een paar cent per uur te betalen, en als ze het niet meer aan kunnen of niet meer door de dagelijkse extreem schokkende kalibratiefoto's heen komen zonder fouten te maken dan hebben ze morgen alweer de volgende door de training geloodst.

Hierbij natuurlijk een hele dikke '/s', want dit is bijna net zo erg als de dingen die ze proberen te voorkomen, maar helaas is dat wel de werkelijkheid en hoe grote bedrijven hier over denken. Goedkope arbeid in landen waar mensen minder snel klagen over het zielverscheurende werk dat ze moeten doen en waar de volgende 10 al in de rij staan voor als het niet meer gaat.

[GekkePrutser]

Huh nee, dat wordt ook in Europa gedaan hoor. Ik ken iemand in Spanje die dit doet voor Facebook. Het is zwaar werk maar de begeleiding is wel goed. Er is ook altijd een psycholoog beschikbaar op lokatie. Thuiswerken mag niet ivm privacy dus er is altijd iemand in de buurt. Maar het vereist wel mensen die er mee om kunnen gaan. Het is ook niet alleen dit soort shit natuurlijk maar alle soorten criminaliteit.

[Reactie gewijzigd door GekkePrutser op 23 juli 2024 00:23]

[M3m3nt0m0r1]

Als het tot dat komt ja.

[cadsite]

Dat is niet bepaald iets nieuws hé, alleen zit er nu een systeem achter die dat voor jou voor kauwt.

[bzuidgeest]

Er is een reden dat veel mensen in die contentmoderator job psychisch afbranden. Het is heel zwaar werk naar gelang wat je voor je kiezen krijgt.

[Stoelpoot]

Zoals anderen al zeggen bestaat die baan inderdaad. That said denk ik dat je ook een flinke voorselectie kan maken via beeldherkenning.

[Bergen]

Dat is nu bij Facebook ook het geval, zij hebben honderden mensen in dienst die de hele dag foto's en video's beoordelen met kinderporno en andere gruwelijkheden. Veel medewerkers haken heel snel weer af, die trekken het niet lang. Het schijnt heel zwaar werk te zijn.

De vacatures zeggen alleen dat het om 'content moderation' gaat voor een sociaal platform, anders zou er niemand reageren. Wat je écht gaat doen, hoor je pas als je op gesprek gaat.

[Reactie gewijzigd door Bergen op 23 juli 2024 00:23]

[ZinloosGeweldig]

Soort van ja, de baan van content-moderatoren van social media platformen is inderdaad om constant content die vermeend wordt tegen de ToS in te gaan te reviewen.

Dit is in die zin niets anders dan het feit dat mensen op die platformen ook gewoon direct content om valse redenen kunnen rapporteren.

Ik heb bij een ISP gewerkt en bij het behandelen van de abuse mailbox ook wel eens moeten verifiëren of er op een bepaalde locatie inderdaad seksuele beelden van waarschijnlijk minderjarigen aanwezig waren. Niet leuk, toch vond ik zorgen dat zoiets zo snel mogelijk uit de lucht is net iets belangrijker.

[GertMenkel]

Human review is best lastig. Het systeem geeft aan kinderporno, daar mag je niet zomaar naar kijken om toch even te verifiëren of het wel echt kinderporno is, in elk geval niet in Nederland. Je zult een heel systeem (met samenwerking van de politie o.i.d.) moeten opzetten zodat dat soort dingen de controle-computers niet verlaten.

Wat je bij Facebook ziet is dat de human reviewers ook met psychologische problemen kampen. Mensen zetten zulke verachtelijke dingen online dat de mensen die de hele dag rapporten verifiëren er depressief en suïcidaal van worden. Denk het niveau "babyporno" en erger.

Een menselijke verificatiestap is voordehandliggend maar brengt ook risico's met zich mee, voor zowel mens als maatschappij. Helaas is dit momenteel een vereiste, maar ik kan me voorstellen dat als dit systeem Betrouwbaar Genoeg™ werkt, techbedrijven uit ethische overwegingen de menselijke factor zoveel mogelijk verminderen. Scheelt ook een hele hoop bedrijfspsychologiekosten.

[Abysmax]

Eigenlijk nooit bij stil gestaan dat het kijken naar kinderporno criminalizeren ook als gevolg heeft dat het modereren / reviewen van dergelijke content net zo gevoelig is.

Ik vraag me af of het het niet mogelijk is om dit met machine learning een stuk draagzamer voor die mensen te maken. Je zult het menselijk element nog niet kunnen elimineren, maar mogelijk wel verminderen.

[GertMenkel]

Ik denk dat de politie je wel wat tolerantie wil geven als het je baan is, aannemende dat de nodige voorzorgsmaatregelen zijn genomen. Het lijkt met sterk dat de politie een inval doet bij de Facebookmoderatieafdeling. Je zult niet kunnen thuiswerken bij zo'n baan, dat is in elk geval wel nuttig.

Machine learning kan de grootste troep denk ik wel op zijn minst classificeren. Zo kun je per moderator de hoeveelheid onverdragelijke inhoud per dag beperken in plaats van het een loterij te maken of je een beledigende meme of een onthoofding op je schermpje krijgt.

Microsoft heeft in het verleden wel het nieuws gehaald omdat hun AI normale foto's van een kind (voor de dokter, bijvoorbeeld) als kinderporno beschouwde en daarmee direct accounts heeft afgesloten. "Computer says no" is niet de reactie die je in zo'n situatie wilt horen, denk ik; bij dit soort dingen zul je wel mensen aan het werk moeten zetten uiteindelijk.

[Abysmax]

Volgens mij was dat niet Microsoft, maar google. https://www.thetimes.co.u...of-childs-groin-ptlp63sq0 Maar je hebt helemaal gelijk in het feit dat de techniek nog niet ver genoeg is om het compleet door computers te laten doen.

Ik vraag me nu wel af of er bestaande guidelines zijn voor dergelijke moderatie, vanuit de wetgever of dat dit iets is wat bedrijven zelf "risk based" moeten inrichten.

[GertMenkel]

Microsoft ook, helaas. Ik vrees dat elke grote speler op de privécloudmarkt hier wel een algoritme voor heeft.

[ZinloosGeweldig]

Wat je bij Facebook ziet is dat de human reviewers ook met psychologische problemen kampen. Mensen zetten zulke verachtelijke dingen online dat de mensen die de hele dag rapporten verifiëren er depressief en suïcidaal van worden. Denk het niveau "babyporno" en erger.

Een menselijke verificatiestap is voordehandliggend maar brengt ook risico's met zich mee, voor zowel mens als maatschappij. Helaas is dit momenteel een vereiste, maar ik kan me voorstellen dat als dit systeem Betrouwbaar Genoeg™ werkt, techbedrijven uit ethische overwegingen de menselijke factor zoveel mogelijk verminderen. Scheelt ook een hele hoop bedrijfspsychologiekosten.

Zeker mee eens hoor, hetzelfde geldt nu al voor content die door gebruikers via het platform zelf gerapporteerd wordt, in die zin verandert dit systeem daar weinig aan. Het systeem volledig geautomatiseerd inzetten als bewezen is dat de verhouding tussen terechte en onterechte verwijderingen positief uitpakt zou daar zeker in kunnen helpen. Zelfs voor die tijd zou dit systeem hierbij juist kunnen helpen. Een platform zou kunnen zeggen: Als een bepaalde hash X keer een terechte match opgeleverd heeft zonder false positives, dan accepteren we voortaan automatisch meldingen die uit die hash voortkomen. Nu hoeft deze content nooit meer handmatig gereviewed te worden en omdat de content automatisch verwijderd wordt, ook nooit gereviewed te worden vanuit een handmatige melding!

Human review is best lastig. Het systeem geeft aan kinderporno, daar mag je niet zomaar naar kijken om toch even te verifiëren of het wel echt kinderporno is, in elk geval niet in Nederland. Je zult een heel systeem (met samenwerking van de politie o.i.d.) moeten opzetten zodat dat soort dingen de controle-computers niet verlaten.

Mijn ervaring hierin is anders, ik heb bij een ISP gewerkt en de eerste keer dat ik bij het behandelen van de abuse mail een claim van kinderporno tegenkwam slikte ik wel even. Ik heb dit toen binnen het bedrijf aangekaart en er is contact met de politie geweest, de conclusie hieruit was: openen om te verifiëren ter verwijdering mag (of dit ook zo in de wet gecodificeerd staat durf ik niet te zeggen, maar dit is wel hoe het in de praktijk ging.

[Reactie gewijzigd door ZinloosGeweldig op 23 juli 2024 00:23]

[Christoxz]

Human review is best lastig. Het systeem geeft aan kinderporno, daar mag je niet zomaar naar kijken om toch even te verifiëren of het wel echt kinderporno is, in elk geval niet in Nederland.

Dat is toch ook wel raar? En lijkt mij niet helemaal te kloppen. Het systeem geeft aan kinderporno op basis van user input. (De foto moet je zelf insturen, dus vergelijkbaar dat je een foto rapporteert)

Hoezo mag je dan op je eigen platform niet je eigen content controleren, om deze dus te verwijderen?
Het suggereert een beetje als ik een random foto rapporteer als kinder porno, dat niemand het kan controleren in Nederland?

de controle-computers niet verlaten.

Maar de foto staat niet op de controle-computers, maar wel op hun eigen platform.

[Stoney3K]

Dat is toch ook wel raar? En lijkt mij niet helemaal te kloppen. Het systeem geeft aan kinderporno op basis van user input. (De foto moet je zelf insturen, dus vergelijkbaar dat je een foto rapporteert)

Hoezo mag je dan op je eigen platform niet je eigen content controleren, om deze dus te verwijderen?
Het suggereert een beetje als ik een random foto rapporteer als kinder porno, dat niemand het kan controleren in Nederland?

Als je de wet heel strikt opvat, dan zou het niet mogen, want je moet zo'n foto wel downloaden om hem te bekijken en te controleren of het om kinderporno gaat. En dan heb je hem strikt genomen in 'bezit', wat volgens de Nederlandse wet verboden is.

In de praktijk lijkt het me heel sterk als zoiets tot een veroordeling zou leiden want je hebt een gerechtvaardigd belang om de foto te bekijken (namelijk controle op een takedown-verzoek, en eventueel bewijsmateriaal).

[Christoxz]

Als je de wet heel strikt opvat, dan zou het niet mogen, want je moet zo'n foto wel downloaden om hem te bekijken en te controleren of het om kinderporno gaat.

Maar als je een content moderator bent, 'bezit' het platform de content waar het over gaat al, dus dan 'download' je het lokaal om deze te kunnen beoordelen.

Als je de wet strikt opvat, zouden content moderatoren wel meer wetten overtreden..

[ZinloosGeweldig]

Ik kan uit ervaring zeggen dat dit niet tot veroordeling (of uberhaupt tot vervolging) hoeft te leiden (kan het natuurlijk ook niet uitsluiten).

Ooit bij het behandelen van abuse mail een claim over kinderporno op een VPS van een klant tegengekomen. Slik. Moet ik dit gaan controleren? Eigenlijk wil ik dat helemaal niet. Maar als er kinderporno staat wil ik het ook zo snel mogelijk offline hebben.

"Weg met dat spul" won het interne dilemma. "Misschien ben ik strafbaar" kwam toen nog niet eens aan bod, alleen "ik wil dit helemaal niet zien". Ik ben gaan checken en trof een topless foto van een puberaal ogend meisje aan. Slik. Niet leuk. Sluiten. Stond in een map op de server met een boel andere afbeeldingen, allemaal met vergelijkbare bestandsnamen. Toch maar een paar andere geopend. Vergelijkbaar materiaal. Server offline gegooid.

Vervolgens direct manager en CEO gemaild met wat er gebeurd was. Het besef dat het openen van deze foto's door mij misschien strafbaar was kwam toen pas aan. Eerste keer dat het voorkwam bij dit bedrijf, dus in gesprek met politie (ook om aangifte te doen natuurlijk) en een jurist gegaan. Conclusie: ik had goed en uit een gerechtvaardigd belang gehandeld.

De wet kan heel erg kil en strikt overkomen, maar de rechtspraak bestaat gelukkig uit wet en jurisprudentie, en rechters en officieren van justitie hebben de mogelijkheid en bevoegdheid om de geest van de wet te interpreteren, niet alleen de letter.

Dit is natuurlijk wel specifiek in Nederland.

[Reactie gewijzigd door ZinloosGeweldig op 23 juli 2024 00:23]

[barbarbar]

Dit gebeurt allemaal zonder dat de afbeelding of video ooit een apparaat verlaat of dat iemand ernaar kijkt.

Dat is dan best een gewaagde uitspraak, want als er een review actie bij de bedrijven ligt wordt de foto alsnog door iemand bekeken. Juist wat niet de bedoeling is.

[ZinloosGeweldig]

Dat Take It Down hiermee niet impliceert dat het feit dat hun applicatie enkel een hash upload ervoor zorgt dat dezelfde foto die ergens anders online staat niet meer bekeken kan worden lijkt me nogal wiedes...

[kodak]

Het lijkt me juist niet alleen aan de bedrijven of personen die de hashes willen gebruiken. De organisatie die de hashes over persoonsgegevens verkrijgt en verstrekt zal minimaal ook zelf duidelijk moeten zijn dat hun goed bedoelde hulp niet fout zal worden gebruikt. En aangezien ze zelf geen enkele mogelijkheid over de waarde van die hashes hebben die ze als veronderstelde ongewenst/verboden materiaal bestempelen, zullen ze dus minimaal met een verbod moeten komen op klakkeloos aannemen dat die hashes iets waard zijn en verplichten dat gebruikers aantonen of die hashes werkelijk om fout/verboden materiaal gaat. Anders is dit een zoveelste voorbeeld van hulp willen bieden maar je niet willen bekommeren om de problemen die je veroorzaakt.

[ZinloosGeweldig]

Ik denk dat de afnemers perfect zelf kunnen bepalen hoe ze met de data omgaan, de enige verplichting die ik de aanbieder hierin zie hebben is zorgen dat de afnemers alle informatie hebben om een geïnformeerde beslissing te kunnen maken.

Stel, een Social Media bedrijf ziet over een termijn dat het systeem 95% correcte matches oplevert en zegt "Weet je, we zijn bereid om wat content onterecht te verwijderen, als we daarmee 19 keer zoveel kinderporno verwijderen, dus we gaan de matches gewoon accepteren", dan is dat hun goed recht.

Op Social Media posten is geen recht maar een privilege.

[kodak]

Waaruit blijkt volgens jou dat die afnemers dat perfect zelf kunnen beslissen? Want er is juist geen duidelijke groep gebruikers, er is dus geen duidelijkheid waar ze de gegevens voor gebruiken, er is geen duidelijkheid of dat redelijke gevolgen heeft en tot nu toe laten veel bedrijven niet zien hoe bijvoorbeeld hun modereren redelijk is (eerder juist dat het te makkelijk is opgezet). Dat lijken me toch juist redenen om eerder te stellen dat er eerder redenen zijn dat deze organisatie niet uit kan gaan dat de afnemers perfect zonder eisen kunnen.

[M3m3nt0m0r1]

Je kan geen foto's uploaden naar die database. Er gaat alleen een hash in.
Dus je kan geen foto's downloaden ter controle.

[MC Taz Man]

Stel ik maak een hash van een foto van mijn minderjarige leuter (gelukkig bestaat die foto niet, dus kan ik dat makkelijk zeggen); hoe groot is de kans dat die hash 1 op 1 hetzelfde is als de hash van een andere foto?

[Abysmax]

Ongeveer nul, het moet exact dezelfde foto zijn wil deze machten. Hoe dit werkt met resizing en dergelijke weet ik niet, maar zelfs als het dezelfde foto is en het aantal pixels verminderd is zal de hash anders zijn.

[Anoniem: 1576590]

Door Abysmax:

Ongeveer nul, het moet exact dezelfde foto zijn wil deze machten. Hoe dit werkt met resizing en dergelijke weet ik niet, maar zelfs als het dezelfde foto is en het aantal pixels verminderd is zal de hash anders zijn.

Jij en @robertlinke hebben duidelijk het artikel niet helemaal gelezen.

Gebruikelijk is dat hier geen cryptografische hash voor gebruikt wordt, maar een "neural hash" zoals PhotoDNA.

[Abysmax]

Het punt blijft staan toch? Behalve dat bij een neural hash het aantal pixels niet zo relevant blijkt te zijn, omdat deze op basis van eigenschappen in de foto zelf een hash maakt.

[Anoniem: 1576590]

Door Abysmax:

Het punt blijft staan toch?

Nee, eerder schreef je:

Ongeveer nul, het moet exact dezelfde foto zijn wil deze machten.

Dat klopt bij een cryptografische hash (zo'n algoritme is geoptimaliseerd om bij de kleinste verandering in de input een duidelijke verandering in de output te geven).

De door de redactie beschreven tool werkt waarschijnlijk met de door Facebook/Meta ontwikkelde "neural hash" functies genaamd TDK en PDQF.

Eerder werd aangetoond dat je voor een vergelijkbaar algoritme eenvoudig collissions kunt genereren (twee verschillende foto's die exact dezelfde neural hash opleveren).

Als dat kan, kun je er donder op zeggen dat je, gegeven een neural hash, in grotere verzamelingen plaatjes (zoals Insta) waarschijnlijk valspositieven (andere beelden met toevallig dezelfde neural hash) gaat vinden.

Overigens is de gevoeligheid van dat soort algoritmes instelbaar: je kunt aangeven hoeveel bits er tussen de gezochte hash en de hash van een plaatje of video mogen verschillen (dit wordt de Hamming distance genoemd).

Je kunt dus ook beelden vinden waar meer aan "geprutst" is, met een grotere kans op vals positieven.

Een ander probleem van neural hashes is dat zij (in tegenstelling tot cryptografische hashes) een klein beetje omkeerbaar zijn. Niet dat dit duidelijke plaatjes oplevert, maar contouren kunnen wel zichtbaar zijn (en AI/ML kunnen, nu al of later, dat soort beelden mogelijk verder "invullen").

[robertlinke]

0. details als kleurverschil, achtergrond, grootte op pixelschaal, alles wat anders is zorgt voor een andere hash. alleen als elke pixel exact het zelfde is krijg je de zelfde hash

[grasmanek94]

hoe groot is de kans dat die hash 1 op 1 hetzelfde is als de hash van een andere foto?

Exacte getallen weet ik niet (gelukkig? duh?) maar de algoritmen die publiek bekend zijn hebben al bewezen/gevonden collisions. De kans is dus zeker niet nul, en iedereen die beweert dat de kans nihil is raad ik aan om een kort onderzoekje te doen die in korte tijd uitwijst dat ze misschien toch hun mening mogen aanpassen.

[GertMenkel]

Natuurlijk kun je foto's bij een match wel downloaden, je hebt immers de foto's op je eigen server staan. Je gaat het origineel niet van deze database halen, maar je kunt wel kijken welke afbeelding er precies matcht met een hash om te valideren dat het inderdaad kindermisbruik bevat.

Tweakers zal bij een match met 50090411cfa9c2304d4ca1baa8da47cc4a25104a49f3b582ed933a146cdf4c6f eenvoudig de gebruiker die verantwoordelijk is kunnen aanwijzen en de bijbehorende afbeelding vinden als ze over hun hele afbeeldingendatabase een sha256sum draaien. Jij zult er wellicht niet zomaar achter kunnen komen, maar de partij die de boel offline moet halen wel!

[M3m3nt0m0r1]

Laat even zien in de documentatie zien waar staat dat jij die foto kan zien die matched??
Dat is er namelijk niet. Jij kan niet bij die database. Dus jij kan nooit zien of die foto ergens gematched wordt.
https://takeitdown.ncmec.org/faq/

[GertMenkel]

Stap 1: upload een foto naar Facebook/whatever in een besloten groep

Stap 2: check (een week later) met een tweede account of de foto er nog staat

Je hoeft niet bij de database te kunnen om te kijken of een foto erin staat, het hele punt van het systeem is dat dit soort materiaal zo snel mogelijk offline gaat.

[jpfx]

Het lijkt mij dat de controlerende partij een melding krijgt. Immers, anders kan die de foto niet offline halen. Dan is dus bij de controlerende partij bekend welke foto het is, en kan deze die ook bekijken. Dat de foto wel of niet matched is niet van belang, want de hash heeft al bepaald dat deze matched. Dat je zelf niet bij de ncmec database kan is ook niet van belang. De vraag is, of die controlerende partij wel of geen wederhoor dient te voeren.

Stel ik heb een gewone trouwfoto op mijn profiel staan, en de ex van mijn vrouw plukt die er af, hashed hem en laat hem bij ncmec als naaktfoto opslaan. Verdwijnt dan mijn trouwfoto zonder enige vorm van wederhoor? Lijkt mij een probleem.

[barbarbar]

Maar het bedrijf die een match vind in hun systemen zal waarschijnlijk toch een controle gaan doen. En die kunnen de foto wel zien. Anders heb je binnen de kortste keren heel het internet in die database staan en verwijder je alles.

[M3m3nt0m0r1]

Hoe wil je een foto gaan bekijken die niet in die database staat, maar op het apparaat vanwaar die hash is gekomen?

[grasmanek94]

Het gaat erom dat jij als persoon een hash kan maken, zonder de foto te delen of te uploaden. Punt daarbij is, dat jij/iemand die foto waarschijnlijk gedeeld heeft (WhatsApp, Facebook, Instagram, TikTok, Reddit, e-mail..) ergens online (of het is gestolen, of deze gaat nog gedeeld worden zoals de tieners dat wel eens tussen elkaar doen). Die hash krijgen die services, en dan kunnen ze alle gedeelte bestanden (die op hun servers staan) controleren op matches. Als er iets match dan kunnen ze handmatig checken of het gedeelde bestand dat al op hun servers staat de wet overtreed (voor zover de bestanden niet encrypted zijn, maar als dat zo is dan vinden ze ook nooit een match).

[Reactie gewijzigd door grasmanek94 op 23 juli 2024 00:23]

[ThaStealth]

Als een matchende foto in quarantine geplaatst wordt kun je die bekijken (als platformeigenaar), dus niet het origneel waar de hash op berekend is, maar wel een van de matchende foto's

[Reactie gewijzigd door ThaStealth op 23 juli 2024 00:23]

[sspiff]

Het is toch een eenvoudig concept dat @ThaStealth probeert duidelijk te maken. Als jij als online platform deze take-downs gaat ondersteunen, moet je dus de afbeeldingen die gebruikers op je platform plaatst gaan hashen met het algortime van TakeMeDown.

Wanneer je dan een match vindt, heb je dus een versie van die originele afbeelding gevonden op jouw systeem. Dan kan je natuurlijk er wel naar kijken, wat de enige manier is om zeker te zijn dat er geen misbruik van de functie gemaakt wordt om censuur redenen.

[Stoney3K]

En niet in de laatste plaats om de gebruiker te laten weten welke afbeelding is verwijderd in plaats van een willekeurige afbeelding die ineens *floep* verdwijnt zonder tegenbericht.

Vooral in de nieuwe Europese Digital Services Act gaat dat een ding worden omdat die van platformen voorschrijft dat ze een gebruiker informeren na een takedown, met informatie over wélke content het gaat, waarom een post is verwijderd, en een duidelijke procedure om hierin tegen in beroep te gaan.

[willieverhoef]

Eigenlijk ook wel prettig dat alles kan, maar daardoor kun je ook bedrijfs logos en zo gaan blokken. Er is geen controle of jij het bent.
Maar het doel is goed en redelijk anoniem.

[GertMenkel]

Dat is het probleem met dit soort onzin altijd, het doel is goed maar de technische implementatie is naïef. Dit wordt in de kortste tijd misbruikt.

Daarnaast was het in een eerdere variant van zo'n systeem mogelijk om de hash gedeeltelijk om te draaien, wat natuurlijk helemaal niet de bedoeling is. Je kreeg gelukkig niet de hele foto te zien maar het was duidelijk welke foto waar stond.

De volgende stap van iedere misbruikers zal natuurlijk zijn om wat ruis over de foto heen te gooien om de hash voldoende te veranderen. Knip delen van de foto weg en de kans dat de hash matcht daalt significant.

Tegelijkertijd ziet een misbruiker natuurlijk meteen dat zo'n foto is geblacklist. Het gevolg: bedreig je slachtoffer meer, "als je niet meewerkt gooi ik nog veel meer online" wordt nu al gebruikt door seksmisdadigers om hun slachtoffers te manipuleren. Kwestie van een Facebook-account maken met een afgesloten groep en eens in de zoveel tijd een foto uploaden en verwijderen om te kijken of die geblokkeerd is (en dan direct het leven van je slachtoffer uit wraak zo hard mogelijk verpesten, natuurlijk, want zo zijn die mensen).

Nee, ik snap de goede bedoelingen maar ik denk ook dat het gebrek aan transparantie hier (waar je niet onderuit komt met illegale porno!) de kans op misbruik veel te groot maakt.

[Stoelpoot]

Ik denk dat dit niet helemaal de insteek is van het systeem. Vastberaden misbruikers komen er natuurlijk best omheen, maar die hebben dat vrije spel nu ook al. Dit lijkt me eerder een tool voor als mensen achteraf twijfels hebben of de persoon waar naaktfoto's naartoe worden gestuurd ze wel echt voor zichzelf zal houden, of zoals in het artikel keuzes die je als jongere gemaakt hebt gedeeltelijk kunnen corrigeren. Tenslotte zou dit ook kunnen helpen bij voorkomen van grootschalige verspreiding van foto's nadat de originele misbruiker al is gestraft. Er zijn genoeg mensen die op bvb Reddit willekeurige foto's die ze online vinden delen, met de overtuiging dat dat allemaal wel ethisch is.

[Dennisb1]

Wat voorkomt nu dat men hier niet-naaktfoto's in stopt? Iedereen kan toch iedere foto erin gooien die ze offline willen hebben, aangezien je een hash niet kan omdraaien?

Klopt, heb net het logo van Facebook geüpload. Ben benieuwd wanneer het logo verdwijnt.

[Jerie]

Je hebt het mis dat een foto die 'waarschijnlijk kinderporno' is meteen alarmbellen laten rinkelen. Dat betreft immers geen verzamelaar. Het kan ook in de huishoudelijke sfeer of op een strand zijn gemaakt.

Dat platformen zoals Microsoft wel mensen eraf hebben geschopt vanwege een upload naar OneDrive is collateral geweest. Maar je moet je data ook nooit unencrypted naar een cloud sturen. De cloud slaat voor jou op, dat mag versleuteld met de enige eigenaar van de private key: jij.

Kijk ik naar mezelf (2 kinderen van 4 en 2) is het misschien handig om de foto's waarbij m'n kinderen in een (zwem)badje zitten eruit te halen zonder dat handmatig te hoeven doen. Alhoewel wij dat nu al gewoonweg niet delen wanneer er sprake is van naakt, zou je dat nu wel kunnen doen met auto-blur.

Een verzamelaar daarentegen heeft een heel ander doel, en ook een heel andere samenstelling. Die gaat meer hits opleveren, en ook in de niet-huishoudelijke sfeer en ook van diverse kinderen (niet de eigen bijvoorbeeld).

PhotoDNA zijn wel aanvallen op bekend (collisions IIRC). 0-2 voor Microsoft

Wat wel lastig is, is waar trek je de grens. In Japan vindt men hentai sociaal acceptabel, in de VS zeurt men al over een tepel, terwijl wij als Nederlands gezin er geen problemen mee hadden borstvoeding te geven in het semi-openbaar (dwz bijv huishoudelijke sfeer als er visite is). En we hebben best wel wat foto's ook van mijn zoon die aan de borst hangt. Van mij hoeft dat niet te worden gecensureerd. Ook niet dat stukje waar z'n mond bij de tepel zit.

[GertMenkel]

Ja, sociale/culturele verschillen maken hier natuurlijk enorm uit. Het helpt dat je hier als slachtoffer zelf kan bepalen welke foto van jou offline moet, in theorie dan, als iedereen het systeem gebruikt zoals het bedoeld is.

Overigens is een foto van een naakt kind niet per se kinderporno natuurlijk. Mijn ouders hebben ook een foto van mij in bad als peuter. Je zou maar kinderarts zijn!

Kinderporno heeft vaak een heel expliciet doel, met bijvoorbeeld bepaalde poses (met of zonder kleren aan) die je normaal in porno zou zien. Je hebt ook een hele categorie wraakporno van scholieren op de middelbare, dat valt natuurlijk niet te vergelijken met normale foto's van kinderen. De kans dat zoiets matcht met een normale foto is nihil, al zullen de kleinere pornoacteurs/actrices wellicht een probleem krijgen.

Google en Microsoft hebben een systeem dat op basis van bepaalde metrics besluit of een foto van een naakt kind is of niet, dat is hier niet waar het om draait. Ik zou die foto van je zoon maar niet in één van hun drives zetten, want het zou echt niet de eerste keer zijn dat iemand om die reden hun account permanent verliest!

[Jerie]

Ja kinderarts, of de foto van de penis van de zoon die een medisch probleem heeft aldaar, en dat tijdens de coronapandemie. Al was dat Google, en dus inderdaad wellicht 1 of enkele foto's. Dat is te streng voor een permban zonder wederhoor. 0-1 voor Google.

Wat betreft wraakporno, dat krijg je helaas nooit meer weg. Op zich ben ik dan voor de regel om het gewoonweg niet te delen (neen, ook niet via Snapchat). Of enkel delen middels een hash waarvan je zeker weet aan wie je het hebt gegeven. Dan weet je ook wie het heeft gelekt. Maar tegenwoordig is heimelijk een camera plaatsen zeer eenvoudig (zie de spyshops), dus de kant van vooraf voorkomen lijkt me bij een determined adversary steeds lastiger worden.

Google en Microsoft hebben een systeem dat op basis van bepaalde metrics besluit of een foto van een naakt kind is of niet, dat is hier niet waar het om draait. Ik zou die foto van je zoon maar niet in één van hun drives zetten, want het zou echt niet de eerste keer zijn dat iemand om die reden hun account permanent verliest!

Alleen versleuteld, met de enige eigenaar van de private key: ik. Zoals ik al zei: het is mijn data. Anderen hoeven hier niet bij. Ook niet de sysadmins van Microsoft of Google. En misschien dat inderdaad een naaktfoto van m'n kinderen in badje of van mijn vrouw of mezelf inderdaad het meest pikante is, maar er zijn nog wel meer foto's die ik niet met de buitenwereld wil delen. Bijvoorbeeld een toevallige screenshot van m'n password manager. Een foto die gemaakt is, is in principe altijd privé, tenzij [...]. Ik noem dit data-hygiëne. Al gebruiken we zelf Nextcloud, is het risico uiteraard nog steeds dat de content lekt.

[Morress]

Laten we niks doen! Veel beter.

[GertMenkel]

Ja, waarom zetten we niet het hele internet uit, zijn we ook van het gezeik af!

Niks doen is geen optie, maar dit is ook geen oplossing. Met licht wantrouwen denk ik dat het bestaande systeem, dat kinderporno verzamelt bij overheden en na validatie de hashes doorstuurt, een stuk beter. Die databases worden vaak ook aangelegd op basis van de gevonden afbeeldingen van gepakte pedofielen, daarvan zal de validatiegrens een stuk lager liggen dan "sleep hier een jpeg heen om hem van Facebook te halen".

[Anoniem: 1576590]

Door Morress:

Laten we niks doen! Veel beter.

Ik denk dat maar weinigen dat willen.

Maar wat in elk geval ik niet wil is een "oplossing" die:

• Sowieso te misbruiken valt om andere informatie als verdacht te markeren, met als risico's valse verdenkingen (toevallig of erin geluisd) en DoS van het systeem en beelden-checkers;
• Ofwel doodsimpel te omzeilen valt;
• Ofwel dat naarmate je deze lastiger te omzeilen maakt, dit in toenemende mate tot vals positieven leidt.

Dit middel is mogelijk erger dan de kwaal.

Zie ook mijn eerdere post in deze draad.

[watercoolertje]

Wat voorkomt nu dat men hier niet-naaktfoto's in stopt? Iedereen kan toch iedere foto erin gooien die ze offline willen hebben, aangezien je een hash niet kan omdraaien?

Als een foto op een website een match geeft dan kan die website toch gewoon die foto controleren op KP?

[Reactie gewijzigd door watercoolertje op 23 juli 2024 00:23]

[84hannes]

Wat voorkomt nu dat men hier niet-naaktfoto's in stopt?

Een algoritme waarschijnlijk. Volgens mij was het tien jaar geleden al mogelijk automatisch een beschrijving van een afbeelding te genereren, dus het onderscheiden van een foto waarin Iraanse demonstranten die neergeschoten worden te onderscheiden van een selfie van een naakte puber zal toch wel lukken?

Het onderscheid tussen een puber en een volwassene is lastiger vermoed ik.

[jeroen79]

Niets voorkomt dat er hashes van andere foto's in terecht komen.
Maar als bij een match niet direct de foto verwijdert maar deze eerst bekijkt dan weet je vanzelf of de match terecht was of niet.

Is de match onterecht (geen naakte minderjarige) dan haal je de hash uit jouw lokale kopie van de database.
Als je het ook nog terug meldt naar de beheerder dan kan die ook zijn database bijwerken.

Bij zo'n review strafbaar worden wegens kinderporno binnenhalen lijkt me geen risico.
Die foto is immers al binnen.

[BarôZZa]

Nu wachten op de eerste kloon van deze tool met minder goede bedoelingen .

Net ook de tool getest en met de hashing lijkt het me totaal nutteloos. Een afbeelding resizen of opnieuw opslaan(dus opnieuw JPG compressie toepassen) zorgde al voor een andere hash.

[M3m3nt0m0r1]

Je hoeft maar 1 pixel te veranderen en de hash is veranderd.
Gezien de tool door Meta is gefund komt het bij mij over als een noodgreep van hun kant uit om hun straatje schoon te vegen.
"Kijk ons maatschappelijk goed bezig".

[Stukfruit]

Je hoeft maar 1 pixel te veranderen en de hash is veranderd.

Zo werken dit soort algoritmes niet:

PDQ is an open source photo similarity algorithm.

Unlike MD5s, which are sensitive to single pixel differences, PDQ has a concept of "distance" and can detect when content is visually similar.

This property tends to make it much more effective at finding images that a human would claim are the same, but also opens the door for false positives.

Zie https://github.com/facebo...signal_type/pdq/signal.py

Er zijn overigens ook algoritmes die verder gaan en tegen o.a. scaling en opnieuw opslaan kunnen.

[Reactie gewijzigd door Stukfruit op 23 juli 2024 00:23]

[Anoniem: 1576590]

Door Stukfruit:

Zo werken dit soort algoritmes niet:

Er zijn allerlei keuzes mogelijk, waarbij AI een steeds grotere rol zal gaan spelen. Maar het blijft subjectief wat "ongewenste beelden" zijn.

Door Stukfruit:

Er zijn overigens ook algoritmes die verder gaan en tegen o.a. scaling en opnieuw opslaan kunnen.

Probleem: hoe meer jouw "hash" algoritme afwijkt van een cryptografische hash, hoe eenvoudiger het wordt om collissions te vinden (door er naar te zoeken) of toevallig tegen te komen.

Je bent dus altijd aan het balanceren tussen meer false positives (met onterecht beschuldigden als gevolg) of meer false negatives.

Mijn conclusie is dat je ook dit probleem niet met techsolutionistische symptoombestrijding kunt oplossen, maar dat we kinderen al heel jong moeten waarschuwen voor de risico's van het (laten) maken van beelden waarmee shaming mogelijk is en/of die als kinderporno kunnen worden beschouwd.

En dat we niet door moeten slaan en onschuldige foto's criminaliseren of toestaan dat onschuldigen een verdenking op hun nek krijgen - waar je nauwelijks nog vanaf komt.

Aanvulling 17:34 (tevens @TijsZonderH): ik vermoed dat er van de door Meta open-sourced algoritmes TMK+PDQF gebruik gemaakt wordt (TMK voor video's). Zie ook dit nieuwsbericht, meer details over TMK, technische documentatie (PDF) en een beschrijving van PDQ met m.i. duidelijke plaatjes (door Darwinium op medium.com).

[Reactie gewijzigd door Anoniem: 1576590 op 23 juli 2024 00:23]

[TijsZonderH]

Je hoeft maar 1 pixel te veranderen en de hash is veranderd.

Dit is niet waar bij de grote CSAM-hashingtools zoals PhotoDNA, zoals ook in het artikel staat. Alle bekende tools voorzien hierin.

[Arnoud Engelfriet]

Dat klopt, maar onduidelijk is of deze tool werkt met PhotoDNA. Als je er zelf een testfoto doorheen haalt, krijg je een partiële indicatie van je hash en die 'klinkt' voor mij meer als een SHA-achtige code dan als een PhotoDNA has. Zie https://www.anishathalye.com/2021/12/20/inverting-photodna/ voor hoe dat laatste eruit ziet.

[Stoney3K]

Hoe meer 'fuzzy' je het matching-algoritme maakt, hoe groter de kans op false positives natuurlijk.

[LOTG]

Je hebt systemen die content kunnen matchen die vergelijkbaar genoeg is. In plaats van elke pixel als input te nemen ga je juist de foto meer globaliseren en bepaalde elementen als input gebruiken.
Als je dat doet is een plaatje in bijvoorbeeld een lagere resolutie ook een match.

Image search werkt ook niet met exacte pixels en is toch heel erg snel, daar is het nog minder strak afgesteld dan je zou willen voor dit soort zaken maar het idee is het zelfde. Je afbeelding heeft bepaalde karakteristieken van waar dingen zich bevinden in het plaatje, in principe zou je dat kunnen vertalen naar een bepaalde naar bijvoorbeeld de gemiddelde kleur op een bepaalde positie in de afbeelding en dan een aantal samples nemen die je dan vergelijkt met een andere afbeelding. Of je voegt een ruis patroon toe om de details weg te halen, dan is het verschil tussen hoge en lage resolutie al een stuk kleiner.

De kern is in elk geval dat je geen hash maakt van de pixels maar de uitvoer van je filter algoritmes die bepalen wat ongeveer de afbeelding is.

Door dit te doen krijg je een hash die in veel meer situaties werkt.

[mjz2cool]

Hoe het precies werkt weet ik niet, maar de hash verandert ook compleet bij het aanpassen van wat pixels of compressie door de site waar een foto geupload staat. Ik ga er toch vanuit dat het systeem ook foto's van verschillende formaten kan matchen?

[GertMenkel]

Ik vrees voor de impact van ad hijacking bij zoekmachines. Helemaal met zo'n rare domeinnaam voor het daadwerkelijk indienen van een foto!

Mensen installeren al nep-whatsapp-updates en andere spyware omdat die ongein bovenaan zoekresultaten verschijnt. Hier wordt nu een kind geacht zijn eigen weg te vinden naar deze pagina waar volwassenen al niet eens in staat zijn betrouwbaar de juiste resultaten aan te klikken.

Aan de andere kant denk ik dat de politie wel redelijk hard op zoek zal gaan naar iemand die dit soort misdaden pleegt, het expliciet verzamelen van kinderporno is nou niet iets dat de rechter snel weg laat beargumenteren. Als de pakkans hoog genoeg is, denk ik dat het uiteindelijk niet zo'n enorm probleem zal zijn.

Ik hoop dat zoekmachines op termen die hier aan zijn gerelateerd gewoon de advertenties uitzetten en de SEO handmatig overrulen zodat hier niemand ten prooi aan valt.

[leuk_he]

Wat kan er verkeerd gaan?

Ik weet dat politcus die ik niet mag, foto X host, op instagram of facebook.

Ik download die foto, hash hem, upload de hash. Ik hoef geen gegevens van mijzelf te uploaden.

Gevolg is nu wellicht enkel dat de foto down gaat, maar je voelt wel aan dat dat in de toekomst dezelfde gevolgen kan hebben als kinderporno op je MS account te hebben. ... volgens een algoritme (MS en google doen nog niet mee ... nu)

[Reactie gewijzigd door leuk_he op 23 juli 2024 00:23]

[GertMenkel]

Ja, die automatische systemen hebben menig kinderarts tijdens de lockdown het leven moeilijk gemaakt. Een foto sturen van de nare uitslag van je kind kan voldoende zijn om je mail, documenten, agenda en contacten in één klap tot stof te doen vervagen, zoals herhaaldelijk gedemonstreerd. Google en Microsoft doen ook helemaal niks voor je als het kinderpornovlaggetje op je account staat, zelfs na een bevel van de rechter werken ze je tegen.

Dat is dan met hun eigen systeem op basis van een besloten, gevalideerde dataset (door speciale bureau's natuurlijk). Stel je voor wat er kan gebeuren als je dit flikt bij een gedeelde foto op iemands onedrive/gdrive/icloud!

[watercoolertje]

Gevolg is nu wellicht enkel dat de foto down gaat

Nee er gebeurd waarschijnlijk helemaal niks, want je mist het belangrijkste, dat er nog menselijke controle aan te pas komt

[leuk_he]

Ja ... de hash, ik vraag me af of iemand de plaatjes beoordeeld. Dat is niet makkelijk werk, want je hebt het over de meest vervelende plaatjes die er zijn.

ook de site zelf is niet erg specifiek wat er mee gebeurd.

If an online platform detects an image or video on its public or unencrypted service that matches a hash value, it can take action to limit the spread of the explicit content!

Het hoeven dus niet eens echt porn plaatjes te zijn, het gaat ook over "partially nude", realistisch, want als 15 jarige wil je niet dat je bikini-slip gedeeld wordt.

Please do not share the images/videos on any social media after you have submitted them here.

[watercoolertje]

Omdat elk platform zelf kan/moet bepalen hoe ze er mee om gaan. De hash-database dienst is dus enkel om dat zoeken binnen hun systemen makkelijk(er) te maken.

Punt is iig dat degene die een hash vindt ook het plaatje heeft en dus wel degelijk kan inzien of de claim dat het KP is gegrond is.

Lijkt me ook niet bepaald leuk werk, sterker nog ik zou het niet willen doen!

[kodak]

Er komt niet zomaar een menselijke controle bij kijken. Er komt ook niet zomaar op tijd menselijke controle bij kijken, als dat soort controle er wel is. Zolang de organisatie achter deze goed bedoelde hulp geen eisen stelt aan menselijke controle en gebruik dan kun je er op rekenen dat gebruikers het gebruiken alsof die hashes betrouwbaar genoeg zijn of laks te zijn in zelf controleren.

[watercoolertje]

Zou kunnen, ik denk van niet en anders dan komen ze er snel genoeg achter dat het wel nodig is en corrigeert het zichzelf aan de hand daarvan.

[kodak]

Aan wensen dat ze zichzelf wel corrigeren hebben slachtoffers van problemen die ze veroorzaken weinig. De problemen hebben zich dan al voorgedaan en zonder duidelijkheid of en wanneer het zich gaat corrigeren lijkt het er dan ook niet zo toe te doen hoe vaak het al is mis gegaan en wat ze acceptabel vinden als bijkomende schade.

Het is niet voor niets dat we in de EU eisen hebben dat als je met persoonsgegevens gaat werken heel duidelijk moet zijn wat wel en niet de bedoeling is bij de verwerking. Dat ze die foto's niet laten uploaden wil niet zeggen dat hun systeem het niet verwerkt of dat die direct afgeleide hashes dan maar geen persoonsgegevens zijn.

[BiaggioLuciano]

Los van het huidige nut kan dit systeem ook gebruikt worden om wraakporno en gewoon menselijke fouten te verwijderen. Ik vraag me alleen af waarom de nadruk op minderjarigen ligt. Heeft dat te maken dat het via de NCMEC werkt, en daardoor niet een bredere toepassing heeft?

[M3m3nt0m0r1]

Omdat Meta zwaar onder vuur ligt. Meta heeft dit project gefinancierd.

[sdziscool]

Nouja, waar leg je de grens?
Voor sommige bedrijven, politieke partijen, overheden etc zou deze tool heel handig zijn om ervoor te zorgen dat er geen schadelijke informatie over hen kan worden verspreid.

Door dit verder te trekken dan absoluut illegaal materiaal wordt het snel een slippery slope.

[BiaggioLuciano]

Door dit verder te trekken dan absoluut illegaal materiaal wordt het snel een slippery slope.

Dat denk ik eigenlijk niet, aangezien sites aangesloten moeten worden bij deze tool. En voor nieuwsorganisaties of fatsoenlijk gemodereerde fora, is dat dus niet nodig.

Oké stel er is een sexfilmpje van een politicus gelekt, verdient de tweede persoon dezelfde schaamte? Het feit dat het filmpje bestaat is genoeg informatie, maar het is niet noodzakelijk om die beelden te bekijken. Een beetje vertrouwen in de pers mag ook wel.

En wat betreft illegale content: als de juiste politici of organisaties zich aan iets ergeren, dan wordt het vanzelf illegaal.

[jeroen79]

Je kan het ook zien als filter waarin iedereen zelf kan kiezen wat hij gefilterd wil hebben.
Kies een categorie die je niet wil zien (kinderporno, gewone porno, gore, extremisme, etc) en je krijgt een verzameling hashes waarmee je de ongewenste plaatjes kan herkennen.

[GertMenkel]

Er is een losse website voor volwassenen: https://stopncii.org/ Die lijkt van hetzelfde systeem gebruik te maken.

Het verschil zit hem denk ik in de legaliteit. Een enkele kinderpornoafbeelding op je computer is genoeg om voor de rechter te komen als je de wet volgt. Volwassenenwraakporno is nog steeds illegaal, maar de strafbaarheid is significant erger.

Daarnaast is de maatschappij snel aan het slachtofferschamen zodra het over wraakporno gaat. "Had je maar geen foto moeten maken" en "had je maar nee moeten zeggen" lijkt door een deprimerend grote groep het enige antwoord op deze kwestie.

Niemand kan zeggen van een kind dat het zelf beter had moeten weten, kinderen worden letterlijk geacht geen beslissingen te kunnen maken als het gaat om het produceren van pornografisch materiaal. Zodra je in Nederland 18 wordt (21 als het gaat om prostitutie, iets wat de pornosector nog wel eens wil vergeten) wordt je geacht wel zelf beslissingen te kunnen maken.

Dat je kunt beslissen betekent natuurlijk niet dat je enige schuld hebt als zulke media tegen je wil wordt verspreid, maar de situatie verandert wel; je kúnt in theorie toestemming geven.

[Alfredo]

Het is niet bekend welk hashalgoritme de tool gebruikt.

Vermits het hashen in de browser gebeurt kan je gewoon in de broncode kijken welk algoritme ze gebruiken. Dat blijkt PDQ te zijn (met de eigenlijke code in WebAssembly). De code hiervoor is ook open source beschikbaar.

[Anoniem: 1576590]

Door Alfredo:

Vermits het hashen in de browser gebeurt kan je gewoon in de broncode kijken welk algoritme ze gebruiken. Dat blijkt PDQ te zijn (met de eigenlijke code in WebAssembly). De code hiervoor is ook open source beschikbaar.

Ah, je hebt de js source eruit gevist

Als ik het goed begrijp is PDQ alleen voor stilstaande beelden, en TMK voor video's.

Onderin deze post meer info en links hierover.

[warhamstr]

Zou zorgen dat zulke foto's niet bestaan, en zeker niet op 't web terecht komen.

[Gutser]

Jajaja, natuurlijk zou jij dat doen. Maar daar gaat het hier niet over he, dat punt zijn we hier al gepasseerd.
Bovendien kun je kinderen niet heel veel kwalijk nemen want het zijn ....kinderen.

Wil niet zeggen dat ik een voorstander ben van een oplossing als deze die mij heel makkelijk te misbruiken lijkt om allerhande foto's van internet te laten verwijderen.

[warhamstr]

Dan zit je met een veel groter probleem. Als dit tegenwoordig kindergedrag is.

[robertlinke]

helaas zijn we er op het moment dat deze tools nodig zijn dat punt al voorbij

natuurlijk is voorlichting en beschermen van kinderen om ervoor te zorgen dat zul materiaal naar buiten komt het beste om te doen. helaas kom je om sommige situaties niet heen, bijvoorbeeld tijdens de lockdown waren er kinderartsen die via foto's en video's van ouders de symptomen volgden van kinderen die met een aandoening zaten. geheel onschuldig, toch door Google, Microsoft, Apple etc. aangezien als kinderporno. mensen die permanent hun accounts kwijt waren, politie die erbij kwam, heel gezeik. als dit beter werkt dan mooi, zo niet...

[brushaway]

Wat een coole band is het ook.

[Klauwhamer]

Ik moest heel even denken aan de band Tool. </verwarring>

[Guillermon]

Same

[thon]

Hoewel ik volledig begrijp dat ze de afbeelding nodig hebben om deze te kunnen verwijderen vind ik het toch riskant dat minderjarigen hun foto's gaan "uploaden".

Nu zal het op deze site geen probleem zijn maar de kans op valse kopieën is natuurlijk erg reëel met alle gevolgen van dien. Mooi dat er een methode komt/is om dit soort foto's te verwijderen maar dit kan alleen goed gaan met erg goede voorlichting en instructies.

[jcbvm]

De foto’s worden niet geüpload, er wordt lokaal een hash van gemaakt die je vervolgens upload. Niemand krijgt die foto in handen.

[T-men]

Je begrijpt het verkeerd. Er word NOG (!!!) niks geupload.
Deze tool zal vast en zeker goede intenties hebben, daar twijfel ik niet aan.

Maar foute copycats gaan natuurlijk dit soort sites namaken waardoor de argeloze jongere straks DENKT dat alleen een hash wordt gedeeld, maar in werkelijkheid precies de foto die hij of zij niet op het internet wil naar een malafide site gaat uploaden.

Maar zo kleeft aan alles een gevaar. Dat wil niet zeggen dat we de komst van 'Take it down' niet goed zou zijn. In tegendeel !

[thon]

Ik denk dat je men punt niet helemaal begrijpt. Je gaat via een knop bladeren om op je PC een afbeelding te selecteren. Ik denk dat een gemiddeld persoon geen idee heeft of hij een hash wordt gemaakt of de foto daadwerkelijk wordt geüpload.

Een kopie van de site is natuurlijk makkelijk te maken met na het uploaden de melding "hash succesvol aangemaakt".

[T-men]

Volgens mij zijn wij het eens.
Of is je reactie bedoeld voor @jcbvm ?

[M3m3nt0m0r1]

Er wordt niks geupload. Er wordt een hash gemaakt van de betreffende foto en die gaat in die database.

[Stoney3K]

Je zal op zo'n moment toch de foto moeten aanbieden aan de tool. Dat betekent dus óf de foto in het lokale geheugen, óf als de tool op een andere server draait, de foto uploaden die na het maken van de hash gelijk weer wordt weg gegooid.

Een malafide kopie van diezelfde tool kan dus prima omgebouwd worden om alle foto's die het wordt aangeboden te scrapen en te bewaren.

[venqwish]

Ik stel me vooral vragen rond hoeveel dit nu net gaat oplossen, de hashing gaat verschillen als de image:

- gecropt is
- bewerkt is, bvb met een filter
- gespiegeld is
- anders gecomprimeerd is
- ...

Hoe ga je in godsnaam al die varianten meenemen. De insteek van de ganse opzet is ongetwijfeld goed bedoeld, maar ik stel me enorme vragen bij haalbaarheid. Of misbruik om andere zaken te laten blokkeren die niet in een politieke agenda passen bvb.

Het lijstje van deelnemers is (voorlopig) ook niet geweldig groot: https://takeitdown.ncmec.org/participants/. Het is ook enkel voor publieke en unencrypted platformen, dus geen whatsapp en consoorten. Ik vermoed dat daar veel meer bedenkelijk materiaal in rondgaat.

[Reactie gewijzigd door venqwish op 23 juli 2024 00:23]