Microsoft implementeert hashingtool in Bing die wraakpornobeelden blokkeert

Microsoft implementeert een nieuwe technologie in zoekmachine Bing om wraakporno tegen te gaan. Het gebruikt daarvoor een technologie verwant aan die om kindermisbruikmateriaal te verwijderen.

Microsoft schrijft dat het gaat samenwerken met StopNCII. Dat is een tool die gemaakt is om wraakporno tegen te gaan. Het bedrijf gaat dat platform integreren in Bing. Dat gebeurt aanvankelijk met een pilot. Daar begon Microsoft overigens al eerder dit jaar mee, maar zonder dat te melden. Sindsdien heeft het bedrijf naar eigen zeggen 268.899 afbeeldingen uit de zoekmachine verwijderd.

StopNCII is een tool waarmee gebruikers een hash kunnen maken van een afbeelding. NCII staat in dit geval voor non-consensual intimate imagery, een neutrale term voor wraakporno. Gebruikers kunnen StopNCII gebruiken om lokaal een hash te genereren van bijvoorbeeld naaktbeelden die ze zelf hebben gemaakt, maar ook van afbeeldingen die ze ergens online vinden en die bijvoorbeeld een rancuneuze ex heeft geüpload. Ook kunnen gebruikers AI-gegenereerde afbeeldingen en videobeelden op die manier hashen.

De hash wordt alleen op een lokaal apparaat aangemaakt en wordt vervolgens in een database gezet. De StopNCII-database wordt uitgebaat door de Britse nonprofitorganisatie South West Grid for Learning of SWGfL, die opkomt voor digitale belangen van jongeren. Die kan toegang tot de database verlenen aan partijen zoals Microsoft, maar ook andere techbedrijven. Zij kunnen vervolgens beelden met die hash opsporen en blokkeren.

Die methode is vergelijkbaar met bestaande tools die techbedrijven inzetten om kindermisbruikafbeeldingen op te sporen. Dat is niet toevallig: StopNCII is gebaseerd op PhotoDNA, de technologie die Microsoft zelf ontwikkelde en inmiddels beschikbaar heeft gesteld aan meerdere bedrijven. Tweakers schreef in 2022 al een achtergrondartikel over hoe dat scannen naar misbruikmateriaal werkt.

Microsoft doneerde de PhotoDNA-technologie eerder dit jaar aan StopNCII. Het bedrijf zegt dat het maken van wraakpornobeelden of AI-gegenereerde seksuele afbeeldingen tegen zijn gebruikersvoorwaarden in gaat.

Reacties (33)

[wildhagen]

Goede zaak in mijn optiek. Wraakporno is echt verwoestend voor slachtoffers met potentieel enorme gevolgen die de levens van slachtoffers kan verwoesten, vooral psychisch. Dit is in de laatste jaren al té vaak in het nieuws gekomen helaas.

Sommige verspreiders van wraakporno doen het ook met opzet, juist om te kwesten, zie als voorbeeld Bryan (18) post in wraakporno-groepen: 'Die vernedering, dat vind ik mooi'

Vind het wel goed dat het op deze manier wat makkelijker wordt om het te blokkeren en aan te pakken en het centraal bij te houden.

De gevolgen voor de slachtoffers van exposen zijn zorgwekkend. Het is natuurlijk een grote inbreuk op de privacy. Bij expose-groepen is het zelfs gebruikelijk om de persoonsgegevens te vermelden bij het gedeelde beeldmateriaal, inclusief een link naar het sociale media-account van het slachtoffer. Dit kan leiden tot (cyber)pesten of stalken.

De beelden kunnen ook leiden tot sextortion, een vorm van afpersing waarbij seksuele beelden gebruikt worden. Het slachtoffer kan bijvoorbeeld onder druk gezet worden om te betalen om de beelden van het internet te halen. Het gebeurt echter ook dat het slachtoffer onder druk wordt gezet om meer seksueel getinte beelden aan te leveren. Zo kan er een vicieuze cirkel ontstaan waarbij de dader steeds meer expliciet materiaal in handen krijgt.

Hier houden de gevolgen helaas nog niet op. De impact van image-based sexual abuse kan verspreiden naar elk aspect van iemands leven: het kan erg beschamend zijn om beelden van jezelf op het internet te zien. Veel slachtoffers durven er niet eens over te praten met hun naasten. Zij zijn bijvoorbeeld bang voor victim blaming. De schuld wordt daarbij in de schoenen van het slachtoffer geschoven.

Ook kan wraakporno reputatieschade opleveren. Als de beelden eenmaal online staan, is het lastig ze weer helemaal te verwijderen. Zeker als de beelden met de naam van het slachtoffer worden gepubliceerd, zullen deze snel tevoorschijn komen wanneer iemand een simpele zoekopdracht doet. Dit kan erg nadelig werken, bijvoorbeeld tijdens een sollicitatieprocedure.

Misschien wel het grootste gevolg van exposen is dat het tot mentale problemen kan leiden. Gevoelens van schaamte, onmacht en verdriet kunnen een hoofdrol in het leven van het slachtoffer gaan spelen. Dit kan zelfs leiden tot PTSS, depressies, angststoornissen, paniekaanvallen en suïcide(pogingen).

Daarnaast is het ook nog eens gewoonweg strafbaar, in ieder geval in Nederland:

Sinds 2020 is wraakporno een op zichzelf strafbaar delict in het Nederlands strafrecht. Het wordt gezien als een delict tegen de seksuele vrijheid en een inbreuk van het recht op privacy. Iedereen die aan wraakporno deelneemt, kan daar volgens de wet voor gestraft worden. Voorheen konden straffen enkel worden uitgedeeld als een andere wet was overtreden: als het slachtoffer bijvoorbeeld onder de 18 was, of als er sprake was van chantage, smaad of laster.

Het is nu strafbaar om zonder toestemming seksuele foto’s of video’s van iemand te maken. Ook is het strafbaar om zonder toestemming seksueel beeldmateriaal openbaar te maken. Verder is het strafbaar om wraakporno in bezit te hebben en verder te verspreiden. Hiervoor kan tot twee jaar gevangenisstraf opgelegd worden.

En het is best wel een probleem dat veel mensen raakt:

Daders plaatsen deze beelden doelbewust om het slachtoffer te kwetsen. De slachtoffers betreffen bijna altijd meisjes of jonge vrouwen van 16 tot 26 jaar. Volgens het CBS kreeg in 2020 5,4% van de personen boven de 16 jaar of ouder te maken met online seksuele intimidatie. Dat gaat om ongeveer 770.000 personen. 0,1% was specifiek slachtoffer van het verspreiden van naaktfoto’s of seksfilmpjes. Dat klinkt misschien weinig, maar dit gaat nog steeds om meer dan 14.000 personen in Nederland.

Bron (van alledrie de quotes): https://www.vpngids.nl/ve...et/cybercrime/wraakporno/

[Patriot]

Het is en blijft een trieste zaak. Extra wrang is dat je er natuurlijk niet écht iets aan kunt doen. De secundaire daders zijn niet tot nauwelijks te achterhalen, van de originele verspreider kun je vaak amper bewijzen dat ze het zijn geweest en het kwaad is altijd al geschied.

Het enige wat je kunt doen zijn dit soort maatregelen voor de bühne. Het is eigenlijk alleen maar goede PR voor Microsoft, slachtoffers zijn er amper mee geholpen.

[Jerie]

De documentaire van Welmoed Sijtsma geeft een mooie inkijk wat wraakporno met een slachtoffer doet.

Daarentegen de techniek hierachter had in geval van CSAM nogal last van false positives. Dat is in geval van overselling zeer gevaarlijk omdat zo onschuldigen oneerlijk worden behandeld. Zie de verhalen van spontaan afgesloten Microsoft accounts.

[Luminair]

Daarentegen de techniek hierachter had in geval van CSAM nogal last van false positives

Kun je hierover iets specifieker zijn? Want volgens mij zijn er verschillende technieken die in gebruik zijn daarvoor, en die zijn niet allemaal functioneel gelijk. De techniek van Apple claimt minder dan één op een biljoen valse positieven te geven. Die white papers zijn openbaar, en volgens mij wordt die techniek ook geïmplementeerd door andere partijen.

Google en Microsoft gebruikten een techniek die iets meer fuzzy is en daardoor meer valse positieven opleverde, dat is wel spijtig.

[Videast]

Het initiatief om te proberen er iets aan te doen is lovenswaardig… maar er zijn nog veel gaten te vullen zoals meerdere reacties hierboven aangeven.
Vraag mij af: gezien het om een hash gaat, wat als de offender (of iemand anders) die foto even hercompimeert en/of wat bijsnijdt… de hash zal toch anders zijn? Is de blokkering dan niet heel makkelijk te omzeilen?

[jerisson]

Een hash hoeft geen binaire file hash te zijn. Een afbeelding bevat features waarvoor een descriptor berekend kan worden (denk aan hoekpunten, bepaalde texturen). Die descriptors kunnen gebruikt worden om een identifier/hash te bouwen.

Voorbeelden van descriptors (en feature detectors) zijn SIFT, SURF, ORB, ... die descriptors zijn vaak (deels) invariant (~onafhankelijk) voor tal van distorties en in zekere mate ook voor compressieartefacten. Descriptors hoeven ook niet exact te matchen om een afbeelding te herkennen.

Dit is slechts een voorbeeld van hoe het zou kunnen. In de praktijk - zeker nu met ML technieken - zal de implementatie waarschijnlijk wel verschillen.

[Videast]

Dank je wel voor deze uitleg

[- peter -]

En kan ik dan ook een (niet wraakporno gerelateerde) foto die ik niet leuk vind als politicus hashen en submitten? Ik zie nogal weinig toezicht hier op welke hashes er dan toegevoegd worden?

[Hansie9999]

net dit,

Ik ben 100% voorstander van het verwijderen van kinderporno en wraakporno en zo,

Maar op welke manier moet je hier bewijzen dat JIJ (of jouw of eender welk kind) op die foto staat en dat het dus ook correct is dat deze HASH op de lijst gaat staan ???

Of kan je dan als "pornoster" alle foto's van je concurrentie gaan HASHEN en submitten om het de "concurrentie" moeilijk te maken ?

Ik zie hier in het artikel nergens staan op welke manier je moet (als het zelfs al kan) bewijzen dat deze HASH dus effectief toegevoegd moet worden ??

[gimbal]

... er staan linkjes in de post. Die leggen meer uit. En het is "hash", het is geen afkorting.

[Floris4970]

Ik zie niet waar dit in de linkjes wordt uitgelegd hoor..

er staat:

StopNCII enables victims to create a “hash” or digital fingerprint of their images, without those images ever leaving their device (including synthetic imagery).

Wat bedoel je met een afkorting?

Dus dit is wel degelijk een goede vraag van Hansie9999

Ik zie hier in het artikel nergens staan op welke manier je moet (als het zelfs al kan) bewijzen dat deze HASH dus effectief toegevoegd moet worden ??

[Hansie9999]

En het is "hash", het is geen afkorting

Ik gebruik overal HASH ?? , maar bedoel je op mijn gebruik als een "werkwoord" HASHEN (geen idee of dat klopt, ben geen taalkundige )

En hier had ik wel echt graag meer verduidelijking over.
/quote
Once that content has been reviewed by Microsoft and confirmed as violating our NCII policy
/unquote

Want als ze dat even "goed" gaan reviewen als nu met de automatische account block's met "kinderporno" als je naar je dermatoloog een foto van de buik van je kindje doorstuurt die dan als backup naar onedrive gaat , en hopa je kan al je microsoft producten opnieuw kopen en bent je mail adres kwijt, tja, laten we hopen dat ze al iets geleerd hebben daar bij microsoft (betwijfel het)

[boschhd]

Submitten wel, maar volgens de link in t artikel wordt eea nog gecontroleerd voordat t live gaat.

[Floris4970]

Heb je hier een quote van, ik kan dat zo snel niet terugvinden in de links.

[Het.Draakje]

Eerste link in het bericht. Klik daar eens op en kijk eens naar het blokje "Reporting content directly to Microsoft". Met name net onder het plaatje in dat blok.

/quote
Once that content has been reviewed by Microsoft and confirmed as violating our NCII policy
/unquote

[Floris4970]

Maar hoe doen ze dat dan? Als ze de beelden nooit te zien krijgen?

[Het.Draakje]

De beelden worden niet verwijderd. Ze zijn alleen maar niet via Bing op te zoeken. Uiteraard zou ik het waarderen als andere zoekmachines zich daarbij aansluiten.

Persoonlijk zou ik, afgezien van de verwijdering uit het zoekresultaat, een melding naar opsporingsinstanties zeker prefereren.

[CivLord]

De beelden worden niet meer bij zoekopdrachten getoond, maar blijven wel op internet staan.
Bing zelf heeft een database van (links naar) afbeeldingen. Wanneer ze die afbeeldingen bij het vinden door de crawler meteen hashen, kan iemand bij Bing met de hash op zoek gaan naar de afbeelding.
Wanneer de afbeelding iets bevat dat op de één of andere manier compromitterend zou kunnen zijn en op een site staat waar dat soort materiaal vaak op geplaatst wordt, dan kan het uit de zoekresultaten gefilterd worden. Wanneer het om een officiële afbeelding op een commerciële site gaat (pornoster die concurrent probeert te blokkeren) of om een 'krachtige' foto van een politicus op een nieuwssite (politicus die probeert sympathieke foto's van zijn tegenstander te blokkeren), dan kan de melding genegeerd worden.

[sdziscool]

Mooi als idee, wel jammer dat zulke tools natuurlijk ook de weg voor censuur van andere dingen makkelijker maakt.

Kan minister president Schoof aangeven dat het "illegaal" is om de gelekte foto van hem in zijn clown outfit ofzo te delen en dan moet (en KAN) Microsoft hem dus nu effectief blokkeren.

[CaptainKansloos]

Mooi als idee, wel jammer dat zulke tools natuurlijk ook de weg voor censuur van andere dingen makkelijker maakt.

Dat lijkt mij idd ook een punt van aandacht. Vooral omdat de controle nu - bijna defacto - bij grote commerciële spelers ligt.

Ik snap de goede intenties, maar het kan door kwaadwillenden ook misbruikt worden om bepaalde zaken te censureren en in de doofpot te stoppen.

Al denk ik dat je daar door de opzet van de techniek ook niet zomaar aan ontkomt. En volgens mij verspreidt dit materiaal zich vooral via sociale media kanalen (als: apps) niet zozeer via websites. En het bestrijdt het probleem niet echt bij de bron, maar probeert de gevolgen te beperken.

Kortom; bruikbare techniek, maar de impact voor het specifieke doel lijkt me beperkt en er zitten wel wat haken en ogen aan imho.

[Het.Draakje]

Wellicht denk jij aan een Clinton - Lewinski situatie. Waarbij ome Bill die video toch maar niet op het internet wil hebben. (Ik heb daar trouwens van nog geen filmpje gezien, maar hij had toch wel een probleem) Of wellicht een porno acteur die zijn concurrent een loer wil draaien en de video's van zijn concurrent als 'wraakporno' laat aanmerken. Of de situatie dat je na nog eens nadenken jouw natuurfilm toch maar niet op het internet wil hebben.

Al die situaties zijn te prefereren boven het leed wat een slachtoffer van een wraakporno wordt aangedaan. Liever 10,000 pornofilms ten onrecht offline dan 1 wraakporno die zichtbaar blijft (via Bing).

Uiteraard zou het geweldig zijn als de controle bij een overheidsinstantie plaats zou vinden. Vraagje: welke instantie, in welke land?

Uiteraard zou het mooi zijn als meteen de bron aangepakt wordt (na verificatie meteen een melding naar het OM) maar als alleen maar de gevolgen beperkt wordt, is dat toch een win-situatie.

Ik sta 100% achter de aanpak van MicroSoft. En hoop dat ook Google zich hierbij aansluit.

[CaptainKansloos]

Ik denk helemaal niet in de porno sfeer. Eerder dat deze technologie voor allerlei beeldmateriaal 'misbruikt' kan worden.

Denk aan fotografisch 'bewijsmateriaal' bij protest acties bv; buitenproportioneel politiegeweld (George Floyd anyone?), racisme, politieke censuur, gender discriminatie, etc.

Het is goed dat er nagedacht wordt over het bestrijden van wraakporno enzo; dat is het punt niet. Deze techniek is ook niet persé slecht, maar het potentieel misbruik ligt m.i. zeker op de loer.

En nee, 1 land moet niet 'in control' zijn, maar een grote commerciële partij als Microsoft (of Google / Meta / ByteDance (ik noem maar wat)) lijkt me ook niet direct het beste plan. Maar eerlijkheidshalve; ik heb de oplossing ook niet.

[satya]

Hoezo censuur, de bron wordt niet onzichtbaar gemaakt. Bedrijven zoals Google en Microsoft hebben het recht en soms zelfs de wettelijke plicht om te bepalen welke content wel of niet gevonden kan worden.

[nutty]

"De slachtoffers betreffen bijna altijd meisjes of jonge vrouwen van 16 tot 26 jaar."
Dat blijkt dus niet het geval te zijn.
Het aantal mannelijke slachtoffers is even groot als vrouwelijke.
Het eerste de beste artikel dat ik tegenkom op Google geeft dat tenminste aan:
En ik denk niet dan België veel verschilt met ons land:

https://www.demorgen.be/n...r=https://www.google.com/

[mg794613]

Tsja, wat kan ik zeggen.
Voor dezelfde reden dat ons "moderne" nieuws altijd over vrouwen en kinderen rapporteert in oorlogen.
Mannen zijn gewoon niet zoveel waard.

( niet mijn mening, maar helaas gewoon zoals onze samenleving werkt )

[nutty]

Volgens dit artikel (eerste dat ik tegenkom) is het aantal mannelijke en vrouwelijke slachtoffers gelijk.
Zoals vaker (net zoals met huiselijk geweld) worden mannen genegeerd zo lijkt het.
En België verschilt niets met ons land::
https://www.demorgen.be/n...r=https://www.google.com/

[Aetje]

Oh, een systeem om automatisch bepaalde grafische content in de ban te doen...
Dit zal natuurlijk nooit misbruikt gaan worden voor politieke of ideologische doeleinden. Want we zijn allemaal heel verantwoordelijk met z'n allen en maken nooit misbruik van dergelijke systemen. Dit zal natuurlijk alleen beperkt worden tot wraakporno. En kinderporno. En haatbeeldspraak. Oh, wacht...

Maar alle sarcasme terzijde, het bestaan en implementeren van dit soort systemen nodigt uit tot misbruik ervan. Dit is de eerste stap richting censuur door de browser. Firefox heeft dat al eerder geprobeerd, dat was destijds niet populair.

[Het.Draakje]

Wellicht wat minder sarcasme en wat meer basisschoolkennis gebruiken?

Verificatie betekent dat de melding gecontroleerd wordt. (Eerste link in het artikel).

[CaptainKansloos]

Verificatie betekent dat de melding gecontroleerd wordt.

Die controle is "in the eye of the beholder". Het maakt nogal uit _wie_ en met welke overtuiging verifieerd.

Als extreem voorbeeld; in Afghanistan kun je als vrouw niet in korte rok en topje over straat, terwijl dat hier in het Westen op de meeste plekken OK is. Wie heeft dan het recht om te bepalen of beeldmateriaal daarvan door de beugel kan?

[Het.Draakje]

Het gaat over wraakporno. Dus niet om vrouwen in korte rokjes, (politie)geweld, demonstranten of wat dan ook. Alleen porno. Waarvan gecontroleerd gaat worden of het met toestemming is gepubliceerd. Als dan niet het geval is, dan wordt het onzichtbaar voor Bing.

Kan Microsoft die techniek gebruiken om allerlei materiaal uit Bing's zoekresultaten te slopen? Uiteraard.
Net zoals ze dat nu al kunnen. Heb jij voorbeelden dat ze dat doen?

Er wordt geen afweging gemaakt tussen porno en niet porno. Er wordt alleen een afweging gemaakt of de verspreider het recht heeft om het materiaal te verspreiden.

[gevoelig]

Eens. Geldt overigens voor bijna alle maatregelen die de afgelopen jaren zijn geïmplementeerd of onderweg zijn:
Internet filter, moderatie idioterie, client scanning....

Firefox heeft dat al eerder geprobeerd, dat was destijds niet populair.

Waar doel je precies op?

[Aetje]

https://blog.mozilla.org/...-more-than-deplatforming/ was waar ik op doelde, maar zo te zien hebben ze recent andere issues met blokkades op add-ons die censuur in Rusland omzeilen...

[D.nukem]

Ik denk dat de oplossing hier vrij simpel kan zijn door alleen porno met wederzijdse toestemming te plaatsen. Is er geen toestemming, dan gaat het automatisch naar een zwarte-lijst en is het onder het mom van portret- auteursrecht niet toegestaan.

Toestemming kan gegeven worden door, voor het filmen de filmsoftware een toestemmingverklaring te laten maken en deze in de film te branden als een watermerk.
En dat doe je via het opgeven van je DigiD.

En ja, misbruik blijft altijd mogelijk, maar de heimelijke gefilmde film kan niet zomaar meer opduiken.

Men zou echter kunnen denken om er ook een publicatietoestemming als optie er in te laten zetten.
Dan is het filmen oké, maar publicatie verboden en derhalve niet mogelijk bij de bedrijven die hierop toetsen.