Google geeft api vrij die beelden van kindermisbruik helpt identificeren

Google heeft een api vrijgegeven die organisaties aan de hand van machinelearning moet helpen beelden van kindermisbruik sneller te identificeren. Dit zou niet alleen werken bij bestaand materiaal, maar ook bij nieuwe afbeeldingen.

Google schrijft dat het de tool beschikbaar maakt voor ngo's en andere internetbedrijven in de vorm van de zogenaamde Content Safety-api. Die is beschikbaar op aanvraag. Volgens Google moet de techniek helpen om afbeeldingen van kindermisbruik sneller te identificeren. Doordat deze niet gebruikmaakt van hashes om afbeeldingen te detecteren, moet op deze manier ook nieuw materiaal te onderscheiden zijn. De api is bedoeld om te ondersteunen bij het handmatig beoordelen van beelden.

Google claimt dat de api het werk van beoordelaars kan versnellen, zo zou zijn gebleken dat een beoordelaar zeven keer meer materiaal kon identificeren in dezelfde periode. VentureBeat schrijft dat de timing van de release geen toeval is, omdat de Britse minister van Buitenlandse Zaken, Jeremy Hunt, recentelijk kritiek uitte dat Google te weinig zou doen om de verspreiding van beelden van kindermisbruik tegen te gaan. De site verwijst bovendien naar een bredere call to action in het VK, die techbedrijven moet aanzetten om meer actie op dat vlak te ondernemen.

Reacties (94)

[Mikoda]

Ik vind het helemaal geen goed idee dit aan software over te laten.
De automatische DMCA op bv Youtube heeft al laten zien dat de software regelmatig fout zit.
Bij kinderporno is zelfs een vermoeden genoeg om iemands leven te vernietigen.
Die foto van jouw kind met alleen een bikinibroekje aan gaat je in grote moeilijkheden brengen.

[EnigmaNL]

OneDrive voert ook een soortgelijke scan uit op al je foto's. Het OneDrive account van een kennis werd door Microsoft gesloten omdat ze vermoedde dat er kinderporno naar geüpload werd terwijl dit gewoon foto's van zijn kleinkinderen waren (met zwemkleding aan) die in een zwembadje aan het spelen waren. De foto's werden met niemand gedeeld, het was gewoon automatische camera upload vanaf zijn telefoon als backup.

Microsoft wilde op geen enkele manier helpen waardoor hij de toegang tot dierbare foto's waar hij geen andere backup van had gemaakt verloor. Het algoritme zei dat het kinderporno was dus dan was dat ook zo.

[wildhagen]

Als dat gebeurt (door bijvoorbeeld een automatisch proces) kan je gewoon je account laten reactiveren. Dat kan via deze pagina.

Ik heb dat ook één keer moeten doen. Mijn account was geblokkeerd omdat ik ook een 'verdachte' foto geplaatst had (dit was gewoon een vakantiefoto van een strand, waar toevallig ook (niet-naakte) kinderen op stonden). Na invullen van dat formulier werd gewoon mijn account, inclusief de foto in kwestie, weer netjes hersteld en was weer toegankelijk. Duurde overigens wel 3 dagen, maargoed, het is gewoon goed gekomen.

Als je via dat formulier een melding maakt, wordt er door een Microsoft-medewerker naar gekeken en beoordeeld of het idd terecht was. Zo niet, heractiveren ze je account. Dit is idd een nadeel van een automatisch proces. Maarja, aan de andere kant, je kan moeilijk de miljoenen bestanden die dagelijks op OneDrive (of vergelijkbaren zoals Dropbox etc) gezet worden met de hand doornemen, dat is onbegonnen werk.

[Reactie gewijzigd door wildhagen op 27 juli 2024 21:57]

[dehardstyler]

En nu lopen jullie ( ook @EnigmaNL ) met een gigantische boog om OneDrive heen neem ik aan? Daar zou ik zonder encryptie mijn boodschappen lijstje nog niet aan vertrouwen dan.

Maarja, aan de andere kant, je kan moeilijk de miljoenen bestanden die dagelijks op OneDrive (of vergelijkbaren zoals Dropbox etc) gezet worden met de hand doornemen

Wat dacht je van gewoon niet scannen? Wat gaat hun dat nou aan dan?

[wildhagen]

Nee, ik gebruik OneDrive nog steeds volop, daar het één van de beste diensten is op dit gebied.

Wat dacht je van gewoon niet scannen? Wat gaat hun dat nou aan dan?

Ik kan alleen maar hopen dat dit niet serieus bedoeld is....

Denk je dat een Microsoft (of een Google, of een Dropbox etc) nu echt zitten te wachten op verspreiding van kinderporno via hun diensten? Natuurlijk niet, dan hebben ze een juridisch probleem.

Nogal logisch dat ze scannen dus. En ja, daar zit idd een incidentele false positive tussen, dat is nu eenmaal niet te vermijden bij een software-matige scan. Zolang dat vrij eenvoudig te verhelpen is (middels account reinstatement, zie bovenstaande link) is daar wel mee te leven imho. Beter dan het alternatief, dat het een uitwisseldienst van kinderporno zou worden iig.

[dehardstyler]

Ik kan alleen maar hopen dat dit niet serieus bedoeld is....

Denk je dat een Microsoft (of een Google, of een Dropbox etc) nu echt zitten te wachten op verspreiding van kinderporno via hun diensten? Natuurlijk niet, dan hebben ze een juridisch probleem.

Ik sta hier echt van te kijken dat je dit normaal vind. Of het moet ernstig gesteld zijn met mij, maar ik snap het niet eens een heel klein beetje. Wat is dit nou voor een reden om iedereen zijn data te scannen? Als ik nu een Veracrypt container maak, en die op OneDrive zet, dan kan ik toch ook kinderporno delen via OneDrive? Succes met scannen. Maar dat is wel WEER een reden om iedereen zijn bestanden te scannen?

[Stoelpoot]

Wat is dit nou voor een reden om iedereen zijn data te scannen?

Een reden die je bedrijf kan vernietigen als het uit komt dat je het niet actief tegenhoudt. Als je een VeraCrypt container maakt, dan kan OneDrive aangeven dat het encrypted gegevens waren. Maar als ze niet zouden scannen, en er kwam uit dat er ook kinderporno als normale data werd opgeslagen (dus zonder client encryptie), dan zou Microsoft er op worden aangekeken dat zij niets doen om hun platform schoon te houden.

[dehardstyler]

Dat snap ik ook wel, maar ik kan niks doen aan het gevoel dat dit de zoveelste vorm van surveillance is. Ik denk dat Google Drive en Microsoft OneDrive wel de laatste plekken zijn waar dit soort bestanden gedeeld worden. Tegelijkertijd zijn dit wel de plekken waar de meeste data van mensen opgeslagen staat. En daar worden dan allemaal scans op los gelaten. Onder aan de streep wordt iedereen's data gescand en doorzocht en heb je nog steeds niemand opgepakt. Is dat het ons waard? Ik denk dat we daaraan moeten twijfelen.

Om terug te komen op "dan kan OneDrive aangeven dat het encrypted gegevens waren.": Waar is de tijd gebleven dat je inlogwachtwoord tegelijkertijd het wachtwoord is van een AES256 container, waar al je data in staat? Dan kunnen ze die reden blijven gebruiken toch? STACK doet dat bijvoorbeeld ook zo en dat is voor mij nog een extra reden dat bij mij de alarmbellen afgaan bij dit gescan.

[Stoelpoot]

En waar voer je die AES-key in? Op de inlogpagina van Stack? Het is fijn dat die technologie er is, maar uiteindelijk beschermt dat je niet tegen de host, enkel voor buitenstaanders die data van de host ontvreemden.

[dehardstyler]

En de host heeft zich ingedekt en hoeft dus niet de hele dag je data te scannen, daar gaat het om.

[YopY]

Het gaat erom dat ze het moeilijk moeten maken, dat ze moeten laten zien dat ze er wat aan doen. Als ze dat niet doen krijg je het heeeeel snel op het openbare internet.

[FlaffTweakr]

Dat ze dan gewoon scannen wat publiek gedeeld wordt. Privé inhoud moeten ze uitblijven. Indien ze merken dat het account gedeeld wordt, kunnen ze alsnog scannen.

[Tokkes]

Smith&Wesson, H&K, FN - die zitten ook niet met een juridisch probleem als een crimineel met een van hun wapens iemand neerschiet.

Volkswagen heeft ook geen verantwoordelijkheid als jij met 120 kph in zone 30 een klas van een zebrapad maait.

AB Inbev heeft ook geen juridisch probleem als iemand zich dooddrinkt.

De eerste doet er letterlijk niets aan. Serienummers op receivers? Helpt enkel na het feit om de persoon te pakken. Puur wetgeving die dat controleert. Er staat geen mannetje van die fabrikanten in de shop om te garanderen dat je geen school binnenloopt met hun product.

De tweede kan dan misschien wel een auto-stop en sensor op zijn wagens plaatsen, als die niet werkt en je houdt het gas in, moet je maar eens proberen voor de rechter: "jamaar, mijn wagen had moeten stoppen!". Verantwoordelijkheid wordt toch kei hard bij jou gelegd. Voor de rest: wetgeving: Technische keuring, rijbewijs, verzekering, ...

Die derde zet een boodschapje in zijn reclames over "responsible drinking". That's it. En nog wat wetgeving erbij om het te reguleren.

Dat scannen naar kinderporno en waarschijnlijk ook auteursrechtelijk beschermd materiaal, aan het oppervlak dient het een nobel doel, maar het is nefast voor de vrijheid van de maatschappij op lange termijn.

Wat als Microsoft besluit dat een anarchistisch manifest niet door de beugel kan?
Een Anti-Trump song-tekst waar je aan werkt?

Dat, en het feit dat zo'n scans echt niets uitmaken (encryptie en steganografie), keert mij heel hard tegen Microsoft's beleid. En eender welk ander bedrijf dat denkt dat dit "goed" is.

Zie je waar we naartoe gaan?

[Reactie gewijzigd door Tokkes op 27 juli 2024 21:57]

[EnigmaNL]

Die pagina bestond toen nog nie (of hij werkte niet) want uiteindelijk was Microsoft Support de enige manier om het account weer geactiveerd te krijgen. Microsft Support bleef zelfs na zogenaamde persoonlijke controle van een medewerker stug volhouden dat de foto's niet door de bocht konden en het account bleef dicht.

@dehardstyler ik gebruikte zelf al geen OneDrive en dat zal ik ook nooit gaan doen. Ik vind het hartstikke goed dat ze kinderporno bestrijden maar het moet wel op een goede manier gebeuren. Het totale gebrek aan medewerking is totaal belachelijk.

[MrE]

Het is goed dat er processen in werking zijn die een automatische controle uitvoeren op dit soort zaken.
Maar zou het niet prettiger zijn als One Drive een signaal krijgt van mogelijke inbreuk op regels er daarna door een speciale afdeling naar gekeken wordt en er dan besloten wordt om de toegang te ontzeggen tot die afbeelding of tot het account en er gelijk een signaal uit gaat naar de dichtstbijzijnde wetgevingsinstantie?
Op de manier zoals het nu gaat wordt je gecriminaliseerd zonder vervolging en moet je zelf actie ondernemen om je gelijk te halen.

Daarnaast vind ik het een beetje naïef om te denken dat je hiermee de echte hardcore pedofielennetwerken kan aanpakken (of pedofielen hebben echt geen verstand van obfuscation).
Daarnaast vind ik het ook erg gevaarlijk als kinderbeschermers op de stoel gaan zitten van kunstkenners en vice versa en moeten beoordelen of iets kunst of misbruik is (zie Hendrik Kerstens let op! mogelijk NSFW. bevat gecensureerde afbeelding van het werk van de fotograaf).
En wie beoordeeld in jouw geval de afbeeldingen? Dat kan het verschil zijn tot het winnen van een gerenommeerde prijs of een aantal jaar gevangenis.

[Reactie gewijzigd door MrE op 27 juli 2024 21:57]

[Jerie]

Ik zal je eerlijk zeggen: in dit soort gehannes heb ik geen zin in. 3 dagen m'n account sluiten zonder enige reden? WTF. Daar betaal ik niet voor. En als jij denkt dat ik kinderporno op mijn OneDrive hebt en je sluit om die reden mijn account waarom geef je me dan niet aan bij de politie?

Maargoed, je kunt eenvoudig je data versleutelen op die cloud diensten. Hoewel ik geen zin heb om daar in deze context het uitgebreid over te hebben.

[mae-t.net]

Je mag nog blij zijn dat ze je niet aangeven. Met wat pech - als die net zo slecht uit hun doppen kijken als MS - duurt het dan (na inbeslagname en voorarrest) tot voor de rechter dat je je bestanden terugkrijgt, en een excuus.

[Tokkes]

En je naam voor eeuwig in de media als zedendelinquent.

Bewijs maakt niet uit voor het plebs, die nemen aan voor waar wat er op internet staat.

[--Andre--]

Kan je in dat geval geen flinke schadevergoeding eisen? Misschien wel de reden dat ze dat niet doen?

[Tokkes]

Misschien wel, maar dan is de schade al wel gedaan.

[Verwijderd]

waarom geef je me dan niet aan bij de politie?

Vraag is, mogen ze dat zomaar doen van de AVG. Want met het aanmaken van een account is het niet nodig al je adresgegevens etc op te geven. Dus, hoe spijtig ook, maken ze dan inbreuk op Privacy omdat ze officieel gezien niet weten wie je bent en waar je woont als dat nooit is ingevuld/opgegeven.

Correct me if i am wrong.

[Dnomyar96]

Ze kunnen je misschien niet aangeven met je adres ofzo, maar ze kunnen de politie wel andere gegevens geven (gekoppeld mail-adres, gebruikersnaam, mogelijk ip-adres) en natuurlijk de foto's waar het om gaat. Als de politie het dan onderzoekt en het echt om kinderporno zou gaan, dan kan de politie je wel opsporen (in elk geval in de meeste gevallen. Iemand die wat meer verstand heeft van zich verborgen houden op het internet zou mogelijk wat meer tijd hebben).

[Verwijderd]

Tegenwoordig mag je niet eens een mailadres vastleggen als bedrijf zonder akkoord van de persoon in kwestie.

Nu zullen ze het vast wel in de voorwaarden hebben opgenomen dat bij schending het account geblokkeerd zal worden. Maar vanuit Microsoft gedacht, waarom zouden ze de moeite, tijd en geld investeren als het dichtgooien van een account 100x sneller is. Er zou dan al een heel team opgeplaatst moeten worden om contact te leggen met politie, juridische aspecten, de kosten die dit allemaal met zich meebrengt. Ik zie een bedrijf hier niet snel actie in ondernemen. Standaard bedrijfsregel: Wat kost het mij en wat levert het mij op als bedrijg, in geld.

[SgtElPotato]

Dat is het gevaar van het te veel vertrouwen op software. Die zit er soms wel eens naast. Dit is een goed voorbeeld van waarom er altijd een extra menselijke controle op moet zitten.

[mae-t.net]

Ook die menselijke controle kan een probleem zijn. Kinderen in badkleding kunnen ook voor pedofielen interessant zijn lijkt me, dus dan moet die menselijke controle flink de tijd nemen om tussen de rest van de familiefoto's te gaan snuffelen en zich een beeld van het geheel te vormen. Tijd is iets dat dit soort bedrijven niet graag nemen, en als klanten weten dat er mensen door je foto's grasduinen kost het misschien ook nog wel klanten.

Ik vind dit al met al een erg lastig vraagstuk, vol met dilemma's.

[Reactie gewijzigd door mae-t.net op 27 juli 2024 21:57]

[3dmaster]

Daarom kun je beter nooit vertrouwen op de public clouds (als backup). Ik gebruik zelf dan ook een zelf gehoste Nextcloud voor de opslag van mijn belangrijke data. Uiteraard met backups op een andere plek.

[wildhagen]

Het lijkt me dat de resultaten van de software uiteindelijk nog altijd door een mens moeten worden beoordeeld of het ook écht kinderporno is, of een onschuldige foto. Het is niet zo dat de Google-software bij een 'hit' meteen een automatische rechtzaak start ofzo.

Dit lijkt me juist een zeer positief iets, omdat het alvast een voor-schifting kan maken zodat menselijke rechercheurs niet door een hele stapel onschuldige plaatjes hoeven heen te werken.

Dit lijkt me dan ook een aanvulling op het bestaande werk, niet een vervanging van dat werk. En dat is positief, omdat men dan meer tijd heeft om de echt verdachte situaties te boordelen.

Die foto van jouw kind met alleen een bikinibroekje aan gaat je in grote moeilijkheden brengen.

Dat is natuurlijk flauwekul. Dat zou misschien opgaan als er een seksuele setting zou zijn ja, maar als dat een vakantiefototje is van je kind in een zwembad gaat niemand daar moeilijk over doen, en kom je heus niet meer in de (juridische) problemen daardoor.

[cavey]

En wat als het een foto van je zoon of dochter in zwem kledij (of zelfs naakt), met een telelens is gemaakt op 2km afstand? Voyeurisme. En als ze dan dankzij face recognition bij jou gaan aankloppen met een heel team omdat iemand ergens op internet een fuzzy foto (vanwege cropping en telelens) van je kind online heeft gezet. Omdat een systeem het automatisch heeft gevlagd en jou heeft gelinkt. Gaat er dan nog steeds niemand moeilijk doen?

Als je al ziet hoeveel moeite mensen moeten doen, vele rechtszaken lang, om een eenvoudig gevalletje persoons verwisseling op te moeten lossen, lijkt mij voorzichtigheid heel hard geboden hiermee. Dit is niet meer "het doel heiligt de middelen", maar "we hebben de middelen, laten we er een doel voor zoeken om het te legitimiseren. Profit!" voor nog meer surveillance.

[YopY]

Waarom maak je foto's op je always-online, automagische upload naar het internet smartphone van je naakte kinderen? Da's toch ook raar.

[cavey]

Daarom heb ik iCloud en Google Drive uit staan, en automatische uploads en whatnot. Gewoon met de hand syncen naar disk, en daarna rsyncen naar intern lan/backup locaties.

Maar dat is mijn geval, inderdaad: waarom mensen uberhaupt het handig vinden om automagisch naar iCloud/GoogleDrive/OneDrive te gaan uploaden is mij een raadsel. M'n privacy gaat boven m'n gemak en het noodzakelijke kwaad.

[thePiett]

Jij denkt dat er voor elke foto van afstand een "heel team" voor de deur van iemand staat, omdat je toevallig met je kop op die foto staat?

[cavey]

Niks mis met een hyperbool. Maar als ze met meer met software gaan werken, en false positives gaan onderzoeken en aanpakken omdat het er doorheen glipt, tja. Ik heb geen idee wat er dan uiteindelijk kan gaan gebeuren, maar veel soeps lijkt het niet te worden.

(Je kan me ook aanmerken als doemdenker. En ja, ik heb The Circle gelezen, en A Brave New World en 1984 en nog wat van die boeken, bijv. Neuromancer en genoeg films gezien over dystopian toekomsten. Minority Report is er ook zo een van).

[BarôZZa]

Dat is natuurlijk flauwekul. Dat zou misschien opgaan als er een seksuele setting zou zijn ja, maar als dat een vakantiefototje is van je kind in een zwembad gaat niemand daar moeilijk over doen, en kom je heus niet meer in de (juridische) problemen daardoor.

Het probleem is dat mensen hun cloud opslag gebruiken als privéopslag zoals ze ook hun externe HDD zouden gebruiken, terwijl dat het dus niet privé is.
Het is krankzinnig dat de toegang tot je gegevens geblokkeerd wordt doordat ze je privéfoto's scannen. Dat je een random medewerker van Microsoft naar je foto's van je mogelijk halfnaakte kinderen moet laten kijken zodat je misschien weer toegang krijgt tot je bestanden, terwijl het uberhaupt nooit de bedoeling was dat wildvreemden die foto's zouden zien.

Wat betreft kinderporno moeten we ook uitkijken dat we niet doorslaan. Het doel van het bestrijden is kinderen beschermen tegen misbruik zodat ze geen schade wordt aangedaan. Niet om hysterisch te doen over elke naaktfoto waar geen enkel misbruik aan te pas is gekomen.

[CivLord]

Dat is natuurlijk flauwekul. Dat zou misschien opgaan als er een seksuele setting zou zijn ja, maar als dat een vakantiefototje is van je kind in een zwembad gaat niemand daar moeilijk over doen, en kom je heus niet meer in de (juridische) problemen daardoor.

Voor die seksuele setting heb je een persoon nodig om die te herkennen en te onderscheiden van een onschuldige vakantiefoto. En er zal inderdaad een persoon aan te pas moeten komen om dat te bevestigen voordat je in juridische problemen komt.
Zo'n persoon is echter te duur om voor elke hit in te gaan zetten. Wanneer driekwart van je foto's een hit oplevert zal er iemand ingeschakeld worden om te kijken of er iets doorgegeven moet worden aan de autoriteiten. Eén of twee hits in een jaar zullen afgedaan worden als false positives. Ergens daar tussen in zal een gebied liggen waarin er nog geen actie wordt ondernomen, maar waarin de internetdienst wel vindt dat je verdacht veel hits hebt en uit voorzorg je account blokkeert. Wanneer het slechts een fotodienst is, dan zijn de problemen nog te overzien. Maar wanneer het je Google of Apple account is, dan kunnen je problemen flink groter zijn.

[mae-t.net]

De reden dat het geen flauwekul is, is dat een false positive dan wel beoordeeld zal moeten worden. Als je weet dat facebook ook nu al tamelijk triggerhappy is (het is heel duur om gebruikers standaard het voordeel van de twijfel te geven), dan kun je bang zijn dat zo'n onschuldig kiekje al snel bij de opsporingsinstanties ligt. Als dat de laatste verdediging tegen een false positive is, dan denk ik dat er inderdaad een (hopelijk minieme) kans is dat iemand er al gevolgen van ondervindt, die er pas later in het justitiële traject weer uit worden gefilterd. Bijvoorbeeld na een politiebezoekje, of nadat een al jaren bestaande aantekening in een dossier opeens aan het licht komt.

Samengevat: een ambtelijk systeem dient inherent beveiligingen te bevatten tegen kafkaeske toestanden. Beveiligingen worden vaak weggelaten omdat ze geld en mankracht kosten en er elders in het systeem nog wel een zekerheid zit. Dat is gevaarlijk als "elders" er net zo over denkt, en bovendien is elke melding die verder in het systeem doordringt niet alleen gevaarlijk maar ook gewoon verspilling van (andermans) resources.

[Reactie gewijzigd door mae-t.net op 27 juli 2024 21:57]

[sorted.bits]

Wacht, wat? Jij denkt dat deze software automatisch ook een arrestatiebevel gaat uitgeven? Nee natuurlijk niet, maar wanneer jouw werk het beoordelen van 100.000'en foto's is, om te kijken of er kinder-porno tussen zit, is het toch fantastisch als er door machine-learning al een voorselectie is gemaakt?

Tijd voor een tooltje wat gedraaid kan worden op PC's die ter reparatie worden aangeboden, of hoe zit de wetgeving daar eigenlijk voor in elkaar?

[YopY]

Volgens mij zegt de wetgeving daar niks over (het is immers niet jouw PC, als PC boer om de hoek), maar moreel gezien is het juist om het te melden bij de politie.

[CivLord]

Wanneer het jouw werk is om foto's te beoordelen zal deze tool je werk niet verlichten. Het maakt het vinden van misbruik foto's alleen maar makkelijker en je zult alsnog alle foto's moeten beoordelen, al was het alleen maar of de false positives er uit te halen.
Misschien kan deze tool wel aangeven welk deel van de bij een verdachte aangetroffen foto's onschuldig is, maar ik denk niet dat een uurtje minder werk opweegt tegen 99% misbruik foto's voor je kiezen krijgen, i.p.v. 50% van alle bekeken foto's.

Als tool bij PC-reparaties zou ik het toejuichen, wanneer dat betekent dat ze voor de rest uit mijn bestanden blijven. Die paar toevalstreffers waarop misbruikfoto's werden gevonden op PC's, kan alleen maar betekenen dat reparateurs stelselmatig alle PC's doorpluizen die ze onder handen krijgen.

[mae-t.net]

Een reparateur die zo'n tool draait, brengt zichzelf in de verleiding om toch even te kijken wat die tool gevonden heeft. Verder is het net zo goed een moreel dilemma of een monteur zich met dit soort dingen bezig moet houden. Als je kijkt hoe dat vroeger ging: misschien wel. Een pedofiel die zo dom was om een fotorolletje weg te brengen om te laten afdrukken, liep ook altijd al kans om geen foto's maar wel politie terug te krijgen.

[coolbvrobin]

Dit lijkt me geen slecht plan.
Alleen scannen van een pc/laptop met een oude hardrive neemt veel tijd in beslag.
Denk niet dat de pc boeren daar zin in hebben
Plus ik denk niet het zo goed is voor de privacy van de klant

[Reactie gewijzigd door coolbvrobin op 27 juli 2024 21:57]

[Bouke-p]

Die software is er ook al, het komt zelfs uit Nederland en word gebruikt door oa de Nederlandse politie.

VizX van ZiuZ

https://youtu.be/9NUY3NQT_BE

[YopY]

Zo werkt het niet. Als er een foto (of meerdere) gevlagd worden, én google gaat die informatie doorspelen aan de autoriteiten, dan gaan eerst de autoriteiten nog eens dubbelchecken of het echt om KP gaat. Pas dan start er ee proces.

[jetspiking]

Voorlopig wordt nog wel handmatig gecontroleerd, aldus het artikel

"De api is bedoeld om te ondersteunen bij het handmatig beoordelen van beelden."

[Robbaman]

Nou, aldus het artikel is het bedoeld om te ondersteunen. Het is nog maar de vraag of er dus voorlopig nog wel handmatig gecontroleerd wordt.

[ATS]

Nou, ik heb wel foto's van mijn kinderen met minder aan... En ja, dat zijn gewoon vakantiefoto's op een (naturistische) camping, of foto's in de tuin waar ze spelen in een badje. Daar is niets seksueels aan. Maar goed, die zet ik niet op OneDrive ofzo, want ik weet dat die daar niet tegen kunnen.

[CivLord]

En hopelijk heb je die foto's ook niet op enig apparaat staan dat vanaf internet benaderbaar is.
Wanneer er door een beveiligingslek iemand in je PC kan komen en daar gaat rondneuzen zijn dit soort foto's (ook foto's van naakte of schaarsgeklede volwassenen) het eerste waar ze naar op zoek gaan. (Wanneer jouw PC een toevalstreffer is en je niet het slachtoffer bent van een gerichte aanval voor andere doeleinden.)
Zelfs al zijn het totaal onschuldige foto's in een totaal onschuldige setting. Wanneer er bloot te zien is, is dat voor een bepaalde groep personen interessant. En ik denk niet dat je je fijn voelt bij de gedachte dat die foto's ergens op een site terecht komen en door een viezerik op een schemerig zolderkamertje gebruikt worden om zichzelf te bevredigen.

[CaptainEvillian]

Tja pedo's gaan ook naar nudistencampings om te kijken waarschijnlijk. Denk dat je daar weinig aan kan doen. Zolang ze met hun poten maar van kinderen afblijven. Maar ergens naar kijken of ergens aan denken kun je niet voorkomen. Datasurveillance zal dan ook weinig oplossen en alleen maar extra vervelende problemen creëren.

[kazz1980]

Zo lang het puur ter ondersteuning van het handmatig beoordelen is vind ik het een heel goed idee dat dit beschikbaar gesteld wordt. Maar ik vrees dat het al snel in de plaats van gaat komen. En dat kan heel vervelend uitpakken... Zowel wegens zaken die door het filter heen glippen als zaken die ten onrechte als kinderpornografisch aangeduid worden. Zeker ook in combinatie met huidige houding van de samenleving ten opzichte van deze materie.... Als eenmaal je naam in verband gebracht wordt met zoiets, terecht of niet, is het einde leven! En dat is bizar, maar een simpel feit.... En dat zijn dus geen beslissingen om geheel aan software over te laten.

[m3gA]

Het verbaast me dat niemand de voordelen benoemt voor de mensen die het moeten beoordelen. Het is zwaar en ook traumatisch werk. Zo is het voor hun een stuk gemakkelijker en hopelijk geestelijk minder zwaar.

Er zal vast nog wel een menselijk na-controle gedaan moeten worden.

[wildhagen]

Klopt, is idd zeer zwaar werk, mentaal gezien. Er zijn ook speciale opleidingen voor dat werk, zie bijvoorbeeld https://www.politieacadem...leiding.aspx?code=9302727

Maar ik betwijfel of dat werk er nu lichter van zal worden. Er zal immers, zoals je zelf al zegt, nog altijd een mensenlijke controle moeten worden uitgevoerd n.a.v. de 'hits' die de software geeft, of het wel écht kinderporno is.

Het enige wat nu veranderd is dat men minder foto's hoeft door te nemen, omdat de onschuldige foto's er nu door de software uitgefilterd wordt. Men kan nu dus als organisatie effectief méér kinderporno opsporen, omdat nu niet alles door mensen gecontroleerd hoeft te worden, maar alleen de 'hits'.

[m3gA]

Hier is een mooi artikel over de geestelijke impact van een het werk van een Facebook moderator. Zit wel wat overlap in. Zij krijgen dit soort beelden ook heel vaak te zien.

https://www.theguardian.c...rburdened-extreme-content

[Bouke-p]

De Nederlandse Politie gebruikt hiervoor VizX. op basis van verschillende technieken word beoordeeld of er veel bloot in een plaatje zit of dat het al eens eerder ergens gevonden is en strafbaar is bevonden.

Zie Youtube: https://youtu.be/9NUY3NQT_BE

[kazz1980]

Alleen wordt dat enkel los gelaten op reeds verdachte informatiesystemen.... En niet op systemen die grote aantallen visueel materiaal te verwerken krijgen (zoals file uploaders).

[Jerie]

Goed punt hoor, maar..

Er zal vast nog wel een menselijk na-controle gedaan moeten worden.

Klaarblijkelijk bij Microsoft niet:

wildhagen in 'nieuws: Google geeft api vrij die beelden van kindermisbruik he...

En dat vind ik toch wel kwalijk, in meerdere opzichten.

[CaptainEvillian]

Als je daar niet tegen kan moet je dat werk niet doen. Ambulancepersoneel ziet de meeste ellende van iedereen. Ook politie, gezondheidszorg, schoonmaakdiensten die iemand hersenen van de straat af moeten spuiten. Treinpersoneel dat regelmatig te maken krijgt met zelfmoord.

Dat is toch iets anders dan foto's kijken hoor.

[m3gA]

Het zijn niet perse de beelden maar de hulp en begeleiding die erbij komen.

[Luchtbakker]

Ik hoop echt dat ooit iemand dit op het tor netwerk gaat lanceren. Het zal me denk ik verbazen hoeveel results er zullen zijn.

[svenk91]

Identificeren heb je helaas niet zoveel aan als je de makers van het materiaal niet kan achterhalen. Het vinden van het materiaal lijkt mij nog de makkelijkste stap bij Tor.

[jaenster]

of emule for that matter

[m3gA]

Ik heb emule al meer dan 10 jaar niet meer gebruikt. Is het zo erg gesteld?

[jaenster]

op emule staat een hoop wat ik niet meer kan binnenharken via bv. tpb. Helaas is het ook een bolwerk van kp.

[Reactie gewijzigd door jaenster op 27 juli 2024 21:57]

[Kevinp]

Ik hoop dat NIEMAND dit uberhaupt ooit gaat gebruiken.

Een commercieel bedrijf welke KP kan herkennen, zonder enige controle? Nee dank je.

Edit: Wanneer de input vanuit justitie komt prima uiteraard. Maar ik vind dat je zoiets nooit bij een commericele organisatie wil hebben liggen.

[Reactie gewijzigd door Kevinp op 27 juli 2024 21:57]

[Aardedraadje]

Volgende stap zou mooi zijn: open sourcen van het algoritme en de tools.

[MacWolf]

Ik zat te denken dat je ook redelijk eenvoudig met Apple's CreateML zulk soort software kan maken (alleen voor plaatjes, geen videos, of je zou bepaalde frames uit videos moeten halen om als invoer te gebruiken). Je moet dan wel kinderporno als invoer gebruiken om een machine learning model te maken. Maar zoiets zal bij Google ook wel gedaan zijn en bij andere vergelijkbare machine learning oplossingen.

Apple's CreateML zou in ieder geval gedeeltelijk op open-source software gebaseerd zijn, voor zover ik had begrepen.

[Reactie gewijzigd door MacWolf op 27 juli 2024 21:57]

[YopY]

De tools zijn gewoon vrij op internet te downloaden; het moeilijke (ook vanuit moreel en legaal oogpunt) is die tools trainen op het herkennen van.

[netgrazer]

Het getrainde netwerk mag nooit openbaar worden, want als je dat ding dan laat "dromen" komt er alleen maar hele trippy kinderporno uit.

[ToolBee]

Mijn eerte gedachte is dat dit voor de politieagenten die de hele dag die akelige fotos en filmpjes moeten bekijken een tool is. Het zal je baan maar wezen...

[Bouke-p]

ik ben support specialist geweest voor een bedrijf dat software leverde aan de zedenteams die onderzoek doen naar KP. Ik ben heel erg blij dat ik nu iets totaal anders doe, teveel van die troep gezien...

[SgtElPotato]

Het herkennen is volgens mij geen probleem op het TOR netwerk, het achterhalen wie de uploaders zijn is het grootste probleem.

[MrWouterNL]

Goed om te zien hoe dit soort bedrijven deze tools open zetten voor andere bedrijven, hiermee kunnen we samen het internet veiliger maken.

[GetaGrip]

Niet het internet.... maar de samenleving en inderdaad is het stap de goede richting op mits de api wel aan alleen aan bevoegde instanties worden verstrekt. Als dadelijk 'iedereen' deze api kan aanvragen en implementeren dan zou je wel eens grote kans kunnen maken op een heksen jacht....

Verder mist het nog een vervolgstap... ik denk dat de mensen die nu misbruik moeten beoordelen best wel al goede tools beschikbaar hebben, maar tegen een probleem aanlopen waar de locatie van een misbruikt kind is. Als Google in de toekomst dus positieve beoordelingen door specialisten kan koppelen aan social media, dan wordt de pakkans van misbruikers veel en veel groter.

En wat misschien nog belangenrijker is, het kind wordt sneller uit zijn 'omgeving' gered.

[YopY]

Ik wil graag denken dat als een Google een (verzameling) KP ontdekt, ze al het relevante bewijsmateriaal, inclusief metadata, overhandigt aan de autoriteiten.

[Zer0]

Als dadelijk 'iedereen' deze api kan aanvragen en implementeren dan zou je wel eens grote kans kunnen maken op een heksen jacht....

Afaik kun je de API alleen toepassen op je eigen date (services/servers), dus ik zie niet in hoe dit tot een heksenjacht kan leiden.

[CivLord]

Maar hoe makkelijker het is om dit geautomatiseerd te doen, des te makkelijker wordt het om het enkel aan deze tools over te laten en de false-positives als 'snijverlies' op de koop toe te nemen.
In veel gevallen zal er weinig verschil zijn tussen een toevallige pose op een onschuldig familiekiekje en een pose op misbruikfoto's waarmee de AI getraint is. Voordat je het weet worden foto-uploads van ouders met jonge kinderen naar clouddiensten geblokkeerd omdat een paar onschuldige foto's fout beoordeeld zijn. En wanneer het bedrijf 'sociaal verantwoordelijk' wil zijn kan het op basis van die automatisch gedetecteerde false-positives zomaar besluiten om een account te blokkeren.

[Gropah]

Klinkt als een nobel doel, maar hoe vaak hebben we wel niet wetgeving en dergelijke doorgevoerd hebben zien worden met een soortgelijk argument. Ben dus erg benieuwd naar de voorwaarde van deze tool. Zou mij niets verbazen als Google de plaatjes ook weer mag hergebruiken, voor training oid, van andere tools.

[Luinwethion]

Dat is een zeer positieve ontwikkeling.

Hopelijk kan deze tool ooit de handmatig werk van mensen die het nu zelf moeten doen, bij politie, Social media platforms, etc... ongeacht van je voorbereiding dit moet een heftig job zijn.

[CivLord]

Je zult altijd de positives moeten controleren, omdat ongeverifieerd handelen op false-positives enorme schade aan kan richten wanneer je verder gaat dan enkel één enkele foto weigeren voor een uploaddienst.
Het zou het werk van diegenen die de verificatie doen misschien wel nog zwaarder maken, omdat af een toe een false-positive van een vrolijke onschuldige strandfoto je misschien net weer even energie kan geven om de minder onschuldige foto's daarna aan te kunnen.

[Argantonis]

Ik ben in dubio. Aan de ene kant fantastisch dat dit kan, gaat aardig wat zwaar mentaal werk ontnemen. Een organisatie tegen kindermisbruik waarbij ik me heb aangemeld als vrijwilliger kan dit misschien wel gaan gebruiken.

Maar ook weer gevaarlijk. Nu is het kinderporno, wat onder de twee-eenheid kinderporno/terrorisme valt waar niemand wat tegen kan hebben.

Straks gaan ze ook herkennen:
* Dat je een joint rookt op je foto (ook buiten Nederland).
* Dat je producten van merk X in je hand hebt, en laat merk Y nu net een geweldige aanbieding hebben, veel beter dan merk X
* Dat je Gevaarlijke Boeken in je boekenkast/op je bureau hebt liggen op de achtergrond in je foto die tegen de ideologie van de staat waarin je verblijft in gaan.

Aardig wat verantwoordelijkheid voor een bedrijf dat zowel heel erg machtig is en ook nog eens wil blijven opereren in de meeste landen en daarmee onder druk kan worden gezet.

[WhatsappHack]

Vooral respect aan de mensen die het programmeren en testen, moet je een stevige maag voor hebben.

[Sinus_rhythm]

Zoals bij de politie. Vind het inderdaad knap dat je dat kan doen.

[japborst]

Zal nog steeds moeten ben ik bang. Naast de input van dit algoritme zal je nog altijd een bevestiging van iemand bij de politie etc nodig hebben. Doordat je meteen kan filteren op gevallen met hoogste waarschijnlijkheid op KP, zal je vermoedelijk alleen maar meer (unieke) KP gevallen per uur / dag / week zien.

[Dan0sz]

Dit is misschien wel de meest 'bijzondere' opmerking op Tweakers ooit...

[Vetsmelter]

Echt? Bedankt.. ik vind die opmerking niet bijzonderder dan die opmerkingen van mensen die emule en tor kennen -waarom eigenlijk?
Wel nu even serieus, online kinderporno is een maatschappelijk probleem dat je niet gaat aanpakken met meer scannen, het heeft meer te maken met normen, sociale structuren en opvoeding of zelf gebrek daaraan kansloosheid en armoede.

Heeft Google daar ook enkele API's voor om dat te gaan aanpakken of is dit voor het bedrijf het zoveelste excuus om het scannen van content en daaraan verbonden traceren van individuen op industriële en commerciële te aan vergoelijken. Ja dus, want wie tegen scannen en traceren in de brede zin is kan nog geenszins tegen scannen in het kader van kinderporno zijn.
Vergeet niet dat ze dit soort algoritmes intern lekker uitproberen op jou en mijn fotocollecties in hun "gratis" cloud.

[Dan0sz]

Hoe ik het opvatte was als volgt: "hacker krijgt baan aangeboden", dus in deze context "pedofiel krijgt baan aangeboden".

Dat hackers (of anders gezegd; beroepscriminelen) een sociaal acceptabel alternatief aangeboden krijgen, om datgene te doen waar ze goed in zijn, heb ik in principe niets op tegen.

Dat pedofielen (sociaal gestoorden, zieken) een sociaal acceptabel alternatief aangeboden krijgen, zoals jij het lijkt te bedoelen, vind ik een 'bijzondere' en gevoelloze stelling. Alsof het in deze context een pluspunt op z'n CV zou kunnen zijn.

Als je het anders bedoelde, dan bij deze mijn excuses voor m'n reactie.

[Reactie gewijzigd door Dan0sz op 27 juli 2024 21:57]

[mae-t.net]

Hangt ervan af wat je met bijzonder bedoelt. Ik vind het tamelijk voor de hand liggen. Voor dit soort dingen kun je goed iemand gebruiken die er geen trauma aan overhoudt maar die toch 'aan de goede kant van de wet' wil staan.

Zoek voor de grap eens op Edward Brongersma, hoewel ik geloof dat die niet in de bestrijding van kinderporno actief was maar meer wetenschappelijk onderzoek deed (of daar aanhalingstekens omheen moeten, weet ik niet en daar schijnen de meningen ook over verdeeld te zijn).

[Reactie gewijzigd door mae-t.net op 27 juli 2024 21:57]

[Roel Broersma]

Het begint al met de definitie, als die onduidelijk is, dan is de uitwerking nog veel onduidelijker;

Kinderporno != kinder erotiek != naakte kinderen

Voorbeeld:
- Een naakte kleuter in een zandbak
Misschien heeft dit op bepaalde mensen een erotiserende werking, maar dit lijkt me niet strafbaar. (Ook al kiest het kind zelf niet voor deze foto, sec. genomen als de ouders deze foto maken en deze online zetten, deze hebben de verantwoordelijkheid / het gezag over het kind tot zijn.haar 18e).

- Een afbeelding die (evt. onder dwang) van een kind wordt gemaakt in een naakte poserende houding.
Dit is kinder erotiek en onder bepaalde omstandigheden strafbaar (bijv. als dit onder dwang gebeurt). Als dit een jongen van 15 is die zich laat fotograferen in bepaalde poses door zijn vriendin dan is dat volgens mij niet strafbaar.

- Een foto waarop een kind met een ander kind of een volwassene sexuele gemeenschap heeft (evt. onder dwang). In de meeste omstandigheden lijkt mij dit strafbaar. Er kunnen echter ook omstandigheden zijn dat dit niet strafbaar is, zoals 2 jongeren van 15 die zelf foto's van zichzelf maken tijdens de gemeenschap.


Zowel de definitie als de context is dus erg belangrijk. Om dit gelijk digitaal aan te vliegen (bijv. alle foto's die met de front-camera zijn gemaakt out-of-scope te laten omdat dit 'selfies' zijn) lijkt mij geen juiste oplossing. Ik kan me voorstellen dat je wel 'Alle naakte kinderen' kunt detecteren en zelfs bepaalde verrichtingen kunt detecteren, maar om daarmee te bepalen 'dit is strafbaar, dit verwijderen wij' is een stap te ver.

Daarnaast heb je te maken met verschillende wet en regelgeving in bepaalde landen.

Zelf ben ik voorstander van 'netneutraal', wat je hier zou kunnen vertalen a;s 'cloud neutraal'.

[mae-t.net]

Het probleem is in jouw geval dat de jongeren van 15 best gemeenschap mogen hebben, ze mogen daar alleen geen foto's van maken of bezitten. Daar moeten ze 18 voor zijn.

[Verwijderd]

Heb hier moeite mee. Niet vanwege het doel maar vele malen meer vanwege de werkelijke motieven van Google. Die zijn niet zo edel als het nu doet voorkomen. Wie zegt niet dat dit een prachtige manier is om user feedback te verkrijgen om die vervolgens in een ander product te benutten?