Apple protesteert ook tegen Brits wetsvoorstel over scannen naar kinderporno

Apple verzet zich tegen een aankomende wet van de Britse regering. Die zou berichtendiensten verplichten om berichten te scannen op zoek naar content van kindermisbruik. WhatsApp en Signal protesteren al langer.

Apple roept in een statement aan de BBC op om de wet aan te passen, die regelt dat berichtendiensten moeten scannen op materiaal van kindermisbruik. "End-to-endencryptie is een essentiële functie die de privacy van journalisten, mensenrechtenactivisten en diplomaten beschermt. Het helpt ook gewone burgers zichzelf te beschermen tegen toezicht, identiteitsdiefstal, fraude en datalekken. De Online Safety Bill vormt een ernstige bedreiging voor deze bescherming en zou Britse burgers nog meer in gevaar kunnen brengen. Apple dringt er bij de regering op aan om het wetsvoorstel zodanig aan te passen dat sterke end-to-endencryptie wordt beschermd ten behoeve van iedereen."

Eerder kwam er al verzet van onder meer WhatsApp en Signal. Dat gebeurde met een open brief richting de overheid van het Verenigd Koninkrijk. Toen al reageerde een functionaris dat het voorstel niet het einde hoeft te betekenen van end-to-endencryptie. "Het wetsvoorstel houdt geen verbod in op end-to-endencryptie, en het zal diensten niet verplichten om encryptie te verzwakken." Het wetsvoorstel verplicht de diensten wel om berichten automatisch te scannen op materiaal van kindermisbruik. Apple wilde dat systeem in iOS 15 zetten met een scan op de telefoon zelf, maar heeft dat plan teruggetrokken nadat er veel interne en externe kritiek kwam op het plan. Veel chatplatforms maken gebruik van end-to-endencryptie om chats te beveiligen, zodat mensen veilig onderling kunnen communiceren.

Reacties (132)

[kevlar01]

Wanneer wordt iets gezien als verdacht? Als je een foto van je pasgeboren baby die in bad zit doorstuurt naar opa en oma, gaat het algoritme dan ook af?
Ik ben groot voorstander van het afstraffen van kinderporno, echter blijft dit een lastig vraagstuk, privacy vs vergroten van pakkans.

Ik denk dat meer dan 99% van de mensen die gescand zouden worden onschuldig zouden zijn. Aan de andere kant, als je hiermee een hoop levens kan redden, is het dan gerechtvaardigd?

[Anoniem: 1777010]

Deze discussie loopt al sinds de oertijd en is feitelijk een valse vergelijking. De opsporingsdiensten hebben regelmatig laten zien dat zij deze massale inbreuk niet nodig hebben om hun werk te kunnen doen. Bij roofovervallen in de metro van Amsterdam is ooit van iedereen die incheckte nagegaan of ze het hadden kunnen zijn: de boef werd met ouderwets speurwerk opgespoord maar al die mensen blijven in het dossier. Materiaal van seksueel misbruik wordt al massaal herkend en opgespoord zonder toegang tot WhatsApp, Signal, of wat dan ook.

Regelmatig worden er pedo-netwerken opgerold zonder dat e2e doorbroken moet worden. Misbruikmateriaal wordt herkend aan de gordijnen, de lidl-tas in de hoek en natuurlijk het kind zelf.

Uiteindelijk slaat de balans altijd de verkeerde kant uit: je straft onevenredig veel mensen door al hun privacy af te pakken, om er pedofielen en/of terroristen mee te pakken die je anders toch wel te pakken zou krijgen.

De mensen die nu nog uit handen blijven van de opsporingsdiensten zijn doorgaans zelf gelieerd aan een statelijke actor en daarmee beschermd via veel effectievere middelen dan end-to-end encryptie: diplomatie, bescherming door de staat en/of hun functie in het politieke bestel. Dat geldt voor terrorisme, ransomware, pedofiele netwerken en wat al niet meer.

[World Citizen]

Goed punt, maar gezien we op Tweakers zitten heb ik een tegengeluid.

We kunnen prima nog steeds brieven schrijven en met een draaischijf de telefoon bedienen. Net als ouderwets opsporingswerk.

Maar iets automatiseren heeft wel degelijk voordelen. Je hebt minder skilled personen nodig en de snelheid of de hoeveelheid kan vaak omhoog. Je kunt meer werk verzetten in dezelfde tijd. Dat is het doel van automatiseren.

Dit heeft verder niets met privacy te maken, maar het lijkt me redelijk logisch dat het automatiseren van dit soort opsporingen wel bijdraagt. Je kunt gaan trendwatchen en dat gebeurd door een algoritme. In tegenstelling tot een mens kijkt die minder vaak over iets heen, en je hebt meer kans kleine trends of afwijkingen te signaleren.

Je effectiviteit gaat omhoog. Dat is de hoofd reden dat ik ooit in de Automatisering ben gestapt.

Dit gaat vaak ten koste van iets anders zoals privacy. Die discussie is iets anders, maar dat ouderwets opsporen nog steeds werkt zegt niet zo veel. Zoveel dingen uit het verleden werken nog prima.

[Reactie gewijzigd door World Citizen op 22 juli 2024 14:09]

[laurxp]

Helaas is dat niet hoe het in de praktijk werkt.

Meer data zorgt niet automatisch voor sneller en efficienter werken. Om een voorbeeld te geven: de moordenaar van Theo van Gogh was al vóór de aanslag bij de inlichtingendiensten bekend en werd al afgeluisterd. Zelfs dat is dus niet genoeg om een aanslag te voorkomen - en het is echt niet een uniek verhaal. Opsporingen zijn volledig afhankelijk van goed onderzoekswerk, en als je meer mensen in de gaten gaat houden krijg je ook veel meer ruis en heb je just méér werk.

[Aldy]

Het fabeltje dat je bij automatisering minder mensen nodig hebt.

[1nsane]

Toch kan je zo’n standaard t-65 pulstelefoon niet meer 1 op 1 aansluiten.

On topic. De grootste discussie gaat ook over privacy. e2e encryptie is er niet voor niks. Als dit soort diensten een backdoor krijgen, is het geen kwestie van of, maar wanneer hackers dit uit gaan buiten. Ik zeg niet dat het verstandig is maar mensen delen allerlei gevoelige info via berichtendiensten van wachtwoorden en persoonlijke zaken.

Het is trouwens bekend dat de algoritmes die dit eruit moeten filteren, veel fouten maken. Regelmatig berichten gezien dat mensen hun sociale media geblokkeerd zagen worden vanwege vermeende kinder porno terwijl het om fotos ging van spelende kinderen ofzo.

Dan kom je dus mooi met je giechel in een database straks zonder enige aanleiding.

[bzuidgeest]

Het idee is dat ze niet zo zeer een backdoor krijgen, maar dat ze controleren voor het de tunnel in gaat. Dat gezegd, dat maakt het nog geen goed plan.

[Waah]

In theorie ben ik het met je eens... In de praktijk zie ik helaas wat anders.

In onze branch hebben we alle machines nu "connected" en halen we hele zoden aan data op over gebruik, errors, frequentie etc. we hebben een "data lake" vol!

Doen we er ook iets mee? nope! Het is veel te veel data om te analyseren en OM het te analyseren heb je iemand nodig die de data goed kan filteren, dan nog goed kan interpreteren en dan nog mensen die dan iets doen op basis van die data.

Dus uiteindelijk moet elke machine verbonden! Maar we doen er niets mee. En ik twijfel er niet aan dat we niet de enige zijn.

Als je alle foto's die verdacht zijn dan gaat opsturen, wie gaat dat dan beoordelen? Hoeveel onderzoekers heb je wel niet nodig? Wie gaat het algoritme voor false positives tegen te gaan onderhouden? Het is vooral heel veel extra werk... Terwijl er veel betere methodes zijn zoals het infiltreren van bestaande netwerken, deze in de lucht houden en alle mensen die het bezoeken op te pakken.

Ik heb zelf kinderen van jonge leeftijd. En met oa luieruitslag en andere zaken maak ik wel eens even een foto zodat ik kan vergelijken of iets verbeterd of niet. Die upload ik niet naar de cloud... Maar dat soort foto's zullen voor iemand al snel als kinderporno kunnen worden bestempeld.

Dit is toch een beetje als met een mug op een olifant schieten.

Dus uiteindelijk heb je méér mensen nodig op dit moment. Misschien later met behulp van AI en andere technieken dat het beter kan, maar op dit moment met alle false positives die je gaat krijgen? No way.

Dat Apple dan kritisch is nadat ze dit zelf eigenlijk wilde toepassen is dan wel weer des Apple's

[bzuidgeest]

Ik vind dat we veel te ver gaan met privacy. Maar het idee dat overheden en bedrijven continue al je content scannen op je telefoon (buiten een virusscan of zo wat een opt in is). In essentie in je prive materiaal snuffelen voor een opsporingstaak, met dubieuze criteria vind ik veel te ver gaan.

Het is niet nodig en het criminaliseert onnodig burgers met false positives met alle gevolgen van dien.

[Hakker]

Waar gaat de effectiviteit omhoog? Ben je de hele toeslagen affaire nu al vergeten? de sleepwet vergeten naar aanleiding van het mogelijk frauderen met de belasting waardoor hele wijken gevolgd werden omdat ze volgens het algoritme een hoger risico waren maar het uitendelijk totaal niet waar was. Of zijn we het laatste bericht al vergeten over dat vooral buitenlandse scholieren beschuldigd worden van frauderen vanwege.... u raad het al een algoritme.

In geen van de gevallen heeft het wat opgeleverd maar ondertussen wordt je wel aangemerkt als een probleem geval.
Sinds al dat sleepnet gebeuren is men niet effectiever gaan opsporen eerder andersom. Men moet al die troep doorspitten met de hand.

[Gunneh]

Dit gaat vaak ten koste van iets anders zoals privacy. Die discussie is iets anders

Ik denk dat die discussie hand in hand gaat en je die niet apart kan houden

[dimdek]

Ik vind het een groot probleem dat er wordt gemeten naar de maatstaven van de makers van het algoritme. Omdat elke land zijn eigen cultuur heeft kun je die maatstaven niet universeel gebruiken. Verder wordt in de loop der jaren ook anders gekeken naar bepaalde zaken.
Om een paar voorbeelden te geven:
- Een kennis werd van Facebook afgesloten omdat je een aantal jaren terug heeft geholpen met het schminken voor de Sinterklaasintocht. Daarvan had ze foto's op Facebook staan die plotseling niet meer mochten.
- Vroeger was topless zonnen de normaalste zaak van de wereld. Dat zie ik ook terug op oude vakantiefoto's. Als ik die foto's nu zou laten analyseren zou ik waarschijnlijk een stempeltje 'pervers' krijgen.
- Ik heb het altijd normaal gevonden als kleine kinderen in hun blootje in de tuin spelen. Als daar foto's van zijn dan vind ik dat nog steeds onschuldig (zolang het maar om je eigen kinderen gaat). Volgens mij is dat in Nederland ook niet gek. Wanneer de foto's in bijvoorbeeld de V.S. worden beoordeeld, dan wordt daar heel anders naar gekeken, maar zij bepalen niet wat in Nederland wel of niet mag.

Voor mij zij dit soort zaken altijd een reden geweest om niets te synchroniseren met 'de cloud'.
Jaren terug had ik al het verhaal gelezen van een Canadese moslim die heel onschuldig zij collega's voor een verkoopevenement in de V.S. een hart onder de riem wilde steken en een sms verstuurde in de trant van 'blow them away'. Deze man werd op verzoek van de V.S. van zijn bed gelicht en opgesloten. Puur omdat ze verkeerd hadden geïnterpreteerd.

[Anoniem: 1322]

Deze discussie loopt al sinds de oertijd en is feitelijk een valse vergelijking.
Dit komt voornamelijk omdat heel veel mensen zich ermee 'bemoeien' zonder ook maar enige kennis van het onderwerp. Het is een 'politiek' proces geworden in plaats van een middel om het doel te halen. Dit lijkt wel de trend te zijn voor de meeste onderwerpen.

Apple had (zoals vermeld) een tijd terug een goede oplossing (op papier) voor dit probleem. Je had de reacties hier moeten zien toen ik die methode probeerde uit te leggen of te verdedigen. De pers ging er al helemaal mee aan de haal...

Dus nu zitten we met systemen die al onze foto's 24/7 analyseren. Enger kun je het bijna niet voorstellen.

The people don't get the system they need, they get the system they deserve! /s

[bzuidgeest]

Wat was die goede oplossing? want ik heb hem niet gezien.

[Anoniem: 1322]

Apple had een systeem voorgesteld dat je foto's on-device zou scannen enkel en alleen als je iCloud foto's had ingeschakeld. Dus voordat de foto's naar Apple worden gestuurd zouden deze op het apparaat zelf gescand worden in plaats van Apple zelf (ze zijn verplicht in de meeste landen om een CSAM systeem toe te passen). Als je geen iCloud hebt ingeschakeld dan werden je foto's niet gescant.

Hierdoor hoeft Apple de foto's in iCloud zelf niet meer te benaderen of te scannen. Daarmee zouden ze in de toekomst ook volledige end-to-end encryptie kunnen toepassen op iCloud photo's zodat niemand er nog bij kan komen.

De pers (het is Apple) ging er volledig mee vandoor en blies het verhaal volledig uit proporties waardoor mensen natuurlijk flink opgeruid waren! Tweakers werkte hier ook aan mee waardoor je reacties kreeg als:
GertMenkel in 'Apple belooft fotoscan alleen te gebruiken voor opsporen kindermisbruik'

Tweakers, misschien een idee om hier een keer een deep dive over te schrijven? Ik zie bij dit soort draadjes veel reacties die ogenschijnlijk uit onbegrip over de manier waarop deze hashes tot stand komen en hoe de vergelijking ongeveer werkt.

Het is niet alsof Apple ergens een centrale server heeft staan met terabytes aan kinderporno, en het is ook niet alsof Apple een team heeft dat kinderporno verzamelt. Er worden hashes (geen bestandshashes, maar visueleperceptuele hashes) aangeleverd door een externe partij en na een hele hoop papierwerk kán er per foto toestemming worden verleend om materiaal te vergelijken alvorens er een melding naar de overheid wordt gedaan.

[bzuidgeest]

Ik weet nog steeds niet of ik het als een goed idee zou omschrijven. Altijd beter dan encryptie verzwakken, maar dat maakt het nog niet goed.
Zover ik weet heeft het publiek niet de mogelijkheid om de hashes en de kwaliteit daarvan te controleren en dus ook niet de kwaliteit en integriteit van het systeem. Ofwel zoeken ze wel echt naar KP.
Ik wil ook niet totaal paranoïde doen, maar ik vind wel dat de volledige keten transparant hoort te zijn in dit soort dingen.

En wie voorziet in de dataset? Zijn wij straks onderhevig aan Amerikaans bekrompenheid?

[Reactie gewijzigd door bzuidgeest op 22 juli 2024 14:09]

[Anoniem: 1322]

Ik weet nog steeds niet of ik het als een goed idee zou omschrijven.
Eens, en er zijn echt wel valide redenen om hier tegen te zijn. Maar het zou een veel beter systeem zijn dan we nu hebben.
Zover ik weet heeft het publiek niet de mogelijkheid om de hashes en de kwaliteit daarvan te controleren en dus ook niet de kwaliteit en integriteit van het systeem.
Heb je dat nu wel dan? Terwijl momenteel al je foto's in de cloud gescand worden?
Zie je? Het is inderdaad geen perfect systeem maar wel beter dan wat we nu hebben.

Ik wil ook niet totaal paranoïde doen, maar ik vind wel dat de volledige keten transparant hoort te zijn in dit soort dingen.
Daarom stelden ze ook dit systeem voor. CSAM is totaal uit ons beeld en uit ons bereik momenteel. Door het on-device te brengen zou men in iedergeval nog iets kunnen controleren.

En wie voorziet in de dataset? Zijn wij straks onderhevig aan Amerikaans bekrompenheid?
Dat is waarschijnlijk afhankelijk van het land waar je woont. Die schrijven de regels.
Verder staat alle informatie hier:
https://www.apple.com/chi...ion_Technical_Summary.pdf
https://www.apple.com/chi...Protocol_and_Analysis.pdf

Even ter verduidelijking: Apple is hier een stuk transparanter dan letterlijk iedere andere cloud aanbieder voor zover ik gezien heb.

[bzuidgeest]

Heb je dat nu wel dan? Terwijl momenteel al je foto's in de cloud gescand worden?
Zie je? Het is inderdaad geen perfect systeem maar wel beter dan wat we nu hebben.

Ze worden nu gescand om mij functionaliteit te bieden. In dit geval hebben we het echter over scanner voor opsporingsdoeleinden. Ik vind de doeleinden belangrijk. Dat een gratis dienst voor commerciële doeleinden met mijn data speelt vind ik een gevolg van het hebben van een gratis dienst. Het is een gebruiksvoorwaarde. Een bedrijf dat opsporingsdienst speelt is voor mij iets heel anders.

Het is een heel interessante discussie. ik vind dat het probleem dat ze proberen aan te pakken KP te "klein" is om het middel te heiligen

[Anoniem: 1322]

Ze worden nu gescand om mij functionaliteit te bieden
Eeummhh, nee. Ze worden gescand voor CSAM... Dat is Apple, naast iedere andere hoster van afbeeldingen verplicht.

De rest van de functionaliteit vindt meestal plaats op de lokale apparaat (bij Apple). Hun ding is een beetje dat ze helemaal geen toegang willen zodat ze kunnen claimen aan privacy te doen.

Dat een gratis dienst voor commerciële doeleinden met mijn data speelt vind ik een gevolg van het hebben van een gratis dienst.
CSAM is verplicht voor iedere dienst, ongeacht of deze betaald is of niet.

Een bedrijf dat opsporingsdienst speelt is voor mij iets heel anders.
Dit wordt verplicht door een overheid. Je hebt als organisatie daar geen zeggenschap over. Je moet je simpelweg aan de wetgeving houden.

Het is een heel interessante discussie. ik vind dat het probleem dat ze proberen aan te pakken KP te "klein" is om het middel te heiligen
In het kort hebben we gewoon momenteel een groot probleem (gebruikers en aanbieders) omdat het CSAM systeem verplicht is. Apple wou er iets aan doen en werd teruggefloten door de hoogfluiters die gemisinformeerd waren of andere motivering hadden. Nu staan we dus weer aan het begin en hebben nog steeds het probleem dat alle foto's leesbaar gescand moeten worden (privacy inbreuk).

[bzuidgeest]

Eeummhh, nee. Ze worden gescand voor CSAM

met end to end encryptie hebben ze niets te scannen, dus verplicht of niet dat gaat niet op. Als ik alles wat ik naar de cloud stuur encrypt hebben ze helemaal niets om te scannen in mijn onedrive e.d. (ik verlies wel wat foto functies maar die boeien mij niet)
Dat veranderd als ze lokaal gaan scannen en dat vind ik niet correct.

Dit wordt verplicht door een overheid. Je hebt als organisatie daar geen zeggenschap over. Je moet je simpelweg aan de wetgeving houde

Ik begrijp dat ze verplicht zijn, maar dat veranderd niets aan dat ik het niet goed vind.

[Anoniem: 1322]

met end to end encryptie hebben ze niets te scannen, dus verplicht of niet dat gaat niet op.
Er is geen E2E encryptie... Dat is de hele reden waarom Apple het on-device wou afhandelen, dat legt de weg open naar E2E.
Verder kun je als Apple of Google niet zeggen: ik voldoe niet aan regelgeving omdat ik E2E gebruik. Dan zal jouw dienst simpelweg geblokkeerd worden in dat land (zoals vaak gebeurd in China of Rusland).

Als ik alles wat ik naar de cloud stuur encrypt hebben ze helemaal niets om te scannen in mijn onedrive e.d. (ik verlies wel wat foto functies maar die boeien mij niet)
We praten hier over foto hosting, niet filesharing in het algemeen. Uiteraard kan je op een filesharing dienst je eigen encryptie toevoegen maar persoonlijk denk ik dat de EU dit ook op termijn wil veranderen:
nieuws: EC wil platforms kunnen verplichten te scannen naar foto's van kinder...

Dat veranderd als ze lokaal gaan scannen en dat vind ik niet correct.
Nee, dat veranderd niet. Jij hebt geen invloed op de encryptie mogelijkheden van foto upload features van icloud, Onedrive of Google drive.
Maar zoals ik het lees gebruik jij die toch niet dus veranderd er helemaal niets. Je vergeet dat Apple voorstelde om het on-device te doen enkel als je de foto upload functie had ingeschakeld.

Ik begrijp dat ze verplicht zijn, maar dat veranderd niets aan dat ik het niet goed vind.
Haha, ze doen ook helemaal niets met het feit dat jij het een goed idee vind of niet, helaas.
Het punt is dat we nu een privacy inbreuk makend systeem hebben en we daar graag van af zouden willen. Maar omdat mensen die nergens verstand van hebben (politici) dit bepalen en mensen die geen verstand van de techniek hebben het hardste schreeuwen (misinformatie), komen we hier niet vanaf.

[bzuidgeest]

Verder kun je als Apple of Google niet zeggen: ik voldoe niet aan regelgeving omdat ik E2E gebruik. Dan zal jouw dienst simpelweg geblokkeerd worden in dat land (zoals vaak gebeurd in China of Rusland).

Dat is vreemd, genoeg diensten die er reclame mee maken dat ze het hebben. En je kan het altijd zelf opzetten (VPN). Er zijn ook diensten die expliciet zaken doen op het fenomeen dat je storage dusdanig encrypted is dat het bedrijf er zelf niet bij kan. Als dat niet meer mag dan is SAAS voor bedrijven dood. Als het voor bedrijven mag, dan mag het voor consumenten.

nieuws: EC wil platforms kunnen verplichten te scannen naar foto's van kinder...

Dat is al 100 keer geroepen en gaat nooit door. Het is een politiek natte droom. Veel te veel privacy issue. En wil je werkelijk de VS alle EU data laten scannen. Zal de CIA blij mee zijn. Al die bedrijfs info die ze stiekem even meelezen.

Ik snap best wel waar je heen wil met je argument. Maar ik denk gewoon niet dat het zo een vaart gaat lopen. Het schaad de privacy voor heel weinig nut en de criminelen kunnen er makkelijk omheen. Die gebruiken dan geen fotodienst, maar wisselen het versleuteld uit over een VPN of encrypted storage account of iets dergelijks. Je moet toch al een enorme sukkel zijn om je KP in een fotouploaddienst te schuiven...

[RogerWilco2]

Ik ben altijd direct achterdochtig als een maatregel alleen te rechtvaardigen is om kinderporno of terrorisme aan te pakken.

Een opsporingsmethode is goed of slecht.

[bzuidgeest]

Een opsporingsmethode is goed of slecht.

Nee, alles hangt af van de situatie, of het middel het doel heiligt.

Verder je eerste zin, ben ik het mee eens. Dat zijn fallback redenen gebaseerd op angsten en emotie,

[trisje]

Die oplossing van *Apple was dat alle foto's die je telefoon passeerde werden gescannend. Wat is het verschil ? en is die oplossing echt beter dan ? eerlijk gezegd voorkom je bij alles scannen helemaal niet zoveel. ze zouden zich meer moeten inzetten op de grote jongens inplaats van een enkeling. Maar ja dat is nog moeilijker, indivuele personen aanpakken is dat betreft simpeler en als dat in het nieuws komt weerhoud dat misschien mensen het niet te doen.

[Anoniem: 1322]

Die oplossing van *Apple was dat alle foto's die je telefoon passeerde werden gescannend. Wat is het verschil ?
Nee, dat was het niet. Enkel en alleen als je iCloud foto's had ingeschakeld zouden de foto's gescand worden.

Apple en iedere andere 'hoster' van afbeeldingen moet verplicht alle foto's scannen met een systeem genaamd Child Sexual Abuse Material (CSAM). Met andere woorden, iedere leverancier moet verplicht toegang krijgen tot jouw data en deze 'bekijken' in hun cloud omgeving.

Apple stelde een systeem voor dat lokaal draaide en werkte voordat de foto's zouden worden geupload naar iCloud. En dat zou enkel werken voor de foto's die toch al werden geupload. Daarmee zou men dus niet meer jouw foto's hoeven te benaderen.

Nu zitten we dus met een grote privacy inbreuk met cloud oplossingen. Apple stelde een oplossing voor en iedereen begon te protesteren omdat ze de copy/pasta media 'quoten'. Maar als je simpelweg het voorstel (https://www.apple.com/chi...ion_Technical_Summary.pdf) had gelezen, dan zag je dat de media er bewust een sappiger verhaal van maakte (zoals hier ook vaak gebeurd).

[Vaevictis_]

Dat is het manco van opsporingsdiensten maar ook intelligence. Die willen altijd mee bevoegdheid en meer data. Want stel je voor dat ze een misdrijf hadden kunnen voorkomen. Terwijl er niet wordt gekeken naar doelmatigheid en er zijn ook andere opsporingsmiddelen. Beroepsdeformatie is dan dat iedereen een potentiële verdachte is totdat het algoritme dat niet zegt. Hoeft maar paar keer false positieve af te gaan en kunt iemand compleet verwoesten.

[SkyStreaker]

Dat is het he? Kan je onschuldig zijn, uiteindelijk. Maar de maatschappij heeft je al aan de kant gezet. Want, je bent toch ergens op verdacht geweest en dat klopt niet.

[Edgarz]

Dat is een achterhaalde redenatie en zou in een non-digitale werle dgeldig zijn. Maar in een digitale wereld waar anonimiteit/het verhullen van identiteit veel makkelijker is, is dit te vergelijken met de inzet van paarden cavalerie tegen tanks.

Het feit dat er zonder additionele maatregelen ook kinderporno netwerken opgerold worden wil niet zeggen dat de additionele maatregelen geen toegevoegde waarde hebben. Een cavalerist (te paard) zal best een keer een tank kunnen uitschakelen, maar dat wil niet zeggen dat andere wapens niet waardetoevoegend zijn voor het te bereiken doel.

Daarbij, de inbreuk op privacy is theoretisch en sterk afhankelijk van de bijkomende waarborgen. Vooral omdat een inbreuk, in het meest optimale geval, geen enkele schade oplevert. En dus hoeft er helemaal geen sprake van 'straf' te zijn. Je kunt het namelijk ook beschouwen als een actieve bijdrage leveren aan het laten verdwijnen van hele schadelijke en mensonterende criminaliteit.

[Boxman]

Ik ben groot voorstander van het afstraffen van kinderporno

Wat een mega dooddoener. Letterlijk iedereen is dat op echte pedo’s na, en het feit dat je je genoodzaakt voelt om dit er expliciet bij te vermelden geeft precies aan waar de schoen wringt.

Namelijk dat kinderporno bewust als excuus wordt gebruikt om privacy-inperkende maatregelen door te voeren die ‘toevallig’ -behalve opsporen kinderporno- ook een technische deur openzetten om (vaak later) allerlei niet-kinderporno gerelateerde zaken in de gaten te houden.

En als je daar tegen bent? “Ja maar het gaat om KINDEREN! Je hebt toch zeker niks te verbergen?!” Je wordt nog net niet rechtstreeks voor ‘pedofiel’ uitgemaakt.

Het resultaat is dat mensen zich inmiddels op voorhand denken te moeten indekken. Het is te zot voor woorden dat die strategie zo goed lijkt te werken dat opkomen voor je privacy tot een heus taboe gemaakt is.

[JurGor]

Het lijkt erop dat een aantal Tweakers niet door heeft dat ze precies in een mogelijke doelgroep van een algoritme vallen dat bedoeld zou kunnen zijn om kinderporno op te sporen. Namelijk man, actief op internet, seksueel actief, ooit eens afbeelding van kind gedownload en/of geupload.

En wedden dat ze dan homoseksualiteit ook aan dat algoritme toevoegen, want "homo's houden toch zo van jonge jongens". Dit soort wetvoorstellen en dan ook nog aangestuurd door conservatieve partijen zijn echt ongelofelijk eng.

Kinderporno bestrijd je door voorlichting van kinderen, zodat ze weerbaarder zijn. Goede geestelijke gezondheidszorg voor volwassenen, zodat ze leren met hun maatschappelijk onaanvaardbare seksuele driften om te gaan en deze niet bot te vieren op kinderen. Legalisering van de porno-industrie en sekswerkers, zodat de legalen hun werk beter en veiliger kunnen doen en de 'barely' legalen en illegalen worden aangepakt. En recherchecapaciteit, zodat daders niet ongestraft blijven.

[Blokmeister]

Je maakt supergoede punten, maar dat met homoseksualiteit is wel echt een drogreden hellend vlak. Kinderporno is verboden en homoseksualiteit (in het VK) niet. Zeggen dat homoseksualiteit gaat worden opgespoord en strafbaar wordt gemaakt door zo'n wetsvoorstel is echt een rare redenering.

Vooral in de laatste alinea sla je de spijker op zijn kop. Pedofielen moet je niet als misdadigers bestempelen maar als geesteszieken die behandeld moet worden. Zij zijn ook tot op zekere hoogte slachtoffer van hun gedachten en denkbeelden en verdienen het om daarmee geholpen te worden.

[JurGor]

Ik denk dat je me niet helemaal goed hebt begrepen. Wat ik bedoel is dat de resultaten van al dat data scannen geïnterpreteerd zullen worden met behulp van een algoritme. En dan is er een risico dat zo'n algoritme er bepaalde groepen uitpikt die hoe dan ook, los van het opsporingsonderwerp, afwijken van de gemiddelde burger, waarop dan gerechercheerd wordt. En dan heb je maar een klein groepje rechercheurs nodig die homoseksualiteit verwerpelijk vinden, van hun baas te horen krijgen dat het "we gaan ze kapot maken dag" is en zich gesterkt voelen in hun vooroordelen door wat het "objectieve" algoritme hen voorschotelt. En voordat je het weet heb je analoog aan het Toeslagenschandaal een groep onschuldigen die zonder fatsoenlijk bewijs snoeihard door de overheid wordt aangepakt. Want als het algoritme je aanwijst, is die foto van dat jongetje in een zwembroek ineens geen familieprentje meer, maar kinderporno. Want als het algoritme je aanwijst, en je bent ook nog zo'n homo je weet wel, dan hebben we je te pakken. Dat is de redenering, en ik ga er zonder meer van uit dat dezelfde conservatieven die denken dat homo een ziekte is die je kan genezen dat soort 'collateral damage' niet heel erg zorgwekkend vinden.

Bij al dit soort wetsvoorstellen die over grootschalig data vergaren gaan, moet je nooit de lessen van het Toeslagenschandaal vergeten. Zoveel data betekent een algoritme. Een algoritme dat objectief oogt, maar dat nooit is want wat het algoritme eruit pikt is uiteindelijk door mensen bepaald. En dat komt dan terecht bij rechercheurs die uiteindelijk ook gewoon mensen zijn en vertrouwen hebben in wat het onpartijdige neutrale algoritme ze aandraagt. Meestal doen ze hun werk goed, maar tunnelvisie en beroepsdeformatie liggen altijd op de loer. Als er dan ook nog van hogerop grote druk komt "we moeten die smeerlappen pakken", dan lopen groepen onschuldige mensen een groot risico.

[Blokmeister]

Goed dat je het even toelicht, want ik had het toch wel extremer geïnterpreteerd. Nu zie ik er wat meer in. Ik denk wel dat dit meer een argument is om goed na te denken over hoe we de data gaan gebruiken dan dat het is om de data niet te vergaren.

Nu ik daar meer over nadenk vraag ik me af of dit überhaupt niet het punt is bij dit soort wetgeving. Als de overheid een partij is die je zou kunnen vertrouwen met je data, is het volgens mij niet zo'n groot probleem. Dat probleem komt pas als de foto van je dochtertje die je partner jou stuurde, door Apple/Microsoft wordt aangemerkt als kinderporno, waarna zonder pardon je hele account wordt dichtgegooid zonder mogelijkheid op correspondentie. Hoe vaak dat gebeurt weet ik niet, maar alleen al de anecdotes vind ik beangstigend en tonen aan dat het gebeurt.

Misschien heb je wel een goed punt. Ik ga er over nadenken. Dankjewel voor je inzicht!

[Superstoned]

Goede discussie.

Van mijn kant - laten we dan ook maar net zo dom spelen als de overheid. Apple scant de encrypted berichten op de server. Ze zullen nooit iets vinden, daar de berichtjes encrypted zijn, maar ze scannen wel. Mogen de politici dat uitvogelen.

[magician2000]

Vergeet niet, het even stilstaan en glimlachend terugdenken aan je eigen jeugd wanneer je spelende kinderen ziet... Uiteraard ben je dan pedofiel of liefhebber van kinderporno...

Het is een trieste maatschappij waar alles wordt gebruikt om rechten in te perken.

[RogerWilco2]

Precies. Ik ben altijd direct achterdochtig als een maatregel alleen te rechtvaardigen is om kinderporno of terrorisme aan te pakken.

Een opsporingsmethode is goed of slecht.

[Gunneh]

Dat 'je hebt toch niets te verbergen!' argument maakt me inderdaad zo moe.

Ja, ik heb dingen te verbergen. Van Amazon, van Google, van de overheid etc. Niets illegaals maar wel dingen waar andere geen zak mee te maken hebben.

[MeneerGroot]

Het is dat ik door me verse status geen punten kan geven. Maar dit is echt een perfecte opsomming!
+++++

[Blokker_1999]

Het grote probleem vandaag is niet dat opsporingsdiensten niet genoeg data hebben, maar dat ze niet genoeg personeel hebben om al die data te verwerken. Waarom men dan altijd maar meer data wil vergaren onder het mom van dingen als kinderporno en terrorisme is mij een raadsel, tenzij we er toch meer achter moeten gaan zoeken.

[bzuidgeest]

Geen raadsel. Een politicus die zijn populariteit wil verhogen of een partij die hetzelfde wil pakt dit soort onderwerpen op. Goedkope publiciteit, controversieel, spreekt moraalridders aan. Het is gewoon een populariteits tool. Er zijn meer van dat soort onderwerpen. Abortus bijvoorbeeld.

[RogerWilco2]

Precies. Het is een vorm van populisme.
Mensen emotioneel maken en dan die emotie gebruiken om een maatregel door te voeren die ze niet zouden goedkeuren als ze rationeel nadachten.

[bzuidgeest]

Exact, met die aanvulling dat de politicus in kwestie ook vaak nauwelijks een idee heeft van wat voor schade hij aanricht.

"Don't ascribe to mallice, that which can be easily explained by stupidity"

[geerttttt]

Dat is een beetje hetzelfde als: waarom moeten er cameras komen in het centrum tegen (zinloos) geweld? De politie heeft helemaal geen tijd om elke mishandeling te vervolgen, dus doe het dan niet.

Daarnaast hebben we het nu over de Britse opsporing. Ik weet niet hoeveel capaciteit zij hebben, jij wel?

[svenk91]

Betreffende die camera's, dat moet ook afschrikken natuurlijk. Ook met minder dan 100% pakkans kan het mensen ervan weerhouden geweld te plegen.

[geerttttt]

Wetende dat er veel kinderporno filters zijn waardoor je tegen de lamp kunt lopen is geen afschrikkend effect?

[M3m30]

Als de pakkans heel laag is, dan valt de afschrikkende effect weg.

[geerttttt]

Toch denk ik dat als je weet dat je bezig bent met een ernstig feit, waar je hele omgeving je de rug zal toekeren als het bekend wordt en je tegelijk weet dat je risico loopt door kinderporno op je telefoon te hebben, men het minder snel zal doen. Meer dan nu waarbij men weet: mijn fotos zijn versleuteld en geen politie kan dit zien!

[Spacejockey]

Je kunt nog zoveel data hebben, als je er geen dader aan kunt koppelen heb je er niet zoveel aan. Als je data hebt van iemand's telefoon gaat het opsporen natuurlijk een stuk makkelijker.

[Reactie gewijzigd door Spacejockey op 22 juli 2024 14:09]

[Gunneh]

Omdat instanties er wel degelijk wat mee doen.
Ik ben dr zelf slachtoffer van geworden naar mijn mening. Ik kan het niet bewijzen natuurlijk omdat het achter slot en grendel is maar OF ik had ongelofelijk veel pech OF de een bepaalde overheid had info over mij die ze niet hadden moeten hebben.

[R4gnax]

Wanneer wordt iets gezien als verdacht? Als je een foto van je pasgeboren baby die in bad zit doorstuurt naar opa en oma, gaat het algoritme dan ook af?

In het geval van Microsoft is het antwoord daarop volmondig een bewezen: "ja, dat kan."
Mensen, ook iemand hier op Tweakers geloof ik, zijn daar hun MS account al eens mee kwijtgeraakt.

[EDIT] Bevestigd!

[Reactie gewijzigd door R4gnax op 22 juli 2024 14:09]

[WhatsappHack]

Niet een "iemand", er staat een heel topic vol over slachtoffers van die Microsoft en Google-policies.

[R4gnax]

Dank. Gecorrigeerd.

[jpsch]

Erger nog. Wat als je een kinderfoto van jezelf hebt waarbij je als ukkie naakt op het strand aan 't spelen bent. Wordt je dan aangeklaagd voor het hebben van een naaktfoto van jezelf?

[PhilipsFan]

Wat dacht je van 2 mensen van 16 die met wederzijdse toestemming sex hebben en dat filmen. Dat is volgens de wet kinderporno, maar geen rechter zal die 2 daarom veroordelen. Alleen deze situatie is al genoeg reden om hier nooit aan te willen beginnen.

Techbedrijven hebben niks, maar dan ook NIKS te zoeken in de berichten en foto’s van hun klanten. Kinderporno moet opgespoord worden, maar niet door het scannen van alle foto’s van iedereen. Met alle kans op false positives en de gigantische reputatieschade die dat tot gevolg heeft.

[Luminair]

Dat is volgens de wet kinderporno, maar geen rechter zal die 2 daarom veroordelen.

Daar zou ik niet te snel over zijn. Die twee mensen blijven niet voor altijd 16 jaar oud, en als men later die (minderjarig seksuele) content nog op de telefoon heeft staat, reken maar dat dat niet mag.

Verder kan ik het zo snel niet terug vinden, maar als het hier alleen gaat om al geregistreerd CSAM materiaal, dan zijn twee random 16-jarigen in principe vrij om te doen wat ze willen. En als er een fingerprint-hash-scan techniek gebruikt wordt is de privacy ook gewaarborgd.

[ultimasnake]

Op basis van het laatste zou je kunnen stellen dat de overheid gewoon 1 op 1 met je mee mag kijken. Want als ze mee kunnen kijken met een drugsdealer zal iemand niet zwaar verslaaf raken en zich de dood in snuiven, en zo kan je wel even door gaan...

Natuurlijk enorm ernstig allemaal maar zoals je al zegt 99% zullen false-positives zijn en krijgen we praktijken zoals dit (https://www.nytimes.com/2...ce-toddler-photo.html)... Ik heb ook 2 hele jonge kinderen (2.5 jaar en 4 maanden) en wij maken alle foto's altijd op een manier dat de geslachtsdelen er niet op staan (handdoekje ervoor in bad, of camera net wat hoger), maar een trigger voor software zou het zeker zijn.... En dan? moet ik het bij de grote jongens zien aan te vechten dat ik het leven van mijn kids voor ze vastleg?

[geerttttt]

Jij denkt dat we wel complete levensechte AI gegenereerde afbeeldingen kunnen maken, ChatGPT een volwaardig werkstuk kunnen laten typen, maar niet met redelijke juistheid kinderporno detecteren?

Er moet natuurlijk altijd een kundige menselijke scan overheen, maar ik denk dat je wel op een punt uit kunt komen dat het minstens 50/50 echt kinderporno betreft. En misschien moet er wel meer dan 1 plaatje door de controle heen komen voordat iemand onder de loep gelegd wordt? Ik noem maar even wat.

[xleeuwx]

Ik weet zeker dat ChatGPT daar niet voor getraind is en dus niet kan. Een AI is niet een wondermiddel maar een stuk software wat op basis van vooraf ingevulde data bijvoorbeeld gelijkwaardige data kan herkennen. Hiervoor dien je het model dus eerst te trainen met kinderporno en familiefoto’s om daartussen het verschil te leren en dat is niet onmogelijk maar de scheidingslijn is voor een normale mens al lastig omdat de situatie waarin je bevind bepaald of het kinderporno is en niet de foto en juist die parameters ontbreken omdat alleen de foto door de AI wordt gehaald en niet de omstandigheden waarin deze is aangetroffen.

[WhatsappHack]

Jij denkt dat we wel complete levensechte AI gegenereerde afbeeldingen kunnen maken, ChatGPT een volwaardig werkstuk kunnen laten typen, maar niet met redelijke juistheid kinderporno detecteren?

Microsoft en Google hebben inderdaad meermaals aangetoond dat hun AI daar niet correct toe in staat is, voornamelijk omdat het kennelijk enorm veel moeite heeft met het in de juiste context plaatsen van een afbeelding.

[Vlizzjeffrey]

Ik denk dat je ChatGPT overschat als je denkt dat die echt wel goed kinderporno moet kunnen detecteren, dat is echt wel iets anders dan een werkstuk of een code schrijven, want er komt veel meer nuance bij kijken.

[laurxp]

Nee, dat is inderdaad niet goed mogelijk. Het verschil is namelijk de intentie, niet specifiek wat er op de foto staat. Een jong kind in bad is onschuldig voor de ouder, en porno voor de pedo. Of het is een album cover.

[geerttttt]

Daarom blijft het ook altijd uiteindelijk mensenwerk. Maar een jong kind in bad is ook geen kinderporno als de foto beland bij een ander persoon dan de ouder. Anders zou bijna elke foto op een naaktstrand ook direct kinderporno zijn.

Wanneer er wordt ingezoomd op geslachtsdelen of er bepaalde posities worden aangenomen kan het wel kinderporno zijn.

Maar het kan ook zijn dat ze scannen op afbeeldingen die overeen komen met bekend kinderporno materiaal. Dan heb je eigenlijk weinig false positives toch?

[Martijn033]

Foto's op een naaktstrand zorgen ook voor een trigger-warning bij dit soort software.
Het probleem is niet óf het false-positives oplevert (dat doet het namelijk, al verschillen we van mening over de hoeveelheid), maar het zou moeten gaan om de vraag: Wie bepaalt of het false-positive of correct-positive is? Een bedrijf of een overheid? Of beiden? En verandert het inzicht daarover als het bedrijf van management wisselt (denk Twitter) of de overheid van leiders (denk China)?

[geerttttt]

Nou ja uiteindelijk zal een opsporingsonderzoek altijd door de politie gedaan worden, niet door Twitter.

Maarja, als de bank sommen geld op jouw rekening ziet die ze verdacht vinden kunnen zij dit ook melden bij de politie. Dit is niet heel veel anders.

Maar nogmaals, misschien om dit probleem te voorkomen moet men alleen scannen op bekend materiaal. Dan is er al eerder bepaald of het wel of geen strafbaar materiaal is en heb je dat dilemma niet, toch?

[vSchooten]

Maar nogmaals, misschien om dit probleem te voorkomen moet men alleen scannen op bekend materiaal. Dan is er al eerder bepaald of het wel of geen strafbaar materiaal is en heb je dat dilemma niet, toch?

Dit is al meerdere keren gedaan apple heeft dat wen keer geprobeerd en vanwege te veel false positives is apple er uiteindelijk mee gestopt.
Alleen Microsoft en google doen dat nog en daar blijven te veel false positives uit te komen…
Voor systemen zoals dit wil je NUL false positives, dus zolang het nog gebeurt is het niet bruikbaar.

[geerttttt]

Dan is je systeem dus gewoon slecht. Als je een foto vergelijkt met een daadwerkelijke kinderporno foto heb je ofwel een match, of niet. Dat is geen rocket science om gewoon vrijwel waterdicht te krijgen.

[vSchooten]

Je kan niet zomaar een foto van kinderporno gaan vergelijken, immers die moet je dan ergens opslaan en dat is strafbaar.
Daarnaast zul je alleen bestaande/oude afbeeldingen vinden.

[geerttttt]

Je kunt een plaatje terugbrengen tot een unieke string van tekens en dat vergelijken. Zo kan commerciële software nu ook duplicate bestanden vinden.

[Ospo]

Levensechte afbeeldingen genereren en volwaardige werkstukken schrijven vergen ontzettend veel prompt engineering. De intelligentie van al die machine learning algoritmes wordt erg overschat, maar de mogelijkheden met de juiste prompts wordt soms dan weer onderschat

[RobbieB]

Dat is irrelevant. Zo’n systeem moet 100% precies werken en geen false positives hebben. Anders wordt je account geblokkeerd of staat de politie voor de deur omdat je toevallig een foto van je kinderen in een zwembadje hebt die als kinderporno werd aangemerkt.

Het ironische is ook dat dit soort tooling verboden zou zijn op basis van de nieuwe Europese AI act. Dus hier hoeven we het sowieso niet te verwachte.

[david-v]

Jij denkt dat we wel complete levensechte AI gegenereerde afbeeldingen kunnen maken, ChatGPT een volwaardig werkstuk kunnen laten typen, maar niet met redelijke juistheid kinderporno detecteren?

Yep, ik heb honderden fotos van mijn kinderen die ik met mijn vrouw heb gedeeld die door een AI waarschijnlijk als false positives omhoog borrelen. Maar los daarvan, die AI moet dus allemaal op je telefoon draaien, want je snapt natuurlijk wel dat ik onacceptabel vindt dat het plaatje eerst naar een server gaat om gescand te worden door een AI. Dat gaat niet werken.

Edit:typo

[Reactie gewijzigd door david-v op 22 juli 2024 14:09]

[geerttttt]

Jouw iPhone herkent nu toch ook voorwerpen, objecten en personen op fotos?

[david-v]

Ik heb geen iPhone maar zolang je je foto's niet laat uploaden naar een cloud dienst zal de "herkenning" lokaal moeten plaatsvinden. Het ongevraagd versturen van een foto naar een clouddienst om welke vorm van herkenning te doen is mi niet ok.

[ultimasnake]

Ten eerste leuk dat je of mijn posts herkent of even kijkt naar wat ik zoal schrijf voor je je reactie schreef.

En ik snap je zeker maar ben van mening dat genereren en detecteren heel erg ver uit elkaar liggen. Voornamelijk de definitie 'wat is kinderporno', 'wat is een kind', 'wat is naakt' en daarmee 'wat kan wel/niet' is ernstig lastig op basis van een foto zonder context zoals hierboven ook al door velen omschreven.

Het aantal false-positives op basis van fotografie zal enorm groot zijn en juist jouw idee dat iemand je dan onder de loep neemt is erg kwalijk zelfs als je even achterwege laat dat hij/zij jouw foto dus moet kunnen downloaden van je device en dus end-to-end encryptie verloren gaat.

Hij/zij moet het namelijk de foto inzien wat naast strafbar ook schokkend kan zijn, maar ook betekend dat dit ergens op een server moet komen te staan wat vervolgens ook weer strafbaar is etc.

Doe je dit vervolgens alleen met de machine dan ben je van god los en krijg je dus scenarios zoals ik in mijn post al aangaf, een automatische blokkade die je maar moet zien aan te vechten...

[Bunga]

Dat is de vrees zo een beetje. Van zodra jij als privé bedrijf de skills en capaciteit hebt opgebouwd om te scannen en detecteren gaan we als overheid de volgende stap wettelijk verplichten. Detecteer nu de vlag van een bepaalde terreurgroep. En nu verplichten we je een automatische feed in te bouwen naar onze dienst bij detectie enz..
Voor je het weet zijn deze bedrijven verplichte extensies van de overheid en dit is typisch aan overheden. Altijd maar meer controle en wetgeving. Originele goede bedoelingen verwateren en worden later misbruikt.
Dat lost het vraagstuk pedofelie niet op maar liever 1 pedofiel de geschaduwd wordt en via zijn systeem de boel hacken en een heel netwerk blootleggen dan dat heel de bevolking hun fotos kunnen geanalyseerd worden. Ik vermoed dat ze toch al veel van hun materiaal via alternatieven delen. Graag zie ik wel diegene die daadwerkelijk de kinderen fotograferen achter de tralies verdwijnen.

[honey]

Ik sta er anders in. Ik denk dat je een bepaalde mate van ellende moet accepteren in de wereld. De prijs die je moet betalen om alles uit te banden is te hoog, met name op het gebied van veiligheid en privacy.

[Jeanpaul145]

Aan de andere kant, als je hiermee een hoop levens kan redden, is het dan gerechtvaardigd?

Hier kunnen we kort over zijn: nee. De reden is dat het doel de middelen niet heiligt, en dat nooit zal kunnen.

[cobaco]

"Als je een foto van je pasgeboren baby die in bad zit doorstuurt naar opa en oma, gaat het algoritme dan ook af?"

dat is niet hypothetisch er zijn al zo'n rechtszaken geweest in o.a. de VS

[YGDRASSIL]

Dit gaat met digitale vingerafdrukken van bekend materiaal. Ze hoeven geen beeldherkenning of zo in te bouwen om nieuw materiaal te ontdekken. Dus je babyfoto zal niks triggeren.

[WhatsappHack]

Ligt aan de methode/implementatie. Microsoft en Google gebruiken AI om "vermoedelijk kinderporno" op te sporen. Menig persoon die zo hun account is kwijtgeraakt omdat ze babyfoto's er op hadden gezet. En dan ben je dus ook meteen al je aankopen en dergelijken kwijt en er tegen in beroep gaan blijkt extreem moeilijk tot onmogelijk.

[R4gnax]

Die gevallen zijn eigenlijk vrijwel direct de aanleiding geweest voor de wetsartikelen in de Digital Services Act inzake moderatie van door gebruikers geplaatste inhoud; bewijslast die daarbij speelt; de verplichting tot het voeren van een geschikte verweerprocedure voor de gebruiker, etc.

Daar mag je in direct Google en Microsoft voor 'bedanken.'

[Reactie gewijzigd door R4gnax op 22 juli 2024 14:09]

[laurxp]

Maar dan mis je dus juist nieuw materiaal - en dat is nou precies wat je zou willen ontdekken. Vers gemaakte kinderporno is een serieus probleem omdat er dan iemand actief een kind aan het misbruiken is, en de dader daarvan wil je opsporen.

Bekend beeldmateriaal van jaren terug is vooral interessant omdat iemand die dat consumeert in de toekomst een kind zou kunnen gaan misbruiken. Het delen en consumeren van bestaand materiaal is relatief "onschuldig", het risico zit in de escalatie van passief naar actief. Alsnog absoluut het opsporen waard, maar niet het primaire doel.

[Djerro123]

Dit gaat via een database met bekende KP, waarvan er hashes zijn gemaakt. Dit wordt op zo’n manier gedaan dat gelijkwaardige foto’s ook gematched worden (bijvoorbeeld, een beetje croppen zal ook een match opleveren).

Het probleem hier is; wie beheert de database? Kan de overheid iemand dwingen een bepaalde winnie de poe meme op te nemen om te zien wie er allemaal memes van Xi op zijn telefoon heeft staan?

[JohanNL]

Bedenk dat degenen die zich serieus met KP bezighouden ook niet dom zijn en wel wegen zullen vinden zich hier omheen te werken.
Waarschijnlijk zal iets als een rar/zip bestand met een wachtwoord erop al voldoende zijn; c.q. nog een keer encryptie toepassen.
En dat is zo eenvoudig dat Henk&Ingrid dit zelfs op eigen houtje kunnen instellen.
Dus ja, uiteindelijk ga je hier toch eigenlijk alleen de normale gebruiker die totaal niets te maken heeft met KP raken.
En levens redden? Dat willen de politici je graag doen geloven, maar zo eenvoudig is het dus zeker niet.

[Guru Evi]

Ik denk dat de overheid geen rechten op het beleid van je leven mag hebben totdat het tegendeel bewezen kan worden tegen een groep burgers die erover kan stemmen, zoals het grand jury concept in Engels recht.

Het maakt het heel gemakkelijk als je alles weet van een mens om hem dan ‘voor iets’ te veroordelen, echter met de huidige wetten maak je dagelijks genoeg fouten om in de gevangenis terecht te kunnen.

En als je het te gemakkelijk maakt voor de politie om je te kunnen onderzoeken, gaan ze echt niet naar de ‘zware’ misdadigers gaan die vaak zelf goed beschermd zijn via advocaten en lagen van organisatie.

Dat zie je vb met flitspalen - de overheid stuurt gewoon iedereen een brief op als ze per ongeluk 1 km/h over de limiet gaan, maar als je bezwaar aantekent (meestal mensen die regelmatig en zwaar overtreden) laten we ze gewoon gaan want de agent noch de rechter heeft de tijd om uren lang per boete te onderzoeken of de flitspaal geijkt was en in de juiste positie en niet geblokkeerd door een ander metaal etc etc

Hier ook, hoeveel mensen gaan zich kunnen en willen verdedigen als ze ‘per ongeluk’ een foto hebben die de regering niet goed vindt. En het houdt nooit op bij kinderporno, zoals we gezien hebben in de COVID en meer recentelijk de boeren protesten, wetten worden misbruikt om de zin van de regering door te voeren zelfs al is het moreel verkeerd en maanden of jaren later je toch gelijk bewezen wordt. Ondertussen heb je dan wel je job verloren, of je land moeten afstaan aan de overheid, of je bedrijf failliet gegaan vanwege de onkosten.

Een meme die Rutte in een slecht daglicht zet, laten we dat ook maar in de database toevoegen en hopla, je foto komt in het nieuws en je moet bewijzen dat je geen misdadiger bent en voordat het gedaan is ben je al jaren verder, je verliest je job en Google associeert enkel maar je naam met kindermishandeling.

[Reactie gewijzigd door Guru Evi op 22 juli 2024 14:09]

[casd18]

Wanneer wordt iets gezien als verdacht? Als je een foto van je pasgeboren baby die in bad zit doorstuurt naar opa en oma, gaat het algoritme dan ook af?

Eerlijk gezegd is het gewoon niet zo handig dit soort fofo's online te gooien, in wat voor omgeving dan ook.

Ik krijg regelmatig foto's op de familieapp van mijn verloofde van nichtjes en neefjes die in de achtertuin aan het badderen zijn. Niks mis mee natuurlijk, kinderen moeten gewoon kinderen kunnen zijn. Maar ze zijn wel naakt op die foto's. Mensen die andere bedoelingen hebben richting kids zouden die foto's maar wat graag in bezit hebben en nu staan ze op zo ongeveer 15 devices zonder dat de kinderen daarmee hebben ingestemd.

[blazez]

Wanneer wordt iets gezien als verdacht? Als je een foto van je pasgeboren baby die in bad zit doorstuurt naar opa en oma, gaat het algoritme dan ook af?

Als het verleden iets leert, dan is het antwoord daarop duidelijk "Ja". Bij microsoft was dat een paar jaar gelden ook al zo (of dat nu nog zo gaat weet ik niet). maar er zijn een boel verhalen van mensen die hun microsoft account kwijt zijn geraakt (inclusief data, aankopen, studie, mail, games etc etc) zonder dat ze enige mogelijkheid hadden daar tegen in beroep te gaan of dat ze hun account hebben terug kunnen krijgen. Allemaal vanwege juist dir soort foto's. Pas geboren eigen kinderen in bad, onder de douche of wat dan ook.

[Martijn033]

Heb je enig idee hoeveel privé-sexfilmpjes er circuleren?

[blorf]

Ik denk niet dat dat privé babyfoto's zijn die miljoenen idioten naar elkaar sturen.
Serieus, wie verzint dat? Dat moet een normale voorstelling zijn?

[Martijn033]

Babyfoto's niet, nee. Maar wel filmpjes en foto's van volwassenen, naakt of met allerlei sexuele handelingen bezig.
En wie verzint dat? Tja, mensen fotograferen / filmen tegenwoordig alles. Ik snap het ook niet. En dat lekt uit natuurlijk, kijk maar op Dumpert.

[blorf]

Je hebt helemaal niet gelezen waar ik op reageerde. Dat is best wel significant. Iemand die beargumenteert dat kp een probleem kan zijn omdat hij expliciete foto's van zijn eigen kinderen op internet wil kunnen verplaatsen zonder door te gaan voor verdachte. Want dat moeten kunnen, of niet?

[Reactie gewijzigd door blorf op 22 juli 2024 14:09]

[Mizgala28]

Iedere keer weer dat excuus over kinderporno en dergelijke.

Terwijl de echte daders allang hun eigen methodes hebben om niet betrapt te worden.

Enige wat dit doet is de privacy van de eerlijke burger weer inperken, diepe zucht.

[[Roland]]

Terwijl de echte daders allang hun eigen methodes hebben om niet betrapt te worden.

En 1 van die methodes is diensten met encryptie. WhatsApp of telegram dus. Die methodes worden een stuk lastiger gemaakt wanneer deze wet er door komt. Dit is simpelweg het ontmoedigen van verkeerd gedrag.

Of het echt helpen gaat weet ik niet (want er zijn idd alternatieven) maar wellicht helpt het (al ben ik tegenstander van deze wet)

[WhatsappHack]

Als het voor die diensten verboden wordt om goede encryptie aan te bieden zonder backdoors, dan zetten die smeerkezen gewoon een eigen laagje encryptie er overheen. Wie worden er dus enkel genaaid? De onschuldige burgers die weer een stukje online veiligheid en privacybescherming moeten inleveren.

[laurxp]

Die methodes worden een stuk lastiger gemaakt wanneer deze wet er door komt.

Maar dat is dus niet het geval. Er zullen altijd encryptiemethodes zonder achterdeurtje bestaan, en het is voor de daders triviaal om over te stappen. Het is onmogelijk om encryptie zonder achterdeurtjes te verbieden, want het is simpelweg een wiskundige som!

Misdadigers stappen gewoon over naar een ander platform, en de brave burgers zitten opgescheept met communicatiemethodes die zo lek zijn als een vergiet. In andere woorden, alleen misdadigers kunnen veilig communiceren.

[svenk91]

Er zullen zeker misdadigers zijn die hier makkelijk omheen werken. Maar overschat de gemiddelde pedofiel ook niet, dat zijn vaak hele gemiddelde mensen verder. Het merendeel van de problemen met kindermisbruik komt uit de directe omgeving van kinderen, niet van een netwerk van professionele criminelen. Er worden ook nog altijd pedofielen ontdekt omdat ze hun computer vol met unencrypted pedo content naar een reparatiewinkel brengen.

Daar tegenover staan de brave burgers die wel naar veilige alternatieven overgaan. De Tweakers die al op Signal zaten voor Whatsapp naar e2e encryptie overging bijv.

Er zijn genoeg argumenten voor privacy in dit debat. Maar de 'misdadigers stappen over en brave burgers blijven achter', die is zwak. Dat is maar ten dele waar, en zolang dat maar ten dele waar is overtuigd het maar weinig mensen die privacy niet al hoog in het vaandel hebben staan (immers is één gesnapte pedofiel beter dan dat geen).

[PurifieR1980]

Dit is simpelweg het ontmoedigen van verkeerd gedrag.

En het privé gebruiken van encryptie voor privéchats is op geen enkele manier 'verkeerd gedrag'.

[ultimasnake]

Hoe ernstig het misdrijf ook is we moeten niet willen dat plots alles maar open moet omwille van 'de wet'... Er is aangetoond dat het ook anders kan (wat Apple dan weer niet heeft uitgerold) maar als ik het zo lees over de andere partijen lijkt het erop dat het 'server-side' moet gebeuren wat allerminst wenselijk is....

Nu is het kindermisbruik/porno, hierna bedenken ze het volgende voor een extra achterdeurtje.

[Djerro123]

Apple heeft niet aangetoond hoe het wel kan. Ze lieten zien hoe repressieve overheden content konden scannen op ieders telefoon, zonder E2E te breken.

Ze werkte met een database en hash comparison, waarbij gelijkwaardige foto’s gematched kunnen worden (hoeft dus geen pixel perfect kopie te zijn). Het bezwaar was “wie beheert de hash database” want een willekeurige overheid (en dan met name de US) zou gewoon kunnen dwingen dat bepaalde onwelwillige fotos in die database zouden worden opgenomen.

Linksom of rechtsom; er is geen manier om èn niet in de content van consumenten te kijken èn daar controles op uit te voeren. Als je er controles op kan doen, kan je het altijd inkijken (hetzij met een omweg).

[Reactie gewijzigd door Djerro123 op 22 juli 2024 14:09]

[SinergyX]

Maar 'omwille van reclame en verbetering van ons product' is opeens ironisch voor iedereen prima?

Nee, ik zeg niet dat Apple dit doet, maar inmiddels meer dan genoeg diensten/producten die foto's scannen voor inhoud, personen, etc, maar daar is het blijkbaar nooit een probleem geweest.

[MinorSquid7]

De overheden moeten zelf maar eens hun best gaan doen om deze viezeriken te pakken. Als je naar de pedojagers kijkt is het helemaal niet zo moeilijk om deze mensen op te sporen.
Zoals hierboven al genoemd is de kans op misstanden en daarmee permanente reputatieschade enorm.

Dit lijkt eerder gewoon weer een poging om de burger nog beter vanuit de luie stoel in de gaten te kunnen houden onder het mom van "kindermisbruik/pedofilie".

[M. Schaap]

De methodes die zogenaamde 'pedojagers' gebruiken zijn vaak uiterst dubieus, en vrijwel nooit gericht tegen de makers of verspreiders van kinderporno.

[Martijn033]

Zelfbenoemde "pedojagers" doen veel meer kwaad dan goed.

[vgroenewold]

Het is met dit soort verregaande voorstellen altijd zo dat er meer achter zit, simpelweg de weg openen voor meer bevoegdheden. Het is namelijk 1 van de meest erge dingen, dus hoe kan je daar tegen zijn. En dat werkt in het algemeen omdat menser er niet bij stilstaan. Als men dit doorzet verzinnen de criminelen wel weer wat anders en zit het grote publiek met de gevolgen van zo'n systeem. Een enigzins prettige samenleving staat simpelweg een bepaalde hoeveelheid aan criminaliteit toe, omdat het alternatief (proberen 0 criminaliteit te krijgen, hetgeen onmogelijk is) veel minder prettig is voor iedereen.

Nu is het wel vaak zo dat het publiek in Engeland nog redelijk wat van die voorstellen heeft weten te stoppen, maar helaas zie je dat Nederland het uitgebreidt volgt om het vervolgens hier gewoon in te voeren.

[Reactie gewijzigd door vgroenewold op 22 juli 2024 14:09]

[Vaevictis_]

Het enge aan deze wet is dat er een achterdeurtje opengaat die nu hiervoor wordt ingezet maar steeds verder open gaat. Want terrorisme is ook erg of grootschalige fraude en afpersing ook wel. Het is de ondermijning van de democratie. Ik hoor graag een tegenargument waarom het niet met andere middelen kan en waarom zo'n sleepnet nodig is.

[bzuidgeest]

Je moet er niet meer achterzoeken dan nodig. Het is gewoon een ding voor politici om reclame voor zichzelf te maken. Een hoop PR en alle IT noobs beseffen toch niet wat het inhoud. De politici zelf begrijpen dat vaak niet eens als je even doorvraagt. Zoals je al zegt, "wie kan nou tegen kinderen beschermen zijn"

Dat is alles. Er is geen eng complot nodig. Alleen maar eigenbelang en stommiteit.

Hanlon's razor:, "Never attribute to malice that which is adequately explained by stupidity."

[vgroenewold]

Ik zeg ook niet dat het een complot is perse, maar het is een zo vaak gebruikt argument dat die politici, neem ik aan, dat wel begrijpen. Niet de inhoud, maar wel om vooruit te komen met het uitvoeren van een beleidsplan.

[absrnd]

Laten die overheden dan ook eerst met harde cijfers naar buiten komen, hoe erg het is gesteld met KP,
alvorens een heel land indirect schuldig te maken untill proven otherwise

Ook de implementatie (niet ingevoerd) van Apple om op je eigen systeem te scannen, is gewoon eng voor woorden.

Een valse beschuldiging, kan iemands leven compleet naar de klote helpen.

[Reactie gewijzigd door absrnd op 22 juli 2024 14:09]

[WhatsappHack]

"Het wetsvoorstel houdt geen verbod in op end-to-endencryptie, en het zal diensten niet verplichten om encryptie te verzwakken."

Het is niet dat je het moet uitzetten, je mag het alleen niet meer gebruiken. Of dit soort politici zijn analoog en hebben geen idee van de digitale zaken waar ze een beslissing over willen nemen, of de persoon in kwestie is gewoon glashard aan het liegen. Ik ben er nog niet helemaal uit welk van de twee scenarios gevaarlijker is.

[Bulkzooi]

tjeetje, toch wel een les voor de toekomst:

als je business model meer dan 10 rechtzaken nodig heeft, dan spoort de ideology van het bedrijf niet.

En zo ver ik weet is porno zogezegd altijd de grote driver achter internet geweest. Maar het aantal platformen waarop het geproduceert en geconsumeerd wordt is niet zo groot. Overigens niet in de laatste plaats vanwege diezelfde business practices.

[Reactie gewijzigd door Bulkzooi op 22 juli 2024 14:09]

[mschol]

Het wetsvoorstel houdt geen verbod in op end-to-endencryptie, en het zal diensten niet verplichten om encryptie te verzwakken.

men laat E2E intact maar stuurt de berichten wel naar de server om ze te scannen.

voldoen ze aan de wet om te scannen (ze zullen alleen nooit wat vinden) en breken ze niet in op privacy van de gebruiker?

ja dit verpest resources maar maakt wel e.e.a. duidelijk naar de mensen die het niet snappen

of zit er 1 of andere clausule in die dit tegengaat?

[WhatsappHack]

Als er een tweede lijn loopt waar een kopietje van alle berichten heenloopt, dan kun je het niet werkelijk als end-to-end meer beschouwen tenzij je die andere end wil accepteren. De vertrouwelijkheid valt hoe dan ook weg/is niet meer te borgen. Er luistert immers de hele tijd iemand mee.

[Zapato]

Foto's worden toch al gescand door Apple?! Ik krijg regelmatig een album voorgeschoteld met titels als Voorjaar in Frankrijk of Vrienden voor het leven.

[panterarosso]

sterker nog in een verschrikkelijk pr misser hadden ze aangekondigd dat ze je prive storage gingen scannen op de dingen waar ze nu tegen protesteren

[WhatsappHack]

Klopt, lokaal worden je foto’s geïndexeerd. Al kun je dat uitzetten. Die data verlaat je toestel overigens niet.