Antikindermisbruikplan van EU-Commissie accepteert veel false positives

De Europese Commissie wil seksueel misbruik van kinderen in de onlineomgeving steviger aanpakken. Inmiddels is een intern document daarover naar buiten gekomen, met een visie van de Commissie die veel vertrouwen toont in algoritmen en veel false positives voor lief lijkt te nemen.

De Europese Commissie kwam in mei met een voorstel voor een verordening om seksueel misbruik van kinderen in de onlineomgeving harder aan te pakken. Het idee is dat child sexual abuse materials - dat zijn foto's en video's van misbruik, zowel eerder geïdentificeerde als nieuwe - en grooming zoveel mogelijk moeten worden bestreden. De achtergrond daarvan is dat er op dit vlak nog geen effectieve, gecoördineerde aanpak bestaat in Europa en dat de bestrijding nu nog veelal afhangt van vrijwilligheid. Providers en platforms zijn nog niet verplicht om stappen te zetten en zelfs het vrijwillige juridische kader komt in de zomer van 2024 te vervallen. Daarom heeft de Commissie enige haast met dit voorstel.

De druk komt ook van maatschappelijke organisaties als de Internet Watch Foundation. Deze organisatie concludeerde onlangs dat nu in Duitsland tien keer zoveel kindermisbruikmateriaal wordt gehost als in 2020 en dat het land de vierde plaats inneemt van EU-lidstaten die het meeste kindermisbruikmateriaal hosten. Nederland, Frankrijk en Letland staan er wat dat betreft ook slecht op. Susie Hargreaves van de IWF is gelet op de slechte score van Duitsland en Nederland niet blij met hoe deze landen zich opstellen. "De Europese Commissie stelt maatregelen voor om kinderen te beschermen, maar de grootste oppositie tegen hun voorstel komt uit Nederland en Duitsland, twee landen die tot de slechtste behoren als het gaat om het hosten van inhoud van seksueel misbruik van kinderen."

Het doel van dit Commissie-voorstel zal ongetwijfeld op weinig tegenstand kunnen rekenen, maar er kwam dus wel de nodige weerstand toen duidelijk werd hoe de Commissie het bestrijden van seksueel misbruik van kinderen in de onlineomgeving wil bereiken. In het kort komt het erop neer dat gebruikers er bij onlinecommunicatie niet meer zeker van kunnen zijn dat niemand meekijkt. Berichten tussen mobiele telefoons, e-mails en zelfs chatcommunicatie die via end-to-endencryptie is versleuteld, kunnen worden gescand. Om dat laatste te bereiken, zijn vermoedelijk achterdeurtjes nodig. Alle private digitale communicatie zal bijvoorbeeld door middel van client-side scanning automatisch geanalyseerd worden en in het geval van een verdenking volgt er een melding bij de politie.

Demonstratie in Duitsland tegen het voorstel, gericht tegen Nancy Faeser, de Duitse bondsminister voor Binnenlandse Zaken. CC BY 4.0 - Foto: Till Rimmele

Acceptatie van false positives

Het zal niet verbazen dat dit door critici wordt aangeduid als 'chatcontrol' en dat velen zich grote zorgen maken om de gevolgen voor de privacy. Het zal wellicht ook niet verbazen dat er bij uitstek één EU-lidstaat is die zich met een kritische houding en een zekere argwaan mengt in de discussie over de totstandkoming van deze regels: Duitsland. Onze oosterburen tonen zich geregeld voorvechters van fundamentele vrijheden en rechten in EU-verband. Zo ook nu. Uit een uitgelekt intern document waar het Duitse Netzpolitik.org over publiceerde, blijkt dat Duitsland maar liefst 61 kritische vragen heeft gesteld aan de Commissie.

Misschien wel een van de lastigste onderwerpen in het voorstel is de omgang met false positives en vooral hoe dat zoveel mogelijk ingedamd kan worden. Daar heeft Duitsland een directe vraag over gesteld.

Hoe volwassen zijn state-of-the-arttechnieken om valspositieve treffers te voorkomen? Welk deel van de valspositieve treffers kan worden verwacht als technologie wordt gebruikt om grooming te detecteren? Acht de Commissie het nodig om te bepalen dat treffers alleen openbaar worden gemaakt als de methode aan bepaalde parameters voldoet, bijvoorbeeld een trefkans van 99,9 procent dat de desbetreffende inhoud geschikt is, om valspositieve treffers te verminderen?

Daar kwam het volgende antwoord op, getuige het eveneens door Netzpolitik.org naar buiten gebrachte document met alle antwoorden.

De Commissie heeft benadrukt dat er geschikte technieken zijn, waarvan sommige al jaren in gebruik zijn (bijvoorbeeld PhotoDNA). De nauwkeurigheid van de technologie voor het detecteren van grooming is ongeveer 90 procent. Dit betekent dat in negen van de tien gevallen inhoud die door het systeem wordt herkend, grooming betreft. Valspositieve meldingen zouden dan worden herkend en eruit gefilterd worden door het EU-centrum. De Commissie heeft geen numerieke vaststellingen gedaan om openheid voor technologie en vooruitgang te waarborgen.

'De nauwkeurigheid van de technologie voor het detecteren van grooming is ongeveer 90 procent'Dit antwoord maakt duidelijk dat de Commissie ook rekening houdt met false positives. De achtergrond hiervan is dat detectiesoftware die ingezet zal worden om kindermisbruikmateriaal op te sporen, geenszins foutloos kan opereren. Ook contextinformatie is hierbij vaak van belang en daar zullen software en algoritmen lang niet altijd rekening mee houden of het op de juiste manier interpreteren. Dat betekent dat volstrekt onschuldige berichten, video's en foto's tussen onschuldige mensen desondanks op de schermen van onderzoekers kunnen komen, omdat ze aangemerkt zijn als verdacht. Het genoemde EU-centrum betreft een nog op te richten EU-agentschap dat niet zozeer rechtsmacht krijgt, maar een meer ondersteunende rol moet spelen, zoals het afhandelen van meldingen die geflagd zijn als verdacht.

Wat in het antwoord vooral opvalt, is het relatief grote aantal false positives dat de Commissie lijkt te accepteren. Als we ervan uitgaan dat de genoemde nauwkeurigheid van 90 procent juist is, dan zijn dat bij een miljoen potentieel verdachte meldingen in totaal 100.000 false positives. Duitsland had in zijn vraag ook aan de orde gesteld of er voorwaarden moeten worden gesteld om het aantal false positives flink in te dammen, zoals de genoemde nauwkeurigheid van 99,9 procent. De Commissie wil daar dus niet aan, om de 'openheid voor technologie en vooruitgang te waarborgen'.

Gevolgen van veel valse meldingen, kanttekeningen en kritiek

Dit heeft de nodige gevolgen. Uitgaande van het voorbeeld van een miljoen door de software gedetecteerde gevallen, leidt dat tot 100.000 hits die handmatig moeten worden gecontroleerd. Dat moet, even los van de vraag of ze hiervoor de bevoegdheid en voldoende middelen krijgen, gebeuren door onderzoekers van het EU-centrum. Zij krijgen dan dus in potentie veel legale content te zien waar kinderen op staan. De Commissie gaf ook aan dat providers niet verplicht worden om geautomatiseerde meldingen van aangemerkte, verdachte conversaties te controleren.

In dat kader heeft Duitsland ook de vraag gesteld of de technologie zo ontwikkeld kan worden dat er gedifferentieerd kan worden tussen afbeeldingen van kinderen in een normale situatie, zoals op het strand, en afbeeldingen van kinderen in een misbruiksituatie. Daar antwoordt de Commissie heel kort op: 'algoritmen kunnen daarop getraind worden'.

Daar zijn kanttekeningen bij te plaatsen. Emma Llansó, directeur van het Free Expression Project van het Center for Democracy & Technology, stipte onder meer aan dat het bepaald niet eenvoudig is om machinelearningclassifiers te ontwikkelen om kindermisbruik te detecteren en daarbij accuraat onderscheid te maken tussen een normale situatie en een misbruiksituatie. Daar komt volgens haar bij dat het herkennen van nieuw, nog onbekend misbruikmateriaal betekent dat er een grote dataset met legaal materiaal moet worden verzameld om de software of kunstmatige intelligentie te trainen. Dat betekent het verzamelen van bijvoorbeeld willekeurige berichten van sociale media, wat vanuit databeschermingsoogpunt gevoelig ligt.

'Jaarlijks zullen meer dan 3 miljoen vaak intieme berichten en foto's op onjuiste gronden worden onthuld'Een fervent criticus van het Commissie-voorstel is het Europees Parlementslid Patrick Breyer van de Piratenpartij. Hij plaatst de door de Commissie omschreven nauwkeurigheid in perspectief, wijzend naar de 29 miljoen geautomatiseerde kindermisbruikmeldingen die jaarlijks binnenkomen bij het Amerikaanse National Center for Missing & Exploited Children. Uitgaande van de situatie dat dat aantal ook in de EU aan de orde zal zijn als de plannen doorgaan, zullen 'jaarlijks meer dan 3 miljoen vaak intieme berichten en foto's op onjuiste gronden worden onthuld', stelt hij. Bovendien kan dat aantal in de praktijk nog verder oplopen, denkt Breyer. "In werkelijkheid is (...) het foutpercentage van het geheime algoritme waarschijnlijk veel te laag. In andere talen dan Engels zullen er veel meer fouten zijn. Volgens de Zwitserse federale politie is tot 86 procent van de geautomatiseerde meldingen aan het Ncmec strafrechtelijk irrelevant."

De Europarlementariër blijft dan ook stellig in zijn oordeel over het plan van de Commissie: "We kunnen ontelbare valse vermoedens van gezagsgetrouwe EU-burgers niet accepteren als gevolg van foutgevoelige geautomatiseerde zoekopdrachten in onze privégesprekken. Politie en providers hebben niet het recht om volledig legale naaktfoto's of intieme chats van volwassenen en minderjarigen in te zien. Het blootstellen van gevoelige foto's en gesprekken aan onbekende personen is vatbaar voor misbruik en kan leiden tot de verspreiding van dergelijk materiaal."

Reacties (58)

[gaskabouter]

Tsja. De eeuwige balans tussen opsporing, controle en privacy. Key issue is natuurlijk de mate en wijze waarop het toezicht is ingeregeld. En laat de EU daar niet de sterkste kaarten in hebben....

[Oon]

Het probleem is dat opsporing wel effectief moet zijn om als argument te gebruiken. Als je kijkt naar de resultaten van de TSA in de VS (die sinds ze zijn begonnen 0 terroristische aanvallen hebben gestopt) en de NSA in de VS (die ook maar extreem lage cijfers kan laten zien) dan lijkt het me duidelijk dat 'security theater' gewoon niet effectief is.

Kindermisbruik opsporen is prima, maar al onze data laten doorzoeken op evt. kinderporno vind ik wel erg ver gaan.

[Blokker_1999]

Security theater kan wel degelijk effectief zijn. Hoeveel vliegtuigen zijn er nog in de lucht ontploft door terrorisme sinds de invoering van deze maatregelen? Het gebrek aan zichtbare resultaten wil niet zeggen dat het geen effect heeft.

Wat voor mij belangrijker is, is wat op het einde van het bericht staat, het voorbeeld van Zwitserland, waar uiteindelijk 86% van de, door mensen onderzochte meldingen, geen strafbare feiten bevatten. Dat aantal is gewoon veel te hoog. Zelfs al zou 90% wel correct geidentificeerd worden blijft er een enorme massa meldingen over die incorrect zijn en een grote schending kunnen vormen van de privacy van mensen.

Het kan dan ook niet zijn dat we aan de ene kant volop wetgeving aannemen om privacy van burgers te waarborgen, maar dat we hier ineens weer iets hebben waardoor diezelfde privacy weer op de helling komt te staan.

[rjberg]

MH17 ging ook neer. Toegegeven, dat was geen aan boord gesmokkelde bom, maar toch. Als in plaats van de controle voor gevaarlijke personen aan boord aan boord de controle van gevaarlijke vliegroutes was gedaan was die ramp niet gebeurd.

Wat ik bedoel is dat te veel middelen inzetten tegen een bepaalde methode van misdaad de focus kan afhalen van andere gevaren. Online zul je de boel eventueel veiliger maken. Maar als die agenten dan niet offline de kinderen kunnen beschermen gaat het misschien nog meer mis.

Ook huiver ik voor eventuele misverstanden die ook met de hand moeten worden opgelost. Een verkeerd gezonden bericht, of een tiener met een kalverliefde op zijn/haar leraar. Hoe gaat de politie daar mee om? En worden dat soort incidenten wel goed gewist. Ook reputatieschade kan optreden.

[bliss1]

90%+ is sexting tussen jongeren. En dit wordt gebruikt als excuus om een bewakingsstaat te creëren.

[Cyberpuppy]

En leg dat nog eens naast iets als de toeslagenaffaire. Als er eenmaal een vlaggetje achter je naam staat is het nog maar de vraag of je daar ooit vanaf gaat komen. Zou in dit geval nog wel eens heel vervelende gevolgen kunnen gaan hebben.

Daarnaast heb ik al vaker aangehaald. Ga gewoon eens een middagje rondhangen op een willekeurige videochat site en je kunt zonder enige moeite weer een aantal figuren oppakken. Het materiaal wordt je gewoon zonder enige gene gevraagd/aangeboden. Regel dat soort zaken eens en ga dan moeilijk doen met inbreuken op ieders privacy.

[Bor]

en de NSA in de VS (die ook maar extreem lage cijfers kan laten zien)

Het ding met dit soort diensten is dan ook wel een beetje dat veel wat ze doen geheim is. Of de NSA succesvol is in haar doelen kan jij dus niet bepalen.

[JayPe]

"Het blootstellen van gevoelige foto's en gesprekken aan onbekende personen is vatbaar voor misbruik en kan leiden tot de verspreiding van dergelijk materiaal."

Wie controleert de politie? Mooi probleem blijft dat.

[gaskabouter]

Uiteindelijk de rechterlijke macht en de politiek. Maar da's altijd deels achteraf

[R4gnax]

Maar da's altijd deels achteraf

Goede woorden, foute volgorde.
LMFTFY: "Da's maar deels (en) achteraf."

Wat was die ongeschreven regel ook al weer?
Het moet eerst drie keer goed fout gegaan zijn en dan kan iemand gaan overwegen om te gaan kijken of het mogelijk is om tot een voorstel te komen om een commissie samen te stellen om tot een plan te komen om ... (etc. etc. etc.)
Gelijk 3 jaar oeverloos gezeik en getraineer; in de hoop dat het publiek het tegen die tijd alweer vergeten is. Glas; plas; etc.

We hebben dat zeker de afgelopen jaren al zo vaak fout zien gaan.
Denk je even in dat je een affaire à la de toeslag-affaire zou krijgen; maar dan met hele horden mensen die onterecht afgerekend worden op het in bezit hebben gehad van kinderporno.

Gaan we dan ook weer een paar politici hebben die continu kunnen komen opdraven om "ja sorry," te zeggen voor de bühne - terwijl daadwerkelijke schadeloosstelling er gewoon niet van komt? Gaan we dan ook weer de paar politici die er wel blijvend proberen een spreekpunt van te maken, pogen monddood te maken of af te rangeren? (Zoals Omtzigt die maar 'ergens anders' heen moest?)

[Reactie gewijzigd door R4gnax op 22 juli 2024 16:53]

[gaskabouter]

Toezicht is niet altijd achteraf. Toezichthouders kunnen prima vooraf kaders en eisen stellen en die met auditeurs en steekproeven toetsen.

[R4gnax]

auditeurs en steekproeven

Dat is dus achteraf. Dekt niet de gevallen die plaats hebben gevonden voor dat een steekproef aantoont dat er niet volgens de regels gehandeld is.

Toezicht vooraf impliceert dat het hele proces continu onder toezicht gehouden moet worden en dat er op alle zaken toetsing vooraf plaats moet vinden. Dat is niet realistisch haalbaar. En dan heb je nog niet eens rekening gehouden met het probleem "Quis custodiet ipsos custodes?" door meerlagigheid en checks en balances in te bouwen.

Het hele systeem werkt alleen als het hele systeem ook daadwerkelijk meewerkt. En juist dat is een probleem geworden omdat iedereen bij iedereen de hand boven de kop houdt en als er iemand is die moord en brand durft te roepen, wordt 'ie buiten gewerkt. Turd in the punch bowl.

[gaskabouter]

Sorry hoor. Ik ben al twintig jaar toezichthouder en dat begint echt met vooraf kaders en doelen stellen. Randvoorwaarden realiseren en ethisch kompas eisen

[david-v]

En dat is precies de key issue. Als iemand verdacht is neem je de juiste legale stappen om iemand af te luisteren. Nu willen ze iedereen afluisteren, 100% dekking, met 99,9999% bijvangst, dat vinden ze dan prima, want criminelen zijn zo dom dat ze niet alsnog een alternatief bedenken om buiten dat visnetje van justitie te blijven.

Nou, ik dacht het niet....

[gaskabouter]

Er is natuurlijk ook nog zoiets als surveillance. Vergelijk het met een flitser langs de weg of gewoon de wijkagent die door de straat loopt. Dat is heel wat anders dan wat je mag bij een daadwerkelijke verdenking met een heel ander bevoegdheidskader

[david-v]

Zeker, maar dat is de openbare weg. De analogie zou zijn dat de wijkagent een masterkey heeft en bij iedereen naar binnen loopt om te kijken of er illegale zaken plaatsvinden in je woning

[gaskabouter]

Volgens mij is de analogie eerder dat criminelen ook gebruik maken van de openbare weg en ze daar in het oog kunnen springen door gedrag of opsporing als nummerbordherkenning. En wat is openbaar en wat niet? Mooi voorbeeld is de casus van een agent die iets hoort ziet of ruikt vanaf de openbare weg wat toch echt uit een huis komt. Dan is er uit surveillance ineens een redelijk vermoeden en zijn de bevoegdheden ineens opgerekt....

[david-v]

Bijna, maar niet helemaal. De agent ziet, ruikt of hoort niks op de openbare weg (internet), en dus krijgt hij een masterkey om bij iedereen, 100% van de woningen, naar binnen te lopen om na te gaan of alles wel pluis is (kijken in je encrypte berichten)

Op de openbare weg (internet) kunnen ze niks zien als er encryptie wordt gebruikt (je persoonlijke en veilige omgeving, je huis).

Ik weet namelijk een manier om 100% af te rekenen met criminaliteit, kindermisbruik, huiselijk geweld enz. Maar dan heb je totaal geen privacy meer, nergens, nooit. Daar kun je toch ook niet tegen zijn, want wie wil niet af van kindermisbruik en huiselijk geweld.....

De grens tussen je vrijheid en privacy wordt hiermee overschreden/verplaats, en dat moet je als individu niet willen.

Edit; typos

[Reactie gewijzigd door david-v op 22 juli 2024 16:53]

[gaskabouter]

Privacy en opsporing zullen altijd op gespannen voet staan. Afhankelijk van wat mensen overkomt zijn ze voor het één of tegen het ander of andersom.

Ik denk gewoon de discussie blijven voeren en transparant toezicht houden.

[dragoon2000]

Fantastisch. Er is een oorlog tussen Rusland en de Oekraine, een dreigende Chinese invasie van Taiwan die de techsector plat kan leggen, klimaatverandering, naderende voedselschaarste, inflatie, maar in elk geval kun je er dan wel zeker van zijn dat als je een foto van de zwemles van je kind naar je partner appt, dat de politie mogelijk op de stoep staat. Prioriteiten, he?

[Blokker_1999]

Dit soort wetgeving duurt jaren om te vormen en het is niet omdat er zoveel crissisen zijn in de wereld dat je de rest maar moet laten vallen. Prioriteiten zijn 1 ding, maar overheersen niet alles.

[Terrestrial]

Zodra er ook maar iets aan client side scanning doet direct alles omzetten naar open-source of linux. Ik ga niet nodeloos accepteren dat andere mee kijken of lezen met alles wat je doet. Hoe hard ze ook beloven zich in te houden, dat is het begin van het einde voor privacy. En bovendien gaat er misbruik van gemaakt worden, corrupter dan politici en overheden en bedrijven is haast niet mogelijk.

[Edgarz]

Waarom óf het een of het andere?

Het is een vreselijke dooddoener om maar te zeggen dat we bepaalde misdaden maar moeten accepteren omdat er ook nog andere misdaden plaatsvinden.

"Waarom krijg ik een bon vanwege geen verlichting, hardrijders zijn veel gevaarlijker“

" Waarom krijg ik een bon voor te hard rijden, dronken bestuurders zijn veel gevaarlijker"

"Waarom krijg ik een bon voor dronken rijden, er worden mensen verkracht en inbraken gepleegd".

"Waarom zo veel tijd aan simpele inbrekers besteden, de drugsmaffia terroriseert de boel"

Om te eindigen met "Ga echte boeven vangen".

Dus uiteindelijk allemaal redenen om dus aan al die overtredingen en misdaden dus maar niets te doen. Lekkere puinzooi gaat dat worden.

[david-v]

Niemand heeft het over dat de ene misdaad erger is dan de andere. Wat dragon2000 aangeeft is een terechte punt.

Als ik met mijn vrouw in een vertrouwde omgeving een foto deel van mijn dochter die lekker in bad ligt te spetteren met mij dan gaat het algoritme gegarandeerd alarm slaan. Komt bij politie terecht, oh, false melding.

Sorry, maar ik heb niks fouts gedaan, er is geen misdaad, en toch gaat er iemand kijken naar prive inhoud die ik met mijn vrouw deel, Dat zal ik nooit accepteren, en dat zou je ook niet moeten willen. De vrijheid van prive communiceren in een vertrouwede omgeving, digitaal of niet, is een recht.

Of zou je het prima vinden als je huis vol camera's en microfoons zou hangen om door een algoritme te laten bepalen of er zich iets voordoet wat volgens de wet niet mag en dat de beelden en geluid van die "false" positive doorgestuurd worden naar de politie? Onder het mom van huiselijk geweld een halt toe te roepen. Blijkbaar heb je er geen moeite mee dat ze dat wel op je telefoon mogen doen. Van mijn prive communicatie moet iedereen afblijven, punt.

[Memori]

Kans zit erin dat je al je computers kwijt bent (wellicht zelfs definitief) door zo'n false positive.

[Memori]

Ik vind dit eerder een taak voor de ouders en/of dat de school een goede voorlichting geeft over predatoren op het internet. Het probleem lijkt mij niet zó groot dat je als het ware flitspalen neer moet zetten waar alle berichtjes langs gaan. Ik heb liever dat de politie meer capaciteit en macht krijgt om uberhaupt ook maar iets te kunnen doen als een kind hierover aangifte komt doen.

[Blokker_1999]

voorlichting, informatievoorziening gaat maar zo ver. Je kan hen niet altijd in het oog houden en je ziet niet alles. En ondaks alle goedbedoelde informatie blijven kinderen (en niet alleen kinderen) enorm beinvloedbaar.

[Memori]

Voorlichting en waarschuwen gaat heel ver, zou ik zeggen. Het heeft er in ieder geval voor gezorgd dat ik vroeger niet met vreemden meeging, of wanneer ik me niet veilig voelde, naar een winkel binnen ging of iets dergelijks.

Maar slachtoffers zullen er altijd zijn. Het is heel erg, maar redelijkerwijs kan je niet meer doen om het te voorkomen.

[Reactie gewijzigd door Memori op 22 juli 2024 16:53]

[CivLord]

Maar de drempel is tegenwoordig veel en veel lager.
Vroeger was het sowieso al vreemd wanneer vreemden tegen je begonnen te praten en al helemaal wanneer ze zomaar cadeautjes beloofden of vroegen met ze mee te gaan. Het was toen ook makkelijk om vooraf duidelijk te maken dat je daar niet op in moest gaan zodat je meteen kon handelen wanneer iets vreemd voelde.
Tegenwoordig is het heel normaal om naar filmpjes te kijken waarin jij persoonlijk lijkt te worden aangesproken, waar van alles beloofd wordt. Het is ook doodnormaal geworden om met wildvreemden over die filmpjes te discussiëren in de comments. Daardoor kan iemand die je nog nooit hebt gezien al snel als een bekende voelen en wanneer die persoon alles 'juist' doet om als leeftijdgenoot over te komen, verdwijnen alle waarschuwingen dat het heel goed een ongewassen vette vijftiger in zijn ondergoed kan zijn in een groot zwart gat.
Vroeger was er een overduidelijk verschil tussen een klasgenoot en een vremde vent die je op straat aansprak. Tegenwoodig is er geen zichtbaar verschil tussen een klasgenoot en een wildvreemde die je via internet ontmoet. Met de juiste grooming vertrouw je die wildvreemde net zo goed als je klasgenoten en misschien wel beter, omdat die wildvreemde er voor zorgt om nooit lelijk tegen je te doen, nooit te liegen, altijd aardig tegen je te zijn en altijd precies zegt wat je wit horen.

Wanneer jij denkt dat de situatie nu hetzelfde is als toen jij opgroeide, ben je erg naïef.

[Benjamin-]

Dit is niet alleen voor kinderen op het internet, dit is ook voor het verspreiden op het internet van bestaand materiaal. Dus je kan opvoeden wat je wilt, maar die zooi wordt gewoon nog steeds uirgewisseld.

Verder voel ik weinig voor dit soort zooi, mensen gebruiken darkweb voor hun drugs, wapens, gejatte creditcards en kinderporno, hiermee vang je ook alleen de simpele zielen.

[Anoniem: 9278]

Gelukkig gebeurt er helemaal niets als niet alle lidstaten unaniem instemmen. Aangezien de Duitsers er nog geen heil in zin, zal het zo’n vaart niet lopen.

Zo zie je maar dat het belangrijk is op wie je stemt voor zowel de landelijke als de Europese verkiezingen.

[mschol]

Gelukkig gebeurt er helemaal niets als niet alle lidstaten unaniem instemmen. Aangezien de Duitsers er nog geen heil in zin, zal het zo’n vaart niet lopen.

Zo zie je maar dat het belangrijk is op wie je stemt voor zowel de landelijke als de Europese verkiezingen.

maar als alleen de duitsers er geen heil in zien, is een klein beetje water bij de wijn misschien genoeg om die draconische wet er doorheen te persen

een wijziging wordt later dan misschien als addendum bij een ander voorstel gepropt (al weet ik niet of dat in eu kan)

[GekkePrutser]

een wijziging wordt later dan misschien als addendum bij een ander voorstel gepropt (al weet ik niet of dat in eu kan)

Dat kan ja. Weet je nog hoe softwarepatenten er doorheen gejast moesten worden op een bijeenkomst van landbouwministers?

[R4gnax]

Het feit dat dat ooit gebeurd is, is inderdaad een gigantische schande.

[CivLord]

Als het aan de Duitsers ligt zal er een hele sloot water bij de wijn moeten voordat ze akkoord gaan.

[Sando]

Tja, ga je je tienerkind proberen te verbieden Whatsapp te gebruiken en Signal installeren om de privacy van je kind te beschermen, of vind je het wel een veilig idee dat 1 op de 10 naaktfoto's die hij/zij maakt ter controle wordt doorgestuurt naar een anonieme volwassen man om je kind te beschermen?

[BurrowedLurker]

Bescherming van individuele kinderen kan ook gewoon on-device gebeuren: namelijk op het apparaat van het kind. Die kan naaktfoto’s detecteren en blokkeren zonder toestemming van de ouder. Zo gaat Apple het ook implementeren (al gaan ze ook meer algemeen scannen). Het hoeft daarvoor niet op een EU server opgeslagen te worden en gecontroleerd door een anonieme ambtenaar.

Dit soort wetgeving is echt heel eng, en ik heb er 0 vertrouwen in dat waarop ze scannen op termijn niet wordt uitgebreid. Want als het blijkt dat het goed helpt om kinderen te beschermen, dan lijkt het opeens ook wel heel handig voor allemaal andere dingen.

[Reactie gewijzigd door BurrowedLurker op 22 juli 2024 16:53]

[hackerhater]

Dat scannen is niet acceptabel met een false-positive rate van 10%.
Als de rate van false-positives 0,001% was wellicht (accuratie van 99,999%)

[CivLord]

Ik ga proberen om mijn tienerkind duielijk te maen dat geen enkel digitaal apparaat of dienst 100% veilig is en dat je überhaupt nooit foto's moet maken die je niet op een website terug wilt vinden. Dat één op de tien foto's door een EU-ambtenaar wordt gezien zou daarbij wel een versterkend argument vormen, denk ik.

Het is echter veel problematischer dat ook veel tekstberichten bekeken zullen worden. Bij grooming probeert de groomer zich vaak als leeftijdgenoot voor te doen, dus normale commuicatie tussen twee leeftijdgenoten met wat vaag taalgebruik en/ of hints om iets niet tegen je ouders te vertellen, zal al snel gevlagd worden.
Een spijbelafspraak tussen twee tieners om niet naar school maar naar en park te gaan, waar je ouders toch niets van weten, heeft erg veel context (eerdere gespreksgeschiedenis en informtie over beide tieners) nodig om te beoordelen of het echt twee vrienden/ vrindinnen zijn of dat er sprake is van grooming voor het eerste fysieke contact.

[Sando]

Blijkbaar komt grooming en kp zo veel voor dat de EU het nodig vind om iedereen te criminaliseren.

Ik wil niet dat een onbekende in mijn of mijn familie's telefoon kan meekijken, ook niet voor 10%. Dan controleer ik het liever zelf.

Toen ik tiener was deelde ik een email adres met mijn vader (en vond dat geen probleem).

Ik ben benieuwd of het in eerste instantie acceptabel of haalbaar is om een (tweede oude) smartphone te delen met je tiener wanneer ze beginnen te vragen of ze een smartphone mogen hebben.

[SCIxX]

10% false positives veel noemen speelt een beetje in op onderbuikgevoelens. 10%, ofwel een P waarde van 0.1 is vrij standaard in dit type toepassingen, waarbij de p waarde in geneesmiddelenonderzoek 0.05 is (5% false positive rate). Er wordt ook niet ingegaan op de false negative rate, welke vermoed ik hoger ligt dan de false positive rate, wat meestal het geval is, een belangrijke kanttekening.

Dit betekent overigens niet dat ik her per se eens ben met deze aanpak. Ik vraag me ook af hoe groot de trainingset is voor verschillende talen, gaan ze echt 90% halen voor Nederlands? Of moeten ze hier naar toe opbouwen door te beginnen en de berichten te flaggen (grooming of niet grooming) waarmee ze de trainingset vergroten. Dit zou betekenen dat in een eerder stadium de false positive rate veel hoger ligt.

[Reactie gewijzigd door SCIxX op 22 juli 2024 16:53]

[CivLord]

Wanneer 1 op de 10 gevlagde foto's en berichten ten onrechte door een persoon moet worden beoordeeld is dat geoon erg veel, los van of dat in de statistiek over het algemeen wel of niet geaccepteerd wordt.

[kodak]

Als het percentage volgens jou een feit is, dan is het dus juist geen inspelen op onderbuikgevoel om te tonen wat te verwachten is. Het is eerder dat men op een onderbuikgevoel in aan het spelen is alsof dit soort plannen en verplichtingen dus maar een redelijk zou zijn, zonder dat men verantwoordelijkheid neemt voor aantonen van wat men in de praktijk mag verwachten aan voor en nadelen.

Voor een stand van techniek mag 10% te verwachten zijn, maar het gaat om wat er in de praktijk acceptabel is aan resultaat, hinder of erger. 10% onterechte verdachtmakingen, 10% tijd of geld besteden om hinder te veroorzaken, tijd en geld verdoen die wel nuttig ingezet kon worden, het percentage dat werkelijke verdachten buiten beschouwing blijven. Zelfs zonder verdachtmaking is 10% tijd of budget meestal al onacceptabel zonder hele duidelijke afweging en eisen.

[SCIxX]

De 10% is niet per se tijd verdoen, omdat de analyse altijd nodig om het model de trainen welke patronen bij "niet grooming" horen.

Ik herhaal, 10% is een vrij algemene standaard in de industrie. Iedereen zal altijd dat percentage lager willen hebben, daar zitten echter consequenties aan. Het zal biivoorbeeld significant langer duren om een groomer te detecteren, wellicht ben je dan al te laat.

[kodak]

Maar dat is nu juist het probleem. De bedenkers lijken het niet te willen hebben over gebreken en nog nodige verbeteringen. Dat die 10% misschien beter kan wil niet zeggen dat het dus prima is om mee te beginnen en dan nog eens met andermans gegevens te moeten investeren in mogelijke verbetering. Er lijkt over dat gebruik van gegevens van onschuldige prive-situaties niet eens discussie te zijn hoe en waarvoor dat zomaar gebruikt mag worden.

[R4gnax]

Benieuwd of de EU commisie 10% nog steeds een acceptabel percentage zou vinden als het hen zelf persoonlijk zou traffen.

Zou iemand eigenlijk eens een test mee moeten doen. Bijv. claimen dat er iets in het water heeft gezeten waarbij er 10% kans is dat je er één of andere enge ziekte aan over houdt. Nee; je gaat er niet dood van. Het is eigenlijk niet eens echt schadelijk. Je gezichtshuid gaat er op termijn alleen uitzien als schuurpapier, waardoor je een beetje een sociale paria wordt tenzij je de schuurplekken goed afgedekt kunt houden.

En dan maar wachten totdat iedereen daadwerkelijk ook gaat flippen, voordat het punt duidelijk gemaakt wordt.

[Reactie gewijzigd door R4gnax op 22 juli 2024 16:53]

[bliss1]

Brussel moet zelf niks hebben van toezicht natuurlijk. ;-)

[hylcob]

Enge ontwikkeling en als dat achterdeurtje er eenmaal is, is het een kwestie van tijd voordat het ook voor andere doeleinden gebruikt wordt

[bliss1]

Inderdaad. Als je wilt weten wat ons te wachten staat qua privacy moet je naar China kijken.

[sdziscool]

Dit is hoe ze het gaan doen, hoe ze alle privacy onder je benen vandaan rukken.

Ben je hiertegen? Dan moet je wel een viespeuk zijn die voor het misbruiken van kinderen is.
Je kan er ook niets aan doen, een soort van stok achter de deur argumentatie. Zodra je je hiertegenover stelt is het gedaan met je reputatie, want oh denk toch aan de kinderen.

Een beetje foto's scannen die naar publieke sites geupload worden, sure. Maar we hebben het hier over het ondermijnen van elke vorm van encryptie, en zodra je encryptie privaat gaat gebruiken ben je eigenlijk impliciet schuldig, want waarom zou je anders encryptie gebruiken.

[Anoniem: 1679806]

Geen enkele zaak lijkt toch het opheffen van privacy van alle 100'den miljoenen eu burgers, waaronder ook kinderen (en alle andere getroffenen wiens dataverkeer toevallig in deze fuik komt) te rechtvaardigen. Dat is nog buiten de technische kant van de zaak: hoe veilig kan dit gebouwd worden (nb. nooit 100%) en hoe betrouwbaar is de overheid met deze gegevens (op lange termijn). Een brave ambtenaar kan zomaar denken "toch die false positives maar in een lijstje bewaren" #belastingdienst.

Gevalletje blind staren op het doel? Iemand noemde al hierboven "eerst investeren in politie zodat ze uberhaupt iets kunnen" (zoals een aangifte opnemen). Wellicht ook een pijnpuntje.

Korte zoektocht naar cijfers door de europese databases/instanties leverde helaas geen cijfers op. Wel een een hoop vermeldingen "toename", "blijft toenemen", "aanpak is prioriteit". Iemand toevallig een linkje naar cijfers over (online) misbruik om de aanpak te kunnen duiden, buiten de (toch schrikbarende) "9,6%" van alle europese kinderen. Liefst ook onderzoek dat expliciet onderscheid maakt tussen off- en online?

nb. cijfers over europa zeggen (lang) niet alles omdat veel materiaal buiten europa wordt gemaakt, but it's a start.