Critici vragen Apple in open brief om omstreden plan voor fotoscannen te staken

Privacy-experts, academici, onderzoekers, burgerrechtenbewegingen en consumenten vragen in een open brief aan Apple om de plannen te staken waarbij foto's op iOS-toestellen gecontroleerd worden op kindermisbruik.

Volgens de auteurs van de brief krijgt Apple op deze manier een achterdeur en brengt het bedrijf de privacy van al haar klanten in het gevaar. Er wordt vooral gevreesd dat Apple zal toegeven aan druk van bepaalde regimes om de software in te zetten voor andere doeleinden.

Onderzoeker Nadim Kobeissi wijst er in de brief op dat Apples Facetime niet werkt in Saudi-Arabië, de Verenigde Arabische Emiraten en Pakistan omdat de wetgeving in deze landen versleutelde audiogesprekken niet toelaten. "Wat als deze landen aan Apple vragen om berichten te scannen op zoek naar homoseksualiteit of afwijkende meningen tegenover de monarchie?", klinkt het.

Ook de Amerikaanse burgerrechtenorganisatie Electronic Frontier Foundation maakt zich zorgen. "Via Apples plannen wordt het mogelijk om dergelijke screenings uit te voeren. Autoritaire regimes zullen bovendien kunnen vragen om satire op te sporen". De organisatie stelt ook een ander probleem aan de kaak. "De database waar Apple gebruik van zal maken wordt beheerd door de Global Internet Forum to Counter Terrorism. Deze organisatie wordt door niemand gecontroleerd, ondanks dat burgerrechtenactivisten dit wel al gevraagd hebben."

Tenslotte stellen de auteurs ook vragen over welke definities Apple hanteert om de beelden als kindermisbruik te bestempelen. "Voor de ene zijn sommige beelden kindermisbruik, voor iemand anders kan het anders zijn."

Gisteren raakte bekend dat Apple een functionaliteit zal toevoegen aan iOS 15 en iPadOS 15 om foto's die Amerikaanse gebruikers op iCloud zetten te controleren op kindermisbruik. Dit gebeurt met behulp van hashes. In een technisch document beschrijft het bedrijf hoe de detectie werkt. Volgens Apple is er een kans van één op een biljoen op valse positieven per account.

Reacties (201)

[Eonfge]

Ik zal meteen maar de knuppel in het hoenderhok gooien... Dit is ook een EU plan:

EU-parlement geeft platforms optie privéberichten te checken op kindermisbruik
nieuws: EU-parlement geeft platforms optie privéberichten te checken op kinde...

Nu nog vrijwillig...

Edit. Het zou best kunnen dat Apple dit doet als concessie naar toekomstige EU wetgeving. De EU flirt ook met het idee van cliënt-side filters tegen auteursrechteninbreuk dus deze techniek kan nog wel een staartje kijken.

[Reactie gewijzigd door Eonfge op 22 juli 2024 14:57]

[Arjan P]

Ik zal meteen maar de knuppel in het hoenderhok gooien... Dit is ook een EU plan:

EU-parlement geeft platforms optie privéberichten te checken op kindermisbruik
nieuws: EU-parlement geeft platforms optie privéberichten te checken op kinde...

Nu nog vrijwillig...

Edit. Het zou best kunnen dat Apple dit doet als concessie naar toekomstige EU wetgeving. De EU flirt ook met het idee van cliënt-side filters tegen auteursrechteninbreuk dus deze techniek kan nog wel een staartje kijken.

Moet je wel even doorlezen voordat die duivelse EU weer de schuld krijgt van Apple's duivelse plannen: "Het gaat om tijdelijke regels voor de duur van drie jaar, waarmee delen van de ePrivacyrichtlijn als het ware buiten werking worden gesteld. Deze richtlijn beschermt de vertrouwelijkheid van communicatie en de bijbehorende verkeersgegevens. Sinds enkele jaren is Europa bezig de ePrivacy-richtlijn te verankeren in de ePrivacyverordening, maar dat loopt vertraging op."

Als je weer verder leest wordt het verhaal - zoals gewoonlijk - nog genuanceerder (het gaat namelijk al helemaal niet om foto's bijvoorbeeld). Dus je suggestieve 'nu nog vrijwillig' kun je ook weeer weg-editen..

[Pietervs]

Sorry, maar: we gaan (delen van) de wet even uitschakelen voor de duur van 3 jaar?
Ik geloof niet dat ik daar heel blij van kan worden.

Die wetten zijn er voor de bescherming van de privacy van mensen. Dit uitschakelen omdat de EU vindt dat dat wel even moet kunnen is mijns inziens gewoon fout. Daarnaast: hoeveel "tijdelijke" maatregelen worden vervolgens definitief?

[Geronimous]

Het is ook de bedoeling dat het definitief word. De huidige oplossing is tijdelijk.

[Eonfge]

Als je weer verder leest wordt het vqrhaal - zoals gewoonlijk - nog genuanceerder (het gaat namelijk al helemaal niet om foto's bijvoorbeeld). Dus je suggestieve 'nu nog vrijwillig' kun je ook weeer weg-editen..

Suggestief, de EU zegt het zelf. Deze wetgeving is een tijdelijke oplossing totdat een verplichte oplossing geïmplanteerd kan worden.

Johansson is thinking about the long term. She wants tech companies to face mandatory detecting and reporting obligations, as well as transparency requirements. She hinted at possible fines for companies not complying with the future law.

https://www.politico.eu/a...-brussels-warns-facebook/

In tegenstelling dus... Voor mensen zoals jou die graag wegkijken zal ik een extra bron toevoegen.

[boolean]

Hoe naïf kun je zijn? Op zoveel naïviteit ga ik niet eens reageren. Slaap rustig verder!

[Arjan P]

Volgens mij heb je hiermee gereageerd.. 't Is trouwens naïef.

[xbeam]

Dit wordt hier in NL al met de zelfde techniek uitgevoerd . Nu had ik het aanstaan om te voorkomen dat wanneer de server gehackt zou worden deze hier in ieder geval niet voor gebruikt kan worden

Dit gebeurt met behulp van hashes. In een technisch document beschrijft het bedrijf hoe de detectie werkt. Volgens Apple is er een kans van één op een biljoen op valse positieven per account.

Maar dit proces blijkt dus niet betrouwbaar of juist te betrouwbaar waardoor fouten en de database zorgen voor veel fals positieve

Update over het gebruik van de HashCheckService
Beste klant,

Vorig jaar hebben we de HashCheckService geïntroduceerd, een gratis service die jouw webhostingserver scant op de aanwezigheid van materiaal rondom online kindermisbruik. Hiermee heb je de zekerheid dat de servers niet misbruikt worden voor de distributie ervan en draag je bij aan een veiliger internet.

We zien dat jij deze service voor jouw webhostingpakket(ten) ingeschakeld hebt en willen je daarom op de hoogte brengen van recente ontwikkelingen.

Aan de basis van de HashCheckService staat een database met "hashes" (afgeleide codes) van afbeeldingen rondom online kindermisbruik, waar toegang toe wordt gegeven door het Expertisebureau Online Kindermisbruik (EOKM). Over de integriteit hiervan zijn concrete afspraken gemaakt met het EOKM. Indien je wilt lezen hoe deze door ons gebruikt wordt, kun je hier onze FAQ bekijken.

De database wordt continu aangevuld door internationale politieorganen, waarbij er nu ondanks meervoudige controle een serie standaardafbeeldingen van WordPress-installaties en plugins is meegenomen. Hierdoor zijn mogelijk een aantal afbeeldingen onterecht verwijderd. Het gaat hier met nadruk niet om persoonlijke afbeeldingen. Het betreft afbeeldingen die automatisch worden aangevuld door WordPress bij het uitvoeren van updates. We adviseren je dan ook om te kijken of je deze handmatig kunt uitvoeren.

Het incident heeft ons doen besluiten om de service voorlopig in zijn geheel te pauzeren. De garanties op de integriteit van de data vanuit het EOKM blijken onvoldoende. Hierover zijn wij met hen in overleg, maar totdat hier een oplossing voor komt laten wij de service uitgeschakeld. Dit betekent dat wij in de tussentijd niet je webhostingpakket(ten) kunnen scannen.

Mocht je nog vragen hebben dan kun je contact met ons opnemen via het controlepaneel. Wel willen we vast aangeven dat gezien de wijze waarop we je privacy beschermen, wij niet kunnen zien of er bestanden van jouw installatie zijn verwijderd en zo wel, welke. We hopen op je begrip en dat we snel verdere ontwikkelingen met je kunnen delen.

Met vriendelijke groet,

TransIP

[Reactie gewijzigd door xbeam op 22 juli 2024 14:57]

[Eonfge]

Dit is in mijn ogen nog wel oké. TransIP is een gerenommeerde partij en ze willen niet dat jij verboden content op hun servers zet.

Het idee waar Apple en de EU aan werken, gaat een stap verder: Zei willen dat partijen content filteren nog voordat het uberhaupt het internet op gaat. Jouw browser, mail cliënt en gesynchroniseerde folders moeten dan alles wat je aanraakt langs de lat van de EU leggen. TransIP beperkt het scannen van jouw data nog tot hun servers... De EU ambities lijken daar geen genoegen mee te nemen.

[xbeam]

Ik heb het ook zelf aan gezet om mij zelf te beschermen dat andere mijn server hier mis/gebruiken dus daar is inderdaad ook niets mis mee.

Het is alleen gebleken dat de deze data bases te veel fouten bevat waardoor er zo veel vals positive waren dat trans-ip er mee gestopt.

[Eonfge]

Waren dat ook echt fouten, of gewoon politieke doelen? Wikipedia en enkele journalistieke groepen zijn al eerder ten onrechte op (kinder)porno filter lijsten terecht gekomen.

Het eerste probleem van deze hash-databases, is dat je op geen enkele manier via een eerlijk proces je onschuld kunt aantonen. Computer says no.

[Reactie gewijzigd door Eonfge op 22 juli 2024 14:57]

[xbeam]

waarbij er nu ondanks meervoudige controle een serie standaardafbeeldingen van WordPress-installaties en plugins is meegenomen. Hierdoor zijn mogelijk een aantal afbeeldingen onterecht verwijderd

Zoals ik het begrijp gaat het over de default Wordpress stock foto’s die herhaaldelijk zijn aangemerkt

De garanties op de integriteit van de data vanuit het EOKM blijken onvoldoende. Hierover zijn wij met hen in overleg, maar totdat hier een oplossing voor komt laten wij de service uitgeschakeld

Ze zeggen dus eigenlijk dat EOKM onbetrouwbaar is wat betreft het controller van de overheden aangeleverd hashes

[Reactie gewijzigd door xbeam op 22 juli 2024 14:57]

[GekkePrutser]

Hoe kan zoiets dan gebeuren?? Die stock foto's van Wordpress zijn enorm onschuldig. Daar is niet eens enige twijfel over mogelijk.

Dit geeft me niet erg veel vertrouwen in de integriteit en kundigheid van de organisatie die die database beheert. Zeker niet omdat het blijkbaar meerdere keren is gebeurd.

De techniek van Apple kan dan wel zo'n laag gehalte false positives hebben maar als de bron database een puinhoop is, gaan een hoop mensen daar problemen mee krijgen om niets.

[xbeam]

nieuws: Bureau Online Kindermisbruik: false positive hashdatabase was menseli...

Bureau Online Kindermisbruik: false positive hashdatabase was menselijke fout

[Kevinp]

En met de hoeveelheid data die er is is de kans ook groot op dubbelen.

Deze ontwikkelingen zijn gewoon gevaarlijk en moet je niet willen.

Nu kan dit, maar wat als je telefoon via vasthouden je geheugen kan lezen. Dat kunnen we nu al met geavanceerde elektrodes.

Je ziet een nieuwsbericht en denkt, goh ik zou willen dat hij dood was. Hoppa 20 jaar cell.

ipv bezuinigen op allerlei politiewerk investeer in de basis en dan heb je dit niet nodig.

[Kevinp]

Is geen complot theorie. Het is ook geen waarheid. Maar had jij ooit verwacht dat je op je eigen telefoon al je foto's gescand zouden worden.

Dat overheden vragen om encryptie te breken om zo zelf een backdoor te hebben.

Dat of als je buren mogelijk iets fouts doen dat de politie al jou data ook gewoon mag verzamelen?

Dat je veroordeeld kan worden omdat je de pincode niet geeft, zonder dat er sluitend bewijs is dat je iets fout hebt gedaan.

Waarom zou dit niet volgen? Laat het zeggen ik hoop dat ik geen gelijk ga krijgen. Maar met de controledrang van de politiek vrees ik het ergste als het ooit zou kunnen.

[kobus71]

Dat slaat nergens op. Het moet niet zo zijn dat techniek gebruikt gaat worden voor verkeerde doeleinden. En dat lijkt hier wel te gaan gebeuren.

[Jol65]

Dat slaat nergens op. Het moet niet zo zijn dat techniek gebruikt gaat worden voor verkeerde doeleinden. En dat lijkt hier wel te gaan gebeuren.

Wat is hier een 'verkeerd doeleind'? Kinderporno te maken en verspreiden of je privéfotos scannen?

[kobus71]

Onder de noemer " kinderbescherming" wordt weer een deel van onze privacy geschonden. Niemand is tegen het aanpakken van kinderporno en de bijbehorende viespeuken. Lijkt mij logisch.

[kobus71]

Onder de noemer " kinderbescherming" wordt weer een deel van onze privacy geschonden. Niemand is tegen het aanpakken van kinderporno en de bijbehorende viespeuken. Lijkt mij logisch

[orvintax]

Onder die noemer wordt zo vaak onze privacy geschonden. Altijd dat inspelen op de gevoelens van burgers om steeds meer informatie te vergaren.

De overheid mag van mij gerust wat weten, maar we weten ondertussen hoe ongelooflijk incapabel ze zijn met het beschermen van data.

En nee, dit wordt echt niet enkel gebruikt om "de kinderen te beschermen".

[DaveFlash]

toch gek, want hoe het nu is is dat plan als ook die van Apple duidelijk in strijd met de reeds geldende GDPR (AVG)

[Eonfge]

Nee hoor, AVG heeft duidelijke uitzonderingen voor juridische doeleinden. De EU heeft middels een vrijwillige overgangsperiode ook aangeven dat dit legaal is

[SJCE]

Dat heb je niet goed begrepen. Een juridische verplichting is een verwerkingsgrond. Nu is het gewoon verboden

[DaveFlash]

juridsch ja, als het door een overheid/pol/justitie/om gebeurt. commercieel nee, want apple is geen opsporingsdienst en moet dat ook niet worden, met wat apple nu wil doen schepen ze wel dat precedent

[obimk1]

Advocaat van de Duivel, Apple laat zien wat met moderne techniek mogelijk is => start de discussies!

[Jol65]

Dat is gelukt!

[GerritGekke]

Think of the Childeren

Het was wel tof toen Apple aankondigde dat de Foto’s app gezichten en objecten kan herkennen om hier vervolgens met een trefwoord de juist foto weer te vinden.

Kindermisbruik wordt natuurlijk in deze misbruikt om dit te kunnen laten doorvoeren. Want iedereen is het er wel mee eens dat kindermisbruik moet stoppen.

Ik vraag mij af wat nu het werkelijke (eind)doel is van Apple. Dit middel schiet zijn doel voorbij en raakt m.i. teveel onschuldige mensen. Dit is iets wat de politie moet doen, niet Apple.

Is Tim Cook bezweken onder de druk van externen? Het is duidelijk dat hier natuurlijk meer aan de hand is.

[fretnn]

Ik vermoed dat ze bezweken zijn onder druk van regeringen want er gingen al een tijd geruchten rond dat regeringen een backdoor wilden in E2EE.

[rossecorp]

Uit een artikel van de Financial Times:

"Although the system is currently trained to spot child sex abuse, it could be adapted to scan for any other targeted imagery and text, for instance, terror beheadings or anti-government signs at protests, say researchers. Apple’s precedent could also increase pressure on other tech companies to use similar techniques."

Naast alle al genoemde bezwaren tegen het scannen van foto's om kindermisbruik tegen te gaan is dit een groot gevaar door toekomstige function creep. Ik bedoel maar: "anti-government signs". Dat is in sommige landen (Belarus bijvoorbeeld) een risico wat je absoluut niet wilt lopen.

https://www.ft.com/conten...05-452f-97e2-a81458f5411f

[Djerique]

Het is überhaupt schandalig dat Apple persoonlijke foto’s van gebruikers scant.

Geldt dit ook voor lokaal opgeslagen foto’s of alleen voor in de cloud opgeslagen foto’s?

[sdziscool]

Alleen cloud... "voorlopig"

[t_o_c]

Nee, Apple gaat ook op het apparaat zelf scannen.

"Apple's method of detecting known CSAM (child sexual abuse material) is designed with user privacy in mind," Apple's announcement said. "Instead of scanning images in the cloud, the system performs on-device matching using a database of known CSAM image hashes provided by NCMEC (National Center for Missing and Exploited Children) and other child safety organizations. Apple further transforms this database into an unreadable set of hashes that is securely stored on users' devices."

[WhatsappHack]

Dat doet het voor upload naar iCloud. Foto’s die je niet upload worden ook niet op hash gecheckt voor zover ik opmaakte uit Apple’s uitleg. In principe doen alle cloudproviders dat, ook al vanwege de-duplication, maar nu compared het de hash met de database van die wazige toko.

Ik ben er hoe dan ook, ook al gebruik ik geen iCloud, ook niet blij mee. Er zijn teveel vraagtekens bij het hele gebeuren en de kans dat de slippery slope die nu benoemd wordt werkelijkheid wordt is aanwezig. Apple’s privacybeleid is heel goed op orde en altijd een van de betere geweest in smartphoneland, deze functie staat daar haaks op en dient wmb te verdwijnen tenzij het veel beter, veiliger en daadwerkelijk privacy vriendelijk server-side ingericht kan worden.

Overigens snap ik niet helemaal waarom de brief enkel aan Apple wordt gericht; pak je kans en schrijf meteen al die toko’s aan die dit doen en dan vooral de grote: Microsoft, Google, Facebook en Dropbox. Dit bedoel ik dus niet als een “ja maar zij doen het ook”/whataboutism; ik vind het gewoon een uitgelezen kans om ze allemaal eens even aan te spreken op dit belachelijke gedrag. Vooral Microsoft maakt het wel erg bont de laatste tijd.

[batjes]

Microsoft doet het al sinds de introductie van Skydrive tho.

Microsoft gebruikt ook hun eigen PhotoDNA. Vind ik persoonlijk heel wat minder erg dan dat er een derde partij gebruikt wordt.

[geerttttt]

Ncmec is nu niet echt een wazige toko maar een organisatie die wereldwijd probeert kindermisbruik te voorkomen. Zij krijgen geen uplink naar alle iCloud accounts oid...

[WhatsappHack]

In het artikel wordt over Global Internet Forum to Counter Terrorism gesproken, dat is volgens mij een compleet andere organisatie? NCMEC ken ik, daar werk ik ook mee samen bij een opensource project.

[geerttttt]

Ik zie het, mea culpa. Maar dan nog, ze leveren een database aan. Zodra er veel false positives uitkomen snijdt Apple zichzelf in de vingers nietwaar?

[Pietervs]

Ja, maar hoeveel mensen zijn voor die tijd al ten onrechte aangemerkt als liefhebbers van kinderporno?

[geerttttt]

Een hash is nooit 100% uniek natuurlijk, dus dat zou bijzonder zijn als dat zou gebeuren.

[dasiro]

tot de FBI in een high-profile child kidnapping case Apple opdraagt om de hash van een foto van het gezicht van het kind tegen alle foto's op alle devices te laten scannen. Ze zullen het alleen niet mogen rondbazuinen, want dat zou zowel voor de FBI als Apple heel slechte publiciteit zijn

[Blizz]

Alle foto's in Photos staan in iCloud. Dus al je foto's worden gescand.

Foto's die in mappen in iCloud Drive staan zouden niet worden gescand, maar mijn vertrouwen in Apple is vandaag volledig verdwenen.

[aCCuReRaS]

Dat is niet correct. Je kiest zelf of je foto's worden bewaard in iCloud of niet.

Als het aan staat, kan je het eenvoudig uitzetten:

To turn off your iCloud Photos everywhere, follow these steps:

• On your iPhone, iPad, or iPod touch, go to Settings > [your name] > iCloud > Manage Storage > Photos, then tap Disable & Delete.
• On your Mac, go to Apple menu > System Preferences, then click Apple ID. Choose iCloud, then click Manage. Select Photos, then click Turn Off and Delete.

[Reactie gewijzigd door aCCuReRaS op 22 juli 2024 14:57]

[Hemingr]

Wat voor 99% van de gebruikers het geval is omdat niet gebruiken opt-out is.

Daarmee slaat dit verhaal natuurlijk ook volledig de plank mis. De echte viespeuken zetten dit dan uit (of gebruiken al darknet methodes).

Plus zoals ik in de vorige draad al aangaf. Mijn partner is bijzonder "petite" en als je haar hoofd niet op de foto hebt kan ik me indenken dat een algoritme moeite heeft met haar te onderscheiden van een "vroeg ontwikkelt meisje". Moet ik dan maar tegen haar zeggen "sorry schat, je mag dan wel 34 zijn, maar ik kan het risico niet nemen dat Apple je als kind aanziet."

Dit is een gevalletje "fuck privacy" met een "denk toch aan de kinderen" sausje.

Plus natuurlijk ook makkelijk voor een land als China die wel even wil weten of iemand afwijkende mening heeft over een vrij HongKong of een democratisch land als Taiwan of een paar onwelvallige FalungGong logotjes op iemand z'n telefoon. Zodra China zegt "doen, of je mag je shit niet meer verkopen hier" kan Apple niet snel genoeg op de "add to filter" knop rammen.

[Reactie gewijzigd door Hemingr op 22 juli 2024 14:57]

[The Realone]

Hoe zie jij het voor je dat jouw een naaktfoto van jouw vrouw geflagged wordt als kinderporno? Als ik het goed lees gaat dit enkel over hashes uit een database met daadwerkelijk pornografisch materiaal van kinderen. Het is niet zo dat Apple jouw foto pakt even de inhoud gaat scannen en denkt "nouja die ziet er wel uit als een kind!".

[Mangu429]

Er is al zoveel foutief bestempeld als naakt dat geen naakt is. Die algoritmes zijn niet onfeilbaar.

[The Realone]

En? Naakt staat niet gelijk aan porno, laat staan kinderporno. De databases waar deze hashes vandaan komen zijn "geverifieerd" kinderporno, daar komt geen naaktfoto van een willekeurig familielid bij te staan tenzij die blijkbaar verspreid is op het internet en het een minderjarige betreft.

[wild_dog]

Die hashes worden gegenereerd met iets genaamd NeuralHash, met als doel: "Hierbij krijgen verschillende foto's verschillende hashes, maar afbeeldingen die licht gewijzigd zijn, zoals verkleind, uitgesneden of in zwart-wit zijn omgezet, krijgen een identieke hash.". Maar dan is er dus een ruimte waarin fotos met verschillende inhoud toch de zelfde hash aangewezen krijgen. Hoe (on)gevoelig is dat? Hoeveel false positives gaat dat opleveren?

Daarnaast worden die databases met match hashes beheerd door derden, en hoe kan men daar mee gaan kloten? Standaard afbeeldingen van WordPress zijn al eens in zo'n DB opgenomen als KP! en die DB beheerders kunnen over het algemeen niet klachten van onterechte opname gaan beoordelen, aangezien zij natuurlijk de originele afbeeldingen die de hashes maken niet mogen bezitten.

En dat is nog niet eens opzettelijk! Wat als een regering van een totalitair land een reeks aan protest afbeeldingen zoals deze toe gaat voegen aan zo'n DB, en dan vrolijk door Apple geïnformeerd word over wie al die gevaarlijke anti-staats anarchisten- ik bedoel, vieze pedo's in zijn land zijn? Apple kan niet controleren of die aangeleverde hashes echt KP zijn, en er hoeft maar 1 persoon bij een aangesloten DB beheer organisatie 'gemotiveerd' te worden om met die regering mee te werken.

En wat is het doel? Om Pedo's die zo stom zijn om reeds bekende KP te downloaden en naar iCloud te uploaden te kunnen pakken? Want nieuwe afbeeldingen kan het niet detecteren, dus foto's gemaakt met die devices ga je niet vinden. Je gaat hier dus geen kinderen mee redden die actief misbruikt worden, want tegen de tijd dat je die foto's in een DB opgenomen hebt, zijn ze al oud nieuws en heb je alle info al die je zou kunnen krijgen om die kinderen te kunnen vinden.

En als je wel nieuwe foto's gaat vinden, dan werk je dus met een ML algoritme dat maar goed genoeg moet zijn om perfect onderscheid te maken tussen wat KP is en wat familiefoto's op een naaktstrand zijn...

Veel te weinig potentieel goed dat het zal doen, tegen over veel te veel inbreuk op privacy, potentieel voor schade, en potentieel voor misbruik.

[mpol]

Garandeert Apple dat het enkel geverifieerde kinderporno is? Ik denk het niet.

Scenario is niet zo moeilijk te bedenken toch?
Er zijn genoeg websites, ook in Nederland, waar je zelf naaktfoto's kunt delen. Veelal gebeurt dit zonder het gezicht er bij op de foto. Je kunt je voorstellen dat een verzamelaar van kinderporno foto van een 'petite' vrouw van 34 ook wel aardig vindt en toevoegt aan de collectie. Een jaar later wordt hij opgepakt door de politie en al zijn foto's worden aangemerkt als geverifieerde kinderporno, ze zijn namelijk verder niet traceerbaar.
Ondertussen staat deze foto nog wel in de prive-map van wat telefoons waarbij de gebruiker plotseling beschuldigt wordt van bezit kinderporno, onterecht natuurlijk.

[Hemingr]

Vergeet niet dat stap 1: X database is. En een niet geheel onwaarschijnlijke stap 2: obv alle learnings gaat de AI ook op zoek obv deze geleerd heeft.

Plus weten we simpel weg niet wat er in een database staat. Je kunt apple wel op hun blauwe ogen geloven, maar dan ben je toch wel een heel klein beetje naief.

Als je denkt dat wat apple nu doet het eind punt is heb ik nog wel een onzichtbare brug aan je te verkopen.

[Reactie gewijzigd door Hemingr op 22 juli 2024 14:57]

[honey]

Als iemand het als kinderporno bestempelt, dan is het vanaf dat moment kinderporno, ongeacht leeftijd van het model.

Een vriendin heeft cup AA, Aziatisch en ziet er uit alsof ze 12 is. Ze is echt in de twintig. Als zij erotische foto's maakt voor haar vriend en dat komt op Internet dan is het vrij simpel voor een ambtenaar om het als KP te bestempelen.

Ik vraag me af of haar vriend (of haar exen) dan problemen kunnen krijgen.

[DaveFlash]

die database is niet onfeilbaar en niet voor third parties te controleren momenteel, dus als die database gecompromitteerd wordt door hackers of mitm, dan heb je de kans dat third actors bijv ze flooden met hashes van kattengifs, en de db dus niet meer foolproof is.

[Zeerob]

Precies. Het gaat om hashes. Dus niet om het 'herkennen' van kinderporno, maar om het matchen met vooraf al bekende plaatjes. Het algoritme zorgt er alleen voor dat een iets gewijzigde versie (b.v bijgesneden of verkleind) ook nog herkend wordt.
Het gat dus helemaal niet om je eigen foto's.

[batjes]

Daarmee slaat dit verhaal natuurlijk ook volledig de plank mis. De echte viespeuken zetten dit dan uit (of gebruiken al darknet methodes).

Het zal je verbazen hoe dom de meeste criminelen zijn. De meeste mensen hebben absoluut geen flauw benul van hoe hun telefoon werkt. Wat het allemaal wel of niet kan is gewoon magie voor 99% van de mensen.

[Mangu429]

Die kinderpornonetwerken zijn goed verborgen. Daar is wel enige kennis voor nodig. Doen alsof criminelen digibeet zijn is erg naïef.

[batjes]

Vaker wel dan niet blijkt een verdachte of veroordeelde zulke foto's gewoon op zijn telefoon, laptop e.d. te hebben staan. Een groot gedeelte zijn gelegenheidspedo's die een familielid of iemand dichtbij misbruiken en zitten echt niet zo diep in dat darkweb pedo wereldje.

[himlims_]

Dat schreef ik eerder ook al, in andere bewoording.

Het percentage zal echt minimaal zijn. De “vieze” mannetjes leggen dit soort collecties niet op de telefoon vast (zeg niet dat niet gebeurd)

Maar als ik dit zo via bekende bij de opsporingsdiensten hoor, is dat vaak via darknet gedeeld en uitgewisseld wordt, maar vooral lokaal (externe) encrypted disks met TB aan walgelijk materiaal.

Het is natuurlijk moreel verwerpelijk dat dit content op jouw platform staat, en dat de gemiddelde consument hiervan dupe is. Dit soort misbruik wil niemand zien, en is altijd goed “excuus” wat maatschappij geaccepteerd wordt ten koste van privacybeleid (God knows, houdt niet op)

[shytah]

Er worden hashes gescand en vergeleken met een bestaande database.

Er is wel een AI die afbeeldingen op inhoud scant en classificeert, maar deze functionaliteit bestaat al lang op iOS en zorgt voor herkenning van allerhande zaken zodat je herinnering x krijgt van dat ene moment op vakantie.

[Reactie gewijzigd door shytah op 22 juli 2024 14:57]

[laptopleon]

Wat voor 99% van de gebruikers het geval is omdat niet gebruiken opt-out is.

Helemaal eens dat dit een gruwelijk slecht idee is, maar dat klopt niet. Je moet het zelf aanzetten. Ik heb toevallig twee dagen geleden nog een iPhone geherinstalleerd en zelfs als het aan stond voor je hem reset en je een backup terugzet van een iPhone waarop iCloud aan stond, moet je iCloud zelf expliciet aanzetten en ik ook nog de foto-optie apart nog een keer. Dit is ook het geval bij een macOS installatie.

[Blizz]

Klopt, ik liet iets te veel context weg in mijn reactie. Gecorrigeerd: Als iCloud Photos aanstaat dan worden al je lokale foto's in Photos gescand.

[oscar oscar]

Foto's in iCloud opslaan is opt-in

[laptopleon]

Het is opt-in. Sowieso is iCloud zelf eerst opt-in. Daarna staat alleen de Gedeelde foto’s aan. Je eigen foto’s worden niet ge-upload, tenzij je dat zelf eerst aanzet.

[Jonathan-458]

Volgens mij worden bestanden welke via de cloud opgeslagen worden bij bijna alle cloud data opslag providers al gescand.

Het is namelijk verschillende keren voorgekomen dat een account geblokkeerd werd omdat er inhoudt aanwezig zou zijn welke niet volgens de voorwaarden aanwezig mag zijn, dit is ook voorgekomen bij gebruikers welke niks publiekelijk delen maar ook met content welke alleen via hun eigen cloud inzichtelijk is.

Soms onterecht, Ook zijn er een aantal zaken waarbij de cloud provider naar de politie is gestapt en het tot een veroordeling heeft geleid.

[Reactie gewijzigd door Jonathan-458 op 22 juli 2024 14:57]

[Wouda]

Er staat dat het in iOS geïmplementeerd wordt. Uit een eerder artikel begreep ik dat die hashes enkel lokaal op je device worden gecheckt. Ik heb nog nergens gelezen dat de foto’s ook daadwerkelijk je apparaat verlaten.

Wat ik mij dan nog wel afvraag is wat er gebeurt als er dan wel een match is. Welke instanties krijgen dan welke informatie? Of krijgt alleen de gebruiker een melding dat hij mogelijk over illegaal beeldmateriaal beschikt?

[Reactie gewijzigd door Wouda op 22 juli 2024 14:57]

[WhatsappHack]

Ze verlaten je device als je ervoor hebt gekozen je foto’s of een deel van je foto’s op te slaan in iCloud.

[Wouda]

Dat staat los van de hash matching. Dat gebeurt alleen op je device. Dat was ook de vraag. In iCloud wordt niets gescand.

[WhatsappHack]

Ik reageerde op “Ik heb nog nergens gelezen dat de foto’s ook daadwerkelijk je apparaat verlaten.”. Nee dat doen ze niet, tenzij je ervoor hebt gekozen iCloud te gebruiken en naar mijn weten worden ze ook pas bij upload gecheckt.

[SuperDre]

tja, dat klopt, maar als je met die stelling zoiets toe staat dan moet je dus ook accepteren dat er gescanned gaat worden op andere zaken die het daglicht niet kunnen verdragen, waar leg je de grens?
En precies wat er gezegd wordt, wanneer is een foto kindermisbruik? als een 15 jarige een naaktfoto stuurt naar zijn/haar vriendje die ook 15 is, dan is het in de ogen van de wet ook kinderporno, maar in realiteit is dit natuurlijk gewoon 'sociaal' gedrag tussen 2 verliefden.. En dan kom je ook nog op de leeftijdgrens die per land verschilt.

[eonflux]

Er worden meerdere systemen uitgerold. Als een 15 jarige een naaktfoto verstuurd of ontvangt via een berichtenservice dan zal dit geblokkeerd worden als ouderlijk toezicht geactiveerd is en zal de ouder moeten bepalen wat acceptabel is denk ik.

Dus naast neural hashes heb je ook een ai gestuurde herkenning van bloot.

[Djerique]

Dat is helemaal niet het punt van discussie…

Elk gezond mens weet dat kindermisbruik walgelijk is.

In mijn stelling heb ik het over dat het in mijn optiek schandalig is dat Apple zo maar in privéfoto’s kan neuzen.

Apple heeft niks, maar dan ook HELEMAAL NIKS te zoeken tussen foto’s van mensen.
PUNT.

[jbhc]

Ik sanp de ophef niet zo. Microsoft doet dit toch ook al een tijdje?

[laptopleon]

Als je dit onderwerp een beetje gevolgd hebt door de jaren heen, weet je dat M en A hier verschillend mee omgaan. Tot nu toe althans.

Van Max Havelaar verwacht je ook iets anders dan van Douwe Egberts als het gaat om de werkomstandigheden bij de productie van je koffie. Vooral ook omdat ze Havelaar daar prat op gaat en je daar meer voor betaald.

[EmbarrassedBit]

Het is vrij naïef om van Apple te verwachten dat ze het recht op privacy laten primeren op alle andere publieke goeden, in dit geval het tegengaan van het verspreiden van kinderporno.

Ik zie het afbouwen van de privacy als een van de manieren waarop de techreuzen, in dit geval Apple, hun gebruikerspubliek cureren door een bepaald soort gebruiker weg te jagen of in ieder geval te laten voelen dat Apple zich niet met hen wel associëren. Pedofielen? Nee, niet als zodanig, want het is voldoende duidelijk dat geen enkel merk het merk voor pedofielen wil zijn, extra profilering op dat punt is dus niet nodig. Wel tweakers d.w.z. tech-enthoesiastelingen die een bepaalde hoop koesteren i.v.m. wat persoonlijke tech zou kunnen en moeten zijn, en die daarom eisen dat de integriteit van hun computing op alles primeert. Dat publiek wil Apple niet, en met deze zet geven ze dat duidelijk aan.

Het publiek dat Apple wil zijn iets rijker dan gemiddelde middenklassers, met bovenal zeer mainstream verlangens en eisen. Het vindt dat software vlot moet werken, maar de animaties moeten er ook leuk uit zien. Het moet de indruk hebben dat het kan doen wat het wil met hun consumentenelektronica, maar het is ook blij dat Apple er voor zorgt dat ze niet per ongeluk gevaarlijke of gewoon al te rare apps op hun toestel kunnen installeren door die apps uit de App Store te weren. Dat Apple daar vaak niet in slaagt is een ander probleem, het publiek is er i.i.g. blij mee dat Apple het minstens zegt te proberen.

Dat publiek vindt hier dus ook privacy "belangrijk" (vandaar die marketing-campagne van de laatste jaren, die was voor hen, niet voor mensen die het gevaar van backdoors begrijpen), maar vindt tegelijk ook het vatten van terroristen, pedofielen, nazis etc. "belangrijk". Daar kan jij, als persoon die het gevaar van backdoors begrijpt, tegen inbrengen dat een zet als deze gewoon niet werkt. En je hebt gelijk, maar je vergeet dat Apple niet wil gezien worden als het merk van mensen als jou. Als Apple's publiek de bezwaren van tech-enthoesiastelingen zou horen, dan zouden ze denken "nou, als die dikke mannelijke maagden met hun nekbaarden en waifu pillows zeuren over Apple, dan is het een merk waar een normaal persoon als ik mee gezien kan worden". Dat is heel spijtig, maar de achterliggende logica is niet genuanceerder dan dat. Apple wil uiteraard je geld wil, maar de klant die ze willen is een tech-analfabete middenklasser die blij is dat Apple hen het gevoel geeft dat belang hecht aan alle dingen waar ze belang aan hechten, zelfs als die dingen elkaar uitsluiten of tot mission creep kunnen leiden. Dat is altijd al zo geweest met alle vijf de grote techreuzen, zeker met Apple, en dat gaat nooit veranderen.

[Reactie gewijzigd door EmbarrassedBit op 22 juli 2024 14:57]

[Djerique]

Dat wist ik niet. Heb je daar een bron van?

Ben benieuwd of het zo is dat Microsoft op je harde schijf bestanden aan het opspeuren is als je connected bent met het internet.
Laten we het niet hopen…

[jbhc]

Zodra je OneDrive gebruikt worden alle bestanden die je daarop zet gescanned.
Een snelle google search geeft al dit:

https://borncity.com/win/...-die-onedrive-nacktfotos/

Dit zou ondertussen toch vrij algemeen bekend moeten zijn.

Je kunt natuurlijk beargumenteren dat dat niet direct op je eigen device is maar ik denk dat er heel veel mensen zijn die onedrive gebruiken zonder dat ze daar echt erg in hebben.

[NotSoSteady]

Dit doet Microsoft toch ook al met zijn clouddiensten?

https://www.local10.com/n...0the%20arrest%20affidavit.

[agresionpower]

klopt, is ook een nederlander overkomen:
https://www.destentor.nl/...3A%2F%2Fwww.google.com%2F

[d_stiny]

Wordt nog wat als iemand dergelijk ‘relatief onschuldige foto’s’ gaat lopen spammen naar Jan en alleman.. ‘mooie’ manier om wraak te nemen op iemand 😳

[oscar oscar]

Dat staat niet zo vermeld in je bron, maar ik geloof dat Microsoft dit inderdaad al jaren zo doet (ik weet dat Facebook het al langer doet, inclusief manuele check waar al veel over geschreven is de laatste jaren). Apple komt er nu mee, vandaar dat ze nu in het oog van de storm zitten.

[Caayn]

Correct, inclusief de nodige false positives (incl. Tweakers) waarbij hun account volledig is dichtgegooid (incl. Alle aankopen en dergelijken) zonder mogelijkheid tot verdediging en/of uitleg wat er nou precies fout was.

Juist omdat wij al zien dat dit soort systemen fout gaan (plus het is een enorme glijdende schaal) zie je nu weerstand tegen een nieuwe implementatie. Daarnaast wat doe je als iets in de VS niet door de beugel kan maar in de EU bijvoorbeeld wel?

[Reactie gewijzigd door Caayn op 22 juli 2024 14:57]

[Jonathan-458]

***Niet nuttig***

[Reactie gewijzigd door Jonathan-458 op 22 juli 2024 14:57]

[locke960]

Het verschil is: Microsoft* scanned jou files pas nadat je ze naar de cloud hebt geüpload, het scannen gebeurd op hun servers. Apple wil dit scannen op je eigen device gaan doen.
Dat is nogal een verschil. Van die servers kun je nog zeggen** dat het een dienst is die het recht heeft bepaalde*** content van zijn servers te weren. Als het om jou eigen device gaat is dat een ander verhaal. Vanuit dit perspectief is dit niet meer of minder dan de volgende stap op het hellende vlak van de surveillance maatschappij.

De ironie is dat Apple zichzelf het scannen op hun servers onmogelijk heeft gemaakt omdat hun product veiliger is dan dat van de concurrentie. Apple gebruikt end-to-end encryptie waardoor niemand, ook Apple niet, jou bestanden in de cloud kan lezen. Als ze je bestanden willen scannen kunnen ze dit alleen op je eigen apparaat doen. Microsoft kan gewoon bij je data op de servers..

*en voor zover ik weet ook alle andere grote cloud providers.
**dat is een hele discussie op zich zelf.
***ik schrijf bepaalde, ipv illegale, omdat de definitie van illegaal per jurisdictie nogal kan verschillen. Zelfde voor de definitie van kinderporno. Dit is een van de grote problemen met dit soort scan praktijken op het internet.

[laptopleon]

‘Het is een dienst die het recht heeft bepaalde content van zijn servers te weren.’ klinkt nog redelijk als het gaat om een publieke website, maar kun je moeilijk volhouden als het gaat om backups van privéfoto’s en andere persoonlijke data. Zeker als je die cloud juist specifiek opzet om data van gebruikers te synchroniseren en backuppen en in privé-sfeer te delen.

Wat je zegt: Apple en Microsoft gaan hier heel anders mee om. Apple wil niet eens je data kunnen bekijken. Juist daarom komt dit nieuwe Apple-verhaal als een donderslag bij heldere hemel.

Ergens hoop ik nog steeds dat dit een slechte grap is. Dat Apple straks zegt: ‘Sorry, het was een slechte grap. We wilden laten zien hoe het niet moet. Hoe gevaarlijk dit is.’ etc.

[Amadeus1966]

De één zijn familiefoto's is de ander zijn porno.
Heb ook foto's van mijn dochter in bad, is dat nog wel toegestaan door deze moraalridders?

Ergens moet er een grens getrokken worden.
Scannen van prive foto's is not done.
Überhaupt vind ik scannen van content al te ver gaan en dan niet alleen foto's.

[Reactie gewijzigd door Amadeus1966 op 22 juli 2024 14:57]

[Hemingr]

https://pbfcomics.com/comics/kitty-photographer/

Maar dan echt.

[Geim]

Dan heb je het dus niet goed begrepen. Foto’s die naar de cloud gaan worden vergeleken met kindermisbruik foto’s in een database.

[Caayn]

Er is al meermaals aangetoond (false positives, en mensen die daardoor onterecht hun accounts zijn kwijtgeraakt) dat andere foto's een dergelijke match kunnen geven. Dit omdat er niet met gewone hashes maar met bijv. fuzzy hashes wordt gewerkt.

[Reactie gewijzigd door Caayn op 22 juli 2024 14:57]

[Geim]

Huh? Apple kondigt aan en heeft nog niets geïmplementeerd, hoe kun je dan zeggen dat het al vaker fout gegaan is?

[Mangu429]

Apple is ook hier niet de eerste in.

[Geim]

Wie gebruikt al iets vergelijkbaars? Dus met een database die vol zit met gehashte kindermisbruik foto’s?

[PPie]

Google, Twitter, Microsoft en Facebook doen dit.
Google al vanaf 2008.

[Geim]

Bedankt voor de info.

[Hemingr]

Op dit moment trekt apple ook maar een paar propaganda cijfers uit de mouw.

[M3m30]

Omdat dit soort systemen vaker tot onterechte aanklachten hebben geleid...

[Geim]

Wie gebruikt er en vergelijkbaar systeem, dus hashvergelijking met een database met bekende kindermisbruik foto’s?

[Mangu429]

Ze zullen toch ook nieuwe foto's willen vergelijken. Een fout is daarbij zo gemaakt.

[Geim]

Alleen als er nieuwe foto’s gehashed worden in de database.

[M3m30]

Klopt... maar wat voor het systeem kindermisbruik is... betekend niet dat het echt kindermisbruik is.

[Geim]

Dat is inderdaad waar. En daar wordt ook terecht tegen geageerd, echter ging de reactie waar ik op reageerde daar niet over.

[Jenthex]

Er wordt gekeken naar identieke (of licht gewijzigde) versies van foto’s die in een databank staan met geverifieerde kinderporno. Dus er wordt geen subjectieve score gegeven aan jouw foto die een indicatie geeft of het al dan niet kinderporno is. Een match geeft dus aan of je reeds bekende strafbare foto’s op je device hebt staan, dus je familiefoto’s gaan niet geflagd worden.

[Mangu429]

Er hoeft maar 1 foto foutief gemarkeerd te zijn en je hebt dus een strafbare foto op je device. Opeens is je eigen kind in het bad opeens wel geflagt en heb je al twee strafbare foto's. Je ziet waar dit heen gaat.

False positives heb je al gauw. Dat is wel gebleken uit alle onterecht verwijderde foto's op bijvoorbeeld Facebook.

[M3m30]

Nederland heeft in een ver verleden een kinderporno filter gehad... is snel afgebroken geweest omdat er veel te veel false positives naar voren kwamen.

[Bender]

Het beeld op zich wordt niet herkent, enkel een 'hash' van een foto wordt herkent.

Zolang de hash van jouw foto niet bekend is, zal deze dus niet omhoog komen. Enkel bekende foto's dus.

[4x4]

Net als Cola Zero.
Ze roepen heel hard dat er geen suiker in zit maar wat voor schadelijks er wél in zit hoor je ze met geen woord over reppen.

[MeMoRy]

In bad zouden ze nog eruit kunnen filteren. Maar onze dochter (3) had een medisch probleem rond haar geslachtsdeel. Daar moest ik ook om de maand een foto van maken om bij te houden of het niet erger werd.
Ik weet niet hoe hun algo werkt, maar lijkt me dat dat dan dus aangemerkt wordt. Wat veel ellende zou geven.

[hoorik]

Ik lees niks over wat er gebeurt als wel iets gevonden is. En dan bedoel ik vooral wanneer jouw foto van je eigen baby die in in bad wordt gedaan, net die false positive is. Krijg je nog wel een optie om je onschuld te bewijzen of is dit net zoals bij Microsoft dat je kan fluiten naar je gegevens?

[bytemaster460]

Als het goed is staat een foto van je eigen baby in bad niet in een internationale database met foto's van kindermisbruik. Het systeem slaat pas aan als daar een match mee gevonden wordt.

[MeMoRy]

Is dat alles wat ze doen? Dan pak je dus juist de grootste klootzakken (de "content creators") niet, dus dan is het sowieso geen goed systeem om het probleem goed aan te pakken.

[bytemaster460]

Ja, dat is zoals het gaat werken. Hiermee pak je dus inderdaad enkel de naïevelingen die hun verzameling op de iphone of ipad zetten.

[rossecorp]

De kans is groot dat je account geblokkeerd wordt. Bezwaar maken heeft vaak geen enkele zin, zie ervaringen van anderen met tech giganten. Als je jezelf privé, of nog erger zakelijk, afhankelijk hebt gemaakt van een partij zoals in dit geval Apple, dan heb je een groot probleem.

[hoorik]

Inderdaad en ik vind dat daar veel beter naar moet worden gekeken. Iedereen vind iets van de maatregelen maar als je eenmaal een geblokkeerd account hebt ben de aan de tech reus goden overgeleverd. En daar wordt niet naar gekeken, en dat zou minimaal toch ook in maatregelen moeten staan. Nee, je mag wel betalen voor meer iCloud opslag maar eenmalig een geblokkeerd account kan je nergens terecht.

[Krulliebol]

Volgens het originele artikel gaat het niet (alleen) om het blokkeren van je account, maar ook om informatie doorspelen aan de autoriteiten.

[Indoubt]

Ik ben eigenlijk blij dat toen mijn dochter een baby was we nog filmrolletjes hadden.

De kans dat het gebeurt dat een bad foto van je baby wordt aangemerkt als KP is natuurlijk klein maar het feit dat er uberhaupt een kans is, hoe klein ook, is natuurlijk zorgwekkend.

Vooral omdat je kunt vechten tegen de bierkaai als je in zo'n situatie beland

[Rey Nemaattori]

"Volgens Apple is er een kans van één op een biljoen op valse positieven per account."

Ik weet niet of dit per foto is, maar met een paar duizend foto's na een paar jaar op je device (van je vakanties oid) en honderden miljoenen gebruikers...lijkt de kans op een false positive eigenlijk best wel hoog....

[Kurgan]

Om nog maar te zwijgen over de potentiële gevolgen van een false positive. We hebben in NL al gezien wat er gebeurt als een overheidsdienst mensen ten onrechte als fraudeur aanmerkt, kun je nagaan wat er gebeurt als je ten onrechte als kindermisbruiker wordt bestempeld. Gaat Apple dan ook opdraaien voor alle gevolgen? Dacht het niet...

[jpfx]

Overheidsdiensten hebben een toestemming nodig van een rechter nofldig als ze jou eigendom willen doorzoeken. Apple vind blijkbaar dat jou iPhone niet jouw maar hun eigendom is als ze zonder rechtsgrond op jou iPhone aan het zoeken slaan zonder jou toestemming.

[WhatsappHack]

Ik denk niet dat enkel een partial hash match voldoende is om enige invloed te hebben op je leven. Hoogstens is het aanleiding tot nader onderzoek. Niet dat ik dit goedkeur trouwens, maar het idee dat je bij een false positive meteen in de gevangenis beland en je baan kwijt bent en dergelijken is een tikje overdreven.

[M3m30]

Niet bepaald... als het uitlekt dat jij wordt verdacht van het verspreiden of in bezit hebben van kinderpornografisch materiaal.. zal zowat elke werkgever jouw ontslaan.. en in je omgeving ben je ook niet meer veilig.

[WhatsappHack]

Waarom zou Apple dat lekken though? Of een politie? Op basis van één **potentieel** positieve hash ramt men niet bepaald meteen je voordeur in. Zeker niet als het vermeend foute materiaal eerst bekeken wordt en blijkt dat er geen reden is voor actie.

[M3m30]

De politie gaat niet altijd handig met data om... soms vergeten dat medewerkers van een haven bedrijf niet meer veilig zijn omdat het OM gelekt hebt? Of dat het OM meermaals met de gegevens van de kroongetuige in Marengo proces heeft gelekt?

[Kurgan]

het idee dat je bij een false positive meteen in de gevangenis beland en je baan kwijt bent en dergelijken is een tikje overdreven.

Dacht je dat? Ik heb helaas bij een vriend kunnen zien wat een valse beschuldiging zonder enig bewijs teweeg kan brengen. De rechter geloofde zonder meer de verhalen van "getuigen" die het ook maar van horen zeggen hadden. Ontlastende bewijzen zoals een rapport van een hoogleraar rechtspsychologie werden simpelweg van tafel geveegd en een positief rapport van jeugdzorg bleek opeens onvindbaar. Als resultaat heeft hij bijna twee jaar vastgezeten en is hij zijn baan, huis, auto en kinderen kwijt en kan hij niet meer in zijn vakgebied werken totdat en tenzij hij in het hoger beroep onschuldig wordt verklaard. Blijf dus maar geloven dat dit in Nederland niet voor kan komen en ik hoop dat je nooit reden zult hebben om van gedachten te veranderen, maar ik deel je rooskleurige visie op de Nederlandse justitie niet bepaald. Laat staan dat ik vertrouwen zal hebben in een commerciële partij die toch vooral aan hun eigen belangen denkt en geen enkel recht heeft zich de positie van opsporingsdienst toe te eigenen.

[WhatsappHack]

Vooropgesteld heb ik helemaal geen oordeel gegeven over het Nederlandse juridisch apparaat noch over mijn eventuele vertrouwen daarin. De zin die je quote slaat simpelweg op het feit dat een false positive nergens toe zou moeten leiden en dus ook geen enkel effect zou moeten kunnen hebben en daarom de doomscenario's wat overdreven overkomen. Een positive bij dit systeem zorgt er namelijk voor dat een low-res van de zogenaamd matchende afbeelding wordt meegezonden voor review. Als blijkt dat de hash een mismatch is (false positive), dan komt er helemaal geen justitie aan te pas en kan de door jouw beschreven situatie zich dus ook niet voordoen. Er kan nogal lastig een valse beschuldiging gedaan worden, men heeft immers het materiaal nodig en die krijgt eerst een review of de match wel een match is alvorens er überhaupt actie op wordt ondernomen. Op dit moment is het reeds zo dat exact dezelfde scans al plaatsvinden op de cloud zelf, bij alle dienstverleners. (iCloud, OneDrive, Google Drive, DropBox, etc.)

Ik denk dat de vergelijking met een valse beschuldiging derhalve mank gaat. Als er namelijk al een beschuldiging plaatsvindt, moet er a.) een positive match geweest zijn met een hash uit de CP-database toen je een foto probeerde te uploaden naar iCloud, b.) bij review door Apple bleek dat het inderdaad een correcte match is en inderdaad gaat om de gewraakte afbeelding. Dan heb je dus daadwerkelijk CP op je toestel staan en geprobeerd dat te uploaden naar iCloud... Dan kan je ook niet meer spreken van een valse beschuldiging. Als het een false positive is, dan gebeurt er verder helemaal niets en wordt het hele zooitje discarded. Zoals gezegd kunnen dit soort false-positives zich nu ook al voordoen, door de scans die plaatsvinden op iCloud (en bij alle andere clouddiensten. Dit is een wettelijke verplichting.).

Laat staan dat ik vertrouwen zal hebben in een commerciële partij die toch vooral aan hun eigen belangen denkt en geen enkel recht heeft zich de positie van opsporingsdienst toe te eigenen.

Geen recht, meer een verplichting. Alle cloudstorage providers zijn verplicht deze scans uit te voeren. Google, DropBox, Apple, Microsoft: ze doen het allemaal, want ze moeten wel. Wat Apple nu wil gaan doen is de scan uit gaan voeren op het moment dat je de upload initieert, in plaats van op het moment dat je de upload hebt voltooid. Wezenlijk maakt dat vrij weinig verschil naar mijn mening, of je het nou 1ms voor upload of 1ms na upload scant: dat is verwaarloosbaar. Zeker als de geruchten blijken te kloppen dat men dit doet omdat end-to-end encrypted iCloud eraan zit te komen en Apple dit op deze manier wil doen om wetgeving voor verplichte backdoors voor de gehele dataset te voorkomen. (En niet enkel in de VS, de EU is helaas zelfs al verder op dit gebied om goede encryptie te verbieden/backdoors te eisen. Apple neemt zo de wind uit de zeilen. De EU kan dan namelijk niet meer zeggen "we willen standaard toegang tot alle data want er zou weleens kinderporno kunnen staan!". Immers scant Apple daar wel degelijk op óndanks de encryptie. Het is een compromis op het schaakbord. Afijn, dat is allemaal nog even afwachten hoe 't nou zit.)

Dit alles neemt overigens niet weg dat ook ik het helemaal niet zo'n goed idee vind en liever heb dat Apple afziet van dit plan. Maar ik vrees wel dat als ze er van afzien er geen E2EE-iCloud komt of als ze dat wel introduceren; dat we dan wetgeving krijgen hier die E2EE effectief verbiedt en we weer terug bij af zijn. Met deze wetgeving is men hier in de EU nu al bezig, zeker als Apple met encryptie over de brug komt waarbij men het kinderporno en terrorisme riedeltje kan gaan afdraaien om zo de wet erdoorheen te rammen zoals ze vorige maand ook gedaan hebben... De dreiging komt dus meer vanuit de politiek dan vanuit Apple en andere cloudproviders met soortgelijke plannen wat mij betreft, maar afijn.

[Reactie gewijzigd door WhatsappHack op 22 juli 2024 14:57]

[Jan Doe]

Maar als deze methode met hashes werken kijken ze toch helemaal niet naar je iCloud foto’s? Ze maken een hash value van je foto’s en vergelijken dat met een database met hashes vab bekende foto’s. Daar is toch niks mee? Op de voorwaarde dat deze database klopt uiteraard.

[vanstra]

En wie controleert de database met hashes? Hoe weten we of de betreffende hashes in de database wel gerechtvaardigd zijn? Dit is een glijdende schaal.

[TheVivaldi]

En ik maar denken dat Apple dit soort dingen niet doet omdat privacy zo goed geregeld is bij Apple? Dat is wat ik hier altijd in de reacties leer…

[bytemaster460]

Vandaar ook de grote verontwaardiging...