Apple trekt stekker uit iCloud-scanner die kindermisbruik moet detecteren

Apple trekt de stekker uit de fotoscanner die op zoek moest gaan naar beeldmateriaal van kindermisbruik bij iCloud-gebruikers. Het bedrijf zal blijven werken aan beveiligingsfuncties die kinderen moeten waarschuwen als men in contact komt met dergelijk beeldmateriaal.

Apple stelt tegenover Wired dat het uitgebreid overleg heeft gepleegd met experts en dat het bedrijf meent kinderen te kunnen beschermen zonder dat er data van gebruikers moet worden doorzocht. Het plan om de iCloud-fotoscanner uit te rollen, die op zoek gaat naar beeldmateriaal van kindermisbruik, komt er dus voorlopig niet.

Het Amerikaanse techbedrijf zegt wel meer te willen inzetten op andere functies die kindermisbruik moeten helpen tegengaan, zoals de Communicatieveiligheid-functie. Via deze functie worden kinderen gewaarschuwd zodra ze op het punt staan om naaktfoto’s te versturen of te ontvangen via de Berichten-app. Er worden daarbij ook informatiebronnen getoond om kinderen aan te leren hoe om te gaan met dergelijke situaties. Apple stelt dat het deze functie op termijn wil uitbreiden naar video’s en dat het de technologie ook wil openstellen voor gebruik in apps van derden. Een exacte termijn voor de nieuwe mogelijkheden van de Communicatieveiligheid-functie gaf het bedrijf niet mee. Communicatieveiligheid is beschikbaar sinds iOS 15.2, iPad OS 15.2 en macOS 12.1. De functie is opt-in en Apple krijgt hierbij geen toegang tot beelden van gebruikers.

Apple maakte in de zomer van 2021 bekend dat het een functionaliteit zou toevoegen aan iOS en iPadOS om foto's die Amerikaanse gebruikers op iCloud zetten te controleren op kindermisbruik. Dat zou met een mechanisme gaan gebeuren dat de privacy van onschuldige klanten zou beschermen en een heel laag risico op false positives zou geven. De plannen kregen hevige kritiek van onder andere beveiligingsonderzoekers, privacyactivisten en juridische deskundigen, die wezen op de risico's op lange termijn wat privacy en beveiliging betreft. Kort na de bekendmaking van de plannen, had Apple besloten om de introductie van de functie naar een later te bepalen datum uit te stellen.

Communication Safety

Reacties (43)

[RobbieB]

Fijn om te zien dat bedrijven nog luisteren als ze een shitload aan kritiek over zich heen krijgen. Nu afwachten dat ze het niet onder een andere naam stilletjes toch nog lanceren.

[84hannes]

Nu afwachten dat ze het niet onder een andere naam stilletjes toch nog lanceren.

Ik kan me de discussie over deze technologie nog herinneren, maar niet meer het waarom. Is het omdat Apple verplicht is kinderporno op te sporen? Dan denk ik dat inderdaad ze het weer gaan proberen. Of was het om zich als verantwoordelijk bedrijf te profileren? Dan lijkt het me sterk dat ze het stiekem gaan doen, dan heb je wel de kosten maar niet de baten.

[wild_dog]

EDIT: volgens mij heb ik je post verkeerd begrepen, je vroeg niet waarom de discussie er was, maar waarom Apple het zou implementeren. Die weet ik ook niet meer met zekerheid. Van wat ik me kan herinneren was het doel een algemene 'het beschermen van kinderen', niet een wettelijke verplichting.

Voor de gene die (nog) niet weten waarom deze scan methode zeer controversieel was:

AFAIK, ze zouden bezig zijn met een manier van foto identificatie die niet bepaald onfeilbaar is. Er waren meerdere problemen mee:

1. Checken of foto's het zelfde zijn d.m.v. een hash is al veel gebruikt. Maar ze planden een 'perceptual hash' gebruiken, een soort neural netwerk hash van de foto met als doel dat foto's die er het zelfde uit zien (grijs tonen, gespiegeld, gecropt) ook gevonden kunnen worden. Er was al gedemonstreerd dat hiermee erg makkelijk een false positive gemaakt kon worden.

2. Deze detectie zou on device gebeuren, met alle fotos die je hebt, niet alleen wat je naar iCloud synct. ls ik het me goed herinner omdat foto's die op iCloud gezet worden encrypted zijn en dus niet gecheckt kunnen worden. Dat, of het was wel beperkt tot iCloud foto's en niet de rest van de device, maar dan was het tegen argument dat het triviaal is om de scan directory van $/iCloudSync naar /* te weizigen, en een onbekend algoritme dat je hele iPhone kan doorscannen op wat het denkt dat verboden is, is niet bepaald gewenst.

3. Dit was meer mijn eigen punt, maar ongeacht hoe on-device-scanning zou weken (normale hash of perceptive hash), zou het altijd ongewenst zijn met weinig gewin. Preventief al je foto's door scannen is een zware privacy inbreuk dat vele niet gerechtvaardigd vinden enkel om bezit van CP te kunnen pakken. Geen rechter die een doorzoeking van een telefoon op CP gaat goedkeuren zonder enkele verdere aanleiding. Actief misbruik stoppen i.p.v. enkel bezit detecteren zou dergelijke scans misschien rechtvaardigen, maar dat gaat met gewone hash vergelijking dus niet lukken. Bij normale hashes kan je geen nieuwe foto's ontdekken, je kan alleen reeds bekende foto's vinden, dat levert geen nieuwe info op over actief misbruik.

Om nieuwe foto's te vinden moet je dus een classificatie algoritme hebben, die ook zonder twijfel false positives gaat genereren. Nog daar gelaten dat het verschil tussen naakte fotos om bijvoorbeeld naar de kinderarts te sturen en CP erg lastig is. Stel dat je een geweldige clasificatie algoritme hebt met een 100% true positive rate en slechts 1% false positive rate. Als slechts 0.1% van de iPhone gebruikers een pedo is die zo stom is om CP op de iPhone te zetten, wetende dat deze scan techniek er is, betekent dit dat 91% van alle gedetecteerde CP een false positve is. (Voor waarom, zie Veritasum over Bayes Theorem, en vervang ziekte hebben met CP hebben). Ik denk dat ik niet hoef uit te leggen waarom foutieve detectie/beschuldiging van CP ZEER ongewenst is.

[Reactie gewijzigd door wild_dog op 22 juli 2024 20:53]

[Mfpower]

Het ergste ervan vind ik nog wel dat bij zo’n false positive er een medewerker naar de foto gaat kijken. Dan gaan je bad foto’s van de kinderen alsnog naar vreemde ogen ook al worden ze goedgekeurd. Alleen al dat dit een mogelijkheid is vind ik veel te ver gaan.

[Vogel666]

En dan vergeet je nog een punt: een mechanisme dat gecreerd is voor het ene doel kan ook voor een ander doel ingezet worden. Je creert het om CP op te sporen, maar sommige culturen vinden ook homofilie, abortus of anti-overheids-praat erg verwerpelijk.
Je kunt niet in de toekomst kijken en niet voorzien of er straks miscchien een Christen-fundamentalist aan de macht is in de USA.

[Reactie gewijzigd door Vogel666 op 22 juli 2024 20:53]

[panterarosso]

als die er al is dan is dat in publieke, niet in de private opslag van gebruikers waar deze tool zijn werk moest doen. Denk niet dat het bedoeld was om als verantwoordelijk bedrijf over te komen, dan probeer je niet je 1984 reclame om te zetten naar een werkelijkheid waarin je alziend bent

[GekkePrutser]

Het is niet dat ze dat verplicht zijn. De VS overheid is hier enorm omheen aan het werken omdat het een nogal heikele juridische situatie is.

Ik heb begrepen dat het ongeveer zo ligt: Het is volgens de Amerikaanse grondwet verboden om een gerechtelijkbevel te verkrijgen voor alle Amerikanen of in elk geval grote groepen zonder specifieke verdenkingen (sleepnet). Als het duidelijk wordt dat dit het geval is, zullen alle hiermee verkregen bewijzen automatisch ongeldig worden omdat dit bewijs voortkomt uit een ongeldig dwangbevel ("fruit of the poisonous tree")

Dus wat doen ze, ze oefenen naar verluid 'druk' uit om de bedrijven dit uit eigen beweging te laten scannen. Als het niet expliciet verplicht wordt en ze doen het uit eigen beweging en geven de resultaten aan bij de politie, mag het namelijk wel. Maar ze kunnen ook weer niet al te veel druk uitoefenen omdat het dan een de-facto dwangbevel wordt en dan komt het bovenstaande punt weer ter tafel. Want als er enorm veel druk achter zit dan is het eigenlijk niet meer uit eigen beweging immers.

Dus men speelt een beetje een spelletje om de wet heen. Hierdoor kunnen ze het Apple niet regelrecht verplichten, maar het bedrijf zal ongetwijfeld wel op onderhandse manieren tegengewerkt worden als ze niet meedoen.

Ik ben zelf tegen sleepnetten en ik vind het idee van gerichte verdenking helemaal geen slechte. Als er duidelijke indicaties zijn richting een persoon zijn er altijd genoeg manieren om opsporing te doen. Dat is meer werk voor politie en justitie ja, en door bezuiniging staat dat altijd onder spanning. Dus men pakt liever alles van iedereen om door te grasduinen. Een nogal hellend vlak vind ik.

Ik denk dat dit ook de reden was dat het alleen voor Amerikanen zou gaan gebeuren, Apple wacht gewoon de regelgeving van de EU af op dit gebied die hier ook mee bezig is.

[Reactie gewijzigd door GekkePrutser op 22 juli 2024 20:53]

[LurkZ]

KP opsporen is een techniek die Apple ook voor andere dingen kan gebruiken.
We hebben als gezien dat Apple AirDrop automatisch uitschakelt om de Chinese overheid ten dienste te zijn.
De tech om KP op te sporen kan wellicht in China gebruikt worden om verboden politieke meningen te filteren.
Dus echt verdwijnen zal het waarschijnlijk niet.

[Verwijderd]

Ik vraag me af wat de detectie ratio ook was geweest hierop. Iedere pedofiel weet dat ie niet foto's op moet slaan op devices die dat delen met clouds.

[bzzzt]

Je vangt dus vooral de sukkels die hun sporen niet uitwissen, niet de criminele 'masterminds' die het spul maken en verspreiden.

Ik ben eerder bezorgd over de hoeveelheid 'false positives', zeker in dit soort zaken is zelfs verdacht zijn al een enorm heftige gebeurtenis...

[911GT2]

Volgens mij werkt het twee kanten op. Worden devices van kinderen ook gescand en dus als daar ene ongepaste foto op staat kan die wellicht gelinkt worden aan een potentiële dader. Dus die kan zijn sporen wel uitwissen, maar zijn slachtoffer is wellicht minder 'alert'.

[trisje]

Het lijkt in eerste instantie een heel mooie techniek, je scanned alle foto's op de computer of mobiel die geopend worden, zo omzeil je alle encryptie in apps and cloud drives en worden gebruikers ontdekt. Dus na een tijdje laten mensen het wel uit hun hoofd om het te doen.
Als je weet dat jongeren nog al is zulke foto's van hun zelf versturen naar elkaar, zijn vooral jongeren die het slachtoffer van een scan techniek die alle foto's scannen op de inhoud van de afbeelding en niet zozeer alleen de bekende foto hash database, nog afgezien van familie foto in bad op een cloud-drive van een persoon. Nou zou je zeggen, ja het onderzoeksteam ziet dat wel, en dat zal best dat ze dan niet direct op je stoep staan, maar ze kijken wel na die prive foto's en die foto's blijven misschien ook wel in een dossier staan.

[IIIIIIIIIIII]

Hoe kun je ook pretenderen dat je pro privacy bent als je alle telefoons scant op inhoud.

[Carlos0_0]

Omdat geen enkele telefoon werd gescand, alleen de foto's in de cloud.

[Keypunchie]

Iets subtieler:

Microsoft en Google: foto uploaden naar cloud -> unencrypted opgeslagen -> daar worden ze gescand.

Voorstel Apple was: foto uploaden naar cloud -> eerst on-device gescand -> versleuteld opgeslagen op de server met een onversleuteld certificaat van "geen/wel CSAM" met een 'derived' image dat onsleuteld kan worden voor menselijke verificatie

(het derived image moet je voorstellen als een soort lage-resolutie zwart/wit versie van de foto)

In geval van Microsoft/Google is je data onversleuteld opgeslagen en 'as-is' op te vragen door autoriteiten. In het voorstel van Apple kunnen alleen CSAM-positieve "afgeleidde" beelden door Apple aan autoriteiten ter beschikking worden gesteld.

[Reactie gewijzigd door Keypunchie op 22 juli 2024 20:53]

[trisje]

is het verschil ook niet dat google en Microsoft op hash controleren zo alleen bestaande foto's ontdekken. Maar een controle op de afbeelding zelf te bekijken maakt het natuurlijk heel anders. en die geven zeker vals positieve. en alleen maar onderdeel van een onderzoek gaat je niet in de koude kleren zitten, leg dat ook maar is uit aan je buren.

[Crp]

Dan moet je je eerst inlezen in hoe dit systeem werkt. Dan zul je zien dat de privacy nog steeds gewaarborgd word.

[Caayn]

Mooi. Hopelijk volgen o.a. Google en Microsoft snel.

nieuws: Google weigert fout toe te geven tegen vader die foto's nam van infec...
review: Account geblokkeerd. Wat nu?

[Keypunchie]

Je gaat van een koude kermis thuiskomen, ben ik bang.

Wat ze nu afschieten was een systeem gebaseerd op scannen op plaatjes van *bekend* fout materiaal (CSAM). Ja dat is hashing en ja dat valt te foppen met bvb. plaatjes met een bepaald zwart-wit patroon dat de hash triggert.

Echter, pas bij meer dan X hits zou het naar de fase "menselijke review" gaan en pas dan naar "autoriteiten inschakelen".

De kans dat een ander regulier plaatje dit triggert is nihil. Zelfs als het daadwerkelijk een plaatje van CSAM is, maar dat 'origineel' is (als in, nog niet in de centrale database ingevoerd).

Het systeem waar ze nu voor kiezen om te versterken is juist het systeem dat detectie van mogelijk foute plaatjes op basis van heuristieken doet ("veel vleeskleur te zien) en dan vooral het systeem waarbij de telefoon van een kind als 'verklikker' gaat dienen bij plaatje waarvan het systeem detecteert dat er 'mogelijk' sexuele content op zit. Juist de plaatjes waar
onschuldig naakt *ook* vaak triggert.


Bron: https://www.wsj.com/artic...t-icloud-data-11670435635

"Mr. Federighi said Apple’s focus related to protecting children has been on areas like communication and giving parents tools to protect children in iMessage. “Child sexual abuse can be headed off before it occurs,” he said. “That’s where we’re putting our energy going forward.”

Through its parental-controls software, Apple can notify parents who opt in if nude photos are sent or received on a child’s device."

Waarom Apple stopt met de andere aanpak, snap ik, maar de ophef eromheen lijkt vooral door een verkeerd begrip van wat er daadwerkelijk gepland was te zijn, dan op de inhoud.

[Reactie gewijzigd door Keypunchie op 22 juli 2024 20:53]

[Verwijderd]

Keypunchie schreef onder meer:

De kans dat een ander regulier plaatje dit triggert is nihil.

Nee, dat is niet nihil. Er wordt geen gebruik gemaakt van (cryptografische of zwakkere) hashes geoptimaliseerd om de kleinste wijzigingen te detecteren, maar van fundamenteel anders werkende neural hashes.

Twee verschillende foto's die exact dezelfde neural hash opleveren vind je hier.

Ja, dat is gegenereerd. Maar dat betekent sowieso dat je iemand verdacht kunt maken door andere foto's met dezelfde neural hash als van bekende kinderpornofoto's te sturen.

Hierin zie je dat slechts een deel van de bits in de hashes wijzigt als je op beide foto's dezelfde bewerkingen uitvoert (duidelijk is dat ze dus niets met cryptografische hashes te maken hebben).

Het dilemma is dat je foto's die enigszins zijn gemanipuleerd nog wilt herkennen, bij zo weinig mogelijk false positives (foto's die niets met kinderporno te maken hebben).

De kans op false positives bij willekeurig gekozen foto's wordt daarom geschat op 5% - 10%, en dat percentage neemt toe met het aantal als kinderporno aangemerkte afbeeldingen.

[Keypunchie]

Dat van die Neural Hashes legt Apple ook zelf uit.

Bron: https://www.apple.com/chi...Child_Safety_Features.pdf

De kans op false positives bij willekeurig gekozen foto's wordt daarom geschat op 5% - 10%

Ze hadden op 100 miljoen foto’s 3 false positives. Dat is even andere koek.

In hoeverre dat een rooskleurige weergave van de stand van zaken is, is de vraag, maar een hit-rate van 5-10% zou totaal onwerkbaar zijn natuurlijk. Bijn Iedere 5000-10000 foto’s zou Apple dan handmatig moeten gaan reviewen: Bij Apple gaat het om miljarden foto’s!

[Verwijderd]

Door Keypunchie:

Ze hadden op 100 miljoen foto’s 3 false positives. Dat is even andere koek.

Als ik mij goed herinner zou er pas na een aantal "hits" een Apple medewerker naar beelden gaan kijken; dat zegt al iets over de betrouwbaarheid van de herkenning.

En hoe lager de gevoeligheid wordt ingesteld, hoe eenvoudiger het is om een plaatje iets te wijzigen waardoor het niet meer binnen de detectiegrenzen valt.

Bijvoorbeeld deze blog (gaat niet over Apple's algoritme, maar dat zal iets vergelijkbaars doen) laat technieken zien om detectie te voorkomen.

Bovendien leidt een lagere gevoeligheid tot grotere databases (onwenselijk, opslagruimte op -vooral oudere- smartphones is relatief beperkt), want elk gemanipuleerd plaatje afgeleid van dezelfde foto krijgt (na als CSAM te zijn gecategoriseerd) een andere hash.

Sowieso krijg je een vergelijkbare "rat-race" als bij antivirus - waarmee we ook malware nog steeds niet kunnen uitbannen (sterker, het lijkt cybercriminelen steeds beter te lukken om malware onder de radar te houden).

Ik vind het een teken aan de wand dat Apple van dit slechte (ongetwijfeld goedbedoelde) plan afziet, ondanks dat zij straks ook iCloud backups niet meer kunnen scannen.

Echter, met het steeds krachtiger worden van AI vermoed ik dat er nieuwe voorstellen zullen volgen - opnieuw met het risico van scope creep (zoals inzetten voor het opsporen van mensen met door sommigen ongewenst geachte meningen of feitenkennis).

[Keypunchie]

Als ik mij goed herinner zou er pas na een aantal "hits" een Apple medewerker naar beelden gaan kijken; dat zegt al iets over de betrouwbaarheid van de herkenning.

Yup, boven de 50. Dus met 3 false positives op 100 miljoen foto's betekent het dat pas bij meer dan 1,6 milajrd foto's het waarschijnlijk is dat een individu over die gren gaat. Nou nemen sommiger mensen veel foto's, maar dat zou betekenen dat je tien jaar lang +- een half miljoen foto's per dag moet nemen, om dit te triggeren.

En dan komt er 'human review'.

Echter, met het steeds krachtiger worden van AI vermoed ik dat er nieuwe voorstellen zullen volgen - opnieuw met het risico van scope creep (zoals inzetten voor het opsporen van mensen met door sommigen ongewenst geachte meningen of feitenkennis).

Dit is zo frustrerend dat je dit zegt. Het *geschrapte* systeem kan dus alleen tegen een statische database draaien. En daar wordt dit moeilijk. Want je zou dan een bepaalde foto (bvb. Tankman) in de database moeten zetten, maar een foto van een nieuw protest wordt *niet* herkend.

Het systeem dat door andere techbedrijven nu wordt gebruikt en het systeem dat Apple nu *juist wel* kiest, dat is veel geschikter voor dat soort dingen.

Door de publiek reactie lijkt het erop dat het kind met het badwater wordt weggegooid en we juist de systemen krijgen die meer false positives opleveren en makkelijker breder zijn in te zetten.

[Verwijderd]

Want je zou dan een bepaalde foto (bvb. Tankman) in de database moeten zetten, maar een foto van een nieuw protest wordt *niet* herkend.

Zowel met AI als met "neural hashes" kun je foto's en filmpjes van ongewenst nieuws detecteren (zoals beelden uit Oekraïne op Russische smartphones). En als je die technologie toch aan boord hebt, wordt het scannen op gepubliceerde woorden in tekst of zelfs spraak ook een stuk eenvoudiger.

Maar ook zelf geschoten beelden van samenscholingen van mensen (wellicht eenvoudiger als zij blanco A4-tjes in de lucht houden) zijn, met hooguit minimale aanpassingen, detecteerbaar met beide technieken (of hybrids). Vooral als overheden zich niet druk maken om een relatief groot aantal vals positieven.

Nogmaals, neural hashes zijn niet binair zoals een cryptografische hash, maar vergelijkbaar met een vingerafdrukscanner die ook moet werken bij draaiïng, vuil, vocht of lichte beschadigingen. Er is dan altijd een soort "balansknop" waarmee je kunt variëren tussen meer false positives versus meer false negatives. En ook na uitrol kun je daaraan draaien.

Vergelijkbaar, gezichtsherkenning werkte aanvankelijk niet goed met mondkapjes. Dat bleek gewoon "fixable".

Scanners van "ongewenste informatie" zijn messen met twee snijkanten; wellicht (nu) niet in Nederland, maar elders is de onbedoelde (door aanhangers van serieuze democratiën) kant al gauw het scherpst.

Vind jij het echt een goed idee om op elke smartphone een potentieel universele scanner te installeren? Zo ja, wie bepaalt dan wat ongewenste informatie is?

[Reactie gewijzigd door Verwijderd op 22 juli 2024 20:53]

[Keypunchie]

Vind jij het echt een goed idee om op elke smartphone een potentieel universele scanner te installeren? Zo ja, wie bepaalt dan wat ongewenste informatie is?

Alsof dit initiatief afschieten een potentiele scanner tegenhoud? In tegenstelling: er wordt nu al on-device gescand, maar dan op afbeeldingen in de message app (mits de vink "tiener" aanstaat)

Sterker nog: sowieso worden al je foto's al gescand. Dan krijg je zo'n mooi overzichtje van "Kerst 2021" voorgeschoteld met een weeeig muziekje erbij.

Dus in dit geval is het antwoord: Ja, ik vond het on-device scannen op CSAM een prima idee en de database van NCMEC een goede bron.

Met die oplossing is/was de privacy vele malen beter gewaarborgd dan de huidige aanpakken van Google/Microsoft, waarbij alle (niet versleutelde) upgeloade foto's worden gescand en mensen zonder enige 'recourse' de account wordt afgepakt.

[Reactie gewijzigd door Keypunchie op 22 juli 2024 20:53]

[Verwijderd]

We gaan het kennelijk niet eens worden, maar ik ben ervan overtuigd dat zodra generieke scantechnologie in besturingssystemen van (mobiele) devices is opgenomen, fabrikanten zullen worden gedwongen om die scanners voor ondemocratische doeleinden in te zetten.

En dat terwijl niemand heeft aangetoond dat kindermisbruik zal afnemen door dit soort maatregelen, die eenvoudig omzeild kunnen worden en nog veel meer nadelen hebben.

[Keypunchie]

Maar dat is het hem: Die generieke scantechnologie zit er al in.

En ook waar hij er niet in zit. Die technologie bestaat, dus die verplichtingen kunnen al worden gesteld. (China verplicht al een hele hoop, bvb.).

[Verwijderd]

Maar dat is het hem: Die generieke scantechnologie zit er al in.

Betrouwbare bronnen?

[Keypunchie]

Betrouwbare bron? Pak je iPhone, open de photos-app, druk op de zoeknop en tik maar iets in als "dog" (ik heb hem op engelstalig staan).

Het enige dat een overheid hoeft te verplichten is dat dit centraal genotificeerd wordt (maar dan met zoiets als "protest", of tekstherkenning). Er is geen enkele technologische beperking.

[Verwijderd]

Dat is niet op het niveau van iOS, maar van de photo's app. Foto's in Threema (die ik wel heb gezien en waar iOS dus een bitmap van gemaakt heeft) worden niet gevonden.

Bovendien vraag ik mij af of de beeldherkenning van foto's in de photo-app op mijn iPhone gebeurt of pas in de iCloud (onder de library staat nog "bijwerken" en naast het WiFi symbool draait een soort tandwieltje): ik heb om 16:51 een foto van een lamp gemaakt, maar als ik nu naar lamp zoek wordt die foto niet gevonden (wel twee veel oudere foto's waar toevallig een schemerlamp op staat).

Naast dat je dus sowieso ongedetecteerd een tijdje naar verse "foute" plaatjes kunt kijken, vind ik de resultaten ook nogal onnauwkeurig; lang niet alles wat gevonden zou kunnen worden in "photo's", wordt door die app gevonden.

[Keypunchie]

Ja, hallo, doelpalen verschuiven! De CSAM scanner was ook alleen maar op het niveau van de photos app, en dan specifiek: alleen als je naar iCloud ging uploaden!

(voor zover ik weet gebeurt het genereren van de ‘memories’ lokaal.Edit: ja, want memories worden ook zonder iCloud gegenereerd)

[Reactie gewijzigd door Keypunchie op 22 juli 2024 20:53]

[Verwijderd]

Ja, hallo, doelpalen verschuiven! De CSAM scanner was ook alleen maar op het niveau van de photos app, en dan specifiek: alleen als je naar iCloud ging uploaden!

Bij mijn weten zou het gaan om functionaliteit in iOS.

Apple kan wel claimen dat het scannen beperkt zou worden tot foto's in de photo app - met als extra voorwaarde "alleen beelden die naar iCloud gaan" (wat eenvoudig uitgezet kan worden, en wat elke niet compleet hersenloze CSAM-kijker natuurlijk doet), maar als je serieus CSAM op smartphones en tablets wilt opsporen is het volslagen idioot om niet alle beelden te scannen die op zo'n device worden getoond - inclusief die via chat- of andere apps worden uitgewisseld.

Ook al zijn die beelden meestal versleuteld: op het moment dat iemand daarnaar wil kijken, gaat er onversleuteld beeldmateriaal naar het schermgeheugen. Dat is een effectief moment om te scannen, want dat format is exact bekend.

Het beperken tot foto's die worden geüpload naar iCloud is helemaal vreemd: die blijken tot nu toe standaard helemaal niet versleuteld te zijn (schijfencryptie daargelaten).

In de documentatie van medio 2021 staat dat nl. dit wel het geval zou zijn: rechtsonder in het plaatje alhier staat "If threshold exceeded, decrypt".

Apple kon en kan die beelden dus probleemloos server-side scannen - iets dat waarschijnlijk sowieso gebeurde en nog steeds gebeurt.

Het plan voor een client-side CSAM-scanner lijkt dus vooral een voorbereiding op de nu aangekondigde versleuteling van foto's en/of back-ups vóór uploaden naar iCloud, om qua detectie niet helemaal te maken te krijgen met "going dark". Wat nu wel lijkt te gaan gebeuren.

M.b.t. doelpalen verschuiven: mijn zorg (en niet alleen van mij) is dat Apple gedwongen zal worden (mede door haar aandeelhouders, de Chinese maar bijv. ook de Indiase en Indonesische markten zijn groot) om client-side scanning alsnog uit te rollen.

Sinds de EC client-side scanning wil, neemt de druk op (o.a.) Apple alleen maar verder toe. En na hun "overwinning" van bijna 3 jaar geleden gaat de FBI niet blij zijn met de nu aangekondigde iCloud backup-versleuteling.

M.a.w., waarschijnlijk zal de nu door Apple aangekondigde iCloud encryptie de roep om client-side scanning nieuw leven inblazen. En die roep zal zich niet beperken tot CSAM plaatjes in de photo-app.

Elke deur die Apple vanaf nu op een kier zet, zal met veel geweld worden opengeramd. En ze hebben al geroepen dat client-side scanning niet onmogelijk is - helemaal dicht zit die deur al niet meer.

[Keypunchie]

Bij mijn weten zou het gaan om functionaliteit in iOS

Kijk dit is nou zo frustrerend, je argumenteert over iets wat het meent dat het zou zijn, in plaats van wat het was. Lees gewoon de primaire bronnen goed.

[quote] Apple kan wel claimen dat het scannen beperkt zou worden tot foto's in de photo app - met als extra voorwaarde "alleen beelden die naar iCloud gaan" (wat eenvoudig uitgezet kan worden, en wat elke niet compleet hersenloze CSAM-kijker natuurlijk doet), maar als je serieus CSAM op smartphones en tablets wilt opsporen is het volslagen idioot om niet alle beelden te scannen die op zo'n device worden getoond - inclusief die via chat- of andere apps worden uitgewisseld.
[quote]
Correct, dit was het plan. Het punt was ook niet om CSAM op een telefoon tegen te gaan, maar om CSAM in iCloud tegen te gaan. Lees de primaire bronnen maar.

Het beperken tot foto's die worden geüpload naar iCloud is helemaal vreemd: die blijken tot nu toe standaard helemaal niet versleuteld te zijn (schijfencryptie daargelaten).

Waar denk je dat het voorbereiding voor was… nu pakken ze het anders aan.

M.b.t. doelpalen verschuiven: mijn zorg (en niet alleen van mij) is dat Apple gedwongen zal worden (mede door haar aandeelhouders, de Chinese maar bijv. ook de Indiase en Indonesische markten zijn groot) om client-side scanning alsnog uit te rollen.

Stel je voor dat morgen een van die landen de verplichting aan Apple stelt, waarom zou het anders zijn dan na introductie van een CSAM scanner?

De technologie bestaat. Net zoals de EU Apple kan verplichten om USB-C te gebruiken, kan zo’n land Apple verplichten om ergens op te scannen.

[Reactie gewijzigd door Keypunchie op 22 juli 2024 20:53]

[tw_gotcha]

"Via deze functie worden kinderen gewaarschuwd zodra ze op het punt staan om naaktfoto’s te versturen of te ontvangen via de Berichten-app."

maar dit is wel een erg goede ontwikkeling. Er is zoveel chantage door tieners te verleiden naakt foto's te sturen en dan vervolgens met dreigementen verder gaan of geld afpersen. Ik weet niet of zo'n waarschuwing werkt, maar even erop wijzen waar je mee bezig bent lijkt me prima

[Alxndr]

Apple lijkt een andere weg in te slaan:"

Apple gaat gegevens van gebruikers veiliger opslaan op iCloud. Op de opslagdienst worden data binnenkort weggeschreven met end-to-endversleuteling..."

[WhatsappHack]

Grappig. Had met die discussie over deze scanner destijds al voorspeld dat het een voorbode kon zijn voor uitgebreide E2EE-plannen maar toch opsporing mogelijk te houden zodat er een laag risico is op encryptieverbod. Het ontwerp van Apple was op dat vlak erg goed doordacht en dusdanig ingericht dat er niets aan de iCloud kant meer hoefde te gebeuren maar er tóch kinderporno gedetecteerd kon worden met een extreem lage kans op een privacy inbreuk bij een false-positive. Leuk dat E2EE inderdaad komt voor veel relevante categorieën, goed voorspeld.

Al is de keerzijde: Apple’s voorstel om lokaal op je toestel te scannen, enkel te zoeken naar bekende CSAM en dit dubbel controleren door 2 hashes te vergelijken en dan pas bij meerdere hits acties ondernemen door dmv een derde check een anonieme low-res greep uit de selectie te sturen naar een menselijke moderator en dán pas, ALS het echt CSAM blijkt te zijn, de autoriteiten inlichten. Dat was helemaal zo’n gek voorstel nog niet, zeker niet vergeleken met andere diensten die gewoon je hele cloud library doorspitten; al dan niet met AI die bepaalt of het kinderporno is waardoor zelfs mensen met foto’s van hun pasgeboren baby in bad opeens gebanned worden en hun account kwijtraken. (Microsoft, Google, etc. Zie ook review: Account geblokkeerd. Wat nu?) Door dit voorstel toe te passen hadden overheden dan bij een E2EE-iCloud geen munitie om te roepen “but think of the children! And terrorists! And terrorist children!”. Nu hebben ze dat wel en kan dit misschien als excuus gebruikt gaan worden om encryptie te verbieden, iets dat de EU al heel lang heel graag wil en al allerlei wetgeving heeft voorgesteld die dit de facto gaat bereiken op sommige plekken (messengers) - en er nu misschien, met dit als excuus, nog wat verder wil gaan uitbreiden. Ik hou m’n hart vast.

[Reactie gewijzigd door WhatsappHack op 22 juli 2024 20:53]

[PhilipsFan]

Ik heb alleen nooit begrepen waarom de autoriteiten moeten worden ingelicht. Apple's probleem is dat sommige mensen CSAM opslaan op hun iCloud ruimte. Dat willen ze niet omdat ze geen CSAM willen faciliteren. Tot zover niks aan de hand en volkomen begrijpelijk.

Maar dan kunnen ze toch lokaal op CSAM scannen, zoals ze van plan waren, voordat dit materiaal wordt geupload naar iCloud? En als het volgens het algoritme van Apple inderdaad CSAM blijkt te zijn, kunnen ze toch gewoon de gebruiker waarschuwen? "Deze foto wordt niet geupload naar je iCloud omdat het mogelijk gaat om kindermisbruik." Iedereen blij: de gebruiker is blij omdat hij niet zomaar (al dan niet onterecht) de politie op de stoep heeft staan, Apple blij omdat er geen CSAM op hun servers wordt bewaard. Klaar.

[Reactie gewijzigd door PhilipsFan op 22 juli 2024 20:53]

[WhatsappHack]

Het is niet alleen dat ze het niet willen faciliteren, maar dat ze zelf ook problemen kunnen krijgen. Het moment om de autoriteiten in te schakelen voor verder onderzoek was, even bezien in die destijds vermoedde context van een E2EE-iCloud lancering, waarschijnlijk mede (of hoofdzakelijk?) om te zorgen dat mensen er niet zomaar ongestraft mee weg kunnen komen wat als resultaat zou kunnen hebben dat politici dan "think of the children! Ban encryption!" bullshit zouden gaan verkondigen om een verbod op E2EE erdoorheen te jassen zoals nu hot topic is in de EU en een discussie die soms weer boven komt drijven in de USA. Het is immers ook geen geheim dat de FBI wat dreigementen had geuit richting Apple over iCloud encryptie, mede daarom was die CSAM-scanner zo volstrekt logisch om te zien als potentiële voorbode voor encryptie; anders konden ze dat immers gewoon in de cloud doen zoals elke andere cloudboer; ipv op het toestel.

Als je puur en alleen de upload naar iCloud tegenhoudt met een waarschuwing aan de user dat ze betrapt zijn, dan los je geen enkel probleem op en is er geen bijdrage aan het voorkomen van verspreiding van dat materiaal noch het opsporen en het oppakken van smeerlappen die strafbare feiten begaan. Dat doet dan niets om politici gerust te stellen (en er gebeurt nu dus ook niets om politici gerust te stellen helaas, dus ik voorzie alweer dat een paar dit gaan aangrijpen in een hernieuwde poging om alle encryptie te backdooren/verbieden). Om privacy schendingen en false-positives die tot onheuse bejegening zouden kunnen leiden zeer adequaat te voorkomen zat dat uitgebreide systeem ingebouwd dat pas als na drie (3!) controles (waarvan de laatste door een mens is - en oh ja: je moest ook nog eens meerdere hits hebben) wordt bevestigd dat het om kinderporno gaat, dat dán pas de autoriteiten worden ingelicht. Als je enkel de gebruiker inlicht dat ze kennelijk een volledige database aan kinderporno op hun telefoon hebben staan, dan vertel je die waarschijnlijk louter iets dat ze al weten en kunnen ze mooi testen hoe ze het filter kunnen omzeilen.

Ik vond persoonlijk de Apple oplossing best elegant eigenlijk. Geen AI gelazer, een extreem hoge lat om false-positives te krijgen, om die lat nóg hoger te leggen ook vereisen dat er meerdere hits moeten zijn en pas als *dát* allemaal het geval is een anonieme low-res kopie naar een mens sturen die dan nog een beoordeling uitvoert ter bevestiging (of juist aanwijzen als false-positive) voordat er ook maar enige sprake is van de autoriteiten inlichten. Veel veiliger dan dat kan je het niet krijgen en in mijn ogen, terwijl ik erg gesteld ben op mijn privacy, was het een zeer acceptabele trade-off tussen beveiliging, encryptie voor de normale burger, sterke privacybescherming én het niet 100% vrij spel geven aan criminelen. Maarja, daar ben ik geloof ik in de minderheid. (Dat argument "maar dan scant je telefoon al je foto's!" vond ik ook niet zo boeiend. Dat doet het toestel immers sowieso (lokaal!) zodat je kan zoeken naar bepaalde onderwerpen en zelfs naar tekst in foto's. En als 't je echt dwars zat kon je de upload naar iCloud gewoon uitschakelen dan.)

Het probleem komt er dan ook eigenlijk op neer dat "geen politie op de stoep heeft staan" waarschijnlijk in 99.9% van de gevallen dat dit systeem van Apple ooit iemand als KP-verzamelaar zou aanwijzen jammer zou zijn geweest, omdat het zeer hoogtwaarschijnlijk gewoon zou kloppen. De kans dat je meerdere afbeeldingen hebt die door beide hashfuncties foutief herkend worden als known CSAM-materiaal en dan ook nog dat de persoon die het nakijkt foutief bevestigd dat het KP is is astronomisch klein. En als het dan wél zou gebeuren en je bent net die ene waar die astronomische kans tot uiting komt: dan als de politie op de stoep staat met een bevel om je smartphone te doorzoeken heb je niets te vrezen en wordt je gewoon meteen "vrijgesproken".

[Reactie gewijzigd door WhatsappHack op 22 juli 2024 20:53]

[PhilipsFan]

Maar het gaat ook niet om mensen met een grote verzameling CSAM. Die mensen weten heus wel dat ze fout zitten en zullen zeker niet het risico lopen om via een cloudsysteem tegen de lamp te willen lopen. Het gaat om mensen die per ongeluk, of in ieder geval niet de intentie hadden om dit soort materiaal op hun device op te slaan. Denk aan een 'lollige' vriend die zo'n foto in een whatsapp-groep zet, die automatisch wordt gesynchroniseerd met iCloud. Dan is er geen enkele reden om de autoriteiten in te lichten, je kunt gewoon simpel de gebruiker vertellen dat hij een afbeelding heeft die niet helemaal jofel is en dat hij die moet verwijderen. Of in ieder geval niet naar de cloud kan uploaden zodat verdere verspreiding wordt voorkomen.

Een andere reden kan toch wel een false positive zijn. Ik ben het met je eens dat de kans daarop astronomisch klein is. Maar aangezien alle Apple-gebruikers een meer dan astronomische hoeveelheid foto's hebben en zo'n hash-algoritme gewoon niet 100% waterdicht is (om nog maar te zwijgen van menselijke beoordelaars, die zullen in de USA echt met een preutsere bril kijken), zullen er toch false positives optreden. In dat geval is het ook handig om gewoon de gebruiker te waarschuwen. Ook in dat geval heeft de gebruiker immers niet de verkeerde intentie.

Ik kan gewoon niet begrijpen waarom Apple de autoriteiten wilde inlichten zonder eerst de gebruiker te waarschuwen. Apple is niet de politie en heeft niet de taak om te controleren wat voor fotomateriaal gebruikers op hun devices opslaan. Wel in de cloud, want daar zijn ze zelf mede-verantwoordelijk voor. On-device scannen begrijp ik, als het doel is om te voorkomen dat CSAM naar je cloud wordt gestuurd. Maar niet als het doel is om de gebruiker te betrappen. Daarvoor hebben we de politie en veiligheidsdiensten.

[GekkePrutser]

Het probleem is niet de kans op valse positieven, hoewel die natuurlijk best serieuze aantallen mensen zal treffen omdat er zoveel iPhone klanten zijn.

Het is dat je iPhone over je schouder meekijkt in opdracht van iemand anders. En ook nog eens zonder enige aanleiding of verdenking. Ik zou dat geen prettig gevoel vinden en zeker voor iets anders kiezen.

Ik zou het ook al een probleem vinden dat de iPhone nu al gezichten en teksten e.d. analyseert voor categorisatie van je foto's. Dat schijnt niet eens uit te zetten zijn.

Gelukkig heb ik geen iPhone maar het zet wel een raar precedent: je telefoon werkt niet alleen meer voor jou maar doet ook allerlei dingen in opdracht van anderen om je in de gaten te houden. Ik vind dat absoluut onacceptabel.

[Seal64]

Dat doet Google ook, zij het dan misschien iets minder rigoureus. Ik kan echter wel foto's zoeken door een tekst in te voeren die op die foto staat (bijvoorbeeld een geboortekaartje vinden door te zoeken naar de naam van de baby). De enige manier waarop ze dat kunnen is door die foto minimaal door een tekstherkenningsprogramma te trekken - en dan rijst dus ook weer de vraag waar ze nog meer naar kijken maar nu misschien nog niet toepassen?

[jpfx]

Voor het opsporen bestaan opsporingsambtenaren. In extremum is dat Apple filter vergelijkbaar met een huisbaas die bij jou langs komt om te kijken of je geen cp in huis hebt. Of in geval van een koophuis je hypotheekadviseur.

[Iblies]

Wat klinkklare onzin is.

De Apple is een VS bedrijf en daardoor per definitie onderwerpig aan de cloud-act.
Als de VS het nodig acht moeten ze gegevens overdragen.


Het eindeloze geneuzel van marketingberichten overnemen door onder ander media als NOS moet een keer ophouden.

De iCloud van chinese gebruikers is gevestigd in china simpelweg omdat ze daar aan niet willen meewerken.

https://support.apple.com/en-us/HT208351

will be subject to the terms and conditions of iCloud operated by GCBD.

https://www.apple.com/leg...icloud/en/gcbd-terms.html

Enigste manier om het wat “veiliger” maken is het om in eigen handen gaan houden op eigen territorium. Niet afhankelijk van derden die eigen wetgeving hebben.