Apple annuleerde tool kindermisbruikdetectie vanwege 'feature creep'

Apple heeft de tool die het ontwikkelde om beelden van kindermisbruik op te sporen in iCloud geannuleerd, omdat het bang was voor 'feature creep'. Apple vreesde dat bepaalde landen zouden eisen dat het ingezet zou worden om censuur te plegen.

Apple geeft nu een veel uitgebreidere argumentatie. Zo was Apple bang dat criminelen misbruik zouden kunnen gaan maken van het systeem. "Het zou ook kunnen leiden tot een hellend vlak van onbedoelde gevolgen. Het scannen op één type inhoud zet bijvoorbeeld de deur open voor bulkbewaking en zou de wens kunnen wekken om andere versleuteldeberichtensystemen te doorzoeken op inhoudstypen, zoals afbeeldingen, video's, tekst of audio en inhoudscategorieën. Hoe kunnen gebruikers er zeker van zijn dat een hulpmiddel voor een bepaald type surveillance niet opnieuw is geconfigureerd om andere inhoud te surveilleren, zoals politieke activiteiten of religieuze vervolging?"

Dat zou negatieve gevolgen hebben voor de vrijheid van meningsuiting en de democratie, zo redeneert Apple. "Bovendien zou het ontwerpen van deze technologie voor één regering toepassingen voor andere landen kunnen vereisen voor nieuwe gegevenstypes. Scansystemen zijn ook niet onfeilbaar en er is gedocumenteerd bewijs van andere platforms dat onschuldige partijen zijn meegesleurd in dystopische sleepnetten die van hen slachtoffers hebben gemaakt terwijl ze niets hebben gedaan."

Apple heeft de beslissing om te stoppen met de ontwikkeling van de tool uitgelegd in een brief aan Heat Initiatieve die Wired online heeft gezet. De iPhone-maker kondigde de tool om lokaal op iPhones te scannen naar bekende beelden van kindermisbruik in 2021 aan, maar annuleerde die eind vorig jaar. Destijds was de uitleg relatief beperkt.

Communication Safety

Reacties (141)

[Bender]

Dit soort software maakt vaker fouten;
nieuws: Google weigert fout toe te geven tegen vader die foto's nam van infec...

Je neemt foto's van je eigen kinderen, dat is allemaal niet zo vreemd, maar veel mensen hebben foto's in de cloud staan als enige locatie.
Met als gevolg je bent alle foto's kwijt van je opgroeiende kinderen.. alles.

Google Drive en Apple iCloud is online storage, maar absoluut geen backup en je hebt er geen enkele rechten op.

[Cid Highwind]

Laat het een wijze les zijn voor iedereen: Leg de verantwoordelijkheid voor de opslag van private zaken niet bij een ander. Diensten zijn eindig en aan wetgeving en andere veranderende factoren onderhevig.

Juist in het digitale tijdperk is het nog nooit zo makkelijk geweest je waardevolle zaken in originele kwaliteit te dupliceren en redundant te bewaren.

Opvallend aan het gelinkte verhaal is overigens dat er zo velen zijn waarbij de gevolgen niet ongedaan gemaakt kunnen worden. Wanneer het om je privacy gaat weet men data nog tot jaren na deactivatie te bewaren, maar in zo'n geval is het direct én onherroepelijk gewist? Dat gaat er bij mij zowel vanuit technisch als legaal oogpunt niet in.

[bzuidgeest]

Jou stellingname is voor veruit de meeste mensen niet realistisch.

Ze gaan geen dure nas kopen of zo die ze zelf moeten onderhouden, kapot kan. Waar ze zelf scriptjes voor sync moeten maken etc.... Die online diensten zijn eenvoudig, makkelijk in gebruik, kant en klaar.

Ja het is eng hoe afhankelijk we soms van online diensten zijn. Maar een fotoboek kan verbranden een dienst kan verdwijnen. Accepteer dat alles vergankelijk is. Er is maar heel weinig digitaal of anders waar je echt niet zonder kan. Dus een balans tussen gemak en paranoia is gewoon nodig. Wil je mensen beschermen tegen misbruik van die diensten dan is wetgeving de manier.

[player-x]

Jou stellingname is voor veruit de meeste mensen niet realistisch.

Ze gaan geen dure nas kopen of zo die ze zelf moeten onderhouden

Dat valt ook wel weer mee, heb al een paar jaar geleden voor mijn moeder (neemt veel foto's) een simpele backup plan gemaakt, die maakt maandelijks (terugkeerende allert in agenda) even een backup naar een losse exsterne SSD rechtstreeks via USB-C, en bergt die SSD op in een brandkluis.

Dat is natuurlijk wel ''wat'' werk, maar zeker niet zoveel dat het zo een ondoenbaar klus wordt, 1~2min SSD pakken en aansluiten, paar min onbeheerd data verplaatsen, en dan halfuur later of waneer dan ook als ze ziet dat hij klaar is, dan even de SSD weer in de kluis leggen.

En als mijn moeder het kan, dan kan nagenoeg iedereen het.

[tweakorinho]

Klinkt als een je-moeder-grap, maar als jij het je moeder kan leren of dat je moeder het zelf kan leren betekent nog niet dat iedereen het diens moeder kan leren die de vaardigheid niet heeft.

Praktisch gezien in het een fluitje van een cent. Maar om te snappen wat je doet is het een best stapeltje concepten wat voor veel mensen net een brug te ver is om in een middagje over zich heen te krijgen. Mensen zijn soms best onzeker over technische dingen. En dan is de gedragsverandering nog steeds een dingetje.

Men is niet meer zoveel gewend omdat standaard de cloud aan staat en pas wanneer er problemen zijn alles even gedaan moet worden (die techniek ook!).

Van mij mogen ze beheer en beveiliging van gegevens standaard op school geven, of wat mij betreft in de buurthuizen.

[Reactie gewijzigd door tweakorinho op 22 juli 2024 20:53]

[player-x]

Vind het nog steeds meevallen, heb mijn moeder alleen de app link gegeven, en de rest heeft ze zelf gedaan, na het videootje kijken.
Help haar nooit, totdat ze er zelf echt niet meer uitkomt, anders leert ze het nooit zelf.

Maar ben het met je eens, de overheid zou best een website kunnen maken met digitale Tips & Tricks, en een groepje mensen opleiden om inloop dagen/avonden te houden in buurthuizen.

Zijn bv nu best wel een grote groep ITers of computer hobbyisten die al met pensioen zijn, die dat best als hobby willen doen.

[kdekker]

Op school, daar zitten leerkrachten niet op te wachten. Iig niet basisonderwijs. Daar komen nu al kleuters binnen die nog niet zindelijk zijn, kleuren niet herkennen, jas niet dicht kunnen doen en dat gaat door met allerlei taken die de overheid op het bordje van de school legt (burgerschapsvorming, sexuele vorming, sparen en budgetteren, etc). Vadertje staat of indirecte instituten van de staat is niet altijd het goede antwoord. De burger mag ook zelf best ergens voor verantwoordelijk gehouden worden. Tenslotte is die telefoon en bijbehorend account niet uit de lucht komen vallen.

Ps bij huisbrand was je fotoboek ook definitief weg, als je die niet had kunnen redden. So be it. Heel vervelend, maar geen reden om daarvoor een 'opvoeding' te regelen.

Ik ben eigenlijk wel benieuwd waarom je dit probleem (men snapt niet wat de cloud is) zou willen laten uitleggen door iemand buiten gezin of sociale omgeving?

[RogerWilco2]

Ik heb gewoon TimeMachine geconfigureerd op de computer van mijn moeder.
Ze wisselt 1x in de maand de backup disks om en moeilijker is het niet.
Geeft haar ook de zekerheid dat als ze "iets fout doet" ik het terug kan zetten zoals het was.
Is al een paar keer erg handig geweest.

Ik ben lang niet in alles een fan van Apple, maar TimeMachine is wel echt een goede oplossing. Ik heb voor Linux (Ubuntu) en Windows nog niks gevonden dat even handig is.

[bzuidgeest]

En daar heb je het al, JIJ hebt het geconfigureerd. Niet je moeder. Heb je enig idee hoeveel moeders (en vaders) er rondlopen zonder een "JIJ"? Die dus geen idee hebben.

Dit is typisch gedrag binnen elke beroepsgroep. Denken dat het eigen perspectief van toepassing is op iedereen.

[Aldy]

En als mijn moeder het kan, dan kan nagenoeg iedereen het.

Laat je moeder dit maar niet lezen.

[dnzm]

Eens in de zoveel tijd op een externe drive of ander stuk USB-storage drukken is heel wat minder duur en voor genoeg mensen haalbaar.

Dat gezegd hebbende, zo'n NAS biedt ook wat voordelen en handigheidjes die een externe drive *niet* biedt, dus nee, het zal niet voor iedereen zinvol en weggelegd zijn, maar de stelling dat je afhankelijk bent van derde partijen en cloud-backups, vind ik ook wat te kort door de bocht.

[bzuidgeest]

Je mist het punt. Elk gebruik is een afhankelijkheid en veel mensen gebruiken de cloud. Simpelweg omdat het gebruiksvriendelijk een eenvoudig is.

Cloud of NAS allebei hebben voordelen. Dat is ook niet wat ik aanduid. Wat relevant is, is dat de meeste mensen niet de kennis (en of de wil/vaardigheid) hebben om dat soort opties te configureren. De oneclick works oplossingen in de cloud zijn veel makkelijker voor hen en dus zijn ze door hun gebrek aan kennis e.d. daar afhankelijk van. Niet omdat het niet anders kan. En nee de meeste mensen hebben niet een techneut bij de hand om het voor te doen.

[Cid Highwind]

Je denkt te complex. Er is helemaal geen NAS nodig namelijk, het kan ook gewoon met een simpele USB harde schijf waar je eens in het jaar even je foto's op dumpt. Kost geen drol en is zowel makkelijker als sneller dan de belangrijkste foto's in een fotoboek te laten printen.

Ik denk dat er jaarlijks meer accounts verloren gaan dan dat er huizen afbranden. Je toegang kan ook op een andere manier worden ontzegd of gecomprimitteerd worden, kijk alleen al naar zaken als the fappening.

Feit is helaas dat te veel mensen met alles maar aannemen dat het geregeld is, maar zodra het dan toch misgaat, er op geen enkele manier een alternatief is. En dan blijkt dat iets wat toch eigenlijk heel dierbaar was, compleet verwaarloosd werd.

[bzuidgeest]

Heb je enig idee hoeveel mensen er rondlopen waar simpel kopiëren naar en USB stick al bijzonder en moeilijk is? Die geen idee hebben van schijven en folders? En die groep word nog steeds aangevuld met mensen vers van school. Zo er is ons (gebrek aan) ICT onderwijs.

Ik snap natuurlijk dat je wat met een usb stick kan doen, wat jij niet lijkt te zien is hoe slecht veel mensen computers begrijpen. Zelfs hier op tweakers zie ik steeds meer comments waarvan ik denk "Schandalig", niet vanwege de inhoud, maar het vragen of missen van super basale ICT kennis.

[Stoelpoot]

Een NAS etc opzetten is ook helemaal niet nodig. Een oplossing is bijvoorbeeld al om ipv Google Foto's de camera upload van een andere storage provider te gebruiken, zoals OneDrive, die de foto's wel gewoon synchroniseert naar een PC. Je hebt misschien een dag vertraging qua replicatie, en als je tegelijkertijd verbannen wordt en je PC stopt er mee ben je ook alles kwijt, maar dat is al een heel stuk veiliger dan de cloud-only oplossing van Google Foto's.

[bzuidgeest]

google kan ook prima synchroniseren net als onedrive.

[Stoelpoot]

Google Drive wel ja. Maar Google Foto's synchroniseert niet naar Google Drive, dat is een eigen dienst. Andersom werkt wel, je kan Foto's uit Google Drive lekker dubbel uploaden: https://photos.google.com/apps

[bzuidgeest]

Dus dit is incorrect?
https://www.androidpolice...nc-google-photos-backups/

[Stoelpoot]

Dat gaat zo te zien om het synchroniseren van telefoon naar cloud, niet van cloud terug naar een eigen device.

[GeKo]

Ik maak gewoon gebruik van Synology 'Photo Mobile' app. Werkt perfect.
Eenmaal instellen en daarna niet echt veel omkijken naar. Alleen af en toe kijken of de app nog draait en zijn werk doet.
Geen verplichte binding met Google, Microsoft, Apple, etc..

[blorf]

Werkt het nog als je internet uit zet?

[GeKo]

Nee, zodra je dan weer verbinding maakt met internet worden alle foto's gesynchroniseerd.

[bzuidgeest]

Dat is leuk, maar de reactie en discusie waar je inzit gaat over of mensen een LOKALE backup onafhankelijk van de cloud zouden kunnen configureren....

[Sandwalker]

Lesgeld is betaald door velen maar de positie als consument bij dit soort dienstverleners Zoila’s recht op een download van al je gegevens bij een contentblokkade, third party escrow e.d. zou best wettelijk geregeld kunnen worden. Het is vooral het onvermogen om je te kunnen verweren bij een onterechte beschuldiging.

[PrimusIP]

Ik denk dat de meeste foto’s verloren zijn geraakt door eigen fouten en door het kapot gaan vanher opslagmedium.

Idealiter is verschillende backups, waarvan er eentje offsite is (want stel, huis in brand of zoiets). Kan er eentje prima cloud zijn (al dan niet private).

Maar realistisch gezien gaat het gros van de mensen dag allemaal niet doen. En dan is een cloud dienst denk ik nog voor de meesten praktisch gezien de beste oplossing. Zou ik wel gaan voor eentje die veilig genoeg is en aan privacy wetgeving moet voldoen. Daar is oa. iCloud op dit moment ook nog wel voldoende voor.

[Hatseflats]

Dat niet alleen. Voor 2013 zeiden ze ook allemaal in koor dat deze praktijken uit den boze waren en je hen maar op hun blauwe ogen moest geloven dat ze het beste met je voor hadden. Tot ene Edward Snowden toch met wat andere bewijzen aan kwam dragen in 2013.

Dus het zou mij niks verbazen als ze dit nu juist hebben afgerond en het reeds live is.

Bovendien, het zijn Amerikaanse bedrijven, die vallen onder de Patriot- / DMCA- / Cloud- / verzin het maar wet en dan weet je het wel. Dan kunnen ze zelfs via een silent court order onder het mom van de heilige 3 eenheid Terrorisme, Criminaliteit en Pedofilie alles gedaan krijgen. Lekkere bananenrepubliek.

[honey]

Het veilig opslaan van gegevens is een super complexe taak. Je lijkt het te onderschatten hoe ingewikkeld het kan zijn.

Ten eerste zijn er de uitdagingen met gegevensdragers die kunnen falen. Je moet dus data minimaal dubbel op slaan, en bij voorkeur volgens het 3-2-1 schema: drie kopieën van je gegevens, waarvan er twee backups op verschillende media zijn opgeslagen en één offsite.

Vervolgens moet je nadenken over de juiste back-upmethode. Je moet niet alleen de richting goed instellen (yup, been there), maar ook kiezen tussen verschillende benaderingen zoals back-up, mirroring en synchronisatie. Ze zijn toch allemaal anders en niet iedereen weet goed te verschillen.

Bitrot is een ander zorgwekkend fenomeen, waarbij bestanden in de loop van de tijd corrupt kunnen raken. Het pijnlijke is dat je soms ontdekt dat al je back-ups van een bepaald bestand ook zijn aangetast. Al heel wat kwijtgeraakt door bitrot.

Daarnaast is er de uitdaging van gebruiksgemak en efficiëntie. Heb je ooit geprobeerd 10TB aan gegevens te kopiëren? Het kan ontzettend lang duren, vooral als je ook nog eens een CRC-controle uitvoert.

En zo zijn er nog talloze andere factoren en overwegingen bij het veilig en effectief opslaan van gegevens.

Met andere woorden, de meeste mensen vertrouwen op Google en Microsoft. Het zou bij wet verplicht moeten zijn dat gebruikers het recht hebben om gegevens veilig te stellen, ook als je gebanned bent.

[Cid Highwind]

Uiteraard ben ik bekend met dergelijke zaken. Je moet het alleen niet overcomplex willen maken.

Zelf gebakken schijfjes zijn inderdaad zwaar aan bitrot onderhevig. Mechanische schijven kunnen falen. SSD's hebben een maximum aantal aan cycli en flashdrives zijn al helemaal geen betrouwbare vorm van opslag.

Het punt is dat je jezelf niet aan een single point of failure bloot moet stellen, dus jezelf niet afhankelijk maken van enkel flash storage, of enkel de interne schijf van je PC. Het grootste gebruiksgemak is niks doen en aannemen dat er niks fout gaat, het brengt echter tevens het hoogste risiko mee.

[mjtdevries]

In dat geval maakte de software geen fout Die had correct een foto als verdacht getagged.
Maar "verdacht" betekent niet "schuldig". En dat onderscheid schijnt Google niet te begrijpen.
Het waren de mensen bij google die de boel verkeerd ingeschat hebben en de persoon in kwestie ook geen kans gaven zich te verdedigen.

[Aldy]

Ja, en hun fout niet willen toegeven. Want ze blijven op hun standpunt staan.

[mjtdevries]

En dat vind ik onbegrijpelijk. Je kunt als bedrijf toch prima aanvoeren dat het een bijzondere samenloop van omstandigheden was en het vanuit hun kant logisch was dat ze dit verdacht vonden.
En dan vervolgens je processen verbeteren zodat in zo'n situatie het op een normale manier afgehandeld word. Niemand die daar over zou vallen.
Maar nu drijven ze het zo onnodig op de spits.

[Aldy]

Ik kan nog voorstellen dat het verdacht was, zelfs na tussenkomst van een mens, maar als je weet hoe het zit, draai dan alles voor zo'n persoon terug. Moet toch kunnen.

[Hatseflats]

Maar nu drijven ze het zo onnodig op de spits.

Net als Van Basten.

[The Chosen One]

Er is nog een film van een iets andere situatie (zonder het internet gedoe sowieso), jaren 80?, vrouw maakte foto's van kinderen in slaapkamer e.d. Fotorolletje laten ontwikkelen en die belde de politie. Gooi er een politiechef of burgemeester (?) bij die herkozen wilt worden en je hebt onschuldige mensen in de gevangenis zitten.
Waargebeurde film, kan me de titel totaal niet voor de geest halen en zoek functie helpt ook niet. ;p

@mjtdevries

Om maar aan te geven dat iemand er heel anders/verkeerd naar kan kijken en als mensen zich dan 'vastbijten' in "het is gewoon zo" kan dat naar hele gevaarlijke situaties leiden.

[Reactie gewijzigd door The Chosen One op 22 juli 2024 20:53]

[Verwijderd]

"Google Drive en Apple iCloud is online storage, maar absoluut geen backup en je hebt er geen enkele rechten op."

Ik ben heel tevreden met mijn cloud storage, vanuit een functioneel oogpunt dan. Ik vertrouw er inderdaad niet op dat het grenzeloos en tot het einde der tijde mijn data veilig en beschikbaar houdt. Ik maak dus nog altijd periodiek een offline backup van mijn cloud storage.

[Verwijderd]

Heb daarom soortgelijke foto's van MEZELF in een encrypted zipje opgeslagen in de cloud om dit te voorkomen, zal toch van de zotte zijn dat ik mijn account kwijtraak omdat ik foto's van mezelf als kind heb in o.a. een bad.

Ik snap de gedachte erachter maar het is wel heel rigoureus, waardoor iedere foto direct bestempeld wordt als 'misbruik', terwijl het gewone onschuldige foto's zijn van jezelf of je eigen kinderen.

[m.z]

Dit dus, het is best verontrustend hoe mensen hier niet van bewust zijn, als je hier wat van zegt je al als een verdacht iemand of een viezerik wordt aangezien, maar de roeptoeterde geluiden "KP of terrorisme" blindelings volgen.

[FrostyPeet]

Ik vond het al een onzalige tool waarmee Apple kwam, ze werd een opsporingsambtenaar en een rechter omdat ze moesten beoordelen of het "echt foute" kinderfoto's waren of niet.. Apple moet zich bezig houden met hardware, software en services. Niet de moraalridder uithangen en dan gaan janken dat ze op een glibberig pad zijn aangekomen. Apple kon dit mijlenver zien aankomen.

(1) Wat dat land betreft, Apple kan per land/regio(?) bepaalde software wel/niet in de Apple Store plaatsen, dus dat zou bij zo'n tool ook (moeten) kunnen?

(2) Ja, met de efficiente overheid die private partijen ongewenste activiteiten laten opsporen, daar mag Apple bang voor zijn. De Nederlandse banken bijvoorbeeld zijn al een halve opsporingsdienst geworden i.p.v. dat dit een overheidstaak is.

(3) Als er één false positive is, en die Amerikaan klaagt Apple aan, dan kan Apple dat miljoenen kosten. Om over reputatieschade maar te zwijgen.

(4) Inderdaad. Als De Groter Leider dicteerd dat Apple een ongewenst stuk tekst of afbeelding moet opsporen en melden omdat Apple anders het land mag verlaten, heeft Apple een probleem.

Nu de geest uit de fles is, zullen de powers-that-be Apple wel de duimschroeven aandraaien. Zo van, jullie hadden een tool, je implementeerd hem maar (stiekem), of anders...

[Dennisdn]

Met wel de kleine aantekening dat Apple geen foto's zou gaan beoordelen om nieuw materiaal te vinden. Slechts alleen bekend materiaal herkennen uit de CSAM-database. De kans op een false positive zou daarmee, in theorie, heel klein moeten zijn.

[Coolstart]

De kans op een false positive zou daarmee, in theorie, heel klein moeten zijn.

Daar volg ik je niet in.

CSAM-vingerafdrukken zijn net bewust niet bit-perfect. Als ze alleen een exacte kopie van een afbeelding zouden detecteren, zou iemand simpelweg een een-pixel-bijsnijding hoeven te doen om ervoor te zorgen dat het bestand niet langer overeenkomt met de vingerafdruk.

Om deze reden zijn vingerafdrukken zo ontworpen dat ze nog steeds afbeeldingen en video's kunnen detecteren die zijn bijgesneden, verkleind, gedraaid, enzovoort. Dat betekent per definitie dat de vingerafdrukken 'fuzzy' zijn en soms volkomen onschuldige bestanden zullen markeren.

False positives zijn dus zeker niet uitgesloten.

De enige manier om die false positives er uit te halen is om effectief alle gevlagde beelden te bekijken en zien of dat effectief de foto betreft uit de CSAM-database of eentje die er sterk op lijkt. Een procedure die aan zich al redelijk privacy invasief is.

[Reactie gewijzigd door Coolstart op 22 juli 2024 20:53]

[Dennisdn]

Maar is de kans op false positives dan groter bij scannen op device dan bij scannen in de cloud zoals nu gebeurd?

[Pinkys Brain]

In de cloud kan je het perceptual hash algoritme beter geheim houden dan als het op een miljard consumenten apparaten draait.

Als het algoritme eenmaal bekent is kan je willekeurige plaatjes false positives laten geven. Perceptual hashing heeft security by obscurity nodig.

[Reactie gewijzigd door Pinkys Brain op 22 juli 2024 20:53]

[Dennisdn]

Misschien begrijp ik het gewoon echt niet. Wat heeft iemand er aan om false positives te genereren als die toch meteen worden afgeboekt als: geen foto uit de database?

[Pinkys Brain]

DDOS van het review systeem en proberen om een CGI plaatje wat er een beetje op lijkt langs een niet oplettende reviewer te krijgen als zijnde CSAM.

[Dennisdn]

Dan ga je er van uit dat men een niet-CSAM-artikel door het systeem krijgt, waarvan Apple zegt dat dat by design niet zou kunnen.

Nothing is learned about non-matching images. Even if the device-generated inner encryption key for the account is reconstructed based on the above process, the image information inside the safety voucher for non-matches is still protected by the outer layer of encryption. Thus, with a combination of Private Set Intersection and Threshold Secret Sharing, Apple is able to learn the relevant image information only once the account has more than a threshold number of CSAM matches, and even then, only for the matching images.

En mocht er toch iets doorheen glippen, wordt de uiteindelijke beslissing genomen door CSAM en niet door medewerkers van Apple.

Wellicht ben ik gewoon net iets té naief

[Pinkys Brain]

Wat ze zeggen is dat ze niet matchende beelden niet kunnen bekijken en de matchende beelden pas als het aantal gedetecteerde beelden over een grens gaat, ze zeggen niet dat false positives niet express gecreëerd kunnen worden.

[Verwijderd]

In antwoord op @Dennisdn schreef Pinkys Brain:

Als het algoritme eenmaal bekent is kan je willekeurige plaatjes false positives laten geven.

Het gaat m.i. om de combinatie van het algoritme en de database, waarbij algoritmes vaak lastiger geheim te houden zijn (en de database kan worden aangevuld, wat van belang is voor het volgende).

Het grootste probleem hiermee is niet dat kwaadwillenden valspositieven kunnen genereren, maar dat ze kunnen vaststellen of zij foute beelden voldoende hebben gemanipuleerd dat deze niet meer door het systeem worden herkend.

Het vervolgens toevoegen van hashes van die gemanipuleerde beelden aan de database leidt tot groei (ongewenst) daarvan, zonder dat het echt om nieuw beeldmateriaal gaat.

M.b.t. valspositieven: die krijg je sowieso (zonder beelden te manipuleren), en niet weinig ook. Eerder ging (nu demissionair) minister Yesilgöz in een kamerbrief uit van 0,01% (een optimistisch lage schatting). Dat zijn VEEL beelden. Zie deze posting onder het kopje "0,01 procent valspositieven?, waarbij de minister terecht opmerkt:

hoe strenger de marge wordt ingesteld, hoe lager de detectiegraad zal zijn.

M.a.w. de overheid heeft een schuifregelaar met aan de ene kant weinig valspositieven terwijl minimaal bewerkt beeldmateriaal (zoals resolutie verlagen, wat veel chat-apps automatisch doen) niet meer wordt herkend, en aan de andere kant een betere detectie van opzettelijk gemanipuleerde beelden met als "prijs" veel meer valspositieven.

Aan CSS (Client Side Scanning) kleeft echter een groot aantal zeer verschillende nadelen, die zelden of nooit allemaal in één artikel genoemd worden (wellicht omdat het om zeer verschillende vakgebieden gaat en experts zich niet buiten hun straatje durven te begeven).

[Twanne]

En zelfs wanneer je dat doet kan een beeld zowel onschuldig als schunnig zijn.
Denk aan ouders die foto's nemen van hun kinderen die naakt in de tuin spelen: in een privé context perfect legaal en zonder problemen.
Als de account van de ouders gehackt wordt en het beeld verspreid raakt, dan is het wellicht kinderporno.
Maar een algoritme ziet niet aan een account of het van de ouders is of van iemand anders.

[Luminair]

De kans op een false positive zou daarmee, in theorie, heel klein moeten zijn.

False positives zin dus zeker niet uitgesloten.

Je hebt een hele andere stelling gekozen om tegen te argumenteren. Er werd helemaal niet geclaimd dat false positives uitgesloten waren, enkel dat de kans erg klein is dat ze voorkomen.

[Reactie gewijzigd door Luminair op 22 juli 2024 20:53]

[Coolstart]

Dus mijn argument vervalt? Jij start een semantische discussie. Non-discussie dus want dan ga ik verder met "Wat is klein" 1% false positives of 0,01% of 0,0001%? Waar start grote kans en waar stopt kleine kans? Straatje zonder einde = Non-discussie dat naast het argument staat.

Je kan elk argument bewust scheef lezen met een semantische bril op.
En nee ik weet ook niet wat de kans op een false positive is.

Ik weet enkel dat het idee dat CSAM-vingerafdrukken geen oplossing is minder false positives te genereren. Het is geen exacte wiskunde, één false positive heeft een grote impact op uw privacy en gezien de aard van beestje zal het niet bij één blijven.

Dat was de geest van het argument.

[Reactie gewijzigd door Coolstart op 22 juli 2024 20:53]

[Luminair]

Omdat de persoon voor jou zegt, "de kans [op false positives] is heel klein", waarop jij vervolgens zegt, "daar volg ik je niet in". Dan verwacht ik eigenlijk een argument over waarom de kans niet heel klein is, maar uiteindelijk eindig je met, "false positives zijn niet uitgesloten". Oké, maar dat spreekt niks tegen. Wat probeer je dan te zeggen? Hoezo volg je de persoon waarop je reageert er dan niet in [dat de kans op false positives in theorie heel klein is]?

Jij start een semantische discussie. Non-discussie dus want dan ga ik verder met "Wat is klein" 1% false positives of 0,01% of 0,0001%? Waar start grote kans en waar stopt kleine kans?

Nee, ik probeer juist de inhoud naar boven te halen hier, die hier enorm vaag lijkt. Daarnaast is het best relevant wat in deze context een laag percentage is. Ik denk dat een GUID-collision achtige kans acceptabel zou zijn.

Ik weet enkel dat het idee dat CSAM-vingerafdrukken geen oplossing is minder false positives te genereren.

Ten eerste: minder ten opzichte van wat? Elke pixelwaarde vergelijken? Dat gaat dus niet op, om tig redenen. Dit is niet een ML model dat kijkt of iets "een kat" is. We hebben het hier over een neural network dat controleert op specifieke afbeeldingen. Hieronder heeft iemand mij uitgelegd dat het mogelijk is om zo'n fingerprint-hash te breken als je er wat moeite voor doet, maar dat gaat niet zomaar per ongeluk. Als zo iets gebeurt is het enorm zeldzaam. En wat dat betreft ben ik zeker geïnteresseerd in echte cijfers, niet dit angstvallige, "ja maar is fuzzy"-gedoe.

één false positive heeft een grote impact op uw privacy

Klopt, en daarom is het zo belangrijk dat de kans op false positives zo laag mogelijk is. En dat is het ook. Want je moet echt bewust moeite doen om het neural network overtuigen dat jouw afbeelding overeenkomt met een andere. Elk bekend geval van neural-hash collisions zijn van speciaal geproduceerde afbeeldingen om een collision te forceren.
Ook gerelateerd is dat er een drempelwaarde is in deze implementatie, zodat één false positive niet desastreuze gevolgen heeft.

[Stoney3K]

De kans op false positives is niet eens het probleem, wel de houding van Apple en andere tech-bedrijven zoals Google die zeggen "Sorry, computer says no, je bent een pedo" zonder een mogelijkheid om ertegen in beroep te gaan of je naam te zuiveren als het om een false positive gaat.

[koboy]

De kans op false positives is juist heel groot. De mensen die ze hiermee willen opsporen gebruiken geen reguliere kanalen om dit te verspreiden/bekijken. Daar kun je zonder veel moeite hele handboeken voor vinden op het Internet.

Wat overblijft is de enkele sukkel, en iedereen die in een hash collision terecht komt doordat de hash bestand moet zijn tegen basale vormen van beeldbewerking (resizen, spiegelen, met iets andere kwaliteit opslaan).

Theoretisch gesproken kun je dan naar de rechter stappen als je door een false positive getroffen wordt. In de praktijk is dat hier in de EU al zoveel moeite en kostbaar dat maar weinigen deze stap nemen. Kun je nagaan hoe dat in de VS zit, waar je (in geval van een duidelijke zaak) al tienduizenden dollars verder bent voordat je voor de rechter zelf staat. En dan moet je nog maar hopen dat je de gemaakte kosten vergoed kunt krijgen....

Dit soort plannen (zeker als het uit een overheid komt) zijn op zijn minst symboolpolitiek, en met een klein alu-hoedje op een aanzet tot massa surveillance.

[Dennisdn]

Waarom is de kans op false positives dan juist heel groot? Als er al een false positive zou zijn is het meteen klaar, want hij léék slechts op een foto uit de database, het doel was niet om nieuwe te vinden.

Sowieso wordt het doel wat Apple voor ogen had vaak vergeten. Scannen gebeurd nu al, zij wilden dat alleen verplaatsen vanuit de cloud naar device.

[mjtdevries]

De kans op false positives is heel groot omdat het verrekte moeilijk is een algoritme te maken dat goed werkt.
In het geval van Apple was er bv een voorbeeld van een portret foto van een persoon en een foto van een hond die een hash collision gaven. Dus volgens het algoritme "léék op een foto uit de database", terwijl het voor iedereen duidelijk was, dat het totaal verschillende fotos waren.

Even gezocht of ik dat voorbeeld terug kon vinden, daarbij vond ik deze publicatie met op de vierde pagina een paar goede voorbeelden:
https://www.ieee-security.../hintersdorf-conpro22.pdf
Waar ze een hash collision hebben gemaakt van twee totaal verschillende fotos.
En daaronder vier fotos hebben die voor een mens er gelijk uitzien maar verschillende hashes hebben.

In theorie klink het allemaal heel leuk. Maar in de praktijk is het voor mensen die kwaad willen heel makkelijk te omzeilen, en creeer je grote problemen voor mensen die door false positives ten onrechte beschuldigd worden.

[_Pussycat_]

Het idee was wel dat pas als er een aantal matches zijn de fotos gecontroleerd worden. Als dan blijkt de het fotos van de hond zijn, of dat iemand met opzet ruis-fotos voor hash-collision geproduceerd en verstuurd heeft, zou je geen problemen krijgen.

[Verwijderd]

https://www.ieee-security.../hintersdorf-conpro22.pdf

Dank voor die link!

Tot de verbeelding spreken m.i. ook de twee plaatjes met een exacte perceptional hash-collision in deze discussie op github.

Direct daaronder vraagt iemand wat er gebeurt als je 1 van de plaatjes 4x verkleint en dat resultaat weer 4x vergroot. Weer daaronder (in deze reactie) heeft gmaxwell de gewijzigde waarde berekend waar je de Hamming distance uit kunt afleiden:

orig: a426dae78cc23399501acc32
edit: a42692e78ce22b99d11ace32

diff: 000011000010110011000100

Nb. met diff bedoel ik hier niet het rekenkundige verschil, maar het aantal gewijzigde bits tussen het bovenste en onderste nibble; bijv. 0xd is binair 1101 en 0x9 is binair 1001; alleen het derde bit (rechts beginnend met tellen bij 1) is hier gewijzigd.

Van de 96 bits zijn er dus 8 "geflipt". Als je toestaat dat 8 bits (bij een 96 bits lange neural hash) mogen wijzigen - om beelden met dit soort bewerkingen nog te kunnen detecteren - leidt dat hoogswaarschijnlijk tot zeer veel valspositieven bij willekeurige beelden.

[koboy]

Waarom de false positives groter zijn heeft @mjtdevries al uitgebreid uitgelegd.

De verplaatsing (lees aanvulling) van het scannen van de cloud naar het device is precies de function creep die gevaarlijk is. Eerst worden ze door de wetgever gedwongen de cloud te scannen omdat ze anders medeplichtig zijn aan de verspreiding. Dit heeft al een hoop ellende veroorzaakt, en nu wil de wetgever ook dat Apple, google, Microsoft etc "judge, jury and executioner" worden over data die op ONS device staat. Op dit moment nog op "vrijwillge" basis, met als stok achter de deur dat als dit niet gebeurt er wetgeving komt.

[Dennisdn]

Het nieuws dat de overheid wil dat techbedrijven op devices gaan scannen heb ik volledig gemist. Het idee wat Apple had om op devices te scannen was juist bedoeld om de wetgever te beperken en ons gebruikers meer privacy te geven.

Apple zou alleen waarnemer zijn, judge, jury en execution zouden bij CSAM en de overheden die CSAM hebben erkend blijven liggen.

[koboy]

Is meer privacy geven is helemaal met je tengels van de data die op ons device staat afblijven.

Werkgevers roepen al jaren dat techbedrijven meer tegen kinderporno en terrorisme moeten doen. Alleen de cloud scannen is niet genoeg vinden ze.

Het voorstel van Apple was inderdaad een voorstel, waar flinke halen en ogen aan kleefden. Gelukkig zag Apple dit ook in zodra juristen en techneuten kritiek gaven.
Blijft wel dat een detectie tegen de TOS ingaat, of het nu in de cloud is of op je device. Tot het tegendeel bewezen is ben je dus afgesloten en je spullen kwijt. Je mag dan hopen dat jaren later na een strafrecht zaak die je tegen je hebt gehad je ook weer in ere hersteld wordt..... Vandaar judge, jury executioner.

[Pinkys Brain]

De secure enclave code is te achterhalen. Als de perceptual hash eenmaal bekent is, is het triviaal om valse positieven te maken.

Maar dat is dan ook een van de redenen dat Apple zijn eigen reviewers wou gebruiken. De andere reden is dat het een zeer duur grapje is, wat alleen Apple zich makkelijk kan veroorloven. Dus de industrie in de richting van client side scannen duwen komt hun goed uit.

[Guru Evi]

Behalve het feit dat CSAM databases helemaal niet open is over welke afbeeldingen/teksten etc erin komen. Het is gebaseerd op een principe dat oa gezichtsherkenning gebruikt voor content die de overheid beslist dat moet achtervolgd worden.

In de VK is het ballonnetje ook al opgelaten dat we die databases en systemen kunnen gebruiken voor protesteerders, selfie met een vlag/banner die de overheid niet aanstaat - hop in de CSAM database, het vlagje toevoegen.

En ook in Nederland zijn er mensen die hetzelfde zeggen. Net zoals we flitspalen en andere cameras gebruiken voor mensen te volgen ivm privégebruik bedrijfswagen, daarmee heeft de overheid in principe ook een volledig netwerk van elke richting die alle auto’s gaan, en de overheidsrechter heeft beslist dat de overheidsambtenaar hier gelijk in heeft. En de mensen die 100 jaar geleden ons waarschuwden dat kentekens misbruikt kunnen worden voor mass-surveillance hebben uiteindelijk gelijk gekregen (wat gaan ze doen een agent op alle hoeken alle kentekens laten noteren, hahaha, wat een idioot, camera’s, hahaha, dat is te duur jongen)

[Reactie gewijzigd door Guru Evi op 22 juli 2024 20:53]

[nduug]

Apple speelt nochtans graag de moraalridder. Apps als 9gag en TheChive bv. kunnen niet zomaar een Girls of andere erotisch getinte sectie toevoegen zonder compromissen aan Apple.

[YopY]

Dat is inderdaad een regel voor de app store, en ik ben daar wel blij om persoonlijk. Als iemand erotisch getint iets wilt kunnen ze altijd nog gewoon op de websites gaan.

Dat gezegd hebbende, o.a. de Reddit app heeft gewoon ladingen aan keiharde porno, en dat lijkt geen issue te zijn voor Apple. Wat is het verschil daar?

[Shamalamadindon]

Wat is het verschil daar?

Een tent als 9gag doet zelf de curatie van onderwerpen, Reddit niet.

[DataGhost]

Waarom ben je daar precies blij om? Zodat je de content niet kan zien als je dat niet wilt? Dat kan nu ook al, gewoon niet installeren of niet kijken. Maar andersom, de content zien als je dat wel wilt, dat kan dus niet op de manier waarop dat normaal zou moeten kunnen. En veel houdt het verder ook niet tegen, want zoals je zelf zegt kan je via de browser wel dat alles zien. Dus inderdaad, wat is het verschil, waarom ben je er precies blij om?

[nduug]

Ik zit toch ook niet te wachten tot alle app-hitlijsten gedomineerd worden door vrijbuiters die apps produceren met namen als "FreE XXX --nO creditcard -h0t Camgirlzz"...

[DataGhost]

Oh ja, net zoals in de Play Store bedoel je? Oh wacht. Nog nooit gezien daar. Al helemaal niet in hitlijsten, a.k.a. lijsten met populaire apps. En als ze populair zouden zijn is er kennelijk vraag naar. Maar goed, waarom denk je dat dat het gevolg zou zijn van het toestaan van erotische content in apps? En denk je niet dat ze een schuifje in je instellingen zouden kunnen implementeren zodat jij de erotische content nog steeds niet te zien krijgt, maar mensen die dat wel willen wel?

[Blizz]

Dit is nergens op gebaseerd. De meerderheid van de data op het internet is porno, dus je hoeft alleen maar naar torrentsites te kijken om te begrijpen dat dit risico gewoon niet bestaat, zeker niet in een walled garden zoals dat van Apple. Al dat spul heeft een eigen categorie en daarmee houdt het op en kun je ook makkelijk met een restrictie die categorie verbergen.

[laptopleon]

Nu de geest uit de fles is, zullen de powers-that-be Apple wel de duimschroeven aandraaien. Zo van, jullie hadden een tool, je implementeerd hem maar (stiekem), of anders...

Door er mee te stoppen geven ze juist duidelijk het signaal dat dit geen optie is. Dat zoiets technisch mogelijk is, was nooit een punt van twijfel.

[Stoney3K]

Ik vond het al een onzalige tool waarmee Apple kwam, ze werd een opsporingsambtenaar en een rechter omdat ze moesten beoordelen of het "echt foute" kinderfoto's waren of niet.. Apple moet zich bezig houden met hardware, software en services. Niet de moraalridder uithangen en dan gaan janken dat ze op een glibberig pad zijn aangekomen. Apple kon dit mijlenver zien aankomen.

Laten we vooral niet vergeten dat de huidige premierskandidaat voor de VVD er een voorstander van is om dit soort tools te verplichten.

Denk daar vooral aan als je over een paar maanden naar de stembus gaat.

[Reactie gewijzigd door Stoney3K op 22 juli 2024 20:53]

[TheBlackbird]

Dat is wat experts en privacy minded Tweakers toch al jaren zeggen? Je kan niet énkel encryptie omzeilen voor terrorisme en kinderporno. Eens je dat hebt gedaan staat het hek open voor al het overige.

Wat er digitaal ook gebeurt, er is altijd een link met de reële wereld: wie kinderporno produceert koopt camera's, heeft een studio, betrekt andere mensen, ontvangt geld van afnemers, traumatiseert kinderen (wat opvalt in een sociaal netwerk van mensen die een beetje alert zijn), etc... etc... Maar het kost tijd, geld en goede internationale samenwerking voor de politie om zo'n operaties op te rollen.

Het luie alternatief is dragnet surveillance, encryptie verbieden, overal camera's in de publieke ruimte met AI. Dan leven we in de perfect veilige samenleving... zoals in China.

Nog dit: de politie moet kunnen ingrijpen in de digitale wereld, dus ik ben voorstander van een wettelijk geregelde hacking, afluisteren, en dergelijke, zolang het maar op case-niveau gebeurt, en niet een hele bevolking impacteert.

[Luminair]

zolang het maar op case-niveau gebeurt, en niet een hele bevolking impacteert

Je zou het argument kunnen maken dat de fingerprint-hashing methodes die gebruikt worden voor CSAM materiaal juist op case-niveau zijn, omdat ze (met wiskundige precisie) gericht zoeken naar dat materiaal, en niets anders.

Edit: ik argumenteer hier dus niet dat het een verkeerde zet van Apple was om hier vanaf te zien, omdat het te misbruiken was door overheden. Ik wilde er alleen op wijzen dat, als je wil gericht materiaal wil vinden met zo min mogelijke (privacy) impact op gebruikers, neural-hashes geen slecht idee zijn. Alternatieven zijn eigenlijk altijd slechter voor privacy, en breken soms zelfs encryptie open met een backdoor.

[Reactie gewijzigd door Luminair op 22 juli 2024 20:53]

[slijkie]

Dan eisen bepaalde dictator landen om met fingerprinting ander materiaal op te zoeken. Oftewel, het gaat om de ‘tool’ niet om het doel.

Goede zet van Apple om hier vanaf te zien.

[Coolstart]

Natuurlijk kan je dat argument niet maken omdat je alle bestanden moet scannen bij alle gebruikers. Dat is per definitie niet case-niveau.

[mjtdevries]

Ze zoeken niet precies, en daar zit het probleem.
Als ze namelijk zeer precies zoeken (bit voor bit gelijk) dan is het vreselijk simpel voor criminelen om in het materiaal 1 pixel te wijzigen om zodoende niet gevonden te worden.
Maar als je niet met hoge precisie zoekt, dan heb je automatisch een grote kans op false positives.

[Luminair]

automatisch een grote kans op false positives

Als je dit serieus denkt zou ik mij echt even inlezen op hoe deze versie van fingerprinting precies werkt, want dat is namelijk best interessant (het stukje 'NeuralHash' gaat over de hoe en wat hier). Het gebruikt allerlei technieken om afbeeldingen te normaliseren, en toch de uniekheid te bewaren.

[mjtdevries]

Ja, dat ken ik.
En in theorie lijkt dat heel mooi en de perfecte oplossing.
De praktijk is echter weerbarstig.
Zie mijn eerdere reactie hier: mjtdevries in 'Apple annuleerde tool kindermisbruikdetectie vanwege 'feature creep''

Korte samenvatting:
Je kunt heel makkelijk een andere hash maken zonder dat de afbeelding er anders uit ziet voor mensen.
En het is makkelijk een hash collision te maken voor totaal verschillende afbeeldingen.

[Luminair]

Je kunt heel makkelijk een andere hash maken zonder dat de afbeelding er anders uit ziet voor mensen.
En het is makkelijk een hash collision te maken voor totaal verschillende afbeeldingen.

Doelmatig een afbeelding wijzigen om een (neural)hash-collision te voorkomen is iets heel anders dan een false positive.

Verder: een neural network, dat specifiek getraind is op herkenning van specifieke afbeeldingen*, kun je niet zo makkelijk om de tuin leiden. Met oudere pHash technieken was dat inderdaad zo, maar dat is sinds een paar jaar niet meer het geval. Als jij een techniek kent om consistent moderne neural-hashes te breken, dan horen we het graag.

*Dus bestaand CSAM materiaal. Sowieso niet "kind in bad" foto's die niet in een CSAM database staan.

[mjtdevries]

Het artikel waar ik naar verwees is juist een recent artikel naar aanleiding van Apple's plannen voor CSAM scannen.

Als je zelfs maar de eerste paragraaf had gelezen dan had je geweten dat dat dus niet over oude technieken gaat, maar juist de hash techniek die Apple gebruikt.

[Luminair]

Oké, maar hoe is dat relevant voor false-positives dan?

Want je maakt eigenlijk een heel ander argument -- dat criminelen, die zulk materiaal op hun iPhone willen houden (om de een of andere reden), slim genoeg zijn om neuralhashes te breken. Dat lijkt mij sowieso wat tegenstrijdig. Mensen uit dat laatste kamp gebruiken volgens mij überhaupt geen iPhones, maar een linux bak met TOR en truecrypt.

Nee, false-positives zijn enorm zeldzaam hier, en daarom wordt er ook gewerkt met drempelwaarden voordat er een signaal wordt doorgestuurd naar autoriteiten.

[mjtdevries]

Mensen uit dat laatste kamp gebruiken volgens mij überhaupt geen iPhones, maar een linux bak met TOR en truecrypt.

Als dat waar is, waarom zou je dan uberhaupt clientside gaan scanning op de iPhones?
Het doel en de reden waarom het acceptabel zou zijn is immers alleen maar verdedigbaar als je daarmee kinderporno op die iPhones kan opsporen.

[Luminair]

Als dat waar is, waarom zou je dan uberhaupt clientside gaan scanning op de iPhones?

Omdat ik niet zei dat criminelen nooit kinderporno op hun telefoons zetten, maar dat mensen die slim genoeg zijn om neuralhashes te breken dat enkel op hun linux/trucrypt bak doen.

[Annihlator]

In het voorbeeld gaat het dan ook niet enkel om de mensen die kp maken/hosten, maar ook de ontvangers daarvan; anders zou er bij voorbaat al niets te hashen zijn.

Maar wie sluit uit dat als dit proces op poten komt de verspreiders juist zelfs fingerprinting toepassen (dus doelbewust aanpassen van de hash) om zowel detectie te voorkomen als mogelijke lekken te vinden?
Nu is dat wss nog te veel moeite, maar met een verandering naar dat soort scans wordt dat gewoon de eerstvolgende deur om in te trappen voor de crimineel die er aan verdient; die heeft er dus ook centen voor over om iemand in de arm te nemen met de benodigde kennis

Of wie weet wordt het wel "simpeler" opgelost, door afbeeldingen te fragmenteren enzo.

[Reactie gewijzigd door Annihlator op 22 juli 2024 20:53]

[Luminair]

Maar wie sluit uit dat als dit proces op poten komt de verspreiders juist zelfs fingerprinting toepassen (dus doelbewust aanpassen van de hash) om zowel detectie te voorkomen als mogelijke lekken te vinden?

Dat is een goed punt. Daar zal zeker een vraag naar zijn. Ik weet niet hoe die verdeling er precies uit ziet, maar ik vermoed nog steeds dat misbruikers die bij voorbaat niet super technisch onderlegd zijn daar ook niet eens naar vragen, en dus vatbaar voor zo'n fingerprint-scanning zouden zijn.

[Verwijderd]

Dat argument kan je dus niet maken, precies om de redenen die Apple aanhaalt. Even uitzoomen naar de bigger picture zoals Apple nu ook doet.

[kodak]

Die wiskundige precisie zorgt alleen voor een precies genoege herkenning. Het voorkomt geen ongericht zoeken. Het voorkomt geen zoeken naar bestanden die niets met het doel van het zoeken te maken hebben. Het voorkomt niet dat landen het voor andere doelen eisen te gebruiken dan waar het voor gemaakt is. En zolang het onder die kenmerken alles maar doorzoekt omdat het kan is er van gerichtheid hoe dan ook geen sprake.

[Reactie gewijzigd door kodak op 22 juli 2024 20:53]

[k995]

Maar het kost tijd, geld en goede internationale samenwerking voor de politie om zo'n operaties op te rollen.

En dat doen ze ook, je doet precies alsof men enkel dit wil doen wat onzin is.

[Coolstart]

"En dat doen ze ook, je doet precies alsof men enkel dit wil doen wat onzin is."

Dat staat er niet en wordt er ook niet bedoelt.
Er staat enkel dat het meer moeite vraat om zo'n operaties op te zetten dan via dragnet surveillance. Net omdat het veel moeite vraagt om manueel case per case af te werken houd je surveillance vanuit de overheid binnen de perken tot wat echt noodzakelijk is.

Met digitale mass surveillance kan het uit de hand lopen net omdat het zo makkelijk is om miljoenen mensen tegelijk te scannen. Vandaag drug en CSAM, morgen mogelijk iets anders.

[k995]

het "luie" alternatief dat is het niet, zoiets neemt ook enorm veel moeite en tijd.
En nogmaals men doet en wilt beide, zeggen dat dit eenvoudiger is is geen argument.

Trouens die "morgen mogelijks iets anders" word al zoveel jaar gezegd en is voor zover ik weet nooit uit legitieme interne dergelijke programam'sz voortgevloeid.

[Coolstart]

het "luie" alternatief dat is het niet, zoiets neemt ook enorm veel moeite en tijd.

Ik denk dat je het probleem niet helemaal snapt. Het gaat over de schaalbaarheid van de surveillance en het feit dat je ook onschuldige mensen scant omdat het goedkoop is. Deur en deur VS 1 miljoen in 1 slag.

Trouens die "morgen mogelijks iets anders" word al zoveel jaar gezegd en is voor zover ik weet nooit uit legitieme interne dergelijke programam'sz voortgevloeid.

Geheel onzeker wat "legitieme interne dergelijke programam'sz" zijn. Ik denk dat jij eens een bezoek je wil brengen naar iets minder democratische landen zoals Rusland en China. Pas dan ga je beseffen dat je heel blij mag zijn rond dat al dat 'gedoe' rond privacy in onze streken. Je

[Stoney3K]

Wat er digitaal ook gebeurt, er is altijd een link met de reële wereld: wie kinderporno produceert koopt camera's, heeft een studio, betrekt andere mensen, ontvangt geld van afnemers, traumatiseert kinderen (wat opvalt in een sociaal netwerk van mensen die een beetje alert zijn), etc... etc... Maar het kost tijd, geld en goede internationale samenwerking voor de politie om zo'n operaties op te rollen.

Dat is nu nog wel het geval, maar dat is straks geschiedenis met zaken zoals AI gegenereerde kinderporno.

[VDV]

Goed dat Apple deze stap durft te maken. Het probleem wat ze er mee wouden aanpakken is natuurlijk diep en dieptriest, maar de redenering waarom ze het niet gaan doen raakt alle problemen die dit soort algoritmes met zich meebrengen.

Verhalen dat men door medische of onschuldige familiefoto's op hun Google Drive of OneDrive, alles verloren zijn op het bijbehorende Google of Microsoft account, zijn niet onbekend. En in de meeste gevallen zijn de slachtoffers van deze verwijderingsacties nooit geholpen door de partijen. Uiteraard moet zo'n cloudbackup niet je enige backup zijn (of zelfs enige kopie), maar de leek denkt hier niet bij na en de desbetreffende partijen doen zich voor alsof het zo wel veilig genoeg zou zijn.

Die collateral damage, samen met de mogelijkheden voor censuur, zijn uiterst sterke redenen om hier niet aan te beginnen. Goed dat ze dat in Cupertino zich ook realiseren. Wat laat, maar gezien het nog niet in gebruik was, niet te laat.

[Polderviking]

Uiteraard moet zo'n cloudbackup niet je enige backup zijn (of zelfs enige kopie),

Ik ben het zeker met je eens.

Maar Google spoort je actief aan om ze een monopoly te geven op je data door je bijvoorbeeld aan te sporen lokale kopien te verwijderen van foto's die naar pictures gesynct zijn "om ruimte vrij te maken".
Dat mensen die verder niet met ict bezig zijn geen 1,2,3 3,2,1 toepassen en dat gewoon doen kan ik ze toch lastig kwalijk nemen.
Ik vind die houding van Google daarin vooral slecht.

Dat je vanuit foto's ook weer niet kan terugsyncen zonder takeout is ook zoiets.
En wat je uit takeout krijgt is voor Jan Doornsnee tevens onbruikbaar.

[Reactie gewijzigd door Polderviking op 22 juli 2024 20:53]

[avlt]

Dat mensen die verder niet met ict bezig zijn geen 1,2,3 toepassen

Je doet er beter aan 3-2-1 toe te passen...
(minstens 3 backups op 2 verschillende media waarvan 1 buitenshuis)https://www.nakivo.com/bl...data-protection-strategy/

[Polderviking]

Whoepsie.

[Wolfos]

En ondertussen modereert Google de data die je naar ze upload.

Ik zeg al tijden: als Google je nog niet genaaid heeft, dan is dat slechts een kwestie van tijd. Vermijd dat bedrijf als de pest.

[Polderviking]

Late maar goede ontwikkeling.
Maar dat hier feature creep in ging sluipen dat had je je natuurlijk op voorhand al kunnen bedenken.
Dus dat dit "nu pas" een breekpunt is vind ik opmerkelijk.

[kodak]

Er staat alleen niet bij wanneer het bedrijf dat risico bedacht en er staat ook niet bij waarom ze eerder een andere afweging hadden. Het opmerkelijke is dus vooral dat ze het als extra detail delen zonder context waaruit valt te leren.

[n4m3l355]

Beetje rare reactie gezien dat Apple helemaal geen moeite met "feature creep" in diverse landen op dit moment heeft. Apple doet nu al aan censuur, volgen van informatie, delen met lokale authoriteiten, software beperkingen op laste van lokale authoriteiten. Dus waarom zou dit nu opeens anders zijn?

[Wodger]

Misschien begrijp ik niet exact waar jij op doelt, maar voor een heel land bepaalde filtering voor alle devices aanzetten lijkt me toch wat anders dan scannen van data binnen individuele accounts.

[Fly-guy]

Omdat ze een mooi verhaal moeten hebben voor de Apple klanten die wel achter de feature stonden.

[NielsFL]

Uiteraard volgt Apple de wet. Wat verwacht je anders? Maar een dergelijke scan systeem is nergens wettelijk vereist. Dus als de nadelen niet opwegen tegen de voordelen dan annuleer je het.

Overigens maakt Apple het omzeilen van de wet ook vaak goed mogelijk. Zo werd het na het opschonen de Chinese App Store enkele jaren terug opeens veel makkelijker om tussen verschillen App Stores accounts te wisselen. Ook het aanmaken van een Amerikaans account zonder credit card of telefoonnummer werd beter gedocumenteerd. Vast allemaal toeval, maar veel van mijn klanten zijn ermee geholpen.

[n4m3l355]

Apple geen moeite heeft om de wet te volgen wanneer er miljarden op het spel staan, dat snap ik ook wel. Maar dat verandert niets aan het feit dat waar Apple nu opeens "bang" voor is, Apple zelf al jaren toepast zonder enige moeite.

Dus waarom is Apple bang voor een slippery slope, het is niet alsof men dit niet zag aankomen. Zodoende dat ik dan ook aangeef dat Apple gewoon hypocriet is en dat dit zeker niet de reden is om niet door te zetten.

Dat Apple gebruikers van App store laat wisselen hoeft overigens niet vanuit het oogpunt van de gebruiker te zijn, maar in goed overleg met de Chinese overheid. Mocht deze dit niet acceptabel vinden had Apple dit al lang geplugd. Het mag dan ook niemand verwonderen dat de Chinese overheid via andere wegen alsnog des betreffende gebruikers via de moedwillig verzwakte encryptie op Chinese iPhones alsnog volgt. Immers zover get Apple mee met de lokale overheid, ze verzwakken encrypties, ze blokkeren drop, ze dwingen lokale cloud gebruik enz. Dus nee, dat is allemaal geen toeval.

Overigens is Apple ook zo vrij om de markt te verlaten net zoals Google, Netflix, Amazon en zo kunnen we nog wel even doorgaan.

[Reactie gewijzigd door n4m3l355 op 22 juli 2024 20:53]

[DigitalExorcist]

Je hebt eigenlijk dus gewoon geen flauw idéé waar je het over hebt, bedoel je?

Apple houdt zich aan de lokale wetgeving, zoals élk bedrijf moet doen.

[Reactie gewijzigd door DigitalExorcist op 22 juli 2024 20:53]

[kodak]

Het argument van het bedrijf is juist dat ze niet willen dat het bijvoorbeeld via lokale wetgeving misbruikt kan worden. Dat gaat niet zomaar over nieuwe wetgeving en kan niet zomaar alleen op deze service van toepassing zijn. Het is dus een redelijk punt dat het bedrijf hier een argument gebruikt waar ze niet heel erg sterk achter lijken te staan.

[Arrogant]

Apple kan er ook voor kiezen om geen zaken te doen met foute regimes.

[Microwilly]

En de burgers in die landen ook straffen. En nog meer isoleren. Elk bedrijf moet mee werken aan dataverzoeken van het land waar het in werkt. Als je zorg dat die data beperkt is. Of te beperken is. Met icloud uit en isolatie modes aan. Zijn er weinig producten beter als een Apple iphone.

[DeFeCt]

Het niet kunnen gebruiken van een Apple device is een straf?

(beter dan)

[m_a_rnix]

Als je het scenario even doordenkt zou je in landen met ‘foute regimes’ dan alleen producten kunnen gebruiken die daar gemaakt zijn.

[Stoney3K]

Daar kan een fabrikant natuurlijk niet altijd wat aan doen. Het 'foute regime' kan er prima zelf voor kiezen om alleen binnenlandse producten op de markt toe te laten.

Je kan als fabrikant er wel voor kiezen om niet aan de praktijken van zo'n fout regime mee te doen.

[eric.1]

Het is best een verschil of Apple in zijn algemeenheid informatie weert, filtert, enz en dat Apple opeens binnen een gebruiker's iCloud gaat scannen (ik meen client-side bij het uploaden, maar goed) om te kijken of er items zijn die niet geaccepteerd zouden moeten worden.

Daarnaast kun je jouw redenatie ook omdraaien; bepaalde features worden dus inherent (en soms zelfs buiten het initiële doel om) ingezet om aan lokale wetgeving te kunnen voldoen...het is dus zeer aannemelijk dat deze functie daar vroeg of laat voor ingezet gaat worden. En dan zit je opeens op individueel niveau informatie te weren, eigenlijk binnen een privé-omgeving. Hoe eng wil je het hebben?

Dan kan men stellen dat Apple maar niet in die landen zaken moet doen, maarja, allereerst heb je daar vooral de burger mee. Daarnaast kan ook Apple niet in de toekomst kijken wat landen politiek gezien gaan doen. Ook Nederland heeft flinke discussies omtrent de sleepnet-wet gehad, waar zoiets zonder meer in meegenomen had kunnen worden (en ze zijn nog altijd bezig met decryptie-plichten geloof ik).

[Reactie gewijzigd door eric.1 op 22 juli 2024 20:53]

[Tenebris]

Dit is letterlijk wat iedereen zei toen ze het aankondigde

[fl2001]

Dit zou toch ook nooit gaan werken? Ze kunnen alsnog versleutelde bestanden naar elkaar sturen?

[laptopleon]

Geen enkele controlemaatregel is 100% effectief. Dat maakt nog niet dat controle geen enkele zin of effect meer heeft.

[Darksequence]

Tja gezien de doelgroep en het risico dat ze lopen vervolgd te worden met zware straffen vermoed ik dat de serieuze verspreiders dat allang doen. Vooral na die eerste aankodiging, al was het maar omdat je niet 100% zeker kunt zijn dat het niet toch stiekem aanstaat.

Dus ik ben het wel eens dat je hiermee vn wat grappen makers, sukkels en hoop onschuldige mensen raakt.

Als de foutmarge 0.01% is zijn dat nog steeds 100.000 mensen op een miljard gebruikers!

[HKLM_]

Security.nl had dit bericht vrijdag (heb het ook als tip ingestuurd)

https://www.security.nl/p...ur+voor+massasurveillance

Zij spreken over

Inmiddels heeft de Europese Commissie juist gepleit voor de invoering van client-side scanning en is ook het demissionaire kabinet hier voorstander van. Wired meldt dat deze week een nieuw opgerichte kinderbeschermingsgroep een campagne tegen Apple heeft aangekondigd om ervoor te zorgen dat het bedrijf alsnog client-side scanning gaat invoeren. Over deze groep, met de naam 'Heat Initiative', is op het moment van schrijven geen enkele informatie te vinden.

https://www.wired.com/sto...g-heat-initiative-letter/

@arnoudwokke Hebben jullie iets kunnen vinden over Heat Initiative?

[Reactie gewijzigd door HKLM_ op 22 juli 2024 20:53]

[Xbeek]

Goed besluit van Apple.
Omdat ze zo groot zijn (los van een waarde oordeel over Apple) heeft dit ook impact op andere bedrijven en de samenleving/politiek.
Zoals ze zeggen: algoritmen zijn niet (nooit) perfect en accepteren dat er onterecht levens kapot gemaakt worden vanwege de bijvangst, moeten we als samenleving niet willen...
Het onschuldpresumptie is een onderschat groot goed in een vrije samenleving.
We kunnen onder andere leren van de "fantastische" algoritmen van onze Nederlandse belastingdienst!