Apple scant bijlagen in iCloud Mail sinds 2019 op beeldmateriaal kindermisbruik

Apple scant sinds 2019 bijlagen die gebruikers ontvangen of versturen in iCloud Mail op beeldmateriaal van kindermisbruik. Dat zegt Apple in reactie op vragen van 9to5Mac. Later dit jaar gaat Apple foto's en video's scannen die gebruikers in de VS willen uploaden naar iCloud.

E-mail is niet versleuteld, dus die bijlagen kan Apple scannen op de eigen servers, merkt 9to5Mac op. Dat gebeurt al sinds 2019, maar Apple zegt niet of dat alleen in de VS gebeurt of dat de scan ook in andere landen plaatsvindt. Het gaat om bijlagen van verstuurde of ontvangen mails via de eigen maildienst iCloud Mail.

Apple zegt niet hoe vaak het beeldmateriaal van kindermisbruik aantreft door de scans. Wel werd eerder al duidelijk dat Apple veel minder meldingen doet van het aantreffen van dergelijk beeldmateriaal dan veel andere techgiganten als Google of Facebook.

De iPhone-maker begint later dit jaar met het on-device scannen van foto's voordat het apparaat ze uploadt naar iCloud. Dat gebeurt met het NeuralHash-algoritme, dat een beveiligingsonderzoeker onlangs reverse engineerde. De scans vinden vooralsnog vanaf eind dit jaar alleen plaats in de VS. Als het algoritme rond dertig matches vindt, dan stuurt de software gegevens naar iemand van Apple die kijkt of de melding klopt. Daarna gaat de melding naar Nncmec, de Amerikaanse organisatie ter bestrijding van kindermisbruik. Die kan vervolgens aangifte doen.

Reacties (112)

[Donvermicelli]

Mischien ter aanvulling op de gaande discussie omdat ik dit nog niet voorbij heb zien komen:

Blijkbaar was Apple al langer bezig om dit systeem te implementeren, delen van de scanning API waren al aanwezig in eerdere iOS releases onder andere namen. Developers is dit blijkbaar opgevallen en hebben zodoende een eerdere versie van het scanning mechanisme weten te reverse engineeren. Hierdoor hebben ze ook geleerd hoe ze blijkbaar elke willekeurige afbeelding kunnen laten taggen als "verkeerd" of juist als "goed" in de ogen van het algorithme.

bron

Dit zet de deur open voor 2 problemen:

(1) Als dit bekend is onder echte misbruikers dan leveren we als gehele samenleving onze privacy in voor een mechanisme dit uiteindelijk vrijwel niemand gaat vangen. Is dit een eerlijke afweging op dat moment? (levert offer van privcacy op tegen nihile pak kans?)

(2) Eveneens kun je nu elke willekeurige foto zo bewerken dat deze als "fout" aangemerkt wordt (ook al is deze onschuldig) Hoe zwaar gaat dit misbruikt worden om op slinkse wijze "verkeerd" materiaal op iemand z'n telefoon te plaatsen zodat er een "geldige" reden is om dan toch maar een volledig onderzoek naar een persoon te starten? (Vergeet niet dat dit echt behoorlijke impact op iemand zijn leven kan hebben, zeker in de VS)

Een bijkomende zaak dat een andere "tool" die nu ontwikkeld is ook iMessage kan scannen terwijl dit end-to-end encrypted is(!). Dus Apple gaat lokaal al je berichten scannen op "misbruik"? Deze lijkt mij toch echt het minst verdedigbaar en laat mij toch echt sterk nadenken of ik ooit nog een iPhone wil kopen. (Dit staat echt lijnrecht tegenover hun privacy claims van voorheen)

bron2

Als laatste punt voor de mensen die nog steeds geen probleem met deze systemen zien onder het mom van ik heb niets te verbergen:

Hoe lang gaat het duren voordat Rusland een database van anti-lgbt materiaal aanlevert? Leuk dat Apple uit 2 verschillende databases kiest maar wat als Dubai hetzelfde doet? Gaat Apple met de hand kiezen wie ze wel en niet "vertrouwen"? Hoe lang duurt het voordat Rusland afdwingt dat "hun" database gekozen wordt?

Hoe lang gaat het duren voordat China gaat eisen dat dit systeem gebruikt wordt om "terrorisme" op te sporen? Hoe lang duurt het voordat de anti-terrorisme databse vol staat met materiaal dat gewoonweg anti-overheid is?

Tot slot: Hoe lang gaat het duren voordat WIJ een andere overheid krijgen die beslist dat politieke mening X echt totaal niet door de beugel kan en dat we daar maar iets aan moeten gaan doen?

Is het heel mischien niet gewoon een beter idee dat we niet elke persoon op aarde bij voorbaat crimineel verdacht vinden en we zelf wat meer moeite steken in echt sociaal contact met de omgeving om ons heen zodat we problemen kunnen voorkomen?

[Reactie gewijzigd door Donvermicelli op 26 juli 2024 22:33]

[Skywalker27]

Dat bedrijven dit scannen op hun eigen interne systemen prima. Maar dat een techbedrijf zijn klanten gaat scannen gaat helemaal de verkeerde kant op. Daarnaast hoort deze taak bij de overheid en niet in het publieke domein thuis. Dit heeft vergaande consequenties straks wordt je onschuldig getagged mag je dan niet meer met de samenleving (er komt straks een zwarte lijst let maar op) mee doen? Omdat Apple iets vind? Het gaat nu ook al super goed als je account gelocked wordt zie het forum.

[geerttttt]

Dus jij hebt liever dat Apple alle bijlagen forward naar een server van de overheid zodat die kan filteren wat materiaal is waar ze wat mee moeten?

Plus," onschuldig getagged en mag je niet meer met de samenleving mee doen"? Ho, ho, ho. je denkt toch niet dat je zomaar in de cel beland omdat er ergens een systeem aangeeft dat je strafbaar materiaal hebt? Dat wordt (lijkt me) handmatig bekeken, verder uitgezocht hoe of wat en ik neem aan zelfs qua ernst van de situatie geïnventariseerd waarna je eventueel je gedrag zult moeten verklaren. Jij denkt direct wel heel erg eng.

[Skywalker27]

Dus jij hebt liever dat Apple alle bijlagen forward naar een server van de overheid zodat die kan filteren wat materiaal is waar ze wat mee moeten?
Nee helemaal niet scannen. De overheid moet bij verdenking enz. de juiste processen doorlopen.

Plus," onschuldig getagged en mag je niet meer met de samenleving mee doen"? Ho, ho, ho. je denkt toch niet dat je zomaar in de cel beland omdat er ergens een systeem aangeeft dat je strafbaar materiaal hebt? Dat wordt (lijkt me) handmatig bekeken, verder uitgezocht hoe of wat en ik neem aan zelfs qua ernst van de situatie geïnventariseerd waarna je eventueel je gedrag zult moeten verklaren. Jij denkt direct wel heel erg eng.

Nee niet de cel maar bv alle techbedrijven zoals MS, FB, Apple enz. enz. gezamenlijke zwarte lijst net zoals de telefoonmaatschappijen, verzekeringen enz. En als je op die lijst staat mag geen gebruik meer maken van hun diensten. En dit beeld is dichtbij dan je denkt. Ik zou bijvoorbeeld mijn werk niet eens meer kunnen doen of mijn belasting aangifte om dat alles in O365 staat.

[Reactie gewijzigd door Skywalker27 op 26 juli 2024 22:33]

[bbob]

Grootste probleem is idd dat men een systeem heeft dat is de toekomst misbruik door overheden, totalitaire regimes mogelijk maakt.
China is nu al een te belangrijke markt voor apple geworden dus misschien kan de overheid daar al data in deze apple database uploaden en moet apple daar gewoon aan meewerken om in China nog diensten aan te kunnen bieden.
Natuurlijk kan ook de Amerikaanse overheid dat en zou een gek als Trump wel een staatsgreep gepleegd hebben dan had hij via apple meteen een handig systeem in handen om tegenstanders te elimineren.
Het klinkt kort door de bocht maar soms kan een balletje heel snel en raar rollen.

De vraag die iedereen zich moet stellen is of je dit wetende überhaupt nog apple diensten wil gebruiken, laat staan andere cloud diensten.

[field33P]

China is nu al een te belangrijke markt voor apple geworden dus misschien kan de overheid daar al data in deze apple database uploaden en moet apple daar gewoon aan meewerken om in China nog diensten aan te kunnen bieden.

Dat Apple dit in China doet is allang bekend, daarom is er ook een soort Chinese muur tussen de twee iClouds. Voor wat betreft Chinese pogingen om dit in andere landen te proberen: wetten om dat te verbieden beginnen tractie te krijgen.

[DeFeCt]

De vraag is wat die muur waard is als Apple de aandeelhouders verkiest boven de (privacy)rechten van de burger. In mijn ogen zeer immoreel gedrag en de reden dat ik Apple totaal niet adoreer

[bbob]

Zie daar kapitalisme gaat boven alles. tja en die gekleurde apple blijkt dat toch rot van binnen. Mooie woorden hebben alle techbedrijven maar ze vormen een steeds groter gevaar voor onze vrijheden.

[field33P]

Er is geen enkele indicatie dat Apple speciaal voor de Chinezen de klanten in het westen minder privacy geeft. Waarschijnlijk is de iPhone nog steeds de veiligst mogelijke telefoon die in China te koop is - mits je niet in het vizier komt van de Chinese overheid of een aan de staat gelinkte actor.

[DeFeCt]

Er is ook geen enkele indicatie dat als er aan de andere kant van de muur een zelfde soort regime opstaat Apple niet hetzelfde zou doen. Daarnaast is het vizier van de Chinese overheid aardig groot dus dat down playen vind ik behoorlijk naief.

[dasiro]

Hoe lang gaat het duren voordat WIJ een andere overheid krijgen die beslist dat politieke mening X echt totaal niet door de beugel kan en dat we daar maar iets aan moeten gaan doen?

je wil niet weten hoeveel background checks de staatsveiligheid uitvoert bij militairen met rechtse ideeën (duidelijk is wel dat ze er nog keihard in falen )

[Sp3ci3s8472]

Waarom wordt ook niet bij mensen met linkse ideeën dit gedaan? Rechts heeft niet het alleen recht op foute dingen.

[Zwarte_os]

Extreem rechts vormt op het moment een reëel gevaar voor de samenleving, welke ook door de AIVD (niet bepaald vriendjes op links) meerdere keren onderschreven.

In de jaren 20-90 had je juist meer controle op extreem linkse sympathisanten omdat deze toen terroristische aanvallen pleegden.

[Terracotta]

Wie zegt dat ze dat niet doen? Een poster op tweakers gaat echt niet weten wat inlichtingsdiensten wel en niet controleren. Zij die het wel weten zijn snugger genoeg om het niet rond te bazuinen...

[Arnoud Engelfriet]

Als het algoritme rond dertig matches vindt, dan stuurt de software gegevens naar iemand van Apple die kijkt of de melding klopt.

Wát precies stuurt men dan op? De bronfoto? Dat is gewoon verspreiding van kinderporno dan. En Apple heeft een grondig vermoeden dat ze dat materiaal naar zichzelf sturen, want er zijn kennelijk dertig matches. En wat gaan ze dan doen, een werknemer er naar laten kijken die dan "yep, CSAM" zegt?

Of sturen ze een kopie van de hash op plus metadata van je apparaat om dan het NCMEC te gaan informeren, de enige organisatie ter wereld die legaal CSAM mag ontvangen? Want ze zeggen "gegevens" en niet "copy of the photos".

18 U.S. Code § 2252 states that knowingly transferring CSAM material is a felony. (The only exception, in 2258A, is when it is reported to NCMEC.) In this case, Apple has a very strong reason to believe they are transferring CSAM material, and they are sending it to Apple -- not NCMEC.

Zeer lezenswaardig artikel (https://www.hackerfactor....es/929-One-Bad-Apple.html) over deze kwestie.

[GekkePrutser]

[...]
Wát precies stuurt men dan op? De bronfoto?

Wat ze opsturen in de 'safety voucher' is een lage resolutie kopie van de foto.

En wat gaan ze dan doen, een werknemer er naar laten kijken die dan "yep, CSAM" zegt?

Dit is inderdaad precies wat ze doen. Dit is overigens ook niets nieuws. Social media netwerken doen dit ook al jaren.

Dit valt me wel op Meestal ben je behoorlijk goed op de hoogte. En de antwoorden op deze vragen zijn uitgebreid in het nieuws gekomen de afgelopen weken. Over het "hoe" is geen enkel twijfel. Het "waarom" Apple deze radicale stap neemt is een stuk waziger.

Maar ik ben geen voorstander van wat Apple gaat doen hoor. Op hun eigen diensten scannen is 1 ding (en dat doen alle andere cloud providers ook). Op mijn eigen device scannen is echter een totaal ander verhaal. Ondanks dat ik niets te verbergen heb, vind ik het gewoon niet normaal dat iedereen hier kennelijk automatisch als verdachte wordt gezien.

[Reactie gewijzigd door GekkePrutser op 26 juli 2024 22:33]

[Arnoud Engelfriet]

Ik ben echt verbijsterd, dat heb ik echt gemist. De procedure die ik al jaren ken, is namelijk dat de provider het direct naar het NCMEC stuurt, dat is namelijk de wettelijk voorgeschreven procedure. Los daarvan besluit men gewoonlijk op basis van een hash-match het account te sluiten en/of het beeldmateriaal te verwijderen.

Help me even, waar lees ik hoe die interne reviews gaan?

[GekkePrutser]

Geen probleem hoor, maar het viel me gewoon op

Dat van die lage resolutie heb ik al hierboven qua bronvermelding gegeven. John Gruber heeft diepe interne contacten bij Apple. Apple noemt dit een 'visual derivative' maar wijdt hier zelf niet verder over uit. Het is bovendien ook zo dat zowel de afbeelding zelf als de voucher naar iCloud geupload wordt, ook bij een positieve detectie. Dus ook daar kunnen ze naar kijken.

Voor betreft de menselijke review: https://www.apple.com/child-safety/

Only when the threshold is exceeded does the cryptographic technology allow Apple to interpret the contents of the safety vouchers associated with the matching CSAM images. Apple then manually reviews each report to confirm there is a match, disables the user’s account, and sends a report to NCMEC. If a user feels their account has been mistakenly flagged they can file an appeal to have their account reinstated.

Een van de dingen die ik echter niet snap is waarom ze niet foto's uitsluiten die op het apparaat zelf gemaakt zijn. Die kunnen immers nooit in die database staan omdat deze alleen foto's bevat die allang in omloop zijn. En dit zou juist qua privacy overwegingen een hoop mensen geruststellen. Maar toch hebben ze die kans niet genomen.

[Reactie gewijzigd door GekkePrutser op 26 juli 2024 22:33]

[Arnoud Engelfriet]

Ik ben vast paranoide maar daar staat niet dat Apple zelf de foto bekijkt. "Reviewing a report" is niet "looking at the picture", en al helemaal niet ter beoordeling of de afbeelding strafbaar is.

Ik ben hier misschien te scherp in, maar ik zie Apple elders ook zulke weasel wording gebruiken, zoals dat ze zeggen "We scannen niet alles maar alléén wat je in iCloud zet". Laat dat nou 90% van alles zijn. En dat er een false positive van 1 op de triljoen zou zijn, wat een onbewijsbare bewering is bij perceptual hashes (mogelijk gewoon het aantal bits van die hash, maar dat werkt alleen bij cryptografische hashes)/

[GekkePrutser]

Ja ik ben het helemaal eens dat het een zeer vage bewoording betreft. Wat die handmatige review inhoudt is inderdaad niet gespecificeerd. Goed punt, en sorry als ik hier een beetje vooringenomen over deed. Ik had beter moeten weten dat je hier veel dieper in zit.

Ik had hier tot nu toe niet bij stilgestaan, ik dacht vanzelf dat het om het bekijken van visueel materiaal ging. Het is ook niet ongehoord dat er een moderator naar kijkt. Het is uitgebreid in het nieuws geweest dat bijvoorbeeld Facebook moderatoren letterlijk ziek worden van alle gore rotzooi die ze de hele dag moeten bekijken. Ik denk ook nog steeds dat het wel om een visuele check gaat, anders zou het geen nut hebben om die 'visual derivative' mee te sturen.

Ik geloof ook niet dat Apple zelf een inschatting maakt of het echt om kindermisbruik gaat of niet. Alleen om te kijken of het een foto is waar dit waarschijnlijk is, of een totaal willekeurige collision van een zeer onschuldig plaatje.

Maar inderdaad, als alleen de hashes handmatig gereviewd worden is het nog een veel zwaarder probleem. Inderdaad zijn er al talloze 'collisions' van de neuralhash verschenen. Dus dat is ook niet te voorkomen.

Edit: Ik heb nog wat meer gevonden dat mijn uitleg onderschrijft:

Visual derivatives from harmless user libraries will be seen by Apple very sel-
dom, if ever: Apple will see visual derivatives only if there are enough matches. The false
positive rate (the rate at which the system thinks that pictures match known CSAM pictures
when actually they do not) is low. But a single false positive does not result in an alert.
Cryptographic protocols mean that Apple sees visual derivatives only if there is an alert. By
choosing an appropriate threshold (the number of matches that cause an alert), Apple has
forced the false alert rate to be extremely low.

Dit komt uit de notes van een van de onderzoekers die Apple heeft ingehuurd om het systeem te behoordelen. Daar staat wel dat die derivatives bekeken worden door Apple. Ik heb elders gelezen dat het aantal matches 30 moet zijn voor ze er naar kijken en eventueel rapporteren (helaas heb ik geen notitie van de bron gemaakt).

Ik denk dat was het anders maakt bij Apple is dat het normaal gaat om 'harde' hashes (die geen enkele modificatie toelaten). Waarbij de kans op false positive veel lager is. En dat daarom deze check is ingevoerd (en dat het gaat om een zeer lowres versie om dit volgens de wet te mogen doen).

[Reactie gewijzigd door GekkePrutser op 26 juli 2024 22:33]

[Arnoud Engelfriet]

Dat ziek worden is precies de reden waarom Microsoft PhotoDNA ontwikkelde, wat aan de basis ligt van wat Apple nu doet. Zo kon men bij bijvoorbeeld cloudhosters foto's controleren zonder dit materiaal te hoeven bekijken. Dus het voelt voor mij dan heel raar dat je daarna dan toch weer handmatig gaat zitten kijken.

Collisions zijn leuk, maar het probleem wordt pas echt groot zodra men collisions met die officiële lijst weet te maken. De meneer achter Foto Forensics die ik aanhaalde (https://www.hackerfactor....es/929-One-Bad-Apple.html) heeft er ooit per toeval eentje gevonden: "The false-positive was a fully clothed man holding a monkey -- I think it's a rhesus macaque. No children, no nudity.") Het gaat er immers om dat de meldingen vals positieven geven, want twee collisions an sich zullen niet tot meldingen leiden.

[Anoniem: 1576590]

Collisions zijn leuk, maar het probleem wordt pas echt groot zodra men collisions met die officiële lijst weet te maken. De meneer achter Foto Forensics die ik aanhaalde (https://www.hackerfactor....es/929-One-Bad-Apple.html) heeft er ooit per toeval eentje gevonden: "The false-positive was a fully clothed man holding a monkey -- I think it's a rhesus macaque. No children, no nudity.")

Dat was op basis van MD5 hashes, met 128 bits al zeer veel sterker dan de (nu bekende) 96 bit lange NeuralHashes, die bovendien fuzzy zijn - d.w.z. niet ontworpen zijn om cryptografisch sterk te zijn, sterker, juist om ongevoelig te zijn voor kleine wijzigingen.

In Security Threat Model Review of Apple’s Child Safety Features staat dat Apple één test met 100M plaatjes gedaan heeft en 3 false positives vond. De vraag is hoe representatief hun dataset was.

In datzelfde document lees je onder "Human review and reporting" hoe dat proces zou moeten gaan.

[SirBlade]

Misschien kunnen ze dat modereren uitbesteden aan zedendelinquenten die levenslang hebben gekregen. Die groep zal geen enkel probleem hebben naar dat soort beelden te kijken en zal nooit een gevaar voor kinderen gaan vormen.

[GekkePrutser]

Mja. Het kan wellicht wel volgens de wet. Maar er zitten echter een heleboel vervelende ethische kantjes aan. Ten eerste is slavernij al een tijdje afgeschaft, zelfs voor veroordeelden. Het zou vrijwillig moeten zijn.

Ten tweede is er een kwestie van vertrouwen (we vertrouwen deze mensen niet toe in de maatschappij maar wel om deze veilig te houden?). Hoe weet je dat ze het goed doen. En we voeden deze mensen hun zeer ongezonde gevoelens, welke juist de reden is dat ze achter slot en grendel zitten. Ook nogal dubbel lijkt me.

Ik heb de oplossing ook niet maar ik denk niet dat dit 'm is.

[SirBlade]

Natuurlijk vrijwillig. Als vervanging voor de arbeid die gevangenen nu ook al uitvoeren om wat extra luxe te kunnen betalen. Als ze liever dat andere werk doen, prima.

We sturen dezelfde afbeelding naar een paar gevangen verspreid over verschillende gevangenissen (die dus nooit contact met elkaar hebben). En we geven ze zo nu een dan afbeeldingen waarvan we 100% zeker weten dat het wel/niet KP is. Een moderator die te vaak een afwijkend antwoord geeft of die de testafbeeldingen te vaak verkeerd beoordeeld wordt uit het programma verwijderd.

[WhatsappHack]

"We scannen niet alles maar alléén wat je in iCloud zet". Laat dat nou 90% van alles zijn.”

Afhankelijk van je settings dan he. (welke albums je synct of dat je überhaupt synct met de cloud (meervoud, want hetzelfde probleem doet zich voor bij Google Drive en Microsoft OneDrive bijvoorbeeld; maar dan in nog veel ergere mate.)) Foto’s plain-text accessible in de cloud zetten heb ik nooit als comfortabel ervaren en toen met de fappening werd extra duidelijk dat dat niet ongegrond is en met Google en Microsoft die met Machine Learning aan de haal gingen waarbij foto’s van je kindje in bad al geflagd werden geeft ook niet bepaald motivatie om foto’s in de cloud te smijten; zeker niet als je hele account er spontaan door geblockt kan worden terwijl je helemaal niets illegaals uploadt. Alles lokaal op het toestel, automatische versleutelde backups van de telefoons naar de NAS en periodiek handmatig dmv VeraCrypt naar een eigen servetje in t buitenland.

Het is maar hoe veilig je t zelf maakt. En qua gebruiksvriendelijkheid hoeft t niet eens zo te boeien. Iedereen kan z’n foto’s wel ff back-uppen naar een externe schijf. Of een Synology NAS bijvoorbeeld met Moments, of hoe ze t nu ook noemen, kan eigenlijk iedereen wel opzetten denk ik. Maar mensen zijn veelal te lui. En ik snap ‘t ergens wel, want de kans dat je hier ooit ook maar enig gezeik mee krijgt terwijl je geen CSAM-materiaal op je telefoon hebt is astronomisch klein, dus boeit men het heel weinig.

Natuurlijk is in een ideale wereld de cloud gewoon end-to-end encrypted, en de geruchten gaan dat Apple dat wil gaan doen, en kan je het wél veilig gebruiken. Maar op het moment, en volgens mij beseffen mensen dat nog altijd niet voldoende, is het gebruik van al die clouddiensten (OneDrive, iCloud, Google Drive, DropBox, etc.) allemaal een pot nat en een groot risico voor je privacy; al helemaal als je een zwak/recycled wachtwoord gebruikt (en absurd gevaarlijk als je dan ook nog eens geen 2FA gebruikt.)).

[Reactie gewijzigd door WhatsappHack op 26 juli 2024 22:33]

[Alxndr]

de enige organisatie ter wereld

Het lijkt mij toch wel dat er andere landen met vergelijkbare organisaties en/of wetgeving zijn? Bovendien, je quote (neem ik aan) Amerikaanse wet/regelgeving - die is enkel in de VS van toepassing.

[Arnoud Engelfriet]

Ik ken geen enkel land waar men in de wet heeft opgenomen dat een specifieke privéorganisatie (let wel, geen overheid, laat staan politie) CSAM mag ontvangen van internetdienstverleners (https://www.law.cornell.edu/uscode/text/18/2258A). Ik citeer die wet omdat Apple dit in de VS gaat doen én omdat ik dus geen wet uit een ander land weet.

[Anoniem: 1576590]

Gegeven dat Apple op devices wil scannen (met een aan OS-updates gekoppelde, lokaal opgeslagen, database) zit Apple (feitelijk iDevice users) met een ruimteprobleem: je kun niet meerdere GigaBytes op elk iDevice claimen.

Als er (zeer ruwe schatting) 100M bekende CSAM plaatjes zijn, kun je -als concessie- 12 bytes grote NeuralHashes gebruiken.

Dat is nl. een concessie tussen enerzijds false positives (en false negatives na sommige bewerkingen), en anderzijds de benodigde geheugenruimte op iDevices. Daarom kun je niet met zekerheid stellen dat het om kinderporno gaat bij een NeuralHash match.

Nb. Microsoft's PhotoDNA is 26x26 bytes (676 bytes) en detecteert ook verdraaien en croppen; de -nu bekende- NeuralHash niet.

Bovendien blijkt het een koud kunstje te zijn om aanschouwelijke collisions (zonder "grijze wolken" of andere opvallende artefacten) te vinden.

Zelfs als je niet minstens 30 onversleutelde NeuralHashes zou kunnen achterhalen (zie hier), kun je collisions maken tussen onbekende CSAM plaatjes en onschuldige beelden; die CSAM stuur je naar NCMEC en -zodra de NeuralHashes daarvan naar iDevices zijn verspreid-, de onschuldige beelden naar jouw target.

Op vergelijkbare wijze kun je DoS-aanvallen op de beeldinspecteurs niet uitsluiten, vooral niet naarmate er van meer NeuralHashes bekend wordt dat ze in de database zitten.

Kortom, ik vermoed dat de juristen van Apple ervoor hebben gewaarschuwd dat er veel false positives kunnen zijn; die grenswaarde van 30 beelden zou zelfs nog wel eens te laag kunnen zijn (te veel onterecht werk voor de inpecteurs van Apple).

[3raser]

Wát precies stuurt men dan op? De bronfoto?

En zelfs als het om de bronfoto gaat, hoe bepaald een Apple medewerker dan of het een kind is en kinderporno betreft? Leeftijd schatten via een foto is vrij lastig. Daarnaast is de wet niet in ieder land hetzelfde en kunnen bepaalde foto's voor bepaalde gebruikers mogelijk gewoon legaal zijn. Ook is de definitie van kinderporno belangrijk omdat porno naar mijn weten het verrichten van seksuele handelingen betreft. Een naaktfoto alleen is dus niet voldoende. Maar mogelijk heeft het Nncmec daar richtlijnen voor. Die organisatie is dan natuurlijk wel weer Amerikaans waardoor het mogelijk weer conflicteert met wetgeving in andere landen. Welke wetgeving wordt er eigenlijk gehanteerd? Die van de gebruiker, de server, het dichtstbijzijnde Apple kantoor of de hoofdvesting van Apple?

[Arnoud Engelfriet]

Het hele punt was dan ook: we kijken niet zelf naar foto's, we gebruiken een gevalideerde lijst met hashes die afkomstig is van een deskundige organisatie (NCMEC) die dit samen met politie en justitie uit diverse landen samen heeft opgesteld. Staat het op de lijst, dan is het CSAM, zo niet, dan -voor wat betreft deze check- niets aan de hand. Zo hoef je geen discussie te voeren en geen beoordeling te doen.

Ik had niet de indruk dat specifiek met wat er op die lijst staat, er discussie is over verschillende inzichten in landen. Maar in Nederland controleert de recherche de meldingen, zie bijvoorbeeld
https://uitspraken.rechts...nt?id=ECLI:NL:HR:2020:799

[WhatsappHack]

De grote sleutel zit hem in het woordje “knowingly”. (“Bewust”) Het systeem is gebouwd rond een perceptual hashfunctie die het weleens mis kan hebben. Ze doen er alles aan om dat te voorkomen; zo moet die treshold van 30 matches bereikt zijn en dan scant een 2e systeem nog eens om te proberen evt collisions uit te sluiten. Op dat moment is er weliswaar een goed onderbouwd *vermoeden* en een hele grote *kans* dat het inderdaad om CSAM-materiaal gaat, maar omdat perceptual hashing nou eenmaal niet waterdicht is, kan je het niet zeker weten. Derhalve is er op dat moment nog geen sprake van “knowingly”. Dat is er pas als de moderator de low-res derivative (dat is wat ze krijgen en kunnen unlocken) kan bekijken. En pas dán weet men het zeker en dan doet Apple ook wat het juridisch moet doen: melden bij NECMEC.

Daar komt imho nog bij dat je zou kunnen beargumenteren dat het maar de vraag is of Apple het verspreid, immers initieert de user de upload en geeft dit materiaal aan Apple. De cloudprovider heeft natuurlijk een aantal safe-harbors in de wetgeving dat ze niet meteen aansprakelijk zijn voor door de user geüpload illegaal materiaal. Dat ze het materiaal openen maakt het niet meteen verspreiding van.

Juridisch gezien lijken ze niets fout te doen en ik denk dat het legertje advocaten van Apple en NECMEC, die samenwerken, dit probleem wel zou hebben gezien.

-edit- rare typo fixed

[Reactie gewijzigd door WhatsappHack op 26 juli 2024 22:33]

[Arnoud Engelfriet]

Goed punt, hoewel ik twijfel of "knowingly" neerkomt op "actual knowledge". Ik had altijd gedacht "constructive knowledge", zeg maar je aanvaardt de aanmerkelijke kans dat het erin zit. (Wat wij voorwaardelijke opzet noemen). Maar goed, Apple zal erover nagedacht hebben.

[trayracing]

Even hardop denken. De vraag is: is er sprake van verspreiding van kinderporno, wat de verspreider feitelijk WEET ten tijde van verspreiding. In dit geval is het een stukje programmacode dat op basis van een VERMOEDEN/INSCHATTING 'iets' verspreidt. Dat 'iets' KAN kinderporno zijn, maar KAN ook geen kinderporno zijn. Zie het eerdere artikel over neuralhash collisions.

Bovendien vraag ik me af of de verspreider - in dit geval een stukje programmacode - onder diezelfde wet valt.

Maar goed. Ik heb er inhoudelijk geen verstand van, maar heb wel het idee dat het uiteindelijk staat of valt op dit soort nuances.

Laat overigens ook duidelijk zijn dat ik dit geen goede ontwikkeling vind van Apple. Los van het ogenschijnlijk nobele streven, want kinderporno is natuurlijk zo verwerpelijk als maar kan. Maar juist hun privacy voorvechters imago krijgt (wat mij betreft) een flinke deuk. Zonde.

[BeosBeing]

CSAM
https://iamapps.belgium.be/sma/generalinfo?view=csam
Informatievideo van de Belgische Overheid
https://nl.wikipedia.org/wiki/CSAM

[Reactie gewijzigd door BeosBeing op 26 juli 2024 22:33]

[Chintzy]

En Apple heeft een grondig vermoeden dat ze dat materiaal naar zichzelf sturen, want er zijn kennelijk dertig matches.

Kun je dat wel zo stellen?

Zoals ik het heb begrepen, weet Apple helemaal niets van het aantal matches. Ook niet een vermoeden, aangezien er zowel zogenaamde synthetische safety vouchers als (eventuele) safety vouchers vanwege matches worden verzonden bij het uploaden van foto's naar de iCloud.

Pas naderhand, en bij binnenkomst van de 30e safety voucher als gevolg van een match, is duidelijk dat een drempelwaarde is overstegen en kan de inhoud van die safety vouchers uitgelezen worden.

Tevens vraag ik mij af wie, juridisch gezien, het materiaal verspreidt. Is dit een handeling in opdracht van Apple? Of toch de gebruiker die de bewuste foto's naar de iCloud uploadt?

De auteur in het gelinkte artikel is er heel stellig over, maar ik vraag het mij oprecht af.

[Reactie gewijzigd door Chintzy op 26 juli 2024 22:33]

[Arnoud Engelfriet]

Apple heeft toch een threshold van 30 ingesteld op basis van hun inschatting dat de kans op vals positieven dan verwaarloosbaar klein is? Hoe moet je dat anders interpreteren als "'oké bij dertig foto's weten we zeker (genoeg) dat er CSAM in deze batch zit"? Dan wéét je toch gewoon dat dat erin zit?

Ik ben vrij stellig overtuigd dat het Apple is. Weliswaar zet de gebruiker het in gang door het materiaal in iCloud te zetten, maar dat is niet een heel bewuste handeling of zelfs maar eentje die de gebruiker wil. Ik wil ook niet perse dat mijn mail op virussen gescand wordt, maar toch gebeurt dat in de keten wanneer ik die verzendt. Zoiets.

Daar komt bij dat het hele proces door Apple is ontwikkeld om iets te doen dat Apple wil, en waar niemand behalve Apple voordeel bij heeft. Ik vind het maatschappelijk dan heel moeilijk om te zeggen dat de gebruiker het proces uitvoert.

[Chintzy]

Apple heeft toch een threshold van 30 ingesteld op basis van hun inschatting dat de kans op vals positieven dan verwaarloosbaar klein is? Hoe moet je dat anders interpreteren als "'oké bij dertig foto's weten we zeker (genoeg) dat er CSAM in deze batch zit"? Dan wéét je toch gewoon dat dat erin zit?

Mijn twijfel gaat er om dat elke individuele safety voucher vanuit een match wordt meegestuurd tijdens de iCloud upload. Of dit de 1e match is of de 29e, heeft Apple geen weet van, dus ook van die 1 op een biljoen zekerheid is op dat moment nog geen sprake.
Die zekerheid in de vorm van een threshold, uit zich dus pas server-side en niet client-side.

Je zou kunnen stellen dat een enkele match helemaal geen kleine kans op een foutpositief bevat, getuige de drempelwaarde van 30.

Ik ben vrij stellig overtuigd dat het Apple is. Weliswaar zet de gebruiker het in gang door het materiaal in iCloud te zetten, maar dat is niet een heel bewuste handeling of zelfs maar eentje die de gebruiker wil. Ik wil ook niet perse dat mijn mail op virussen gescand wordt, maar toch gebeurt dat in de keten wanneer ik die verzendt. Zoiets.

Daar komt bij dat het hele proces door Apple is ontwikkeld om iets te doen dat Apple wil, en waar niemand behalve Apple voordeel bij heeft. Ik vind het maatschappelijk dan heel moeilijk om te zeggen dat de gebruiker het proces uitvoert.

Dit zou absoluut zo kunnen zijn. Ik zal de laatste zijn die over dit standpunt gewicht in de schaal kan leggen, simpelweg buiten mijn veld van expertise.

De vraag kwam puur in mij naar boven de eerste keer dat ik de gelinkte blogpost las, waarin die stelling - weliswaar onderbouwd - maar ogenschijnlijk zonder enig nuance als feit werd gepresenteerd.
Ik kon mij niet aan de gedachte onttrekken dat de juridische afdeling van Apple de CSAM implementatie niet aan dezelfde regel van de wet heeft getoetst, of nog erger; moedwillig heeft genegeerd.

Zekerheid krijgen we hier pas over als de interpretatie van dat stukje wettekst in een rechtszaak zou worden behandeld.

[Arnoud Engelfriet]

Mijn twijfel gaat er om dat elke individuele safety voucher vanuit een match wordt meegestuurd tijdens de iCloud upload. Of dit de 1e match is of de 29e, heeft Apple geen weet van, dus ook van die 1 op een biljoen zekerheid is op dat moment nog geen sprake.

Ik had het begrepen als "er wordt niets geupload totdat er (in korte tijd) 30 matches zijn, daarna worden die alle dertig als een batch geupload". Ik las namelijk hier (https://www.apple.com/chi...Child_Safety_Features.pdf)

The iCloud Photos servers can decrypt the safety vouchers
corresponding to positive matches if and only if that user's iCloud Photos account exceeds a certain number of matches, called the match threshold.

Nadat die threshold is gehaald, gaan alle 30 de beelden naar Apple. Het is in zoverre wel genuanceerd dat Apple dan alleen de safety vouchers te zien krijgt en niet de originele beelden. Je zou dan kunnen zeggen, die zijn zo klein dat we het geen CSAM meer vinden.

[Chintzy]

Met mijn relatief beperkte technische kennis, had ik dus begrepen dat safety vouchers juist wel direct worden meegestuurd [EDIT: zie bronvermelding²]. En om te voorkomen dat er conclusies kunnen worden getrokken over het aantal matches en welke foto's matchen, worden er ook synthetische safety vouchers gegenereerd en meegestuurd.

Echter wordt elke safety voucher versleuteld met een geheim en kunnen deze pas uitgelezen worden wanneer 30 van die geheimen bekend zijn (de geheimen van synthetische safety vouchers dragen daar niet aan bij).
Zonder die 30e safety voucher afkomstig van een match, zijn alle safety vouchers versleuteld en onleesbaar. Dat kunnen er net zoveel zijn als het aantal foto's dat je upload, echter zegt dat niets over hoeveel CSAM matches daar tussen zitten, als die er dus al tussen zitten.

Een ontsleutelde non-synthetische safety voucher bevat de gegenereerde NeuralHash en een lage resolutie kopie van de foto in kwestie.
Over dat laatste ben ik¹ nog steeds van mening dat de gebruiker in beheer is over de keuze om van iCloud opslag gebruik te maken voor diens foto's. iOS faciliteert het proces en genereert tijdens het uploaden een lage resolutie kopie van de foto en kan het systeem op basis van de NeuralHash een inschatting maken of dat CSAM is, met een redelijke marge voor een foutpositief als we het hebben over een individuele match. Naar mijn mening niet zeker genoeg om te stellen dat er 'bewust' CSAM wordt verspreid.

Die zekerheid krijgen de meeste Cloud diensten door het materiaal op de servers te scannen, waarbij in het midden wordt gelaten of het gaat om vermoedelijk CSAM of geheel ongerelateerd daaraan.
Die zekerheid krijgt Apple door de versleutelde safety vouchers te proberen te ontsleutelen, wat pas kan als er daadwerkelijk 30 CSAM matches tussen zitten.

Dat is best een belachelijk ingewikkeld systeem om CSAM van je server te weren, echter heeft het wel als resultaat dat Apple (en diens medewerkers!) zo min mogelijk kennis vergaart over klant data en het ontsleutelen van de foto's op hun iCloud servers drastisch terug kan schroeven tot het noodzakelijke (bijv. in geval van 30 CSAM matches, gerechtelijk bevel, etc.).
Daarnaast wordt er gespeculeerd dat het zelfs de weg vrij maakt om iCloud Fotobibliotheek toe te voegen aan het rijtje end-to-end encrypted data. Ik ben hier niet direct van overtuigd. Als dat de weg vrij maakt, waarom dan wachten? (of komt dat wel degelijk tegelijkertijd, maar hebben ze het niet kenbaar willen maken?)


¹) Met mijn non-juridische kennis, dus voor wat het waard is.
²) https://www.apple.com/chi...ion_Technical_Summary.pdf - pagina 4, paragraaf 3:

...
The device creates a cryptographic safety voucher that encodes the match result. It also encrypts the image’s NeuralHash and a visual derivative. This voucher is uploaded to iCloud Photos along with the image.

[Reactie gewijzigd door Chintzy op 26 juli 2024 22:33]

[grootrde]

Wat men vergeet is dat deze bedrijven(Apple, Google, Microsoft, enz.) verplicht zijn om op kindermisbruik te controleren. Dit gebeurd door te controleren op hashes die gemaakt zijn van alle bekende
beeldmateriaal van kinderporno. De foto's zelf worden niet bekeken, alleen de hash die van de foto is gemaakt(indien bekend).
Ook wordt niet alleen de mail gescand, ook zoekopdrachten worden meegenomen.

Komt er een hash langs dan zijn ze verplicht om dit door te geven aan de FBI die hier prioriteit aan geeft.
De FBI neemt indien nodig contact op met het opsporingsapparaat in het land van de gebruiker die de foto gedeeld heeft. Deze zal dan een huiszoeking doen bij de persoon waar de hash is gesignaleerd.

[newtastyland]

In het topic over Microsoft die accounts disabled heb ik niet voorbij zien komen dat FBI contact opneemt met gebruikers (tenminste niet in NL)?

[grootrde]

De FBI neemt contact op met de tegenhanger, bij ons dus de politie.
Zij ondernemen verdere actie en heb nu 2 keer meegemaakt dat dit een huisbezoek was, waarbij alles werd gecontroleerd.
Dit alles gaat vrij vlot, binnen een paar maanden van overtreding tot huiszoeking.

[NoahAmber]

Wat men vergeet is dat deze bedrijven(Apple, Google, Microsoft, enz.) verplicht zijn om op kindermisbruik te controleren.

Welke wet refereer je aan?

[g1n0]

"E-mail is niet versleuteld". Is dit niet een beetje kort door de bocht? Ik zou verwachten dat deze boefjes toch wel iets van moeite doen (vooral na dit soort berichten) om bijlages in ieder geval te versleutelen. Een simpel beveiligd ZIP'je maken kan vrijwel iedereen.

[himlims_]

daarom - voor mij gaat het verhaaltje ook niet op (scannen van icloud op kinderporno). dat soort figuren/netwerken spelen zich vooral ver af van 'mainstream' toepassingen. Welke 'kinderporno liefhebber' gaat dat op icloud opslaan? 0.0000001% (?)

bij de nieuwsberichten over dit soort mafkezen heeft met het altijd over stapels HDD's en andere cold-storage.

natuurlijk is dat soort materiaal verwerpelijk, maar twijfel oprecht naar de werkelijke intenties die hierachter schuil gaan. Terrorisme/kinderporno is altijd een 'makkelijk escuus' om dit soort zaker erdoor te drukken (wie kan hier nu bezwaar tegen hebben). Helaas heeft het verleden ons geleerd dat dit een begin stapje is [..]

[rijnsoft]

Volgens mij heeft Apple er ook helemaal geen belang bij om te scannen maar ze zijn het wettelijk verplicht. Kijk bijvoorbeeld eens naar sectie 230 van de "United States Communications Decency Act". Daar staat dat Apple vrijgepleit wordt van verantwoordelijkheid voor illegaal materiaal zolang ze voldoende maatregelen nemen om dit spul zo snel mogelijk te verwijderen. Het is dus geen excuus, maar noodzaak.

Ah, je zult verbaast zijn over hoeveel stomme dingen criminelen doen als het op ICT aan komt.

[BeosBeing]

Volgens mij heeft Apple er ook helemaal geen belang bij om te scannen maar ze zijn het wettelijk verplicht. Kijk bijvoorbeeld eens naar sectie 230 van de "United States Communications Decency Act". Daar staat dat Apple vrijgepleit wordt van verantwoordelijkheid voor illegaal materiaal zolang ze voldoende maatregelen nemen om dit spul zo snel mogelijk te verwijderen. Het is dus geen excuus, maar noodzaak.

Voor Apple is, of wordt (toekomstige versleutelde iCloud) het misschien noodzaak, maar op welke gronden is die "United States Communications Decency Act" ingevoerd?

Ah, je zult verbaast zijn over hoeveel stomme dingen criminelen doen als het op ICT aan komt.

Er zijn natuurlijk altijd slimme en domme, de groten, de werkelijke misbruikers, zullen ze waarschijnlijk toch niet kunnen pakken zonder echt speurwerk.

[rijnsoft]

Wat het motief achter de Communications Decency Act uit 1996 was?
De politiek wilde pornografie op het internet reguleren omdat men bang was dat het uit de hand zou lopen. Je weet wel: "Denk aan de kinderen", en zo. De Amerikaanse cultuur is erg preuts. Seks is vies en verwerpelijk tenzij het plaatsvindt in de juiste context: Het huwelijk. Het Huis van Afgevaardigden bedacht sectie 230 welke bedrijven als Apple beschermt tegen content van derden. Letterlijk:

No provider or user of an interactive computer service shall be treated as the publisher or speaker of any information provided by another information content provider.

Uit jurisprudentie blijkt nu dat providers wel een actieve rol moeten spelen in het voorkomen dat hun systemen gebruikt worden voor het verspreiden van illegaal materiaal.

[BeosBeing]

.. Je weet wel: "Denk aan de kinderen", en zo. De Amerikaanse cultuur is erg preuts. Seks is vies en verwerpelijk tenzij het plaatsvindt in de juiste context: Het huwelijk.

Dat is een bekend gegeven, terwijl anderzijds nergens de losbandigheid zo breed in alle lagen van de bevolking verspreid is. Dezelfde senatoren die Elvis heupwiegen verboden hadden zelf waarschijnlijk sexblaadjes in hun kantoor. Aangezien je diezelfde hypocrisie ook in Nederland in vele protestantse kerkgroeperingen tegenkomt (met name orthodox gereformeerd,gereformeerd vrijgemaakt, e.d.) is dit volgens mij sterk verbonden met het Calvinisme.
Het zijn ook de Calvinistische puriteinen en de Nederhollandse Calvinisten die massaal naar Amerika wijn geëmigreerd, en daar de USA hebben opgericht.

http://www.godutch.com/ne...?id=1976&search=Staphorst

Uit jurisprudentie blijkt nu dat providers wel een actieve rol moeten spelen in het voorkomen dat hun systemen gebruikt worden voor het verspreiden van illegaal materiaal.

Systeem van common law.

[Donstil]

Nah ik denk niet dat de gedachte 'kinderporno liefhebbers zitten niet op dit soort diensten' een juiste is.
Een van de afgelopen weken kwam al naar voren dat er bij bijvoorbeeld Faceblook al 4,5 miljoen profielen zijn geblokkeerd door deze methode, veel meer mainstream dan Facebook gaat het niet worden ben ik bang.

[The Chosen One]

Ik vraag me dan af hoeveel van die accounts zijn dan nep of niet traceerbaar naar een persoon beter gezegd.

Want zeggen “kijk facebook heeft zoveel kinderporno!” en die beredenering voor scannen op telefoons te gebruiken zou dan beetje scheef zijn.

Iemand zou eerder een nep account riskeren dan bijv zijn apple account lijkt me dan. Die de meeste mensen dan voor alles gebruiken.
En als je dan slim genoeg bent om bijv een 2e telefoon te gebruiken dan gebruik je vast ook wel Mega of Sync of iets e2e encrypted.

[Meiklokje]

Begrijp het, csam is een onzin argument om dit soort praktijken goed te praten bij apple bij hun volgende keynote. Je telefoon is gelijk een portefuille en wat daar in zit hoort prive te zijn en daar heeft apple 0,0 zaken mee. En daar zit het probleem met dit soort apparaten nu dat mensen hun leven stockeren op dit soort devices en dit soort technologie 100 procent blindelings vertrouwen. Ik heb straks nog een ganse pagina s posts gelezen op mac rumors, zou je ook eens moeten doen. Apple is nu het 2de google. Als je eens die apple adepten tegen hun schenen schopt met dit soort fratsen kan het wel eens game over zijn met apple en dan gaat de verkoop van iphones, ipads en mac s zo de kelder in. Privacy is normaal het nummer 1 argument om een apple device te willen en dat wordt nu totaal teniet gedaan met zon rootkit op je device, is het een telefoon een tablet of een computer.

[Fluttershy]

bij de nieuwsberichten over dit soort mafkezen heeft met het altijd over stapels HDD's en andere cold-storage.

Wel met de kanttekening dat we hier met een media bias te maken hebben. Een pedofiel met 50 afbeeldingen en drie filmpjes zal de media niet halen want klein bier.

[bytemaster460]

Zoals ook al eerder in de discussies over het scannen naar KP naar voren kwam: heel veel mensen ter wereld doen dat nog steeds achteloos. Veel mensen hebben geen computer thuis, of ze hebben geen moderne middelen ter beschikking maar ze hebben wel een smartphone. Net zoals veel communicatie over terrorisme gewoon via Facebook en mail verloopt gaat dat met KP ook zo. De doorgewinterde grootverzamelaar ga je er niet mee pakken. Het zijn de kleine vissen.

[imp4ct]

Wat ik me hier eigenlijk afvraag is ... wat doe Google in zijn GMail eigenlijk met dit soort zaken?
Ik ben persoonlijk al meer dan 10 jaar een gebruiker van de betalende versie van GMail en ik veronderstel dat dit ervoor zorgt dat Google een heel stuk minder van mijn e-mail content kan / mag scannen, filteren ...

Maar ik heb eigenlijk geen idee hoe dit zit bij de gratis versie waar ze natuurlijk volgens mij wel de content van je e-mails door een algoritme gooien om zo je gerichte reclame te kunnen serveren.

[Sinnergy]

En dan heb je nog een tussenin situatie, waar ik mijn eigen domein heb via google (en dus (bijna) al hun services) van toen dit nog gratis was (en dus nog altijd gratis is, los van het domein natuurlijk, daar betaal ik voor)

Ik denk dat als je een 'kopie' opvraagt van uw google data, dat je daar kan uit afleiden of ze mails nog parsen of niet. Ik dacht bvb dat ze elke aankoop bvb via bol.com 'extracten' en apart bijhouden (en dat zit dan in hun 'export').

[Hulliee]

De spam-filters van Gmail en Outlook scannen ook de e-mail op inhoud. Daar is een categorie kindermisbruik bijgekomen.

[slijkie]

Apple is echt oerdom bezig, hun hele ‘privacy’-imago helpen ze in rap tempo om zeep.

Erg jammer.

[newtastyland]

Maar wat dan wel doen? Niets doen met de kans te worden gebrandmerkt worden als bedrijft dat meewerkt aan het verspreiden van CP?

[Meiklokje]

Dat heeft met CP niks te zien, lees mijn vorige post hoe het werkelijk zit, ze kunnen dit ook inzetten voor andere content. Het begint ergens, waar stopt het ? Hoeveel macht moet een bedrijf nog hebben.

[m_snel]

Ik kan me toch niet echt voorstellen dat mensen die hier bewust mee bezig zijn, dit via de mail versturen.

[HitDyl]

Volgens mij hebben ze een hoop slapende honden wakker gemaakt door het presenteren van hun ‘privacy vriendelijke’ wijze van scannen op iPhones met iCloud. Marketingtechnisch hadden ze het geloof ik beter stilletjes kunnen doen zoals Microsoft en Google hebben gedaan.

[Crp]

En dan weer een hoop gezeik en rechtszaken aan je broek omdat je de klant niet voldoende hebt geïnformeerd over de nieuwe functies
Lees: nieuws: Apple maakt vervangen accu van iPhones goedkoper

[laptopleon]

@HitDyl heeft wel een punt. Google, Microsoft en Dropbox etc doen dit ook al jaren maar hebben het nog nooit hardop gezegd in een persconferentie. Nu Apple het ook blijkt te doen valt iedereen van zijn stoel maar in feite had praktisch niemand door dat het al jaren de norm is.

[OxWax]

Tijd om de boel eerst te encrypteren alvorens up te loaden?
Is dit mogelijk?

[NotWise]

Uiteraard. Als jij bijvoorbeeld een Synology NAS hebt dan kan je data encrypted uploaden naar je Cloud provider. Je kan ook een NL cloud provider kiezen die al automatisch encryptie toepast. Als je echt paranoïde bent dan doe het dubbel

[Crp]

Dan is de encryptie al niet meer nodig aangezien er alleen gecontroleerd word op bestanden die naar de iCloud gaan. Het uitzetten van iCloud backups of een andere cloud dienst kiezen is al genoeg.

[NotWise]

De vraag was of het mogelijk is om te encrypten alvorens te uploaden. Uiteraard kan je Icloud uitzetten, maar dan kan je er ook niet meer gebruik van maken.

[SwaggyEggs]

Cryptomator

[rijnsoft]

Ga er gerust van uit dat iedereen er lustig op los scant, dat is niet nieuw. Ook niet nieuw is dat jouw interacties met services gelogd en geanalyseerd worden. Als het iets waard is wordt het verkocht. Je TV kijk gedrag? Money. Je aankopen? Dat wordt ook ten gelde gemaakt. Je verplaatsingen? Zelfde. Alles wat op een elektronische manier geregistreerd en geanalyseerd kan worden wordt gebruikt. Gebruikers zijn meestal bedrijven en overheden, om te adverteren of te controleren. Computers maken mogelijk wat voorheen niet kon. Ook wat Apple doet, namelijk via software op jouw machine dingen scannen, is niet nieuw. Microsoft scant er lustig op los in Windows 10: Welke apps gebruik je, hoe lang, welke functies? Android hetzelfde. De enige manier om enige privacy te hebben is een computer gebruiken los van het internet, maar dat is lastig...

[Crp]

De enige manier om enige privacy te hebben is een computer gebruiken los van het internet, maar dat is lastig...

Totaal niet, je netwerk er uit trekken kost niet veel moeite

[Anoniem: 1576590]

Nadat "gmaxwell" deze fraaie collision postte, schreef hij in deze bijdrage dat hij geen nieuwe collisions meer gaat posten omdat hij vermoedt dat Apple gebruik/misbruik kan maken van zijn resultaten en omdat Apple, naar verluidt, het NeuralHash algoritme (dat nu in iOS pre v15 zit) gaat wijzigen.

Mijn eigen gedachten hierover: bij (zeer ruwe schatting) 100 miljoen CSAM plaatjes en een NeuralHashlengte van 12 bytes levert elke iDevice bezitter ruim 1GB geheugen in.

En het zou mij niet verbazen als je, met relatief weinig inspanning, 30+ NeuralHashes kunt reversen uit die database; in elk geval bij het huidige (gepubliceerde) protocol.

Als ik het goed begrijp zullen de NeuralHashes in de DB versleuteld zijn met een public key. Die public key wordt dan meegeleverd zodat van foto's op het iDevice berekende NeuralHashes daarmee kunnen worden versleuteld, waarna naar zo'n resultaat wordt gezocht in de DB.

Vermoedelijk zal iOS ook naar kleine variaties van de NeuralHash zoeken. Een NeuralHash (huidige versie) is immers een vector (array) van 96 onafhankelijke bits. Door één voor één die 96 bits te flippen (en het resultaat te versleutelen met de pubkey en daarnaar te zoeken in de DB) check je met een Hamming distance van 1. Een Hamming distance van 2 vereist natuurlijk veel meer berekeningen.

Sowieso is 96 bits, naar moderne cryptografische maatstaven, zwak (d.w.z. brute force zou wel eens mogelijk kunnen zijn). Daarbij gaat het hier niet om semi-random getallen, maar vermoedelijk met bias.

Ik vermoed dat als je deze brute force attack begint met een typisch (porno-) plaatje, en vervolgens de Hamming distance laat oplopen, je veel eerder dan wellicht verwacht onversleutelde NeuralHashes kunt terugvinden.

We zullen moeten afwachten waar Apple mee komt in iOS 15. Anderzijds kunnen zij geen databases van vele GB op smartphones met 64GB zetten, en ondertussen neemt het aantal bekende CSAM plaatjes alleen maar toe (laat staan dat je ook filmpjes zou willen herkennen).

Edit 20:34: typo gefixed en, off topic: ik googlede tegen 20:00 nog wat naar neuralhash reversing public key en vond mijn tekst hierboven, matig vertaald en zonder vermelding van mijn naam, nu al terug in -bezoeken op eigen risico-: https://www.world-today-n...since-2019-computer-news/.

[Reactie gewijzigd door Anoniem: 1576590 op 26 juli 2024 22:33]