Onderzoeker achterhaalt Apples NeuralHash-algoritme en kan collision veroorzaken

Apples controversiële NeuralHash-algoritme voor het opsporen van foto's van kindermisbruik kan ook afbeeldingen herkennen die een ander formaat of een compressie hebben. Een onderzoeker heeft de code bekeken, en zegt daarmee ook collisions te kunnen veroorzaken.

Onderzoeker Asuhariet Ygvar heeft deze week een tool op GitHub gezet die een eigen versie van NeuralHash maakt. Volgens Ygvar heeft hij de code daarvoor uit iOS 14.3 gehaald, waar de code al in zat. Via reverse engineering wist hij daar een tool van te bouwen. Met de tool van Ygvar is het mogelijk het detectiesysteem uit te proberen op andere telefoons, voordat dat definitief wordt uitgerold voor alle gebruikers. Het is een Python-script waarmee de NeuralMatch-hash kan worden achterhaald op iOS of macOS. NeuralHash is het hashingalgoritme dat Apple gaat gebruiken in iOS 15. Ygvar zegt in een post op Reddit dat hij hoopt dat onderzoekers het algoritme en Apples technologie met zijn tool 'beter kunnen leren begrijpen'.

Ygvar zegt dat de eerste experimenten met de tool laten zien dat NeuralHash om kan gaan met het schalen of comprimeren van afbeeldingen. Dat betekent dat een afbeelding dezelfde hash blijft houden als die gecomprimeerd wordt of een ander formaat krijgt. Bij het croppen of draaien van afbeeldingen gebeurt dat niet.

Inmiddels zijn andere onderzoekers ook al met de tool aan de slag gegaan. Een van hen ontdekte dat het mogelijk is om een collision te veroorzaken. Dat betekent dat twee verschillende afbeeldingen dezelfde hash produceren. Bij veel oude hashalgoritmes zoals MD5 of sha-1 is dat de laatste jaren makkelijk geworden, waardoor die niet meer als veilig worden gezien. Ygvar bevestigt op GitHub dat zo'n collision inderdaad mogelijk is. Apple zei bij de introductie van de technologie dat er 'een kans van een op een biljoen was' dat er een hashmatch zou zijn tussen twee niet-gerelateerde afbeeldingen.

Apple zegt in een gesprek met journalisten dat het bedrijf rekening heeft gehouden met dergelijke collisions. Er zouden waarborgen zijn ingebouwd waardoor gebruikers niet ten onrechte worden verdacht van het uploaden van kindermisbruikafbeeldingen. Zo krijgt Apple pas een waarschuwing als er minstens dertig matches zijn gevonden. Bovendien zou iemand met kwade bedoelingen toegang moeten hebben tot de hashdatabase die Apple gebruikt en die is niet openbaar toegankelijk.

Apple kondigde het zogenaamde csam-scanning vorige week aan. Het bedrijf gaat iPhones en iPads lokaal scannen op child sexual abuse material door foto's die worden geüpload naar iCloud te hashen en die hashes te vergelijken met hashes uit een database van het National Center for Missing and Exploited Children. Het plan krijgt veel kritiek van beveiligingsonderzoekers, privacyactivisten en juridisch experts. Die kritiek gaat er onder meer over dat activisten vrezen dat Apple de techniek in de toekomst ook gaat inzetten voor ander ongewenst beeldmateriaal zoals terrorisme of dat overheden Apple onder druk gaan zetten om met de techniek ander ongewenst beeldmateriaal te censureren.

Reacties (243)

[Niet Henk]

Wat nogal relevant is, is dat collisions bij NeuralHash onvergelijkbaar zijn met collisions bij MD5 en SHA1.

MD5 en SHA1 zijn klassieke hashingalgoritmen, waarbij elke kleine verandering een totaal andere hash op moet leveren, en een collision sowieso foute boel is. Een collision bij een klassieke hash geeft aan dat de hash niet cryptografisch veilig is en er een complexer algoritme gebruikt moet worden.

NeuralHash is een locality-sensitive hashing algoritme, waarbij kleine veranderingen juist wel dezelfde hash moeten opleveren. Een collision is dus enkel foute boel als de afbeelding substantieel anders is. Omdat je de grens kan proberen op te zoeken als je toegang tot het algoritme hebt (continu kleine veranderingen maken en kijken of het systeem het tolereert), zijn collisions met enige zichtbare verandering onvermijdelijk zodra het algoritme publiek is.

[WhatsappHack]

Aanvullend is het ook nog zo dat als ik het goed begrijp dat ze naast het publieke algoritme ook op de server nog een proprietary algoritme hebben die ze niet delen met anderen. Als de telefoon dus besluit dat 50 van jouw afbeeldingen CSAM zijn (wat dan waarschijnlijk ook zo is maar dat ff terzijde, we doen nu even alsof het allemaal false positives zijn), al dan niet door (doelbewuste) image collisions, dan gaat het algoritme op de server er eerst ook nog eens overheen om te verifiëren of ze tot dezelfde conclusie komen. Pas dán komt het scenario in zicht dat een medewerker de geflagde foto’s gaat controleren. En indien geen CSAM wordt het dan weer discarded.

Zelfs als je dus het publieke algoritme doelbewust daadwerkelijk weet te misleiden via image collisions, dan komt het private algoritme waarschijnlijk alsnog tot een andere conclusie en discard het weer… Je kan moeilijk een afbeelding dusdanig manipuleren dat ie twee verschillende hashing algoritmes weet te laten colliden.

Apple “derived” dus twee verschillende perceptual hashes van dezelfde afbeelding; waarvan bij slechts één daarvan het algoritme publiek bekend is en de tweede onafhankelijke functie die op de controle servers draait bewust niet. En om de hashes van CSAM te weten te komen moet je daarnaast of die database weten te jatten of zelf KP downloaden om het algoritme op los te laten.

Dit alles maakt de functie overigens nog steeds geen goed idee, daar niet van.

[Reactie gewijzigd door WhatsappHack op 22 juli 2024 20:41]

[leuk_he]

Is het hele idee niet dat de detectie juist alleen op de client gebeurd, zodat vervolgens een (end to end) encrypty op de afbeelding kan worden losgelaten? want als je op de server een hash kunt berekenen is er geen reden meer om al op de client een (energieverslindende) eerste hash te berekenen.

[WhatsappHack]

iCloud is op het moment niet end-to-end encrypted. Er kan dus sowieso een hash op de server berekend worden, daarom is het nu ook wat vaag waarom een van de scans on-device gebeurt; Apple heeft al toegang tot alle foto's die je uploadt, dus het kan ook prima in iCloud gedaan worden.

Echter, het gerucht gaat dat E2EE-iCloud eraan zit te komen en dan is dit wederom iets dat in het rijtje "makes sense" past, technologisch gezien dan. Dus de afbeeldingen die je naar iCloud uploadt, worden in dat geval allemaal end-to-end versleuteld. Alleen jij kan er bij. Echter, de afbeeldingen die op de telefoon een match hebben met CSAM worden daarnaast apart versleutelt geupload naar het controlesysteem. Als het er meer dan 30 zijn kan het ontsleuteld worden, bij minder komt de decryptie voucher niet beschikbaar. Als er dus meer dan 30 zijn, pakt het systeem het uit, controleert opnieuw of de hash inderdaad overeenkomt; maar ditmaal met een tweede algoritme (om collisions tegen te gaan). Matcht het niet? Dan discard. Matcht het echter opnieuw? Dan is de kans heel erg groot dat het CSAM-is, maar kijkt er eerst nog een moderator naar om het te bevestigen. Toch 2x toe beiden algoritmes een false-positive (bijna onmogelijk)? Okee, dan discard de moderator het alsnog. Is het wel CSAM? -> Melding naar NECMEC.

De technische volgorde kan net iets anders zijn, maar you get the gist of it I'm sure.
Op die manier heb je dan wel degelijk end-to-end encrypted iCloud en zijn al je foto's veilig, maar is er wel een manier om CSAM-materiaal te detecteren. De kans op false-positives is extreem klein, want moet eerst meer dan 30 false-positives hebben en dan ook nog eens bij de 2 verschillende algoritmes. En dan pas kan een moderator er naar kijken als laatste check; en ook die heeft enkel een lage-kwaliteit afbeelding ter beschikking en uitsluitend die foto's die gematchd waren; dus geen van je andere foto's. Door dit te doen op deze manier, zou Apple E2EE-iCloud kunnen introduceren, maar hebben ze wel ammunitie tegen de "but think of the children!"-legislators die het als excuus willen gebruiken om dit soort encryptie dan maar helemaal te verbieden of veel verdergaande backdoors te eisen.

Enfin, all rumours. Maar deze on-device scanning functie is nogal onlogisch tenzij je opeens E2EE-iCloud introduceert. Introduceer je dat in het verhaal, dan is het opeens volstrekt logisch en ook een behoorlijk elegant uitgedachte manier van werken. (Niet dat ik het er mee eens ben trouwens, maar van alle mogelijke opties die ze hadden kunnen bouwen is deze dan wel behoorlijk veilig en behoorlijk privacy vriendelijk. En je kan iCloud ook gewoon uitzetten, op dit moment is er geen E2EE en heeft men dus sowieso toegang tot al je foto's die je daar uploadt. ) En door dit dan zo te doen neem je politiek wind uit de zeilen. Afijn. Hoe het ook zij, waarom ze op dit moment 2 checks doen waarvan een op device is vrij onlogisch en ik weet ook niet waarom ze daarvoor kiezen gezien ze momenteel toch toegang hebben tot alle foto's op iCloud; het is enkel logisch met het oog op een introductie van E2EE-iCloud.

[Reactie gewijzigd door WhatsappHack op 22 juli 2024 20:41]

[L0g0ff]

Ik vind dat je een mooi verhaal schetst. Maar als het waar is dan vind ik dat Apple compleet de plank heeft misgeslagen. Want waarom hebben ze de encryptie en hashing niet tegelijk gelanceerd in de media. Dan zou er veel meer begrip zijn.

Wat ik alleen wel vreemd vind aan het 30+ compressie verhaal is dat je ook je hash van de zip kunt checken. Ook zou je geen intelligente neuralhash algoritme hoeven te gebruiken die de afbeeldingen scant. Want hashen van vanwege data transfer is behoorlijk zwart/wit.

En zelfs als je net als Google de plaatjes comprimeert met een eigen hoge kwaliteit afbeeldingscompressie dan kun je op een device comprimeren > hashen met neuralhash (vanwege aanpassingen in de file ) > 30+ > "zippen" > hashen > file transfer naar apple > zip hash checken en klaar ben je.

Bij apple opnieuw de uitgepakte hash van een afbeelding checken zou mijn inzien volstrekt zinloos zijn.

[WhatsappHack]

Want waarom hebben ze de encryptie en hashing niet tegelijk gelanceerd in de media. Dan zou er veel meer begrip zijn.

Geen idee. Mogelijk voor latere PR-redenen. Misschien om een reactie uit te lokken van politici die over privacy gaan schreeuwen (maar dan later natuurlijk niet opeens kunnen gaan pleiten voor verbieden encryptie/verplichten scans tenzij ze hiermee om de oren geslagen willen worden). Misschien omdat heel E2EE-iCloud er gewoon niet gaat komen.

Bij apple opnieuw de uitgepakte hash van een afbeelding checken zou mijn inzien volstrekt zinloos zijn.

Ze checken de afbeeldingen zelf opnieuw met een tweede algoritme, om moedwillige pogingen zelfde hashes te genereren dmv image collisions tegen te werken.

[Yggdrasil]

De plaatjes in het artikel lijken me toch substantieel anders.

[bangagong]

https://github.com/Asuhar...eNeuralHash2ONNX/issues/1

Even scrollen naar beneden.

[zarex]

Da's niet best...

[Toettoetdaan]

Er zijn dus inmiddels tools die bestaande afbeeldingen manipuleren naar een bepaalde hash.

Dus stuur me even je nummer, ik wil graag 30 afbeeldingen met je delen

Zonder gekheid, dit is niet best.

[t link]

Dit was echt een gloeilamp momentje toen ik dit las. dat is echt heel eng.

[Mr Pingu]

Dit is waarom ik er fel op tegen ben, zolang er geen manier is om bezwaar te maken en iemand of instantie daadwerkelijk naar dit bezwaar kijkt en toetst kan dit niet ingevoerd worden.

[Zezura]

precies

[bytemaster460]

Als je naar het onderwerp en de kleuren van de foto kijkt zijn ze totaal anders, maar als je naar de contouren, licht en donker en de contrasten (zoals het algoritme doet) kijkt zie je toch overeenkomsten. Voor een mens zijn de foto's verschillend maar voor een neuraal algoritme lijken ze blijkbaar op elkaar.
Hoe groot het probleem is zal via testen moeten blijken. Als 30 missers bij één gebruiker een kans van ongeveer 1 op een biljoen is, is de kans dat één enkele foto verkeerd matcht relatief groot.

[martenjacobs]

Collisions zijn toch onontkoombaar bij elk hashing algoritme? Zo lang de hash uit minder bytes bestaat dan de input van het algoritme, betekent dat dat het meer mogelijke inputs zijn dan dat mogelijke outputs zijn.
Volgens mij is het niet zo dat een collision "sowieso foute boel" is, maar wordt het pas een probleem als het mogelijk is om op een voorspelbare manier een collision te vinden.

[Niet Henk]

Collisions zijn er theoretisch natuurlijk altijd, maar ze zijn er voor veel hashingalgoritmen in praktijk niet. En een theoretische collision kan je niet gebruiken om te hacken, je moet een echte hebben.

Zover ik weet zijn er bijvoorbeeld voor SHA-512 0 collisions bekend. Natuurlijk zijn ze er wel, het achterhalen is alleen niet te doen binnen redelijke tijd en een redelijk budget, voor zover ik weet zelfs niet voor overheidsinstellingen.

[Krulliebol]

En zelfs áls er een collision zou optreden: pas als er 30 afbeeldingen worden aangetroffen, wordt er een melding gedaan en dan wordt er nog handmatig naar gekeken.

[batjes]

Nu ken ik NeuralHash niet precies, maar bij PhotoDNA is elke foto wel een unieke 'hash'. Ook kleine edits.

Want het vergelijkt niet simpel if (photohash = databasehash) { report }, want de hash is geen echte hash, het is meer een soort database. De hash bevat namelijk informatie over de inhoud van de foto. Op basis van die informatie baseert PhotoDNA of het de foto kent of niet.

[Krulliebol]

Deze onderzoeker heeft dus aangetoond dat er collisions mogelijk zijn tussen afbeeldingen die totaal niet op elkaar lijken. Zie het voorbeeld in het artikel.

[bytemaster460]

“Apple zei bij de introductie van de technologie dat er 'een kans van een op een biljoen was' dat er een hashmatch zou zijn tussen twee niet-gerelateerde afbeeldingen.”

Dat zei Apple niet. Apple zei dat de kans op 1 biljoen is dat de treshold voor een melding onterecht zou worden overschreden. Om de treshold te overschrijden moeten er 30 foto’s als misbruikfoto worden herkend. Voor een vals positieve melding zouden er dan 30 foto’s bij één gebruiker gevonden moeten worden die eenzelfde hash hebben als een misbruikfoto.

[Stoney3K]

Voor een vals positieve melding zouden er dan 30 foto’s bij één gebruiker gevonden moeten worden die eenzelfde hash hebben als een misbruikfoto.

Wat natuurlijk niet moeilijk is als je kunstmatig collisions kan genereren. Het systeem is dus heel makkelijk te foppen of te dwarsbomen.

[WhatsappHack]

Hoe wil je dat doen zonder de hashes van de CSAM-database te hebben en zonder Apple’s obfuscation sausje?

[DataGhost]

Er zijn zat (strafbare) manieren om die CSAM-database te "seeden" met duizenden afbeeldingen waarvan je ook collisions hebt gegenereerd en die op andere plekken/manieren verspreidt. Ook kan je natuurlijk bestaand materiaal opzoeken als je in de juiste krochten van het darkweb weet te komen en van alle afbeeldingen die je daar vindt collisions kunnen genereren. Daar kan je dan ook weer crops van maken en voor de zekerheid kan je de hele zooi anoniem bij de autoriteiten achterlaten zodat je zeker weet dat het ook in de database terecht komt. Opeens heb je vele duizenden of tienduizenden collision-afbeeldingen die je op tig manieren kan verspreiden. Zeker als je vervolgens iemand wilt targeten (of hier een businessmodel van wilt maken) kan je iemand het leven zuur maken. Dit werkt ook beide kanten op want hiermee maak je de feature van Apple juist minder nuttig.

Obfuscation-sausjes zijn misschien geinig om een aanvaller een minuut of tien langer bezig te houden maar uiteindelijk is er gewoon een hashing-algoritme wat collisions kan hebben (per definitie). Het obfuscation-sausje kan je via reverse engineering achterhalen, via social engineering van een Apple-medewerker, je kan er zelf werken of je zal maar iemand zo ver krijgen om te vertellen hoe en wat. Oh ja, en broncode-diefstal is ook nog nooit voorgekomen bij grote bedrijven.

In security hoort het algoritme goed te zijn en de openheid ervan mag nooit een belemmering vormen voor de werking en effectiviteit.

[laptopleon]

een hashing-algoritme wat collisions kan hebben (per definitie)

Je bedoelt ‘een hashing-algoritme wat last van collisions kan hebben’? Of bedoel je dat het collisions wel kan doorstaan? Of heeft het collisions als ingebouwde eigenschap/optie?

Ik begrijp oprecht niet wat je nu wil zeggen. Ik heb tot op zekere hoogte geaccepteerd dat er steeds meer anglicismen in sluipen maar probeer dit soort constructies alsjeblieft te vermijden. Het wordt er niet duidelijker op.

[DataGhost]

Gelukkig kan je met context veel en kan je daarom bepaalde uitleg direct wegstrepen als mogelijkheden. Dan hoef ik geen heel paper te schrijven over welke semantische uitleg ik precies bedoel. Want wat bedoel je met "last van collisions kan hebben"? Het algoritme trekt zich niks van collisions aan, het krijgt er geen jeuk van ofzo en ziek wordt het ook niet. Of bedoel je dat ik bedoelde dat collisions op kunnen treden bij het gebruik van een hashing-algoritme?

Ik zei ook "per definitie", omdat dat per definitie nou eenmaal het geval is bij elk hashing-algoritme waarin het mogelijk aantal invoeren groter is dan het mogelijk aantal uitvoeren. Een hashing-algoritme als "modulo 10" kan veel collisions hebben. 12, 22, 32, 42, 52 worden allemaal 2. Alleen met de uitvoer 2 weet je niet welke van de vijf genoemde invoeren ingevoerd was. Hoe je "doorstaan" als uitleg van hebben voor je ziet snap ik niet. Een hash heeft een output, dat is alles. De hash weet zelf niks van een collision. Het simpelweg hebben van verschillende inputs die dezelfde output geven is een collision, maar dat is dus niet iets waar het algoritme zelf iets mee doet of ooit weet van krijgt. Dan blijft dus als enige optie over dat ik bedoel dat collisions kunnen optreden bij het gebruik van een hashing-algoritme. Met simpelweg de "gewenste eigenschap" dat dit algoritme zou moeten bezitten, namelijk dezelfde hash voor subtiele wijzigingen aan een afbeelding (verschillende invoer), geeft al aan dat collisions ook hier van toepassing zijn. Je zou kunnen zeggen dat het algoritme hier geen last van heeft, integendeel, het vindt dat juist fijn, dat was tenminste de bedoeling. Totdat iemand binnen een paar dagen code had gemaakt om collisions mee te berekenen, waarmee dus uit de resulterende hash niet meer op te maken of de collision gewenst is of niet.

[P_Tingen]

Dit heeft niet met anglicismen te maken maar met meerdere manieren waarop je "kan hebben" kan interpreteren. Je kan het interpreteren in de betekenis van ergens tegen kunnen ("ik kan wel een stootje hebben") maar ook de bezittelijke vorm ("je zal maar twee huizen hebben").

Mijn gok is dat @DataGhost hier de meer bezittelijke vorm bedoelt, dus dat een hashing algoritme per definitie last heeft van collisions.

[laptopleon]

cc @DataGhost De collisions zijn dus eigenlijk geen onderdeel van het algoritme, maar de uitkomst van het algoritme is al dan niet een collision. Dus strikt genomen is het geen van beide: Een algoritme heeft geen collision, niet persoonlijk en niet bezittelijk. Dat zal wel weer mierenneuken gevonden maar dat soort 'details' maken het er niet duidelijker op als je nog aan het proberen te ontcijferen bent wat iemand bedoeld.

[DataGhost]

Het is wel degelijk een onderdeel ervan, of een gevolg. Een eigenschap in ieder geval. Even heel kort door de bocht: het hashing-algoritme "modulo 100" heeft 10x zo weinig collisions als "modulo 10". Modulo 100 kan dus beschouwd worden als een beter hashing-algoritme, want de kans dat twee verschillende invoeren dezelfde uitvoer hebben is bij "modulo 10" veel groter.
Als je semantisch lastig wilt blijven doen: auto X heeft een hogere topsnelheid dan auto Y. De topsnelheden zijn geen onderdelen van de auto's, maar de uitkomst van verbranding in de motor en overbrenging naar de wielen is een bepaalde snelheid, al dan niet een topsnelheid. In de spreektaal wordt dan gewoon over het bezitten van een eigenschap gepraat.

[Stoney3K]

Er zijn zat (strafbare) manieren om die CSAM-database te "seeden" met duizenden afbeeldingen waarvan je ook collisions hebt gegenereerd en die op andere plekken/manieren verspreidt. Ook kan je natuurlijk bestaand materiaal opzoeken als je in de juiste krochten van het darkweb weet te komen en van alle afbeeldingen die je daar vindt collisions kunnen genereren. Daar kan je dan ook weer crops van maken en voor de zekerheid kan je de hele zooi anoniem bij de autoriteiten achterlaten zodat je zeker weet dat het ook in de database terecht komt.

Wat jij beschrijft is dus precies de aanvalsvector die ik verwacht van een stuk malware dat hier misbruik van kan maken. Zoiets doe je natuurlijk niet als mens.

[Rob Coops]

JE hoeft dat seeden helemaal niet te doen... alles wat je nodig hebt is een ouder archief zeg foto's van de jaren 80 en 90 en daar hashes voor maken. De kans dat deze foto's nog niet bij de instanties bekend zijn en dus ook niet in de database staan zijn erg klein. Dus je hoeft nog niet eens nieuwe dingen aan de lijst toe te voegen het is veel makkelijker om oude al bekende images te gebruiken.

Nu hebben we het hier wel over kiddie porn en het bezit van deze afbeeldingen is dus ook gewoon strafbaar in de meeste landen (nog steeds niet overal) maar er van uitgaande dat je die beelden hebt (staan er vast genoeg van op een darkweb site) dan kun je dus makkelijk die hashes berekenen en collisions vinden.

Het probleem met toevoegen aan de lijst is dat je dan dus zelf kiddie porn moet genereren en dat lijkt me voor de meeste een flinke stap te ver. Bestaande beelden gebruiken is denk ik iets waar de meeste mensen zich wel overheen kunnen zetten door alleen maar te bedenken dat ze dankzij hun bijdrage helpen om verbetering van het algoritme ingang te zetten.

Als we er dus van uitgaan dat de tool die nu gereleased is inderdaad het gehele algoritme bevat en niet sindsdien is aangepast of op basis van de publicatie van de tool aangepast is dan is het een stuk minder moeilijk dan je schetst om een flinke library met hashes op die lijst te achterhalen.

[Durandal]

Nu hebben we het hier wel over kiddie porn en het bezit van deze afbeeldingen is dus ook gewoon strafbaar in de meeste landen (nog steeds niet overal) maar er van uitgaande dat je die beelden hebt (staan er vast genoeg van op een darkweb site) dan kun je dus makkelijk die hashes berekenen en collisions vinden.

Raises the question.. Hoe komt Apple dan aan die hashes?

[wauwwie]

Die hashes krijgt Apple aangeleverd. Het is dezelfde database die ook door opsporingsdiensten gebruikt wordt.

En nu maar hopen dat de controle hierop ook goed blijft. Er zal maar eens een paar foto's van een zonsondergang aan het strand of andere generieke foto's aan de database toegevoegd worden. Dan hoop je maar dat Apple ook de boel kan herstellen.

[bytemaster460]

Dan moet je natuurlijk wel de hashes kennen die in de geheime database van Apple staan.

[berchtold]

Die zal lokaal op de telefoon staan. Denk met een jailbreak dat je er misschien bij kan.

[bytemaster460]

Ja, die staan op je telefoon maar dan wel versleuteld, net zoals heel veel andere data waar je ook via een jailbreak niet bijkomt.

[Michael_OsGroot]

Punt is wel dat we maar 1 slimme jongen nodig hebben om die jailbreak uit te voeren om bij de database, die bij iedereen ter wereld identiek is, te komen.

[bytemaster460]

Hoe vaak is versleutelde informatie op een iphone na een jailbreak openbaar geworden? Het zal best theoretisch mogelijk zijn maar dat geldt natuurlijk voor alle versleutelde data die ergens wordt opgeslagen.

[DataGhost]

Als je met een jailbreak code uit kan voeren, is het niet meer lastig om die code in het werkgeheugen te laten zoeken naar de onversleutelde hashes die gebruikt worden op het moment dat er gescand wordt. Dan hoef je helemaal geen versleuteling te breken, dat heeft Apple zelf al voor je gedaan.

[Noxious]

Zo werkt het niet; deze hashes worden nooit ontsleuteld.

Dezelfde public key wordt wel gebruikt om de nieuwe hashes te encrypten, en de encrypted hashes worden vervolgens vergeleken.

[bytemaster460]

Klopt maar dat geldt voor heel veel meer data in je iphone. Hoe vaak is dat succesvol gedaan via een jailbreak? Is geen retorische vraag maar serieus bedoeld. ik weet het niet.

[DataGhost]

Weet ik ook niet. Volgens mij is dat ook niet het primaire doel van jailbreaks, maar ik zou niet weten waarom het niet kan. De meeste informatie is ook helemaal niet interessant. Zodra je code met genoeg rechten draaiend krijgt (vaak in het geval van jailbreaks) is het grootste deel van genomen security-maatregelen waardeloos.

[Zezura]

dus is deze methode sowieso onzin, want met een jailbreak kan je CSAM scannen gewoon uitschakelen. en als er die optie is (die echt wel iemand met onzuivere bedoelingen vast gaat maken al is het maar voor zichzelf) dan heb je er alleen gewone brave burgers bij. want in feite is dit verzwakken van privacy. Zoals al wordt gezegd, Apple heeft nu een mechanisme gemaakt wat uitnodigt voor 3e partijen om een database aan te leveren om te scannen naar dingen (niet alleen foto's) die mensen groeperen of opsporen met andere ideeën of voorkeuren.

Dus de badguys pak je er niet mee, alleen af en toe de niet zo snuggere persoon, (maar die vind je ook op een andere manier). En je hebt er alleen maar de goede brave bevolking mee. weer een stap dichter bij een surveillancestaat. gefeliciteerd.

[corimo]

Daarom heeft de iPhone de beschikking tot afzonderlijke security hardware waardoor de vergelijking tussen hashes plaats kan vinden zonder dat de hash afkomstig uit die database die Apple aanlegt in je werkgeheugen terecht komt.

[BugBoy]

Waarom zullen die hashes versleuteld op je telefoon staan? Dat is totaal zinloos, want als die offline moet kunnen werken dan moet die sleutel ook op je telefoon staan. Je moet gewoon een algoritme hebben waarbij het niet mogelijk is om op basis van een hash de juiste input-data te kunnen garanderen (dat is de gedachte van een secure hash). Dat is blijkbaar alleen lastig als je wilt dat de hash niet veranderd bij kleine wijzigingen...

[bytemaster460]

Dit stond in het eerste artikel:

Apple transformeert de NeuralHashes vervolgens nog met behulp van elliptischekrommecryptografie, waarbij de sleutel alleen bij Apple bekend is. Dit moet er voor zorgen dat gebruikers niets over de oorspronkelijke hashes te weten kunnen komen. De resulterende verhaspelde hashes plaatst het bedrijf in een database die op iPhones en iPads komt te staan.

[Stoney3K]

Maar is een gebruiker er dan wel van op de hoogte als dat algoritme een hit oplevert?

Want een algoritme wat heimelijk je foto's gaat controleren aan de hand van een geheime database van verboden foto's, en op basis daarvan aangifte gaat doen bij wetshandhavers, lijkt me heel erg onwenselijk. Dan weet je pas dat er ergens een foto is gematcht op het moment dat je van je bed wordt gelicht. Geen melding van Apple dat het raak is, of om wélke foto's het precies zou gaan.

En dan kun je wel zeggen "Tja, het is kinderporno, dus wie de schoen past", maar als het matching-algoritme dusdanig zwak is dat er binnen korte tijd al collisions kunnen worden aangemaakt, gaat dat dus ook niet op.

Vroeger noemden we dat gewoon spyware, en spyware voor een nobel doel blijft nog steeds spyware.

[Reactie gewijzigd door Stoney3K op 22 juli 2024 20:41]

[bytemaster460]

Daar draait de hele discussie toch om...?

[bytemaster460]

Ik weet niet of het offline moet werken. Op het moment dat je foto's naar de cloud gaat sturen vindt pas de check op je telefoon plaats. Dan ben je dus online.
Normaal hoef je hashes inderdaad niet te versleutelen maar in dit geval denk ik dat het hele principe van die check niet door de gebruiker beïnvloed mag worden. Daarom ga ik ervan uit dat die hashes dus wel degelijk versleuteld op je telefoon worden gezet om manipulatie en misbruik te voorkomen.

[Tim.k]

Nee, de hashes staan namelijk niet op je iPhone. Of ja, een soort van. Er wordt een elliptic-curve cryptografie toegepast met een serversided key op de Apple servers. De CSAM DB komt dus nooit op je iDevice te staan. Dit zou wel heel erg onveilig zijn om precies de reden die jij noemt. Never trust a user!

"The system begins by setting up the matching database using the known CSAM image hashes provided by NCMEC and other child-safety organizations. First, Apple receives the NeuralHashes corresponding to known CSAM from the above child-safety organizations. Next, these NeuralHashes go through a series of transformations that includes a final blinding step, powered by elliptic curve cryptography. The blinding is done using a server-side blinding secret, known only to Apple. The blinded CSAM hashes are placed in a hash table, where the position in the hash table is purely a function of the NeuralHash of the CSAM image. This blinded database is securely stored on users’ devices. The properties of elliptic curve cryptography ensure that no device can infer anything about the underlying CSAM image hashes from the blinded database."

https://www.apple.com/chi...ion_Technical_Summary.pdf

[SED]

de geheime database van Apple staan.

Alleen al die omschrijving is voldoende om je haren recht te zetten.

[ZpAz]

De hashes zijn voor zo ver ik weet niet geheim, die staan op je toestel namelijk. Je telefoon matched ze zelf, en geeft bij een mach een signaaltje volgens mij.

[bytemaster460]

Verkeerd woord. Beveiligd. Van welke foto's de hashes erin staan is niet geheim.

[N8w8]

Je kan evt zelf populaire foute foto's verzamelen en daar hashes van berekenen.
Dan is de kans groot dat Apple diezelfde hashes ook heeft lijkt mij.
(mss ook @WhatsappHack/@CaDje)

@bbob, het was natuurlijk niet bedoeld als advies, maar als theoretische mogelijkheid.
Bijv een kwaadwillende die iemand erin wilt luizen met collisions oid, kan dat doen.
Iemand die dat voor ogen heeft, zal mss ook minder problemen hebben met het verzamelen van foute foto's om zijn doel te kunnen bereiken.
Ik zie zo snel iig niet waarom je die hashes wilt weten, anders dan voor foute doeleinden.

[Reactie gewijzigd door N8w8 op 22 juli 2024 20:41]

[bbob]

Je kan evt zelf populaire foute foto's verzamelen en daar hashes van berekenen.
Dan is de kans groot dat Apple diezelfde hashes ook heeft lijkt mij.
(mss ook @WhatsappHack/@CaDje)

Je wil dus zeggen dat je kinderporno foto's moet gaan verzamelen om hashes te berekenen ?
Weet niet of je ju nu echt op dat deel van het net moet gaan begeven.

[SgtElPotato]

Plus het feit dat dit nog oude code is. Er zat sinds iOS 14.3 al een functie in waarmee je foto's een 'hash' kregen, grote kans dat het algoritme niet hetzelfde is als wat ze willen introduceren.

[ymmv]

Apple maakt de hashes niet zelf, die krijgen ze van de Amerikaanse instantie die kinderporno bestrijdt en die als enige organisatie in de VS toestemming heeft om kinderporno op te slaan. Het algoritme dat Apple gaat gebruiken voor hun kinderpornocontrole moet hiermee dus compatibel zijn. Het zou kunnen dat dat een ander algoritme is dan wat Apple vorige maand in iOS 14.3 heeft geïntroduceerd, maar waarschijnlijk is het niet. Waarom zou Apple in korte tijd twee verschillende, incompatibele hash-algoritmes in iOS gaan integreren?

[Tim.k]

Het werkt ietsjes anders. Apple geeft een tool aan deze instanties waarmee zij een NeuraHash kunnen (Apples hashing systeem) maken van de afbeeldingen en Apple krijgt deze hashes terug.

[SgtElPotato]

Kan meerdere redenen hebben, om te testen wat voor impact het heeft bij gebruikers (accu duur etc) met een soortgelijk maar simpelere hash. Apple maakt natuurlijk wel hashes zelf van je foto's die jij op je toestel hebt staan en vergelijkt die vervolgens met de hashes van bekende KP afbeeldingen.

[ZinloosGeweldig]

Maar zodra een collision redelijkerwijs bewust te veroorzaken is, gaat dat niet meer op natuurlijk. Die kans van 1 op een biljoen zal uitgaan van collision door toeval.

[bytemaster460]

Dat klopt, maar dan moet wel eerst de database met hashes uitlekken.

[LanTao]

Het algoritme waar in dit artikel over gerept wordt is niet het uiteindelijke algoritme.

Apple however told Motherboard in an email that that version analyzed by users on GitHub is a generic version, and not the one final version that will be used for iCloud Photos CSAM detection. Apple said that it also made the algorithm public.

Ik mis in berichtgeving rond dit onderwerp altijd dat social media-bedrijven en andere cloudproviders deze scans al lang uitvoeren, maar op hun servers in plaats van aan de client-kant, wat theoretisch veel makkelijker te beïnvloeden valt door kwaadwillenden (inclusief overheden).

[Anoniem: 470811]

Dat is hun hardware. De telefoon is de hardware van iemand anders (vanuit de optiek van die tech bedrijven)

[LanTao]

Dat is hun hardware. De telefoon is de hardware van iemand anders (vanuit de optiek van die tech bedrijven)

Tegelijkertijd wordt de scan op CSAM alleen uitgevoerd in hun software voordat een foto geüpload wordt naar hun servers, en niet voor elke foto die het apparaat (jouw apparaat) tegenkomt.

[SED]

Men zet een detectiepoortje voor gestolen spullen in jouw huiskamer.
Dat is wat anders dan bij de in en uitgang van de winkel.

[Crp]

Ja en nee, eerder op je erfgrens in een doorgang naar Apple toe. Je mag met je illegale spul via een andere doorgang ergens anders naartoe als je wil. Maar zodra je het naar Apple wil brengen dan moet je door dat detectiepoortje heen

[SED]

Het is jouw huis, erfgrens of niet: jouw terrein.
Ongevraagd staat daar een detectiepoortje.

[Crp]

En zo staan er nog wel meer functies ongevraagd op. Als je het niet wil, zet je het uit of maak je er geen gebruik van.

[SED]

Uitzetten kan niet.
Je hebt dus geen keus. Alle foto's gaan door die scanner naar icloud.

[Krulliebol]

Je kunt ervoor kiezen om de update niet te installeren en/of om iCloud niet te gebruiken.

[SED]

Je kunt ook kiezen voor een onveilige omgeving door geen update te installeren

[Crp]

Je kan dus het gebruik van iCloud uitzetten en je fotos naar een andere dienst laten synchroniseren.
Het gaat er puur om dat iCloud niet gebruikt word voor de opslag van kp en dus de verspreiding daarvan.

[Crp]

ik snap je -1 niet zo want je maakt een goed punt.
Alleen is het zo dat alleen de foto's die naar iCloud gaan gecheckt worden.

En wat je zegt, kan best de reden zijn waarom ze dit lokaal doen en niet op de servers. Want ik denk dat het best wel een kostenplaatje gaat worden als je voor al je gebruikers de iCloud foto's moet gaan checken.
Terwijl je miljoenen 'mini computers' voorhanden hebt die het voor je kunnen doen. Slim en efficient dus!

[Anoniem: 470811]

Dat klopt, alleen de iCloud enabled foto's zijn in scope. Betekent alleen nog niet dat ze in iCloud staan.

De situatie is dus echter dat iets wordt gecheckt door een bedrijf op een apparaat dat niet van hen is. Het te ontvangen bestand is dus nog niet ontvangen en daarmee vraag ik me af of een dergelijk bestand al wel onder de overeenkomst valt van iCloud. Ik ben niet bekend met die inhoud daarvan, maar ik kan me voorstellen dat een wijziging van de EULA/voorwaarden nodig is om een dergelijke constructie mogelijk te maken.

Dat het om een kosten aspect gaat is natuurlijk speculatie. Maar het is wel een feit dat Apple niet voor de processing power betaald, want dat gebeurt lokaal. Het wordt ook lokaal betaalt (indirect) via een vast iets (haast niet waarneembaar) kortere accuduur. Korte accuduur is eerder laden en dat kost geld. Op individueel niveau wellicht volstrekt verwaarloosbaar, maar op schaal aanzienlijk te noemen.

Mogelijk is het ook minder klimaat vriendelijk, omdat ik verwacht dat een controle in de cloud efficiënter op schaal kan gebeuren, dan verspreid over lokale telefoons. Maar ook dat is een educated guess

[Krulliebol]

In en aan mijn woning zitten ook allerlei onderdelen en beperkingen waar ik niet om heb gevraagd, maar die die er toch zijn en die ik zelfs niet mag weghalen.

[SED]

Dus verhuizen

[MooDyBLueS]

Apple heeft hier inmiddels al op gereageerd, dat deze technologie NIET degene is die gebruikt wordt:
https://www.macrumors.com...llisions-not-csam-system/

[Vicje]

De onderzoeker zegt dat hij de code uit iOS14.3 heeft gehaald. Dat vind ik toch wel bijzonder. Waarom zit het daar al in? En zou dat ook kunnen betekenen dat Apple het ook op 14.3 toestellen kan gaan aanzetten als ze niet upgraden naar 15?

[Pinkys Brain]

https://appleinsider.com/...t-down-child-abuse-images

Omdat het oud nieuws is.

[Burgertrut]

Het is mijns inziens gewoon een rotsmoes. Hoe groot is het probleem van kinderporno op iPhones nou? Dit tast mijn privacy enorm aan, en is weer een stepping stone naar meer controle en minder privacy. Mijn privacy is nou net de reden dat ik enorme bedragen bij Apple uitgeef, in plaats van bij de concurrentie. Oké, ondertussen speelt het vendor locked-in ook een rol.

Nu wordt mijn apparaat onveiliger, gaat mijn privacy eraan, kunnen er zelfs false positives gevonden worden. Maar als je het brengt als optreden tegen kinderporno, kun je er natuurlijk niet tegen zijn.

Nou ik ben er wel tegen. Ik koop wel weer een dumb phone.

[WhatsappHack]

Je kan ook gewoon niet je foto’s synchroniseren met iCloud. Gezien Apple, of iemand die je account weet te kraken, toegang heeft tot al je foto’s in iCloud was dat sowieso al niet de veiligste keuze en men had de scan ook daar kunnen doen zoals bijv Google en Microsoft doen. (Qua eindresultaat boeit de plek van de scan dus niet, one way or another is het resultaat dat je foto’s worden gescand als je ze de cloud in gooit.) Idem dito dus met de andere cloudboeren die dit ook hebben en ook al je foto’s scannen, soms zelfs met machine learning zoals bij Microsoft. Ram je spullen gewoonweg niet de cloud in zonder dit eerst zelf te versleutelen…

[Reactie gewijzigd door WhatsappHack op 22 juli 2024 20:41]

[SinergyX]

Weinig commentaar op wat het nu is, maar de vraag is, wat hierna komt.

Het zijn stappen, nu is het bijvoorbeeld nog met enkel inschakeling van iCloud, kan straks dus ook worden doorgezet naar 'altijd' wanneer je iphone account hebt, vervolgens naar 'direct bij maken van foto'.

Hoever kan je de joker kaart 'porno/terrorisme/etc' blijven inzetten voor 'privacy-doorbrekende' features, om die op later tijdstip door te buigen, of om te buigen naar mogelijk reclame doeleinden (want dat is natuurlijk commercieel gezien stap 2).

[WhatsappHack]

Ik hou me bij smartphones niet zoveel bezig met glijdende schalen betreffende wat er zou kunnen. Ik focus voornamelijk op wat is, niet op wat misschien ooit wordt en beschouw ze sowieso als niet 100% veilig. Het ding zit ook boordevol doodenge features die makkelijk enorm misbruikt ‘zouden kunnen worden’; en dan is deze hash functie zelfs een van de minder engere. Zolang dit echter behoorlijk overtuigend niet lijkt te gebeuren en er geen enkele aanleiding is te denken dát het nu gebeurt, plaats ik wel enig vertrouwen in het apparaat. (Voor lokale opslag dan, cloud ben ik sowieso allergisch voor.) Zonder vertrouwen is het niet te doen, maar je moet wel altijd voorzichtig blijven met je privédata en vooral ook third-party apps.

Als de situatie rondom deze of welke functie dan ook later verandert/verslechtert, dan zie ik het dan wel weer en onderneem ik dan wel actie. Neemt overigens niet weg dat ook ik feedback heb ingeschoten bij Apple dat ze dit moeten heroverwegen en uiteraard vind ik ook dat het er beter niet in kan (mede om slippery slopes te voorkomen), maar ik ga niet op basis van “wat nou als ze in de toekomst…” kijken naar het apparaat en het apparaat beoordelen als minder veilig voor iets dat nu niet het geval is; het is allemaal hypothetisch. Als ik dat zou doen en daar aan zou toegeven, dan zou m’n telefoon jaren geleden al door een shredder gehaald zijn Maar a.) wat je schetst gebeurt nu niet en b.) van de huidige implementatie heb ik hoe dan ook geen last, want ik upload m’n foto’s niet naar iCloud.

Afijn iedereen moet dat voor zichzelf afwegen.

[CAPSLOCK2000]

Ik hou me bij smartphones niet zoveel bezig met glijdende schalen betreffende wat er zou kunnen. Ik focus voornamelijk op wat is, niet op wat misschien ooit wordt en beschouw ze sowieso als niet 100% veilig. Het ding zit ook boordevol doodenge features die makkelijk enorm misbruikt ‘zouden kunnen worden’; en dan is deze hash functie zelfs een van de minder engere.

<knip>

Als de situatie rondom deze of welke functie dan ook later verandert/verslechtert, dan zie ik het dan wel weer en onderneem ik dan wel actie.

Mijn eigen hulpmiddel is denken "Stel dat er opeens een dictator aan de macht komt die direct alles doet wat we niet willen. Wat kan ik nu doen of laten wat dán helpt?" Het heeft bijvoorbeeld geen zin om bordje "verboden voor camera's" op in mijn badkamer op te hangen. Een wet tegen camera's in je eigen badkamer heeft ook geen zin. De volgende dictator past gewoon de wet aan, stelt camera's verplicht en dan moet je wel. Er is niks wat ik nu kan doen om dat onmogelijk te maken. Ik maak me dus geen zorgen over camera's op mijn badkamer.

Wat ik op dit moment wel kan doen is zelf geen opnames maken in mijn badkamer. Want die zouden bewaard kunnen worden en over 50 jaar opduiken en wie weet wat voor wetten ik dan breek.

Dit zit voor mij behoorlijk op de grens. Een toekomstige dictator kan natuurlijk alle telefoons en computers van dan helemaal door laten zoeken op vanalles en nog wat, dat kan ik nu niet tegen houden. Het wordt anders als er informatie verzameld wordt die voor de toekomst wordt bewaard. Het nieuws dat er nu al colllisions gegenereerd kunnen worden duwt het voor mij over de streep van ongewenst.
Het is prima mogelijk dat er nu al opzettelijk plaatjes online worden gezet die bewust een collission genereren. Ik denk niet dat het echt zo snel gaat maar de techniek is er duidelijk al. Als je een paar van die plaatjes (die er zelf onschuldig uitzien) op een prominente website weet te krijgen dan zal dat waarschuwingen produceren en ik neem aan dat die worden opgeslagen.

Op dit moment is dat misschien niet zo'n probleem en kunnen mensen naar dit nieuwsbericht wijzen en aannemelijk maken dat ze onschuldig zijn. Zeker als het op grote schaal mis zou gaan. Maar wie weet dat over 30 jaar nog? Wat als er over 30 jaar uit de computer komt rollen dat iemand verdacht was? Weet iemand dan nog hoe het zat? Dat geldt natuurlijk voor iedere verdachte maar we hebben het hier over een supergevoelig onderwerp waarbij een kleine associatie al heftige reacties kan oproepen.

[Steyn_E]

Bedankt. In Afghanistan zie je op dit moment dat het niet eens zo'n vergezocht scenario is. Better safe than sorry.

[Anoniem: 1576590]

Het nieuws dat er nu al colllisions gegenereerd kunnen worden ...

Apple stelt dat dit erg lastig is als je geen toegang hebt tot de versleutelde database met NeuralHashes.

Echter, op een vergelijkbare manier als waarop MD5 en SHA1 collisions zijn gevonden, kun je ook NeuralHash collisions forceren zonder te weten wat er nu in de database zit, als volgt:

1) Kies 30+ bestaande of desnoods vers gemaakte CSAM plaatjes met gunstige eigenschappen voor collisions;

2) Kies 30+ non-CSAM-plaatjes die jouw target (degene die je wilt laten oppakken: dissident, ijverige journalist, zware concurrent) waarschijnlijk interesseren, met tevens gunstige eigenschappen voor collisions;

3) Manipuleer steeds één CSAM en één non-CSAM plaatje totdat zij dezelfde neuralhash opleveren, maar nog wel goed herkenbaar zijn;

4) Stuur de gemanipuleerde CSAM plaatjes naar NCMEC;

5) Wacht een tijdje tot de NeuralHashes naar smartphones zijn verspreid (of gebruik een geroote smartphone om vast te stellen dat het algoritme één van de CSAM of non-CSAM foto's als CSAM herkent);

6) Stuur de non-CSAM foto's naar jouw "target".

Variatie: gebruik stenografie (of iets met een simpel Photoshop/Gimp etc. filter) om kinderporno in voor jouw "target" interessante foto's te verstoppen. Stuur die foto's naar NCMEC en vertel erbij hoe zij de kinderporno zichtbaar kunnen maken.

Edit 20:34: taalfouten

[Reactie gewijzigd door Anoniem: 1576590 op 22 juli 2024 20:41]

[Krulliebol]

Als het systeem alarm slaat (en dat gebeurt dus pas na gematchte 30 foto's dus), vindt er een handmatige check plaats. Dan blijkt toch gelijk dat die foto's op het device van het slachtoffer toch helemaal geen CSAM-plaatjes zijn?

[Anoniem: 1576590]

Als het systeem alarm slaat (en dat gebeurt dus pas na gematchte 30 foto's dus), vindt er een handmatige check plaats. Dan blijkt toch gelijk dat die foto's op het device van het slachtoffer toch helemaal geen CSAM-plaatjes zijn?

In het eerste voorbeeld dat ik gaf klopt dat, mits een objectief (conform jouw maatstaven!) en niet beïnvloed persoon die beelden beoordeelt.

Maar wat als die beoordelaar bijvoorbeeld lid is (of na screening wordt) van Q-Anon en vooringenomen is over jou? (Met dergelijke denkbeelden kun je in de USA zelfs in het huis van afgevaardigden komen).

Ook als de uitslag negatief is, weet je niet of er een "vinkje" achter jouw naam komt; waar rook is, is immers vaak vuur.

En bijv. voor Chinezen (in China) is Apple verplicht om iCloud-data op servers in China op te slaan. Het zou mij niet verbazen als de Chinese overheid straks eist dat handmatige inspecties door medewerkers van een Chinese veiligheidsdienst worden gedaan (naast dat China zelf Neuralhashes zal willen aanleveren).

Voor de situatie in de USA (en t.z.t. wellicht in de EU) speelt sowieso wat ik onderaan mijn bijdrage noemde: wat als er CSAM verstopt zit in plaatjes en de "handmatige inspecteurs" verteld is hoe zij dat zichtbaar kunnen maken?

Ten slotte: er is een groot grijs gebied tussen wel/geen kinderporno:

- Er zijn op deze aarde mensen die aanstoot nemen aan een plaatje zoals deze (met een NeuralHash identiek aan een eerder in die thread getoonde foto van een hond).

- Is een foto van een bloot kind in een tuin of op een (naakt-) strand kinderporno? En wat is een foto van een jonge vrouw die, op haar leeftijd, volgens de Sharia, op z'n minst haar hoofdhaar had moeten bedekken?

- Hoe ga je om met getekende (bijv. manga/anime) of computer-gegenereerde kinderporno? Is het kinderporno als je op een sexfoto met 18-plussers één van de hoofden vervangt door een hoofd van een jonger persoon (al dan niet een oudere foto van dezelfde persoon, mogelijk zelfs jouw partner)?

Wij iDevice-bezitters en zelfs Apple hebben geen idee waar de NeuralHashes op onze iDevices vandaan komen. Vind jij het een goed idee om de uiteindelijke beslissing over wat kinderporno is of niet, over te laten aan iemand die wellicht door Apple is ingehuurd (maar geen zedenpolitieambtenaar is) en meestal afschuwelijk werk doet? Zijn verwisselingen (door technische of menselijke fouten, of als gevolg van opzet - bijv. Epstein wist zich lang te "ontworstelen" aan justitie middels geld en hoge vriendjes) van beelden en/of namen van "bezitters" uitgesloten?

De donkere (i)Cloud boven dit alles is dat deze technologie, ongewijzigd, voor andere beelden dan kinderporno kan worden ingezet. Als je deze 2 foto's zonder vreemde vlekken (met identieke neuralhash) ziet, snap je dat het in principe mogelijk is om mensen te framen. Los van collisions kan dat ook met foto's die jij volstrekt acceptabel vindt, maar de (toekomstige) overheid van jouw (vakantie) land niet.

En dat terwijl de makers van kinderporno hier niet eens mee worden opgespoord en dit soort technieken door echte kinderpornoverzamelaars eenvoudig omzeild kunnen worden...

Edit: typo

[Reactie gewijzigd door Anoniem: 1576590 op 22 juli 2024 20:41]

[laptopleon]

Natuurlijk kun je besluiten iCloud Photos dan maar niet te gebruiken, maar dat nou net niet het hele idee van iCloud: een simpele, goedkope, makkelijke, snelle totaaloplossing en synchronisatie van al je gegevens en apparaten.

Al helemaal niet meer als je nog extra trucs moet gaan ophangen met versleutelen en zo.

[WhatsappHack]

Sure, maar aan die gebruiksvriendelijkheid van al die clouddiensten, waaronder iCloud, kleven wat nadelen. Wat je belangrijker vindt is aan jezelf: enige moeite doen voor hogere veiligheid of 100% gebruiksvriendelijkheid met wat trade-offs. Ik kies zelf voor het eerste.

[laptopleon]

Kijk en dit is nu precies het ‘grote plaatje’ waar het csam-verhaal een onderdeel van is. Het gaat natuurlijk niet precies om jou of mij, maar consumenten en bedrijven gaan nu wel denken: Hé… hoeveel zijn die beloften van Apple nou eigenlijk waard?

Dit heeft een knauw gegeven aan het imago.

Ik totaal niet bang dat er ooit kinderporno in mijn data gevonden wordt. Als dat systeem bij mij afgaat, is er iets anders aan de hand en dan is dat bij heel veel anderen ook zo.

Mensen die zich zorgen maken over privacy zijn vaak bang voor extreme situaties zoals ‘wat als er een totalitair regime komt’. Maar als de wetten worden genegeerd, ben je sowieso de klos, met of zonder csam etc.

Ik bekijk het andersom. Natuurlijk ben ik niet blij met dit soort veranderingen en er niet ongevoelig voor, maar ik probeer dat wel te zijn. Ik leef nu. Ik wil dit tijdsgewricht meemaken. Ik ben niet bang mijn mening op Facebook te laten merken of een foto van mezelf te plaatsen. Ik doe dat bewust. Ik vind dat dat moet kunnen. Als dat ergens voor misbruikt wordt, moet dat aangepakt worden. Niet ik. Mensen moeten kunnen zeggen wat ze vinden. Liefst een beetje beschaafd maar toch. Dat is belangrijk. Anders krijg je alsnog deels een ‘1984’ effect. Een soort angst om jezelf te zijn, ook al ben je een keurige burger.


Als mijn saaie, alledaagse foto’s al alarmbellen doen afgaan, dan is er gewoon wat mis met dat systeem. Dan moet dat systeem aangepast worden, niet mijn leven.

[bytemaster460]

Ik ben ook tegen het systeem, maar het probleem van kinderporno in clouds is wel degelijk substantieel. in westerse landen hebben we allemaal een computer thuis staan en als we schijfruimte nodig hebben dan kopen we gewoon een extra harde schijf en we hebben breedband internet. Doorgewinterde verzamelaars zetten hun verzameling dan niet op hun iphone of cloud. In armere delen van de wereld en ook in de VS zijn grote groepen mensen die die voorzieningen niet hebben. Die hebben thuis geen computer of geen storage. Die zetten het dus gewoon op de enige computer die ze hebben: hun smartphone en bijbehorende cloud. Velen zijn gewoon achteloos. Er wordt heel veel van dit materiaal gevonden in clouds, Facebookgroepen, Telegram, Whatsapp etc.

[air2]

Kinderporno is een heel ruim begrip. In principe is iedere naaktfoto van iemand onder de 18 kinder porno. Oftewel bijna alle ouders hebben wel kinder porno van hun kinderen op de telefoon waar ze als 2 jarige in hun nakie op het strand spelen. Alhoewel deze foto's waarschijnlijk niet in Apple's database zitten.

Overigens doet google dit volgens mij al lang met hun cloud (drive/photos etc) en daar hoor je niemand over.

[bytemaster460]

Ik dacht dat we die discussie nu wel hadden gehad tijdens alle artikelen over dit onderwerp. Het systeem maakt gebruik van een database waarin kinderbeschermingsorganisaties foto's hebben gezet die bewezen misbruikfoto's zijn. Privéfoto's van gezinnen met kinderen staan daar niet in en worden dus ook niet als misbruikfoto herkend. Wat Google en Microsoft doen is alle foto's scannen op inhoud en dan een signaal afgeven. Dan kan het dus wel zijn dat onschuldige privéfoto's als kinderporno worden aangemerkt.
Regelgeving verplicht techbedrijven er iets aan te doen om hun cloud te scannen op kinderporno. De discussie over Apple gaat dan ook vooral erover dat het op je telefoon al gebeurt en niet pas in de cloud.

[Reactie gewijzigd door bytemaster460 op 22 juli 2024 20:41]

[comecme]

Waar heb je een definitie van kp gevonden die zegt dat een naakte minderjarige kp is?

[Alxndr]

Wat mij nou niet helemaal duidelijk is of dit nu op het apparaat of in de cloud gebeurt. Anders zou het gewoon een kwestie zijn van synchronisatie uitzetten? (Of werkt dat niet zo bij apple?)

[TijsZonderH]

Het scannen gebeurt lokaal, maar alléén als je ook uploaden naar iCloud aan hebt staan.

[fretnn]

En (voorlopig) enkel in de US

[tom.cx]

Het is alleen op iPhones/iPad in de VS geactiveerd. De software is overal hetzelfde. Het is dus een kwestie van een switch aanzetten bij Apple.

[Shark.Bait]

Dan nog krijgen alleen Amerikaanse instanties het reultaat, indien 30x positief op hun bord....voorlopig.

[tom.cx]

Als het in andere landen actief zal worden zal het altijd naar de lokale autoriteiten gaan. Het is dus niet te zeggen wat er verder zal gaan gebeuren. In Nederland zal Apple dus contact (gaan) houden met Meldpunt-Kinderporno en/of EOKM waar MK onder valt.

[Cobalt]

Microsoft gebruikt vergelijkbare technieken. Daar zijn in Nederland ook al rechtszaken over. Volgens mij van een bedrijf in Lelystad dat niet meer bij z'n administratie kon. Omdat iemand een foto naar WhatsApp stuurt die vervolgens naar OneDrive geback-upt wordt en het algoritme dan het account automatisch blokkeert.

Als je met een neppe afbeelding het algoritme kan triggeren kan er veel schade worden aan gericht. Ben benieuwd of de politici in Nederland wel voldoende kennis hebben van IT en dit soort algoritmes.

[Reactie gewijzigd door Cobalt op 22 juli 2024 20:41]

[SED]

Het verschil is dat Apple het op jouw apparaat doet.
Ze zetten het detectie poortje dus in jouw huiskamer ipv bij de winkel.

[bytemaster460]

Het grote verschil is dat Microsoft zelf bepaalt of iets kinderporno is of niet en het systeem van Apple dat laat bepalen door een database met bekende misbruikfoto's.
Door de check op je telefoon uit te voeren kun je het zo inrichten dat Apple pas na 30 matches geattendeerd wordt op deze vondsten. Eerder weten ze dus van niets en hoeven ze ook geen actie te ondernemen. Als de check op de cloud plaatsvindt MOET Apple bij de eerste match al een melding doen bij de autoriteiten. Hiermee wordt dus een buffer gecreëerd om situaties zoals bij MS en Google te voorkomen, waarbij één onterechte melding voldoende is om al je data kwijt te raken.

[Reactie gewijzigd door bytemaster460 op 22 juli 2024 20:41]

[SED]

Het staat een aanbieder van diensten vrij een beperking in te voeren. Als ze die op hun eigen systemen toepassen is dat een keuze die je hebt.
Bij Apple worden LOKAAL, dus op jouw eigen apparaat al je fotos gescand die je klaarzet voor de icloud omgeving.
Ik wil dat soort rommel niet op mijn eigen apparaat. Ik wil geen detectiepoortje in mijn huis, maar in de winkel heb ik er geen probleem mee.
Zal wat worden als iedere aanbieder van externe diensten jouw apparaat wil gaan gebruiken voor privacy gevoelige handelingen waar je zelf geen enkele invloed op hebt.
Los daarvan hebben we het niet over Microsoft maar over Apple.. whataboutism maakt de zaak niet beter hier.

[bytemaster460]

Jij reageerde op iemand die het wel over Microsoft had en een vergelijking trok. Beetje vreemd om dan vervolgens een ander te verwijten dat hij microsoft erbij haalt.
Lokaal scannen is nu eenmaal een keuze die is gemaakt om andere problemen zoals bij Microsoft en Google te kunnen voorkomen.
Prima als je dat niet wil. Gewoon ios 15 niet installeren en daarna een ander merk telefoon kopen.

[SED]

Welke problemen voorkom je?

[bytemaster460]

Dat je account bij een onterechte melding wordt gesloten en je vervolgens je data verliest. Apple wil niets weten van de eerste 29 matches. Zolang Apple niets weet hoeven ze niet aan de bel te trekken bij de autoriteiten. Als ze het op hun eigen systemen uitvoeren weten ze het na de eerste match al en moeten ze een melding maken.

[SED]

Dat heeft niets, maar dan ook helemaal niets met de gebruikte scan methodiek te maken maar met een melding threshold die een fabrikant ingesteld heeft.
Nieuwe poging....
En zoals gezegd, Apple heeft geen probleem met KP filmmateriaal blijkbaar.

[Reactie gewijzigd door SED op 22 juli 2024 20:41]

[bytemaster460]

Dat heeft er alles mee te maken. De reden voor die treshold is juist om vals positieve meldingen tegen te gaan. Niet alleen in de techniek, maar ook in de juridische afwikkeling van een match. De treshold verkleint de kans op een vals positieve melding gigantisch vergeleken met de manier zoals MS en Google het doen. Om het juridisch dicht te spijkeren dat je die treshold van 30 matches hanteert MOET je dat uitvoeren op het toestel van de gebruiker en niet binnen de muren van Apple. Als ze het binnen de muren van Apple doen MOETEN ze bij de eerste match een melding maken.

[SED]

Dat lijkt me een mooi verhaal, maar heb jij een bron daarvoor?
Lijkt me erg onwaarschijnlijk namelijk. Ook dat ms en Google een grens van 1 hebben komt alleen uit geruchtencircuit.
En nogmaals, dat zou dan ineens allemaal niet gelden voor filmmateriaal waar Apple geen drempel legt.

[Reactie gewijzigd door SED op 22 juli 2024 20:41]

[bytemaster460]

Het filmmateriaal wordt niet gescand. De foto's kunnen een begin zijn en dat filmmateriaal later nog volgt. Dat is een stuk complexer en zorgt voor een onevenredige belasting van je apparaat of de infrastructuur.
Apple doet geen uitspraken over de reden waarom de scan op de telefoon plaatsvindt. Echter de wet is wel zo dat er bij een positieve match bij een scan op kinderporno door een bedrijf een melding gemaakt moet worden. Feit is ook dat er veel gedoe rond de systematiek zoals MS en Google die hanteren.
Het is dus een veronderstelling die door diverse experts en juristen de afgelopen week is geventileerd. Ik vind het aannemelijk. Anderen zeggen dat het een voorsortering is op het aanbieden van E2E encryptie in iCloud.
Zoals eerder gezegd, ik ben ook geen voorstander van het systeem, maar als het de minst slechte oplossing is om aan de wettelijke eis van het scannen op kinderporno te voldoen, dan moet het maar.

[SED]

Het verhaal is en blijft vreemd. Zet een foto in een gif en je scan ziet niks meer. Het veel voorkomende filmmateriaal scant men helemaal niet. Technische uitdaging.. My ass.
Los daarvan.. Je zegt dat 1 foto op de cloud al een probleem zou vormen bij ms en Google . Maar 29 stuks op icloud niet bij Apple?

[bytemaster460]

Zucht... doordat de scan op je telefoon plaatsvindt krijgt Apple NIETS te horen van de eerste 29 stuks. Pas als de treshold wordt overschreden wordt Apple ingeseind dat er iets gevonden is. Dan moet men dus wettelijk gezien actie gaan ondernemen.

[SED]

Dus, zijn er 29 foto's ongestoord naar je icloud omgeving gegaan!!!!!
Zo lastig lijkt me dit niet te begrijpen.

[Reactie gewijzigd door SED op 22 juli 2024 20:41]

[bytemaster460]

Ik begrijp het zeker, maar het feit dat ze er staan is niet bepalend. Het feit dat de aanbieder van de cloud erover geïnformeerd is, is bepalend of ze actie moeten ondernemen. Dus ja, er staan dan 29 fotos in de cloud waar Apple niets van weet, komt er een 30e bij krijgen ze een signaal en moeten ze actie ondernemen, DAT is niet lastig te begrijpen.
Dit soort constructies komt heel veel voor, o.a. in diagnostisch DNA-onderzoek.

[Reactie gewijzigd door bytemaster460 op 22 juli 2024 20:41]

[SED]

Stukje hierboven..

Echter de wet is wel zo dat er bij een positieve match bij een scan op kinderporno door een bedrijf een melding gemaakt moet worden.

Dus apple heeft 29 kp foto's op zijn cloud staan en... Niks..
Vind je het hele verhaal niet erg vreemd worden zo langzamerhand.

[bytemaster460]

Is het nu echt zo moeilijk te begrijpen dat er een verschil bestaat tussen het wel en niet weten wat er op je cloud staat? Het is een juridisch dingetje. Zolang jij niet weet of er kinderporno aanwezig is, hoef je geen melding te doen. Als jij er dus technisch voor zorgt dat je pas bij de 30e foto melding krijgt kun je dus van al je klanten niet weten of ze nul, 1, 2, 3, … of 29 misbruikfoto’s in de cloud staan. Dan hoef je dus geen melding te maken. Je weet het niet want de telling en analyse vindt niet in de cloud plaats maar op de telefoon, iets waarvan je al 100 posts afvraagt waarom het daar plaatsvindt.
Volgens mij WIL je het gewoon niet snappen.

[SED]

Feit: apple scant al je foto's die klaar staan voor icloud.
Feit: ze accepteren bewust 29 kp foto's die je probleemloos op icloud kunt zetten.
Feit: ze weten dus dat er kp op de icloud staat en dat jij die bezit.
Pas bij de 30e foto komt er een melding.
Wat begrijp je hier niet aan?

[bytemaster460]

Leg eens uit hoe Apple weet dat de eerste 29 fotos on de cloud als de check op je telefoon plaatsvindt en er niet eerder door je telefoon aan Apple gerapporteerd wordt dan de 30e. Ga dan geen dingen zelf verzinnen maar houd je aan de werking zoals Apple die heeft gepubliceerd.

[SED]

Ik keer het even om. Als je in batches van 29 foto's je kp upload naar icloud kun je die helemaal vol zett2met kp. Dat moet de conclusie zijn van jouw insteek.
Geloof je het zelf?

[bytemaster460]

Nee, want de telefoon telt en houdt bij hoeveel er in de cloud staan.
Ik laat het hierbij. Je wil het gewoon niet snappen en je kan blijkbaar ook niet uitleggen hoe jouw scenario zou moeten werken binnen de kaders van de specificaties van Apple.

[SED]

Ik geef helder aan dat Apple systeem een beetje kp geen probleem vindt en al helemaal geen kp film materiaal.
Ze doen dus een gigantische aanslag op je privé zaken en uiteindelijk heeft het nauwelijks zin. Ze hebben dus een andere agenda.
Geen idee wie dat systeem kan verdedigen wat jij zo fel doet.

[Reactie gewijzigd door SED op 22 juli 2024 20:41]

[bytemaster460]

Ik verdedig het helemaal niet. Voor mij hoeft dit allemaal niet, maar de discussie erover moet wel gevoerd worden op basis van juiste informatie.
In deze subthread ging het over de vraag waarom Apple de check op het toestel doet en niet in de cloud. Ik leg een mogelijk reden uit, die door diverse deskundigen ook is aangedragen. Vervolgens ondermijn je dat met oneliners en "Wat begrijp je hier niet aan?" en als ik dan vraag om het uit te leggen aan de hand van de specificaties van Apple weiger je dat en begin je heel ergens anders over.
Dus nogmaals, ik stop hier.

[SED]

Ik geef helder aan waarom het een zinloos systeem is, zelfs op basis van jouw omschrijving.
Dat je daar omheen blijft lopen is veelzeggend.

[bytemaster460]

Het ging om jouw reactie:

Het verschil is dat Apple het op jouw apparaat doet.
Ze zetten het detectie poortje dus in jouw huiskamer ipv bij de winkel.

Je krijgt een mogelijke verklaring ervoor, gaat die ondermijnen en als er om een uitleg over die ondermijning gevraagd wordt ben JIJ het die er omheen blijft draaien, weigert de toelichting te geven op je eerdere beweringen en nu over een zinloos systeem begint.

[SED]

Die mogelijke verklaring is zwak op zijn best.
Is strijdig met je eerste uitspraken. Voldoet niet aan het gegeven dat men "kp wil weren" en is geen verklaring waarom je privacy geschonden moet worden op je eigen device.
Ik geef met duidelijke voorbeelden aan dat er toch kp op de icloud kan staan. Nog even los van het idiote gegeven dat kp filmmateriaal al helemaal niet tegen gehouden wordt.
Als ik dat keer op keer doe trek jij een regeltje uit een tekst en verwijt mij one liners.
Dat is toch wel typisch gedrag dat sommigen als trollgedrag zouden kwalificeren.
Dat Apple een andere agenda heeft lijkt me wel duidelijk. Jouw belang bij deze hardnekkige verdediging is minder helder.

[bytemaster460]

Zoals verwacht geen verklaring hoe Apple kan weten dat de eerste 29 foto's in hun cloud staan.
Welke agenda Apple heeft weet ik net zo min als jij. Ik probeer enkel een verklaring te geven voor het scannen op het apparaat i.p.v. de cloud waarbij ik me baseer op uitspraken van deskundigen die de afgelopen week uitspraken daarover hebben gedaan.

[SED]

Het is jouw stelling dat zelfs 1 kp foto al een probleem zou zijn voor cloud aanbieders. Maar 29 per sessie niet?
Dat is toch volkomen onzinnig.
Ik moet zaken telkens weer herhalen, want beklijven doet het duidelijk niet.
Ik baseer me op deskundigen die breed gedragen de privacy inbreuk van Apple veroordelen. Incl eigen Apple personeel.

[bytemaster460]

Dat heb ik nooit gezegd. Dat maak jij er steeds van. Wat ik heb gezegd is dat wanneer men een NOTIFICATIE krijgt dat er KP op hun systeem staat, MOETEN ze een melding maken. Zolang er dus geen notificatie is ontvangen hoeft men niets te doen. Bij het systeem van Apple volgt die notificatie bij 30 foto's.
Ik ontken helemaal niet dat Apple inbreuk maakt op de privacy. Daar ging deze subthread ook helemaal niet om. Dit was echt de laatste reactie.

[Reactie gewijzigd door bytemaster460 op 22 juli 2024 20:41]

[SED]

Letterlijke, herhaalde quote van jouw tekst.

Echter de wet is wel zo dat er bij een positieve match bij een scan op kinderporno door een bedrijf een melding gemaakt moet worden.

Waar die scan plaatsvond staat daar niet en evenmin het gegeven dat een bedrijf zelf een kp grens in mag stellen.
Onzin derhalve!

[bytemaster460]

Daar gaat het juist in de hele discussie over. apple scan niet je foto’s. Dat is juridisch een wezenlijk element. Dat doet de software op je telefoon of vind je ook, dat Microsoft je screent als je lokaal een bestand zoekt op je windowsPC? Dat JIJ vindt dat Apple je fotos scant betekent niet dat dat juridisch ook zo gezien wordt.
Het werd eerder een semantische discussie genoemd maar dat is het dus niet. Als software van Apple lokaal op jouw telefoon je foto’s scant en niets terugmeldt is het niet Apple die je foto’s scant. Apple krijgt bij de 30e match pas een melding en weet dus niet bij wie er niets, 1, 2, 3,… of 29 fotos op Ijn telefoon heeft. Bij de 30e krijgen ze een notificatie en moeten ze dus een melding maken. Eerder niet.
Maar het is wel duidelijk dat je het niet wil snappen, want een uitleg hoe Apple die eerste 29 te weten komt geef je nog steeds niet, je citeert enkel een zin die in deze discussie al tig keer genuanceerd is…

[Reactie gewijzigd door bytemaster460 op 22 juli 2024 20:41]

[SED]

Apple scant, zij bepalen de scanresultaten, vergelijken dit met een door hen aangeleverde database via door hen aangestuurd scan protocol.
Dat doen ze dan ook nog eens op jouw apparaat.
Je hebt als gebruiker van icloud daarop geen enkele invloed.
Het Apple detectiepoortje staat in jouw huiskamer!
En dat niet alleen..
nieuws: Apple scant bijlagen in iCloud Mail sinds 2019 op beeldmateriaal kind...

[Reactie gewijzigd door SED op 22 juli 2024 20:41]

[theduke1989]

In hoeverre is het dan schadelijk? Of heeft de meeste mensheid het automatisch uploaden naar de cloud aan staan? Om zo meer opslag te hebben omdat 256GB of 512GB veel te duur is qua telefoon.

[timoootjex]

Het probleem zijn vaak mensne die het niet weten dat dit gebeurd.

[DrVic]

Ik doe het omdat ik onmogelijk met een gewoon kabeltje mijn foto’s van mijn iPhone krijg. Na een stuk of wat onderbreekt ie het kopiëren en kan ik weer opnieuw beginnen.

[FreshMaker]

check 'photosync' in de appstore

prijzig, ( kosten van één kabel ) maar wel uitermate effectief en enorm flexibel in het overzetten van je foto's naar eender welke mogelijkheid ook.
Van FTP tot aan vrijwel alle clouddiensten, in te stellen op tijd/accespoint en batterijniveau

[theduke1989]

Wat bedoel je hiermee? Je kan toch gewoon alles kopiëren via de software voor op Mac of PC

[Johnny]

Ik heb het niet aanstaan maar bij iedere update, die "verplicht" is omdat er essentiële beveiligingsupdates in zitten vraagt de telefoon weer opnieuw of je iCloud wil gebruiken en het kost meer moeite om het te weigeren dan het te accepteren. Dus zelfs als je het niet wil wordt je er voortdurend mee lastig gevallen totdat je uiteindelijk een keer toegeeft.

[laptopleon]

cc @theduke1989

iCloud aanzetten is niet genoeg. Je moet expliciet de optie voor Photos aanzetten voordat je foto’s worden geüpload naar iCloud (en dus hashes worden vergeleken met kp-hashes).

Dat hoeft overigens niet opnieuw als je daarna iCloud uit zet en weer aan zet. Sowieso hoef je iCloud niet opnieuw aan te zetten na een grote/beveiligingsupdate. Misschien denk je aan de voorwaarden waarmee je opnieuw akkoord moet gaan.

[SinergyX]

Daar lijkt toch tegenstrijdigheid te zitten, wordt nu het scannen ook uitgezet bij niet upload naar iCloud, of staat scannen altijd aan, maar wordt pas 'geactiveerd en gecontrolleerd' bij aanzetten van iCloud uploaden?

[Hydranet]

Het gaat veel verder als Apple doet voor doen: https://odysee.com/@RobBraxmanTech:6/apple:8

[laptopleon]

Deze beste man komt nogal paranoïde over. Hij doet er 20 minuten over om te vertellen dat alle smartphones constant alles en iedereen in de gaten houden, ‘met elkaar praten, zelfs buiten internet om’, foto’s via ai analyseren etc etc en ‘alles wat niet strookt met de regels rapporteren aan Apple’s hoofdkwartier’.

Alleen jammer dat hij er geen enkel bewijs bij heeft. ‘Het kan, dus het gebeurt.’ lijkt het motto. En ‘As usual, nothing is what it looks.’ ‘iPhone, het beste staatsexamen ooit.’ etc.

[bytemaster460]

Ik heb het hele filmpje bekeken en in het begin doet hij alsof hij wereldschokkend nieuws gaat vertellen wat Apple niet heeft verteld in hun presentatie. Ik heb echter niets gehoord wat ik niet al wist vanuit de documentatie van Apple zelf.
Het onderzoek naar het algoritme in dit artikel lijkt juist ook het ongelijk van Rob Braxman aan te tonen t.a.v. het scannen van het onderwerp van de foto. Het hashen gaat anders dan wat Braxman beschrijft (ook al is het achterhaalde algoritme niet het definitieve, volgens Apple).
Als overheden of techbedrijven je via een smartphone willen schaduwen kunnen ze dat gewoon. Daar hoeven ze helemaal niet zoiets als CSAM-Scanning voor op te tuigen.

[Alxndr]

Zie ik het dan verkeerd dat je hiermee dus alleen de domste van de domste zou kunnen pakken: mensen die dit soort foto's automatisch naar de cloud uploaden?

(Klinkt mij als een drugssmokkelaar/dealer die zonder riem, met z'n telefoon de ene en een joint in de andere hand en een kapot achterlicht en een kofferbak vol drugs in het centrum van de stad rondjes gaat rijden.)

[Donstil]

Dat werkt zo inderdaad, deze controle vind plaats voor de upload naar iCloud.

[RefriedNoodle]

Why?

Ze kiezen ervoor om alleen foto’s te scannen die naar iCloud gaan. Dat kun je doen in portable devices op batterijen met beperkt geheugen, of in datacenters met virtueel ongelimiteerde rekenkracht. Waarom kozen ze het eerste? Puur vanwege de centjes, of misschien iets juridisch omdat het gebeurt vóórdat ze Apple’s datacenter raken?

[kamerplant]

Beperkt geheugen en kracht valt kennelijk wel mee dus 🙂

[FreshMaker]

Beperkt geheugen en kracht valt kennelijk wel mee dus 🙂

Ik weet niet of je de prijsverschillen tussen de devices kent ?
De toestellen zijn gelijk, maar tussen 64GB en 256GB zit al 170€

Reken daarbij het 'sneller' slijten van accu's, die ook niet gratis vervangen worden ...

* met daarbij het wantrouwen in de gebruiker ... Iedereen is verdacht, dus iedereen wordt gescand.

[kamerplant]

De prijzen van opslag heeft toch niks met de keuze te maken om zoiets lokaal te scannen of niet? 😛

[FreshMaker]

De prijzen van opslag heeft toch niks met de keuze te maken om zoiets lokaal te scannen of niet? 😛

En waar denk je dat de database terecht komt ?

[bytemaster460]

Waarschijnlijk inderdaad een juridisch punt. Onder de Amerikaanse wet is het bedrijf verplicht de autoriteiten in te schakelen als er een vermoeden van kinderporno aanwezig is. Door de scan op de telefoon te laten plaatsvinden kan de treshold van 30 matches worden ingebouwd waarna Apple pas geïnformeerd wordt en er dus ook een stevige verdenking bestaat (30 matches krijg je niet zomaar). Het voorkomt dat je praktijken zoals bij Microsoft en Google krijgt waarbij er direct een vlaggetje omhoog gaat en maatregelen getroffen worden, ook al is het loos alarm.
Dit is een mogelijk verklaring, geen uitspraak van Apple zelf.

[Donstil]

Ja goeie vraag, of misschien wel om volledige E2EE te kunnen aanbieden op iCloud maar dat is nog niet bekend gemaakt helaas.

[nopcode]

Omdat ze dan iCloud e2e kunnen encrypten.

[Gropah]

Er zouden waarborgen zijn ingebouwd waardoor gebruikers niet ten onrechte worden verdacht van het uploaden van kindermisbruikafbeeldingen. Zo krijgt Apple pas een waarschuwing als er minstens dertig matches zijn gevonden.

Dat is allemaal leuk en aardig, maar daar heb je dus helemaal niets aan als je collisions kunt forceren/genereren zoals ze dat dus lijken te kunnen. Als je dan iemand zijn cloud storage kunt volgooien met images die collisions veroorzaken (door ze bijvoorbeeld als foto via whatsapp oid te sturen), dan is die persoon flink de pineut.

Oftewel, aan die waarborg heb je helemaal niets.

[Caayn]

Het enige voordeel, imo, van Apple's implementatie is dat het als laatste check nog gecontroleerd wordt door een persoon. (Wat op zich ook wel weer een privacy issue is) Dat maakt het in ieder geval beter dan Microsoft met PhotoDNA waarbij je na één detectie al volledig buitenspel kan staan.

Als iemand jouw iCloud vol gooit met dergelijke collission afbeeldingen heb je in ieder geval nog de kans dat er een medewerker "zucht, weer zo'n grapjas" zegt.

[Reactie gewijzigd door Caayn op 22 juli 2024 20:41]

[mocean]

Dus dan is het toch niet echt e2e encrypted, hoe wil je anders die controle doen?

[air2]

Omdat de hash op de iphone wordt berekend, VOOR dat die versleutelde foto naar Apple wordt verstuurd. Daarna kan apple die hash matchen met de db.

[mocean]

Ik bedoel de menselijke controle als je de 30 hits haalt.

[CAPSLOCK2000]

Het is misschien een beetje flauw, maar technisch gezien zegt 'end-to-end' niks over hoeveel eindpunten er zijn. Zolang de communicatie tussen de eindpunten maar versleuteld is dan is het end-to-end. Er is niks dat zegt dat end-to-end tussen twee personen is.

Afhankelijk van hoe het systeem precies is beschreven kun je misschien zelfs redeneren dat er niet beloofd is dat álle communicatie áltijd e2e is en dat ze technisch gezien voldoen omdat de verbinding met de iCloud wel end-to-end is beveiligd. Maar dat is speculatie want ik heb de tekst zelf niet gelezen.

Eerlijk gezegd vind ik het ook niet heel spannend. Inmiddels mag wel duidelijk zijn dat Apple onze telefoons als haar eigendom ziet en dat Apple eenzijdig de regels maakt. (voor de fanboys: ja, Google/Android/Playstore heeft daar ook last van). En onze overheden staan er niet veel anders in. Eerlijk gezegd hebben die meer recht van spreken.

Wat je daar verder allemaal over denkt is eigenlijk niet belangrijk. Wat wel belangrijk is dat je alleen op software kan vertrouwen als je software vrij kan bestuderen en aanpassen zodat je kan snappen hoe die werkt en zorgen dat dat volgens jouw eigen wensen is zonder kunstmatige blokkades die dat praktisch gezien onmogelijk maken. Encryptie (end-to-end of anders) en hashing algoritmes kun je alleen vertrouwen wanneer die volledig open zijn en getest door de crypto-community, en, en, en je moet zelf alle sleutels hebben en die kunnen beheren/aanpassen zo je wil.
Eigenlijk hele fundamentele concepten uit de wereld van encryptie en softwaremanagement die al decennia bekend zijn maar we steeds weer lijken te vergeten onder druk van politiek of commercie.

[air2]

Ik vermoed dat je idd gelijk hebt, dat het opsturen e2e encrypted is, maar dat de afbeeldingen ook door apple te ontsleutelen zijn, want hoe kunnen ze de politie er anders van overtuigen dat je kp in je bezit hebt.

[bytemaster460]

Foto's in icloud zijn niet E2E encrypted. Apple kan daar gewoon bij. Data van Homekit, Keychain, Health etc. is E2E encrypted.

[mocean]

Waarom dan zo'n omweg en op je tel scannen?

[bytemaster460]

Dat is de grote vraag die steeds in iedere discussie wordt gesteld. Apple geeft daar ook niet direct antwoord op. Mogelijk zouden ze de voorwaarden van hun cloud schenden als deze check in de cloud zou worden uitgevoerd. Misschien is het een voorsortering op andere plannen die nog gerealiseerd gaan worden. Zou ook kunnen dat Apple zelf in de veronderstelling was dat mensen het gemakkelijker accepteren als je telefoon lokaal de hashes vergelijkt i.p.v. dat Apple het doet op de cloud. Door het op de telefoon te doen krijgt Apple pas een signaal bij 30 matches. Eerder weten ze nergens van. Als je het in de cloud doet staat iedere match bij hen geregistreerd. Ik weet het niet.
Dat foto's niet E2E encrypted zijn is duidelijk. Je kunt gewoon een nieuw wachtwoord aanvragen en Apple stuurt je dan een link waarmee je weer bij je foto's kan komen. Dat zou niet kunnen met E2E encryptie.

[Anoniem: 1576590]

Dus dan is het toch niet echt e2e encrypted, hoe wil je anders die controle doen?

Als ik de documenten van Apple goed begrijp, werkt het als volgt:

- Elke foto [1] die vanaf jouw iDevice naar iCloud geüpload gaat worden [2], wordt gescand;

- Bij een match (waarschijnlijk CSAM) wordt er een "voucher" gemaakt met daarin o.a. een lage resolutie-versie van de foto (ik denk ergens gelezen te hebben dat deze ook in grijswaarden wordt omgezet);

- Die voucher (in elk geval de low-res foto daarin) wordt versleuteld met een sleutel die pas vrijkomt voor Apple nadat er 30 [3] of meer gevlagde foto's vanaf jouw iDevices naar jouw iCloud account zijn geüpload;

- Of en waar jouw foto's zelf worden versleuteld weet ik niet zeker, maar als ze worden versleuteld vermoed ik dat dit gebeurt op jouw iDevice, vóór upload dus, met een symmetrische sleutel waar al jouw iDevices bijkunnen - en Apple waarschijnlijk ook, maar Apple zou daar pas gebruik van maken (zoek naar "warrant") na een justitieel bevel.

[1] filmpjes (nog) niet.
[2] elke foto die op jouw iDevices belandt uploaden naar iCloud is de default instelling; je moet "opt-outen" als je dit niet wilt.
[3] Uit deze Apple PDF: "we expect to choose an initial match threshold of 30 images". Dit getal kan Apple dus veranderen. Ik weet niet of bij een (tijdelijke) verlaging Apple inspecteurs lang geleden geüploade vouchers alsnog te zien krijgen.

M.a.w. de Apple medewerker die jouw als vermoedelijk CSAM aangemerkte foto's moet beoordelen, krijgt daar niet de originelen van te zien, maar uitvoeringen in lage resolutie. Als ik het goed begrijp heeft die medewerker (aanvankelijk) geen toegang tot de originelen.

Wat de exacte vervolgstappen zijn nadat de Apple medewerker van minstens 30 [3] low-res plaatjes heeft geconstateerd dat het in alle (of een deel van?) de gevallen om CSAM gaat, weet ik niet.

Correcties/aanvullingen op wat ik schreef zijn van harte welkom!

[Reactie gewijzigd door Anoniem: 1576590 op 22 juli 2024 20:41]

[Stoney3K]

Het enige voordeel, imo, van Apple's implementatie is dat het als laatste check nog gecontroleerd wordt door een persoon. (Wat op zich ook wel weer een privacy issue is) Dat maakt het in ieder geval beter dan Microsoft met PhotoDNA waarbij je na één detectie al volledig buitenspel kan staan.

Dat is niet alleen een privacy issue, dat maakt ze zelfs strafbaar onder Amerkaans recht. Want als ze foto's van (vermeend) kindermisbruik laten controleren door een persoon van Apple, dan is Apple kinderporno aan het verspreiden en versturen... naar Apple. In de Amerikaanse wet staat daar een heel duidelijke clausule in, dat die foto's alleen verzonden mogen worden om gehoor te geven aan een vordering van de politie, en in geen enkel ander geval.

Dus ook als Apple een bericht naar de politie zou sturen met "Persoon XYZ heeft volgens ons vermoeden kinderporno op zijn telefoon staan, kijk maar, hier is een ZIP met de verdachte afbeeldingen" dan zijn ze daarin strafbaar.

[bytemaster460]

De menselijk check vindt plaats via thumbnails op foto's die al in de cloud staan. Apple stuurt ze dus nergens heen. Als je dan een menselijke check uitvoert omdat een algoritme je een signaal heeft gegeven van verdachte activiteit, mag dat gewoon. Dan overtreed je geen wet tegen kinderporno.

[Anoniem: 1576590]

dat maakt ze zelfs strafbaar onder Amerkaans recht. Want als ze foto's van (vermeend) kindermisbruik laten controleren door een persoon van Apple, dan is Apple kinderporno aan het verspreiden en versturen... naar Apple. In de Amerikaanse wet staat daar een heel duidelijke clausule in, dat die foto's alleen verzonden mogen worden om gehoor te geven aan een vordering van de politie, en in geen enkel ander geval.

Omdat het een kip-ei probleem is dat je pas weet of een plaatje CSAM is of niet nadat een te vertrouwen mens er naar gekeken heeft, verwacht Apple (en ik, voor wat dat waard is) niet dat er veel rechters zijn die hier een probleem van zullen maken.

Overigens dien je in de USA, naar verluidt, gevonden CSAM over te dragen aan NCMEC.

Apple schreef in hun Security Threat Model Review of Apple’s Child Safety Features (PDF) dat zij, als test, een (niet nader gespecificeerde) verzameling van 100 miljoen foto's met hun algoritme hebben gescand en 3 vals positieven vonden, die -na visuele inspectie- geen CSAM zouden zijn.

Dat aandeel vals positieven zou wel eens groter kunnen zijn bij bijvoorbeeld veel donkere foto's, onscherpe foto's en/of foto's met laag contrast.

In deze bijdrage wees ik al op het risico van reverse engineering en het onterecht beschuldigen van bijv. dissidenten, en leg ik uit waarom Apple's "Security Threat Model Review of Apple’s Child Safety Features" m.i. een slecht marketingverhaal is.

Apple weet dus niet 100% zeker dat via hun NeuralHash algoritme "gevlagde" foto's CSAM zijn.

En dat niet alleen omdat de gebruikte algoritmes vals positieven kunnen opleveren, maar ook omdat organisaties zoals NCMEC fouten (onbedoeld of opzettelijk, bijv. via een bedreigde medewerker) kunnen maken door PhotoDNA en/of NeuralHashes van niet-CSAM materiaal te verspreiden als zijnde hashes van CSAM (dat is niet denkbeeldig: in Nederland ging dit al eens fout). Immers, Apple krijgt de oorspronkelijke beelden niet, maar slechts de hashes.

Daarom laat Apple "ter zake kundige" medewerkers, naar verluidt, lage resolutie versies van gevlagde foto's beoordelen voordat zij überhaupt iemand beschuldigen.

Rechters zullen het er immers waarschijnlijk ook mee eens zijn dat het onjuist is als Apple iemand beschuldigt van het bezit van kinderporno, uitsluitend op basis van een aangetoond niet feilloos werkend algoritme, naast dat de kans op "vervuiling" van de database met non-CSAM-hashes groter dan nul is.

Edit 15:08: NMEC -> NCMEC

[Reactie gewijzigd door Anoniem: 1576590 op 22 juli 2024 20:41]

[Shark.Bait]

Alleen jij kan jouw iCloud volgooien met rommel...dat zoiets wat jij voorstelt gebeurt is een uitzondering, geen regel. Voor 99,99% van de iphone gebruikers is het geen punt.

[Ultimus XI]

Als je wilt bereiken bij een persoon, wat jij beschrijft, dan kun je ook (evt. vanaf een burner phone of weet ik veel) echte bekende kinderporno foto's sturen naar die persoon. Waarom zou je dan überhaupt moeilijk gaan doen en zoeken naar foto's die een collision veroorzaken met diezelfde kinderporno foto's? Daar moet je eerst flink je best voor doen, namelijk. (Edit: Tenzij bekende collisions uiteindelijk publiek worden gemaakt door onderzoekers?)

En dit zou ook problemen opleveren voor iemand met een Android-telefoon, die zijn of haar telefoon-foto's automatisch uploadt naar OneDrive, Google Drive, of wat dan ook, want daar scannen ze ook foto's. Dit systeem voegt in dit geval geen extra risico toe.

[Reactie gewijzigd door Ultimus XI op 22 juli 2024 20:41]

[Gropah]

Er zijn twee redenen.

De eerste is dat het een stuk minder opvalt. Kijk maar naar het voorbeeld in het artikel. De onderste ziet er raar uit, maar ziet er niet uit als een hond. Op dezelfde manier kun je iets binnensmokkelen wat niet lijkt op kinderporno (of uberhaupt iets), en het ook niet is, maar wel herkent word als kinderporno.

Ten tweede: het zijn hashes. Afgeleiden van. Hashes zijn niet uniek. Als het mogelijk is om 1 collision te maken, is het ook mogelijk om meerdere te maken, of om foto's te bewerken op een efficiente manier tot er een collision is. Die foto zou dan gewoon op een hond kunnen lijken, maar onder water een collision met kinderporno hebben.

[Reactie gewijzigd door Gropah op 22 juli 2024 20:41]

[laptopleon]

Allemaal heel interessant (niet cynisch bedoeld!) maar uiteindelijk gaat niemand problemen krijgen met die geconstrueerde collisions. Per saldo wordt alleen de betrouwbaarheid minder van dit systeem, maar sowieso zullen niet veel specialisten (en trouwens ook veel buitenstaanders niet) die 1:biljoen claim geloven zonder bewijs.

[CaDje]

Je moet dan alleen wel toegang hebben tot de originele hashes, en die zijn volgens Apple "geheim" en alleen bij hun bekend (en opsporingsinstanties wellicht).

[Gropah]

De daadwerkelijke hashes mogen dan wel geheim zijn, maar zoals deze gebruiker op github uitlegt kun je waarschijnlijk makkelijk genoeg aan wat "bronmateriaal" komen om wat hashes te krijgen. Dat bronmateriaal is dan waarschijnlijk bekend genoeg om ook bij Apple en opsporingsinstanties bekend te zijn. Ja, dat is illegaal, maar dat is het framen van iemand ook, dus denk niet dat als je echt kwade bedoelingen hebt dit een showstopper is.

[bytemaster460]

Dat er collisions kunnen optreden had Apple voorzien, vandaar de treshold, maar dat je collisions zelf kan genereren zou een extra reden moeten zijn om het hele systeem niet uit te rollen.

[LanTao]

Dat is allemaal leuk en aardig, maar daar heb je dus helemaal niets aan als je collisions kunt forceren/genereren zoals ze dat dus lijken te kunnen. Als je dan iemand zijn cloud storage kunt volgooien met images die collisions veroorzaken (door ze bijvoorbeeld als foto via whatsapp oid te sturen), dan is die persoon flink de pineut.

Apple heeft al toegezegd dat er een verificatiestap komt voordat er verder iets met foto's gedaan wordt. Dus zelfs als iemand hash collisions weet te genereren met bestaande CSAM en jij de minimaal 30 foto's niet delete maar toevoegt aan je photo library en ze uploadt naar Apple, betekent dat niet dat je automatisch aangegeven wordt bij de politie.

[laptopleon]

De (zeden)politie kan er sowieso niks mee, want er zijn geen strafbare feiten, dus het heeft geen zin om hiervan aangifte te doen. Het uiteindelijke bewijs voor het bezit van kp bestaat namelijk niet. Alleen een vals alarm in een systeem wat kp moet detecteren.

[LanTao]

Mijn reactie was op "dan is die persoon flink de pineut" hierboven. Ik nam aan dat ook minimaal verdacht worden door de zedenpolitie daar onder zou vallen.

[Blokker_1999]

Maar als het klopt dat croppen van een foto of het roteren ervan een andere hash opleveren, hoe zinvol is de techniek dan nog? Dan hebben misbruikers toch al weer heel snel een middel om detectie te vermijden. foto's beginnen bijsnijden of net weer wat breder maken met kadertjes er rond te zetten.

Ik dacht dat 1 van de kernpunten van het algoritme net was dat ook het croppen of draaien van een foto geen verschil mocht uitmaken voor de detecteerbaarheid.

[The Third Man]

Ik vermoed dat de insteek was om casual users te pakken, niet zozeer de types die dan met editors het gaan bewerken om zo de detectie te omzeilen. Daarnaast is zoiets nooit af, dat het vandaag nog die crop niet aankan betekent niet dat ze niet morgen alsnog werkend maken.

[ejay79]

Dat is toch een kul argument?

Wat heb je nou aan "casual users" als die
a) er al zijn
b) uberhaupt hun iphone/ipad hiervoor gebruiken
c) al matchen. Want hoe groot is de kans nou dat een hash, die klaarblijkelijk door croppen of roteren al niet meer matched op een "zekere database met kinderporno", die "casual user" eruit pakt?

Daarbij nog punt d) want hoe groot is de kans dat de kinderporno die de casual user 'gebruikt' reeds in de database zit? Het is een illusie om aan te nemen dat "de database" allesomvattend is en altijd 'voorloopt' op de 'gebruiker'.

Dit hele zaakje stinkt gewoon, vooral aan de kant van Apple.

*typo

[Reactie gewijzigd door ejay79 op 22 juli 2024 20:41]

[The Third Man]

a) de meeste figuren die vervolgd worden zijn casual users
b) zie mijn reactie hierboven over telegramgroepen
c) omdat men doorgaans plaatjes domweg doorstuurt, net als dat met grappige memes ook gebeurt. of crop/rotate jij ook je plaatjes voordat je ze doorstuurt?
d) er is via Europol al een enkele database van in beslag genomen plaatjes die via dezelfde soort herkenning wordt toegepast op nieuwe data die men in beslag neemt, dit is origineel ontwikkeld om opsporingsambtenaren minder te belasten. Er is in de VS een vegelijkbare database van de FBI en men is bezig om naar 1 wereldwijd systeem te werken. De kans dat er minstens een aantal plaatjes gematcht zal worden is natuurlijk wel groot, en daarmee vang je al vrij gemakkelijk gebruikers.

Het is een illusie om aan te nemen dat "de database" allesomvattend is en altijd 'voorloopt' op de 'gebruiker'.

Dat is nou een stroman-argument. Niemand beweert dat de database allesomvattend is noch dat die altijd voorloopt. Dat is namelijk ook niet nodig omdat:

- je hoeft niet alle plaatjes te matchen
- men niet altijd uitsluitend de allernieuwste plaatjes uitwisselt
- men ook plaatjes laat staan zonder er bij na te denken, en dus de kans geeft dat de database het later alsnog matcht

Kortom om nou met krachttermen als 'kulargument' te komen vind ik wat overtrokken en kortzichtig.

Dit hele zaakje stinkt gewoon, vooral aan de kant van Apple.

Dat geloof ik ook, maar dat staat los van de invalshoek om casual KP uitwisselaars te kunnen vangen. Daar kan het wel degelijk voor werken, simpelweg omdat het eigenlijk het principe gebruikt van de opsporingsinstanties (digitale recherche) op in beslag genomen data, zij het op een ander moment via een andere actor. Of we het moeten willen is een andere dicussie.

[Reactie gewijzigd door The Third Man op 22 juli 2024 20:41]

[ejay79]

Dank voor je uitgebreide reactie, ik zou op meerdere items weerwoord kunnen geven maar samengevat val ik over één ding:

dat staat los van de invalshoek om casual KP uitwisselaars te kunnen vangen

Het argument kinderporno heiligt niet alle middelen, zeker niet als deze middelen en hun effect op z'n minst dubieus zijn.
Als dit soort technology vanuit een overheid wordt gepushed snap ik het nog, maar een techreus heeft doorgaans een ander oogmerk: Winst maken.

[The Third Man]

Ja, maar wederom: "Of we het moeten willen is een andere discussie. ". Mijn originele post beweerde niet 'het is goed dat apple dit doet want dan vangen we wat KP uitwisselaars', maar daar lijk je wel steeds op te ageren. Ik reageerde slechts op de vraag van Blokker_1999 wat het nut zou zijn van het algoritme als het niet tegen croppen, draaien e.d. kan. Dat is dus een specifieke vraag op technisch vlak, los van de ethiek welke partij in wiens eigendom die techniek gaat toepassen. Mijn reactie ging er dan ook op in welke demografische groep primair bereikt wordt door het algorithme en dat die groep minder snel geneigd zal zijn om bewust die handelingen uit te voeren om telkens het algorithme te slim af te zijn. Letterlijk de betekenis van het begrip 'casual'.

[Reactie gewijzigd door The Third Man op 22 juli 2024 20:41]

[fretnn]

Ik vraag me af of dit een stap is die ze gezet hebben om zo voor iCloud e2e aan te kunnen zetten

[FreshMaker]

Ik vermoed dat de insteek was om casual users te pakken, niet zozeer de types die dan met editors het gaan bewerken om zo de detectie te omzeilen. Daarnaast is zoiets nooit af, dat het vandaag nog die crop niet aankan betekent niet dat ze niet morgen alsnog werkend maken.

Een casual user .... van kinderporno plaatjes - en dan ook in je opslagfolder laten staan ?

Ik heb in het verleden ook van die megapacks opgehaald met honderden aan pornoplaatjes.
Maar als je dit dan door scrolt, merk je al snel dat er 'minder leuke' tussen zitten, dan verwijder je de hele meuk. ( dit gebeurde toen wel vaker, en na de 2e keer liet je dit links liggen, want 'onbetrouwbaar' )

Maar dat soort dingen trek je niet binnen op je iphone/ipad, dat gaat via torrents of usenet, dus PC / Mac
Dat komt al niet in je fotomap op je mobiele device -> dus niet naar icloud.
Als dit 'casual' door iemand naar je whatsapp/telegram gestuurd wordt, is die persoon na één waarschuwing wel klaar met verzenden, dat filter heb ik zelf wel, en gaat hij/zij daarmee door - block voor een hele tijd.
* FreshMaker heeft zijn broertje al eens 3 maanden op mute gezet, omdat er 100én plaatjes per dag bleven komen, die grappig zouden moeten zijn ...
Nee, stop ermee, en klaar ..

Ik denk dat een 'casual' KP plaatje dezelfde percentages zal kennen op een telefoon, als dat er in het scanningtool zullen voorkomen.
En de 'echte' gebruikers, nee, ik denk niet dat die op een commerciële cloud zitten met hun verzameling.

Dit hele idee is een shitshow om te beginnen ( gaat device resources kosten van de gebruiker ) en alleen maar om compliant te zijn aan vage wetgevingen die 'iets' verwachten van de Cloud beheerders.

[The Third Man]

Maar dat soort dingen trek je niet binnen op je iphone/ipad, dat gaat via torrents of usenet, dus PC / Mac
Dat komt al niet in je fotomap op je mobiele device -> dus niet naar icloud.
Als dit 'casual' door iemand naar je whatsapp/telegram gestuurd wordt, is die persoon na één waarschuwing wel klaar met verzenden, dat filter heb ik zelf wel, en gaat hij/zij daarmee door - block voor een hele tijd.

Wat echter steeds meer in het nieuws over aanpak en rechtzaken naar boven komt is dat mensen niet meer hele archieven opbouwen op hun pc, maar in plaats daarvan in telegramgroepen zitten toegewijd aan dit onderwerp en zo dit soort zaken ontvangen en evt verspreiden. Zo komt het dus hoofdzakelijk op hun smartphone terecht en niet op hun pc. Je stelt het nu net voor alsof telegram alleen voor casual gesprekken met bekenden wordt gebruikt...

Daar komt nog eens bij dat de privacywetgeving toegang tot hun smartphone beter beschermt dan een ander bezit, wat puur vanuit het oogpunt van digitale gegevensdrager natuurlijk wel apart is. Dat komt natuurlijk omdat een smartphone ook een priveberichtencentrum is, maar dat heeft wel een bijwerking dat het daardoor een veiligere haven voor illegale plaatjes is.

Nee, stop ermee, en klaar ...

Dat is voor jou en mij vrij eenvoudig, maar voor iemand die dat actief opzoekt niet. Ik bedoel niet dat dit systeem zo'n iemand zou 'redden' of zo, maar het verhoogt wel de drempel om je überhaupt in die richting te begeven.

Dit hele idee is een shitshow om te beginnen ( gaat device resources kosten van de gebruiker ) en alleen maar om compliant te zijn aan vage wetgevingen die 'iets' verwachten van de Cloud beheerders.

Zaken kunnen ook meerdere doeleinden hebben, het is niet per se of/of.

[Reactie gewijzigd door The Third Man op 22 juli 2024 20:41]

[WokBoy]

Dat is het ‘m, denk ik - legal requirements uit verschillende landen die inderdaad vaag en halfbakken, ondoordachte onzin zijn.
(stiekem hoop ik dat Apple dit hele circus georkestreerd heeft om zonder echte schade onder dit soort dwaze requirements uit te kunnen komen… “ziet u wel meneer Grapperhaus, iemand kan nu al collisions maken in Neuralhash”).

[Blue-eagle]

Precies, en door die foutmarge in te bouwen kunnen regeringen zoals Saudi Arabië ook eisen van Apple dat ze even gaan zoeken op bekende plaatjes die die ongelovigen worden uitgewisseld. Daar staat de doodstraf op in dat land. En in China kunnen ze zoeken op plaatjes die veelal worden gedeeld door Oeigoeren, die vervolgens worden opgepakt.

Wat Apple hier doet is echt gruwelijk eng voor de wereld. Je eigen telefoon die jou gaat bespioneren, zelfs plaatjes die je 3 jaar geleden had gedownload worden door jouw eigen telefoon gescand.

Stel je eens voor als deze technologie bestond rond 1940. Een bepaalde Duitser zou d'r erg blij mee zijn.

En dit is nog maar het begin. Er is zoveel mogelijk met deze technologie, er zijn zoveel kwetsbare punten, er zijn zoveel mogelijkheden tot misbruik.

[The Third Man]

Dat lijkt me evident, maar wat heeft dat met m'n reactie te maken

[TijsZonderH]

Detectie is sowieso vrij makkelijk te vermijden door uploaden naar iCloud uit te zetten. Ik vraag me af hoeveel grote vissen je hiermee daadwerkelijk gaat pakken.

[Sharky]

Het voelt een beetje als de vraag die je soms krijgt als je iets in de VS bestelt in de trand van 'Ga je dit gebruiken voor terroristische doeleinden?'. Leuk geprobeerd en in theorie werkt het perfect, maar in de praktijk gaat het natuurlijk compleet anders. Mensen die echt (grote) hoeveelheiden materiaal hebben met misbruik uploaden niet naar icloud en/of omzeilen het algoritme op kinderlijk eenvoudige wijze.

edit:
Te snel getypt en hersteld. Thanks.

[Reactie gewijzigd door Sharky op 22 juli 2024 20:41]

[Caayn]

Bestaat die vraag niet puur vanuit een juridisch oogpunt? Volgens mij is het bij een visum aanvraag zodat je bijv. per direct uit het land gezet kan worden omdat je gelogen hebt bij je aanvraag.

[FreshMaker]

Bestaat die vraag niet puur vanuit een juridisch oogpunt? Volgens mij is het bij een visum aanvraag zodat je bijv. per direct uit het land gezet kan worden omdat je gelogen hebt bij je aanvraag.

Hmja,
Je pleegt een bomaanslag, en wordt op een technisch detail op een papiertje/formuliertje uitgezet ....

[Arnoud Engelfriet]

Nee, het is: je komt het land binnen, je koopt kunstmest en aceton en je hebt een Taliban in een WhatsAppgroep, dan word je per direct het land uit gezet. Dat is veel makkelijker dan die juridische procedures met rare termen als 'bewijslast' en 'onschuldig tot het tegendeel bewezen is'.

[The Third Man]

Argument ad extremum. De vraag is niet 'ga je een bomaanslag plegen ja/nee', de vraag is of je het gaat gebruiken voor 'terroristische doeleinden'. Dat is een dermate ruim en vaag begrip dat het de overheid de ruimte geeft om je ook voor een stuk minder zware zaken te kunnen uitzetten.

[bytemaster460]

Een bomaanslag plegen is natuurlijk niet de enige activiteit die als terroristisch kan worden bestempeld. Ronselen, propaganda maken, overleg faciliteren, etc. valt daar natuurlijk ook gewoon onder.

[Sandor_Clegane]

kinderlijke wijze.

?

[FreshMaker]

[...]?

Zie het zoals de posts op usenet in het verleden.
De enige 'beveiliging' die toegepast werd, was het omdraaien van de naam, alle letters achterstevoren.
Want er werd aangenomen dat elke post op naam gescand zou zijn.

Dat was een tijdlang ook wel het geval, maar dit wordt nog altijd gedaan, ondanks dat het gewoon geen nut meer heeft.

[PvdVen777]

"Pun intended" gok ik zo.

[Bundin]

ik gok "kinderlijk eenvoudige wijze"

[MooDyBLueS]

Precies en die mensen gebruiken nu misschien wel iPhones eventueel met iCloud opslag, maar dit technologische wereldnieuws zal zeker hun ook niet ontgaan zijn en dus zal er zeer eenvoudig gewoon omheen gewerkt worden. Ofwel iCloud opslag voor foto's uitzetten, ofwel overstappen naar een Android toestel of zelfs een andere foto opslag app op de iPhone.

Ik snap het punt en ben gezien de hashes niet bang voor mijn eigen privacy (ik gebruik een iPhone met iCloud opslag, dus ze scannen maar weg), maar ben ook bang dat het geen zoden aan de dijk gaat zetten als geheel. En gezien de kritiek op dit zie ik ook niet waarom Apple hiermee doorgaat.

[m_a_rnix]

20 miljoen beelden in 1 jaar bij Facebook: https://www.loopinsight.c...am-images-apple-only-265/

Grote vissen weet ik niet, maar het werkt dus zeker wel.

[Croga]

20 miljoen beelden in 1 jaar bij Facebook: https://www.loopinsight.c...am-images-apple-only-265/

Grote vissen weet ik niet, maar het werkt dus zeker wel.

Hoezo werkt het?

Facebook heeft dus 20 miljoen keer een match met de hash. De hash die kinderlijk eenvoudig te omzeilen is en regelmatig false positives oplevert. Wellicht heeft Facebook 20 miljoen false positives en zijn er nu dus hele bergen onschuldigen die door Facebook als schuldig aangewezen zijn.

Grote vissen zeker niet. Onschuldigen waarschijnlijk wel......

[bytemaster460]

Facebook maakte 20 miljoen meldingen van kinderporno. Daar zijn de vals positieven al van af. Al zal dat wel volgens de Amerikaanse moraal beoordeeld zijn.

[bytemaster460]

Ze overtreden helemaal geen wet als het bedoeld is als screening van hun platform. Zowel Google als Facebook geven aan dat ze gebruik maken van "Team of human reviewers" en "Moderators"

A source at the company told Insider that between July and September alone it had identified and removed 13 million child sexual exploitation images, 99% of which were found by the platform's moderators rather than members of the public.

a Google spokesperson said that the company uses "cutting-edge technology, supported by specialized teams of human reviewers, to detect, remove, and report such content to authorities.

https://www.businessinsid...3-million-facebook-2021-1

[m_a_rnix]

Het punt is dat mensen dus wél dom genoeg zijn om die troep bij Facebook (en Google Drive, en OneDrive, en Dropbox, en iCloud Photo Library) te uploaden. Ik weet niet hoeveel false positives er zijn, maar ook als het 10 miljoen beelden zijn (of 1 miljoen) is het een significant aantal.

[? ?]

Werkt spiegelen?
Ik snap niet dat iemand dit ooit een goed idee vond, zowel qua doel of techniek. Volgende is gewoon China dat een database opdringt van Tibetaanse foto's, Tianmenplein-bloedbad, enz.

[fretnn]

China heeft de iCloud sleutels in handen want alle Chinese iCloud servers staan bij een Chinees staatsbedrijf.

https://www.reuters.com/a...oud-insight-idUSKCN1G8060

Maar ik snap je punt wel, het is een slippery slope

[Reactie gewijzigd door fretnn op 22 juli 2024 20:41]

[Iblies]

De techniek is redelijk achterhaald en werkt met een soort fingerprint,
je hebt een x-aantal punten en op basis daarvan wordt je foto uitgevist.

Croppen en spiegelen is heel lang ondervangen. Croppen heb je nog een groot deel van de punten, spiegelen is een extra gegevensblad,

wat het moeilijk maakt is wanneer je gaat draaien of morphen. Dan komen er eindeloos veel opties bij en dus ook verwerkingstijd maar ook valse meldingen.

Welke techniek je ook gebruikt je, je loopt per definitie altijd achter de feiten aan en het laatste wat dergelijke bedrijven moeten gaan doen is gaan claimen dat ze maar x-aantal meldingen krijgen en dat hun databases “schoon” zijn.

Zo is het vb decennia al heel makkelijk om foto’s bij wijze van te versleutelen waardoor een doorsnee gebruiker een geschakeerd plaatje ziet en alleen specifieke gebruikers met een wachtwoord de foto’s kan ontsleutelen.

[The Third Man]

spiegelen is een extra gegevensblad,

Niet eens, je past een matrix berekening toe op je puntenstelsel en het staat gespiegeld in een of twee dimensies. Dat kan het algorithme zelf toepassen na elke mismatch. Net als dat jij ook de Mona Lisa gespiegeld herkent ookal heb je slechts 1 herinnering in je hersenen van hoe de Mona Lisa eruit ziet.

[monojack]

Hoe zinvol is de techniek om een andere hash te maken? Het enige dat je er mee doet is een Apple medewerker doen zuchten "weer zo'n grapjas"

[SED]

Die vraag kun je al stellen bij het gegeven of de beperkingen dat het alleen om foto's gaat. De zeer veel voorkomende kp filmpjes worden genegeerd.

[Rzarect0r]

Wie gaat er ook echt kinderporno uploaden naar z’n iCloud? Mensen die handig genoeg zijn om aan kinderporno te komen (darkweb) zullen toch niet zo achterlijk om het te uploaden naar hun iCloud (of überhaupt op hun telefoon zetten).

Vraag mij af wie ze hiermee willen pakken