Kindermisbruikslachtoffers klagen Apple aan om niet toepassen detectiesysteem

Een groep van 2680 slachtoffers van kindermisbruik klaagt Apple aan. De groep doet dat omdat Apple zijn geplande detectiesysteem voor kindermisbruikmateriaal in iCloud heeft geschrapt. Met de zaak is mogelijk een totaal van 1,2 miljard dollar aan schadevergoedingen gemoeid.

De slachtoffers hebben de aanklacht op zaterdag ingediend bij een rechtbank in Californië, schrijft The New York Times. De groep stelt dat Apple zijn beloftes rondom het beschermen van kindermisbruikslachtoffers niet is nagekomen. De aanklacht stelt dat Apple een systeem had ontwikkeld om beelden van kindermisbruik te identificeren, verwijderen en rapporteren aan autoriteiten, maar dat uiteindelijk niet heeft geïmplementeerd. De klacht stelt dat Apple in plaats daarvan toeliet dat het materiaal zich verder verspreidde.

Het techbedrijf zou hierom een 'defect product' hebben geleverd dat slachtoffers van kindermisbruik schaadde, stelt de aanklacht. Apple introduceerde volgens de slachtoffers kortstondig 'een alom aangeprezen verbeterd ontwerp gericht op het beschermen van kinderen', maar 'verzuimde vervolgens die ontwerpen te implementeren of maatregelen te nemen om materiaal over seksueel misbruik van kinderen te detecteren en beperken'. De aanklacht eist een beleidswijziging van Apple en vraagt compensatie voor de slachtoffers. Onder de wet hebben slachtoffers van kindermisbruik recht op minimaal 150.000 dollar per persoon. Volgens The New York Times kan het totaal in deze zaak oplopen tot 1,2 miljard dollar, met oog op 'de typische verdrievoudiging van gevraagde schadevergoedingen'.

De aanklacht draait om Apples geplande NeuralHash-systeem. Dat was een detectiesysteem voor kindermisbruikbeelden dat bedoeld was voor Apples iCloud-cloudopslagdienst. De tool zou geüploade beelden van iPhone- en iPad-gebruikers omzetten in hashes en die vergelijken met een database van kindermisbruikbeelden die bekend zijn bij de autoriteiten. Apple heeft die functionaliteit uiteindelijk geschrapt om veiligheidsredenen, mede na kritiek van privacyactivisten en beveiligingsonderzoekers. Apple zei later dat het onder andere bang was voor feature creep, waarbij bepaalde landen Apple onder druk konden zetten om de functie in te zetten voor andere doeleinden, zoals surveillance of het toepassen van censuur.

Apple zegt in een verklaring tegenover The New York Times dat 'kindermisbruikmateriaal afschuwelijk is', en dat het bedrijf 'zich inzet om de manieren waarop misbruikers kinderen in gevaar brengen te bestrijden'. "We zijn dringend en actief aan het innoveren om deze misdaden te bestrijden zonder de veiligheid en privacy van al onze gebruikers in gevaar te brengen." De woordvoerder verwijst onder meer naar nieuwe functies die het verspreiden van nieuw gemaakt materiaal moeten beperken, zoals features in de Berichten-app die kinderen waarschuwen voor ontvangen naaktbeelden en mensen de mogelijkheid bieden om schadelijk materiaal te melden bij Apple.

Reacties (126)

[M3m3nt0m0r1]

Nog wat interessante informatie over de indieners:

De rechtszaak tegen Apple is het werk van de vorig jaar opgerichte kinderveiligheidsorganisatie Heat Initiative. Dat zocht begin dit jaar advocaten die misbruikslachtoffers wilden vertegenwoordigen en bood 75.000 dollar ter ondersteuning. Volgens The Intercept zit een controversieel netwerk van filantropische miljardairs achter het Heat Initiative.

Apple introduceerde volgens de slachtoffers kortstondig 'een alom aangeprezen verbeterd ontwerp

Alom geprezen door wie? Niet door diegene met daadwerkelijk verstand van zaken.

[3raser]

Iemand die over de rug van misbruikslachtoffers rijk wil worden door de helft van de minimale vergoeding op te strijken. Ik vind de aanklacht al bijzonder, maar dit verklaart een heleboel.

[Accretion]

Een advocaat verdient toch eigenlijk altijd geld aan het verdedigen van criminelen?

En de slachtoffers zijn wellicht niet berust op geld, maar op het feit dat Apple zijn beloftes waar maakt.

[fooniac]

In U.S. ligt het iets anders. Daar geldt meer een 'no-cure no-pay', waarbij advocaten actief zaken zoeken en het risico nemen op óf niets óf een enorme pay-out.

Ten aanzien van je tweede opmerking. het bevreemt me dat er zo'n zaak op gestart wordt. Er valt (waarschijnlijk) niet te betwisten dat het systeem verspreiding van foto's had kunnen voorkomen en dat dit slachtoffers zijn waarbij foto's in omloop zijn, echter zou naar mijns inziens een verband gelegd moeten worden dat Apple hun foto's actief verspreid heeft.

[MrFax]

In Nederland maakt no cure no pay ook een grote opmars. Slecht is het niet, want samen sta je sterker. Dat komt vooral door de nieuwe "wet afwikkeling massaschade in collectieve actie", welke het makkelijker maakt om direct schadevergoedingen uit te keren voor grote groepen mensen.

Dat moest voor deze wet van kracht werd case-by-case bekeken worden, en daar hadden rechtbanken/advocaten gewoon geen tijd voor, en was er dus geen winst te behalen.

[Reactie gewijzigd door MrFax op 10 december 2024 06:58]

[Zer0]

Slecht is het niet, want samen sta je sterker.

In mijn ogen is het wel degelijk een slechte ontwikkeling, want het bevorderd ongelijkheid. Als je een zaak hebt die "makkelijk" te winnen is staan de advocaten in de rij, en hoef je niks te betalen voor ze daadwerkelijk voor je winnen, maar als je zaak complexer (en risicovoller is voor de advocaat) dan zul je zelf over de brug moeten komen.

Overigens heeft no cure no pay geen directe relatie met massaclains..

[MrFax]

Overigens heeft no cure no pay geen directe relatie met massaclains..

In theorie niet, maar in de praktijk wel.

[SirLenncelot]

Dit voelt dan toch net iets andersom, advocaten ruiken een zaak waar geld te verdienen is en zoeken er slachtoffers bij.

[Accretion]

een controversieel netwerk van filantropische miljardairs

Filantropie is 'uit goedheid', hoe kan dat dan controversieel zijn?

[Verwijderd]

Omdat filantropie niks te maken heeft met goedheid en vooral om profileringsdrang gaat. Waarbij het gedoneerde geld vaak afgetrokken kan worden van de belasting.

[laptopleon]

Dat we allemaal de voorbeelden uit de VS kennen waar dat in extreme gevallen zo uitpakt, wil nog niet zeggen dat de definitie van filantropie veranderd is. Filantropie op zich gaat niet om imago of aftrekposten.

[Verwijderd]

Waar gaat het dan wel om volgens jou als het niet goedheid en profileringsdrang is. Want dan zou je ook gewoon jouw eerlijke deel aan belastingen kunnen betalen en dan hebben zoveel mogelijk mensen er profijt van.

[laptopleon]

Alle vrijwillige inzet voor het publieke belang is filantropie. Iemand die met Koninginnedag eh… Koningsdag de vlaggetjes ophangt is net zo goed een filantroop als iemand die zoveel geld heeft dat hij niet meer weet wat hij er mee moet doen en het dan maar aan een goed doel schenkt.

Hoe groter je bedrijf is, hoe makkelijk het je wordt gemaakt om belasting te ontwijken, dat is zeker waar, maar belasting betalen is geen filantropie. Belastingen zijn nooit vrijwillig, filantropie is altijd vrijwillig.

[Paultje3181]

Het gewoon doen omdat je het wil. En dat het gestimuleerd wordt door de overheid door belastingverlaging is mooi meegenomen, maar is zeer zeker niet altijd de drijfveer?

[laurxp]

Er is geen universele definitie van goedheid. Als ik een groot fan ben van vissen is het filantropie als ik geld doneer aan een organisatie die zeehonden doodknuppelt en daarmee de vissen beschermt.

[Reactie gewijzigd door laurxp op 9 december 2024 18:38]

[bytemaster460]

Filantropie betrekt zich per definitie op de goedheid naar mensen toe. Zeker niet naar vissen.

[Grrrrrene]

Je snapt wat hij bedoelt, wat de een goed voor de mens vindt, kan de ander de hel op aarde vinden. Kijk alleen al eens hoe verschillend mensen met elkaar omgaan of hoe verschillend ze tegen bijvoorbeeld opvang van asielzoekers aankijken

Ook kan het zijn dat je iets goed doet voor groep A, maar daarmee groep B schaadt. Groep A zal dat filantropie noemen, groep B vrijwel zeker niet.

[Reactie gewijzigd door Grrrrrene op 10 december 2024 09:41]

[Bertje3000]

Dat is in de basis best een goede vraag. Het antwoord zit 'm erin dat er niet een universeel keurmerk is van wat 'goed' is. En dus heb je er als miljardair die geld besteedt aan doelen om daar politiek, geldelijk of anderszins gewin uit te halen, genoeg belang bij om jezelf als 'filantroop' te profileren.
De mens die uit de goedheid van zijn hart donaties schenkt aan Trump kan voor jou een filantroop zijn en voor je buurman iemand die invloed wil kopen.

[TWeaKLeGeND]

Of het netwerk van deze mensen is controversieel en de filantropie niet. Of de filantropie zal door menigen niet als deugdelijk of bijvoorbeeld als afleiding of voor de show of voor eigen gewin op de achtergrond etc etc worden ervaren wat als gevolg de controverse heeft.

[Reactie gewijzigd door TWeaKLeGeND op 9 december 2024 19:41]

[nms2003]

Filantropie is een mooie geuzennaam, maar filantropische initiatieven kunnen alsnog politieke doelen nastreven waar simpelweg eigen belang om de hoek komt kijken. Zo’n filtering door Apple kan ook een opmaat zijn naar filtering op andere content; iets wat de heersende politiek niet aanstaat, iets wat volgens een religie niet mag etc. etc. Het is als het openen van pandora’s box; eens geopend gaat ie niet meer dicht. Nú is het onder het mom van filantropie, later kan door veranderende wettelijke eisen zoiets omgebouwd worden tot een controle mechanisme van heb ik jou daar. Helemaal met de ontwikkelingen op gebied van AI; automatische alarmering over dissidenten here we come.

[SJCE]

Filantropie is gebrek aan effectieve belasting, niks meer en niks minder

[PrimusIP]

Ja inderdaad.
Mijn indruk was dat Apple van af heeft gezien door de commotie die het gaf.
En ook op Tweakers waren toch aanzienlijk veel negatieve reacties.

[dasiro]

Alom geprezen door wie? Niet door diegene met daadwerkelijk verstand van zaken.

class-action suit lawyers die uit zijn om dik te cashen. Voor die ene keer dat ze eens inzien dat hun users zelf ook rechten hebben en niet de zoveelste big brother/walled garden feature uitrollen

[Verwijderd]

Volgens The Intercept zit een controversieel netwerk van filantropische miljardairs achter het Heat Initiative.

Dus ze hebben andere doelen voor ogen. "Finaltropische miljardairs" LOL

[nzall]

Een interessant artikel hierover:

https://www.techdirt.com/...atastrophically-bad-idea/

Kort samengevat: Dit is een in basis goed bedoeld idee dat catastrofaal slecht is voor de bestrijding van CSAM. De Amerikaanse grondwet zegt in het vierde Amendement dat de persoonlijke data van Amerikaanse burgers niet mag worden doorzocht zonder een bevel van de rechter. Als ze geen bevel hebben, maar toch bewijsmateriaal vinden bij een onwettelijke doorzoeking, mag dat bewijsmateriaal niet gebruikt worden. Dit geldt ook voor privébedrijven die door de Amerikaanse overheid worden verplicht om onderzoek te doen, zogenaamde "government agents".

Als de rechter Apple zou verplichten om deze NeuralHash technologie in te zetten om proactief naar CSAM te zoeken op iCloud, dan wordt Apple een "government agent". Dat betekent dat Apple enkel iCloud mag doorzoeken als ze een bevel van de rechter hebben, wat ze niet kunnen krijgen als privébedrijf. Dus met andere woorden: als Apple door een verplichting van de Amerikaanse overheid CSAM zou vinden in de iCloud of iPhone van gebruikers, dan mag dat niet gebruikt worden als bewijsmateraal, want dat is bemachtigd door een ongrondwettelijke doorzoeking. En zonder dat bewijsmateriaal is het haast onmogelijk om mensen te veroordelen voor een zaak rond kindermisbruik...

Nu, mocht Apple zelf besluiten dat ze deze technologie alsnog gaan inzetten, zonder druk van de overheid, dan moeten ze wel al het gevonden materiaal melden bij de Amerikaanse overheid, en dan is het wel op een wettelijke manier vergaard. Daarvoor is er effectief een statuut in het Amerikaanse strafwetboek. Maar dat statuut heeft ook een expliciete vermelding dat dit niet moet worden aanzien als een verplichting voor providers om te zoeken naar CSAM, specifiek vanwege het 4de amendement.

[Reactie gewijzigd door nzall op 9 december 2024 20:01]

[jopiek]

Helemaal met je eens.

Zie ook: YouTube: Nieuwe EU-wetgeving op komst: leest de EU straks mee op jouw telefoo...

Daarin wordt gesteld (door een mede-Tweaker) dat het ws. een proefballonetje was en dat Apple juist hoopte dat er zo veel weerstand tegen zou komen.

Je pakt met zo'n draconische maatregel misschien wel een relatief klein groepje mensen, maar doordat er zo veel misbruikmogelijkheden zijn heb je enorme kans op 'collateral damage'.

[Ulysses]

Als iemand die zich wel enigszins kan inleven in de materie... Zou ik echt nooit pleiten voor een dergelijke inperking van de vrijheid, het gebruiksgemak en ultiem de te anticiperen mensenrechtenschendingen door het actief 'scannen' van de privé inhoud. Zelfs als het op basis van hashes gaat. Wie zegt tenslotte dat er niet iemand ergens in de aanlevering van Hashes gekocht is; in een simplistisch voorbeeld. Om zo een ander daarmee de toegang tot zijn data en telefoon te verhinderen en mogelijk grotere economische en juridische schade aan te richten? Zeer praktisch aannemelijk te maken...

Privacy op internet heeft al zo lang ik er op kom, (en dat is best een tijdje inmiddels) de nare bijklank te moeten worden verdedigd met onweerlegbaar zwaarwegende moreel abjecte zaken als Kindermisbruik en Terreur. Het is dat je je alleen al op basis van dergelijk extreme suggesties zou mogen af vragen, hoe groot het goed is dat verdedigd moet worden: Om vooral de mogelijkheid tot relatief ongezien je met en ondanks je digitale apparaten in een complex web van verbindingen en databestanden te kunnen verplaatsen... Privacy is ook nooit overleden met de komst van het internet. Het privacy lemma was nog nooit zo levend als sinds de komst van het internet.
Zelfs met mijn eigen vriendin kan ik hierin overigens van inzicht verschillen. Ik geloof dat we met de huidige stand der techniek in een digitaal panopticum werken. Zij ziet dat anders of vooral beperkter in de mogelijkheid of interesse, van de slimste cybertechneuten...

[Siaon]

Het is altijd een glijdende schaal. Er zijn altijd nog ergere dingen die zo aan de lijst toegevoegd kunnen worden. En wat erg is, is subjectief. Hoeveel moorden mag je bijvoorbeeld begaan, voordat het erger is dan een van de dingen op de lijst. En daarna is de ene moord mogelijk erger dan de andere.

Zodra privacy op het hakblok gaat, is het enkel nog een kwestie van tijd.

[jopiek]

Kwetsbare groepen (waaronder kinderen) beschermen is per definitie belangrijk en nodig. Als andere groepen daarvoor minder vrijheden moeten krijgen is dat ook geen enkel probleem lijkt me zo. Dat doen we in NL ook al massaal, denk bijvoorbeeld aan rechten voor fietsers t.o.v. gemotoriseerd verkeer.

Alleen je hebt denk ik het zeer zinnige en inzichtvolle YouTube filmpje gekeken. Er kan op dusdanige wijze misbruik van dergelijke technologie gemaakt worden dat het écht niet verantwoord is om het in te voeren.

Ik zal een voorbeeld noemen van mij persoonlijk. Ik heb wel eens een leerling gehad die tegen me zei: "Ik kan wel zorgen dat u ontslagen wordt". Fijn dat hij netjes u zei, maar het kwam totaal uit de lucht vallen en er was ook geen aanleiding die ik me iig kon bedenken voor zijn uitspraak. Maar gelijk had hij wel: als het zijn voor tegen mijn woord zou zijn over een of ander bedacht scenario, dan wint zo'n leerling het dus altijd van een leraar. Dat kan dus ook digitaal, je zorgt er gewoon voor dat iemand content op zijn/haar device krijgt waarvan de hash identiek is aan die van daadwerkelijk totaal ongewenst materiaal. Zo zijn er nog een x-aantal scenario's te bedenken. Er zijn al voorbeelden wat de gevolgen zijn van identiteitsfraude (is iets heel anders, maar de gevolgen zijn wel enigszins vergelijkbaar). Als iemand eenmaal false geflagged is dan kan het maar zo dat iemand zijn totale kaartenhuis instort (zie die toeslagencrisis, gezinnen die álles kwijt zijn/waren). Niemand beschermd je écht tegen de overheid, niemand beschermt je écht tegen big tech, dus als het mis gaat gaat het goed mis.

Begrijp me goed, ik ben het volkomen met je eens dat misbruik aangepakt en voor zo ver mogelijk voorkomen moet worden, maar uiteindelijk is technologie maar een lapmiddel en kan het een boomerang worden.

[Ulysses]

Oh, nu zou ik mij min of meer verplicht voelen om alsnog een heel uur van mijn tijd aan dit tergende herhalen van parate kennis te besteden. Dus ik geef maar gewoon toe, dat ik dusver niet gedaan had. Ik reageerde, zonder alle referenties (YT filmpje in dit geval) tot in den treure te hebben nagespeurd.

[Reactie gewijzigd door Ulysses op 10 december 2024 09:43]

[jopiek]

Ja dat is in dit geval toch echt jammer. Het is een voor elke Tweaker nuttige / nodige / interessante discussie lijkt me zo.

[laptopleon]

Zonder de hele video te hebben bekeken: Waarom zou een bedrijf zo'n hele constructie bouwen, zich zoveel aandacht op de hals halen, alleen maar met de bedoeling het te laten mislukken? Wat schiet je daar mee op? Niets, het geeft onderaan de streep alleen maar negatieve publiciteit.

Dus dan is de volgende vraag: Werden ze weer onder druk gezet om dit te doen door bepaalde takken van de Amerikaanse overheid? Het zou niet de eerste keer zijn dat dit gebeurt, denk maar aan PRISM. We weten allemaal dat de Amerikaanse overheid sinds jaar en dag grote investeringen doet in afluisteren, wereldwijd, al minstens sinds WW2 en dat de Amerikanen altijd al op grote schaal telefoongesprekken en dataverkeer niet alleen afluisteren en analyseren maar ook de kennis die dat oplevert inzetten voor van alles en nog wat, van het helpen van hun vliegtuigbouwer door ze het bod van de Franse tegenhanger bij die aanbesteding te geven tot wat er gebeurd en door wie in oorlogsgebied.

[jopiek]

De kans dat de overheid (zeker de democraten) zich er tegenaan bemoeit heeft is inderdaad heel groot. Maar het kan ook zijn dat ze deze ideeën aan hebben zien komen (net als de EU variant) en dus al proactief een provocerend prototype voor en elkaar hebben gezet om meningen te peilen en reacties uit te lokken. Maar ja ze gaan ons klootjesvolk ook echt niet vertellen hoe het nu echt zit.

[Haruhi]

Wat is wijsheid....

Een feature droppen vanwege privacy klachten?
Of misbruik maken van je status als kindermisbruikslachtoffer om geld binnen te harken.

[lenwar]

In dit geval, is dat inderdaad iets wat ik me afvraag.

Apple heeft het, naar eigen zeggen, overigens geschrapt vanwege de risico's op 'feature creeps' volgens het artikel. Maar allicht dat ze zich inderdaad ook wat hebben aangetrokken van de privacygerelateerde klachten.

Wat ik er van begreep was de bedoeling van het mechanisme, dat het op de telefoon een specifieke hash maakte, die meestuurde met de versleutelde foto zelf, en dat die hash dan tegen een database met bekende beelden gehouden zou worden. Dus qua privacy loopt het dan wel los met die opzet.

Uiteraard blijft die feature creep dan wel een ding.

[bzzzt]

Het probleem zit in die 'database met bekende beelden'. Wie heeft het recht iets tot 'misbruik' te verklaren?
En belangrijker: vermindert dit daadwerkelijk het aantal gevallen?

In de praktijk zie ik alleen maar een lobby organisatie die heel graag 'iets' wil doen maar geen oog heeft voor de maatschappelijke kosten waarmee ze anderen opzadelen maar wel heel hard gesponsord wordt door de verkopers van dit soort schijnoplossingen.

[lenwar]

Wie heeft het recht iets tot 'misbruik' te verklaren?'

Er zijn, als ik het goed heb, (ik word graag gecorrigeerd), officiële databases van overheden met daarin hashes. Die databases worden als het goed is, gevoed door de (inter)nationale politiediensten. Edit: Dit staat in elk geval wel letterlijk in het artikel.

En belangrijker: vermindert dit daadwerkelijk het aantal gevallen?

Dat weet ik niet. Ik heb geen cijfers. Niets linksom of rechtsom.

Edit:
Maar ter aanvulling. Ik zou het persoonlijk fijn vinden, dat, stel dat mijn kinderen slachtoffer zouden zijn van een of ander en dat daar foto's van gemaakt zijn dat die foto's minder erg heen en weer verspreid worden door geïnteresseerden in die beelden. Het fysieke kwaad is natuurlijk al geschied. Dat kan niemand meer ontdoen. Maar als door dit soort systemen verspreiding verminderd, zou ik dat ook al wat waard vinden.

[Reactie gewijzigd door lenwar op 9 december 2024 16:22]

[supersnathan94]

Ik zou het persoonlijk fijn vinden, dat, stel dat mijn kinderen slachtoffer zouden zijn van een of ander en dat daar foto's van gemaakt zijn

Het probleem is alleen dat jij daar ook slachtoffer van kan worden doordat men ook door jouw privé kiekjes gaat zitten graven om aan materiaal te kunnen komen. Het is bij MS al meerdere malen gebeurd dat mensen hun volledige hebben en houden kwijt waren doordat men onschuldige kiekjes (lekker in bad spelen) aanmerkte als. MS yeet dan zonder enig verweer je account naar /dev/null en je hebt geen poot om op te staan. Zelfs met een rechtszaak en een uitspraak kun je fluiten naar je account, want dat is gewoon weg.

CSAM detectie op deze manier KAN EN ZAL NOOIT ook maar enig positief effect hebben op de maatschappij aangezien de False Positives altijd betekenen dat iemand alles kwijt is.

En in terechte gevallen gaat het natuurlijk niet op deze manier.

Maar als door dit soort systemen verspreiding verminderd, zou ik dat ook al wat waard vinden.

Ik niet. Zelfde geldt voor die WIV toen en terrorisme bestrijding. Ik was het er mee eens dat er een nieuwe up to date wet moest komen, maar niet op deze manier. Nee er zijn zeker met dit soort methodes veel te veel kansen op misbruik. Al was het maar een of ander regime wat gewoon een paar rotte appels heeft ergens in de keten van beheer. Hoe kan een andere instantie dit nu controleren bijvoorbeeld? Hebben die ook toegang en moeten die de zaken goedkeuren?

Als er een soort van decentraal goedkeuringsinitiatief zou zijn waarbij organisatorisch van minstens 5 andere landen ook akkoord zouden moeten gaan dat iets daadwerkelijk CSAM is dan zou het nog een ander verhaal zijn, maar als 1 persoon dit zou kunnen bepalen door al dan niet zelf een upload te doen dan is het antwoord gewoon nee. Slecht idee, zeer matige implementatie, veel te veel impact, gigantisch risico op fraude/censuur/noem het maar,

[Siaon]

Zijn de statistieken al binnen voor de wet identificatieplicht? Ook al zo'n tijdelijk blijvertje...

Ik kan me niet voorstellen dat die ooit het beoogde effect heeft gehad, en je ziet er vaak boetes voor in het nieuws...

[jopiek]

Ja kijk even hier: YouTube: Nieuwe EU-wetgeving op komst: leest de EU straks mee op jouw telefoo...

Die hashes zijn dus juist een onderdeel van het probleem.

[bzzzt]

Er zijn, als ik het goed heb, (ik word graag gecorrigeerd), officiële databases van overheden met daarin hashes. Die databases worden als het goed is, gevoed door de (inter)nationale politiediensten.

Goed, en hoe weet ik zeker dat als ik over 10 jaar een meme plaatje deel van dictator Wilders ik niet ineens als misbruiker word aangemerkt?
Oftewel: wie heeft de ultieme controle over wat wel en niet in de dataset mag?

dat die foto's minder erg heen en weer verspreid worden door geïnteresseerden in die beelden.

En dat lost die hele controle niet op. Het enige wat gecontroleerd wordt is foto's in je foto database en alleen maar als je ze deelt. Criminelen gebruiken dan gewoon een andere app of een website en kunnen net zo hard doorgaan. Ondertussen wordt jij bespied en is de kans >0% geworden dat je ooit ten onrechte op de verdachtenlijst terecht komt.
Zelfs als je voor een compleet stasi-achtige 0% privacy oplossing gaat door de hele overheid in je telefoon mee te laten kijken zit je nog met het probleem van corrupte ambtenaren en een netto toename van onveiligheid omdat jouw meest intieme gegevens gelekt kunnen worden (hoeveel verdien je? waar werk je? ben je chantabel?)
Ik geloof niet dat een beetje gemoedsrust van een - gelukkig - heel klein deel van de bevolking ooit voldoende reden kan zijn om zo'n oplossing te verantwoorden.

[ibmpc]

Volgens mij zijn dergelijke bedrijven hiertoe gemandateerd.

[Reactie gewijzigd door ibmpc op 9 december 2024 17:18]

[Montaner]

En dat werkt niet altijd even goed, en de consequenties daarvan zijn ook gigantisch. Microsoft heeft inmiddels een redelijke naam verzameld op dit gebied:
https://techpulse.be/nieu...it-accounts-zonder-reden/

[lenwar]

De daadwerkelijk implementatie ervan is natuurlijk weer wat anders. Er moet bij gevonden kindermisbruik ook gewoon aangifte gedaan worden, en laat de politie/officier van justitie, of wie er ook over gaat maar kijken of er echt wat aan de hand is, en niet klakkeloos accounts sluiten zonder opgegeven reden. Dat schiet natuurlijk op meerdere manieren niks op.

Microsoft is er inderdaad heel erg opaak in, en dat is natuurlijk echt een ding. Maar kindermisbruikbeelden (waar het hier over gaat) is natuurlijk niet de enige reden waarom Microsoft iemands account kan afsluiten.

[Guru Evi]

Ik denk dat het probleem dat aangekaart wordt in her artikel is dat de politie zomaar accounts sluit zonder overzicht. Die diensten worden altijd zo misbruikt, eerst is het voor de kinderen, dan is het voor de terroristen en dan als je een plaatje deelt met een meme die niet goed zit voor de overheid, hee, hier is de hash, dat is nu ook "kinderporno" en wordt het enorm lastig je te beschermen tegen zulke fratsen.

En als je denkt dat niet gebeurt, er zijn volledige kanalen op YouTube van mensen die lastig gevallen worden door lokale politie omdat ze "tegen de schenen geschopt" hebben van een of andere ambtenaar en genoeg verhalen van anderen die "lastig" zijn het leven zuur gemaakt worden: https://slate.com/news-an...t-of-ayaan-hirsi-ali.html

[Reactie gewijzigd door Guru Evi op 9 december 2024 16:27]

[lenwar]

Dat is dus die feature creep waar over gesproken wordt. Ik geloof direct dat dit een ding kan zijn. Het is net wat ik elders schreef. Ik heb op dit moment geen reden om de intentie van de Nederlandse en Europese politiediensten te wantrouwen om 'boze anti-overheid-meme's te vlaggen'.

Maar ik snap dat dit een ding kan zijn.

[Guru Evi]

Ben je zeker?

[Gonzalez]

Sorry, maar je eerste link is misleidend.
Driesje is ontmaskerd door een VRT journalist die in hun besloten Discord groep was geïnfiltreerd.
Het is pas na het uitzenden van de Pano reportage dat het strafrechterlijk onderzoek is gestart.

[Guru Evi]

Ik weet de details niet, ik zie enkel maar dat ze achtervolgd worden voor wat ze online zeggen. Ik heb geen probleem publieke mensen, vooral politiekers, te ontmaskeren, maar spraak onderdrukken door de staat is een stap te ver/dicht bij wat zulke mensen (indien waar) willen.

Zoals ik elders zei: als je per ongeluk zo’n mensen aan de macht krijgt (lokaal of op hoger niveau), kunnen ze jouw zienswijze tegen jouw omdraaien en zal jij dan een verschil krijgen in vrijheden om hun te kritiseren? Het is altijd goed als het voor “andere” mensen zijn, vooral als die mensen “minderwaardig” zijn - joden, nazis, ultrarijke mensen, immigranten.

Zoals we gezien hebben in de Sovjet-Unie, Nazis en andere dictaturen, eenmaal je een recht opgeeft voor een bepaalde “bedreiging” is het gemakkelijk de definitie uit te breiden naar andere “ongewenste” partijen.

Aan de andere kant vertrouw ik al helemaal niet dat een agent of de rechtsstaat fouten herkent. Zeg dat je een collision hebt tussen 2 hashes, bewijs maar dat je niet schuldig bent, en je hebt meestal maar 1 ambtenaar of groep waar je een probleem mee hebt die zulke krachten kan misbruiken.

[Reactie gewijzigd door Guru Evi op 9 december 2024 22:46]

[Gonzalez]

Dan heb je de aanklachten voor verboden wapenbezit en online belaging gemist.
En die man heeft van haatzaaien zijn beroep gemaakt en zijn onschuldige bende zijn notoire nazi lovers.
Hun doel was een mars door de instellingen om te infiltreren en te manipuleren.
En ze waren reeds goed op weg, 2 van hen waren al in de Vlaamse jeugdraad geraakt.
Net zoals de jongeren die IS en dergelijke aanhangen mag dit evengoed bestraft worden.

[Reactie gewijzigd door Gonzalez op 10 december 2024 23:26]

[supersnathan94]

Ik heb op dit moment geen reden om de intentie van de Nederlandse en Europese politiediensten te wantrouwen om

Ik heb geen reden om aan te nemen dat ze überhaupt competent genoeg zijn. Intentie daargelaten, het kan ook gewoon per ongeluk fout gaan.

Hoevaak checken developers niet per ongeluk toch creds en tokens in? "Oops .gitignore vergeten." Vraag maar aan @SchizoDuckie.

Laten we intentie nog even links liggen, competentie is eerst al een red flag.

[MrFax]

Dit is nu anders geregeld. Er wordt nu altijd een duidelijke reden gegeven. Dat moet van de DSA.

Daarnaast heeft Microsoft nu een duidelijke plek waar je zo'n accountsluiting kan aanvechten, en in het ergste geval kan je naar de rechter, wat al meerdere keren heeft geleid tot heropening van een account.

In de meeste gevallen waar het automatisch in de cloud opgeslagen foto's van hun eigen kinderen die door een algoritme werden bestempeld als CSAM. Voorbeeld:

Stel je hebt een foto van je kind die met blote bovenlichaam in een zwembad zit. Iemand op het internet downloadt deze foto en begint het te verspreiden. Uiteindelijk komt dan bij de Department of Justice in de VS aan. Die maken een hash van dit bestand en bestempelen het als CSAM. Die foto van jouw eigen kind wordt nu opeens automatisch gedetecteerd en wordt opeens je account gesloten. Terwijl de foto in eerste instantie onschuldig was, werd het door de verspreiding als CSAM bestempeld.

Pas dus altijd goed op wat je van je kind of Instagram of Facebook ziet. Kinderen, hoe onschuldig het dan ook bedoeld is, moet je niet ongedekt op het internet plaatsen. Het gebeurt wel eens, maar is echt zo'n dom idee.

[Reactie gewijzigd door MrFax op 10 december 2024 07:22]

[Pinkys Brain]

Als de hash geupload word kan je net zo goed geen encryptie gebruiken.

Waarschijnlijk zou de hash in de secure enclave vergeleken worden, zodat de hash database geheim kon blijven. Dit is overigens een probleem voor client side scannen op de meeste andere platformen zoals de EU wil, er is op veel bestaande PCs geen omgeving die de database geheim kan houden.

[wica]

Gaat het om de veroordeling of om een mogelijke schikking?

[sdziscool]

het gaat hier om een schikking, de slachtoffers kunnen geen keuze afdwingen en alleen claimen schade te zijn opgelopen door de beslissing (claimend dat er materiaal van hun nu wel op icloud gedeeld wordt ipv niet).
Als ze niet schikken en wel winnen dan zetten ze een precedent voor apple om wel zo snel mogelijk er iets aan te doen want anders kan iedereen ooit claimend at Apple ze schade aanricht door fotos mogelijk (met de nadruk op mogelijk, niemand weet of het spul nou wel of niet is opgeslagen op iemands icloud tot ze alles arbitrair gaan scannen).
Erg onwaarschijnlijk dat ze een rechtszaak zouden winnen, maar voor apple ziet het er voor PR redenen niet geweldig uit om slachtoffers de grond in te boren in een rechtszaak, vooral niet als het om het hysterische onderwerp van CSAM gaat, dus die zullen voor PR redenen schikken voor een 100k per persoon oid in ruil voor nooit meer aangeklaagd te worden voor deze reden.

[supersnathan94]

Zolang deze slachtoffers niet binnen het redelijke kunnen aantonen dat er wel degelijk materiaal wordt gedeeld, hebben ze geen poot om op te staan. Ze moeten het wel daadwerkelijk soort van redelijk kunnen maken. Je kunt niet zeggen "Ja maar ho, jullie kunnen niet aantonen dat het niet NIET gedeeld wordt" en dan claimen dat de hele wereld en zijn moeder dat materiaal dus heeft.

in ruil voor nooit meer aangeklaagd te worden voor deze reden.

Door deze mensen.... wat ook niet kan als ze wel doorgaan. Dus dit is hoe dan ook een domme zaak voor de aanklagers.

[wica]

Tuurlijk gaat het in dit soort zaken om een schikking (lees geld), bedrijven zijn maar al te bang voor een mogelijke reputatie schaden.
Dat zie je in veel van dit soort vergelijkebaren zaken, zovaak, dat mensen "kindermisbruik" met een kortel zout gaat nemen. Wat weer slecht is, voor de echte slachtoffers.

[Dlsruptor]

uhmm... hebben de mensen die dit niet willen hier ook nog wat over te zeggen?

Dit zijn problemen voor overheden en moet aangepakt worden bij de bron. Niet door achteraf controle werk te verichten

[Reactie gewijzigd door Dlsruptor op 9 december 2024 15:41]

[lenwar]

Dit zijn problemen voor overheden en moet aangepakt worden bij de bron. Niet door achteraf controle werk te verichten

Ben ik het niet helemaal mee eens. Het zijn uiteindelijk twee verschillende misdrijven (het daadwerkelijk uitvoeren van de handeling, en het verspreiden van de beelden ervan). Het een sluit het ander niet uit. Er is schijnbaar een heel levendige markt voor het uitwisselen van dit soort beelden. Door de bron aan te pakken verhelp je verder misbruik. Maar de bestaande beelden gaan nog steeds rond.

Als je bij toeval een paar spillen in het web kunt detecteren op deze manier. (dat ze desnoods 'per ongeluk' naar iCloud gezet worden en zo gedetecteerd worden), dan kun je op die manier wel mensen aanspreken.

Stel dat mijn kinderen slachtoffer zouden zijn, dan zou ik het heel vervelend vinden als die beelden continu maar van hot naar her verscheept worden ten faveure van een persoon z'n kik (of zo).

In het huidige politieke klimaat in Nederland/Europa, zou ik er geen probleem mee hebben als m'n telefoon hashes maakt van m'n foto's, en die opstuurt naar een centraal systeem en tegen een database van foto's aangehouden wordt en vervolgens weer verwijderd wordt (de hash dus.) Als dat betekent dat hiermee verspreiding van dit soort beelden bemoeilijkt wordt en misschien zelfs eventuele slachtoffers eerder worden gevonden, vind ik dat prima.

Waar ik voornamelijk angstig voor ben, is, zoals in het artikel staat, de kans op een feature creep door bepaalde overheden. Dus dat Apple dan ineens gedwongen wordt om ook in bepaalde landen ook foto's te vlaggen, waarin bijvoorbeeld de suggestie wordt gewekt dat iemand van de verkeerde kerk is, of de leider een knuppel vindt. Dat is natuurlijk een serieuze keerzijde.

Maar goed. Dat ben ik. En iemand anders mag natuurlijk een andere mening hebben.

[Dlsruptor]

Het is verschrikkelijk wat er gebeurt, daarover zijn we het eens. Ik begrijp ook volledig de wens om de verspreiding van dergelijke beelden te bemoeilijken en daders aan te pakken. Maar mijn zorg ligt bij de technische kant van de oplossing. Zelfs als je een systeem creëert dat beelden omzet naar hashes en deze vergelijkt met een database, blijft het principe dat elke beveiligde deur ooit geopend kan worden. Als iemand erin slaagt om de methode te doorgronden, kan een hash mogelijk weer teruggeleid worden naar herkenbare data. Of, als bepaalde patronen in hashes overeenkomen met specifieke kenmerken van de oorspronkelijke beelden, kan zelfs zonder directe omzetting informatie worden gereconstrueerd.

Daarnaast is het risico van misbruik door overheden, zoals je zelf al noemt, een serieuze zorg. Vandaag gaat het om het bestrijden van iets waar iedereen het over eens is dat het bestreden moet worden. Maar morgen kan dezelfde techniek gebruikt worden voor doeleinden die veel minder onschuldig zijn, zoals het monitoren van politieke of religieuze overtuigingen.

Ik denk dat we het erover eens kunnen zijn dat we alles moeten doen om slachtoffers te beschermen en verspreiding tegen te gaan, maar we moeten ook kritisch blijven op de technische en maatschappelijke risico’s van dergelijke systemen. Het is een balans tussen ethiek, effectiviteit en de lange-termijnrisico’s.

[bzzzt]

Zelfs als je een systeem creëert dat beelden omzet naar hashes en deze vergelijkt met een database, blijft het principe dat elke beveiligde deur ooit geopend kan worden. Als iemand erin slaagt om de methode te doorgronden, kan een hash mogelijk weer teruggeleid worden naar herkenbare data.

Het hele idee van een hash functie is dat je deze niet terug kan rekenen; een hash bevat geen relevante informatie en is alleen voor herkenning. (neurale netwerken die getraind zijn op misbruikfoto's daarentegen kunnen wel generatief ingezet worden dus daarvoor is het wel belangrijk dat ze niet gedeeld worden).

Risico van misbruik door overheden zal waarschijnlijk niet direct aan de orde zijn, maar we hebben al meerdere schandalen gehad waar mensen behoorlijk door de mangel gehaald zijn omdat een algoritme vond dat ze iets verkeerd gedaan hadden. Dit is ook 'slechts' een algoritme waar geheid weer 'false positives' uit gaan komen en ik ben niet van plan te betalen voor een dure telefoon die mij potentieel in een verdachtenbankje zet, hoe klein die kans ook is.

[Mfpower]

Nu niet maar in de toekomst kan je wellicht met een estimated best guess brute force de originelen wel terugvinden.
Nu nog niet haalbaar maar in de toekomst wel met deep learning en voldoende resources.
Bron: https://www.sciencedirect...abs/pii/S0923596518305332

[Reactie gewijzigd door Mfpower op 9 december 2024 23:33]

[bzzzt]

Dat is niet het terughalen van de hashes, maar het genereren van een nieuwe afbeelding die voldoet aan de kenmerken van de hash. Daarvoor heb je dus een generator nodig die in staat is dergelijke afbeeldingen te genereren. En als je die hebt heb je geen gebrek aan dat soort beeldmateriaal dus zijn die hashes vrij overbodig.

[TechHead]

Als iemand erin slaagt om de methode te doorgronden, kan een hash mogelijk weer teruggeleid worden naar herkenbare data.

Het zal nooit mogelijk zijn om een hash van een paar bytes om te zetten naar de oorspronkelijke foto van een paar Megabyte.

[supersnathan94]

Waar ik voornamelijk angstig voor ben, is, zoals in het artikel staat, de kans op een feature creep door bepaalde overheden.

Die kans is 1. Niet eens vanwege slechte intenties, maar gewoon vanwege incompetentie.

Dus dat Apple dan ineens gedwongen wordt om ook in bepaalde landen ook foto's te vlaggen, waarin bijvoorbeeld de suggestie wordt gewekt dat iemand van de verkeerde kerk is, of de leider een knuppel vindt

Apple gaat dat niet eens doorhebben aangezien ze geen beheer doen op de dataSource. Die Databases worden door overheidsinstanties aangeleverd en daar heeft Apple dan niks over te zeggen. Zij krijgen niet het originele materiaal, maar alleen de Hash.

[telenut]

edit...

[Reactie gewijzigd door telenut op 9 december 2024 16:19]

[lenwar]

Dat was een detectiesysteem voor kindermisbruikbeelden dat bedoeld was voor Apples iCloud-cloudopslagdienst. De tool zou geüploade beelden van iPhone- en iPad-gebruikers omzetten in hashes en die vergelijken met een database van kindermisbruikbeelden die bekend zijn bij de autoriteiten

Dit staat letterlijk in het artikel. Klopt dit dus niet, of interpreteer ik het dan verkeerd?

[telenut]

Nee, ik ben zelf in de war :-)

[lenwar]

Kan gebeuren

N.B. Anekdote van andere aard:

Ik heb een vriend gehad vroeger, die zo'n website had bij Geocities. Afhankelijk van je leeftijd ken je dit nog. Dit waren van die websites van "Hallo, Ik ben Marloes en ik spaar vingerhoedjes." en "Hoi, Ik ben Michael en ik zit op voetbal". Heel veel mensen hadden van die gratis sitejes op die manier.

Die website werd spontaan uit de lucht gehaald. En een paar dagen later weer teruggezet. (hij kreeg netjes een mailtje dat z'n site uit de lucht was gehaald en dat ie nog wat te horen zou krijgen). Toen hij dus weer werd teruggezet werd de reden genoemd. Er werd een hakenkruis gedetecteerd door een één of ander systeem. (dit was eind jaren 90 dacht ik). Het bleek een paar vreemdgevormde takken te zijn van een boom te zijn, die dus foutief als een hakenkruis werden gedetecteerd.

De foto werd gewhitelisted. Hij kreeg dus de opmerking dat als hij de foto opnieuw zou uploaden dat het dan mogelijk weer werd gevlagd.

Dit mechanisme probeerde dus onbekende 'foute beelden' te detecteren.

[telenut]

Mijn OneDrive werd ooit uitgeschakeld omdat er een crack tooltje op stond...
Uiteindelijk is dit ook aangepast zodat ik er wel terug in kan, maar kan er niet meer uploaden wat ik wil dus. Denk dat het bij Google Drive ook zo is ondertussen...
Nu, ik kan er mee leven. Maar als ze foto's gaan beginnen analyseren... (en niet op basis van bestaande)

[Ulysses]

Ik draai nu dan ook mijn eigen NextCloud instantie. Scheelt ook een klap geld aan 'cloud abonnementjes' ... Want hoeveel maanden/jaar had ik nog kunnen blijven bij Google voor de eenmalige aanschaf van ongeveer 150 euro voor 2 NUCs met elk 1TB opslagruimte? Hm? ... Sinds kort toch glas hier, dus ja. Self-hosted was altijd al het doel. Het duurde alleen "100 jaar" voordat ik eindelijk van Ziggo af kon.

[telenut]

Ja, maar dan sta je ook zelf in voor onderhoud, backup etc.. en het verbruik!
Ik kies dan toch nog liever voor het gemak van de cloudbackup. En in het allerslechtste geval dat ik dingen kwijt zou zijn... Who cares. Er zijn ergere dingen in het leven :-)

[supersnathan94]

Het bleek een paar vreemdgevormde takken te zijn van een boom te zijn, die dus foutief als een hakenkruis werden gedetecteerd.

Tada! en hier hebben we dus al incompetentie aangetoond. Intentie zijn we nog helemaal niet eens aan toe.

We kunnen foute data door ongelukken al niet uitsluiten, hoe willen we dan wat gaan zeggen over kwaadwillendheid?

[Lothlórien]

tja.... beide partijen hebben er wat over te zeggen, er wordt uiteindelijk naar partij B geluisterd en partij A stapt naar de rechter omdat zij zich niet voldoende gehoord voelen.

Als je het mij vraagt is dat een teken van een slecht functionerende maatschappij.

[mjtdevries]

Er is naar beide partijen geluisterd. Ook naar partij A.
Maar partij A heeft zijn zin niet gekregen.

[Lothlórien]

Dat bedoelde ik inderdaad. Partij A kreeg zijn zin niet, heeft het idee dat dat kindermisbruik vrij spel heeft gehad met onnodige slachtoffers tot gevolg en probeert dat nu voor de rechter uit te vechten.

[mr thee]

Lijkt mij dat dit weinig kans maakt, je kan toch moeilijk een bedrijf aanklagen omdat het optie *B kiest inplaats van *A. Of ben ik nou achterlijk

[Skit3000]

Als een bedrijf achterwege laat om iets te doen (zoals Shell in Nigeria die volgens de rechter naliet om hun buizen voor olietransport te controleren op opzettelijk toegebrachte schade) kan je alsnog aansprakelijk zijn.

[aap]

Met de logica van "guns don't kill, people with guns kill", zou Apple zich toch moeten kunnen verweren.

Het feit dat ze iets hadden kunnen doen (en daar zelfs al plannen voor opgetuigd hadden), betekent niet automatisch dat ze iets hadden moeten doen.

Anders heb ik ook nog wel wat requirements voor Apple...

[bzzzt]

Ok, maar Shell heeft een redelijke invloed op wat die buizen in- en uit gaat en is verantwoordelijk voor veilig transport.

Dit klinkt meer als de Nederlandse staat aanklagen dat er geen 100% grenscontroles uitgevoerd worden en niet alle auto's, schepen en vliegtuigen binnenstebuiten worden gekeerd vanwege mogelijke drugssmokkel...

[eric.1]

Dat is wellicht de theorie, als ze echt het nalaten om iets te doen. Dat is echter niet het geval.

Ze hebben volgens mij sinds 15.2 een Communication Safety features-API, welke door ontwikkelaars gebruikt kan worden. Ze hebben ook een Sensitive Content Warning feature. Ze werken met lokale opsporingsdiensten. Ze hebben ook dialogen met (o.a.) de genoemde instantie die ze nu aanklaagt om te onderzoeken wat ze kunnen doen. Etc. Etc.

Om dat allemaal nu een 'defect product' te bestempelen omdat ze geen iCloud-scanning implementeren, sjah, dat is wel erg makkelijk redeneren om een doel te bereiken...

[Reactie gewijzigd door eric.1 op 9 december 2024 16:13]

[Splitinfinitive]

zal mij niet verbazen dat er ergens een oud regeltje is dat de aanklagers de mogelijkheid geeft om dit te doen.

uiteindelijk gaat het niet om de schadevergoeding aan de slachtoffers maar het feit dat de advocaten goed betaald krijgen. zal mij niet verbazen dat ze een flink percentage opstrijken ongeacht wat er binnenkomt. Apple komt natuurlijk negatief in de kijker want "ze zijn ja voor kindermisbruik" dus uiteindelijk zal er wel geschikt worden.

alles hierboven is natuurlijk speculatie.

[Guru Evi]

In veel van die gevallen zoeken ze gewoon een schikking, dit zijn gewoon kwelzaken omdat Apple groot is en veel geld heeft.

Apple heeft in dit geval geen enkel verband met de slachtoffers, het is niet alsof ze door actie van Apple misbruikt geweest zijn of dat Apple een platform heeft die dit in de hand werkt. Apple heeft gewoon een E2EE cloud dienst, wat erop staat is het probleem van de klanten, iedereen die een plaatje deelt is gekend doorheen hun e-mail of telefoonnummer, dus is het een probleem voor de politie die hun job moet doen als ze zoiets vinden.

[HansRemmerswaal]

Een wet uit 1871 die eigenlijk een ander doel had?

[lenwar]

Gevoelsmatig heb je hier gelijk in. Ik weet echter niet hoe de Amerikaanse wetgever hier naar kijkt. Ik snap dat er veel emotie achter zit, maar ik vind deze claim ook wel erg gek.

Als ze nou via de rechter zouden proberen Apple te verplichten de boel alsnog te activeren, lijkt me dat zinvoller. (even los van, of ik het hele systeem/concept überhaupt een goed idee vindt.)

[Cowboy Henc]

Deze systemen zijn gewoon te ambigu. Als ik een foto van m’n 3 jarige dochter die in de blote kont in een zwembadje in de tuin staat naar m’n vrouw app om te laten zien dat ze het leuk heeft gaat het alarm af…hoe ga je daar mee om dan? Daar heeft niemand goed over nagedacht.

[asing]

Nou, dan wordt je gevlagd.

https://www.nytimes.com/2...llance-toddler-photo.html

[HansRemmerswaal]

Als het goed is staat de hash van die foto niet in die kindermisbruik database... Dus zou het alarm daarop niet moeten afgaan.

[Reactie gewijzigd door HansRemmerswaal op 9 december 2024 16:18]

[supersnathan94]

Totdat ie ineens opduikt bij iemand die hem daar wel voor gebruikt.

"Misbruik" is ook afhankelijk van context.


Helaas komt het niet zover, want dit:

Dus zou het alarm daarop niet moeten afgaan.

is al aangetoond onjuist.

We moeten dit gewoon niet op deze manier gaan doen. Gaat niet werken.

[HansRemmerswaal]

Ik mag aannemen dat zulke foto's gecontroleerd worden voordat ze in zo'n database met hashes worden gezet.

Als het alarm afgaat op een onschuldige foto dan zijn de hashes niet uniek genoeg.

[mjtdevries]

Het probleem is dat je met unieke hashes het probleem niet oplost.
Het is voor de criminelen niet moeilijk om een paar pixels van de fotos te veranderen zodat je een andere hash krijgt.

Vandaar dat al die oplossingen proberen om dat tegen te gaan, maar daarmee veroorzaken ze tegelijkertijd dat de kans op false positives veel groter word.
En helaas is dat bij de huidige systemen zodanig groot dat zelfs een foto van een hond een zelfde hash kan krijgen als een portret foto.

Het mag zonneklaar zijn dan wanneer de foutmarge zo gigantisch is, zo'n systeem niet ingevoerd mag worden.

[bytemaster460]

Een paar pixels veranderen zou bij dit systeem de hash niet veranderen. Die werkt visueel en niet op de achterliggende data.

[supersnathan94]

Ik mag aannemen dat zulke foto's gecontroleerd worden voordat ze in zo'n database met hashes worden gezet.

En daar ga je dus de mist in. Want wie doet die controle? Momenteel is dat hoogstwaarschijnlijk een directe collega.

4-eye is in deze veel te weinig. Daar moeten hele andere eisen bij worden gesteld. Een centrale database waar meerdere landen 1 hit moeten onderschrijven. Beetje decentraal grootboek verhaal a la blockchain. Je moet anders iedere individuele party als “trusted” zien. En dat is niet omdat je ze vertrouwd (nee integendeel), maar omdat je niet anders kan.

Het huidige systeem laat het toe dat Arie en Henk van afdeling zeden een hele zwik fotos van een in beslag genomen telefoon hashen en opsturen. Als daar toevallig een foto van winnie de poe tussenzit (een of andere meme via whatsapp in fotorol terechtgekomen) dan wordt die ook gehashed en direct opgenomen als flagbare image.

Dan zal niet direct iedere Winnie de poe “pats boem blocked ‼️” gaan doen, maar gelijkende fotos wel!

Oopsie. Foutje bedankt.

En je gaat natuurlijk niet een centrale database opzetten waar instanties dan weer toegang tot moeten krijgen en het in moeten goedkeuren (dus ook de originelen zien), want dat is natuurlijk de holy grail voor “die mensen” om een hack op te laten zetten.

Even alle CP ter wereld kunnen bemachtigen met 1 simpele hack. Goudmijn.

[Cobalt]

Het idee was dat het ging om AI die getrained is om features te herkennen. Anders zou je nooit nieuw materiaal kunnen tegenhouden.

Als het alleen om hashes van de orignele foto zou gaan zou het te makkelijk zijn om het te omzeilen. Invert de kleuren, verschuif alle kleuren 1 kleur opzij, etc.

Het gevaar is ook dat een kwaadwillend persoon gewoon een miljard Apple accounts aanmaakt. Een loop maakt die AI generated image er in dropt. Checkt welke accounts gesloten worden. Zodra er een gesloten wordt. Heeft de aanvaller een afbeelding om naar andere mensen te sturen om hun account te disablen.

En wat als het account gesloten wordt? Moet het dan nog via een rechter lopen of gaat Apple het account en alle data deleten. De associaltie dat Apple foute data laat bestaan is waarschijnlijk slechter voor de marketing dan een foutje afkopen.

[_Pussycat_]

Uit angst voor dit soort systemen maak ik dus geen naaktfoto's (van mijn kind). Best vervelend dat ik me aan de normen van amerikaanse bedrijven moet houden uit angst accounts te verliezen.

[Reactie gewijzigd door _Pussycat_ op 9 december 2024 16:35]

[Alxndr]

Vraagje: zo'n hash... als je ook maar 1 pixel van een foto verandert, komt er toch direct een hele andere hash uit? Hoe gaan ze daarmee om dan?

[servies]

Stel je neemt de gemiddelde kleur van een groep pixels. Dat doe je over de hele afbeelding en van die totale uitkomst maak je dan weer een hash, dan doet 1 zo'n aangepaste pixel er mogelijk niet toe..

[Mark_88]

Apple introduceerde volgens de slachtoffers kortstondig 'een alom aangeprezen verbeterd ontwerp gericht op het beschermen van kinderen'

Volgens mij was niets van Apple in dit dossier 'alom aangeprezen'. Iedere privacybewuste techneut was (terecht) volledig in de gordijnen geklommen om deze zooi.

[supersnathan94]

Nee juist niet, de verbeterde versie was on device. Dat was wel degelijk een goede verbetering mbt privacy

Neemt niet weg dat het hele idee alsnog debiel is omdat je je afhankelijk maakt van iedere overheid ter wereld zonder enige vorm van controle mechaniek.

[Mark_88]

Ik zou persoonlijk 'ietwat minder rampzalig dan het vorige idee' niet bestempelen als 'een goede verbetering'.

[supersnathan94]

Nee klopt absoluut, maar privacybewust was het wel degelijk. Dus in dat opzicht was het wel degelijk een goede verbetering.

Alle andere issues buiten beschouwing gelaten.

[moonlander]

Gaan ze hun ouders ook aansprakelijk stellen vanwege het niet beschermen van hun kind?

[Alxndr]

Klaag dan direct de overheid aan omdat ze nog geen pre-crime afdeling bij de politie mogelijk hebben gemaakt.

[Mizgala28]

Kindermisbruik is vreselijk

Maar om privacy van iedereen te schenden voor een "schijnoplossing" lijkt mij niet wenselijk, zoveel bedrijven schenden onze privacy al en dit gaat nog een stap verder.

En dan zwijg ik over eventuele false positives en hoe waardeloos veel bedrijven daarmee omgaan (genoeg topics van mensen die alles kwijt zijn door een false positive, en het gaat niet altijd om "die ene foto van jouw naakte kind in een bad", soms is zelfs een meme of een plaatje die het systeem verkeerd inschat voldoende)

En waarom noem ik het een schijnoplossing? Omdat de daders altijd wel een manier zullen vinden om onderuit te komen, altijd.

En dit haalt zo goed als niks uit, het idee klinkt alleen mooi in theorie.

Het lijkt alsof deze slachtoffers dit allemaal volledig negeren dan, dat vind persoonlijk best ernstig.

P.S.
Als ze toch al bezig zijn, klaag opslag media fabrikanten ook aan want immers kunnen al die foto's en video's van misbruik daarop opgeslagen worden.

Klaag ook providers aan want die maken het mogelijk dankzij internet.

Misschien ook Microsoft en Google aanklagen? Want er zullen vast wel daders tussen zitten die Windows en Android gebruiken.

Zo kun je maar doorgaan, en in feite zouden ze alleen de daders en eventueel (lokale) overheid aan moeten klagen.

Alleen geld is makkelijker te halen bij Apple in dit geval, die hebben een riant gevulde bankrekening dus geef je die voor alles de schuld dan toch?

[Reactie gewijzigd door Mizgala28 op 9 december 2024 16:14]