Apple voegt functionaliteit toe aan iOS en iPadOS om foto's die Amerikaanse gebruikers op iCloud zetten te controleren op kindermisbruik. Dit gebeurt met behulp van hashes. Volgens Apple is er een kans van 1 op 1 biljoen op false positives per account.
Apple noemt drie nieuwe manieren waarop het bedrijf de verspreiding van zogenoemd child sexual abuse material of csam wil tegengaan en de methode om foto's te analyseren is daarbij het meest verregaand. Apple meldt csam-detectie toe te voegen aan iOS 15 en iPadOS 15 met behoud van de privacy van gebruikers, terwijl het zo informatie aan autoriteiten kan doorspelen over kindermisbruikfoto's op iCloud Photos.
In een technisch document beschrijft het bedrijf hoe de detectie werkt. Apple krijgt een database met hashes van foto's van kindermisbruik van organisaties die zich inzetten voor de bescherming van kinderen, zoals het National Center for Missing and Exploited Children. Apple gebruikt een systeem met de naam NeuralHash voor het omzetten van de afbeeldingen. Hierbij krijgen verschillende foto's verschillende hashes, maar afbeeldingen die licht gewijzigd zijn, zoals verkleind, uitgesneden of in zwart-wit zijn omgezet, krijgen een identieke hash.
Apple transformeert de NeuralHashes vervolgens nog met behulp van elliptischekrommecryptografie, waarbij de sleutel alleen bij Apple bekend is. Dit moet er voor zorgen dat gebruikers niets over de oorspronkelijke hashes te weten kunnen komen. De resulterende verhaspelde hashes plaatst het bedrijf in een database die op iPhones en iPads komt te staan.
De controle op de apparaten verloopt via een protocol dat Apple Private Set Intersection noemt. Afbeeldingen van gebruikers worden ook omgezet in NeuralHashes maar krijgen niet dezelfde transformatie met elliptic curve-cryptografie omdat de sleutel alleen bekend is bij Apple en niet aan het apparaat van de gebruiker. De match tussen de hash van een foto op het apparaat en die van de database vindt wel op het apparaat plaats.
Bij zo'n match verkrijgt de hash een cryptografische header en een sleutel op basis van de csam-hash om de payloaddata te versleutelen. Na het uploaden naar iCloud kan de Apple-server de header gebruiken en de encryptiesleutel achterhalen door gebruik te maken van de alleen voor Apple bekende sleutel voor elliptischekrommecryptografie. Zo kan het bedrijf de payload ontsleutelen.
Als er geen match is, is er ook geen correcte encryptiesleutel, dus kan de server niets te weten komen over afbeeldingen die geen match vormen, aldus Apple. Iphones en iPads zelf weten ook niets over het resultaat van een match, omdat daar de geheime server-side sleutel voor vereist is. Tenslotte gebruikt Apple een systeem met de naam Threshold Secret Sharing als waarborg. Dit maakt dat pas als het aantal matches van een enkel iCloud-account een bepaalde waarde overstijgt, de treshold, de details over matchende afbeeldingen beschikbaar komen. Dit moet garanderen dat Apple niets te weten komt over gebruikersfoto's als niet aan bepaalde criteria voldaan is. Volgens Apple vindt er met het systeem een op een biljoen keer een false positive per account plaats. Apple meldt verder handmatig controle uit te voeren voorafgaand aan meldingen over kindermisbruik.
De overige twee beschermingsmaatregelen zijn dat Messages gaat waarschuwen bij het delen van 'gevoelige content'. De monitoring en analyse van afbeeldingen vindt op het apparaat zelf plaats met behulp van machine learning. Ten slotte gaan Siri en de zoekfunctie waarschuwen en 'ingrijpen' bij het zoeken naar onderwerpen met betrekking tot kindermisbruik. De functies voor Messages, Siri en zoeken komen beschikbaar in iOS 15 en iPadOS 15 maar ook in watchOS 8 en macOS Monterey.
In de kleine letters meldt Apple dat de functies beschikbaar komen in de Verenigde Staten. Het bedrijf meldt verder het initiatief uit te breiden maar onduidelijk is of dit betekent dat het ook naar andere landen dan de VS komt.
Update, 09.50: Aanvankelijk stond in het artikel dat het risico was dat er 1 op 1 miljard keer false positives voorkomen, maar Apple schrijft dat het om 1 in 1 trillion keer gaat, wat 1 op 1 biljoen keer is. Dit is aangepast.
Update 2, 11.00: Toegevoegd dat de functies, in ieder geval initieel, alleen in de Verenigde Staten in gebruik genomen worden.
Kritiek op Apples systeem
Critici zoals het Center for Democracy & Technology waarschuwen voor de gevolgen van het systeem voor veiligheid en privacy van Apple-gebruikers. Volgens deze organisatie zet Apple een infrastructuur voor surveillance en censuur op, die kwetsbaar is voor misbruik wereldwijd. Ook stelt de DCT dat Apple hiermee een backdoor inbouwt.
Ook cryptograaf Matthew Green waarschuwt voor de mogelijkheden van de beschreven infrastructuur om uiteindelijk end-to-end-versleutelde content te kunnen scannen. "Stel je voor wat dit kan doen in de handen van autoritaire regimes." Ook wijst hij er op dat overheden wereldwijd al jaren 'vragen' om communicatie met end-to-end-versleuteling te kunnen scannen. In Nederland bracht minister van Veiligheid en Justitie Grapperhaus dit regelmatig naar voren. Ook had Nederland recent te maken met false positives vanuit de organisatie die gericht is op online kindermisbruik zelf. Door een menselijke fout werden afbeeldingen foutief als kinderporno aangemerkt en toegevoegd aan de database van HashCheckService. Tegen dit soort fouten in een voorafgaand stadium biedt Apples systeem geen bescherming.