Adobe bouwt AI om manipulatie van gezichten in Photoshop te herkennen

Adobe heeft een manier ontwikkeld om via software te herkennen of gezichtskenmerken in een foto zijn gemanipuleerd. Dat werkt met foto's die zijn bewerkt in Photoshop, en het is daarbij ook mogelijk om de bewerkingen weer terug te draaien.

Hoe dat werkt, legt Adobe uit in een blogpost. De onderzoeksafdeling van Adobe heeft voor de tool samengewerkt met wetenschappers van UC Berkeley. Het onderzoeksteam heeft een neuraal netwerk opgezet waarmee foto's van gezichten gescand kunnen worden op bewerkingen. Daarbij moeten de desbetreffende foto's overigens wel nabewerkt zijn in Photoshop met de Face-Aware Liquify-tool.

De onderzoekers vergaarden duizenden foto's van internet, waarbij een aantal willekeurig gekozen foto's werden nabewerkt door een artiest, waarbij verscheidene gezichtskenmerken werden gemanipuleerd. Na de training kreeg het ontwikkelde neurale netwerk twee versies van een foto te zien, een originele versie en een gemanipuleerde. Daarbij moest de gemanipuleerde versie worden geselecteerd.

Het bleek dat in 99 procent van de gevallen de AI van Adobe de gemanipuleerde foto eruit wist te vissen. Toen diezelfde test met menselijke beoordelaars werd gedaan, bleek dit maar in 53 procent van de gevallen te zijn; iets hoger dan wanneer er willekeurig een keuze gemaakt zou worden.

Adobe stelt dat het de tool heeft ontwikkeld omdat er steeds meer aandacht komt voor de problemen die gemanipuleerde foto's veroorzaken. In het verleden kwam het softwarebedrijf al eens met een neuraal netwerk om manipulaties die zijn uitgevoerd met andere Photoshop-tools, te herkennen.

Reacties (55)

[CharlesND]

Ik vind dit een bijzonder verontrustende ontwikkeling als dit meer wordt dan leuke PR voor de wetenschappers. De essentie van zo'n zelflerend proces is nu eenmaal dat uiteindelijk niemand weet WAAROM het programma de ene foto wel en de andere foto niet bewerkt vindt. En met een andere set foto's en bewerkingen bij het leren was het programma misschien tot een hele andere uitslag gekomen.

Hoe gaat dat straks als deze techniek serieus wordt ingezet, bijvoorbeeld bij een rechtszaak, om een fotomanipulatie aan te tonen? Ja, de AI zegt het, wij programmeurs weten ook niet waarom en op welke gronden maar de AI zal wel gelijk hebben dus is de foto gemanipuleerd.. Of krijgt de aangeklaagde partij de gelegenheid met een eigen setje foto's en bewerkingen een AI te leren juist die foto als niet gemanipuleerd te zien?

[Anoniem: 310408]

Fotomanipulatie kan al op diverse wijzes al jaren aangetoond worden. Waarom maak\ je je specifiek over deze zorgen? Ik zie niet in hoe het kunnen aantonen dat er manipulatie is gebeurt een slecht ding zou kunnen zijn.

[jurroen]

Omdat als het in rechtszaken gebruikt zou worden, die 1 procent foutmarge in kan houden dat jíj als volstrekt ontschuldige de bak in kan gaan.

Juridisch of forensisch bewijs moet zekerheid geven. Geen foutmarge of een niet te achterhalen werkwijze (foto is echt, want dat zegt de computer - waarom? ehhhh...)

Ik denk dat dit is wat @CharlesND bedoelt.

[Berimbau]

Ik denk dat in rechtzaken meerdere zaken tegen je moeten spreken, niet alleen een foto.

[PhantomPotato]

1 procent fout marge is best weinig. Mensen zijn in de bak gesmeten met een leugendetector als bewijs, en die scoort al significant hoger dan 1% fouten.
Als je alles zeker moet weten kun je net zo goed alle bewijs maar wegmikken, omdat daar allemaal mee gesjoemeld kan zijn of in diens context misschien heel wat anders zouden betekenen.
Getuigen? waardeloos. Camerabeelden? Waarschijnlijk nep. Een lijk? Kan nep zijn. DNA? Kan toeval zijn.
The list goes on. Alles heeft een foutmarge en die wordt al gewoon meegenomen in de beoordeling.

[Jefrey Lijffijt]

Dit is overdreven gesteld, het lijkt misschien een black box omdat Adobe je nu nog niet heeft geinformeerd wat de functie precies wel en niet detecteerd, maar meestal worden dit soort AI’s getraind om zeer specifieke bewerkingen te herkennen en zijn ze ook prima te doorgronden wat voor informatie je dus kunt gebruiken om die bewerkingen te herkennen.

Bedrijven lijsten natuurlijk de beperkingen niet op als ze mooie sier willen maken bij een introductie, maar het zal echt niet generiek toepasbaar zijn om manipulatie te herkennen. De vraag is bijvoorbeeld: wat als het hele beeld nep is, kun je dat herkennen? Het is helder dat dat niet altijd mogelijk is, hoe goed je algoritme ook is.

Gebruik in rechtzaken is verder natuurlijk hetzelfde als met alle statistisch bewijs: de rechter moet de onzekerheid meenemen.

[Stannieman]

Ik ben zelf niet zo into het AI-gebeuren, maar denk dat deze techniek daar wel een uitkomst voor kan bieden.

"Daarmee kunnen AI-beslissingen wiskundig geverifieerd en gevalideerd worden..."

[ralph075]

Krijg toch een beetje het "Wij van WC-eend"-gevoel door de voorwaarde voor de AI dat:

Daarbij moeten de desbetreffende foto's overigens wel nabewerkt zijn in Photoshop met de Face Away Liquify-tool.

Misschien zit ik ernaast. Toch zou ik het veel knapper vinden als de AI dit bij elke foto zou kunnen, ongeacht met welke software er is nabewerkt.

[Reactie gewijzigd door ralph075 op 22 juli 2024 14:07]

[BramVroy]

Dat is natuurlijk een pak moeilijker voor Adobe, om twee redenen. Ten eerste moet je een grote, gecontroleerde dataset verzamelen: je moet een origineel en een bewerkte afbeelding vinden, waarschijnlijk een die voldoet aan een hoop parameters m.b.t. DPI en overall quality. Het is eenvoudiger voor Adobe om deze zelf te maken; zo heb je volledige controle over je dataset en weet je wat er in je data zit. Daarnaast weet je ook welke soort veranderingen er mogelijk zijn. Stel dat je bewerkte foto's scrapet van het net, weet je niet wat er allemaal veranderd is. Misschien zijn de wimpers aangepast, de pupilgrootte, de haarkleur, de mondhoeken iets omhoog gezet, enzovoort. Alles kan, in de PS-wereld, dus het is moeilijk te weten wat er allemaal veranderd is op deze foto's - en je zou dan ook toegang moeten hebben tot de originele afbeeldingen wat niet altijd evident is (zijn foto's van fotografen, bewerkt in Lightroom m.b.t. licht, saturatie, contrast, originelen of bewerkte afbeeldingen?).

Het is een logische stap dat Adobe ergens een grens trekt wat ze willen detecteren en wat niet, en dan is hun eigen tool dus een goede kandidaat. Alle mogelijkheden accuraat ontdekken, zou niet accuraat zijn. Het zijn fijn zijn, en nodig in de huidige bewerkingswereld, maar het is best moeilijk.

Merk ook op dat de input hier twee afbeeldingen zijn: het origineel, en de bewerkte afbeelding. Het is dus niet zo dat je één afbeelding aan het systeem geeft, en het je dan zegt of de afbeelding bewerkt is of niet. Je geeft twee afbeeldingen en met een probabiliteitsdistributie wordt bepaald welke het meest waarschijnlijk de bewerking is. Dat is wel wat eenvoudiger; het systeem weet op voorhand dat een van de twee origineel is. Als je maar een enkele afbeelding hebt, is het veel moeilijker om te zeggen wat het is.

[Coolstart]

Bijna:

1. De dataset komt random van het internet. ( Gezichten op het internet minimum 4MP...)
The researchers created an extensive training set of images by scripting Photoshop to use Face Aware Liquify on thousands of pictures scraped from the Internet. In addition, an artist was hired to alter images that were mixed in to the data set.

2. Ze passen manueel de Face aware liquify tool toe op alle gezichten waardoor elke originele foto vergezeld wordt door een aanggepaste foto. (Met de Face aware liquify tool kan je in photoshop uw neus, ogen en mond kan groter/kleiner te maken zonder andere delen van het gezicht te vervormen.)

3. De AI van Adobe gaat dan die twee fotoparen vergelijken en opzoek gaan naar warping artifacts op pixelniveau en ook via gezichtsherkennings-technieken kijken of uw gezicht anders is om zo het valse gezicht aan te duiden. AI was in 99% van de gevallen correct.

4. Ze vragen tegelijk aan een testpanel of ze aan de hand van de fotoparen kunnen ontdekken welke gezichten zijn aangepast door deze Face aware liquify tool van adobe. 53% van de gevallen hadden ze het bij juist. Net iets beter dan gewoon gokken.

5. De AI kan (waarschijnlijk via de zelfde Face aware liquify tool) de gezichtskenmerken terugzetten.

[Reactie gewijzigd door Coolstart op 22 juli 2024 14:07]

[Verwijderd1]

Dat is natuurlijk een pak moeilijker voor Adobe, om twee redenen. Ten eerste moet je een grote, gecontroleerde dataset verzamelen: je moet een origineel en een bewerkte afbeelding vinden, waarschijnlijk een die voldoet aan een hoop parameters m.b.t. DPI en overall quality.

Dat is een voor de hand liggende aanpak, maar niet per se nodig. Zo is men nu veel bezig met unsupervised learning en semi-supervised learning, het idee is dat je ondanks dat je de labels niet kent wel de features (interessante kenmerken, mogelijk simpel, mogelijk heel complex) uit de niet-gelabelde data kunt vinden.

Stanford heeft een mooie beschrijving:

In contrast, if we happen to have lots of unlabeled images lying around that are all images of ”either” a car or a motorcycle, but where the data is just missing its label (so you don’t know which ones are cars, and which ones are motorcycles), then we could use this form of unlabeled data to learn the features. This setting—where each unlabeled example is drawn from the same distribution as your labeled examples—is sometimes called the semi-supervised setting. In practice, we often do not have this sort of unlabeled data (where would you get a database of images where every image is either a car or a motorcycle, but just missing its label?), and so in the context of learning features from unlabeled data, the self-taught learning setting is more broadly applicable.

http://ufldl.stanford.edu...rning/SelfTaughtLearning/

Dat soort technieken worden ook in de praktijk ingezet, zie bijvoorbeeld A Tour of Unsupervised Deep Learning for Medical Image Analysis voor een review.

[BramVroy]

Uiteraard, maar daar gaat het hier niet om voor zover ik begrijp. Ze gebruiken toch data die ze zelf bewerken? Ze hebben de originelen en de bewerkte versies.

[Verwijderd1]

In het Tweakers artikel wordt het inderdaad niet expliciet genoemd.

Wel zeggen ze dat sommige foto's bewerkt worden. Als ik het goed begrijp worden dus niet alle vergaarde trainingsfoto's bewerkt. Er zijn dus sowieso meer onbewerkte foto's (alle vergaarde foto's, ongeacht of ze daarna nog bewerkt zijn) dan bewerkte foto's (alleen die vergaarde foto's die ook nog bewerkt zijn). Of alle foto's uiteindelijk voor training gebruikt worden wordt niet genoemd.

Maar het is volgens mij niet zo dat elke foto per se als paar (bewerkte en onbewerkte versie) gebruikt moet worden, dan zou er immers staan dat alle vergaarde foto's nabewerkt zijn (zodat je uiteindelijke dataset dubbel zo groot is, voor de helt bewerkt en voor de helft onbewerkt).

[Psychilles]

Ja dit klinkt als een nogal kleine selectie foto's. Meeste manipulatie is met een heel scala aan tools.

[AibohphobiA BoB]

Het zal niet zo bedoeld zijn, maar wat ze eigenlijk zeggen is dat de bewerking met Adobe tools dus waardeloos is omdat je in 99% van de gevallen gewoon kunt zien dat het bewerkt is.

[THA_ErAsEr]

"Gewoon kunt zien"

We hebben het hier over een AI die daar specifiek voor getraind is.

[BLACKfm]

'AI' neem ik in deze maar weer eens met een correltje zout. Ik denk dat 99,9% van de foto's waar je bijvoorbeeld de oogkleur zichtbaar verandert niet herkent gaat worden. i guarantee it!. En als 'het internet' eens het vuur aan de schenen legt van dit soort systemen blijkt het waarschijnlijk toch niet zo effectief te zijn.

Belangrijk punt in dit systeem is "Daarbij moeten de desbetreffende foto's overigens wel nabewerkt zijn in Photoshop met de Face-Aware Liquify-tool.". Ik ken de tool niet, maar het zal mij niets verbazen als er op een bepaalde manier een soort QR code op het bewerkte deel wordt geprint die je niet kunt zien (de originele pixel een fractie kleurverschil heeft waarin de 'AI' is geprogrammeerd om die te herkennen).

Ondertussen wordt ook met het gebruik van die tool in photoshop data naar servers van Adobe gestuurd (iemand even zin om te wiresharken?) waarin de originele afbeeldingsdata (coördinaten en pixelkleur, kan dus vrij gemakkelijk in een paar bitjes) wordt opgeslagen in de 'AI' van Adobe.

En tot zover kan mijn 'AI Scepsis-pet' weer in de kast .

[ajolla]

'Gewoon zien' lukte slechts in 53% van de gevallen. 6% beter dan random.

[Anoniem: 310408]

Of je leest het nieuwsbericht nog een een keer en denkt 'oops'...

[bbob]

Misschien moet je dan eens vertellen hoe andere software beelden dan anders manipuleert dan dat photoshop dat doet.

Uiteindelijk doet alle software min of meer hetzelfde. Dat adobe de test met eigen software doet lijkt me duidelijk. Het zou idd leuk zijn te testen hoe het met andere software werkt.

Neemt niet weg 99% met eigen bewerking is al hele goede waarde, hoger dan de mens.
Uiteindelijk zal al veel dieper en sneller kunnen kijken dan de mens, op pixel niveau, pixels daaromheen, per pixel de waarde kunnen analyseren. Het is training van foto's des te meer des te beter het zal worden.

[Tourmaline]

Beetje mosterd na de maaltijd. Eerst maken ze het mogelijk om zulke absurde edits te kunnen maken en dan moet een stukje AI software het later weer terugdraaien. Foto manipulatie is at the artists discretion.

[jvdmeer]

Wat heb je hier aan? Wanner heb je een tool nodig die uit twee foto's de onbewerkte kiest?
Meestal heb je maar een foto en moet je wil je weten of die wel/niet bewerkt is. Dat zou een veel mooiere taak zijn voor een AI.
Dan kun 'm tenminste nog nuttig inzetten. In deze vorm heb je er niets aan.

[slowdive]

Wat heb je hier aan? Wanner heb je een tool nodig die uit twee foto's de onbewerkte kiest?
Meestal heb je maar een foto en moet je wil je weten of die wel/niet bewerkt is. Dat zou een veel mooiere taak zijn voor een AI.

Zoals ik het artikel lees kunnen ze met dit neuraal netwerk weldegelijk in één foto aanwijzen waar de veranderingen zitten én ze kunnen die veranderingen terugdraaien. Er is dus geen tweede foto nodig.

[blorf]

Ik vind het een beetje twijfelachtig. Een verandering moet op een specifieke manier zijn uitgevoerd om herkend te worden. Wat voor sporen laten Photoshop en die face-aware Liquify tool achter bij een verandering? Het spreekt het toepassen van "AI" een beetje tegen. Blijkbaar moet de te onderzoeken afbeelding bij voorbaat al aan kenmerken voldoen.

[slowdive]

Het getrainde netwerk werd getest op foto's die door een menselijke fotobewerker gemaakt waren.
Ook daarop deed het netwerk het beter dan mensen. Uit het artikel:

"Critically, we investigate if training on our
random perturbations generalizes to a more real-world setting. We collect data from a professional artist, tasked with the goal of making a subject more attractive, or changing the subject’s expression. As the edits here are made to be more noticeable, and study participants were able to identify the modified image with 71.1% accuracy. Our classifier
achieves 92.0% in the 2AFC setting."

[Reactie gewijzigd door slowdive op 22 juli 2024 14:07]

[jpsch]

Daarbij moeten de desbetreffende foto's overigens wel nabewerkt zijn in Photoshop met de Face Away Liquify-tool.

Kunnen ze net zo goed een tag meegeven vanuit hun eigen software. Heb je aan 1 foto genoeg.

[slowdive]

Er staat niet dat ze alleen manipulatie door die tool kunnen ontdekken. Voor de trainingstest werd een gescripte versie van de tools gebruikt. Voor de testset hebben ze foto's van een professionele (menselijke) editor gebruikt.

[KopjeThee]

Ik vermoed dat het uiteindelijke doel anders is. In de trant van GANs. Dan heb je grofweg 2 AI modellen: 1 die probeert een echte van een nep foto te onderscheiden (het model wat jij beschrijft, een doorontwikkeling van het model uit dit bericht), en 1 model die probeert foto's zodanig goed te manipuleren dat het eerste model denkt dat ze echt zijn (daar wordt het interessant). Dus het uiteindelijke doel zal wel zijn om foto'shop in te zetten op een manier dat je de gemanipuleerde foto' absoluut niet meer van echt kunt onderscheiden.

Zie bijv. https://en.m.wikipedia.or...ative_adversarial_network

[Reactie gewijzigd door KopjeThee op 22 juli 2024 14:07]

[mrmoos]

Die vergelijking is alleen maar gedaan om het model te trainen en te testen. Dit model zou in theorie nu een individuele foto kunnen classificeren op bewerkt of onbewerkt.

[Anoniem: 310408]

Dat zou een veel mooiere taak zijn voor een AI.

Dus AI zou allen ingezet mogen worden voor 'mooie taken' en niet in mijn robot stofzuiger om maar eens een doel te noemen?

Er zijn vele redenen denkbaar waarom je wilt weten of foto's bewerkt zijn. Van identificatie tot gewoon weten of een foto de waarheid verteld.

[BramVroy]

Had graag wat meer diepgang gezien in dit artikel over hoe ze de veranderingen kunnen terugdraaien. Dat lijkt me namelijk niet mogelijk tenzij je de exacte handelingen weet die er gebeurd zijn. En om dan het origineel te maken heb je dus geen neutraal netwerk nodig. Een neuraal netwerk werkt (afhankelijk van de grootte) met miljoenen parameters, allemaal een getalletje. Een neutraal netwerk zal dus nooit goed genoeg zijn om voor allemaal verschillende foto's exact het origineel na te gaan. Er zijn te veel mogelijkheden die je niet tegelijkertijd kan generaliseren en ook specialiseren per voorbeeld.

Ze zullen een voorspelling kunnen geven van wat ze denken dat het origineel was, maar een kopie zal nooit lukken. Vandaar dat ik hier ook graag wat cijfers en info over had gezien.

[bbob]

Als je een orgineel bestand hebt raw kun je veel manipuleren.
Maak je er na je manipulatie een jpg van, dan is er geen weg terug.

Waar het denk ik gewoon om gaat is herkennen is dit een bewerkt beeld of niet, wat het origineel was of geweest kon zijn is leuk maar niet 100% te reconstrueren als het een jpg is bijv.

[Anoniem: 310408]

Maak je er na je manipulatie een jpg van, dan is er geen weg terug.

Wel, deze nieuwe methode van Adobe doet dat dus wel. Lees gewoon het bronartikel voor je dit soort dingen typt.

[bbob]

tot op zekere hoogte kan men terug ja.
Een raw bestand kan ik ook in photoshop manipuleren en wel veel meer dan een jpg. Maakt ik met een camera een jpg en wil die bewerken in photoshop dan heb ik qua bewerking veel minder mogelijkheden dan een raw bewerken.
Bewerk ik dus een raw, maak er dan een jpg van dan is die jpg dus daarna minder goed terug te bewerken.
Tot op zekere hoogte kan men dus kijken.

[slowdive]

Het artikel waarna verwezen wordt staat hier.
Je ziet dat de software een behoorlijk goede reconstructie kan maken van de originele foto. Dat zal vast niet tot op de pixel overeenkomen met het echte orgineel, maar vervormingen en verkleuringen worden weldegelijk teruggerekend. Dat is bijzonder knap.

[jrswgtr]

Goede ontwikkeling in een wereld waar je zelfs je eigen ogen niet meer kunt vertrouwen.

[LaitSolaire]

Ik denk dat dit soort kennis inderdaad erg belangrijk kan zijn. Echter, mijn eerste gedachte was dat je met dit soort kennis dus eventueel sporen van manipulatie, die nu dus nog herkend kunnen worden, op een hoger niveau wederom kan maskeren.

[jdh009]

Gaan degene die bewust een aanpassing doen aan een foto deze tool niet juist gebruiken om de foto te verbeteren? Lijkt me voor iemand die kwaad wil (zoals een tijdje terug die fake linkedin) juist een mooi tool om dingen te controleren.

[DrPoncho]

Zal ongetwijfeld weer een kat-en-muis spel worden, maar wat stel je voor als alternatief? Niks meer ondernemen omdat iets wellicht niet enkel en exact gebruikt wordt voor het beoogde doel?

[Pompi]

Ik vind het verschil tussen gemanipuleerde voorbeeld en "suggested undo" voorbeeld niet echt groot, daarentegen kan je duidelijk een verschil zien in de neus en de neusvleugels

[Rembert]

Ok, een tool die door Photoshop gemaakte manipulaties kan herkennen en terugdraaien. Interessant voor forensisch onderzoek, fakenews herkenning enz. Maar de work-around is simpel als je niet wil dat jouw manipulaties worden herkend: gewoon geen Photoshop meer gebruiken. Er zijn genoeg alternatieven die met alternatieve algorithmes soortgelijke manipulaties uit kunnen voeren. Zou de A.I. tool van Adobe er wat mee kunnen?

[Anoniem: 498327]

void

[Reactie gewijzigd door Anoniem: 498327 op 22 juli 2024 14:07]

[poststamp]

Ik zie nog gezichten in een stekker, dus voor mij is dat wel handig dan

[mikesmit]

Nooit je innerlijke kind laten verdwijnen

[MazeWing]

In theorie klinkt deze tool mooier dan ie daadwerkelijk (op dit moment) is. Er worden aanzienlijk meer tools gebruikt dan enkel die liquify tool. Dat is maar een klein element van het totale bewerkingsproces.
Aangezien die liquify tool met een bepaald algoritme werkt is het redelijk eenvoudig dit weer terug te draaien als het gedetecteerd wordt.

Helaas is het nog lang niet mogelijk om totale manipulatie terug te draaien. Het is met bepaalde tools wel te zien dat de foto gemanipuleerd is, echter wat en hoe is een andere vraag. Laat staan om al deze bewerkingen terug te draaien...

[Anoniem: 310408]

ALLE manipulatie tools werken met een algoritme. Als je dit kan terugdraaien is er geen reden om aan te nemen dat dat met andere algoritmes niet zou kunnen. Daarnaast, dit is absoluut de meest gebruikte methode (Adobe beheerst dit deel van beeldbewerking absoluut) dus ze bestrijken een zeer groot deel van de manipulaties.