VS maakt tools voor herkennen 'deepfake'-video's met vervangen gezichten

Het Amerikaanse ministerie van Defensie heeft tools gecreëerd om zogeheten deepfakes te 'ontmaskeren'. Dit zijn video's waarbij machinelearning wordt toegepast om het gezicht van een persoon te vervangen door het gezicht van een ander.

De tools zijn gecreëerd door een Amerikaans overheidsprogramma genaamd Media Forensics, dat wordt geleid door de Defense Advanced Research Projects Agency. Het programma is opgezet om bestaande forensische tools te automatiseren, waarbij onlangs ook het vervalsen van video's en afbeeldingen onder de aandacht is gekomen. Matthew Turek, het hoofd van het programma, zei tegen MIT Technology Review dat subtiele aanwijzingen in huidige gemanipuleerde afbeeldingen en video's zijn ontdekt, waardoor het mogelijk werd om de aanwezigheid van aanpassingen te detecteren.

Professor Siwei Lyu van de Universiteit van Albany vertelt dat traditionele forensische methodes voor het 'ontmaskeren' van nepvideo's niet altijd even goed werken. Hij maakte samen met een student vijftig verschillende nepvideo's, waarna een aantal bestaande methodes erop werden toegepast. Sommige methodes leverden resultaat op, maar andere weer niet.

Bij het bedenken van verbeterde tools, realiseerde de hoogleraar zich dat de vervangen gezichten in deepfakes zelden met de ogen knipperen; als dat al gebeurt dan gaat het op een onnatuurlijke manier. Dat hangt samen met het feit dat deepfakes worden 'getraind' op stilstaande afbeeldingen waarbij een persoon meestal zijn of haar ogen geheel open heeft. Lyu erkent dat een goede vervalser hier iets op kan verzinnen, bijvoorbeeld door plaatjes te verzamelen van een persoon die met de ogen knippert. De professor zegt ook hier iets op te hebben verzonnen, al wil hij niet prijsgeven wat. Volgens hem is hij met deze tool de vervalsers nog te slim af en dat wil hij graag zo houden.

Andere onderzoekers werken aan vergelijkbare technieken waarbij het draait om het automatisch herkennen van opvallende signalen, zoals rare hoofdbewegingen of een vreemde oogkleur. De wetenschappers richten zich op aspecten die moeilijk zijn om goed na te bootsen in deepfakes.

Het vervalsen van video's kwam bijvoorbeeld in de publiciteit toen een tool werd gepubliceerd waarmee het relatief eenvoudig is om met behulp van machinelearning hoofden van veelal bekende vrouwen toe te voegen aan pornovideo's. Dit betrof de tool Fake App, waarbij een neuraal netwerk wordt getraind aan de hand van in video's gedetecteerde gezichten om de gezichtsuitdrukkingen, belichting en positie te bepalen. De echt ogende video's die dit oplevert, kunnen volgens critici een destabiliserend effect hebben, omdat het moeilijk is om nog onderscheid te maken tussen echt en nep.

Reacties (44)

Wordt dit niet een AI battle?

Deep learning algoritmes die een gezicht vervangen tegen deep learning algoritmes die een vervangend gezicht proberen te herkennen?

Op zich is het natuurlijk goed dat het wordt gedaan. Ik denk echter dat dit uiteindelijk in een deep learning battle gaat uitlopen waarbij de mate waarin een gezicht goed kan worden vervangen met een algoritme vooral succesvol zal blijken door hoe goed het algoritme is vergeleken met het algoritme wat het probeert te herkennen.

Sterker nog, wat hier nu is gemaakt is een 'Discriminator', waar deepfake een 'generative adversarial network' (GAN) is. Laat nu net de manier zijn om een GAN te trainen een Discriminator zijn... Oftewel, wat hier is gemaakt is een manier om Deepfake beter te maken...

Let wel op, beter maken in het misleiden van de Discriminator, wat niet perse betekent dat het voor mensen ook misleidender wordt.

Het probleem is dat een mens uiteindelijk dus volledig op AI zou moeten vertrouwen om er achter te komen of iets nu echt of nep is. Dat levert een wereld op waar we steeds meer afhankelijk zijn van machines om gewoon mens te kunnen zijn. Als we straks alleen nog op computers kunnen vertrouwen om ons te vertellen wat realiteit is en wat een droom wereld is ... dan is de vraag natuurlijk ... wie controleert er de computers?

Het zal net zo'n:"battle" worden als die je voor encryptie, en zo ongeveer alle andere technologoische ontwikelingen ooit, hebt. Is opzich niet zo veel bijzonders aan. De ene partij probeert de technologie te verbeteren, en een andere partij ontwikkeld een tegenmaatregel.

Wat er nu nog gebeurt is vervangen van een gezicht. Als je genoeg rekenkracht hebt is het over x jaar gewoon mogelijk een hele video te maken van iemand waarbij je het gezicht en alles via computer laat berekenen. Dat kan dan ook in een hoge resolutie.

Als ik nu al naar sommige films kijk en de kwaliteit van computerbeelden is dat al heel hoog. Het zal alleen nog maar beter worden tot het punt waarop men misschien geen acteurs meer nodig heeft.

Het enige wat dan overblijft is de analyse van de stem. Plakken van woorden kun je nu misschien nog herkennen maar wie weet kan men straks ook een stem perfect simuleren.

Plakken van woorden kun je nu misschien nog herkennen maar wie weet kan men straks ook een stem perfect simuleren.

Nu ene Barry Atsma zichzelf nasynchroniseert is ook dat een mogelijkheid met een sneer naar waarheid.

Een stem reproduceren en eigen ingevoerde zinnen laten zeggen?
Dat is geen "straks" meer:
https://motherboard.vice....-just-37-seconds-of-audio

Het is misschien nog niet perfect, maar als je in het artikel iets naar beneden scrolt en naar het 100-sample audio fragment luistert zul je toch moeten toegeven dat (naast het digitale artefact) dit toch behoorlijk natuurlijk klinkt.

Wordt dit niet een AI battle?

Zat ik mij ook al af te vragen, de betreffende professor geeft zelf min of meer al aan dat dit vrij makkelijk te counteren is door het knipperen met de ogen toe te voegen. Zijn opmerking dat hij nog een geheime troef achter de hand heeft vind ik wat zwak: waarschijnlijk weten zijn medewerkers wel waar hij op doelt en als het als bewijsmateriaal gebruikt wordt zal die methode mogelijk ook geopenbaard moeten worden.

Deep learning algoritmes die een gezicht vervangen tegen deep learning algoritmes die een vervangend gezicht proberen te herkennen?

Punt is daarbij denk ik ook nog eens dat je op een gegeven moment een stijgend aantal false positives en false negatives te zien krijgt. Op een bepaald moment zal het algoritme moeten vertrouwen op een paar afwijkende pixels om tot de conclusie te komen dat er sprake is van een vervalsing. Makkelijk te missen, of een ander artifact aan te merken als bewijs. Ook veel authentiek materiaal is behoorlijk bewerkt, maar daarmee nog geen vervalsing.

Ik denk dat we het alleen kunnen winnen door van elk opname apparaat een watermerk te laten aanbrengen in de beelden en een systeem te introduceren waarmee we dit soort watermerken wereldwijd kunnen verifiëren (bijvoorbeeld via blockchain).
Dit is beter te controleren dan te verwachten dat AI het er altijd goed uit weet te halen. Stel er komt namelijk een betere AI uit die nep beelden kan genereren, dan is plots alles onbetrouwbaar geworden.

Logisch en prima dat dit gebeurt, dit zal ongetwijfeld wel een continuproject worden want met nieuwe software zullen de 'fingerprints' waarmee fakes onderscheiden kunnen worden ook steeds veranderen.

tsja, zag laatst op reddit een cgi octupus, als die mensen gaan faken, ik zie het verschil echt niet...

https://i.imgur.com/cGJ1lBN.gifv

[Reactie gewijzigd door raxon op 7 augustus 2018 15:37]

Tsja, ik zie er toch nog iets aan wat niet helemaal lekker voelt.. mijn hersenen zeggen automatisch dat het niet klopt maar ik kan niet beschrijven waarom. Heb dat tegenwoordig met best veel CGI terwijl als je terugkijkt op de dingen van vroeger je heel specifiek kunt beschrijven waarom iets er niet realistisch uitziet (licht klopt niet, resolutie is veel te laag, etc.) maar tegenwoordig is het echt heel realistisch en het feit dat ik niet kan beschrijven wat er nu verkeerd aan is om het echter te laten lijken, betekent dat we heel dichtbij zijn. Ik denk dat het meestal neerkomt op licht (want dat is enorm lastig om goed te doen).

Tsja, ik zie er toch nog iets aan wat niet helemaal lekker voelt.. mijn hersenen zeggen automatisch dat het niet klopt maar ik kan niet beschrijven waarom.

Daar is een naam voor, het wordt "the uncanny valley" genoemd. Het gebied waarin je onderbewust voelt dat er iets niet klopt, maar dat je niet precies kan aanwijzen. "valley" slaat er op dat het niveau van realisme steeds stijgt, tot er vlak voor de top een punt bereikt wordt waarop het opeens "mis" gaat en mensen aanvoelen dat iets niet klopt en het realisme instort.

https://en.wikipedia.org/wiki/Uncanny_valley

[Reactie gewijzigd door CAPSLOCK2000 op 7 augustus 2018 19:01]

Het contact tussen het octopus model en de achtergrond/ondergrond lijkt niet overal even perfect te zijn - zo komt het toch over.
Het ziet er nogal wat "opgeplakt"uit

Ook ziet de octopus er bij momenten nogal vochtig uit, maar heeft dat dan weer weinig neerslag op de achtergrond.

Voor je hersenen moet echt alles in het plaatje passen anders dan krijg je het gevoel dat er "iets" niet klopt.

Vergelijk het met de situatie dat je iemand tegenkomt met een zenuw tic => ook dat is iets dat je opvalt.

[Reactie gewijzigd door chime op 8 augustus 2018 09:05]

Als de octopus vochtig is, zoals in het filmpje, zal er normaal gesproken ook zand aan blijven plakken, maar de octopus blijft wonderwel helemaal schoon (althans, er plakt geen zand aan).

Het zal vaak niet natuurlijk aanvoelen, en daarbij is het vaak aan de ogen te zien.

Vrij simpel eigenlijk bij de eerste 3 van 4 is de manier waarop de "camera" beweegt.
En bij allemaal zijn de kleuren té vibrant en op sommige plekken is er licht waar het donker zou moeten zijn. Ook is de bolling van de lens in de hoeken en uiteinden afwezig lijkt het icm de afstand tot het object.

Edit: Daarnaast zie ik nog meer dingen die beginnen op te vallen als ik er langer naar kijk, zoals dat er geen blur is op sommige plekken. De camera kan maar één focus hebben en niet verschillende tegelijk. Het water onder de octo vloeit niet op sommige punten.

[Reactie gewijzigd door Username3457829 op 7 augustus 2018 16:58]

CGI is wel anders dan gezichtsvervanging. Bij het eerste wordt een model vanaf de grond opgebouwd, bij het tweede is het het programma wat het gezicht opnieuw opbouwt met een bestaande dataset bestaande uit voorbeelden van het "doelgezicht".

Tja CGI.. Dat is al tijden zo echt dat soms het verschil niet te zien is. Maar CGI is toch anders dan deep fakes.

Kan zo’n video niet worden geanalyseerd met error level analysis zoals mogelijk is in jpeg?

https://fotoforensics.com/tutorial-ela.php

Dat is een zeer foutgevoelige techniek. Je kan het erg makkelijk omzeilen met de volgende regel: de kwaliteit van het resultaat moet altijd substantieel slechter zijn dan de kwaliteit van beide originelen.

Als je die regel gebruikt, zal altijd het gros van de compressie-artefacten na modificatie geintroduceerd zijn.

En daarmee heb je meteen het eigenlijke doel bereikt: de fakes zijn eenvoudig te herkennen aan de beroerde kwaliteit.

Je hebt ook gewoon slechte kwaliteit camera's... loop nog met een 720p action cam als ik met mijn hond weg ga op de fiets of longboard ( amstaf x apbt, moet eens weten hoeveel mensen claimen dat mijn hond 'fout' is terwijl hun keffers op hem af komen rennen ).

Kwaliteit is rukmevestje maar het voldoet aan het doel. Kwaliteit an sich is dus niet echt een gegeven waarmee je authenticiteit kan claimen dan wel ontkrachten.

Het gaat niet om de video kwaliteit maar om de fake kwaliteit. Als je opeens Selena Gomez met een bol gezicht ziet weet je dat het nep is, of de video nou 360p of 1080p is.

Wat je roept slaat nergens met betrekking tot de lopende discussie

Er werd gesteld dat als een video 'slecht was' dat je dan kon stellen dat het een fake was, en dat is natuurlijk niet waar gezien mijn bovenstaande reactie.

Niet Henk in 'nieuws: VS maakt tools voor herkennen 'deepfake'-video's met ve...

Dat is een zeer foutgevoelige techniek. Je kan het erg makkelijk omzeilen met de volgende regel: de kwaliteit van het resultaat moet altijd substantieel slechter zijn dan de kwaliteit van beide originelen.

Als je die regel gebruikt, zal altijd het gros van de compressie-artefacten na modificatie geintroduceerd zijn.

MSalters in 'nieuws: VS maakt tools voor herkennen 'deepfake'-video's met ver...

En daarmee heb je meteen het eigenlijke doel bereikt: de fakes zijn eenvoudig te herkennen aan de beroerde kwaliteit.

MarvTheMartian in 'nieuws: VS maakt tools voor herkennen 'deepfake'-video's m...

Je hebt ook gewoon slechte kwaliteit camera's... loop nog met een 720p action cam als ik met mijn hond weg ga op de fiets of longboard ( amstaf x apbt, moet eens weten hoeveel mensen claimen dat mijn hond 'fout' is terwijl hun keffers op hem af komen rennen ).

Kwaliteit is rukmevestje maar het voldoet aan het doel. Kwaliteit an sich is dus niet echt een gegeven waarmee je authenticiteit kan claimen dan wel ontkrachten.

Hoop dat het zo misschien duidelijker voor je is, al vraag ik mij af hoe moeilijk het is om 'overzicht' te houden in drie opeenvolgende reacties..

*nadruk ook op de eerste ->

de kwaliteit van het resultaat moet altijd substantieel slechter zijn dan de kwaliteit van beide originelen.

Dus nogmaals, waarom je denkt op mij te moeten reageren met die stelling is mij een heel groot raadsel.

[Reactie gewijzigd door MarvTheMartian op 7 augustus 2018 19:55]

Of mensen denken dan het is gewoon een foto met beroerde kwaliteit.

De helft van alle fotos die de afgelopen 15 jaar met telefoons zijn genomen zijn dan fake

Bij het eerste beste voorbeeld dat ik vond alvast niet direct: https://fotoforensics.com...fe5c20007e39cc057ab.41832

Nuttig en hard nodig nu machine learning zo ver is gevorderd. Nu hopen dat ze de software geheim kunnen houden, zodat het altijd aantoonbaar blijft of het beeldmateriaal authentiek is.

Wat gebeurt er trouwens met verdacht videomateriaal dat geen personen bevat? Dat lijkt mij een stuk lastiger?

Nuttig en hard nodig nu machine learning zo ver is gevorderd. Nu hopen dat ze de software geheim kunnen houden, zodat het altijd aantoonbaar blijft of het beeldmateriaal authentiek is.

Dat is altijd wel het probleem met dit soort software. Of je houdt het geheim en er is een zeer kleine groep die er gebruik van kan maken, of je geeft het vrij en iedereen kan controleren in hoeverre zijn beeldmateriaal als echt of vervalst aan wordt gemerkt. Bovendien zal je op het moment dat je de uitslag van dit programma aan wilt voeren in een rechtszaak waarschijnlijk ook wel aan moeten geven op basis van welke criteria de conclusie is getrokken dat het een vervalsing betreft en dus een deel van je algoritme moeten openbaren.

Wat gebeurt er trouwens met verdacht videomateriaal dat geen personen bevat? Dat lijkt mij een stuk lastiger?

Op zich reist dan ook wel de vraag hoe belangrijk het is daar de authenticiteit van te bepalen. Er zwerven op dit moment al een groot aantal filmpjes op internet rond die deels of geheel met CGI gemaakt zijn en er redelijk authentiek uitzien, maar ik kan mij zo snel even geen voorbeeld indenken waarbij dat ernstige gevolgen zou hebben als ze niet ontmaskerd worden.

[Reactie gewijzigd door Tribits op 7 augustus 2018 16:00]

Op zich reist dan ook wel de vraag hoe belangrijk het is daar de authenticiteit van te bepalen. Er zwerven op dit moment al een groot aantal filmpjes op internet rond die deels of geheel met CGI gemaakt zijn en er redelijk authentiek uitzien, maar ik kan mij zo snel even geen voorbeeld indenken waarbij dat ernstige gevolgen zou hebben als ze niet ontmaskerd worden.

Nou, ik denk aan bewijsvoeringsbeelden van bijvoorbeeld aanslagen. Denk bijvoorbeeld aan de casus MH17. Als zowel Rusland als JIT beweert authentieke beelden te hebben, zou het zeer fijn zijn als je dit kon controleren.

Eh.. als de tegenstander (... leger...) de schikking krijgt over deze tools kan deze wellicht de tools simpel trainen op de fake detector. Het is gewoon een andere input voor het AI netwerk.

Knipperen... eh.. dat komt toch rechtstreeks uit star trek? Waar Data een andere androïde detecteert door het te regelmatig knipperen van de ogen.

Ja, of juist te random

Of juist op gemiddeld genomen onlogische momenten. Maar goed, het probleem met die dingen is dat het allemaal statistiek is en dat je soms niet weet of je nou een outlier te pakken hebt en een video onterecht als "fake positive" herkent.

Mooi voorbeeld van een deepfake, Peele die Obama inspreekt: https://www.youtube.com/watch?v=cQ54GDm1eL0

Die is niet eens zo goed, er zijn momenten dat lipsync niet eens klopt.

Als dit zo door gaat zullen we op een gegeven moment in een paranoide maatschappij leven waar niemand meer weet of iets echt is. News is fake news en fake news is news.

Je kunt altijd gewoon bronnen checken.

Ha. Ik heb die tool niet nodig. Ik ben heel goed in het onderscheiden van echte pornosterren en Hollywood acteurs ;-)

Wel opmerkelijk dat die link naar 't Fake app artikel een voorbeeld video heeft waar wel met de ogen geknipperd wordt.

Ik denk dat je ook een Neural Network kan trainen om deepfakes te herkennen, als je dat lukt dan kan je het ook inzetten om DeepFakes aan te passen dat ze niet als DeepFake aangemerkt kunnen worden. Binnenkort op het internet: "DeepDeepFakes"