Onderzoekers maken tool die deepfakes in de meeste gevallen kan herkennen

Amerikaanse onderzoekers hebben een videoanalysetool gemaakt die kan herkennen of het beeldmateriaal is gemanipuleerd, waardoor bijvoorbeeld mensen iets lijken te zeggen dat ze in werkelijkheid niet hebben gezegd. Dit moet de verspreiding van deepfakes tegengaan.

De tool is ontwikkeld door Amerikaanse onderzoekers afkomstig van UC Berkeley en University of Southern California, en zou in minstens 92 procent van de gevallen gemanipuleerde beelden kunnen ontdekken. Dat meldt MIT Technology Review op basis van een paper dat door de onderzoekers is geschreven. Het werkt met kunstmatige intelligentie die wordt getraind op hoofdbewegingen, iets dat de onderzoekers de 'softbiometrische handtekening' van de desbetreffende persoon noemen. Vervolgens kan het model onderscheid maken tussen de natuurlijke bewegingen die een persoon maakt, en die door een computer zijn gegenereerd.

Om de ai te testen maakten de onderzoekers zelf een aantal deepfakes, waarbij zij gemanipuleerde video's maakten met een aantal gangbare tools. De ai keek vervolgens naar de beelden om te bepalen of er overgangen in de frames zitten waarbij onnatuurlijke bewegingen voorkomen, iets dat wijst op manipulatie. In 92 procent van de gevallen wist de door de onderzoekers ontwikkelde tool dus de nepvideo eruit te pikken. Dat lukte ook als er artifacts door recompressie in de video werden geïntroduceerd; dergelijke trucs worden vaak uitgehaald om detectiemethoden voor deepfakes om de tuin te leiden.

Er zijn al verscheidene manieren ontwikkeld om deepfakes te ontdekken, maar de methode ontwikkeld door de Californische onderzoekers zou aanzienlijk minder rekenkracht vereisen, en zou bovendien minder gemakkelijk te omzeilen zijn dan tools die zich richten op een enkele specifieke eigenschap, zoals oogbewegingen.

Reacties (96)

[Tjeerd]

Je voelt nu al aankomen dat er dus in de toekomst gegarandeerd iets gaat komen van een 'echtheids' certificaat ingebakken in elk filmpje dat je maar zou willen bekijken of dat wordt uitgezonden. Heeft een filmpje niet zo'n certificaat dan weet je dat het nep zou kunnen zijn. En ook dat is geen garantie, allicht moet je dus eerst voldoen aan een aantal eisen voordat je filmpjes zo'n echtheidscertificaat krijgen en wie bepaalt wie zulke certificaten wel of niet krijgt? En dan nog kan het zijn dat je gemanipuleerd beeld krijgt voorgeschoteld ondanks dat het 'gecertificeerd' is. Als je dan als doorsnee persoon met je mobiel een filmpje maakt van een belangrijke gebeurtenis en iets vast probeert te leggen als bewijs, heb je een nadeel dat het kan zijn dat wat jij gefilmd hebt misschien door jou gemanipuleerd is, of misschien ook niet.

Wat ik wil zeggen: wat is er nog waar in de toekomst en welke media zijn nog te vertrouwen in de toekomst? En is de 'macht' die elke simpele ziel nu heeft om iets te filmen wat betrouwbaar beeldmateriaal is in de toekomst alleen maar weggelegd voor instanties die het zich kunnen veroorloven om beeldmateriaal te certificeren (tegen een bepaalde prijs allicht)?

[Darkstriker]

Journalisten gebruiken in sommige situaties al camera's die beelden tijdens het maken van de foto signeren/versleutelen. Dat was ooit ondoenlijk duur en voor normaal gebruik volstrekt overbodig waardoor het alleen in pro camera's geïmplementeerd werd. Ik kan me voorstellen dat dit soort mechanismes het in de toekomst tot in de smartphone halen omdat deze encryptie tegenwoordig om de meest budget smartphones geen barrière meer vormt (qua kosten).
Wellicht wordt er zelfs een standaard voor bedacht zodat de fabrikanten minder onderzoek hoeven te doen om het te implementeren.
Hoe dan ook is fake news ook al zonder deze ontwikkelingen "big business" en in de onzekerheid in het medialandschap gegroeid (hoewel maar weinig grote mediaspelers echt ineens minder betrouwbaar zijn geworden). Voor dingen waar het echt van cruciaal belang is (zoals in een rechtszaak of bij het verzamelen van informatie door geheime diensten) zullen er waarschijnlijk wel ingewikkelde methodes komen om de echtheid van materiaal te bepalen. Voor dagelijks gebruik zullen er waarschijnlijk algoritmes komen die bijna alle fakes kunnen ontmaskeren en blijft het zaak voor mensen om net als bij alle andere informatie altijd meerdere bronnen aan te halen. Twee videos van het zelfde verhaal uit verschillende hoeken zo faken dat een algoritme niet kan detecteren dat er is gesjoemeld wordt alweer een stuk lastiger.

[Arokh]

De vraag is vooral of het doodnormale, kuoe, publiek die moeite wil gaan doen. Massaal. Om verwacht voorlopig van niet. Er zijn nu al heel weinig mensen die weten hoe je met informatie om moet gaan.

Het wordt een stuk eenvoudiger massa's mensen te manipuleren, waar een type als Erdogan bijvoorbeeld graag ge ruik van zou maken. En met hem 70% van de wereld. Stemmingmakerij, zowel of een Facebook als via propaganda (niet per se alleen door politici, ook door elke mogelijke lobby groep (anti vaccinatie, anti homo beweging, pro bewegingen, alle kanten op) kan dit soort video goud waard zijn) is de toekomst. Misschien heeft de domocratisering van media een heel stuk grotere nadelen dan we ooit hebben gedacht.

[Darkstriker]

Dat democratisering van media ook nadelen heeft had iedereen moeten weten. Dat de lui uit Silicon Valley dat niet kunnen begrijpen en ook helemaal niet willen begrijpen ligt natuurlijk eraan dat ze enerzijds in een enorm eenzijdig gekleurde community leven en anderzijds er een enorm interesse aan hebben dat die producten een zo rooskleurig mogelijke image hebben omdat ze er steenrijk van worden. Uiteindelijk zullen we zoals nu wordt geprobeert toch ergens de platformen mede verantwoordelijk zullen maken voor de content die mensen daar op zetten zodat zij ook reden hebben om zich ervan aan te trekken als daar mensen in gesloten groepen aanslagen beramen en moorden op politici plannen en ze niet alleen in je timeline zetten wat het meeste clicks (en daarmee dollars) oplevert maar keiharde onwaarheden die het wereldbeeld van het individu bevestigen pas veel later verschijnen. Filters die opzettelijk gefaket (beeld-)materiaal herkennen kunnen daar op termijn zeker een rol in spelen.

[El_Bartholomew]

De macht komt dus te liggen wie de 'echtheid' kan certificeren ... en we zijn dus terug naar af.

Deepfakes staat nog steeds in zijn kinderschoenen, het hoeft alleen maar door ontwikkeld te worden om de werking van dit programma tegen te gaan.
Vloeiende bewegingen, geen overgangen, correcte lip- en hoofdbewegingen en synchronisatie.

Met de steeds sterker wordende grafische kaarten is het gewoon een kwestie van tijd dat er iemand of een groep mensen een goed geschreven pakket afleveren waar geen onderscheid meer mogelijk is.

[Edwin]

Niet anders dan met een Rembrandt dus...

[flowerp]

> De macht komt dus te liggen wie de 'echtheid' kan certificeren ... en we zijn dus terug naar af.

Valt toch wel mee? Als het gewoon met een private key versleuteld is, en de public keys bekend zijn, kun je nagaan wie het opgenomen / dan wel voor het laatst versleuteld heeft. Je kunt dan zelf bepalen of je de Mike Redwood van de BBC wel of niet vertrouwd.

[Barsonax]

Kwestie van zo'n controle zelf ook kunnen uitvoeren en de code opensource te maken. Dan is het een stuk lastiger om hiermee te sjoemelen.

[robvanwijk]

wie bepaalt wie zulke certificaten wel of niet krijgt?

Degene die de certificaten uitgeeft. Vergelijk het met HTTPS: iedere mafketel kan een certificaat uitgeven; niets houdt me tegen om zelf een CA op te zetten en een certificaat voor bijvoorbeeld tweakers.net aan mezelf te geven. Maar dat certificaat wordt vervolgens door niemand vertrouwt. Zo zou jouw voorbeeld ook werken: bij foto's of video's kun je nagaan "NOS garandeert dat de getoonde beelden niet gemanipuleerd zijn". En dan is het aan de kijker om te besluiten of ze daar waarde aan hechten (bij het voorbeeld met NOS: hopelijk wel; als er de naam van een roddelkrant staat: hopelijk niet).

En dan nog kan het zijn dat je gemanipuleerd beeld krijgt voorgeschoteld ondanks dat het 'gecertificeerd' is.

Waarna we voortaan (én met terugwerkende kracht!) weten dat die bron dus niet betrouwbaar is. Nieuwsorganisaties zijn voor een groot deel gebaseerd op vertrouwen, dus (bijvoorbeeld) NOS zal heel goed controleren of iets echt is voordat ze het ondertekenen (net zoals ze dat nu al doen voordat ze iets uitzenden).

Als je dan als doorsnee persoon met je mobiel een filmpje maakt van een belangrijke gebeurtenis en iets vast probeert te leggen als bewijs, heb je een nadeel dat het kan zijn dat wat jij gefilmd hebt misschien door jou gemanipuleerd is, of misschien ook niet.

Dat klopt. Jammer, maar ik zou er geen oplossing voor weten.

[whiner]

Het wordt dan toch alleen maar makkelijker, waarschijnlijk is het tegen die tijd het omgekeerde waar.

- Met certificaat is gecontroleerd en heeft dus een erg grote kans op censuur.
- Zonder is niet gecontroleerd, met de tools die tegen die tijd te downloaden zijn is het makkelijk te controleren of er mee gerommeld is of niet.

[flowerp]

Wat is echt Nederlands? Iets anders dan namaak Nederlands? Was het Nederlands van 50 jaar geleden meer of minder echt dan nu?

[laptopleon]

Het probleem met de TaalUnie is, dat ze van bovenaf proberen het Nederlands te bepalen. Ze komen eens in de zoveel jaar met een stel regeltjes om de spelling te vereenvoudigen, die dan vervolgens voor een deel bevestigen wat iedereen al doet en voor een deel nog onlogischer blijken te zijn dan de oude regels.

Moeten we bijvoorbeeld ineens ‘geüpdatet’ gaan schrijven, terwijl iedereen ‘ge-update’ zegt.

Wat je ook van Engelse leenwoorden vindt, een kind kan begrijpen dat het complete Nederlandse taalgebied het niet ineens logisch gaat vinden om een extra ‘t’ aan het eind uit te spreken, alleen maar omdat een handjevol mensen van de TaalUnie tot die conclusie is gekomen.

Mooiste is misschien nog wel, de reden waarom er een ‘t’ bij moest: De kofschip-regel. Oftewel omdat men taal in regeltjes wil vangen, moeten nieuwe woorden ook weer aan die regeltjes voldoen. Dat werkt nooit in 100% van de gevallen en dat zou men juist bij de TaalUnie moeten begrijpen en beter mee om moeten gaan.

[sfranken]

Moeten we woorden als "bureau" en "toilet" dan ook maar weghalen en/of de "echte Nederlandse" alternatieven voor gebruiken? Dat zijn immers ook leenwoorden, en dat was het punt van mijn reactie. Dat iets een leenwoord is wil niet zeggen dat het niet is ingeburgerd en dus gewoon gebruikt kan worden.

Maar goed, fan of niet van de TaalUnie, ze bepalen wel dit soort zaken. Kun je leuk vinden of niet, het is zoals het is.

[LaitSolaire]

Het kan bijna niet anders zijn dat er een soort van wapenwedloop ontstaat tussen mensen die zo realistisch mogelijk de waarheid proberen te verzinnen en mensen die dat willen herkennen. Het zure is dat deepfakes mogelijk nog mensenlevens kan kosten ook. Ik weet ook niet hoe dit gaat uitwerken in een wereld waarin wetenschappelijk bewijs/kennis neigt te worden gerelativeerd en samenzweringsgedachten ook aan populariteit lijken te winnen. Het ziet er wat dat betreft niet florissant uit.

[mikesmit]

Ik denk dat een postbus 51 campagne met “Facebook is geen nieuws!” Veel meer verschil gaat maken bij alle huismoeders

[Jorgen]

Er staan ook vaak zat echte berichten op. we moeten mensen bewust maken van bronnen herkennen en zelf nadenken.

[BlaDeKke]

Jou reactie lees ik als: Wij zijn gedoomd. Kijk naar het verkeer... Een aangenamer en veiliger verkeer is simpel. Meer afstand houden tussen wagens en meer aandacht op het verkeer leggen. Enkel de mensen bewust maken. Toch gaat het probleem pas van de baan zijn als we stoppen met apen achter het stuur van de wagen te zetten.

[J8S]

Dat gaat dan betekenen dat we alle huismoeders van Facebook moeten halen, want zelfs als je je bewust zou zijn van het feit dat al het nieuws op Facebook nepnieuws zou zijn (wat het niet is), wordt je er toch door beïnvloedt.

Ik zie niet voor me hoe dat haalbaar gaat zijn. En het tweede punt, waar gaan ze hun nieuws dan vandaan halen? Achter elke nieuwsbron zitten reporters en redacteurs die, hoe ze hun best ook doen, nieuws niet altijd volledig genuanceerd brengen.

[BlaDeKke]

Dat is het hem net, ik zie het ook niet. Ik zie het niet echt goed komen.

[Arokh]

Wat een afschuwelijke conclusie. Maar helaas deel ik die wel met je. Ik denk dat de stemmingmakerij van elke mogelijke lobby groep een gouden toekomst heeft.

[rodie83]

Ach, vroeger heette een deepfake gewoon een videofuck. Het begint ernstig vermoeiend te worden, al die nieuwe termen om onwetenden toch maar vooral uit te leggen dat niet alles wat je ziet meteen echt is.

Gewoon gezond verstand en een klein beetje verstand van zaken, dan heb je heus nergens last van. Al ben ik het 100% met je eens dat dat schijnbaar een probleem is dat alleen maar groter wordt.

[jasbroek]

Zou zo'n tool niet als discriminator gebruikt kunnen worden om de 'deepfake' modellen beter te trainen?
Dan maak je er een 'wedstrijd' van zoals het ook in GANs werkt en leer je het deepfake netwerk om de detectie tool te foppen...

[Verwijderd]

Ja dit onderzoek is belangrijk, omdat het de bekende fakes kan detecteren, maar de faker kan makkelijk rekening houden met deze nieuwe detectie. Het is dus zeker ook niet de oplossing.

Zie het een beetje als evolutie. De konijntjes hebben verschillende manier om zichzelf te camoufleren en blijven constant nieuwe manieren proberen. De vossen blijven constant nieuwe manieren vinden om de konijntjes te vinden. Dus de konijnen worden steeds beter in verstoppen (anders worden ze op gegeten) en de vossen worden steeds beter in vinden (anders verhongeren ze).

Wat de onderzoekers hebben gedaan is de evolutie van de konijntjes stop gezet en een vos gevonden die 92% van de konijntjes kan vinden. Cool, dat is een goede vos, interessant om te zien hoe die te werk gaat. Maar als we de arbitraire regel stoppen zullen de konijntjes door evolueren en deze supervos ook weer voor de gek houden, waarna er weer een betere vos ontstaat, waardoor de konijnen zich weer beter moeten verstoppen... Etc etc.

Deze wapenwedloop eindigt als de konijnen zich perfect kunnen verstoppen en de vossen falen (oftewel de deepfakes zijn identiek aan echt videos) of de konijnen zich niet beter kunnen verstoppen dan de vossen ze kunnen vinden (de detectie van deepfakes wint, deepfakes kunnen niet meer beter).

[Arokh]

Niet helemaal de konijntjes zijn op een punt gekomen dat voldoende konijnen overleven om voldoende nieuwe konijnen te maken. En de vos vangt er voldoende om in leven te blijven. Een enorme disruptie (geweldige nieuwe techniek), kan er voor zorgen dat dit verandert, en dan volgt vaak het uitsterven van minimaal 1 van de genoemde soorten.

Mijn punt is dat 'goed genoeg' het doel is van evolutie. Er is geen streven naar een perfecte tool of een perfecte strategie. Dat is eigenlijk vooral iets dat de mens heeft uitgevonden (wat ons ook zulke extreme voordelen heeft gegeven dat de hele wereld. Aan ons overgeleverd is. Als we zouden willen blazen we onze hele habitat in 1x op, dat is nog niet eerder voorgekomen voor zover we kunnen zien).

Als een deep fake 'goed genoeg' is (zeg 20-80% van mensen of computers die het wel of niet zien of checken bijvoorbeeld) dan heb je al je doel bereikt met het opzetten van mensen tegen elkaar of een andere boodschap doorgegeven...

[kaas-schaaf]

Zou zo'n tool niet als discriminator gebruikt kunnen worden om de 'deepfake' modellen beter te trainen?

Train je de "deepfake" AI dan niet om enkel dat systeem te verslaan? Wellicht geeft dat goede resultaten voor die tool, maar of het ook beeld oplevert dat je wilt is een ander verhaal. (Ofwel een biased training set).

[Niet Henk]

Je kan, als je genoeg compute hebt, een dubbele GAN doen: één om de beelden niet meer detecteerbaar te maken door de tool, en één om een tool te maken die ze alsnog kan detecteren. Zo schuif je de lat van beide systemen langzaam steeds omhoog.

Mijn gok is dat uiteindelijk de balans zal verschuiven naar veel meer compute nodig om een tool te maken die de aangepaste beelden alsnog kan detecteren, dan nodig is om de fakes niet detecteerbaar te maken. Maar dat is enkel een informed guess.

Omdat het om videobeelden gaat, zal zo'n ontwikkeling natuurlijk langzaam gaan.

[Verwijderd]

Je kunt meerdere discriminators inzetten.

[Verwijderd]

Nee, discriminator is een vakterm.

[laptopleon]

In zo’n geval moet je een woord niet letterlijk willen vertalen. Als ‘onderscheiders’ al goed Nederlands is, niemand gebruikt het. Hierdoor krijg je teksten die heel geforceerd klinken en daar houdt niemand van.

Een veel logischere, vloeiender vertaling van

Zou zo'n tool niet als discriminator gebruikt kunnen worden om de 'deepfake' modellen beter te trainen?

is bijvoorbeeld

Zou dat gereedschap niet ingezet kunnen worden om onderscheid te maken bij het beter trainen van ‘deepfake’ modellen?

[ASNNetworks]

Waar ik nu benieuwd naar ben, is of ze ook getest hebben op false positives. Hebben ze ook originele video’s getest om te testen dat die niet als deep-fake worden gezien. Dat lijkt mij immers minstens zo belangrijk voor zo’n tool.

[MrMonkE]

Ook mijn gedachte.
92% is betekenisloos als van de echte films er 50% ook als fake wordt geflagged.

[Gomez12]

De vraag is dan gedeeltelijk wat een echte film nog is...

Als de boobs op tactische momenten gephotoshopped worden is dat dan nog echt of is dat fake?
Als er cgi in voorkomt is dat echt of fake?
Als er een body-double ingezet wordt is dat echt of fake?
Als er een stuntman een stunt doet ipv een de echte acteur is dat echt of fake?

[MrMonkE]

Het is een film.
Het is allemaal fake.

[tapkcir]

Het is verstandiger om gewoon niets te geloven van wat je ziet op cameras, schermen, foto`s enz. tenzij je ze zelf hebt gemaakt.

[bosskiss]

Gelukkig leven we in 1919 waar je niet verder hoeft te kijken dan je dorpsgrenzen.

[tapkcir]

Iets verder, maar wat ik niet meer echt kan zien kan ik niet meer geloven.

[Nathan13877]

Dit is wat mij betreft een ongelooflijk naïef standpunt. Jij gelooft dus niet dat Trump president is van Amerika, dat er buiten Venus, Aarde, Mars om nog meer planeten om de zon draaien, dat er een ozonlaag is, dat de aarde is omgeven met een atmospheer?

Allemaal dingen die je niet 'echt' kan zien, maar die toch wel echt waar zijn.

[tapkcir]

Sommige dingen geloof ik wel hoor, maar inderdaad kan ik het niet serieus nemen, immers zijn het mogelijk (zeer waarschijnlijk) animaties die ik aan het kijken ben. Interessanter is wat er om me heen gebeurd. Schokkende dingen merk ik wel aan de beurskoersen. Wat naief betreft. Ik vind het eerder naief om ook maar iets te geloven van wat men over Trump zegt en inderdaad, filmpjes over Trump zijn mogelijk geanimeerd. Daar dus veel waarde aan hechten is naief.

[Reactie gewijzigd door tapkcir op 23 juli 2024 08:55]

[Mr777]

En dan ontstaan er straks weer hele mediadiscussies over een of andere controversiële uitspraak van een politicus die makkelijk op zijn woorden kan terugkomen door te zeggen dat zijn uitspraak een deepfake was, waarna iemand met bewijzen komt dat het geen deepfake was, waarna iemand komt zeggen dat de bewijzen fake zijn enz enz... Resultaat: Jan in de straat weet na verloop van tijd niet meer wie hij moet geloven en verliest op den duur zijn interesse in de hele "waarheid" omdat het allemaal te verwarrend is. Wat overheden natuurlijk prima vinden, want met ongeïnteresseerde of verwarde mensen doe je natuurlijk wat je wilt.

[MrFax]

Of gewoon niks meer geloven wat er op het internet gezegd wordt .

[dakathefox]

Maar de tv kunnen we gelukkig wel geloven? ;-)

[MrFax]

Mijn statement was meer van dat het steeds moeilijker wordt om waarheid van fabel te onderscheiden. Dit zou een hele enge nieuwe vorm van propaganda kunnen worden en de enige manier om dat te voorkomen is om iedereen te educeren over deepfakes en dat je filmpjes gewoon niet meer zomaar als waarheid moet zien.

Deze techniek is voor nu misschien effectief en zou zo snel mogelijk geïmplementeerd moeten worden op zoveel mogelijk social media, maar op lange termijn is het niet de oplossing.

[ajolla]

Jazeker, daarom kijk ik elke dag uitsluitend naar het NOS journaal want daar kan jer tenminste van op aan dat ze met hun dagelijkse selectie van 5 nieuwsitems uit de duizenden beschikbaar ècht niet zullen proberen je een bepaalde richting op te duwen, heus niet. Toch?

[BernardV]

Daar geloof ik niets van

[jaaoie17]

Maar dat doe ik altijd al.

[dannbla]

Ik geloofde die nep haar op mijn scherm in de vorm van jouw avatar ook..

[MrFax]

[ajolla]

We hebben gewoon een schrijnend tekort aan betrouwbare onderzoeksjournalisten en objectieve nieuwsmedia.

[stresstak]

We hebben gewoon een schrijnend tekort

..aan betrouwbaarheid.

Er zullen best mensen zijn die ongefaket leugens kunnen vertellen. En sommige mensen kun je alles wijs maken.

[ajolla]

ja

[rodie83]

Betrouwbaar is in the eye of the beholder. Vroeger geloofde je de krant, want dat was nou eenmaal alles wat er was. Maar met de kennis van nu: hoe betrouwbaar was dat dan denk je? Ik denk net zo (on)betrouwbaar als nu. Alleen hebben we nu niet alleen één krant, maar honderden al dan niet digitale media die ons over hetzelfde vertellen. En wie er 'gelijk' heeft? Joost mag het weten. Net zoals vroeger.

[Cowamundo]

Geukkig kunnen we bij die 8% altijd nog Facebook raadplegen voor waarheidsbevinding! Aldus mijn buurvrouw Patricia.

[theduke1989]

En wij maar China de schule geven van alles hoe het er aan toe gaat daar. Echt te hypocriet hier weer.

[MrMonkE]

Gib Sie die Schule!