Openbaar Ministerie uit zijn zorgen over vorderende ontwikkeling deepfakes

Het Openbaar Ministerie uit tegenover de NOS zijn zorgen over DeepFakes. De technologie, waarmee gezichten in video's vervangen kunnen worden door die van anderen, wordt steeds overtuigender, waardoor videobeeldmateriaal in principe steeds minder geloofwaardig wordt.

Officier van Justitie Lodewijk van Zwieten zegt tegenover de NOS dat hij vreest dat het straks zoveel makkelijker wordt om vervalste video's te publiceren, dat iedereen het kan. Dat, gecombineerd met hoeveel vandaag de dag bedreigingen en beledigingen al voorkomen op sociale media, zorgt ervoor dat het OM zich zorgen maakt.

Volgens de Officier is het huidige wettelijk kader wel toereikend: smaad en laster is waar een dergelijke DeepFake onder kan vallen en die twee zaken zijn al strafbaar. Het in Nederland algeheel verbieden van de technologie is wat hem betreft niet nodig: "Het gaat niet om de techniek, maar om wat je ermee doet". Een debat is volgens de Officier wel op zijn plaats.

Deepfakes maken gebruik van machine learning om een ander gezicht op een persoon in een video te plaatsen en om dat zelfs te animeren. De uitdrukkingen in het gezicht worden van het origineel overgenomen in de vervalsing, waardoor het beoogde slachtoffer in het filmpje simpelweg doet en zegt wat de persoon in de video doet. De video's zijn aardig overtuigend, maar op het moment nog wel aardig goed met een getraind oog te ontmaskeren als nep. Daarnaast wordt door de VS ook gewerkt aan software om DeepFakes te herkennen en houden de grote techbedrijven zich ermee bezig.

Een bekende en verguisde toepassing van de techniek is FakeApp. Hiermee kunnen betrekkelijk makkelijk gezichten in gifjes vervangen worden. De app wordt onder meer gebruikt om beroemdheden in pornovideo's te plaatsen. De content is al verboden op Reddit en Twitter. In 2017 uitte het Nederlandse Defensie Cyber Commando al zijn zorgen over soortgelijke technologie.

Het gezicht van Star Wars-actrice Daisy Ridley gebruikt in een video

Reacties (71)

[GeoBeo]

Stel je voor je business partner belt je op en je hoort zijn stem vragen om even wat geld over te maken om een factuur te betalen. Blijkt deepfake oplichter.

Het voorbeeld van de directeurs die via deepfakes (van hun business partners) overtuigd zijn om miljoenen over te schrijven: https://www.msn.com/en-in...from-companies/ar-AAEzPVZ

[Reactie gewijzigd door GeoBeo op 22 juli 2024 21:15]

[Geim]

Het voorbeeld van de directeurs die via deepfakes (van hun business partners) overtuigd zijn om miljoenen over te schrijven: https://www.msn.com/en-in...from-companies/ar-AAEzPVZ

Het staat er iets anders:"Security researchers have already witnessed successful deepfake audio attacks on private companies, in which fabricated audio from the 'CEO' asks a senior financial official to transfer money. Millions of dollars have been stolen in these attacks."

Er zijn miljoenen gestolen met deze aanvallen. Niet dat 1 CEO miljoenen heeft overgemaakt. Overigens moet ik het eerste bedrijf nog tegenkomen, waar een CEO eigenhandig miljoenen kan overmaken.
Bij ons op de zaak moeten voor grote bedragen beide directeuren de transactie bij de bank autoriseren (tan-code, token etc.).

[Quilt]

Voorbeeld van 70 miljoen, enkel emails...
https://www.nieuwsblad.be/cnt/dmf20160119_02078829

[Geim]

Ongelofelijk, dat juist bij een bank er zo weinig authorisatie nodig is en dat iemand op zo’n laag niveau zo’n transactie mag uitvoeren.
“Een zuiver partijtje blufpoker is het. De oplichters gokken gewoon op het feit dat de (hiërarchische) afstand tussen de financieel bediende en de CEO zodanig groot is dat de eerste niet het lef zal hebben om de juistheid van de mail van de tweede na te trekken. En dus de opgedragen betaling zonder morren zal uitvoeren. En dat is dus wat ook gebeurd is bij Crelan.”

[FreshMaker]

[...]


Het staat er iets anders:"Security researchers have already witnessed successful deepfake audio attacks on private companies, in which fabricated audio from the 'CEO' asks a senior financial official to transfer money. Millions of dollars have been stolen in these attacks."

Er zijn miljoenen gestolen met deze aanvallen. Niet dat 1 CEO miljoenen heeft overgemaakt. Overigens moet ik het eerste bedrijf nog tegenkomen, waar een CEO eigenhandig miljoenen kan overmaken.
Bij ons op de zaak moeten voor grote bedragen beide directeuren de transactie bij de bank autoriseren (tan-code, token etc.).

En dan zit er nog altijd een CFO tussen, die de centen in de gaten houdt
Tenzij de directie verder geen 'verantwoording' hoeft af te leggen ( aandeelhouders, moederbedrijven ) maar dat zijn er niet zo heel veel, die dan 'effe' miljoenen kunnen overboeken

[himlims_]

Stuk luceratiever dan spam mailtjes

[The Zep Man]

Stel je voor je business partner belt je op en je hoort zijn stem vragen om even wat geld over te maken om een factuur te betalen. Blijkt deepfake oplichter.

Dus:
• Telefoonnummer controleren
• Veiliger medium gebruiken dan bellen.
• Enkel digitaal ondertekende betaalverzoeken per ondertekende e-mail behandelen.

Betalingen tussen bedrijven gaan vaak zo traag (60 dagen is geen uitzondering) dat er eigenlijk nooit een reden is om te haasten.

[Reactie gewijzigd door The Zep Man op 22 juli 2024 21:15]

[Splorky]

Je heb geen ongelijk en als het het via email doet vervalt dit al maar als je van een uitdaging houd kan je bij een uitgaand telefoon gesprek het nummer manipuleren zodat het lijkt alsof het inkomende gesprek van een ander nummer is.

[sygys]

Het kan volgensmij heel simpel. Gewoon een programma waar je een betaling klaar zet en de leidinggevende eerst moet inloggen en akkoord moet geven voor de betaling alvorens een medewerker uberhaupt de betaling in gang kan zetten. Vreemd dat zulke dingen kunnen gebeuren in miljoenen bedrijven

[winkbrace]

Het advies is eigenlijk altijd: vertrouw nooit 1 bron. In geval van grote betalingen altijd even langslopen of zelf opbellen ter controle.

[N97]

Vraag aan een video/camera chip expert:

Is het inmiddels niet mogelijk om een video te maken met een camera/telefoon dat een digital fingerprint heeft aan het filmpje? En wanneer je met een applicatie een video bewerkt deze digital fingerprint verdwijnt, flag for editing of iets dergelijks?
Of is dit voor commerciële gebruik nog niet mogelijk (of nog te duur)?

[SuperDre]

Ongeedit een video gebruiken komt zelden nog voor, en een digital fingerprint gaat niet helpen, immers bij editing komt er gewoon weer een nieuwe fingerprint.
Wat is het nut van de fingerprint werkelijk?

[N97]

Tuurlijk worden filmpjes geedit. Want een filmpje van 1 uur waar alleen die 2 minuten interessant zijn wordt niet het filmpje van 1 uur online gegooid.
De orginele bron (raw footage) heeft zo'n digital fingerprint en kan gebruikt worden ter verificatie.

Voorbeeld, je geeft de raw footage aan NOS die het weer knipt voor gebruik. NOS kan dan een voetnoot plaatsen dat het filmpje geverifieerd is.

Super omslachtig allemaal maar als je het verschil tussen nep en echt wilt onderscheiden zal er wat moeite gedaan worden .

[SuperDre]

En als ik nou de hele video fake? Dus het stukje dat zogenaamd interessant is komt dan uit een complete fake.. Alsof nieuwssites werkelijk zoveel moeite zouden doen, tegenwoordig wordt alles zo snel mogelijk doorgekopieerd, controle komt later wel.

[PhantomPotato]

Zou in principe toch kunnen. Dat de camera een certificaat heeft waarmee de video wordt gesigneerd, en een video editor zou een ander certificaat hebben.
Dan moet er wel hardware in de camera komen die dat certificaat niet kan vrijgeven om vervalsing te voorkomen.
Dit kan erg robuust zijn, maar dan moet jouw camera waarmee je het bewijs hebt gefilmd wel een dergelijk uniek certificaat hebben waarvan je kan aantonen dat het certificaat uniek is.

[tedades]

Het probleem is volgens mij dat mensen het niet goed kunnen onderscheiden en je zo (een deel van de) mensen (tijdelijk) kan misleiden.

Er is volgens mij al software die een fingerprint maakt van foto materiaal zodat ze kunnen bepalen of een foto met dezelfde camera is gemaakt. Het lijkt me dan ook mogelijk wijzigingen te ontdekken door wijzigingen in deze fingerprint. Maar deze stap onderneem je natuurlijk pas als je verwacht dat het beeldmateriaal aangepast is geworden.

[N97]

Het probleem is volgens mij dat mensen het niet goed kunnen onderscheiden en je zo (een deel van de) mensen (tijdelijk) kan misleiden.

Eens maar dat is een kwestie opvoeding. Hoeveel mensen doen nog in trappen in een email van een Nigeriaanse prins? Zullen vast wel nog een paar rondlopen die er in trappen maar lang niet meer dezelfde aantallen als pakweg 15 jaar geleden.

[scsirob]

Er komen iedere dag honderduizenden mensen voor het eerst met internet in aanraking. Zelfs hele oude trucks werken nog steeds bij verse slachtoffers.

[laurxp]

Technisch zou dit niet heel moeilijk moeten zijn, een chip maken die een digitale handtekening zet voor ieder frame / iedere foto met een systeem vergelijkbaar met SSL certificaten is goed mogelijk.
De vraag is, wat win je er mee? Letterlijk iedere vorm van media is bewerkt. Foto's worden bijgesneden, krijgen kleurcorrectie, even een rimpel uitvegen... Video moet uit meerdere camera's komen, er moet in geknipt worden, green screen erbij... Voor smartphones is het haast nog erger, met alle Snapchatfilters en Instagram-manipulaties.
Sure, je zou zoiets technisch kunnen maken, maar dat zou alleen gebruikt worden als "bewijs"camera voor de politie. De media en de consument heeft hier geen interesse in. Integendeel, het zou zeker niet wenselijk zijn als een dergelijke techniek als neveneffect heeft dat een foto te herleiden is tot een specifieke camera; dit zou een zeer sterke inbreuk op je privacy kunnen zijn!

[RGAT]

Je zou certificaten kunnen koppelen aan video/beeldmateriaal om te bewijzen dat het van een specifieke bron komt zoals een persbureau ipv een scholier op zijn kamer, het certificaat toont dan aan dat het filmpje uitgegeven is door een bepaalde partij en dan is het aan de kijker om te bepalen of die partij geloofwaardig is of niet.

[Luuk.vanRiel]

Ik denk inderdaad dat een manier om de originele bronnen te herleiden erg gunstig kan zijn. Misschien moet er naast Google search een Google bericht komen waar Google alle versies van een video indexeert en op datum zet zodat kijkers zelf het eerste gebruik kunnen checken

[Thystan]

Crypto voor videomateriaal, ik zie een gat in de markt

[DJMaze]

Maak een hash van het materiaal en signeer de hash.
Een filmpje van 500mb of een blueray van 12GB is echt niet leuk om te signeren.
Beeldmateriaal coderen en de decryptiesleutel signeren lijkt beter, maar dan zie ik mijn smartphone accu vast leeglopen.

Laat staan dat je even dat 4GB filmpje via 4G upload naar Google voor "verificatie".

We kunnen veel, maar er zijn nog steeds grenzen.

[Luuk.vanRiel]

Laat staan dat ver voor het digital tijdperk fotos en video werd gemanipuleerd (verwijderen personen uit fotos door stalin o.i.d.)

Idd ben ik van mening dat er in echte zaken digitaal materiaal nooit opzichzelfsstaand als bewijs mag worden gebruikt.
Bijvoorbeeld bij een autoongeluk zou dashcam wel als ondersteunend bewijs kunnen Dienen aangezien duidelijk is dat er schade is opgelopen.


Ik denk alleen dat het grotere probleem van deepfakes zit in het beïnvloeden van publieke opinie. De "masses" weten gewoon niet hoe makkelijk beeld te beïnvloeden is en zullen blindelings hun Facebook feed blijven geloven.

[kozue]

Daarmee kun je alleen bewijzen dat er een camera gebruikt is die zo'n techniek ondersteunt wanneer er wél een fingerprint in zit. Het is niet alsof alle toekomstige camera's dit ineens gaan ondersteunen, en bestaande camera's sowieso al niet. Als je dus een video ziet zonder zo'n fingerprint weet je niet of ze gewoon een oudere/goedkopere camera hebben gebruikt of de video bewerkt hebben. Of dat de video direct op de pc is opgenomen. Of dat het sowieso allemaal CGI is.

Waar je het dus hooguit voor kunt gebruiken is als je je eigen materiaal wilt beschermen. Dan kun je zo'n camera kopen en tegen iedereen vertellen dat video's zonder die fingerprint niet van jou komen. Maar hier gaat het juist om video's van anderen en dat lost je hier niet mee op.

[Luchtbakker]

Het is ook niet ingewikkeld meer. Je hebt 3 minuten op Google + TPB nodig om tot bruikbare software te komen. Beetje krachtige CPU en binnen enkele minuten kan je video's faken met dit soort software.

Laten we er maar aan wennen, alles is al mogelijk. The limit is nu je CPU kracht nog.

[Iblies]

Je vergeet een factor, geld/kapitaal.

Zoals doobieters in 'nieuws: Openbaar Ministerie uit zijn zorgen over vorderende on...
er zijn meer partijen die het doen voor aandacht om er geld mee te verdienen, dan dat er beschadigde politici etc zullen zijn.

Je moet ook in ieder geval bekende partijen keihard aanpakken.
nieuws: Facebook: verwijderen nepnieuws politiek debat is niet onze taak
Facebook ontwijkt met alle mogelijke middelen met zuckerberg voorop alle verantwoordelijkheid waarbij talloze voorvallen al zijn geweest. Verkiezingen, platte aarde, anti-vaccinatie, etc

[Verwijderd]

Je kan bedrijven niet aansprakelijk houden voor user generated content want dan zet je een volledige industrie buiten spel. Dat de gemiddelde facebook gebruiker te dom is om nep nieuws van echt nieuws te onderscheiden is een maatschappelijk probleem en niet dat van Facebook. Ik vind het dan ook niet terecht dat Europese overheden vinden dat Facebook verantwoordelijk moet zijn voor dingen als deep fakes of nep nieuws, dat moet anders opgelost worden.

[Reactie gewijzigd door Verwijderd op 22 juli 2024 21:15]

[Iblies]

Je argumenten zijn helaas te algemeen en daardoor niet van toepassing.

Partijen als Facebook en Google creëeren bewust filterbubbels om marketing-technische redenen. Zoveel mogelijk mensen zolang mogelijk vasthouden en zodoende reclames aan te bieden waarbij er allerlei psychologische truukjes worden gebruikt.


Het is te makkelijk om mensen

Dat de gemiddelde facebook gebruiker te dom is om nep nieuws van echt nieuws te onderscheiden is een maatschappelijk probleem en niet dat van Facebook.

terwijl jaarlijks miljarden wordt uit wordt gegeven om mensen aan hun platform te kluisteren.

Dat de content niet van hun is wat ze vervolgens van alle verantwoordelijkheid zou moeten ontslaan is een drogreden. Het platform is zodanig ingericht dat excessen meer aandacht krijgt waarna er een sneeuwbaleffect optreed,
meer views, meer geld voor ads.

[5pë©ïàál_Tèkén]

Het begrip 'jezelf identificeren' is aan het veranderen. Digitalisering betekend dat alles verstuurbaar is maar ook manipuleerbaar. Ééntjes kunnen nulletjes worden en andersom - al het andere is een meervoud van dit principe. Van sommige dingen wíl je niet dat ze veranderbaar/mutabel zijn en als ze dat dan tóch zijn, dan moet er voldoende kennis zijn bij de ontvanger hierover. Er is een hele wereld tussen de zender en ontvanger, ook als het real-time informatie is. Een gebrek aan kennis hierover maakt dat de ontvanger het niet van echt kan onderschijden. Deze ontvanger kan een burger zijn, politicus of wie dan ook.

Nog een extra casus waarin duidelijk wordt in welke mate de gemiddelde burger/politicus achterloopt m.b.t. de ontwikkelingen in de ICT.

[Jerie]

Benieuwd of je op deze manier ook een figuur als Assange of Snowden kunt faken.

[Thystan]

Emma Watson, Scarlett Johansen, Michelle Obama, Barack Obama, Trump en Rapper Sjors...
Ja, het lijkt me dat Assange of Snowden ook gefeekt kunnen worden

[Jerie]

Ik had geen "fototje" in gedachten. Waar ik op doel is iets van een livestream enscenueren.

[Thystan]

Kan ook!
Hebben ze met Trump gedaan als voorbeeld

[stewie]

Je kan het niet eens verbieden, de source code zal gewoon online staan ook al zou je IP adressen gaan lopen blokkeren is het een volkomen kansloze actie... (En het zal ook nog eens alleen maar mensen gaan aanmoedigen om het te doen )

wat niet mag is leuk..

[Reactie gewijzigd door stewie op 22 juli 2024 21:15]

[WillySis]

Er zijn al voldoende wetten die het verspreiden van beeltenissen van beroemdheden verbieden (portretrecht ed). Voor andere gevallen kan het als laster, smaad, (poging tot) oplichting enz. worden gezien.

Als de computers nog een beetje krachtiger worden kan men met een paar beelden van iemand gewoon een animatiefilm maken, die niet van echt is te onderscheiden.

[stewie]

Dat is wat anders dan software, software kun je net zo goed verbieden als vrijheid van meningsuiting.
En ook kun je satirisch gebruik ook niet verbieden als laster/smaad etc en als je een publieke figuur bent die veel op TV is heb je geen portretrecht meer. (Als jij op vrij te ontvangen TV gaat dan is dat automatisch opgeheven)

Mensen proberen wel vaak dit soort dingen te claimen maar binnen de EU is dat vaak kansloos.. (we leven niet in Amerika)

[Reactie gewijzigd door stewie op 22 juli 2024 21:15]

[WillySis]

Portretrecht geld nog steeds. Foto's van bekende personen mogen niet zomaar verspreid worden!
Het mag alleen als het een "nieuwswaarde" heeft, of het een toevallige passage is.
Satire mag wel met een beeltenis, maar dan moet wel duidelijk zijn dat het om satire gaat. Het logo van Lucky TV werd niet voor niets toegevoegd aan de satirische filmpjes na DWDD.

[stewie]

Als dat zo zou zijn dan zouden roddelbladen helemaal zonder foto's zitten. (En heeft 0.0% nieuwswaarde)

[WillySis]

Roddelbladen denken daar anders over. Die zien zich als brenger van "nieuws". De foto's die ze gebruiken zijn vaak van openbare presentaties, stock-fotos of worden beschreven als nieuws-item.
De term "nieuwswaarde" is vaag, maar nep foto's die met behulp van deepfake zijn gemaakt vallen daar in elk geval niet onder.

[Krulliebol]

Roddelbladen krijgen ook regelmatig rechtszaken aan hun broek, maar dat hebben ze allemaal ingecalculeerd.

[dimitrivisser]

Heeft deze techniek ook positieve toepassingen ?

[Ikke_Niels]

Ongetwijfeld in de entertainment industrie (films, gaming etc).

Ik heb zelf ook zitten experimenteren met dit soort software (elon musk op trump plakken en vice-versa), en ik moet zeggen dat het best eng is wat je al met een redelijke pc voor elkaar kan krijgen...
Mijn PC was 3 dagen aan het trainen en er kwam al een redelijk resultaat uit...

Het blijft me daarom verbazen dat het nog zo weinig in het nieuws in geweest, maar ik vermoed dat vele zich nog niet realiseren hoe "makkelijk" dit is te doen.

[doogster]

Laatst kwam ik deze DeepFake tegen, toch wel erg verbaasd over de goede kwaliteit.

https://youtu.be/EeRITLly_Kc

[Zyphrax]

Er is meer vooruitgang nodig op het vlak van de digitale handtekening. Als ik mijn telefoon bijvoorbeeld al met gezichtsherkenning of vingerafdruk unlock, waarom zou dan een telefoongesprek dat daarna volgt niet gekenmerkt kunnen worden met een (afgeleide) biologische signature van mij. Hetzelfde als ik een email verstuur of een foto/video neem.

Er is daar zoveel toepassing voor. Alleen al om je betrouwbaar als klant te identificeren aan een organisatie. Voor zaken als internet bankieren, maar ook zeker bij dit soort problematiek om de authenticiteit van media te kunnen bepalen.

De eerstvolgende zorg is natuurlijk privacy. Wellicht kan ieder gebruik van de handtekening in een ledger bijgehouden worden (blockchain), als een uniek zegel. Daarbij kan toegevoegd worden of het zegel publiek is of alleen door een specifieke partij geverifieerd kan worden. Cryptografisch zijn daar genoeg mogelijkheden in.

[doobieters]

Onze eigen Dionne Stax is nog laatst slachtoffer geworden van een zogenoemde deepfake.

[Vlizzjeffrey]

Heb die naam nog nooit gehoord.

[skunkopaat]

Ik ook niet, maar gezien DeepFake absoluut 'goed' gebruikt kan worden in de politiek denk ik een politici of journalist.

Eigenlijk alles wat ik tot nu toe van DeepFake heb gezien is redelijk makkelijk te herkennen. Een haarmodel wat net even anders zit, ogen die soms net niet synchroon knipperen. Al is dit voor de gemiddelde mens wellicht niet goed te zien. Misschien maakt de verschillende database van gezichten en hoofden uit maar soms kan je het ook alleen al subtiel aan niet kloppende schaduwen zien.

Dit is wel techniek die ik bekeken heb een paar weken terug, lijkt me niet dat er gigantisch vooruitgang is geboekt in zo'n korte tijd.

[doobieters]

https://www.ad.nl/binnenl...n-voorbereiding~af9dace5/

[Yezpahr]

Voor de personen die de cookiewall niet willen oversteken:
https://en.wikipedia.org/wiki/Dionne_Stax

[TheVivaldi]

Dan kijk je nooit naar NPO, want ze is daar toch echt héél bekend als voormalig nieuwslezeres en presentatrice.

[Vlizzjeffrey]

Ik kijk inderdaad nooit naar de NPO, ik kijk geen tv.

[AmigaWolf]

Zelfde hier wist ook eerst niet wie Dionne Stax was tot ik de foto zag, ik kijk heel soms nog naar NPO, maar dat is zeldzaam, er komt bijna niks wat ik nog interessant vind op TV, zit wel vaak op YouTube.

[TheVivaldi]

Ze is jarenlang niewslezeres geweest bij het NOS Journaal en gaat daar nu mee stoppen, op Koningsdag mag ze regelmatig als allereerst de koninklijke familie interviewen, en dan nog dat akkefietje met die gozer (Humberto Tan) van RTL Late Night waardoor hij moest stoppen met dat programma... het is maar net wat jij onder "bekend" verstaat, maar menigeen Nederland kent haar wel, in ieder geval als nieuwslezeres. Maar ja, als je nooit naar NPO kijkt, dan snap ik wel dat je haar niet kent, maar dan ken je bijv. Mart Smeets natuurlijk ook niet en vind je die ook niet "bekend".

[Reactie gewijzigd door TheVivaldi op 22 juli 2024 21:15]

[Renenicolaas]

Lodewijk van Zwieten is nationaal "expert" cybercrime. Hij wordt ervoor betaald zich zorgen te maken. Je kan je overal wel zorgen over maken.

[blorf]

Als onze overheid zich uitgesproken ergens zorgen over maakt zonder een oplossing te vermelden is dat vaak al een voorbereiding om de kop in het zand te steken.