Twitter vraagt feedback voor beleid bestrijding van deepfakes

Twitter werkt aan beleid om de verspreiding van deepfake-video's en -foto's tegen te gaan. Het sociale netwerk wil optreden tegen 'synthetische en gemanipuleerde media' waarmee evenementen worden verzonnen of gemanipuleerd.

Twitter wil nieuw beleid gaan opstellen, maar daarvoor wel eerst feedback van gebruikers horen. Wat voor feedback dat is zegt Twitter nu nog niet. In 'de komende weken' komt het bedrijf met een feedbackmethode en -periode waarbij iedereen kan bijdragen aan het beleid. Twitter kondigde de veranderingen op een techconferentie in Californië aan. Ook werd het plan via Twitter zelf bekend gemaakt.

Twitter zegt dat het het beleid in het leven roept omdat 'online gedrag verandert'. Het nieuwe beleid gaat over gemanipuleerde media zoals foto's, video's en audio die via het medium worden verspreid, maar ook om volledig verzonnen of gecreëerde media. Het gaat volgens Twitter om media die 'significant veranderd of gemaakt zijn op een manier waarop ze de originele betekenis veranderen, of waarin het lijkt alsof er bepaalde evenementen plaats hebben gevonden die helemaal niet zijn gebeurd'. Twitter zegt dat het vooral optreedt tegen media als iemands fysieke veiligheid in gevaar komt.

Het sociale netwerk treedt daarmee in de voetsporen van andere techgiganten zoals Facebook en Microsoft. Ook die hebben beleid om deepfakes te stoppen. Bij Facebook heerst de angst dat deepfakes worden gebruikt in aanloop naar de Amerikaanse presidentsverkiezingen. Dergelijke media kan dan worden ingezet in nepnieuwscampagnes om lezers te manipuleren. Daarnaast is deepfake-porno in opkomst. Daarbij worden gezichten van bekende actrices in pornovideo's geplaatst. Het is ook niet de eerste keer dat Twitter tegen dergelijke content optreedt. In februari maakte het bedrijf al bekend deepfake-porno te weren. Andere sociale media zoals Reddit doen hetzelfde.

Naast Twitter werkt ook Amazon aan een plan om deepfakes tegen te gaan. Het bedrijf zegt dat het samen gaat werken met Facebook en Microsoft aan de Deepfakes Detection Challenge. Dat is een wedstrijd waarbij wetenschappers en programmeurs prijzen kunnen krijgen als zij een technologische oplossing voor deepfakes kunnen verzinnen. Amazon zegt dat het een miljoen dollar aan Amazon Web Services als prijs bijdraagt.

Reacties (52)

En waar kan je video's controleren dat ze fake zijn? Zag Trump in een video met zijn middelvinger zichzelf door het haar strelen als teken van ongenoegen richting een Amerikaanse astronaut omdat haar antwoord hem niet beviel?
Mijn eerste gedachte tegenwoordig .. Is dit echt? 🤔

We gaan komende jaren nog gruwelijk de mist in tenzij men ( lees "de internetters" ) alerter worden op de mogelijkheden van deep fake shit.

Word een halve waarheid versus fake wereld dat internet waarin we uiteindelijk gaan verdwalen.

Heel lastig, het mooie is dat mensen juist heel goed zijn in dat soort dingen waar te nemen.
Kijk maar naar amateur fotoshops, die lijken op het eerste gezicht redelijk overtuigend, maar zodra je de tweede keer ernaar kijkt dan zie je dat het net niet helemaal klopt.

Om deze fakes te ontdekken moet je een gigantische database hebben van echte foto's en deep fakes... Aka wat Google al klaar heeft liggen.
En dan moet je een algoritme maken, dit doe je op deze manier:

Algoritmes zijn eigenlijk een beetje zoals Evolutie. Je begint met een grote groep algoritmes die je los laat op de plaatjes. De algoritmes die de meeste plaatjes juist selecteren als fake en echt. Gaan door naar de volgende generatie en zo train je langzaam een algoritme.
Maar zelfs dan kan je waarschijnlijk niet een 100% pak kans krijgen.

Edit:
Er lijkt een kleine onduidelijkheid te zijn in het stukje over mensen en fotoshops herkennen.
Ik bedoelde hier niet dat alle fotoshops en fakes amateur werk zijn, maar ik probeerde het menselijke vermogen van het herkennen van fakes te visualiseren.

[Reactie gewijzigd door Micahve op 22 oktober 2019 14:11]

"Heel lastig, het mooie is dat mensen juist heel goed zijn in dat soort dingen waar te nemen.
Kijk maar naar amateur fotoshops, die lijken op het eerste gezicht redelijk overtuigend, maar zodra je de tweede keer ernaar kijkt dan zie je dat het net niet helemaal klopt."

Beide dingen zijn waar maar het doorslaggevende is dat mensen niet 2 keer kijken, en daarmee is het "leed" dus al geschied. Mensen (hersenen) filteren van nature heel veel informatie, combineer dit met de informatie explosie en veel fakes komen er gewoon doorheen. Voorbeeld:

https://twitter.com/RexChapman/status/1186355221783601152

> 95% gelooft dat dit echt is. Diezelfde groep is eenvoudig in staat om dit als nep te herkennen maar dat gebeurd dus niet. Conclusie: mensen zijn daar helemaal niet goed in. Ze zijn er wel toe in staat, maar doen het niet.

Je meent toch niet dat mensen die video als echt ervaren...
Dan is die Holy Sh!t die erboven staat inderdaad correct

Dat meen ik wel, kijk naar de comments eronder. Helemaal uitklappen om ze allemaal te zien.

Je zegt het zelf: "Amateur photoshops".

Wat nou als het geen amateuristisch werk is? Zouden mensen, als ze niet voor die tijd wisten dat hij was overleden en zijn broer het overnam, weten dat Paul Walker ook niet meer echt is, in de beruchte Fast and Furious scene?

Deze techniek wordt ook beter. En mensen zullen het niet meer zeker weten, waarmee dus twijfel onstaat. En die twijfel zelf kan het doel al zijn en zonodig schade maken.

We gaan uit van nu, maar we maken ook beslissingen voor later. En zelfs nu hoor ik mensen er intuinen...

Nee, nee zo bedoelde ik het niet... Oeps denk dat ik een beetje onduidelijk was.
Ik probeerde uit te leggen dat mensen zelf gemaakt zijn om goed te zijn in deep fakes en photoshops te herkennen.

Voor het echte fotoshop werk en deep fake kan een normaal mens ook niet meer zien of het nou echt of nep is...
Ik probeerde alleen de menselijke capaciteit te visualiseren

in deze film hebben ze het netjes gedaan, film suckt wel schijnbaar

https://www.ad.nl/show/ni...r=https://www.google.com/
In Gemini Man, geregisseerd door Oscarwinnaar Ang Lee, vertolkt Will Smith twee van de hoofdrollen. Hij speelt een sluipschutter in overheidsdienst, die het tijdens een van zijn klussen op moet nemen tegen een jongere versie van zichzelf.

De actiefilm maakt gebruik van een hoop technologische snufjes. Zo is de jonge versie van Smiths personage, Junior, volledig digitaal gecreëerd. Ook is de film geschoten in een ‘ultrarealistische’ beeldsnelheid: waar veel films 24 beelden per seconde laten zien, zijn dat er in Gemini Man 120, alhoewel niet alle bioscopen deze techniek ook daadwerkelijk kunnen vertonen.

Alleen kan je dan met die dataset nog een betere algoritme maken voor deepfakes, ik denk dat het een beetje een kat en muis spel blijft zo.

Tja, dat klopt, maar zolang Google haar database maar dicht houd dan gaat het wel, maar iedereen kan een data base aanmaken... Als je een progammatje schrijft die allemaal foto's van google afbeeldingen download heb je binnen no time een database

Zolang ze het niet open stellen via een API en dus alleen internal gebruiken bij Google, anders kan je het nog gebruiken om je eigen algoritme te trainen.

Je scheert nu alle algoritmes over een kam. De "evolutie"-aanpak die je beschrijft wordt in de praktijk niet zo veel gebruikt. Neurale netwerken die plaatjes classificeren worden bijna altijd met gradient descent getraind, daar komt geen "grote groep algoritmes" aan te pas.

Ah, dat had ik nog niet door.
Bedankt voor het uitpointen hier van!

Er zijn ondertussen algoritmes en methodes die zeer goed zijn in het herkennen van deepfakes en varianten hiervan:

https://www.youtube.com/watch?v=RoGHVI-w9bE

Je hebt een plugin voor chrome in beta van 3D universum (NL bedrijf).
Op hun website https://deepfact.3duniversum.com/ kan je ook de quiz doen.

Interesant thanks

Deepfakes bestaan al zo lang, het is nu alleen dat er "tools en software" zijn waarmee dit vergemakkelijkt word, helaas is dit "fenomeen/probleem" er al veel langer, het kostte alleen meer moeite, maar dat weerhield dat soort figuren er ook niet van, gemaakt werd het toch wel.

Social* media zucht...

Klopt, de drempel ligt heel laag.
Paar maanden geleden nog het gedoe met DeepNude, dat was software die(primitief) nudes kon faken.
Dit draaide op standaard pc's je had niks fancies nodig... een pc of laptop met een i3tje erin en klaar.
Iedereen kon het. Je hoeft geen eens meer fotoshop kennis te hebben.

En daar zit het gevaar, er is niks mis met deep fake in haar basis, maar het feit dat iedereen de technologie kan misbruiken daar zit het gevaar!

Gecombineerd met het fenomen dat steeds meer mensen graag geloven wat in hun straatje ligt(want de media liegt) en elk bewijs daarna wegwuiven, omdat ze een filmpje hebben gezien, maakt het een enge tool in de handen van sluwe mensen. Zeker omdat het maken ervan zo bereikbaar wordt.

En andersom, dat mensen zeggen dat het een deepfake is terwijl het wel echt gebeurd is.

Er is niets mis met deepfakes, totdat er een filmpje verschijn waar jij je baas of iemand anders staat uit te foeteren en dan viraal gaat, of dat iemand de techniek gebruikt om zich voor jou uit te geven om ik weet niet wat uit te halen. Het is nu al mogelijk om de quasi real-time uit te voeren.

Er is niks mis met messen, tot er een moordenaar met een mes achter je staat.
Technologie is onschuldig. Mensen niet.

Dat is waar voor de meeste technieken en gereedschappen. Echter, sommige daarvan zijn specifiek bedoeld om andere mensen uit te schakelen.

Zelfs dan nog heeft geen enkel vuurwapen iemand vermoord... zelfs nucleaire wapens zorgen uiteindelijk voor vrede.
Ik volg je wel hoor, maar imho is het fout technologie af te wijzen omdat het (ook) slechte effecten heeft.

Deepfakes (and alike) bieden enorme opportuniteiten aan de filmindustrie. Mijns inziens is daar niks mis mee.
Er is wél iets mis als mensen die tech misbruiken, maar niet met de technologie, enkel met de mensen...

Eens. Het verschil is mi echter wel dat een atoombom voor destructie bedoeld is en een broodmes niet. Beide zijn voor goed en slecht in te zetten natuurlijk.

Voor destructie, of om te dreigen met destructie? Zolang dat defensief bedoeld is, heb ik zelfs daar weinig op tegen. Tenslotte zijn er nog steeds mensen die dit evengoed offensief ok schijnen te vinden.
En juist dàt is het punt. We kunnen niet stellen dat (deepfake) technologie slecht is en bestreden moet worden. Technologie is niet inherent slecht, het zijn de intenties van de makers/gebruikers die wegen en beoordeeld moeten worden.
Vandaar dat ik het statement "er is niks mis mee totdat..." bestrijd: ook daarna is er niks mis met (de) technologie. Hij werd alleen misbruikt.

Verder is er vast wel technologie waarvan het helemaal niet duidelijk is wat 'goed' gebruik zou kunnen zijn (neem computervirussen bijv). Maar ook daar zeggen we niet dat software slecht is hooguit dat software fouten bevat die misbruikt worden en classificeren we misbruik verder naar intentie (worm, spam, cryptolocker,...). De technologie is neutraal. Het gebruik ervan niet.

/sorry: ik besef net dat je startte met "Eens.", maar deze filosofie is me te belangrijk en de tekst stond er al

De eerste deepfakes zijn nog in real-life gemaakt, met maskers en schmink. Hoewel de resultaten verbluffend kunnen zijn, is daar altijd nog een fysiek persoon voor nodig die zich bewust als een ander voordoet.

Bij de huidige deepfakes kan zo langzamerhand iedereen een willekeurig filmpje gebruiken om een hoofd te veranderen. De software zal ongetwijfeld wel een soort handtekening achterlaten, maar voor een leek is het beslist niet meer te zien. Ik ben bang dat het ook niet tegen te houden is.
Als de deepfakes nog algemener worden, is eigenlijk geen enkel beeld meer als "bewijs" te gebruiken. De personen die erop te zien zijn kunnen immers net zo goed fake zijn. Daarmee worden de video's die als chantagemiddel worden gebruikt gelijk nutteloos, want je verklaart dat gewoon als fake.

Het zal ook vast niet lang meer duren voordat de meeste mensen gaan beseffen dat een bekend persoon niet zomaar op bepaalde video's te zien is, maar dat dat alleen door middel van deepfakes kan. Ik vind het een nobel streven om die beelden op Twitter en andere social media tegen te gaan houden, maar die strijd gaat men toch niet winnen.
De wetenschappers en programmeurs wens ik toch veel succes, want vanuit de rechtelijke macht zal er vast belangstelling zijn voor een analyse die kan zien of een filmpje echt of een deepfake.

Volgens mij is het deepfake verhaal heel simpel.
Gewoon toestaan, zodat de waarde die aan beeldmateriaal toegekend wordt zo snel mogelijk tot een realistisch niveau daalt.

Dat scheelt de hele wereld de komende eeuw een boel geld, moeite, etc, die we in iets anders kunnen steken.
Dit is weer een kat-en-muis spelletje waar je uberhaupt niet aan mee moet willen doen.

[Reactie gewijzigd door Zynth op 22 oktober 2019 12:48]

Zo simpel is het echter niet.

Zoals in dit artikel wordt aangegeven kunnen deepfakes gebruikt worden om mensen te manipuleren. Fake news komt hierdoor op een heel ander niveau van geloofwaardigheid dan ooit tevoren en dat moet worden voorkomen in mijn optiek.

Zie dat dan als een punt waarop men kan concurreren. vb: Kom naar RealBook, waar je niet al die fake nieuwsberichten krijgt.

Volledig tegenhouden lukt toch niet. Het kan de markt wel verstoren geloof ik.

Dat is toch wat die social media pogen te doen? Hun credibiliteit verhogen door content te weren. 't is alleen niet zo eenvoudig als het klinkt!

Inderdaad. Ik zie liever dat netwerken zoals Facebook, Twitter e.d. zich dan achter een universele gratis signing-standaard kunnen houden. Dat kan ook worden doorgetrokken naar alle soorten communicatie, want alles is gewoon bytestreams.

Wat je zegt klopt allemaal.

Feit is echter dat deepfakes er zijn, er meer worden, en altijd gaan blijven.
En feit is dat detectie en productie in een kat-en-muis wapenwedloop terecht komen, waarbij er altijd deepfakes gaan zijn die het (tijdelijk) winnen.

De vraag is dan dus; wetende dat je ze niet allemaal voorkomt, moet je het dan uberhaupt wel willen voorkomen?

Ik denk dat het verstandigst is om je energie te steken in het omgaan met deepfakes, in plaats van ze te bestrijden.

[Reactie gewijzigd door Zynth op 22 oktober 2019 13:42]

Er zullen vast snel tools komen om deep fakes te kunnen herkennen denk je ook niet ?
Pas wanneer het zover gaat dat het echt niet meer van elkaar te onderscheiden is word het een echt probleem.
Misschien word het tijd om social media zoals FB te gaan verbieden, ik vind ze namelijk nog al ontwrichtend.

Het gaat werkelijk alleen om geld en mensen zijn daar een ondergeschikt middel om dit te verdienen.
Zeg maar gerust dat men over lijken gaat.

Het verziekt imo het internet.

Jup, mensen opvoeden dat ze alleen posts van geverifieerde gebruikers moeten vertrouwen in plaats van censureren.

Ik denk dat het grote probleem is dat er grote groepen mensen zijn die bepaalde dingen graag willen geloven en als ze bevestiging van hun geloof zien deze zaken ook meteen/ snel als waarheid aannemen. Zelfs al zijn gebruikers geverifieerd dan zullen mensen als ze nieuws brengen dat niet in wereldbeeld van iemand past snel als fake worden gezien.
De enige oplossing is leren leven met deep fake zoals @Zynth zegt zodat je er door heen leert prikken, iets dat onderwijs + ervaring kunnen leren. VB in de Sovjet Unie werd en tegenwoordig in China wordt de bevolking ook overspoeld met specifieke propaganda, mensen hebben daar inmiddels een neus voor ontwikkeld. De propaganda gaat door maar de meeste mensen weten drommels goed wanneer het daarmee te maken heeft. We staan slechts aan het begin van de technische ontwikkelingen van het internet (oa deep fake propaganda) en moeten er nog mee leren leven. Mensen beschermen tegen dit soort werkt vnl averechts en zal behalve dat mensen er niet mee leren om te gaan, waardoor als het toch doorsijpelt mensen er juist bevattelijker voor zijn. Een andere groep zal het beschermen weer zien als censuur.

Want die spreken altijd de exacte waarheid?

Nee, maar dat is ook niet de strekking van Leejjon z'n reactie.

Amen! Aan teksten die wellicht niet de waarheid bevatten zijn we inmiddels ook gewend. Sinds Hollywood zijn we ook op de hoogte dat bewegende beeldjes niet altijd de waarheid vertellen.

Misschien eerst even een wencampagne starten even een paar deepfakes maken die zeker viral gaan zonder al te veel schade te berokkenen aan betrokkenen zodat mensen er kort in tuinen en er aan gewend raken. Het is even wennen.
In niet verkiezingstijd politici op de korrel nemen van alle partijen oid. Ze laten zich dan toch wat minder zien.

[Reactie gewijzigd door exorbitex op 22 oktober 2019 13:00]

Het aantal mensen dat gelooft dat vacinaties autisme veroorzaken of het aantal mensen dat denkt dat de aarde plat is geeft wel aan dat niet iedereen in staat is de correcte informatie te scheiden van nep.

Het gevaar van de filter bubbles van tegenwoordig is dat sommige mensen niet 1 of 2 netfilmpjes te zien zullen krijgen, maar een heleboel omdat ze doelbewust getarget zijn omdat ze in een bepaalde interesante groep zitten.

Bij het Cambridge analytica verhaal was duidelijk te zien dat er heel specifiek en heel intensief in kleine gebieden gewerkt werd om een specifieke bevolkingsgroep van mening te laten veranderen.

Denk dat ze deepfake detectors moeten in gaan zetten: https://www.youtube.com/watch?v=RoGHVI-w9bE

En dan bij een bepaalde % van zekerheid erbij vermelden dat het een deepfake is.

Eh, daar zal een bepaald percentage doorheen glippen. En soms worden niet fake fotos compleet uit de context bij een stemming makend verhaal gezet. net zo fake eigenlijk.

En technisch:als je automatisch aangeeft dat het een deepfake is, dan kun je de engine daarop trainen. dus engige whatsapp zegt: deepfake, dan probeer je een andere parameter.

Er is wel een grens aan wanneer deepfake een inbreuk maakt, naar mijn mening.

Zo is er op Youtube een filmpje van een (goede) imitator die onschuldig, bekende sterren imiteert. (Quotes uit films) Dat beeld van hem wordt naast een kopie gezet waarop deepfake gezichten wordt getoont van de mensen die hij imiteert. Het is overduidelijk dat het gaat om deepfake, het is onschuldig en het heeft een goede entertainment gehalte. Tot zover.

Maar deepfake porno, deepfake politiek, of mensen dingen laten zeggen of doen waar de persoon niet achter staat is bij uitstek fout. En dat weegt zwaarder dan onschuldige entertainment.

Dus in zijn totaliteit zou ik deepfake verbannen willen zien. Hierom, maar ook om het feit dat het omgedraaid kan worden.

Trump kan bijvoorbeeld nu iets zeggen, maar zodra het tegen hem wordt gebruikt kan hij aangeven dat het om deepfake gaat terwijl het niet zo is. Er kan dus van beide kanten gemanipuleerd worden. Dus, liever uitbannen dan voorkomen we een hoop gedoe, gezeik en gezeur... Maar behalve social media controle, hoe houdt je het tegen? Dat lijkt me onmogelijk...

[Reactie gewijzigd door Panta op 22 oktober 2019 13:53]

Bijzonder dat twitter vraagt om input voor deepfakes. Ze kunnen zich beter bezig houden met racisme en andere vuilspuiterij waar twitter mee volstaat.

Ja, maar dat is "echt"... Niet positief of wat dan ook, maar in ieder geval niet door computers gegenereerd.

Het is allebei een probleem.
Met deepfakes kunnen gewone mensen zoals jij en ik(je hebt er oprecht een goedkope pc nodig en klaar) verkiezingen manipulieren.
Zelfs als men er na een aantal weken achter komt dat het fake is, is de schade al gedaan.

Zolang er maar geen AI gestuurd censuur komt.
We weten maar al te goed hoe goed Google is met AI censuur op Youtube implementeren...(sarcasme)
Dus als Google, met haar vele kennis(en onkennis) van algroritmes en AI het niet goed kan dan zou ik niet op Twitter wedden dat zij het wel kunnen.
Er is niks ergers dan een normaal plaatje te posten die dan geflaged wordt als deepfake, terwijl het gewoon een leuke kerstfoto is van de hele familie.

Er staat nogal eens wat op twitter ja, maar vooral "en andere vuilspuiterij" is natuurlijk lekker breed.
Ik snap wel dat Twitter niet zomaar (nare) meningen gaat wegstrepen zonder hele concrete bezwaren. Het hele bestaansrecht van dat platform komt voort uit het ventileren van je mening. Kaders plaatsen waarin je wat mag roepen moet je per definitie mee uitkijken.

[Reactie gewijzigd door Koffiebarbaar op 22 oktober 2019 13:18]

Ik ben best aardig actief op twitter en volg veel journalisten en politieke discussies. Er is enorm veel racisme, seksisme en intimatie /dreigementen en ik lees dagelijks doodsbedreigingen, lijkt de normaalste zaak van de wereld. Meldingen blijven weken openstaat in welke deze mensen lekker door kunnen gaan. (als voorbeeld de tijdslijn van journalist chrisklomp gisteren), of lees voor eens de gemiddelde reactie onder een bericht van Erik Mouthaan of Gerrit Hiemstra (die er wel altijd met veel humor reageert). Vraag anders eens of je de DM inbox van een vrouw mag inkijken. Meningen zijn prima maar doodsbedreigingen vallen mijlenver buiten dit kader.

Vervelende is dat hierdoor interessante mensen zich gaan terugtrekken. Troy Hunt bv was enorm actief op twitter (heel interessant) maar heeft twitter op een laag pitje gezet omdat hij het zat was.

Actieve input vragen over deepfakes lijkt me meer marketing aangezien ze voor de rest nauwelijks ingrijpen.

[Reactie gewijzigd door m3gA op 22 oktober 2019 14:11]

Twitter is inderdaad een extreem platform. Dat slaat naar beide kanten uit, zowel extreem rechts als extreem links. Het zit vol compleet hysterische mensen die samenklieken. Boos en activistisch zijn is de standaard. Extreme conclusies trekken, mensen afbranden, samenspannen tegen mensen, er lijkt haast geen redelijk, kalm of rationeel mens aanwezig.

Blijf ver weg van Twitter. Je voelt je letterlijk slechter na een Twitter sessie. Ik heb het meerdere keren geprobeerd. Gewoon uninstallen die hap.

Een goeie deepfake is niet te onderscheiden van een echte video.
Dat hoeft niet een compleet onzin verhaal te zijn, het kan ook een gemanipuleerde gezichtsuitdrukking zijn in een video die verder 100% echt is.. Bijvoorbeeld een subtiele grijns op een ongepast moment.

Ik heb geen oplossing voor het probleem.. Maar doen alsof we het wel even gaan oplossen in de komende jaren lijkt me naief.

Het is een filosofisch en praktisch probleem.

Content verwijderen heeft op Internet weinig zin, tenzij de massa meewerkt (waar draagvlak voor nodig is). In dit geval is dat niet het geval.

De oplossing waar ik aan zou denken is gewoonweg laten staan, maar een kruisje er bij met de tekst fake plus link naar bewijs. Het werkt harvesters van fake BS in de hand, dus voor onrechtmatige zaken (zoals bijvoorbeeld smaad, laster, YouTube pest filmpjes, en porno) zou ik wel geneigd zijn tot verwijderen overgaan. Maar dat betekent nog niet dat dat ook goed gaat werken.

21st century problems...