Op dinsdag 23 april 2013 stuurde het Twitter-account van Associated Press een bericht naar zijn twee miljoen volgers. Het vertaalde bericht luidde: "Breaking: twee explosies in het Witte Huis en Barack Obama is gewond." Volgens The Washington Post waren de gevolgen op de beurs direct merkbaar en kelderde de Dow Jones met 150 punten. AP bracht snel een update naar buiten dat het bericht het gevolg was van een hack die werd opgeëist door Syrische hackers. Het incident illustreert hoe snel nieuws zich verspreidt en hoe snel het gevolgen kan hebben. In dit geval ging het om een korte tekst van een betrouwbare bron, maar in de toekomst worden misleiding en verspreiding van desinformatie wellicht een stuk eenvoudiger door de inzet van kunstmatige intelligentie.
De verfijning van misleiding is altijd hand in hand gegaan met de voortgang van de techniek. Dat is ook vandaag nog zo. In de afgelopen jaren is er veel gebeurd op het gebied van techniek, maar er zijn een paar trends aan te wijzen die er met kop en schouders boven uitsteken. Een daarvan is de opkomst van kunstmatige intelligentie dankzij de ontsluiting van grote hoeveelheden data in samenhang met de toename van processorkracht voor het op allerlei manieren verwerken van die gegevens.
Er is een groot aantal toepassingen voor kunstmatige intelligentie te noemen en hetzelfde geldt voor daaraan ondergeschikte techniek, zoals machinelearning. Denk aan beeldherkenning, zelfrijdende auto's, tekstanalyse, persoonlijke assistenten en het uitvoeren van taken waarvoor een laag scholingsniveau is vereist. Dat zijn allemaal nuttige taken, mits ze voor het juiste doel worden uitgevoerd. In dit stuk gaan we ons juist bezighouden met het gebruik van kunstmatige intelligentie voor minder ethische doelen, zoals opzettelijke misleiding en desinformatie. Daarbij zijn we vooral benieuwd naar de beïnvloeding van twee zintuigen: onze ogen en oren.
Het onderzoek naar kunstmatige intelligentie, dat op een vrij open manier verloopt, biedt regelmatig inzichten in de voortschrijding van de techniek. Zo hebben we het genereren van afbeeldingen voorbij zien komen, of het aanpassen van videobeelden. Ook het voor de gek houden van ai, bijvoorbeeld met speciaal gegenereerde beelden, is een actief onderzoeksterrein. In dit artikel nemen we deze ontwikkelingen nader onder de loep en onderzoeken we wat de gevolgen ervan zijn voor ons traditionele begrip van realiteit en waarheid. We bekijken bovendien of er tegenmaatregelen te nemen zijn.
Beeld genereren en aanpassen
'Artificial intelligence' is momenteel een hypewoord, net als bijvoorbeeld 'blockchain'. Het wordt dan ook te pas en te onpas gebruikt, of het nu daadwerkelijk iets betekent of niet. Toch is het ook een onderwerp van serieus onderzoek, dat zeer in beweging is en waar grote techbedrijven veel geld in stoppen. Er verschijnen dan ook vaak nieuwe papers op allerlei deelgebieden. Wij zijn vooral benieuwd naar de ontwikkelingen op het gebied van het genereren van beeld en geluid met behulp van machinelearning.
We hadden het al even over grote bedrijven en het is dan ook niet verwonderlijk dat een deel van het onderzoek van Nvidia en Microsoft afkomstig is. Zo toonde het gpu-bedrijf eind vorig jaar onderzoek waarbij het gezichten van niet-bestaande beroemdheden genereerde aan de hand van een dataset aan portretten van bekende personen. Dit deden de onderzoekers met een nieuwe trainingsmethode voor een gan of generative adversarial network, waarbij een zogenaamde generator beelden maakt en een discriminator deze moet onderscheiden van daadwerkelijke afbeeldingen. Het idee is dat de output daardoor steeds beter wordt. De nieuwe methode van de onderzoekers, waarbij ze beginnen met afbeeldingen van lage kwaliteit en die opschalen naar hogere resoluties, stelde hen in staat om beelden van hoge kwaliteit te genereren.
Het zijn dus geen systemen die uit het niets beeld kunnen creëren; ze moeten eerst op basis van bestaande datasets leren hoe een gezicht eruitziet, of bijvoorbeeld een vogel. Deze beesten waren onder meer het onderwerp van Microsoft-onderzoek. Het bedrijf onderzocht of het mogelijk is om neurale netwerken, opnieuw in de opstelling van een gan, beeld te laten genereren aan de hand van tekst. Zo moest de tekst 'een vogel met rode vleugels en een zwarte buik' een afbeelding van een vogel met het corresponderende uiterlijk teweegbrengen. Het onderzoek wees uit dat dit aardig lukte, met enkele uitzonderingen waarbij vreemde 'vogels' het resultaat waren. Microsoft voerde het onderzoek niet alleen met vogels uit, maar ook met andere beelden, zoals verkeersborden. Het bedrijf ziet toekomst in verschillende toepassingen, bijvoorbeeld animatiefilms.
Dat er een toepassing voor bewegend beeld is, lijkt voor de hand te liggen. Dat dachten ook onderzoekers van twee Amerikaanse universiteiten. Ze combineerden een gan met een neuraal netwerk in de vorm van een Variational Auto-encoder. Het achterliggende idee was weer om op basis van tekst beeld te genereren. De wetenschappers waren in staat om op basis van beknopte beschrijvingen korte video's te produceren, die online waren te zien in de vorm van zeer kleine gifjes. Bijvoorbeeld 'kitesurfing on the grass' en 'kitesurfing on the sea', maar ook 'sailing on the sea' en 'running on the sea'. Het zal duidelijk zijn dat er sportbeelden zijn gebruikt in dit onderzoek.
Vergrote versies van de gifjes, in de volgorde van de voorbeelden in de tekst
Bij een bespreking van het manipuleren van beeld, is het lastig om niet ook aandacht te besteden aan het fenomeen deepfakes, dat begin dit jaar veel discussie losmaakte. Het manifesteerde zich in de vorm van pornovideo's, waarin het gezicht van veelal vrouwelijke actrices was vervangen door dat van andere bekende vrouwen. Dit gebeurde met een tool genaamd FakeApp, die gebruikmaakt van machinelearning voor het herkennen van gezichten en het vervangen ervan.
De aanleiding voor de discussie lag in de mogelijke gevolgen van de software en de eenvoud van het verkrijgen en gebruiken ervan. De tool werd in eerste instantie ontwikkeld en verspreid op Reddit, maar moest na sluiting van de nsfw-variant van de subreddit uitwijken naar andere platforms. Ook andere bedrijven, zoals PornHub en Twitter, ondernamen actie tegen de verspreiding van deze deepfakes. Hiermee werd het verschijnsel echter niet volledig uitgebannen, wat geen verrassing zal zijn. FakeApp zelf heeft inmiddels een eigen site. Om de tool te gebruiken moet de gebruiker beschikken over een verzameling foto's van het gezicht van de persoon die hij in de video wil verwerken. Voor een zo goed mogelijk resultaat moeten die foto's uit verschillende hoeken zijn genomen, aldus de maker van de software.
Er zijn verschillende voorbeelden te vinden van video's die met deze software zijn bewerkt. Een dankbaar onderwerp zijn Amerikaanse presidenten, zo blijkt uit de voorbeelden. In de video hieronder is het gezicht van de huidige Amerikaanse president Donald Trump over dat van acteur Alec Baldwin heen gelegd. Hierbij gaat het echter niet zozeer om het genereren van beeld, maar om het toepassen van een soort masker over bestaand beeld.
Niet alleen beeld, maar ook geluid
Er is ook onderzoek te vinden dat zich bezighoudt met de relatie tussen beeld en geluid. Zo demonstreerden onderzoekers van de universiteit van Oxford vorig jaar een methode om een video van een pratend gezicht te genereren aan de hand van een audioclip en afbeeldingen van het gezicht dat de woorden moet uitspreken.
Zij waren niet de enigen die zich bezighielden met het genereren van mondbewegingen. Dat deden ook andere onderzoekers, die hun resultaten halverwege vorig jaar presenteerden. Ook hier weer een Amerikaanse president, in dit geval Barack Obama. Andere wetenschappers, achter het zogenaamde Face2Face-project, toonden dan weer aan dat het mogelijk is om beeld in real time aan te passen aan de gezichtsbewegingen van een andere persoon door deze op te nemen met een gewone webcam.
Geluid
Op het gebied van audio vindt eveneens veel onderzoek plaats, bijvoorbeeld door wetenschappers die probeerden de eerdergenoemde gan's in te zetten om geluid te produceren in plaats van beeld. Dat lukte aardig, zo blijkt uit hun online gepubliceerde resultaten. Dat is allemaal erg leuk, maar interessanter wordt het als je bijvoorbeeld een bestaande stem kunt nadoen, het liefst zo realistisch mogelijk. Op dat gebied wordt ook vooruitgang geboekt, bijvoorbeeld door onderzoekers van de Amerikaanse Carnegie Mellon-universiteit. Die richtten zich op het daadwerkelijk nadoen van stemmen, wat betekent dat ze de spreekstijl van een bepaalde persoon zo goed mogelijk willen imiteren om het te doen voorkomen dat die persoon specifieke woorden heeft uitgesproken. Ook hiervan staan resultaten online.
Dat het mogelijk is om een stem te 'klonen' op basis van een klein aantal voorbeeldopnames, toonden onderzoekers van de Chinese techgigant Baidu aan. Ze claimen dat ze een stem kunnen imiteren op basis van audio met een gemiddelde duur van 3,7 seconden. De beste resultaten behalen ze echter aan de hand van honderd korte audioclips. Ze presenteren niet alleen resultaten die het klonen demonstreren, maar ook voorbeelden van het veranderen van het accent en het geslacht van de spreker, bijvoorbeeld van Amerikaans naar Brits en van mannelijk naar vrouwelijk.
Geluidsbestanden afkomstig van Baidu, voorbeelden op volgorde: origineel, kloon met 1 sample en kloon met 100 samples
Er bestaat ook een bedrijf dat een dienst aanbiedt om je eigen stem na te doen, of die van een ander als daar 'toestemming voor is verkregen'. Het bedrijf, genaamd Lyrebird, claimt dat het minimaal een audioclip van een minuut nodig heeft om een stem na te kunnen doen. Aan de hand van meer materiaal zou het betere resultaten kunnen behalen. Ook dit bedrijf toont voorbeelden aan de hand van de presidenten Obama en Trump, al klinken hun huidige demo's nog enigszins blikkerig. Een ander bedrijf is Adobe, dat eind 2016 een project onder de naam VoCo presenteerde. In een demonstratie toonde het dat het mogelijk was om aan de hand van een clip van twintig minuten een stem nieuwe woorden te laten uitspreken.
Waarschuwingen en tegenmaatregelen
Alle hiervoor besproken ontwikkelingen geven een indruk van de richting die het ai-onderzoek op dit vlak op gaat. Als wij een idee hebben van de trends, geldt dat zeker voor organisaties die zich veel met kunstmatige intelligentie bezighouden. Dat blijkt ook uit een rapport dat eerder dit jaar is verschenen. Het draagt de naam The Malicious Use of Artificial Intelligence: Forecasting, Prevention and Mitigation. Het is onder meer afkomstig van de universiteiten van Oxford en Cambridge, samen met organisaties als OpenAI, Future of Humanity Institute en de Amerikaanse Electronic Frontier Foundation. In het rapport waarschuwen ze dat de ontwikkelingen op ai-gebied gevolgen kunnen hebben voor drie 'beveiligingsdomeinen': digitale, fysieke en politieke veiligheid.
In dit stuk richten we ons op dat laatste onderwerp, omdat het inhoudelijk het meest aansluit. In zijn algemeenheid stellen de auteurs van het rapport dat ai te gebruiken is om bestaande dreigingen uit te breiden, nieuwe dreigingen te introduceren en dreigingen te laten afwijken van hun typische verschijningsvormen. Ze identificeren delen van het onderzoek dat we hiervoor al de revue hebben laten passeren en introduceren een aantal mogelijke scenario's. Op het gebied van politieke veiligheid noemen ze bijvoorbeeld berichten van nepnieuws met realistische, maar gegenereerde audio en video. Daarnaast noemen ze geautomatiseerde desinformatie- en beïnvloedingscampagnes.
Verderop in het rapport gaan ze dieper op de problematiek in. "Ai-systemen maken het eenvoudiger om nepvideo's van hoge kwaliteit te produceren, bijvoorbeeld van een politicus die verschrikkelijke dingen zegt. Momenteel is het bestaan van in hoge kwaliteit opgenomen video of audiobewijsmateriaal meestal voldoende om vast te stellen wat heeft plaatsgevonden in een bepaald geschil; dit is gebruikt om oorlogsmisdaden in de Syrische burgeroorlog te documenteren. Op dit moment heeft opname- en authenticatietechnologie nog de bovenhand ten opzichte van vervalsingstechnieken. Een video van een gepleegd misdrijf kan als zeer overtuigend bewijs dienen, zelfs als hij wordt verstrekt door een onbetrouwbare bron."
Volgens de organisaties achter het rapport hebben de ontwikkelingen invloed op het idee van 'zien is geloven'. Bovendien zou het makkelijker worden voor mensen om bijvoorbeeld een aanklacht of beschuldiging af te wijzen door te refereren aan de eenvoud waarmee bewijs kan worden vervalst. Daarnaast kunnen dit soort technieken het vertrouwen wegnemen in informatie die online verschijnt, luidt de waarschuwing. Dit werkt dan weer in het voordeel van politieke groepen die gedijen bij dit gebrek aan vertrouwen. Ten slotte zouden geautomatiseerde audioboodschappen op grote schaal gericht kunnen worden aan mensen die er het gevoeligst voor zijn.
Voor deze specifieke scenario's noemt het rapport verschillende potentiële tegenmaatregelen, waaronder technische middelen. Bijvoorbeeld bewijs dat een video live was uitgezonden in plaats van dat deze kunstmatig is gegenereerd, of een soort certificering van afbeeldingen en video. De rol die online platforms spelen, komt ook naar voren. Zo verwijst het rapport naar het voorbeeld van deepfakes, waarbij platforms als Reddit, Twitter en andere internetbedrijven maatregelen hebben genomen tegen de verspreiding van dit soort beeldmateriaal.
Het rapport over het 'kwaadaardige gebruik van ai' is niet het enige voorbeeld van organisaties die de risico's van huidige ontwikkelingen in kaart proberen te brengen. Zo publiceerde bijvoorbeeld ook het Belfer Center, een Amerikaanse onderzoeksinstelling, vorig jaar een rapport over 'kunstmatige intelligentie en de gevolgen voor nationale veiligheid'. Ook daarin wordt de mogelijkheid van het genereren van vervalsingen met behulp van ai genoemd. Een van de aanbevelingen is dat de NSA en NIST methodes ontwikkelen om dit soort vervalsingen tegen te gaan.
Om de inhoud van het hele rapport hier te bespreken, zou te veel overlap opleveren, daarom citeren we alleen nog deze zin uit de zojuist genoemde aanbeveling: "Net als dat er bepaalde (weliswaar onvolmaakte) technische oplossingen zijn om het vervalsen van geld met software als Photoshop tegen te gaan, zijn er wellicht ook technische oplossingen die de grootste gevolgen van ai-ondersteunde vervalsingen kunnen tegengaan. Zo zouden bijvoorbeeld camera's zodanig kunnen worden ontworpen dat ze versleutelde videobestanden hashen in een blockchain." Verderop stellen de auteurs dat het hierbij om een voorbeeld gaat en dat er in de toekomst misschien 'significant betere alternatieven' worden gevonden.
Wat betekent dit voor de toekomst?
Tweakers sprak met assistant professor artificial intelligence Martijn van Otterlo van de Universiteit van Tilburg, die tot voor kort werkte bij de Vrije Universiteit in Amsterdam. Hij was bereid om enkele vragen te beantwoorden over de ontwikkelingen op ai-gebied en wat deze betekenen voor de toekomst.
Op de vraag of er sprake is van een groeiend probleem met de aanpasbaarheid van geluid en beeld, antwoordt hij: "Dat is evident. Alles wat je zou kunnen bedenken, gaat gebeuren. En sneller dan je denkt." Hij schetst de achtergrond waartegen de huidige ontwikkelingen zich afspelen. "Aanpassing van beeld en geluid is een vrij recente trend, doordat er inmiddels hardware is om ook grotere bestanden te kunnen verwerken, zoals video. Daarvoor is nog wel veel rekenkracht nodig, maar de ontwikkelingen op dit gebied gaan snel." Van Otterlo acht het onvermijdelijk dat tools, die eenvoudig via GitHub en andere sites beschikbaar zijn, zullen worden ingezet voor allerlei doeleinden die we eigenlijk niet willen. De trend dat de tools openbaar worden gemaakt, ziet hij in de toekomst niet afnemen. In tegendeel, bij veel onderzoek is het voor financiering steeds meer een eis dat de resultaten openbaar worden.
De onderzoeker illustreert de snelheid waarmee ontwikkelingen elkaar opvolgen met een voorbeeld. "In de afgelopen tweeënhalf jaar doceerde ik in Amsterdam het vak Ethics of Algorithms. In het eerste jaar hadden we het over dingen die we als creepy ervaren, maar die niet per se illegaal zijn, dingen waarvoor nieuwe sociale normen nodig zijn. Zo had ik het met de studenten over een pop die stemmen van iemand anders kon weergeven, bijvoorbeeld van een overleden grootouder. Dat is ook wel heel creepy. Ik wilde toen iets verdergaan en gaf het voorbeeld dat je beelden kon aanpassen, bijvoorbeeld om een foto van het meisje bij de bakker te plakken op spannende beelden." Daarmee refereert Van Otterlo aan het eerdergenoemde verschijnsel van deepfakes. "Een jaar later was het al uitgekomen, toen zag ik het in het nieuws."
Hij is van mening dat deze ontwikkeling nog verder door te trekken is, bijvoorbeeld doordat klasgenoten dit onderling gaan doen. Daarnaast wijst hij op andere gebieden waarop de techniek misschien zal worden ingezet, zoals virtuele kinderporno en 'de nieuwe koude oorlog met Rusland'. Ook het in real time aanpassen van beeld rekent hij tot de toekomstige mogelijkheden. "We zullen zien, net als bij andere digitale dossiers, zoals Facebook en Cambridge Analytica, dat we tegen nieuwe ethische dilemma's aanlopen door de supersnelle ontwikkelingen van slimme technologie, en we zullen ook nieuwe ethische normen moeten gaan stellen, maar dat is niet eenvoudig, aldus Van Otterlo.
Technische tegenmaatregelen
De vraag die zich opwerpt bij dit onderwerp, is of het niet gewoon mogelijk is om vuur met vuur te bestrijden. Met andere woorden, wie is er beter in het herkennen van met ai aangepast beeld dan ai zelf? Daarop zegt Van Otterlo: "Het is al moeilijk om bots op sociale media te detecteren, en daarbij gaat het dan ook nog om taal. Het detecteren van aangepaste video's wordt daarom een enorme technische uitdaging. Een andere mogelijkheid is dat mensen misschien geheel opnieuw opgevoed moeten worden met betrekking tot de manier waarop ze met beeld en geluid omgaan."
Op het gebied van technische maatregelen verwijst de onderzoeker naar initiatieven die bedrijven als Facebook en Twitter nemen in de bestrijding van desinformatie en terroristische inhoud. "Doordat er nog geen specifieke wetten bestaan, gaan dat soort bedrijven technische maatregelen bedenken", stelt hij. "Het wordt op deze manier wel allemaal weggegeven." Daarmee doelt hij erop dat de bestrijding nu in handen is van de techbedrijven. Daarnaast werken de detectiesystemen niet feilloos, waardoor ook legitiem materiaal wordt tegengehouden. Van Otterlo noemt het voorbeeld van het blokkeren van de iconische foto van het Vietnamese 'napalmmeisje'. Zo zou er een soort wapenwedloop ontstaan om steeds betere systemen te ontwikkelen.
Het ontwikkelen van technische maatregelen is dus lastig, maar hoe zit het dan met beleidsmatige opties? Volgens Van Otterlo zitten deze in de hoek van ethiek. "Er is de laatste tijd steeds meer aandacht voor ethiek", stelt hij. Zo verwijst hij bijvoorbeeld naar de zogenaamde Asilomar-beginselen, die de ontwikkeling van kunstmatige intelligentie in de juiste banen proberen te leiden. Ook zijn er volgens de onderzoeker tal van initiatieven door techbedrijven en universiteiten op het gebied van responsible, explainable, fair en transparent ai. Daarnaast zouden er juridische mogelijkheden zijn. "In de jaren zestig en zeventig had je bijvoorbeeld de ontwikkeling van computer generated art, waar al juridische discussies over zijn ontstaan. Bijvoorbeeld hoe het zit met auteursrecht. Misschien is daarbinnen ook nu weer een oplossing te vinden."
Google-datacenter met tensor processing units. Foto van Google
Andere overwegingen
Van Otterlo noemt nog andere kanttekeningen die van belang zijn als het gaat om de manipulatie van beeld en geluid. Hij stelt dat je bijvoorbeeld ook moet bedenken dat het verschijnsel van bias veelvuldig terugkomt in kunstmatige intelligentie. Als het eenmaal mogelijk wordt om op grote schaal video's met behulp van ai te genereren - volgens de onderzoeker een van de 'ontzettend toffe dingen' van de techniek - gaat dit probleem op een veel groter niveau spelen. Daarnaast nemen de mogelijkheden voor social engineering toe. "Stel je voor dat je de stem van de baas van een bedrijf kunt imiteren, waarmee je mensen gaat opbellen." Tot slot haalt de onderzoeker het verschijnsel van de zogenaamde uncanny valley aan. Dat heeft bijvoorbeeld te maken met robots die menselijk overkomen, maar waarbij ons toch een gevoel bekruipt dat er 'iets niet klopt'. "Dit gevoel hebben we nu nog als we bijvoorbeeld een aangepaste video van Obama bekijken, maar over een paar jaar al niet meer. We moeten erover nadenken wat we moeten doen als dit gebeurt."
Juridische bescherming en slot
Niels van Dijk is hoogleraar rechtsfilosofie aan de Vrije Universiteit Brussel en postdoctoraal onderzoeker binnen de onderzoeksgroep voor recht, wetenschap, technologie en maatschappij. Tegen Tweakers zegt hij dat de eerste usual suspects wat juridische mogelijkheden betreft, gezocht moeten worden op het gebied van gegevensbescherming. Het gegevensbeschermingsrecht kent namelijk extra bescherming toe aan gevoelige data, waaronder ook biometrische gegevens kunnen vallen, zoals afbeeldingen van gezichten.
"Je zou kunnen denken aan het portretrecht van degene die wordt afgebeeld. Die mogelijkheid wordt inmiddels voorzichtig geëxploreerd in deze context. We hebben het dan bijvoorbeeld over het gebruik van iemands beeltenis om een bepaalde boodschap te verkopen." In Nederland moet iemand die zich op het portretrecht beroept, een redelijk belang hebben, dat kan liggen op het gebied van privacy of een naamsbekendheid die geld kan opleveren.
Hoe alle vormen van het verschijnsel van eenvoudig aan te passen beeld moeten worden aangepakt, is echter niet duidelijk. Van Dijk stelt: "In feite gaat het om een soort misleiding. Je moet je dan afvragen wat voor misleiding er precies plaatsvindt. Ik denk dat openlegging van dit soort vragen interessanter is dan dat er echt heldere antwoorden zijn." Zo speelt de vraag of er sprake is van een botsing tussen het recht op privacy en bijvoorbeeld de vrijheid van meningsuiting, maar ook de vraag of er sprake is van misleiding.
Specifiek sprekend over de situatie dat iemands beeld wordt gebruikt in een video, waarbij die persoon bijvoorbeeld dingen in de mond worden gelegd, zegt hij: "We bevinden ons dan op een kruispunt tussen nepnieuws en post-truth politics." Daarmee doelt hij op een cultuur binnen de politiek waarbij het aanspreken van emoties belangrijker is dan een beroep op feiten.
Gevraagd naar de invloed van de ontwikkelingen op ai-gebied op ons waarheidsbegrip zegt de onderzoeker dat dit begrip in de afgelopen vijftig jaar op bepaalde vlakken al veel aan waarde heeft ingeboet. "We komen in een situatie waarbij gezond scepticisme wordt gevangen in een soort sweeping wantrouwen tegenover instituties." Op de vraag hoe we ermee om moeten gaan als een gemanipuleerde video niet meer van echt te onderscheiden is, antwoordt hij: "Als je het verschil niet meer kunt zien, komt het in feite neer op vertrouwen. Dus in hoeverre vertrouw je de bron van de video. Maar die geloofwaardige bron moet ook middelen hebben om de echtheid te verifiëren, dus wat als dat niet meer mogelijk is?" Daarmee steekt het probleem van een soort chain of trust de kop op, waarbij een betrouwbare bron van groot belang is.
Tot slot
Door het ai-onderzoek op het gebied van beeld en geluid te bekijken, hebben we kunnen zien dat er op dit gebied al veel mogelijk is, maar dat sommige delen nog in de kinderschoenen staan. De verwachting is wel dat de ontwikkelingen steeds sneller zullen gaan, waardoor in de nabije toekomst veel mogelijk wordt. Dat geldt voor het hele veld van kunstmatige intelligentie. Alphabet-ceo Sergey Brin noemde in zijn recentste Founder's Letter de 'nieuwe lente van kunstmatige intelligentie' niet voor niets de 'belangrijkste ontwikkeling in zijn leven'.
De ontwikkelingen kunnen spannende of leuke dingen zijn, zoals het naar eigen smaak aanpassen of zelfs genereren van een film. Er vallen echter ook minder wenselijke gevolgen onder, zoals niet van echt te onderscheiden videobeelden die bedoeld zijn om te misleiden. Verschillende organisaties hebben daarom waarschuwingen gepubliceerd en opgeroepen om alvast aan oplossingen te werken. De komende jaren zullen uitwijzen welke kant deze maatregelen opgaan.
De verfijning van misleiding is altijd hand in hand gegaan met de voortgang van de techniek.
Het helpt natuurlijk ook niet mee dat veel media, zoals Tweakers.net en Hardware.info, hun bronnen niet of nauwelijks controleren en berichten zo snel mogelijk overnemen om zoveel mogelijk clicks te krijgen. Het verdienmodel van de meeste media is gebaseerd op reclame waarbij per click/view betaald wordt en dat systeem is erg vatbaar voor dit soort misbruik.
Het klopt natuurlijk wat je zegt, maar dat verdienmodel wordt in de hand gewerkt door ons: de gebruikers. We gaan er nog steeds van uit dat het internet een plek is voor gratis informatie. Dat is al heel lang niet meer zo. De zin "Als iets gratis is, ben jij het product." is bijna een internet-spreekwoord geworden.
Hoeveel mensen zijn nou daadwerkelijk bereid om te betalen voor de informatie die ze zo graag willen hebben? Ik maak me er zelf ook schuldig aan, want ook ik ben geen Tweakers abonnee.
Ik betaal voor het NRC Handelsblad, maar ik tel bij wijze van spreken de dagen af dat ik niet meer vastzit aan die gedrocht van een krant.
De neutrale onderzoeksjournalistiek is bijna dood. Journalisten zijn doorgeefluiken en durven geen kritische stukken te plaatsen die tegen het dominante gedachtegoed ingaan.
Heb ik vanuit het NRC goede informatie gekregen over de inlijving van Crimea? Nee, ik moest via andere bronnen vernemen dat meer dan 90% van de inwoners bij Rusland wilden horen.
Heb ik vanuit het NRC goede informatie gekregen over de laatste zogenaamde gifgasaanvallen in Syrië die op zijn minst zeer twijfelachtig zijn en dat de bron daar in de regio de White Helmets zijn en dat die partijdig zijn? Nee.
Heb ik vanuit het NRC vernomen dat het Westen een staatsgreep heeft uitgevoerd in de Oekraïne, nee.
Ik wil geen partij aanwijzen met bovenstaande feiten, maar ik verwacht wel dat alle feiten in een behoorlijke krant worden gepresenteerd en dat de lezer slim genoeg wordt geacht om eigen conclusies te trekken. Feiten worden doelbewust achter gehouden, kranten zijn partijdig. Feiten die tegen het belang van het Westen ingaan halen minder snel het nieuws en worden minder vaak gepresenteerd dan feiten die in het belang van het Westen zijn.
Als je voor nieuws betaalt wil niet per se zeggen dat het objectief, onpartijdig en nauwkeurig is.
[Reactie gewijzigd door danilson op 23 juli 2024 17:40]
Het betalen voor nieuws zou moeten betekenen dat je geen reclame krijgt, niet dat het nieuws ongekleurd is. Wat ik je alleen wel kan aanraden ivm je problemen met NRC is het volgen van staatsnieuws en andere media van verschillende landen.
Je hebt uit je post blijkbaar je twijfels bij het Oekraïne gebeuren, ik raad je Russia Today aan, Internationaal (Engelstalig) nieuws vanuit een meer Russisch perspectief.
Ik denk dat het onafhankelijk van je mening over bepaalde topics het altijd goed is je nieuws uit meerdere (dus nu niet alleen RT gaan volgen) bronnen te halen, dan is het nieuws wat je ontvangt altijd meer genuanceerd. Dit kan iedereen helpen uit zijn 'internet bubbel' te komen.
Het blijft een kip-ei verhaal. Het klopt natuurlijk dat betalen voor informatie niet wilt zeggen dat het objectief/onpartijdig is. Goedkope journalistiek heeft wel eerder de neiging om foutieve, slecht onderzochte ondewerpen sneller de wereld in te helpen dan media waar wat meer geld gespendeerd kan worden aan onderzoek. Of dat gebeurd is een tweede. Maar zolang wij het gratis verwachten zal er steeds méér goedkope journalistiek ontstaan. Kijk maar naar Twitter en Facebook. Volgens de menigte zijn dat opeens óók nieuwssites. En net zo gratis als Nu.nl, dus ook net zo waar.
Edit: typo
[Reactie gewijzigd door Sjnieboon op 23 juli 2024 17:40]
Ik zou ook graag Tweakers elke maand een euro willen doneren voor het nieuws dat ze schrijven, als alle tweakers / bezoekers dat doen wordt het verhaal misschien ook wel anders.
De reden waarom ik ook de tweakers supporter abbo heb
Dat veel sites op internet zich primair bezig houden met zoveel mogelijk clicks/views verzamelen om zoveel mogelijk banners voor te schotelen is zeker waar. Tweakers hoort daar echter niet bij. Als het ons echt om clicks/views te doen was lag de drempel wel een stuk lager en - ook niet onbelangrijk - zou je veel meer banners op de site zien. Het soort sites dat jij omschrijft heeft vaak een veelvoud aan banners op elke pagina staan terwijl wij genoeg pagina's zonder banners serveren. Gemiddeld zie je op Tweakers bij 1 op de 3 pagina's een banner.
Waar mogelijk proberen we bronnen te controleren en bij twijfel publiceren we vaak niet. Gedurende de dag wordt veel 'nieuws' dan ook afgeschoten op de redactie omdat we het niet betrouwbaar genoeg achten. Gaat het om Nederlands nieuws, dan zullen we vaak een poging doen om iemand aan de lijn te krijgen om zo het nieuwsbericht completer te kunnen maken. Voor nieuws uit het buitenland (vooral VS en Azië) is dat veel moeilijker. Als je al antwoord krijgt duurt dat vaak zo lang dat het nieuws al verouderd is en daarmee niet meer het plaatsen waard.
Tweakers bied de mogelijkheid je te abboneren, waarmee je geen reclame meer hebt. Dit is leuk als je reclame vervelend vind, maar de reden dat ik het doe, is principieel het feit dat Tweakers nu voor mij een product is ipv dat ik een product ben voor Tweakers. Dit is een bewuste keuze die je kan maken. Hoe meer je dit doet, hoe populairder het is en hoe meer websites dit aan zullen bieden.
Verbeter de wereld, begin bij een Tweakers abbo
Ik zie dit soort redeneringen wel vaker tegenwoordig: "Bedrijf X verdient geld hieraan en dus zijn ze onbetrouwbaar en liegen en bedriegen, want ze doen alles voor het geld". Of "deze persoon werkt voor dat bedrijf en dus is hij niet te vertrouwen, want wiens brood men eet...".
Klinkt leuk natuurlijk, maar in feite zijn drogredeneringen van het type "gemakkelijk generalisaties" (hasty generalizations). Dat er geld verdient wordt, wil namelijk niet automatisch zeggen dat er geen kwaliteit geleverd wordt niks wordt gecontroleerd. Dat iemand ergens werkt, wil nog niet zeggen dat hij een hersenloze spreekpop van het management is.
Kortom, je zult wat betere argumenten moet hebben dan "er wordt geld verdient, dus".
Ik zag de presentatie live bij siggraph, en alhoewel ik en de meesten met mij visual Fx artists zijn, hadden zelfs wij soms moeite de fakes te herkennen in een dubbel blind test.
We hadden er geen fout, maar we moesten echt hard zoeken, en als het een random video was geweest in het nieuws, dan hadden we het mischien ook niet gemerkt.
En dit zijn experts in 3d characters. En computer graphics.
In deze tijd van misinformatie is het heel belangrijk dat meer mensen zien wat er mogelijk is met computers en beeld.
En met audio ook, adobe heeft nu ee plugin om het stemggeluid van persoon A als persoon B te laten klinken....
https://m.youtube.com/watch?v=I3l4XLZ59iw
Dat samen begint heel eng te worden.
Na 20 minuten audio (best makkelijk te vinden met een belangrijk iemand) kan het schijnbaar audio als die persoon laten klinken.
Plus dat dit nu niet meer jaren training vergt, maar dat het simpel te doen is door wie dan ook...
Kortom, je kan de video van iemand aanpassen, en inspreken wat je maar wil, en veel mensen geloven het gewoon want ach ja de media liegt toch altijd volgens veel mensen. slik.
[Reactie gewijzigd door freaq op 23 juli 2024 17:40]
Ik had laatst deze video van YouTube kanaal Coldfusion
gezien, en de combinatie van de 2 (video en audio manipulatie) is best wel gevaarlijk. Er worden ook wel mogelijke oplossingen aangedragen hopelijk is dat haalbaar voordat de techniek op grote schaal misbruikt gaat worden...
Denk dat de techniek pas aan het begin van de mogelijkheden staat en nog veel beter en sneller zal gaan worden.
Grappig is dat het begon honderden jaren terug. Wilde je iemand echt geloven moet je op het marktplein bij de toespraak zijn of aanwezig waar het gebeurde.
Daarna kregen we kranten die berichten jou over van alles en nogwat via kranten, eerst zonder foto's daarna met foto's. Radio volgde dat, tv en laatste 25 jaar internet.
Kijk je nu vooruit dan is de de vraag of je over 5 of 10 jaar bewegende beelden en audio nog kan geloven, waarschijnlijk voor de massa niet.
Dan moeten we weer terug naar het marktplein om echt te geloven wat we horen, maar oeps hopen dat er tegen die tijd geen ai robot look a likes rondlopen.
Is dat niet al gebeurt dan? Als ik zo af en toe naar politici kijk lijkt het echt alsof je naar een peuter zit te kijken (ik zal verder geen namen noemen).
Oke oke even zonder grappen je heb helemaal gelijk want als hier niet snel een antwoord op komt zo het "catastrofaal" kunnen aflopen zeker als je kijkt hoe de spanningen tussen sommige landen steeds verder oplopen en hoe sommige landen nogal impulsief kunnen antwoorden op zulke omstandigheden.
edit; Heb die video ook bekeken erg interessant en relevant onderwerp
[Reactie gewijzigd door Jepper1998 op 23 juli 2024 17:40]
Jullie doen alsof dit nieuw is, dat is het niet. Goede fakes werden al door 99% van de bevolking niet herkend, inclusief handelaren die de beurs beïnvloeden. En die 99% luisterde dan in veel gevallen ook echt niet naar die andere 1% tenzij een 'betrouwbare' bron zij dat die 1% gelijk had.
Het gezegde: "De historie wordt geschreven door de winnaar." is al heel erg oud, ver voor computers, TV en radio bestonden.
Het 'probleem' is niet dat we nu makkelijker mensen voor de gek kunnen houden, het is dat mensen het geloof in de media kwijtraken, net zoals dat bij de kerk is gebeurd. Dat zie ik persoonlijk niet als een probleem maar een zeer goede ontwikkeling, mensen bidden al veel te lang aan het altaar van de media!
En waar AI wordt ingezet voor het misleiden van mensen, kan AI ook worden ingezet bij het informeren van mensen en het detecteren van dergelijke misleidingen. Net zoals AI kan worden ingezet bij hacking, kan het ook worden ingezet bij beveiliging. Welcome to the armsrace!
niet nieuw?
het koste ontzettend veel moeite en geld (miljoenen) om een acteurs gezicht te vervangen in een film.
dat kost nu 30 minuten tijd van een scriptkiddie, over een paar jaar kan iedereen het voor elke reden, en is het zo goed als ondetecteerbaar.
ja er was altijd manipulatie van bijv het geschreven woord. maar nu kunnen journalisten zelf niet meer zeker weten wat er echt is, fotografisch en videografisch bewijs is niet meer te vertrouwen, audio ook niet.
wat is er dan nog wel te vertrouwen???
storm in een glas water me reet,
dit kan een enorm probleem worden, waar het absoluut niet meer te zeggen is wie wat echt gezegd heeft en niet.
Het koste wellicht miljoenen in Hollywood, maar daar buiten zeer zeker niet. Men maakte gebruik van maskers en touch ups op de film (als in fysieke rol film).
Zo goed als niet detecteerbaar is gewoon detecteerbaar, met het enige verschil dat de tools nu naar de kant van de deceptie liggen ipv. bij de detectie. Dat zal in de toekomst zeker veranderen.
En de wereld begint zich al aan te passen en natuurlijk weer als eerste in de porno industrie, al die filmpjes van bekende mensen wiens gezicht is geplakt op iemand anders worden overal al geweerd en zijn verboden op veel platformen.
Zoals andere al aangeven, elke bron moet je eigenlijk al je hele leven behandelen met een stevige portie achterdocht. Als ze niet keihard tegen je liegen dan hoor je een door de bron getinte versie van gebeurtenissen.
Je echt eng allemaal dit, op die manier kunnen ze iedereen na doen zonder dat je kan horen en zien dat het niet die persoon is, hier woord zeker weten misbruik van gemaakt, of is al misbruik van gemaakt.
Wellicht ben ik te negatief, maar voorlopig zie ik toch vooral nadelen aan deze ontwikkelingen (die natuurlijk niet meer te stoppen zijn en steeds sneller gaan). Het is een kwestie van tijd voordat de een of andere onverlaat, of schurkenstaat, een niet van echt te onderscheiden video maakt die voor grote wereldproblemen gaat zorgen. We hebben (bijna) allemaal het filmpje van Obama gezien. Het was fake maar wat als iemand een filmpje maakt van Trump die 'officieel' de oorlog verklaart aan Rusland? Of van een Putin die zegt dat hij een deel van China wil innemen.
De wereld gaat er niet op vooruit want het zal steeds moeilijker worden om fake van echt te onderscheiden.
Want het staat op het internet dus moet het wel echt zijn, en lanceren we meteen de atoombommen zonder na te denken. Of ze pakken even de telefoon om te checken.
Ik vind het weer een beetje overdreven bangmakerij van "AI", net als die hele self-awareness discussie van killer robots. Het is een beetje mode en hip om te stellen dat "AI" eng is en gevaarlijk. Voorheen kon men dit al jaren met de hand veel beter waarschijnlijk.
Volgens mij zeg ik nergens dat AI 'eng en gevaarlijk' is. Ik reageer alleen op deze ontwikkelingen voor wat betreft video en audio. 99,9% van de wereldbevolking heeft geen enkele mogelijkheid om 'even de telefoon te pakken om te checken' waardoor massale hysterie tot de mogelijkheden behoort. En het hoeft natuurlijk niet op wereldniveau te gebeuren. at denk je dat er gebeurt wanneer iemand een filmpje maakt waarin de Burgemeester van Amsterdam zegt dat hij die lawaaidemonstratie toestaat tijdens de komende dodenherdenking?
Noem mij maar eens een paar voorbeelden van de voordelen die de in het artikel beschreven ontwikkelingen kunnen hebben. Maar wel echt waardevolle toepassingen die van toegevoegde waarde zijn.
Goede text to speech voor blinde mensen. Een nieuws site kan 1 vertrouwde stem gebruiken en laten horen aan zijn luisteraars bij elk artikel, terwijl elke stagair het in kan spreken bij wijze van spreken.
En inspreken heeft voordelen boven volledig automatische text to speech, AI kan nog niet altijd goed nadrukken leggen bijv.
Dus de opvolgende goede ontwikkeling is AI die ook de juiste nadrukken kan leggen. Of AI die ondertitels produceert die overeenkomen met het gesproken woord. Of accuraat kan vertalen en daar ook meteen weer audio bij kan produceren.
Hoe fantastisch zou het zijn als je met iemand kunt bellen wiens taal je niet spreekt, maar AI (gebaseerde?) vertalingen technieken twee richtingen op zodat je in je eigen taal hoort wat de ander zegt.
Of nog weer verder een bescheiden AR headset op waarbij alle tekst, audio en culturele elementen op zo'n manier worden vertaald in het buitenland dat je er echt wat mee kunt.
Natuurlijk moet je die AI dan in toenemende mate kunnen vertrouwen en dreigt totale surveillance als iedereen een live audio en video feed laat vertalen via dat soort tools. Genoeg uitdagingen om zoiets lokaal/veilig/transparant te maken, maar positieve en verbindende mogelijkheden genoeg.
Hoe fantastisch zou het zijn als je met iemand kunt bellen wiens taal je niet spreekt, maar AI (gebaseerde?) vertalingen technieken twee richtingen op zodat je in je eigen taal hoort wat de ander zegt.
Fantastisch — misschien, maar qua nuttig volstaat een equivalent van ondertitels.
99.9%....? Beetje een dromer met de 5.07 miljard mobiele telefoons die in omloop waren anno 2017. Zoek op statista.com zelf maar even de gegevens per continent erbij en dan zul je zien dat je ver van de waarheid af zit met jouw schatting.
Punt 2: volgens mij heb je last van tunnelvisie gericht op dit artikel. Wat de burgemeester van Amsterdam zegt is niet zo'n ramp. Dat gebeurt dagelijks in het groot en op volledig gelegaliseerde wijze: kerken, moskeeën, tempels en alle andere plekken waar hordes gelovigen bij elkaar komen en in sommige gevallen gewoon make believe troep gevoerd krijgen wat gewoon als zoete koek geslikt wordt. De gevolgen daarvan hebben we de afgelopen jaren, decennia, eeuwen en circa 2 millennia kunnen zien: van kruistochten, oorlogen, massaslachtingen en meer recent heel wat aanslagen in Europa die voor een zeer groot deel gevoed zijn uit informatie die op bepaalde plaatsen als waarheid verteld wordt zonder dat er enige vorm van hoor & wederhoor toepasbaar is en waarbij er door niemand vragen worden gesteld over het fundament waar dat geheel op berust.
Zolang die rol zo groot is zou ik me niet zo'n zorgen maken over de maakbaarheid van beeld & geluid. Daar hebben de maakbaarheid van dit soort zaken in mijn ogen niet zoveel invloed op. Meeste gevaar schuilt hem in de zogenaamde roeptoeters: mensen die zonder enig besef alles klakkeloos voor waar aannemen want: het staat op Facebook, het staat hier, het staat daar dus het is waar. Zelfde principe als de alinea ervoor maar alleen een andere bron. Gelukkig zijn dat soort mensen over het algemeen niet actief op invloedrijke posities.
Welke specifieke paragraaf doel je op? Ik zie niet echt direct iets over "dit kon en gebeurt natuurlijk al jaren met de hand, alleen heb je dan veel resources nodig, dus was voorbehouden aan de machtige organisaties" (in relatie tot een fake filmpje dat voor "grote wereldproblemen" gaat zorgen). Alleen een soort toekomstvoorspelling van, dit gaat steeds sneller en wordt eng en dan kan iedereen het (ik denk dat het voorlopig voornamelijk bij rule #34 blijft...)
[Reactie gewijzigd door Zoijar op 23 juli 2024 17:40]
We creëren deze desinformatie aan de hand van Machine Learning of "AI". Met diezelfde kennis zouden we dus modellen kunnen trainen, die juist zoeken naar de subtiele hints die wijzen naar vervalsing.
Dit wordt dan dus een extra stap bovenop de traditionele manier van fact-checken.
Of het daadwerkelijk goede resultaten kan behalen weet ik niet, ik ben geen expert. Maar de eerste tijd moet dit nog mogelijk zijn lijkt mij, totdat de vervalsingen echt niet meer te onderscheiden zijn.
Ik ben het met je eens over de nadelen er van. Maar laten we eerlijk zijn als een president de oorlog verklaard dan wordt dit via officiële kanalen gedaan en niet zomaar op internet via Youtube. Media manipuleert al decennia mensen, of dit nou met flyers, posters, kranten, boeken, films of wat dan ook is. Gelukkig is er door het internet ook steeds moeilijker om voor landen die geen democratie kennen, foute informatie te blijven verschaffen. Mensen kunnen hun eigen onderzoek doen.
Werkelijkheid = hetgene door meerdere bronnen onafhankelijk van elkaar bevestigd wordt. Fake news is van alle tijden, of het nu door mens (bvb) of machine gebeurt. Kritisch en alert blijven ...
De zin: “Een andere mogelijkheid is dat mensen misschien geheel opnieuw opgevoed moeten worden met betrekking tot de manier waarop ze met beeld en geluid omgaan" van Martijn van Otterlo, triggerde mij om te verwijzen naar een Vrij Nederland artikel over Avinash Changa. Iemand die intrigerende VR projecten doet en dit tegelijkertijd moreel reflectief beziet. https://www.vn.nl/avinash...NJQXNOU3FYblo4bmUyYWZXbz0
Ik maak me ook zorgen om deze ontwikkleing. Wat is straks nog echt? In de rechtspraak gaat dit ook voor moeilijkheden zorgen. Wat is geldig bewijsmateriaal? Wat is een alibi?
Straks moeten we omdat we niet meer weten wat de waarheid is maar een muntje opgooien?
Het wordt tijd dat het vervalsen (dus ook fake news en disinformatie) zwaar bestraft wordt. Het zet mensen tegen elkaar op,. ondermijnt de wetenschap, en zorgt voor totale chaos.
Interessante docu omtrent dit onderwerp: Digitale identiteit en de valse werkelijkheid, met Wouter Constant en André Kok. Zeer interessant om eens bekeken te hebben kan ik melden, en deze docu is geheel in het Nederlands overigens. Nu betreft dit besproken onderwerp (Digitale identiteit en de valse werkelijkheid) één deel uit een reeks van 5, waarvan de andere 4 delen andere onderwerpen van dit fenomeen belichten, waarbij in het vervolg deel altijd nog even kort over nagepraat wordt, zo begon deze reeks van 5 over blockchains.
Duur van dit deel van de docu, 40 minuten, dus er moet wel net even tijd voor zijn, maar zoals reeds gezegd, zeker de moeite waart om eens gezien te hebben.
[Reactie gewijzigd door SSDtje op 23 juli 2024 17:40]
“Zo verwijst het rapport naar het voorbeeld van deepfakes, waarbij platforms als Reddit, Twitter en andere internetbedrijven maatregelen hebben genomen tegen de verspreiding van dit soort beeldmateriaal.”
Ik denk dat het tegengaan van verspreiding op grote, publieke forums het probleem eigelijk alleen maar verergert. Dit hele Ai gebeuren is natuurlijk een verhaal zoals :als ik het niet doe doet een ander het wel en daardoor gaat de verspreiding van software als fakeapp toch wel door. Het punt is dat ik denk dat dit beter op grote, openbar forums kan gebeuren dan op kleine locaties, misschien achter gesloten deuren. De ontwikkeling gaat namelijk toch wel door en ik denk dat het voor het bewustzijn onder mensen dat alles te manipuleren is beter is dat alles openbaar te vinden is dan dat dat niet zo is. Laten we eerlijk zijn: die kwaadwillende die Ai wilt inzetten vind het toch wel, op een groot forum of niet.
Ik kijk al uit naar nieuwe afleveringen van Star Wars en The Terminator met digitaal gegenereerde versies van Harrison Ford, Mark Hamill en Arnold Schwarzenegger en door AI gegenereerde stemmen die niet van de originele acteurs zijn te onderscheiden.
Daar zat ik ook gelijk aan te denken. Acteurs gaan het nog moelijk krijgen in de toekomst. Nieuwe James Bond nodig? Joh, we maken er gewoon 1. Geen gezeur meer ook dat ze te oud worden ( of juist dood gaan ) geen debiele salarissen meer etc.
/i/2001956865.jpeg?f=imagenormal)
/i/2001956923.jpeg?f=imagemedium)
Tweakers sprak met assistant professor artificial intelligence Martijn van Otterlo van de Universiteit van Tilburg, die tot voor kort werkte bij de Vrije Universiteit in Amsterdam. Hij was bereid om enkele vragen te beantwoorden over de ontwikkelingen op ai-gebied en wat deze betekenen voor de toekomst./i/2001956919.jpeg?f=imagenormal)
/i/2001957017.jpeg?f=imagenormal)
/i/2000950507.png?f=fpa)
/i/1312271757.png?f=fpa)
/i/1233670851.png?f=fpa)
/i/2000820476.png?f=fpa)
/i/2000658159.png?f=fpa)
:strip_exif()/i/2000614887.jpeg?f=fpa)
:strip_exif()/i/1234902603.gif?f=fpa)
/i/2001458235.png?f=fpa)
/i/2001567875.png?f=fpa)
:strip_icc():strip_exif()/u/235124/crop565ef0fb36f1b.jpeg?f=community){kind=small}
:strip_icc():strip_exif()/u/200203/crop6092aecc52ccd.jpg?f=community){kind=small}
:strip_icc():strip_exif()/u/4580/crop63277a49e9b9d_cropped.jpg?f=community){kind=small}
/u/3174/crop5f1e2a4facc1b.png?f=community){kind=small}
:strip_exif()/u/625796/crop59c0d753e9c7c.gif?f=community){kind=small}
:strip_icc():strip_exif()/u/6764/cergorach.jpg?f=community){kind=small}
:strip_icc():strip_exif()/u/116283/crop5814e3224425d_cropped.jpeg?f=community){kind=small}
:strip_icc():strip_exif()/u/35767/images.jpg?f=community){kind=small}
/u/408258/crop682f7e14b01a9_cropped.png?f=community){kind=small}
/u/4024/burne.png?f=community){kind=small}
:strip_icc():strip_exif()/u/489983/crop5db33928bbeea_cropped.jpeg?f=community){kind=small}
/u/428724/crop6184eb1cc2721_cropped.png?f=community){kind=small}
/u/167567/crop6463212f05c32_cropped.png?f=community){kind=small}
:strip_icc():strip_exif()/u/129222/crop5f293f6b7911f.jpeg?f=community){kind=small}
/u/65335/crop68dd1f752f92a_cropped.png?f=community){kind=small}
:strip_icc():strip_exif()/u/405084/ESI.jpg?f=community){kind=small}
/u/340881/illuavatar_little.png?f=community){kind=avatar}
:strip_icc():strip_exif()/u/468360/crop5de134649b320_cropped.jpeg?f=community){kind=small}