Astronomen ontwikkelen techniek om deepfakes te detecteren via oogreflecties

Astronomen aan de Britse Universiteit van Hull hebben een techniek ontwikkeld om deepfakes te detecteren via oogreflecties. De techniek is gebaseerd op de instrumenten die astronomen gebruiken om sterrenstelsels te bestuderen.

De techniek werd vorige week voorgesteld tijdens een vergadering van de Britse Royal Astronomical Society. Om te detecteren of een foto een deepfake is, worden de oogreflecties in beide ogen geanalyseerd. Er wordt rekening gehouden met de vorm, positie en intensiteit van de lichtreflecties. De onderzoekers passen bij de analyse technieken toe die normaal gesproken worden gebruikt in de astronomie om de lichtverdeling in beelden van sterrenstelsels te meten.

In echte foto's zullen de lichtreflecties in beide ogen meestal consistent zijn, omdat ze worden veroorzaakt door dezelfde lichtbronnen. Bij deepfakes kunnen de reflecties inconsistent zijn, omdat AI-modellen vaak moeite hebben met het nauwkeurig repliceren van lichtreflecties. Hoewel deze methode effectief kan zijn in het opsporen van deepfakes, kan ze volgens de astronomen ook valspositieven genereren. “Deze methode biedt ons een basis, een aanvalsplan in de wapenwedloop om deepfakes te detecteren”, vertelde Kevin Pimbblet van de Universiteit van Hull aan de Royal Astronomical Society.

Reacties (37)

[etix111]

Is dit niet gewoon wachten totdat AI slim genoeg is om ook dat patroon te herkennen?

Net zoals de gekke handen van een paar maanden terug: inmiddels zijn nieuwere modellen veel beter in het reproduceren van geloofwaardige handen en armen, ik denk dat het kwestie van tijd is voordat modellen ook dit goed kunnen reproduceren.

[mphilipp]

Ik zou zeggen dat je het algortime dat de fakes ontdekt in reverse gebruikt zou kunnen worden om goede reflecties te genereren. Maar dat klinkt denk ik veel simpeler als het iis

[Mavamaarten]

Dat is toevallig net exact hoe het werkt. Met een algoritme waarmee je kan zeggen "deze afbeelding heeft echte ogen", "deze misschien" en "deze niet" kan je een model trainen om betere ogen te genereren.

[Hechteleir]

Nee hoor, AI gebruikt geen algoritmes. AI gebruikt relaties in een neuraal netwerk waar een gewicht aan toegekend wordt. Dat gewicht wordt verhoogd als deze combinatie erin slaagt om het detector tool om de tuin te leiden.

[GoldenLeafBird]

Volgens mij zegt @Mavamaarten dat je een algoritme gebruikt om je gewichten aan te passen, en niets inhoudelijk over hoe AI werkt.

[Mavamaarten]

Je voegt inderdaad niet gewoon een algoritme toe aan een model, zo werkt het niet want dat zijn gewoon weights. Maar je kan wel perfect een algoritme gebruiken om op een objectieve manier te beoordelen hoe goed de output is. Dit algoritme kan je daar heel makkelijk voor inzetten.

[Volv]

Los van dat het niet klopt dat AI geen algoritmes gebruikt - dat doet het namelijk wel, in het fundament zelfs, aangezien back propagation op zichzelf een algoritme is - kan je wel degelijk beargumenteren dat neurale netwerken zelf een algoritme zijn (of bevatten). In feite leert het neurale netwerk een complexe nonlineaire functie, wat je zonder veel fantasie als algoritme (een lijst aan stappen of bewerkingen) zou kunnen beschouwen. Alleen is dat precieze algoritme voor ons "verborgen" aangezien we de structuren die het neurale netwerk leert maar moeilijk tot niet kunnen interpreteren. Een stappenplan van A tot Z is embodied in de functie die het netwerk heeft geleerd, ook al kan deze vanuit ons perspectief in één stap van A naar Z gaan.

[tw_gotcha]

jawel hoor:
een neuraal netwerk is niks zonder lagorithmes die er wat mee doen. Een bak met data.
het netwerk zelf is wellicht geen algorithme maar alle handelingen die er gedaan worden, het leren, het optimaliseren, het generen van een output, wordt dmv algrotihmes gedaan.

[Havelock]

NOS op 3 heeft ook een uitleg filmpje dat wij ook zelf ai trainen :
https://youtu.be/cwpBvjT8GX0?si=I21K7LYCjOxZpf5x

[Opifex]

Nee hoor, dat is precies hoe reinforcement learning werkt. Je gebruikt de output van de detector als input voor het trainen van de AI. In zeer korte tijd kan je dan enorme verbeteringen zien.

[Robbierut4]

Is dit niet gewoon wachten totdat AI slim genoeg is om ook dat patroon te herkennen?

Net zoals de gekke handen van een paar maanden terug: inmiddels zijn nieuwere modellen veel beter in het reproduceren van geloofwaardige handen en armen, ik denk dat het kwestie van tijd is voordat modellen ook dit goed kunnen reproduceren.

Geloofwaardige reflecties in de ogen lijkt me niet heel hoog op het prioriteitenlijstje staan. Geloofwaardige handen wel, dat valt iedereen meteen op.

[n4m3l355]

Handen zijn ook iets waar je op kunt trainen, immers de meeste mensen hebben standaard 5 vingers. Iets waar het vroeger met Midjourney en dergelijke dan ook vaak mee mis ging. Echter reflecties hoewel die getrained worden, is het in de algemene zin. Je ziet nu beelden voorbij komen waarbij schaduwvlakken meer consistent zijn dan voorheen. Reflecties in ogen lijkt me toch wel andere koek, immers waar train je mee?

[air2]

Met de tool die aangeeft of ze geloofwaardig zijn. De tool die door deze astronomen geïntroduceerd is dus.

[Christoxz]

Typisch een kat en muis spel.

[demartijn]

Wie is dan de kat?

[Dropelke]

Dat is Schrödingers kat

[Zoop]

Ik denk wel dat het wat ingewikkelder voor de AI zal worden. Stel, er wordt een 3d ruimte gegenereerd, met daarin lichtbronnen, en dat als referentie te gebruiken hoe het in de ogen zou moeten reflecteren. Die reflecties simpelweg "verzinnen" zonder weet te hebben van de 3dspace zal (denk ik) onmogelijk zijn. Maar een 3dspace als referentie voor dit soort dingen zou dat dus mogelijk op kunnen lossen.

Hoe dan ook, lijkt mij het wel een stuk lastiger dan die gemuteerde handen/armen op te lossen. Maar goed, geef het tijd, daar verzinnen ze wel weer wat op.

[0_Cypher]

Voor statische afbeeldingen zie ik hier geen probleem voor. Hij hoeft eigenlijk niet te weten hoe de 3d ruimte eruit ziet buiten wat er in beeld is. Als het geen wat getoond word consistent en geloofwaardig is dan heeft hij het goed gedaan.

De gene die het bekijkt weet even min wat er buiten dat beeld om gebeurt of wat er zich buiten het frame bevind.

Pas wanneer je bewegende beelden gaat generen kan dit een probleem worden. Maar bewegende beelden hebben eerst nog voldoende andere problemen op te lossen. Het is erg lastig om te zorgen dat een generative AI een "weet" heeft van wat hij daarvoor heeft gegenereerd en dit consistent te houden.

[Durandal]

Probleem is dat AI getraind wordt met 2D afbeeldingen. Het kan dan geen 3D ruimte genereren want daar heeft het geen kennis van. Het kan dan ook de belichting in 3D niet plaatsen. Hooguit kan het twee keer hetzelfde oog in het hoofd zetten, maar dan gaan de astronomen vergelijken met andere lichtpunten in de scene.
Deze 2D data is ook de oorzaak van andere defecten in gegenereerde plaatjes; AI leert niet wat er 'achter' het 2D plaatje zit en geeft je een 6e vinger. Of maar 1 been.

[Zoop]

Het zou wel een hele andere werking worden ja, maar als ze een standaard 3d scene (of een aantal variaties) opzetten, een simpele ruimte met lampen. Zet er een 3d persoon in, mooi realistische geshade ogen. En gebruik dat 2d-render resultaat om de belichtingen in de ai gegenereerde plaat te corrigeren. Uitkijken dat de ogen daardoor juist niet super nep worden ofzo.

Juist omdat het geen weet heeft van dat soort rand variabelen, voor een ai is er geen verschil of hij een hond in van gogh stijl tekent, of een persoon die echt moet lijken. Juist daarom de informatie aan te vullen met informatie die vaak mis gaat.

Wie weet moet dit simpelweg een post process ding zijn dat niks met AI te maken heeft, maar mijn punt was, ze verzinnen er wel wat op. Zeker nu er tooling beschikbaar is gekomen die dit soort "fouten" kan detecteren wordt het des te makkelijker om daarop te verbeteren.

[jaxxil]

Een groot probleem met AI-detectie is dat zodra je een tool hebt die makkelijk gegenereerde beelden kan detecteren, je onmiddelijk je AI kan gaan trainen versus deze tool totdat hij uitgevogeld heeft om de tool te verslaan. Het is niet zo zeer dat de AI slim genoeg moet worden, maar hij kan getraind worden juist op dit soort tools om ze om de tuin te leiden.

De enige manier om dat tegen te gaan is een manier vinden die zo ingewikkeld is voor de AI dat de benodigde trainingstijd of modelgrootte om het te faken te groot is om praktisch te doen te zijn. Die methode bestaat nog niet, voor zover ik weet.

[Reactie gewijzigd door jaxxil op 23 juli 2024 14:45]

[Wouterie]

Uiteraard. Nu het bekend is zullen de aanpassingen snel volgen.

[djwice]

Rephrase: astronomen ontwikkelen algoritme dat helpt bij het trainen van AI om realistischere oog reflecties te genereren.

[Auredium]

Zoals andere zeggen een kat-en-muisspel.
Aan de andere kant falen AI image generaties heel vaak op handen en voeten, schoenen en poses maar ook vaak op ogen inderdaad. Ik heb al van alles gezien, armen die samensmelten met een been of object. Mensen die een derde voet in plaats van een hand hebben. Vreemde plaatsing van ledematen. Maar ogen gaat het vaakst mis. Reflecties of de ogen kijken niet naar hetzelfde object of richting.

[mrkazoodle]

Je zal maar eens scheelziend zijn...

[SuperDre]

En dankzij dit soort onderzoeken worden deepfakes (en daarmee AI) alleen maar beter. Over niet al te lange tijd zal het echt onmogelijk worden om zelfs via computers fakes van echt te onderscheiden (voor mensen is dat punt al bijna wel gehaald).

[Homer J.Simpson]

Waarna de LLM’s de research paper lezen en vanaf dan incorporeren in hun output.

[svenk91]

Een LLM maakt alleen geen plaatjes, dat zal wel meevallen. Tenzij de oplossing met prompt engineering kan worden gevonden, dat kan een LLM weer wel.

[Homer J.Simpson]

Best gek eigenlijk, weet je misschien waarom dat is? Zou toch geen probleem mogen zijn om beeldmateriaal als bron te gebruiken? (al zou het dan misschien geen tweede "L" meer moeten zijn)

[svenk91]

Omdat het een Large LANGUAGE Model is toch vooral. Voor het genereren van plaatjes heb je een ander type model nodig. Stable Diffusion werkt bijv. met een diffuser model daarvoor. Wat je ziet bij de grotere diensten als ChatGPT is dat ze meerdere modellen achter de interface hangen, en het LLM dan wel uit jou input de opdrachten voor andere modellen interpreteert en doorgeeft.

Je zou thuis ook prima iets kunnen maken met LLama 3.1 dat opdrachten maakt voor een ander model. Naast een model voor plaatjes, of het genereren van audio, kan je ook meerdere LLM's aan elkaar knopen en zo bijv. een vertaal model Nederlands -> Engels voor Llama plaatsen, en dan weer een model Engels -> Nederlands erna (eventueel nog weer met een andere LLM aan het begin om uberhaupt te kijken welke taal er gegeven wordt en welke vertaalmodellen dan gebruikt moeten worden). Het voordeel hiervan is dat je dan met kleinere modellen weer kan werken, Llama hoeft bijv. niet op elke taal getrained te worden, en zo kan het op machines met minder RAM draaien (de geheugenvraag van geavanceerde AI modellen is groot).

[Homer J.Simpson]

Bedankt voor de super duidelijke uitleg!

[Sjokkel]

voight kampff v0.1

[Autisme_tech]

Kijk dat is wel fijn, want dan kan men AI hierop ook gaan doorontwikkelen zodat het steeds beter tot de werkelijkheid komt. Fijn dat ze de techniek hebben gedeeld.

[matthiasba]

Ik stel een Voight kampff test voor

[fjwillemsen]

Dit is echt onzin. De gigantische rekenkracht en gegevensoverdracht die nodig is voor astronomie onderzoek stuwt al jaren technologische technologische ontwikkeling die uiteindelijk in consumentenproducten hier op Tweakers terecht komt.

[Redbiertje]

Als je het artikel had geopend had je kunnen lezen dat het hier gaat om een resultaat van een MSc project.