Onderzoekers hebben een experimentele AI-tool getoond waarmee afbeeldingen binnen een mum van tijd volledig gemanipuleerd kunnen worden. Zo moet het mogelijk zijn om binnen twee muisklikken een gezicht te roteren en gezichtsuitdrukkingen aan te passen.
De tool, DragGAN, is bedoeld om specifieke veranderingen aan te brengen in bepaalde delen van afbeeldingen, zonder daarbij de gehele afbeelding aan te passen. Hiervoor moeten gebruikers twee punten op de foto aanwijzen: het gedeelte dat moet worden gemanipuleerd en de plek op de foto waar dat onderdeel naartoe moet. De tool zou de rest moeten doen, beweren de onderzoekers.
"Met DragGAN kan iedereen een afbeelding vervormen met precieze controle over waar pixels naartoe gaan, waardoor de pose, vorm, uitdrukking en lay-out van diverse categorieën zoals dieren, auto's, mensen en landschappen, gemanipuleerd kunnen worden", schrijft het onderzoeksteam. In tegenstelling tot bijvoorbeeld de Warp-tool van Photoshop worden er geen bestaande pixels gewijzigd, maar creëert het neurale net volledig nieuwe pixels.
In de getoonde voorbeelden is onder meer te zien dat de tool de bek van een leeuw kan openen en het dier vervolgens een andere kant op laat kijken door zijn kop te roteren. Ook worden kledingstukken, zoals mouwen, van mensen verlengd, en is te zien dat armen en benen verplaatst worden. Een ander voorbeeld laat zien hoe hele landschappen worden aangepast.
De meeste afbeeldingen in de voorbeelden zijn AI-gegenereerd, maar volgens onderzoekers moet de tool ook om kunnen gaan met echte foto's. Dat wordt gedemonstreerd door middel van een lachende foto van de Amerikaanse president Joe Biden, die in enkele minuten wordt veranderd in een geschrokken gezichtsuitdrukking, waarbij ook zijn hoofd geroteerd is.
Volgens de onderzoekers is de tool in staat om 'zelfs voor uitdagende scenario's, zoals verborgen onderdelen, realistische resultaten te bereiken die consequent de rigiditeit van het object volgen'. Het team belooft de code van de tool volgende maand op GitHub te plaatsen.
Aan het project hebben zes onderzoekers meegewerkt, die onder meer werkzaam zijn op Duitse en Amerikaanse universiteiten. Ook Abhimitra Meka, onderzoekswetenschapper bij Googles AR-afdeling, heeft eraan meegewerkt.