Cookies op Tweakers

Tweakers maakt gebruik van cookies, onder andere om de website te analyseren, het gebruiksgemak te vergroten en advertenties te tonen. Door gebruik te maken van deze website, of door op 'Ga verder' te klikken, geef je toestemming voor het gebruik van cookies. Wil je meer informatie over cookies en hoe ze worden gebruikt, bekijk dan ons cookiebeleid.

Meer informatie

Kunstmatige intelligentie Samsung maakt animaties op basis van afbeeldingen

Samsung heeft met behulp van kunstmatige intelligentie een systeem ontworpen waarmee op basis van afbeeldingen animaties zijn te maken. Zo kan bijvoorbeeld een persoon worden geanimeerd op basis van kenmerken die uit foto's worden gehaald.

De software is gemaakt door een ontwikkelcentrum van Samsung in Moskou, in samenwerking met het Skolkovo Institute of Science and Technology. De makers hebben een wetenschappelijke paper online gezet op Arxiv, maar in een video leggen zij nog eens kort uit hoe het systeem werkt. Er worden drie neurale netwerken gemaakt die op basis van enkele afbeeldingen, of frames uit video's, een model kunnen bouwen waarmee beelden kunnen worden geanimeerd. Het systeem is met afbeeldingen van verscheidene mensen getest, zoals in de video wordt gedemonstreerd.

In een voorbeeld laten de makers zien hoe op basis van slechts acht frames een animatie gemaakt kan worden van een persoon. Daarvoor zet een van de neurale netwerken de gebruikte frames om in vectors waarmee animaties gemaakt kunnen worden. Een ander neuraal netwerk kijkt naar gezichtskenmerken in de te analyseren beelden, terwijl het derde netwerk kijkt naar het 'realisme' en de pose van de geanimeerde persoon.

Het is overigens ook mogelijk om met slechts één frame een geanimeerd model te bouwen, al wijzen de makers erop dat meer beelden een animatie opleveren die realistischer is. Daarnaast werkt de software ook in beperkte mate met schilderijen; zo slaagden de ontwikkelaars erin om bewegende beelden van de Mona Lisa te genereren.

Traditioneel wordt er voor het maken van animaties een 3d-model gebouwd van het te animeren beeld. Dat is bij deze software dus niet nodig: de AI van Samsung haalt zelf de relevante informatie uit afbeeldingen en gebruikt deze om animaties te bouwen. Er is meer software die op basis van kunstmatige intelligentie animaties bouwt; dergelijke software wordt onder meer ingezet voor het maken van zogenaamde deepfakes.

Door Bauke Schievink

Admin Mobile / Nieuwsposter

26-05-2019 • 11:26

81 Linkedin Google+

Submitter: WhatsappHack

Reacties (81)

Wijzig sortering
Toekomstvisie:

Zet je TV aan en scroll door verschillende talen. Maak een keuze en m.b.v. AI worden beeld (mond bewegingen) en spraak aangepast in taal naar wens. Eindelijk af van die matige movie dubs.
Dan gaat het raar klinken als het niet volledig stil is in de film. Of de films moeten aparte audiosporen aanleveren voor de spraak, maar dan zouden ze net zo goed de film helemaal in een andere taal kunnen renderen en dat de gebruiker daarbij in taalvarianten kiest. Nee, ik zie dat niet zo snel gebeuren. Ben tevreden met ondertiteling en de audio van een film zoals deze bedoeld is.

[Reactie gewijzigd door snippiestgem op 27 mei 2019 08:14]

Wel, je kan met AI al bepaalde geluiden wegfilteren en dat klinkt al vrij normaal.
zie bvb: https://www.youtube.com/watch?v=zL6ltnSKf9k

Het aanpassen van de stem en dat in het geheel normaal laten klinken lijkt me niet echt een issue te gaan worden.
Interessant, dit wist ik niet. In dat geval lijkt het me wel iets wat gerealiseerd kan worden in de toekomst.
Als de gesproken taal nou ook via AI vertaald kan worden... ;)
Kun je straks zelf het uiterlijk van de hoofdrolspelers samenstellen :X
Kan iemand mij de zin van deze techniek uitleggen anders dan dat hiermee valse beelden kunnen worden gecreëerd om anderen in een kwaad daglicht te plaatsen?
Serieuze vraag; zit hier ook een positieve kant aan?
films of concerten waar een overleden persoon in opdaagt, handig als bvb een personage plots sterft in het echte leven en de verhaallijn nog afgemaakt moet worden of een tour met een holografische elvis, michael jackson of kurt cobain bvb
Voor de filmindustrie is dit leuk speelgoed. Bij stunts kan je dan iemand in het gezicht filmen. Gezicht van de stuntman vervangen door die van de acteur en klaar.
In een verder stadium heb je de dure acteurs niet eens meer nodig. Een paar plaatjes van zijn/haar hoofd en een goedkope acteur en je bespaart aardig wat kosten. Of een jonge Sean Connery nog altijd in elke nieuwe James Bond film.
Oh God, wat zullen we dan in een lege en neppe wereld leven. Ik hoop echt dat ik deze tijd niet meer mee zal maken. Alles wat je ziet kan nep zijn. Niks zal dan nog waarde hebben.

Ik treur voor mijn kinderen, mocht het ooit zo ver komen.

Ik heb het overigens niet alleen over de filmindustrie, maar het zal overal in doordringen. Onze gehele maatschappij een gefabriceerde fantasie.

Ok, ik sla wat door?

[Reactie gewijzigd door honey op 26 mei 2019 23:10]

Eh. Is het met al die green screens ook niet nep? Gelukkig kom ik nog uit een tijd dat acteurs echt met voorwerpen, mensen en situaties acteerden.
Vooruit gang heet dit. En hoewel dat niet altijd positief is, is het lastig te stoppen. At the same time Houd je regisseurs die het weer anders doen.
Wat is nep en wat niet? Wat is waarheid en is de waarheid niet altijd al subjectief? Waarneming wordt altijd al gekleurd door onder andere perceptie, preconceptie, eerdere kennis en verwachtingen.

Terecht wordt het alleen maar eenvoudiger om de zintuigen moedwillig om de tuin te leiden. Interessant in dit kader is de kennisleer of -theorie: https://nl.wikipedia.org/wiki/Kennistheorie
Als deze technologie mainstream wordt is voortaan elk nieuwsfilmpje in twijfel te trekken. Echt een verontrustende toekomstvisie.
Mja, sommige acteurs zijn écht wel meer dan enkel hun bekende snoetje. Denk maar aan wat Johnny Depp bv met de Pirates heeft gedaan. Met een goedkope acteur met de kop van Depp was die film nooit aangeslagen, het is echt wel het geacteer van Depp die daarvoor gezorgd heeft.
Je moet niet altijd te ver willen denken.
Er zijn vast heel veel mensen die goed kunnen acteren, maar geen goeie kop hebben. Op deze manier zijn regisseurs in staat om het juiste personage samen te stellen. Lijf, hoofd en stem kunnen als losse onderdelen worden gezien.
Bij de promotie geeft dat natuurlijk wel een probleempje, want je hebt geen acteur meer die daarvoor in kunt zetten.
Dit is overigens een angst die al veel langer in de acteurswereld bestaat. Een klein stapje verder en je hebt geen acteurs meer nodig. Je gebruikt gewoon cartoons en laat die softwarematig vervangen door een persoon die je zelf hebt samengesteld uit een passend lijf, goeie kop en leuke stem. Maw, de acteurs zijn niet meer nodig. Die angst kwam op toen de eerste films werden gemaakt waarin echte acteurs in een cartoon wereld werden geplaatst. Dat is inmiddels al meer dan 20 jaar terug. Sinds die tijd is er eigenlijk maar weinig veranderd binnen de acteurswereld.

Gelukkig zoeken mensen altijd naar idolen. Daarbij is er een grote voorkeur naar bestaande mensen, die ze in theorie ooit eens zouden kunnen ontmoeten. Nu zijn er meer mogelijkheden bijgekomen, maar dat betekend niet dat ze ook gebruikt gaan worden. Zolang mensen nog echte acteurs willen zien, zullen die ook blijven.
ga er maar niet van uit dat je kosten kan besparen als je enkel de afbeelding van een acteur kan gebruiken, die wil namelijk ook nog gewoon geld verdienen
En dat is een positieve eigenschap? Ik zie het ook niet.
Een levend portret van een overleden familielid die je nooit gekend hebt?

[Reactie gewijzigd door Elefant op 26 mei 2019 17:35]

Okay nu wordt het echt ziek... :o
Waarschijnlijk zal het de grootste ontwikkeling op VR porno gaan worden...
Zonder grappen, dit is echt één van de pitches ervoor geweest:

https://gfycat.com/neighb...tive-adversarial-networks

Op basis van zelfs één foto, wordt uit een database van mensen met gelijkende gezichtskenmerken bepaald wat voor achterliggende structuur passend is. Geen 3D model, gewoon uitgespuugde frames op frames waar waarschijnlijk wel wat tussen zit wat goed past.

En dit is "eerste publicatie" zeg maar...
Nogmaals, is dat een positieve bijdrage?
Stan Lee heeft zich compleet laten inscannen voordat hij overleed, ik neem aan dat wanneer zo iets nodig is er genoug vfx artiesten zijn om dat te maken, dus nee ik begrijp niet waarom dit nodig is en waarom dit voor het grote publiek beschikbaar moet zijn.
Voor de sector die reeds veel techniek heeft groot gemaakt ; porno :)
Deepfake bedoel je. Same song; niets positief. Daarmee worden mensen in een porno scene geplaatst zonder zij hier zelf medewerking aan hebben verleend.
Duidelijk heb je mijn smile gemist..

ben het verder met je eens
Hmm waarom zo’n dikke min ranking? Ik had de toon van je post idd niet helemaal begrepen denk ik;)
Ik denk dat je naar de entertainment hoek moet om die vraag te beantwoorden. Ik zie bijvoorbeeld een nieuwe Google Home met een scherm. Op dit scherm kun je je favoriete popster de replies laten doen. Je kunt het ook gebruiken in een museum, waar je bekende mensen die al dood zijn weer tot leven kan wekken en zelfs een presentatie voor je kunnen doen. Dat soort dingen.

edit : dit zal wel wat portretrechten gaan schenden als dit breed uit komt.

[Reactie gewijzigd door HellBeast op 26 mei 2019 12:02]

Ik zie dat idee van favoriete popster/rockster/whatever wel zitten :). Ondanks de portretrechten, maar daar zou je weer kunnen zeggen van betaal X bedrag en je mag het blijven gebruiken ofzo.
Nou ja een 'favoriete popster' boeit me dan nog niet eens zo zeer.. meer het idee van een (nep/gecreëerd) gezicht aan je digitale assistent of dat nou google home of bixby of cortana of siri is.

Hoewel jarvis natuurlijk prima was als een bol van gele lijnen en cirkels is een gezicht toch wat menselijker. :P
Zoiets zal het verkooppraatje van Samsung ook wel zijn. Alleen weten we allemaal dat dit ingezet gaat worden voor politieke manipulatieve doeleinden.
Momenteel is het al gemeengoed dat mensen met 2D videobeelden met elkaar kunnen communiceren. Er zijn echter al experimenten waar dat in 3D gebeurt, zelfs in Virtual Reality (avatars in een nepwereld) of Augmented Reality (avatars in een echte wereld). Dat kost echter best wat rekenkracht en bandbreedte om het er mooi uit te laten zien, en vaak kun je alleen maar projecteren wat de camera's aan het andere eind kunnen zien.

Met deze techniek kun je dit 3D communiceren aanzienlijk verbeteren. Als je "belt" dan stuur je eerst je parameterset op. Daarna kun je met een beperkte hoeveelheid keyframes van de videostreams als basis, en het algoritme uit het hier gepresenteerde paper, de 3D avatar verbeteren en de eventuele gaten in het gerenderde beeld verder opvullen.

De avatars zullen dus allemaal realistischer lijken.
Ik denk dat de tijd nodig om de afbeeldingen te combineren en om te rekenen de voordelen van jouw scenario compleet onderuit haalt. Bovendien is een 3d model nu al niet meer dan een hoop polygonen en wat textures. Het "3D" animeren is een kwestie van veranderde parameters, en zeker niet intensiever dan een 3d game oid.
Bovendien is dit onderzoek niet toegespits op het 3d model (dat ze wellicht wel maken), maar net op realistische video volgens een bekend bewegingspatroon (de "talking heads" doen allemaal hetzelfde).
De onderzoekers zelf geven aan dat het verbeteren van de bestaande algoritmen en mogelijkheden de voornaamste drijfveer is. Maw wetenschappelijke interesse.

Het positieve zit in de publieke informatie. Dit toont aan dat het kàn en dat we dus rekening moeten houden met dat soort "fakes". Dat biedt nieuwe opportuniteiten voor wetenschappelijk onderzoek: hoe is dit te detecteren bijvoorbeeld.
Commercieel denk ik dat voornamelijk interesse te verwachten is uit de grafische en filmsector (CGI/VFX).

Volgens mij kan je heel wat wetenschappelijke instellingen gewoon opdoeken als je enkel (positief) toepasbare output verwacht: zo werkt de wetenschap niet.

[Reactie gewijzigd door the_stickie op 26 mei 2019 20:38]

Het wordt al gebruikt: https://www.youtube.com/watch?v=EfREntgxmDs
Hopelijk blijft het mogelijk om technisch te achterhalen of het door een computer is nagemaakt.
Voor de impact maakt het helaas weinig uit of het technisch te achterhalen valt. Als je al bepaalde positieve of negatieve opvattingen over een persoon hebt dan zal de video zijn nut bewijzen en de experts die anders beweren zijn "100% aan het liegen en omgekocht om de affaire in de doofpot te stoppen". Een paar nieuwe video's die uitleggen waarom de video wel echt is en de exposure is nog groter geworden.

Ik denk daarom dat ook al zou men in staat zijn om een versie te maken waarvan niet te achterhalen valt of het namaak betreft dat men dat toch kiest voor een mindere versie om "het is nep"-reacties uit te lokken.

[Reactie gewijzigd door sampoo op 26 mei 2019 18:20]

Er is een aflevering van Sliders die dit goed weergeeft. Ik denk dat onze kinderen en kleinkinderen hun leven niet zeker zullen zijn. Kunnen elk moment verdacht worden van KP, en andere smurrie zoals overvallen enzovoort.
Op het moment dat fake video niet meer te onderscheiden is van authentieke video (wat ik niet zie gebeuren, maar stel) kan video niet meer als bewijs worden toegelaten natuurlijk. Tenminste, in situaties waarbij dit überhaupt mogelijk is. Een beveiligingscamera bij een bankoverval is betrouwbaarder dan een darkwebvideo waarbij de producenten een belang hebben bij het veranderen van het bronmateriaal.

In een zich veranderende maatschappij zul je altijd nieuwe situaties tegenkomen waarbij er dus navenante tegenmaatregelen moeten worden bedacht.
Ja overleden acteurs tot leven wekken
Peter Cushing als Grand Moff Tarkin SPOILERS IN !!
https://www.youtube.com/watch?v=xMB2sLwz0Do
Heel gaaf, maar dit is een totaal andere techniek dan die hier beschreven wordt.
Zelfse techniek als waarmee ze de digitale karakter in Avatar hebben geanimeerd. Natuurlijk een sterk staaltje dat ze het zo natuurgetrouw hebben gekregen.
Nou lijkt me simpel, toch? Games, bijvoorbeeld? Ik heb het dan over de console-achtige games met name, met veel coole arrogante personages en netflix-serie-achtige cutscenes. Je ontwerpt dan een zeer gespierd, kaal, onverstoorbaar en supercool rolemodel character, die model je 1x in 3d, en vervolgens laat je een echte acteur de zinnetjes inspreken, er dreigend en onaanraakbaar bij kijken enzo, plak die animaties ervan op het 3d model van je superhero met deze 'kunstmatige intelligentie', en je hebt weer een volgende iteratie van de best-selling Kratos / Assassins creed achtige game. Goed businessmodel.

[Reactie gewijzigd door Znorkus op 26 mei 2019 13:13]

Dat kan nu al, zonder deze techniek. Kijk bv naar de film Avatar.
Dat heet motion capturing en facial expression capturing.
Dat gebeurt allang, daar is deze techniek niet voor nodig.
Gaming, Films;

Acteurs kunnen zich nu laten inscannen en dat is alles dat ze hoeven te doen. De rest wordt gegenereerd en niet alleen voor die film of game maar voor alle toekomstige. Acteurs verworden dus tot eenmalige modellen en het IP komt bij de mediabedrijven te liggen. Kortom acteurs worden uitgefaseerd en computers nemen het over. Alles veel goedkoper en in lijn met het kapatalistisch model.

Is dat positief? Dat is subjectief ;) Maar het gaat wel die kant op en voor een generatie die nu al liever naar game avatars in een youtube stream staren dan naar echte mensen in een film is het slechts evolutie.

Star Citizen heeft trouwens een soortgelijke techniek waarbij jouw gelaatsuitingen in-game worden geprojecteerd op je avatar.
Iemand in een kwaad daglicht zetten kan nu ook met computer-rendered video, nou, dat zal wat teweegbrengen.
Ik zie wel enige mogeljikheden voor avatar-gebaseerde werelden als WoW of Second Life als verlengstuk van social media.

[Reactie gewijzigd door blorf op 26 mei 2019 16:10]

Het gaat hier niet altijd zozeer om wat je direct ziet, en denkt wat er met deze exacte techniek gedaan kan worden. Het gaat er meer om hoe deze techniek generaliseert naar andere toepassingsvelden.
Dit is net zoiets als zeggen "kan iemand mij de zin van boeken uitleggen anders dan het plaatsen van valse citaten om anderen in een kwaad daglicht te plaatsen?"
Nou...nee. Vervalsing is niet de essentie van het boek of de drukpers. Met een boek kon meer en efficiënter dan met stenen of houten tabletten informatie vastgelegd worden. Met de drukpers kon deze informatie exponentieel sneller vermenigvuldigd worden en daarmee sneller en goedkoper verspreid worden.
En natuurlijk kon er óók misinformatie mee verspreid worden. Echter lijkt misinformatie het primaire doel van deze techniek. Nog niemand hierboven heeft een andere toepassing genoemd.
Dat is mijn hele punt: er zijn legio mogelijkheden voor deze techniek. Denk aan chats, voicemails, entertainment, nasynchronisatie van films, virtuele assistenten, etc...
Je hebt een punt, maar ik blijf het bijzonder vinden. Waarom niet met artificial gezichten werken ipv echte?
Ik kan ook niet zo snel een positieve kant bedenken. Als er medewerking van de geanimeerde is kun je beter een 3d scan maken. Dat geeft toch een beter resultaat.
Het is natuurlijk mooi om te zien hoe goed deze techniek wordt, maar vind het zelf eerlijk gezegd ook wel een 'gevaarlijke' kant hebben. Stel je neemt een (extremistische) video en laat vervolgens een andere politicus in het filmpje zien. Dat kan ernstige gevolgen hebben. Zeker in het huidige tijdperk waarbij mensen zich laten leiden door eerste indrukken en vaak rondom 'nieuws'niet verder kijken dan hun neus lang is...
Gevaarlijk is het goede woord. Ik ben sinds kort helemaal om, met alu-hoedje of niet. AI is de meest uitdagende en risicovolle ontwikkeling van dit moment. Vergeet kernwapens, klimaatopwarming of gentech. Elon Musk krijgt het er ook doodsbenauwd van. Leuke long read voor de zondag:

https://waitbutwhy.com/2015/01/artificial-intelligence-revolution-1.html
> Vergeet kernwapens, klimaatopwarming of gentech

Ben het op zich wel met je eens dat het zeker iets om zeer goed in de gaten te houden, en best wel griezelige kanten heeft, maar klimaatopwarming vergeten lijkt me (zeker voor een laag wonende nederlander) absoluut geen goed idee. Al die roestige kernwapens met hun falende control systems in de voormalige USSR (en trouwens in de US is alle tech ook al aardig aan het brokkelen) zijn ook best wel eng trouwens.

Zullen we de enge kanten van AI gewoon aan het lijstje toevoegen? Whynotboth.gif
Interesant artikel inderdaad. Tnx
Precies wat ik dacht, wat probeert men hier eigenlijk wel mee te bereiken? Enige wat ik kan bedenken is een showcase voor de AI engine (want het is wel heel vet :) ).
Dat kan al lang, tegenwoordig plakken ze zo een hoofd op een ander lichaam in een filmpje en je moet wel heel goed kijken om te zien dat het niet echt is
Zag al wat gifjes her en der langskomen dit weekend. Zeer indrukwekkend. Kwestie van tijd voor dit een App wordt op een galaxy Sxx telefoon?
Zo hoeft niemand meer naar de plastisch chirurg, kies model, en klaar. Goed voor het zelfbeeld, mits men niet meer in de spiegel kijkt. Zo kunnen we nieuwslezers en andere zaken laten overnemen. Hoe kunnen we straks echt beeld van gemaakt beeld onderscheiden? We gaan een mooie vreemde wereld tegemoet.
Haha Jup ken die ellende al van Tinder. Filtertje erover en het is ineens een heel knappe vrouw.
Of gewoon hondenbek eroverheen, lapje om de mond, nep sproetjes.

En dan vervolgens geen enkele foto van hoe ze er daadwerkelijk uit zien. Tinder blijft Tinder.
En dan heel teleurgesteld zijn als ze niet echt een hondenbek heeft. Of juist wel. :?
Klopt :Y) weleens jammer is dat.
Dit soort technieken zal ervoor zorgen dat meer en meer mensen moeite hebben om “echt” van “nep” nieuws te onderscheiden. Nu kan je nog zeggen dat bewegend beeld lastig is te vervalsen. Maar straks is het niet meer te onderscheiden.

Los van alle mooie dingen is dit een krachtige tool voor false flag operaties.
Ik denk dat wanneer dit echt overtuigend gaat worden, dat er een systeem moet worden uitgevonden waarbij men kan een video kan authentiseren. Wellicht software die imperfecties of andere minuscule fouten kan detecteren. Ik kan me ook voorstellen dat er een soort authenticatie komt, waarbij een (politiek) belangrijk persoon eerst een code opgeeft om een video "officieel" te maken. Misbruik van deze techniek ligt natuurlijk flink voor de hand. Maar dat is met meer ontwikkelingen zo. Over een jaar of 40 heb je misschien niet eens meer acteurs en actrices, maar scannen ze een gezicht in en laten de computer vervolgens levensecht de beelden vullen. Je kan het mooi, stom, bijzonder of gevaarlijk vinden, maar het zit er wel allemaal aan te komen.
Iedereen overschakelen op gebarentaal. Wordt een ietsjepietsje lastiger om na te doen? :+
Wel een leuk ding wat je aanhaalt. Je kunt hiermee ook iemand een andere taal laten praten. Zeker nu die spraak cloning software ook zo goed wordt.
Deze techniek wordt ook mooi in beeld gebracht in de film "The Congress". Een actrice wordt gescanned zodat zij nooit meer bij filmopnames aanwezig hoeft te zijn en wel in nieuwe films op het doek verschijnt.
https://en.wikipedia.org/wiki/The_Congress_%282013_film%29
Wat mij trouwens super vet lijkt; als we dmv een diepte camera, zoals met Animoji, gezichtsuitdrukkingen kunnen simuleren op digitale karakters in multiplayer games🤘🏻
Yeah. Vet! Dat had ik nog niet gezien.
Zou alleen nog niet je geld gaan uitgeven aan de game, die gasten geven feature reep een nieuwe definitie, ik vraag mij af ze de game ooit volledig kunnen releasen 8)7 8)7
Ik heb hem ook niet aangezien ik geen gaming pc meer heb ;) Zie wel regelmatig filmpjes dat je denkt; tering wat ambitieus.

[Reactie gewijzigd door nms2003 op 27 mei 2019 09:48]

Het is ondertussen ook al bekroond tot de grootste scam uit de gaming geschiedenis. Leuk feitje, het spel is al sinds 2012 in ontwikkeling.
Is het ook niet speelbaar dan? Ik dacht dat het een early access titel was.


Om te kunnen reageren moet je ingelogd zijn


OnePlus 7 Pro (8GB intern) Microsoft Xbox One S All-Digital Edition LG OLED C9 Google Pixel 3a XL FIFA 19 Samsung Galaxy S10 Sony PlayStation 5 Consoles

Tweakers vormt samen met Tweakers Elect, Hardware.Info, Autotrack, Nationale Vacaturebank, Intermediair en Independer de Persgroep Online Services B.V.
Alle rechten voorbehouden © 1998 - 2019 Hosting door True