Bedrijf claimt doorbraak in realistische gezichtsanimatie

Volgens Image Metrics, de maker van de Grand Theft Auto IV-animaties, zijn karakters met levensechte gezichten niet ver meer weg. Het bedrijf heeft de demovideo 'Emily' vrijgegeven om deze stelling te onderstrepen.

Momenteel geschiedt het modelleren van gelaatsuitdrukkingen voor gamekarakters veelal via op het gezicht geplaatste sensoren. Voor de ervaring van realisme blijken echter de oogbewegingen het belangrijkst te zijn, zoals de manier en de frequentie van het knipperen en de manier waarop de huid rond de ogen rimpelt bij het vertrekken van het gelaat. Het nauwkeurig modelleren hiervan is een probleem als sensors worden gebruikt, dus ontwikkelde Image Metrics in samenwerking met de University of Southern California een techniek waarbij video's van acteurs tot op pixelniveau worden geanalyseerd.

Ook voor de technologie van Image Metrics is het realistisch maken van oogbewegingen overigens geen peulenschil. 'Negentig procent van ons werk wordt besteed aan het overtuigen van mensen dat de ogen echt zijn', vertelde coo Mike Starkenburg aan The Times. De techniek behelst het in stukken opdelen van bepaalde gezichtsbewegingen, wat meer controle over bepaalde bewegingen oplevert. Behalve voor de ogen zijn er ook zogeheten control systems voor mondbewegingen en voor de asymmetrische spierbewegingen in het gezicht. Dat zijn imperfecties die misschien onbelangrijk lijken, maar die volgens Starkenburg wel zorgen dat een gezicht natuurlijk overkomt.

Bij het streven naar realisme worden animators geconfronteerd met een barrière die ze de uncanny valley noemen: het benaderen van realisme in een gezicht kan de karakters juist zombieachtig doen overkomen, wat vaak reden is om de gezichten dan maar te versimpelen. Image Metrics denkt dat deze hindernis met zijn technologie kan worden geslecht. Vooralsnog lijkt de in onderstaande video uitgelegde en gedemonstreerde techniek in games beperkt te zijn tot het gebruik in voorgebakken cutscenes. Als er maar voldoende materiaal wordt geanalyseerd, zou de technologie te zijner tijd echter ook in-game voor interactieve karakters gebruikt kunnen worden.

Demonstratievideo, opgenomen met behulp van 'poster child' Emily O'Brien

Reacties (44)

[Solstice]

ik ben onder de indruk. Maar waar het fout gaat zijn altijd 2 moeilijke zaken:
1. knipperen met de ogen. Dat doet ze niet echt.
2. schaduw spel rond de mond en neus klopt niet met de bewegingen.
3. oog bewegingen zijn te abrupt klik beweging.

Dit zijn zeer subtiele dingen die we niet direct echt zien. Maar geeft wel een soort "er klopt iets niet helemaal".

Daarom als ze een groene alien zou zijn met voelsprieten etc. dat het ons minder opvalt dat ze niet natuurlijk is. (andere regels schaduw en ogen).

Echter is dit een van de beste die ik heb gezien. En voor liplezen zou deze animatie best aardig in de buurt komen ter ondersteuning van Doven en Slechthorenden.
Synface (http://www.synface.com/) met deze techniek lijkt me echt geweldig.
(ik heb gewerkt met Synface toen het een project was voor NL).

[Zjosh]

Op de website die onder het filmpje genoemd wordt is een iets hogere resolutie filmpje te zien, waarbij echt en nep naast elkaar staan... Daar kan je wel beter zien dat het goed is, maar niet perfect... vooral van die kleine rimpeltjes die ontstaan bij lachen en boos kijken zijn er allemaal niet...

[snoopdoge90]

Er staat een beter filmpje op de site waarnaar gelinkt wordt in het artikel: http://www.emilyobrien.net/projects/image_metrics.php. Duidelijker dan het youtube filmpje. Erg indrukwekkend!

[Rembert]

Dat filmpje onderaan de pagina is inderdaad een stuk duidelijker. Heel mooi hoe de emoties worden geinterpreteerd en uiteindelijk worden weergegeven in de animatie. Het is nu nog copieren maar als het uiteindelijk echt computer generated gaat worden...

Met al die sensoren wordt het een stuk makkelijker om behoorlijk realistische films te maken waarbij het stomweg te gevaarlijk of volkomen ondoenlijk is om daar echte mensen voor te gebruiken. Op dit moment blijf je een gevoel houden "er klopt ergens iets niet".

Wat ik me wel afvraag, is dit voor alle etnische groepen gelijk? Nederlanders (autochtone) hebben nauwelijks moeite om andere Nederlanders uit elkaar te houden terwijl alle Japanners er allemaal ongeveer hetzelfde uit lijken te zien. Voor Japanners blijkt dit precies andersom: ze hebben nauwelijks moeite om Japanners uit elkaar te houden maar bv. Nederlanders uit elkaar houden is een ander verhaal: ze lijken zo op elkaar. De verschillende ethniciteiten gebruiken verschillende clues om mensen te herkennen - ik kan me zo voorstellen dat dit ook geldt voor emotie herkenning en het gevoel van 'het klopt wel/niet'.

[Verwijderd]

Mooi alleen vind het haar niet echt realistisch in vergelijking met de foto.

Ook haar ogen reageren niet 100% het zelfde as het origineel

[Reactie gewijzigd door Verwijderd op 27 juli 2024 00:46]

[Verwijderd]

Het probleem is dat het er wel vrij goed uit ziet, maar net niet goed genoeg. En dat 'net niet' is waardoor mensen denken "brrrr... daar gaat iets helemaal fout".

In het geval van deze video is het moeilijk te identificeren, maar onder andere...
- de neus lijkt platgedrukt
- de belichting is net even anders dan de rest
- haar gezicht 'beweegt' ten opzichte van haar hoofd.

Het is wel stukken beter dan eerdere pogingen op het gebied van semi-automatisme, maar het blijft toch -net niet- goed genoeg.

Mettertijd, mettertijd..

[Verwijderd]

Toch vraag ik me af, had je die fouten ook gezien als je niet had geweten dat het een animatie was? Als je eenmaal weet dat iets niet echt is zal je naar fouten gaan zoeken en altijd wel wat vinden. Maar wat als dit zomaar in een kort interviewtje op TV was langsgekomen, had je dan ook gezien dat de belichting anders is of de neus is platgedrukt, of had je er dan geen aandacht aan besteed en nooit te weten gekomen dat het een animatie was?

[MneoreJ]

Nou, het grappige is dat ik het filmpje afspeelde (op default formaat) zonder te weten dat het dus een simulatie was. En ik had het pas na een seconde of tien door. Het meest opvallende voor mij is wel dat de ogen te langzaam knipperen, en niet altijd op het goede moment.

Laat niet af dat dit een hele sprong voorwaarts is ten opzichte van zo'n beetje al het andere. Beste gezichtsanimatie tot nu toe vind ik die in de Half-Life 2 serie (en bijbehorende engine) -- je ziet dat de gezichten niet echt zijn, maar het stoort niet, en emoties komen goed over. Subtiele expressiviteit is iets waar de meeste spellen zwaar op onderuit gaan; karakters kijken altijd alsof ze een moeilijke stoelgang hebben of grijnzen erbij als idioten.

Aan de andere kant: fotorealisme is ook maar een ding. Het is absoluut geen beperking voor designers om gezichten te hebben die er niet exact volmaakt menselijk uitzien, integendeel zelfs. Als alles er fotorealistisch uitziet valt er juist minder te beleven op grafisch gebied.

[Verwijderd]

Dat vraag ik me ook af maar over het algemeen merk ik dat vrij snel maar idd het ziet er wel heel goed uit maar vooral de ogen en vaak ook de lippen zien er vreemd uit.

Ook het haar ziet er vaak te perfect uit om echt te zijn maar dat is altijd twijfelachtig maar het zou wel nice zijn als dit soort animatie terug zullen komen in games en zo het is toch iets waar ik me vaak aan stoor dat het vaak erg slecht is...

[Verwijderd]

Yup - toen ik 'm voor het eerst zag dacht ik dat het gewoon een interviewtje was, waarna er een scherm zou komen.. maar ondertussen had ik al het idee dat er iets mis was met die persoon, om vervolgens al snel door te krijgen dat die interview de eigenlijke demo was, lang voor het laatste segment.

Was ik voor een paar seconden gefopt? zeker
Zou ik me er aan storen als dit ergens anders gebruikt zou worden? ook zeker.

Als ze dat laatste beetje fixen in het automatisme, dan zullen ze mij ook zeker voor langere tijd foppen; films e.d. doen dat al, maar daar zitten mensen nog handmatig de boel te matchmoven, belichten, blenden, etc.

[oeLangOetan]

Toch is het zeer sterk, dit is realtime gerenderd met amd hardware. Als dit soort animatie & visuals in toekomstige games de norm wordt dan zijn we alweer een grote stap vooruit.

[vgroenewold]

Nou, ik snap je punten en als ik het opnieuw afspeel zie ik ze inderdaad, maar ik had eigenlijk pas het idee dat het een animatie was toen men het gezicht overduidelijk veranderde, ik ben behoorlijk onder de indruk eigenlijk. Het is nog niet perfect, maar duidelijk een grote stap voorwaarts.

[SuperDre]

ahh. grappig dat je zegt dat het haar niet realistisch is... Het enige wat namelijk CGI is is het gezicht zelf.. dus het lijf en de rest van het hoofd is gewoon video...

[Superfly]

Mooi alleen vind het haar niet echt realistisch in vergelijking met de foto.

Voor zover ik het doel van het filmpje begrijp is alleen het gezicht geanimeerd, de rest is gelaten zoals het was in de originele opname. Haar haar is dus echt... maar misschien had ze een bad hairday

Het filmpje op de site (waarvan de link onder het youtube window staat) is wat mij betreft een stuk duidelijker in het weergeven wat de status van Image Metrics animatie is, en daar is goed te zien dat bepaalde gezichtsuitdrukkingen nog diep in de uncanny valley zitten.

edit:
zinsbouw

[Reactie gewijzigd door Superfly op 27 juli 2024 00:46]

[Verwijderd]

Voor zover ik het doel van het filmpje begrijp is alleen het gezicht geanimeerd, de rest is gelaten zoals het was in de originele opname. Haar haar is dus echt... maar misschien had ze een bad hairday

En zo zie je maar hoe subjectief die verhalen over realisme zijn. Puur omdat mensen weten dat het CG is, komen er verhalen van "Mwa, je kan zien dat het niet echt is." Zelfs over dingen die, zoals in dit geval, wel degelijk echt zijn.

[Kaastosti]

Ik vind het erg knap, zou nooit denken dat het animatie is! Waardoor we ook meteen weer moeten gaan twijfelen aan alles wordt ons wordt aangeboden via de media... deze is behoorlijk overtuigend, het wachten is op het eerste serieuze misbruik van deze techniek, helaas.

[brompot758]

Dit is voor games. Bij het maken van film/video waar je niet real time hoeft te renderen kan het al veel langer. Kijk bijvoorbeeld naar Shrek. Daar moesten ze het realisme niveau terugbrengen omdat anders niemand meer geloofde dat het om animatie ging.

[Keneo]

nee, bij shrek moesten ze het realisme niveau terugbrengen omdat ze anders in de uncanny valley zaten met hun animatie, en dat wil je dus niet, ofwel superrealistisch (zoals 'the final flight of the osiris') ofwel iets minder (zoals shrek dus) ertussenin vinden de mensen een beetje 'vies'

[Reactie gewijzigd door Keneo op 27 juli 2024 00:46]

[BartOtten]

Nee, want die groene trollen komen we ook regelmatig tegen in de supermarkt

Troll @ Tweakerssss

[Reactie gewijzigd door BartOtten op 27 juli 2024 00:46]

[Verwijderd]

Zeker wel een stap vooruit. Ogen zijn nog niet perfect, maar de rest ziet er zeer goed uit.

[.zolder]

Weinig met Image Metrics te maken, maar ik vind dit filmpje van zgn. face retargeting erg vermakelijk http://www.gametrailers.com/player/38046.html

[iwaarden]

In GTAIV zie je het nog niet echt terug dat ze goed zijn in facial animations, dan vind ik halflife-2 stukken beter en die is ook al weer 4 jaar oud.

[Noxious]

Dat staat er dan ook helemaal niet
Ze hebben alleen de animaties gedaan. Voor een titel als GTA is zoveel realisme (nog) niet nodig.

[bulle bas]

Behoorlijk indrukwekkend. Ik denk wel dat dit model het een en ander wat makkelijker maakt, het gezicht is relatief simpel met weinig vormen en de huid is een beetje plastic maar dat zou je dan kunnen toeschrijven aan de make-up.
Ik denk dat een jongen wat moeilijker zal zijn.

[YopY]

Ik denk dat Sinterklaas zo goed als onmogelijk zal zijn, . Maar goed punt, glad gezicht is makkelijker te animeren dan Sinterklaas of andere ouwe mensen.

[Noxious]

Wow, het enige wat ik dacht 'die heeft een aardige laag makeup :P' maar had pas aan het einde door dat het een fake filmpje was. Had het artikel nog niet gelezen.

S1m0ne komt dichterbij
http://www.imdb.com/title/tt0258153/