Epic Games laat gebruikers MetaHuman-personages animeren met iPhone-camera

Epic Games laat ontwikkelaars binnenkort hun MetaHuman-personages animeren. Met de MetaHuman Animator kunnen gebruikers realistische gezichtsuitdrukkingen vastleggen met een iPhone-camera en deze vervolgens toevoegen aan hun digitale personage.

De MetaHuman Animator-functie komt 'in de komende maanden' beschikbaar via de MetaHuman-plug-in voor Unreal Engine. Met de functie kunnen gebruikers met een iPhone of professionele helmet-mounted camera's hun gezicht opnemen. Die opname kunnen vervolgens gebruikt worden om MetaHuman-personages te voorzien van realistische gezichtsuitdrukkingen. Die personages kunnen vervolgens gebruikt worden in games. Het is ook mogelijk om motion capture-beelden van lichaamsbewegingen via timestamps te combineren met de gezichtsuitdrukkingen, schrijft Epic Games.

Epic demonstreerde tijdens zijn State of Unreal-presentatie hoe gebruikers met een iPhone-camera op een statief hun gezicht kunnen filmen. De acteur achter Senua uit de Hellblade-games gaf daarbij een demonstratie waarin ze verschillende gezichtsuitdrukkingen nadeed, die vervolgens werden gebruikt op verschillende MetaHuman-personages. Epic toonde ook een voorbeeld van gezichtsanimaties in de nieuwe Hellblade-game, die in 2019 werd aangekondigd maar nog altijd geen releasedatum heeft.

Om de animatiefunctie te gebruiken met een iPhone, dienen gebruikers de bijbehorende Live Link Face-app te gebruiken. De app werkt op een iPhone 11 of nieuwer, zo meldt Epic Games op maandag. De functie is gratis te gebruiken, net als de MetaHuman Creator voor het creëren van realistische personages.

Epic Games introduceerde de MetaHuman-functie in 2021. De functie moet ontwikkelaars in staat stellen gemakkelijk realistische digitale mensen te creëren, die vervolgens gebruikt kunnen worden in games, films of andere digitale content. De feature kwam aanvankelijk beschikbaar als web-app, maar werd later via een plug-in toegevoegd aan de Unreal Engine.

Reacties (12)

[Scriptkid]

Super vet nu nog mocap toevoegen op basis van 3 webcams en we zijn helemaal super blij.

Kunnen we animatie en movement zelf capturen zonder een duure complexe setup

[Reactie gewijzigd door Scriptkid op 22 juli 2024 18:20]

[Asitis]

Er zijn al meerdere apps die je op een telefoon met AR-mogelijkheden kunt gebruiken om motion data uit een gefilmd clipje te halen.

[Bulls]

Ik voorzie eigen skins voor fortnite

[Fireshade]

Het gaat hier om mocap data die in minuten toepasbaar is en met bijv. een iPhone camera opgenomen kan worden, ipv na een maand na opschonen en corrigeren, en superdure mocap rigs te gebruiken.
Hoe kom je op skins?

[Bulls]

Eigen skin en dansje uploaden en gaan met die banaan

[PjotrX]

Zelf niet geprobeerd maar op Twitter veel solo game ontwikkelaars gezien die move.ai gebruiken voor mocap.

[Anoniem: 1849202]

Voor de mensen die het interessant lijken, zo hebben ze het geregeld bij de grootste Japanse Vtuber (Virtual Youtuber) organisatie Hololive:
https://www.youtube.com/watch?v=nARBc054hjQ

Wellicht dat daar nu intussen iets aan gewijzigd is aan de set-up, maar het was voor mij wel interessant om te zien hoe ze dit nou precies ingeregeld hadden. Voor de Youtubers die thuiszitten gebruiken ze zover ik begrijp een iPhone met een eigen stuk software erop waarin ze van alles kunnen aanpassen zoals outfits, expressies en überhaupt het model zelf.

Voor de live shows gaat het een stukje verder met de hardware die je in de video terugziet zoals een VR-set.

Voor de kattenliefhebbers een voorbeeld van een show :
https://youtu.be/lZGqBUSvF4s?t=5091

[YopY]

Die video lijkt met een camcorder uit de jaren 90 gemaakt

[ghalid]

https://m.youtube.com/watch?v=K1qG8pREfkA

Hellblade 2 MetaHuman Unreal 5

[Reactie gewijzigd door ghalid op 22 juli 2024 18:20]

[JeffZorz]

Ik krijg er een behoorlijk uncanny valley gevoel bij. Volgens mij beweegt de mond niet helemaal natuurlijk.

[Waah]

Op zich is dat niet vreemd. Bij "gewone" motion capture is dit vaak al het geval. En voor wat ik weet (en dat is niet veel) is motion capture vaak 5 minuten filmen, en vervolgens uren of dagen aan "cleanup" van de motion capture data.

[batteries4ever]

Het is ook nog versie 1.0. Ik denk dat over een paar jaar dit soort fouten alweer heel wat minder wordt, maar het blijft natuurlijk een stukje simulatie.