如果僅僅使用iPhone和電腦,，就可以捕捉演員的表演,，并在幾分鐘內(nèi)將它轉(zhuǎn)變成高保真MetaHuman面部動畫，你會有何想法,？

有了MetaHuman Animator,，你就可以做到,！

在GDC 2023上UE首次向公眾展示了這套快速、簡便的數(shù)字人類管線,，其最新版本為MetaHuman帶來了高保真表演捕捉,。

MetaHuman Animator是UE新推出的功能集，允許你使用iPhone或立體頭戴式攝像機系統(tǒng)（HMC）捕捉演員的表演,，并以高保真面部動畫的形式將其應用至任何MetaHuman角色,，全程無需你手動干預。

每個微妙的表情,、神態(tài)和情緒都會被精確地捕捉下來,，忠實地還原到你的數(shù)字人類上。更棒的地方在于,，它實現(xiàn)這些出色結(jié)果的方式簡單明了——任何人都可以完成這項任務,。

如果你不熟悉表演捕捉，MetaHuman Animator將為你提供一種便利的方式,，讓你為MetaHuman帶去基于真實表演的面部動畫,。

如果你已經(jīng)比較了解表演捕捉，這套新的功能集仍可大幅改善你現(xiàn)有的捕捉工作流程,，幫助你節(jié)省時間和精力,，為你提供更強大的創(chuàng)意可控性。你只需將MetaHuman Animator與你現(xiàn)有的垂直立體頭戴式攝像機搭配在一起,，即可實現(xiàn)更高的視覺保真度,。

制作高保真面部動畫的簡單方法

以前，需要一組專家花上幾個月的時間,，才能在數(shù)字角色上忠實重現(xiàn)演員表演中的每一個細微之處?，F(xiàn)在,，MetaHuman Animator將在極短的時間里為你完成這項艱難的工作——整個過程毫不費力,。

新的功能集通過使用4D解算器，將視頻及深度數(shù)據(jù)與表演者的MetaHuman代表模型結(jié)合在了一起,。動畫是使用GPU硬件在本地生成的,，幾分鐘內(nèi)即可得到最終動畫。

但這一切都發(fā)生在幕后,，對你來說,，整個過程幾乎就是將攝像機對準演員，然后按下錄制鍵,。捕捉完畢后,，MetaHuman Animator可以準確地將演員表演中的個性和細微之處復制到任何MetaHuman角色上。

更重要的是,，動畫數(shù)據(jù)在語義上是正確的,，它會使用合適的綁定控制點,，在時間上保持連貫，并且具有流暢的控制過渡,，因此,，如果你想修改動畫，可以很容易地做出美術(shù)方面的調(diào)整,。

想看看在使用高端設(shè)備時,，MetaHuman Animator有哪些潛力嗎？

歡迎了解一下Blue Dot項目,。這部短片由Epic Games的3Lateral團隊與塞爾維亞當?shù)氐乃囆g(shù)家合作拍攝,，其中就包括知名演員Radivoje Bukvi?。他在短片中朗誦了一段由Mika Antic的詩歌改編的獨白,。他的表演是在Take One工作室的動捕舞臺上拍攝的,，由電影攝影師Ivan ?ijak擔任攝影導演。

這一細膩動人的成果展示了藝術(shù)家和電影人在使用MetaHuman Animator,、立體頭戴式攝影系統(tǒng)及傳統(tǒng)電影制作技術(shù)時,，能夠達到怎樣的保真度。

而且,，該團隊只在MetaHuman Animator的結(jié)果基礎(chǔ)上做了少量處理就達到了如此令人印象深刻的動畫品質(zhì),。

可用于任何MetaHuman的面部動畫

只需幾次點擊，即可將你使用MetaHuman Animator捕捉的面部動畫應用于任何MetaHuman角色或任何采用了新MetaHuman面部描述標準的角色,。

這意味著,，你可以按照自己想要的方式設(shè)計角色，并胸有成竹地知道,，應用于角色的面部動畫將正常工作,。

從技術(shù)角度看，這是切實可行的,，因為“網(wǎng)格體轉(zhuǎn)MetaHuman”功能如今能夠僅僅通過視頻中的三個幀以及深度數(shù)據(jù)（可以使用iPhone捕捉,，也可以通過重建垂直立體頭戴式攝像機的數(shù)據(jù)得到）創(chuàng)建MetaHuman身份。

這使解算器能夠針對演員實現(xiàn)個性化,，讓MetaHuman Animator生成可用于任何MetaHuman角色的動畫,。它甚至可以使用音頻生成惟妙惟肖的口型動畫。

使用iPhone進行捕捉

UE希望將只有專家通過高端捕捉系統(tǒng)才能實現(xiàn)的面部表演捕捉開放給所有創(chuàng)作者,。

在最簡單的情況下,，你只需要準備一部iPhone（12或更新型號）和一臺桌面電腦，就可以使用MetaHuman Animator,。這不是天方夜譚,，因為UE已經(jīng)更新了Live Link Face iOS應用，它可以捕捉原始視頻和深度數(shù)據(jù)，然后在設(shè)備中直接將它們傳給虛幻引擎進行處理,。

MetaHuman Animator還可以搭配使用現(xiàn)有的垂直立體頭戴式攝像機系統(tǒng),，實現(xiàn)更高的保真度。

無論你使用的是iPhone還是立體HMC,，MetaHuman Animator都將為你改善捕捉工作流程的速度和便利性,。這讓你可以根據(jù)拍攝要求和希望達到的視覺保真度水平，靈活選擇最適合的硬件,。

捕捉的動畫數(shù)據(jù)支持時間碼,，因此面部表演動畫可以很容易地與身體動作捕捉及音頻對齊，創(chuàng)造完整的角色表演,。

在片場做出創(chuàng)意選擇的理想工具

MetaHuman Animator可完美滿足在片場迭代創(chuàng)意的需求,，因為它允許你快速處理面部動畫，然后將其轉(zhuǎn)移給任何MetaHuman角色,。

需要演員更進一步,，挖掘不同的情感，或者簡單地探索新方向,？那就讓他們再拍攝一次,。等上制作一杯咖啡的時間，你就能檢查結(jié)果,。

在拍攝期間,，通過直接在虛幻引擎中檢查動畫數(shù)據(jù)，你可以在為角色制作最終動畫之前評估捕捉的質(zhì)量,。

而且,，由于在演員離開舞臺之前就可以重新進行拍攝，你將當場得到最好的拍攝結(jié)果,，無需在接下來的某個時間里承擔讓所有人返工的金錢和時間成本,。

使用新的網(wǎng)格體轉(zhuǎn)MetaHuman工作流程定制角色

然而，該版本的改進不僅僅是推出了MetaHuman Animator,。UE還擴展了網(wǎng)格體轉(zhuǎn)MetaHuman功能,，你現(xiàn)在可以直接設(shè)置模板網(wǎng)格體上的控制點位置。

網(wǎng)格體轉(zhuǎn)MetaHuman功能通過執(zhí)行匹配流程,，可以使用任何拓撲結(jié)構(gòu),，但這樣做的結(jié)果必然只能達到與你輸入的網(wǎng)格體體積相接近的程度,。而在這個版本中,，你可以設(shè)置模板網(wǎng)格體，只要它嚴格符合MetaHuman的拓撲結(jié)構(gòu),，你就能精確綁定這個網(wǎng)格體，而不是得到一個近似結(jié)果,。

再結(jié)合DNA校準功能為網(wǎng)格體和關(guān)節(jié)設(shè)置中性姿勢,，專家們將能夠快速集中精力創(chuàng)造自定義角色,。

本文轉(zhuǎn)自虛幻引擎官網(wǎng)~