數(shù)字人如何賺取流量？動(dòng)捕技術(shù)與虛幻引擎結(jié)合打造虛擬明星組合MAVE：
多媒體內(nèi)容制作公司Metaverse Entertainment承襲了Netmarble F&C的技術(shù)和Kakao Entertainment的敏銳,，具備足夠的能力與基礎(chǔ)設(shè)施制作電影和電視劇,，創(chuàng)造從視覺特效到虛擬人類的各種內(nèi)容，并將這些IP擴(kuò)展成各種形式,。
虛擬韓流樂隊(duì)MAVE:于2023年1月底推出了首部音樂視頻,。視頻發(fā)布后，她們?cè)陧n國(guó)的熱門音樂節(jié)目《Show,！音樂中心》中首次亮相,，掀起了一陣韓流音樂的新熱潮。MAVE:的角色逼真,，動(dòng)畫惟妙惟肖,，最關(guān)鍵的是音樂瑯瑯上口——這一切使她們贏得了廣泛的關(guān)注。截至撰寫這篇聚焦新聞時(shí),，MAVE:的音樂視頻播放量已突破2100萬次,，而她們舞臺(tái)首秀視頻的觀看記錄也達(dá)到了300萬次。MAVE:正在通過電視節(jié)目和社交媒體等各種方式與歌迷交流,。
在本文中Metaverse Entertainment的首席技術(shù)官兼理事Sungkoo Kang為我們介紹了Metaverse Entertainment如何利用虛幻引擎和MetaHuman創(chuàng)造真實(shí)的數(shù)字人類,，以及如何在短時(shí)間內(nèi)為多個(gè)平臺(tái)創(chuàng)造內(nèi)容,。
組建MAVE:的第一步應(yīng)該是創(chuàng)造樂隊(duì)成員。在創(chuàng)造數(shù)字角色時(shí),，你們的目標(biāo)是什么,？
創(chuàng)建四人虛擬樂隊(duì)MAVE:時(shí)，我們的目標(biāo)是創(chuàng)造有吸引力的角色,，她們都具有嶄新的面孔,，在世界上獨(dú)一無二。要?jiǎng)?chuàng)造有魅力的角色,，僅關(guān)注外貌是不夠的,，還必須考慮一系列面部表情，以應(yīng)對(duì)不同的情境,。因此,，我們集中精力，構(gòu)建并完善了一套管線和技術(shù)來實(shí)現(xiàn)這一目標(biāo),。
你們的角色是使用MetaHuman創(chuàng)造的,。能否說明一下為什么選擇這項(xiàng)技術(shù)？
正如我剛才提到的,，除了迷人的外貌,，要?jiǎng)?chuàng)造真實(shí)可信的角色，最重要的是針對(duì)不同的情境,，準(zhǔn)備一系列精致的面部表情,。然而，創(chuàng)建和修改這類面部表情是一項(xiàng)耗時(shí)且昂貴的任務(wù),，因?yàn)樗x不開綁定和建模,，并且需要反復(fù)修正和驗(yàn)證。因此,，Epic基于幾十年數(shù)字人類創(chuàng)造經(jīng)驗(yàn)開發(fā)出來的MetaHuman技術(shù)成了我們的完美選擇,。在我們的角色構(gòu)建管線中，它是至關(guān)重要的一環(huán),。
我們能夠通過MetaHuman面部綁定輕松創(chuàng)建我們想要的面部表情,，并在角色之間共用動(dòng)畫。此外,，我們還能夠參考Epic Games發(fā)布的《Rig Logic：MetaHuman面部綁定的運(yùn)行時(shí)評(píng)估》白皮書,，集中精力展開研發(fā)工作（例如，改進(jìn)控制綁定）,。同時(shí),，這項(xiàng)技術(shù)高度兼容NVIDIA的Audio2Face、iPhone的Live Link Face應(yīng)用,、Faceware和FACEGOOD等外部工具,，這使我們能夠共享底層的網(wǎng)格體拓?fù)浣Y(jié)構(gòu),、UV、關(guān)節(jié)結(jié)構(gòu)和功能按鈕,，從而應(yīng)用MetaHuman的動(dòng)畫,，并大幅減少實(shí)際制作時(shí)間。
你們?yōu)槭裁催x擇將虛幻引擎與MetaHuman搭配在一起使用,？
計(jì)劃MAVE:項(xiàng)目時(shí),，我們深入地思考了項(xiàng)目的定位以及我們希望該虛擬樂隊(duì)參加的活動(dòng)類型。內(nèi)容的制作效率是我們要考慮的頭等大事,。大量的活動(dòng)意味著需要制作大量?jī)?nèi)容,，這對(duì)制作效率提出了要求。如果無法滿足這種效率,，我們可能不得不在視覺質(zhì)量上做出妥協(xié),。因此我們選擇了虛幻引擎，它不僅能夠提供效率,，也帶來了優(yōu)秀的實(shí)時(shí)渲染質(zhì)量,。我們使用虛幻引擎擴(kuò)展了MAVE:在各個(gè)領(lǐng)域的活動(dòng)范圍，這包括在短時(shí)間內(nèi)制作一段跨媒體音樂視頻,，讓她們參與社交媒體活動(dòng),，并出演即將播出的電視節(jié)目和商業(yè)廣告。
社交媒體是進(jìn)行交流和創(chuàng)造紐帶的重要渠道,，為了利用它實(shí)現(xiàn)這些目標(biāo),，我們需要大量各種形式的優(yōu)質(zhì)內(nèi)容。因此我們選擇了虛幻引擎,，而非其他工具,。通過使用虛幻引擎，我們能夠創(chuàng)建各種形式的內(nèi)容,，包括逼真的圖像和視頻，用來在多個(gè)社交平臺(tái)上與歌迷互動(dòng),。
請(qǐng)介紹一下MAVE:各位角色的創(chuàng)造管線,。
MAVE:創(chuàng)造團(tuán)隊(duì)的專業(yè)人才具有各種不同的背景（例如，可能來自游戲和電影行業(yè)）,，因此團(tuán)隊(duì)成員可以根據(jù)自己的專長(zhǎng),，使用不同的DCC工具。舉例而言,，具有游戲行業(yè)背景的團(tuán)隊(duì)成員精通實(shí)時(shí)渲染,，而來自媒體與娛樂行業(yè)的成員則擁有視頻媒體制作方面的專業(yè)知識(shí)，所以我們建立了特殊的管線,，最大限度地發(fā)揮所有團(tuán)隊(duì)成員之間的協(xié)作效果,。
這套管線包含角色策劃和角色創(chuàng)建,。角色創(chuàng)建可以細(xì)分為多個(gè)具體的步驟，如建模,、創(chuàng)建和綁定面部表情,、創(chuàng)造頭發(fā)，以及校準(zhǔn)身體,。
我們會(huì)在角色策劃階段設(shè)計(jì)每位角色的外貌,。這個(gè)過程離不開與Kakao Entertainment專家的密切合作，在策劃成功的韓流樂隊(duì)方面,，他們有著豐富的經(jīng)驗(yàn),。然而，傳統(tǒng)韓流樂隊(duì)的成員選拔自現(xiàn)成的練習(xí)生人才庫,，其外貌由妝容和造型決定,。但對(duì)于虛擬樂隊(duì)而言，我們必須將虛擬人類塑造成有魅力的嶄新人物,，我們要關(guān)注的不僅僅是其外貌,，還有細(xì)致的面部表情、動(dòng)作和語言模式等,。
為了彌補(bǔ)這種差別,，并提供盡可能接近策劃團(tuán)隊(duì)原來環(huán)境的工作環(huán)境，制作團(tuán)隊(duì)構(gòu)建了一套管線,，允許他們使用GAN網(wǎng)絡(luò)自動(dòng)生成目標(biāo)圖片,，并手動(dòng)修改或組合特征向量。如此一來,，策劃團(tuán)隊(duì)無需從頭開始創(chuàng)造角色的外貌,，他們能夠選擇現(xiàn)有的角色，并依據(jù)策劃修改其參數(shù),。在打造成功的韓流樂隊(duì)方面,，策劃團(tuán)隊(duì)多年來已經(jīng)建立起了成熟的方案，他們通過分享與此相關(guān)的深刻見解,，為我們提供了幫助,。
由于角色風(fēng)格將直接影響面部模型，在展開面部定義步驟中的建模工作之前,，我們與熟悉韓流樂隊(duì)服裝和發(fā)型的專業(yè)造型師進(jìn)行合作,，確定了成功的造型。如果我們掃描真正的人類,，就能更快地創(chuàng)造出逼真的外貌,，但這也會(huì)帶來一些問題，比如很難找到看起來完全符合我們心意的人，還會(huì)存在肖像權(quán)問題,。所以我們使用建模工具創(chuàng)造了MAVE:的面孔,。
在面部表情的創(chuàng)建和修改步驟中，我們采用自己的工具分析了模型,，并利用每個(gè)面部區(qū)域的位置和大小信息以及肌肉運(yùn)動(dòng)信息自動(dòng)生成了大約800種面部表情,。整個(gè)過程差不多就是在輸入基本的網(wǎng)格體類型時(shí)自動(dòng)生成面部表情，與網(wǎng)格體轉(zhuǎn)MetaHuman插件的功能類似,。我們之所以開發(fā)了自己的工具,，是因?yàn)榫W(wǎng)格體轉(zhuǎn)MetaHuman插件當(dāng)時(shí)尚未發(fā)布，在根據(jù)需要修改算法和建立自動(dòng)化管線方面,，它對(duì)我們大有幫助,。
另外，作為對(duì)標(biāo)準(zhǔn)面部表情的補(bǔ)充,，我們還構(gòu)建了一項(xiàng)定制獨(dú)特面部表情的功能,，以反映角色的個(gè)性。添加這些新的面部表情需要合適的綁定,，所以我們?cè)谔摶靡嬷凶詣?dòng)生成了控制綁定,，并為角色設(shè)置了它們。
頭發(fā)基底是使用Maya的XGen工具集創(chuàng)建的,。虛幻引擎使用Groom渲染頭發(fā),，這個(gè)過程是實(shí)時(shí)的，但質(zhì)量非常高,，還為我們節(jié)省了大量時(shí)間,。然而，有時(shí)候,，我們不能使用Groom,，因?yàn)槲覀冃枰獙?shí)現(xiàn)更高的性能。為了應(yīng)對(duì)這種情況,，我們創(chuàng)建了一款工具,，將基于Groom的頭發(fā)轉(zhuǎn)變成發(fā)片。我們通過自動(dòng)化方式優(yōu)化了工作流程,，在修改和應(yīng)用發(fā)型時(shí),，不再需要手動(dòng)執(zhí)行任務(wù)（例如在轉(zhuǎn)變發(fā)型的過程中，如果綁定資產(chǎn)不存在,，就創(chuàng)建它）。
在身體校準(zhǔn)步驟中,，我們也采用了自動(dòng)化技術(shù),；我們還利用了幾十種校準(zhǔn)形狀，根據(jù)姿勢(shì)修改身體形狀。我們開發(fā)了一種新的解算算法,，以避免使用Maya徑向基函數(shù)解算器（RBF）時(shí)可能出現(xiàn)的問題（包括無法將層次結(jié)構(gòu)應(yīng)用于插值,，以及應(yīng)用精細(xì)設(shè)置時(shí)更有可能出現(xiàn)的非預(yù)期身體形狀）。
此外,，通過使用虛幻引擎的物理系統(tǒng),、布料模擬、AnimDynamic節(jié)點(diǎn)以及其他各種解決方案,，我們?cè)诜b和配飾中創(chuàng)造出了自然的反應(yīng),。團(tuán)隊(duì)還利用虛幻引擎對(duì)DMX的支持，成功地創(chuàng)造了一座壯觀的舞臺(tái),。
（左）應(yīng)用校準(zhǔn)形狀為手部形狀計(jì)算插值之前,；（右）應(yīng)用校準(zhǔn)形狀之后
籌劃并創(chuàng)造逼真的舞臺(tái)，將韓流音樂的激情與虛擬樂隊(duì)聯(lián)結(jié)在一起肯定充滿困難,。這個(gè)過程是怎樣的,？
為了創(chuàng)作能夠體現(xiàn)韓流情感的音樂視頻，我們與曾實(shí)際執(zhí)導(dǎo)過此類視頻的導(dǎo)演,、攝影指導(dǎo),、設(shè)備操控團(tuán)隊(duì)、搖臂操作員以及真人韓流舞蹈團(tuán)隊(duì)展開了合作,。我們還試著重現(xiàn)和提供了一個(gè)與傳統(tǒng)流程及條件完全相同的舞臺(tái)環(huán)境,，讓這支韓流制作團(tuán)隊(duì)能夠充分發(fā)揮其所長(zhǎng)。作為這項(xiàng)工作的一部分,，我們建造了一座大型（20米×20米×8米）視效中心,，以便在像實(shí)際音樂視頻布景那樣寬敞的空間中捕捉動(dòng)作，我們計(jì)劃捕捉的不僅僅是演員的表演,，還有實(shí)際拍攝設(shè)備的運(yùn)動(dòng)軌跡,，這樣一來，我們稍后就可以重現(xiàn)音樂視頻中眩目的運(yùn)鏡效果,。
演員們穿著動(dòng)作捕捉套裝表演舞蹈,，我們像拍攝真正的現(xiàn)場(chǎng)音樂表演那樣，將這一切記錄了下來,。這些使用Mo-Sys StarTracker追蹤的攝像機(jī)數(shù)據(jù)將用于直接在虛幻引擎中創(chuàng)建最終虛擬表演,，營(yíng)造一種真實(shí)可信的感覺。我們?cè)谔摶靡嬷蓄A(yù)覽了攝像機(jī)的角度和演員的動(dòng)作,，這讓我們可以即時(shí)在現(xiàn)場(chǎng)檢查結(jié)果,，然后在Vicon Shogun和虛幻引擎中同布錄制。
錄制的方式也與真正的韓流音樂視頻一樣,，同時(shí)捕捉了四名成員的表演,。我們首先使用攝像機(jī)現(xiàn)場(chǎng)拍攝的動(dòng)作捕捉數(shù)據(jù)編輯剪輯,，然后根據(jù)剪輯過的鏡頭整理動(dòng)作捕捉。這樣一來,，我們就能夠重點(diǎn)關(guān)注將在最終版本中實(shí)際使用的部分,。我們得到的動(dòng)作源自真實(shí)的人類，因此它們看上去更自然,。
請(qǐng)談?wù)凪AVE:即將推出的內(nèi)容,，以及Metaverse Entertainment的未來計(jì)劃。
作為利用虛幻引擎的虛擬明星,，MAVE:正在準(zhǔn)備將讓她們?cè)陧n流組合中脫穎而出的全新內(nèi)容,。
我們計(jì)劃通過在電影、電視劇和游戲中使用我們的IP,，進(jìn)一步擴(kuò)大我們的業(yè)務(wù)領(lǐng)域,，但與此同時(shí)，我們也將繼續(xù)擴(kuò)展我們?cè)谔摂M人類和元宇宙等方面的專長(zhǎng),。在這個(gè)過程中,，我們需要使用虛幻引擎為實(shí)時(shí)粉絲內(nèi)容、互動(dòng)內(nèi)容和新媒體等各種內(nèi)容創(chuàng)造堅(jiān)實(shí)的基礎(chǔ),。
打印本文
關(guān)閉窗口