多媒體內(nèi)容制作公司Metaverse Entertainment承襲了Netmarble F&C的技術(shù)和Kakao Entertainment的敏銳，具備足夠的能力與基礎(chǔ)設(shè)施制作電影和電視劇，創(chuàng)造從視覺特效到虛擬人類的各種內(nèi)容,，并將這些IP擴(kuò)展成各種形式,。

虛擬韓流樂隊MAVE:于2023年1月底推出了首部音樂視頻,。視頻發(fā)布后,，她們在韓國的熱門音樂節(jié)目《Show！音樂中心》中首次亮相,，掀起了一陣韓流音樂的新熱潮,。MAVE:的角色逼真，動畫惟妙惟肖,，最關(guān)鍵的是音樂瑯瑯上口——這一切使她們贏得了廣泛的關(guān)注,。截至撰寫這篇聚焦新聞時，MAVE:的音樂視頻播放量已突破2100萬次,，而她們舞臺首秀視頻的觀看記錄也達(dá)到了300萬次,。MAVE:正在通過電視節(jié)目和社交媒體等各種方式與歌迷交流。

在本文中Metaverse Entertainment的首席技術(shù)官兼理事Sungkoo Kang為我們介紹了Metaverse Entertainment如何利用虛幻引擎和MetaHuman創(chuàng)造真實的數(shù)字人類,，以及如何在短時間內(nèi)為多個平臺創(chuàng)造內(nèi)容,。

組建MAVE:的第一步應(yīng)該是創(chuàng)造樂隊成員。在創(chuàng)造數(shù)字角色時,，你們的目標(biāo)是什么,？

創(chuàng)建四人虛擬樂隊MAVE:時，我們的目標(biāo)是創(chuàng)造有吸引力的角色,，她們都具有嶄新的面孔,，在世界上獨(dú)一無二。要創(chuàng)造有魅力的角色,，僅關(guān)注外貌是不夠的,，還必須考慮一系列面部表情，以應(yīng)對不同的情境,。因此,，我們集中精力，構(gòu)建并完善了一套管線和技術(shù)來實現(xiàn)這一目標(biāo),。

你們的角色是使用MetaHuman創(chuàng)造的,。能否說明一下為什么選擇這項技術(shù)？

正如我剛才提到的,，除了迷人的外貌,，要創(chuàng)造真實可信的角色，最重要的是針對不同的情境,，準(zhǔn)備一系列精致的面部表情,。然而，創(chuàng)建和修改這類面部表情是一項耗時且昂貴的任務(wù)，因為它離不開綁定和建模,，并且需要反復(fù)修正和驗證,。因此，Epic基于幾十年數(shù)字人類創(chuàng)造經(jīng)驗開發(fā)出來的MetaHuman技術(shù)成了我們的完美選擇,。在我們的角色構(gòu)建管線中,，它是至關(guān)重要的一環(huán)。

我們能夠通過MetaHuman面部綁定輕松創(chuàng)建我們想要的面部表情,，并在角色之間共用動畫,。此外，我們還能夠參考Epic Games發(fā)布的《Rig Logic：MetaHuman面部綁定的運(yùn)行時評估》白皮書,，集中精力展開研發(fā)工作（例如,，改進(jìn)控制綁定）。同時,，這項技術(shù)高度兼容NVIDIA的Audio2Face,、iPhone的Live Link Face應(yīng)用、Faceware和FACEGOOD等外部工具,，這使我們能夠共享底層的網(wǎng)格體拓?fù)浣Y(jié)構(gòu),、UV、關(guān)節(jié)結(jié)構(gòu)和功能按鈕,，從而應(yīng)用MetaHuman的動畫,，并大幅減少實際制作時間。

你們?yōu)槭裁催x擇將虛幻引擎與MetaHuman搭配在一起使用,？

計劃MAVE:項目時,，我們深入地思考了項目的定位以及我們希望該虛擬樂隊參加的活動類型。內(nèi)容的制作效率是我們要考慮的頭等大事,。大量的活動意味著需要制作大量內(nèi)容,，這對制作效率提出了要求。如果無法滿足這種效率,，我們可能不得不在視覺質(zhì)量上做出妥協(xié),。因此我們選擇了虛幻引擎，它不僅能夠提供效率,，也帶來了優(yōu)秀的實時渲染質(zhì)量,。我們使用虛幻引擎擴(kuò)展了MAVE:在各個領(lǐng)域的活動范圍，這包括在短時間內(nèi)制作一段跨媒體音樂視頻,，讓她們參與社交媒體活動,，并出演即將播出的電視節(jié)目和商業(yè)廣告。

社交媒體是進(jìn)行交流和創(chuàng)造紐帶的重要渠道,，為了利用它實現(xiàn)這些目標(biāo),，我們需要大量各種形式的優(yōu)質(zhì)內(nèi)容,。因此我們選擇了虛幻引擎，而非其他工具,。通過使用虛幻引擎,，我們能夠創(chuàng)建各種形式的內(nèi)容，包括逼真的圖像和視頻,，用來在多個社交平臺上與歌迷互動,。

請介紹一下MAVE:各位角色的創(chuàng)造管線。

MAVE:創(chuàng)造團(tuán)隊的專業(yè)人才具有各種不同的背景（例如,，可能來自游戲和電影行業(yè)）,，因此團(tuán)隊成員可以根據(jù)自己的專長,，使用不同的DCC工具,。舉例而言，具有游戲行業(yè)背景的團(tuán)隊成員精通實時渲染,，而來自媒體與娛樂行業(yè)的成員則擁有視頻媒體制作方面的專業(yè)知識,，所以我們建立了特殊的管線，最大限度地發(fā)揮所有團(tuán)隊成員之間的協(xié)作效果,。

這套管線包含角色策劃和角色創(chuàng)建,。角色創(chuàng)建可以細(xì)分為多個具體的步驟，如建模,、創(chuàng)建和綁定面部表情,、創(chuàng)造頭發(fā)，以及校準(zhǔn)身體,。

我們會在角色策劃階段設(shè)計每位角色的外貌,。這個過程離不開與Kakao Entertainment專家的密切合作，在策劃成功的韓流樂隊方面,，他們有著豐富的經(jīng)驗,。然而，傳統(tǒng)韓流樂隊的成員選拔自現(xiàn)成的練習(xí)生人才庫,，其外貌由妝容和造型決定,。但對于虛擬樂隊而言，我們必須將虛擬人類塑造成有魅力的嶄新人物,，我們要關(guān)注的不僅僅是其外貌,，還有細(xì)致的面部表情、動作和語言模式等,。

為了彌補(bǔ)這種差別,，并提供盡可能接近策劃團(tuán)隊原來環(huán)境的工作環(huán)境，制作團(tuán)隊構(gòu)建了一套管線,，允許他們使用GAN網(wǎng)絡(luò)自動生成目標(biāo)圖片,，并手動修改或組合特征向量,。如此一來，策劃團(tuán)隊無需從頭開始創(chuàng)造角色的外貌,，他們能夠選擇現(xiàn)有的角色,，并依據(jù)策劃修改其參數(shù)。在打造成功的韓流樂隊方面,，策劃團(tuán)隊多年來已經(jīng)建立起了成熟的方案,，他們通過分享與此相關(guān)的深刻見解，為我們提供了幫助,。

由于角色風(fēng)格將直接影響面部模型,，在展開面部定義步驟中的建模工作之前，我們與熟悉韓流樂隊服裝和發(fā)型的專業(yè)造型師進(jìn)行合作,，確定了成功的造型,。如果我們掃描真正的人類，就能更快地創(chuàng)造出逼真的外貌,，但這也會帶來一些問題,，比如很難找到看起來完全符合我們心意的人，還會存在肖像權(quán)問題,。所以我們使用建模工具創(chuàng)造了MAVE:的面孔,。

在面部表情的創(chuàng)建和修改步驟中，我們采用自己的工具分析了模型,，并利用每個面部區(qū)域的位置和大小信息以及肌肉運(yùn)動信息自動生成了大約800種面部表情,。整個過程差不多就是在輸入基本的網(wǎng)格體類型時自動生成面部表情，與網(wǎng)格體轉(zhuǎn)MetaHuman插件的功能類似,。我們之所以開發(fā)了自己的工具,，是因為網(wǎng)格體轉(zhuǎn)MetaHuman插件當(dāng)時尚未發(fā)布，在根據(jù)需要修改算法和建立自動化管線方面,，它對我們大有幫助,。

另外，作為對標(biāo)準(zhǔn)面部表情的補(bǔ)充,，我們還構(gòu)建了一項定制獨(dú)特面部表情的功能,，以反映角色的個性。添加這些新的面部表情需要合適的綁定,，所以我們在虛幻引擎中自動生成了控制綁定,，并為角色設(shè)置了它們。

頭發(fā)基底是使用Maya的XGen工具集創(chuàng)建的,。虛幻引擎使用Groom渲染頭發(fā),，這個過程是實時的，但質(zhì)量非常高,，還為我們節(jié)省了大量時間,。然而,，有時候，我們不能使用Groom,，因為我們需要實現(xiàn)更高的性能,。為了應(yīng)對這種情況，我們創(chuàng)建了一款工具,，將基于Groom的頭發(fā)轉(zhuǎn)變成發(fā)片,。我們通過自動化方式優(yōu)化了工作流程，在修改和應(yīng)用發(fā)型時,，不再需要手動執(zhí)行任務(wù)（例如在轉(zhuǎn)變發(fā)型的過程中,，如果綁定資產(chǎn)不存在，就創(chuàng)建它）,。

在身體校準(zhǔn)步驟中,，我們也采用了自動化技術(shù)；我們還利用了幾十種校準(zhǔn)形狀,，根據(jù)姿勢修改身體形狀,。我們開發(fā)了一種新的解算算法，以避免使用Maya徑向基函數(shù)解算器（RBF）時可能出現(xiàn)的問題（包括無法將層次結(jié)構(gòu)應(yīng)用于插值,，以及應(yīng)用精細(xì)設(shè)置時更有可能出現(xiàn)的非預(yù)期身體形狀）。

此外,，通過使用虛幻引擎的物理系統(tǒng),、布料模擬、AnimDynamic節(jié)點以及其他各種解決方案,，我們在服裝和配飾中創(chuàng)造出了自然的反應(yīng),。團(tuán)隊還利用虛幻引擎對DMX的支持，成功地創(chuàng)造了一座壯觀的舞臺,。

（左）應(yīng)用校準(zhǔn)形狀為手部形狀計算插值之前,；（右）應(yīng)用校準(zhǔn)形狀之后

籌劃并創(chuàng)造逼真的舞臺，將韓流音樂的激情與虛擬樂隊聯(lián)結(jié)在一起肯定充滿困難,。這個過程是怎樣的,？

為了創(chuàng)作能夠體現(xiàn)韓流情感的音樂視頻，我們與曾實際執(zhí)導(dǎo)過此類視頻的導(dǎo)演,、攝影指導(dǎo),、設(shè)備操控團(tuán)隊、搖臂操作員以及真人韓流舞蹈團(tuán)隊展開了合作,。我們還試著重現(xiàn)和提供了一個與傳統(tǒng)流程及條件完全相同的舞臺環(huán)境,，讓這支韓流制作團(tuán)隊能夠充分發(fā)揮其所長。作為這項工作的一部分,，我們建造了一座大型（20米×20米×8米）視效中心,，以便在像實際音樂視頻布景那樣寬敞的空間中捕捉動作,，我們計劃捕捉的不僅僅是演員的表演，還有實際拍攝設(shè)備的運(yùn)動軌跡,，這樣一來,，我們稍后就可以重現(xiàn)音樂視頻中眩目的運(yùn)鏡效果。

演員們穿著動作捕捉套裝表演舞蹈,，我們像拍攝真正的現(xiàn)場音樂表演那樣,，將這一切記錄了下來。這些使用Mo-Sys StarTracker追蹤的攝像機(jī)數(shù)據(jù)將用于直接在虛幻引擎中創(chuàng)建最終虛擬表演,，營造一種真實可信的感覺,。我們在虛幻引擎中預(yù)覽了攝像機(jī)的角度和演員的動作，這讓我們可以即時在現(xiàn)場檢查結(jié)果,，然后在Vicon Shogun和虛幻引擎中同布錄制,。

錄制的方式也與真正的韓流音樂視頻一樣，同時捕捉了四名成員的表演,。我們首先使用攝像機(jī)現(xiàn)場拍攝的動作捕捉數(shù)據(jù)編輯剪輯,，然后根據(jù)剪輯過的鏡頭整理動作捕捉。這樣一來,，我們就能夠重點關(guān)注將在最終版本中實際使用的部分,。我們得到的動作源自真實的人類，因此它們看上去更自然,。

請談?wù)凪AVE:即將推出的內(nèi)容,，以及Metaverse Entertainment的未來計劃。

作為利用虛幻引擎的虛擬明星,，MAVE:正在準(zhǔn)備將讓她們在韓流組合中脫穎而出的全新內(nèi)容,。

我們計劃通過在電影、電視劇和游戲中使用我們的IP,，進(jìn)一步擴(kuò)大我們的業(yè)務(wù)領(lǐng)域,，但與此同時，我們也將繼續(xù)擴(kuò)展我們在虛擬人類和元宇宙等方面的專長,。在這個過程中,，我們需要使用虛幻引擎為實時粉絲內(nèi)容、互動內(nèi)容和新媒體等各種內(nèi)容創(chuàng)造堅實的基礎(chǔ),。