數(shù)字人如何賺取流量,？動捕技術(shù)與虛幻引擎結(jié)合打造虛擬明星組合MAVE：
多媒體內(nèi)容制作公司Metaverse Entertainment承襲了Netmarble F&C的技術(shù)和Kakao Entertainment的敏銳,，具備足夠的能力與基礎(chǔ)設(shè)施制作電影和電視劇,，創(chuàng)造從視覺特效到虛擬人類的各種內(nèi)容,，并將這些IP擴(kuò)展成各種形式。
虛擬韓流樂隊(duì)MAVE:于2023年1月底推出了首部音樂視頻,。視頻發(fā)布后,，她們在韓國的熱門音樂節(jié)目《Show！音樂中心》中首次亮相,，掀起了一陣韓流音樂的新熱潮,。MAVE:的角色逼真，動畫惟妙惟肖,，最關(guān)鍵的是音樂瑯瑯上口——這一切使她們贏得了廣泛的關(guān)注,。截至撰寫這篇聚焦新聞時(shí)，MAVE:的音樂視頻播放量已突破2100萬次,，而她們舞臺首秀視頻的觀看記錄也達(dá)到了300萬次,。MAVE:正在通過電視節(jié)目和社交媒體等各種方式與歌迷交流。
在本文中Metaverse Entertainment的首席技術(shù)官兼理事Sungkoo Kang為我們介紹了Metaverse Entertainment如何利用虛幻引擎和MetaHuman創(chuàng)造真實(shí)的數(shù)字人類,，以及如何在短時(shí)間內(nèi)為多個平臺創(chuàng)造內(nèi)容,。
組建MAVE:的第一步應(yīng)該是創(chuàng)造樂隊(duì)成員。在創(chuàng)造數(shù)字角色時(shí),，你們的目標(biāo)是什么,？
創(chuàng)建四人虛擬樂隊(duì)MAVE:時(shí)，我們的目標(biāo)是創(chuàng)造有吸引力的角色,，她們都具有嶄新的面孔,，在世界上獨(dú)一無二。要創(chuàng)造有魅力的角色,，僅關(guān)注外貌是不夠的,，還必須考慮一系列面部表情，以應(yīng)對不同的情境,。因此,，我們集中精力，構(gòu)建并完善了一套管線和技術(shù)來實(shí)現(xiàn)這一目標(biāo),。
你們的角色是使用MetaHuman創(chuàng)造的,。能否說明一下為什么選擇這項(xiàng)技術(shù)？
正如我剛才提到的，除了迷人的外貌,，要創(chuàng)造真實(shí)可信的角色,，最重要的是針對不同的情境，準(zhǔn)備一系列精致的面部表情,。然而，創(chuàng)建和修改這類面部表情是一項(xiàng)耗時(shí)且昂貴的任務(wù),，因?yàn)樗x不開綁定和建模,，并且需要反復(fù)修正和驗(yàn)證。因此,，Epic基于幾十年數(shù)字人類創(chuàng)造經(jīng)驗(yàn)開發(fā)出來的MetaHuman技術(shù)成了我們的完美選擇,。在我們的角色構(gòu)建管線中，它是至關(guān)重要的一環(huán),。
我們能夠通過MetaHuman面部綁定輕松創(chuàng)建我們想要的面部表情,，并在角色之間共用動畫。此外,，我們還能夠參考Epic Games發(fā)布的《Rig Logic：MetaHuman面部綁定的運(yùn)行時(shí)評估》白皮書,，集中精力展開研發(fā)工作（例如，改進(jìn)控制綁定）,。同時(shí),，這項(xiàng)技術(shù)高度兼容NVIDIA的Audio2Face、iPhone的Live Link Face應(yīng)用,、Faceware和FACEGOOD等外部工具,，這使我們能夠共享底層的網(wǎng)格體拓?fù)浣Y(jié)構(gòu)、UV,、關(guān)節(jié)結(jié)構(gòu)和功能按鈕,，從而應(yīng)用MetaHuman的動畫，并大幅減少實(shí)際制作時(shí)間,。
你們?yōu)槭裁催x擇將虛幻引擎與MetaHuman搭配在一起使用,？
計(jì)劃MAVE:項(xiàng)目時(shí)，我們深入地思考了項(xiàng)目的定位以及我們希望該虛擬樂隊(duì)參加的活動類型,。內(nèi)容的制作效率是我們要考慮的頭等大事,。大量的活動意味著需要制作大量內(nèi)容，這對制作效率提出了要求,。如果無法滿足這種效率,，我們可能不得不在視覺質(zhì)量上做出妥協(xié)。因此我們選擇了虛幻引擎,，它不僅能夠提供效率,，也帶來了優(yōu)秀的實(shí)時(shí)渲染質(zhì)量。我們使用虛幻引擎擴(kuò)展了MAVE:在各個領(lǐng)域的活動范圍,，這包括在短時(shí)間內(nèi)制作一段跨媒體音樂視頻,，讓她們參與社交媒體活動,，并出演即將播出的電視節(jié)目和商業(yè)廣告。
社交媒體是進(jìn)行交流和創(chuàng)造紐帶的重要渠道,，為了利用它實(shí)現(xiàn)這些目標(biāo),，我們需要大量各種形式的優(yōu)質(zhì)內(nèi)容。因此我們選擇了虛幻引擎,，而非其他工具,。通過使用虛幻引擎，我們能夠創(chuàng)建各種形式的內(nèi)容,，包括逼真的圖像和視頻,，用來在多個社交平臺上與歌迷互動。
請介紹一下MAVE:各位角色的創(chuàng)造管線,。
MAVE:創(chuàng)造團(tuán)隊(duì)的專業(yè)人才具有各種不同的背景（例如,，可能來自游戲和電影行業(yè)），因此團(tuán)隊(duì)成員可以根據(jù)自己的專長,，使用不同的DCC工具,。舉例而言，具有游戲行業(yè)背景的團(tuán)隊(duì)成員精通實(shí)時(shí)渲染,，而來自媒體與娛樂行業(yè)的成員則擁有視頻媒體制作方面的專業(yè)知識,，所以我們建立了特殊的管線，最大限度地發(fā)揮所有團(tuán)隊(duì)成員之間的協(xié)作效果,。
這套管線包含角色策劃和角色創(chuàng)建,。角色創(chuàng)建可以細(xì)分為多個具體的步驟，如建模,、創(chuàng)建和綁定面部表情,、創(chuàng)造頭發(fā)，以及校準(zhǔn)身體,。
我們會在角色策劃階段設(shè)計(jì)每位角色的外貌,。這個過程離不開與Kakao Entertainment專家的密切合作，在策劃成功的韓流樂隊(duì)方面,，他們有著豐富的經(jīng)驗(yàn),。然而，傳統(tǒng)韓流樂隊(duì)的成員選拔自現(xiàn)成的練習(xí)生人才庫,，其外貌由妝容和造型決定,。但對于虛擬樂隊(duì)而言，我們必須將虛擬人類塑造成有魅力的嶄新人物,，我們要關(guān)注的不僅僅是其外貌,，還有細(xì)致的面部表情、動作和語言模式等。
為了彌補(bǔ)這種差別,，并提供盡可能接近策劃團(tuán)隊(duì)原來環(huán)境的工作環(huán)境,，制作團(tuán)隊(duì)構(gòu)建了一套管線，允許他們使用GAN網(wǎng)絡(luò)自動生成目標(biāo)圖片,，并手動修改或組合特征向量,。如此一來，策劃團(tuán)隊(duì)無需從頭開始創(chuàng)造角色的外貌,，他們能夠選擇現(xiàn)有的角色,，并依據(jù)策劃修改其參數(shù)。在打造成功的韓流樂隊(duì)方面,，策劃團(tuán)隊(duì)多年來已經(jīng)建立起了成熟的方案，他們通過分享與此相關(guān)的深刻見解,，為我們提供了幫助,。
由于角色風(fēng)格將直接影響面部模型，在展開面部定義步驟中的建模工作之前,，我們與熟悉韓流樂隊(duì)服裝和發(fā)型的專業(yè)造型師進(jìn)行合作,，確定了成功的造型。如果我們掃描真正的人類,，就能更快地創(chuàng)造出逼真的外貌,，但這也會帶來一些問題，比如很難找到看起來完全符合我們心意的人,，還會存在肖像權(quán)問題,。所以我們使用建模工具創(chuàng)造了MAVE:的面孔。
在面部表情的創(chuàng)建和修改步驟中,，我們采用自己的工具分析了模型,，并利用每個面部區(qū)域的位置和大小信息以及肌肉運(yùn)動信息自動生成了大約800種面部表情。整個過程差不多就是在輸入基本的網(wǎng)格體類型時(shí)自動生成面部表情,，與網(wǎng)格體轉(zhuǎn)MetaHuman插件的功能類似,。我們之所以開發(fā)了自己的工具，是因?yàn)榫W(wǎng)格體轉(zhuǎn)MetaHuman插件當(dāng)時(shí)尚未發(fā)布,，在根據(jù)需要修改算法和建立自動化管線方面,，它對我們大有幫助。
另外,，作為對標(biāo)準(zhǔn)面部表情的補(bǔ)充,，我們還構(gòu)建了一項(xiàng)定制獨(dú)特面部表情的功能，以反映角色的個性,。添加這些新的面部表情需要合適的綁定,，所以我們在虛幻引擎中自動生成了控制綁定，并為角色設(shè)置了它們。
頭發(fā)基底是使用Maya的XGen工具集創(chuàng)建的,。虛幻引擎使用Groom渲染頭發(fā),，這個過程是實(shí)時(shí)的，但質(zhì)量非常高,，還為我們節(jié)省了大量時(shí)間,。然而，有時(shí)候,，我們不能使用Groom,，因?yàn)槲覀冃枰獙?shí)現(xiàn)更高的性能。為了應(yīng)對這種情況,，我們創(chuàng)建了一款工具,，將基于Groom的頭發(fā)轉(zhuǎn)變成發(fā)片。我們通過自動化方式優(yōu)化了工作流程,，在修改和應(yīng)用發(fā)型時(shí),，不再需要手動執(zhí)行任務(wù)（例如在轉(zhuǎn)變發(fā)型的過程中，如果綁定資產(chǎn)不存在,，就創(chuàng)建它）,。
在身體校準(zhǔn)步驟中，我們也采用了自動化技術(shù),；我們還利用了幾十種校準(zhǔn)形狀,，根據(jù)姿勢修改身體形狀。我們開發(fā)了一種新的解算算法,，以避免使用Maya徑向基函數(shù)解算器（RBF）時(shí)可能出現(xiàn)的問題（包括無法將層次結(jié)構(gòu)應(yīng)用于插值,，以及應(yīng)用精細(xì)設(shè)置時(shí)更有可能出現(xiàn)的非預(yù)期身體形狀）。
此外,，通過使用虛幻引擎的物理系統(tǒng),、布料模擬、AnimDynamic節(jié)點(diǎn)以及其他各種解決方案,，我們在服裝和配飾中創(chuàng)造出了自然的反應(yīng),。團(tuán)隊(duì)還利用虛幻引擎對DMX的支持，成功地創(chuàng)造了一座壯觀的舞臺,。
（左）應(yīng)用校準(zhǔn)形狀為手部形狀計(jì)算插值之前,；（右）應(yīng)用校準(zhǔn)形狀之后
籌劃并創(chuàng)造逼真的舞臺，將韓流音樂的激情與虛擬樂隊(duì)聯(lián)結(jié)在一起肯定充滿困難,。這個過程是怎樣的,？
為了創(chuàng)作能夠體現(xiàn)韓流情感的音樂視頻，我們與曾實(shí)際執(zhí)導(dǎo)過此類視頻的導(dǎo)演,、攝影指導(dǎo),、設(shè)備操控團(tuán)隊(duì),、搖臂操作員以及真人韓流舞蹈團(tuán)隊(duì)展開了合作。我們還試著重現(xiàn)和提供了一個與傳統(tǒng)流程及條件完全相同的舞臺環(huán)境,，讓這支韓流制作團(tuán)隊(duì)能夠充分發(fā)揮其所長,。作為這項(xiàng)工作的一部分，我們建造了一座大型（20米×20米×8米）視效中心,，以便在像實(shí)際音樂視頻布景那樣寬敞的空間中捕捉動作,，我們計(jì)劃捕捉的不僅僅是演員的表演，還有實(shí)際拍攝設(shè)備的運(yùn)動軌跡,，這樣一來,，我們稍后就可以重現(xiàn)音樂視頻中眩目的運(yùn)鏡效果。
演員們穿著動作捕捉套裝表演舞蹈,，我們像拍攝真正的現(xiàn)場音樂表演那樣,，將這一切記錄了下來。這些使用Mo-Sys StarTracker追蹤的攝像機(jī)數(shù)據(jù)將用于直接在虛幻引擎中創(chuàng)建最終虛擬表演,，營造一種真實(shí)可信的感覺,。我們在虛幻引擎中預(yù)覽了攝像機(jī)的角度和演員的動作，這讓我們可以即時(shí)在現(xiàn)場檢查結(jié)果,，然后在Vicon Shogun和虛幻引擎中同布錄制。
錄制的方式也與真正的韓流音樂視頻一樣,，同時(shí)捕捉了四名成員的表演,。我們首先使用攝像機(jī)現(xiàn)場拍攝的動作捕捉數(shù)據(jù)編輯剪輯，然后根據(jù)剪輯過的鏡頭整理動作捕捉,。這樣一來,，我們就能夠重點(diǎn)關(guān)注將在最終版本中實(shí)際使用的部分。我們得到的動作源自真實(shí)的人類,，因此它們看上去更自然,。
請談?wù)凪AVE:即將推出的內(nèi)容，以及Metaverse Entertainment的未來計(jì)劃,。
作為利用虛幻引擎的虛擬明星,，MAVE:正在準(zhǔn)備將讓她們在韓流組合中脫穎而出的全新內(nèi)容。
我們計(jì)劃通過在電影,、電視劇和游戲中使用我們的IP,，進(jìn)一步擴(kuò)大我們的業(yè)務(wù)領(lǐng)域，但與此同時(shí),，我們也將繼續(xù)擴(kuò)展我們在虛擬人類和元宇宙等方面的專長,。在這個過程中，我們需要使用虛幻引擎為實(shí)時(shí)粉絲內(nèi)容,、互動內(nèi)容和新媒體等各種內(nèi)容創(chuàng)造堅(jiān)實(shí)的基礎(chǔ),。
打印本文
關(guān)閉窗口