如果只使用文字,，就能創(chuàng)作出一部以《阿基拉》為靈感的賽博朋克影片,，那會怎么樣？對于藝術(shù)家團(tuán)體Sagans來說,，這是一個值得開拓的未來,。最近，他們使用虛幻引擎的MetaHuman技術(shù),，同時配合AI算法,，僅憑文本描述就為其首部音樂錄影帶《Coherence》生成了大部分鏡頭。

在最終成品所描繪的后現(xiàn)代圖景中,，一位女性正在新城市中尋找著屬于自己的位置,，畫面采用素描風(fēng)格，鏡頭伴隨著音樂不斷移動,，從明亮的櫻花樹轉(zhuǎn)場至紐約地鐵,。Sagans的藝術(shù)家們共同展示了,，AI不一定預(yù)示著我們的工作（甚至整個世界）將被它接管的可怕前景,。相反,，它可能會成為釋放我們?nèi)聞?chuàng)作潛力的關(guān)鍵。

顛覆音樂行業(yè)

根據(jù)Sagans的3D專家Aurelien的說法,，《Coherence》準(zhǔn)確地代表了這個團(tuán)體所要實(shí)現(xiàn)的目標(biāo),。“我們感覺,，音樂行業(yè)不愿意冒險,，除非存在利益驅(qū)動因素?！彼忉屨f,，“因此靠譜的內(nèi)容開始減少，這正是促使我們創(chuàng)辦Sagans的最初原因,?！?/p>

Sagans團(tuán)體由音樂家、美術(shù)設(shè)計師和研究人員組成,，他們在制作第一部音樂錄影帶之前,，并不需要等待歌曲創(chuàng)作完成。這為團(tuán)隊(duì)提供了更多的時間和自由,，探索如何通過人工智能和實(shí)時圖形等技術(shù)實(shí)現(xiàn)愿景,。

“虛幻引擎5是我們最先決定采用的技術(shù)，”Aurelien繼續(xù)說,，“我們首先通過Quixel資產(chǎn)庫創(chuàng)建了整個世界,，緊接著，我們采用MetaHuman Creator創(chuàng)造了逼真的角色,。這為我們改變了一切,。突然間，我們就可以在短時間內(nèi)制作出漂亮的東西了,。我們知道,，我們已經(jīng)準(zhǔn)備就緒，可以開始制作《Coherence》了,?！?/p>

添加AI

起初，團(tuán)隊(duì)決定使用大友克洋的經(jīng)典動畫《阿基拉》的風(fēng)格,，為視頻的審美奠定基礎(chǔ),。下一步就創(chuàng)造視頻中的女主角?！霸谑褂锰摶靡婀ぷ髦?，我們對3D世界不是很熟悉，”Aurelien說，“乍看之下,，創(chuàng)造角色似乎是一項(xiàng)非常復(fù)雜的任務(wù),。幸運(yùn)的是，MetaHuman Creator讓事情變簡單了,?！?/p>

為了創(chuàng)造讓觀眾感覺親切的角色，團(tuán)隊(duì)混合了MetaHuman數(shù)據(jù)庫中三張面孔的元素,，找到了自己喜歡的結(jié)果,。接下來，他們使用iOS的Live Link Face應(yīng)用,，為角色制作了面部表情動畫,。與此同時，Sagans的藝術(shù)家們還開始使用Quixel構(gòu)建視頻的虛幻引擎環(huán)境,，從日本風(fēng)格的英國街道,，到紐約的地鐵，應(yīng)有盡有,。

“創(chuàng)建環(huán)境時,，Lumen發(fā)揮了至關(guān)重要的作用，”Aurelien解釋說,，“有了它,，我們能夠在不使用大量硬件資源的前提下實(shí)時處理光照。再配合使用Niagara創(chuàng)造雨水等粒子,，在短短幾秒鐘內(nèi),，我們就可以生成與用戶界面中完全一致的渲染?！?/p>

最后一步是根據(jù)場景的需要,，通過三套獨(dú)立的AI算法生成虛幻引擎輸出，營造最終的大友克洋風(fēng)格,。第一套算法允許Sagans的藝術(shù)家使用文本描述場景風(fēng)格,，然后以視頻形式將其表現(xiàn)出來。第二套算法會使用參考圖像制作動畫視頻,，而最后一套算法可將實(shí)景真人電影轉(zhuǎn)變成風(fēng)格化的動畫影片,。

“在大多數(shù)鏡頭中，我們都用到了文本轉(zhuǎn)視頻算法,?！盇urelien補(bǔ)充說，“為此,，我們使用Disco Diffusion 5幫助生成單獨(dú)的幀,，然后通過算法將這些幀轉(zhuǎn)變成視頻,。我們必須確保文本內(nèi)容非常詳細(xì)，不僅能描述出風(fēng)格,，還要填補(bǔ)所有紕漏：如果沒有提到天空,，機(jī)器可能會忘記城市頂部必須有一片天空。在得到不錯的第一幀畫面之后,，我們還要根據(jù)運(yùn)鏡的需要,，提供足夠的描述,，生成接下來的幀,，然后在第20幀處最后一次檢查渲染?！?/p>

使用虛幻引擎的成果

由于使用了獨(dú)特的實(shí)時3D和AI工作流程,，從第一個鏡頭到《Coherence》的最終渲染，整個過程只花了三位Sagans創(chuàng)作者八周時間,?！拔覀兿胍环N既簡單易用又足夠快速的解決方案，幫助我們迅速實(shí)現(xiàn)愿景,，虛幻引擎沒有讓我們失望,。”Aurelien補(bǔ)充說,，“只需幾次點(diǎn)擊,，我們就可以輕松創(chuàng)建極其精細(xì)的角色和城市環(huán)境，在沒有動作捕捉服的情況下為女主角制作動畫,?！?/p>

現(xiàn)在，《Coherence》已創(chuàng)作完成,，團(tuán)隊(duì)計劃在未來的音樂錄影帶項(xiàng)目中繼續(xù)使用虛幻引擎和AI,。“第一次發(fā)布內(nèi)容通常會讓人傷腦筋,，但《Coherence》取得了出色的反響,，”Aurelien總結(jié)說，“我們希望人們明白,，人工智能的出現(xiàn)是為了協(xié)助和激勵我們,，而不是搶走我們的工作，這個錄影帶正是我們實(shí)現(xiàn)這個目標(biāo)的第一步,?！?/p>

本文轉(zhuǎn)自虛幻引擎官網(wǎng)~