《奈德撞地球》將實(shí)時(shí)數(shù)字木偶戲用于成品電視節(jié)目
The Jim Henson Company提供表演驅(qū)動(dòng)的家庭娛樂(lè)節(jié)目已有60多年，期間贏得了數(shù)十個(gè)獎(jiǎng)項(xiàng)——包括50多項(xiàng)艾美獎(jiǎng)和9項(xiàng)格萊美獎(jiǎng)。這家公司以原創(chuàng)布偶電影聞名于世，是公認(rèn)的創(chuàng)新高手，善于使用從傳統(tǒng)提線木偶到電動(dòng)木偶和實(shí)時(shí)數(shù)字動(dòng)畫的各種領(lǐng)先業(yè)界的工具和技術(shù),。在其不計(jì)其數(shù)的作品中包括了一些特別令人難忘的大制作，例如《布偶奇遇記（Fraggle Rock）》、《黑暗水晶（The Dark Crystal）》,、《迷宮（Labyrinth）》和《遙遠(yuǎn)星際（Farscape）》。
公司董事長(zhǎng)Brian Henson是創(chuàng)始人Jim Henson之子,，他渴望延續(xù)這種創(chuàng)新文化,。可證明這一點(diǎn)的是,，數(shù)十年來(lái)他一直在積極采用各種形式的虛擬制片,。如今他正用系列節(jié)目《奈德撞地球（Earth to Ned）》來(lái)開辟新天地，他將這個(gè)節(jié)目的形式描述為“外星科幻片遇上美式脫口秀”,。
《奈德撞地球》正在迪士尼+播出,，它結(jié)合了實(shí)景拍攝、電動(dòng)木偶和實(shí)時(shí)現(xiàn)場(chǎng)表演驅(qū)動(dòng)CG動(dòng)畫,。這個(gè)節(jié)目的設(shè)定是,，被派來(lái)侵略地球的外星人迷上了流行文化，于是決定制作一個(gè)采訪地球名人的脫口秀節(jié)目,。
現(xiàn)實(shí)中的名人嘉賓受邀參加節(jié)目,，而主持人是電動(dòng)木偶外星人奈德和科尼利厄斯，還有一個(gè)名叫貝蒂的CG人工智能,，是現(xiàn)場(chǎng)在虛幻引擎中實(shí)時(shí)渲染的基于粒子的實(shí)體,。
用表演來(lái)驅(qū)動(dòng)CG數(shù)字動(dòng)畫角色的創(chuàng)意最初是Jim Henson本人提出的，不過(guò)是在1994年才付諸實(shí)施的,，當(dāng)時(shí)這家公司的家庭諷刺情景喜劇系列《恐龍（Dinosaurs）》正進(jìn)入制作尾聲,。這個(gè)節(jié)目是使用帶有數(shù)十個(gè)電動(dòng)機(jī)的巨大電動(dòng)木偶服創(chuàng)作的——穿在演員身上又熱又不舒服，而且很容易發(fā)生故障,。
“我們就開始想,，要是能做CG動(dòng)畫就好了，我們還是可以讓演員來(lái)表演恐龍的肢體動(dòng)作,，但是他們不必穿上這些大號(hào)戲服,?！盚enson說(shuō)，“假如我們不必使用可能發(fā)生故障的45個(gè)電動(dòng)機(jī)來(lái)表演頭部的戲份,，卻還能表現(xiàn)出同樣的活力,，那該有多好?！?/p>
為了促成這個(gè)在當(dāng)時(shí)堪稱石破天驚的概念,，他們需要開發(fā)一套能夠?yàn)檠輪T提供實(shí)時(shí)反饋的系統(tǒng)。
“我們可不喜歡跑到動(dòng)作捕捉的片場(chǎng),，讓演員假裝自己是恐龍表演一番,，然后等上一個(gè)星期來(lái)看他作為恐龍的表演效果——那種辦法行不通?！盚enson解釋說(shuō),，“所以我們必須能夠在周圍的屏幕上即時(shí)看到我們作為恐龍的表演效果?！?/p>
雖然他們當(dāng)時(shí)創(chuàng)造的專有系統(tǒng)經(jīng)受了時(shí)間考驗(yàn)——他們至今仍在使用它——但是它提供的視覺(jué)效果質(zhì)量不足,，不能讓他們直接使用輸出；所有的效果還是需要離線渲染,。
“它是為視效預(yù)覽構(gòu)建的,。”Dan Ortega說(shuō),，他在公司擔(dān)任數(shù)字創(chuàng)意主管,，“它并沒(méi)有真正具備做出任何實(shí)時(shí)效果乃至高分辨率圖像的能力。它的設(shè)計(jì)就是如此,。我們用來(lái)構(gòu)建它的工具只是允許我們捕獲數(shù)據(jù),，然后放入后期制作管線?！?/p>
對(duì)于《奈德撞地球》,，公司的計(jì)劃是在片場(chǎng)以最終廣播的質(zhì)量實(shí)時(shí)渲染貝蒂，這就意味著現(xiàn)有系統(tǒng)無(wú)法勝任,。不僅如此,，對(duì)于貝蒂的角色，他們還需要滿足一些很特別的要求,。Henson希望她看起來(lái)是由電流組成的,，而且能夠在人類外表和外星面孔之間變換。
接受了這些苛刻要求的人就是Ortega,?！八綡enson】把它形容為一個(gè)能量球，和磁暴線圈差不多,，但又不是線圈,，因?yàn)樗仨毷怯闪Ｗ咏M成的?！彼f(shuō),，“必須有把它和房間相連的閃電。他還要求它變化成一張正在說(shuō)話的面孔,?！?/p>
Ortega立刻明白，自己需要使用虛幻引擎來(lái)實(shí)現(xiàn)這些實(shí)時(shí)效果,。
“借助虛幻,，我們可以使用我們獲獎(jiǎng)的木偶控件在一個(gè)虛擬場(chǎng)景中進(jìn)行交互，它具有令人驚嘆的畫質(zhì),，很高的幀率,，沒(méi)有任何延遲?！彼f(shuō),，“虛幻給我們提供了所有需要的復(fù)雜材質(zhì)、粒子和效果,，我們通過(guò)這個(gè)引擎可以實(shí)時(shí)進(jìn)行表演和生成動(dòng)畫,。”
為了讓貝蒂看起來(lái)就像親臨現(xiàn)場(chǎng),，他們計(jì)劃通過(guò)在片場(chǎng)放置的屏幕創(chuàng)造出可以供她飄浮的“空間”,。通過(guò)實(shí)時(shí)跟蹤所有攝像機(jī)，可以生成正確的視差,，從而制造出屏幕后面有體積存在的假象,。
“另一個(gè)挑戰(zhàn)是，Brian要求這張面孔在片場(chǎng)的三個(gè)不同房間之間傳送,，而且這一切必須在攝像機(jī)中實(shí)時(shí)發(fā)生,，不需要后期制作；”O(jiān)rtega說(shuō),，“我們開完那次會(huì)議后,，我的腦子里就在想，‘好吧,，這是我們從來(lái)沒(méi)做過(guò)的事,。我從沒(méi)見過(guò)像這樣的東西?！?/p>
既然選擇了虛幻引擎作為渲染引擎,，Ortega就需要將它集成到公司的現(xiàn)有管線中，該管線包括Autodesk Maya（用來(lái)進(jìn)行角色的骨架綁定）和Henson Digital Puppetry Studio，后者是他們專有的一套硬件和軟件工具,，其中包括表演捕捉系統(tǒng)以及機(jī)械式木偶控制裝置,。
為了實(shí)現(xiàn)這個(gè)目標(biāo)，Ortega的團(tuán)隊(duì)創(chuàng)建了Henson Nodeflow引擎,，這是一種在不同系統(tǒng)之間充當(dāng)網(wǎng)關(guān)的專有實(shí)時(shí)獨(dú)立動(dòng)畫引擎,。
他們把Maya場(chǎng)景導(dǎo)出到Nodeflow圖表，這種圖表模仿了Maya依賴性圖表,，通過(guò)仿效Maya節(jié)點(diǎn)功能（包括關(guān)節(jié),、約束、曲線,、Blendshape和Set Driven Key等更復(fù)雜的功能）來(lái)運(yùn)行導(dǎo)入的角色,。然后Nodeflow將這些數(shù)據(jù)傳遞到虛幻引擎。以貝蒂為例,，每幀要將4000個(gè)節(jié)點(diǎn)發(fā)送到虛幻引擎,，用時(shí)1.5毫秒。
為了實(shí)現(xiàn)角色的實(shí)時(shí)骨架動(dòng)畫,，團(tuán)隊(duì)創(chuàng)建了一個(gè)自定義流送應(yīng)用程序,，通過(guò)Live Link（虛幻引擎用于流送和使用來(lái)自外部源的動(dòng)畫數(shù)據(jù)的接口）將輸出從Henson Digital Puppetry Studio發(fā)送到虛幻引擎。
Ortega的團(tuán)隊(duì)還將這種連接結(jié)合虛幻引擎的可視化腳本語(yǔ)言藍(lán)圖使用,，使操偶師能夠觸發(fā)各種實(shí)時(shí)效果,，例如閃電、面部變化和在房間之間的傳送,。
大約有十幾個(gè)藍(lán)圖參數(shù)與在Henson Performance Control System中程控的角色屬性關(guān)聯(lián),。這使得表演者能夠使用曾榮獲奧斯卡獎(jiǎng)項(xiàng)的操偶師界面，通過(guò)手部控制,、踏板和滑塊等輸入來(lái)調(diào)節(jié)亮度,、頻率和效果縮放等項(xiàng)目。
由于以上的種種努力,，貝蒂能夠與嘉賓進(jìn)行互動(dòng),，讓那些名人也喜出望外。
“當(dāng)嘉賓們來(lái)到現(xiàn)場(chǎng),，然后意識(shí)到,，‘哦，她真的會(huì)在那里,，’他們都興奮極了,，我想這是因?yàn)榇蠹叶家詾槟菍⑹呛笃谔匦А,！盚enson說(shuō),，“對(duì)于來(lái)到片場(chǎng)的嘉賓,，那種假象是完美的。他們看不到任何操偶師,。他們只會(huì)看到奈德,，看到科尼利厄斯，并看到貝蒂,。當(dāng)這一切發(fā)生的時(shí)候,，那真是神奇?！?/p>
在《奈德撞地球》使用實(shí)時(shí)最終像素渲染所取得的成功使團(tuán)隊(duì)渴望了解自己能夠在多大程度上推進(jìn)這一概念，他們已經(jīng)在進(jìn)行更多試驗(yàn),。
“如果我們能夠開始交付全CG動(dòng)畫的電視節(jié)目,，而且其中不需要后期制作的鏡頭所占比例越來(lái)越高，那么很明顯,，制片效率將會(huì)突飛猛進(jìn),。”Henson說(shuō),，“而有了虛幻,，我們就可以得到質(zhì)量比以前高得多的圖像，成品圖像,。我們可以實(shí)時(shí)獲得成品圖像,。如果沒(méi)有虛幻，我們是做不到這一點(diǎn)的,。我們嘗試過(guò),。我們?cè)缇驮囘^(guò)了?！?/p>
“通過(guò)與虛幻聯(lián)手,，我們可以在實(shí)景拍攝的片場(chǎng)中制作出成品CG動(dòng)畫，然后進(jìn)入剪輯環(huán)節(jié),，就像實(shí)景拍攝一樣完成制作,。”Henson說(shuō),，“這可是非常激動(dòng)人心的,。”
本文轉(zhuǎn)自虛幻引擎官網(wǎng)~
打印本文
關(guān)閉窗口