近年來(lái)多部影片使用面部動(dòng)作編碼系統(tǒng)（Facial Action Coding System,FACS）采集演員各種不同表情，形成表情庫(kù)，并在片場(chǎng)與演員的面部表情數(shù)據(jù)匹配后，形成逼真的數(shù)字演員。在2019年制作完成《阿麗塔：戰(zhàn)斗天使》后，制作公司維塔數(shù)字（Weta Digital）認(rèn)為FACS 系統(tǒng)存在諸多問(wèn)題，如面部肌肉分離、覆蓋、大規(guī)模冗余等。例如，當(dāng)FACS 映射一個(gè)面部表情時(shí)，為了獲得足夠真實(shí)可信的效果，F(xiàn)ACS可能會(huì)綁定多達(dá)900個(gè)FACS 形狀。這是因?yàn)?，F(xiàn)ACS 不是一個(gè)基于動(dòng)態(tài)時(shí)間和對(duì)話動(dòng)作的面部動(dòng)畫(huà)系統(tǒng)，而僅僅是情感表達(dá)，只能從外部模擬一張臉，缺乏姿勢(shì)過(guò)渡信息。

圖1 APFS面部動(dòng)畫(huà)系統(tǒng)

對(duì)此，維塔數(shù)字研發(fā)團(tuán)隊(duì)決定重新處理整個(gè)面部制作系統(tǒng)。團(tuán)隊(duì)開(kāi)始從解剖學(xué)角度研究人臉肌肉，重點(diǎn)關(guān)注肌肉如何分布、彼此如何連接。團(tuán)隊(duì)發(fā)現(xiàn)，做一個(gè)表情會(huì)激活一塊肌肉，而其他肌肉也被串聯(lián)激活，或被動(dòng)拉動(dòng)。由于肌肉的相互連接方式類似于神經(jīng)網(wǎng)絡(luò)，于是開(kāi)發(fā)團(tuán)隊(duì)決定構(gòu)建一個(gè)直接基于肌肉的人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network, ANN）系統(tǒng)，讓動(dòng)畫(huà)師能夠直接控制臉部的每一塊肌肉，實(shí)現(xiàn)下巴、眼睛和肌肉的任意組合運(yùn)動(dòng)。

維塔數(shù)字新開(kāi)發(fā)的面部動(dòng)畫(huà)系統(tǒng)名為符合解剖學(xué)的面部系統(tǒng)（Anatomically Plausible Facial System,APFS），其基于肌肉纖維曲線作為解剖基礎(chǔ)，是一個(gè)以動(dòng)畫(huà)師為中心、以解剖學(xué)為靈感的面部建模、動(dòng)畫(huà)和重定位傳輸系統(tǒng)。APFS 基于178 條肌肉纖維曲線實(shí)現(xiàn)，這些曲線可以收縮或松弛，以提供細(xì)粒度的高保真面部表情。該系統(tǒng)既可由內(nèi)向外實(shí)現(xiàn)，面部由肌肉纖維曲線驅(qū)動(dòng)，也可由外向內(nèi)，通過(guò)動(dòng)畫(huà)師拖拽和移動(dòng)面部來(lái)實(shí)現(xiàn)。該系統(tǒng)已成功應(yīng)用于電影《阿凡達(dá)：水之道》中。

1 面部重點(diǎn)區(qū)域：眼瞼、下巴與眼睛

APFS 系統(tǒng)中，每條肌肉曲線都有一個(gè)關(guān)聯(lián)的應(yīng)變值。肌肉曲線并沒(méi)有真正扭曲，但應(yīng)變值在其局部空間中提供了沿曲線的收縮或擴(kuò)張。從某種意義上說(shuō)，它是長(zhǎng)度變化的百分比，每個(gè)應(yīng)變值獨(dú)立發(fā)揮作用。例如眨眼這一動(dòng)作，涉及沿睫毛線的水平、垂直、上下以及眼睛周圍的肌肉曲線。這種情況下，水平曲線的實(shí)際應(yīng)變值變化不大，因?yàn)樗谘矍蛏戏叫D(zhuǎn)，而垂直曲線的應(yīng)變值變化很大，更重要的是，垂直曲線沿著肌肉曲線的形狀縮放，與眼球的曲線相匹配。

因?yàn)閷?duì)面部狀態(tài)的主要控制是下巴，尤其是在對(duì)話中，下顎不斷移動(dòng)，是面部狀態(tài)的主要驅(qū)動(dòng)力，因此在APFS 系統(tǒng)中下巴和嘴唇尤為重要。開(kāi)發(fā)團(tuán)隊(duì)注意到，所有人的下顎只能以盾牌的軌跡形狀移動(dòng)，下頜骨或下顎骨通過(guò)顳下頜關(guān)節(jié)與顱骨相連，并由韌帶和肌肉固定。因此，可通過(guò)追蹤頜上的一組概念點(diǎn)來(lái)映射頜的運(yùn)動(dòng)范圍，當(dāng)系統(tǒng)將一組這樣的點(diǎn)映射到一個(gè)人所有可能的表情上時(shí)，就會(huì)得到一個(gè)盾牌形狀，被稱為盾牌。然后對(duì)演員進(jìn)行數(shù)字頭骨擬合，再計(jì)算出下頜的運(yùn)動(dòng)范圍，最后使用立體頭戴裝置（HMC)進(jìn)行求解以提取深度信息。

此系統(tǒng)的眼睛模型與演員的鞏膜、角膜和虹膜相匹配。通過(guò)旋轉(zhuǎn)眼球在每一幀中調(diào)整眼睛注視方向，使虹膜模型與角膜緣環(huán)和瞳孔對(duì)齊。由于眼睛晶狀體及其顯示的折射光線很難通過(guò)系統(tǒng)模擬，所以會(huì)使用多個(gè)相機(jī)角度來(lái)驗(yàn)證對(duì)準(zhǔn)，確定角膜折射的光，以增強(qiáng)角色眼睛的真實(shí)感。

2 傳輸姿勢(shì)庫(kù)

動(dòng)畫(huà)師習(xí)慣于使用姿勢(shì)庫(kù)，但姿勢(shì)庫(kù)不會(huì)對(duì)運(yùn)動(dòng)進(jìn)行編碼，組合使用很容易脫離模型。對(duì)此，維塔團(tuán)隊(duì)為動(dòng)畫(huà)師構(gòu)建了基于應(yīng)變值的動(dòng)作庫(kù)，結(jié)合使用一個(gè)自動(dòng)編碼器，保證應(yīng)變向量保持在合理的面部動(dòng)畫(huà)邊界內(nèi)，這種由外到內(nèi)的方法提供了曲線的反向映射，可直觀進(jìn)行拉伸和收縮肌肉。

3 電影《阿凡達(dá)：水之道》中的定制化設(shè)計(jì)與應(yīng)用

在電影《阿凡達(dá)：水之道》中，許多演員都需要在水中進(jìn)行表演捕捉，但他們的大部分面部動(dòng)畫(huà)則需要在陸地上進(jìn)行二次捕捉，然后與水下表演捕捉相融合。

在進(jìn)行水下面部表情捕捉時(shí)，演員們需佩戴一個(gè)HMC，維塔團(tuán)隊(duì)開(kāi)發(fā)了一種名為Deep Shape 的可視化工具，用于提供可從任何角度觀看的演員實(shí)際表演的3D點(diǎn)云重建。該技術(shù)相當(dāng)于動(dòng)畫(huà)師在演員面前架設(shè)一個(gè)虛擬攝影機(jī)，不會(huì)出現(xiàn)廣角失真，可準(zhǔn)確查看嘴唇和下巴的延伸，為比較和判斷APFS 仿真提供了面部真實(shí)性的關(guān)鍵參考。

為了最大程度實(shí)現(xiàn)演員與角色面部的匹配，維塔數(shù)字專門設(shè)計(jì)了角色模型訓(xùn)練過(guò)程，利用人工智能深度學(xué)習(xí)模型與算法，以學(xué)習(xí)演員的潛在肌肉行為。該系統(tǒng)使用用戶定義的權(quán)重圖精準(zhǔn)映射皮膚，分別處理眼睛和下巴區(qū)域，以便更準(zhǔn)確地傳遞面部關(guān)鍵部位的表情。這一過(guò)程中，考慮到納威人獨(dú)特的外形，還需將演員的下頜綁定與角色匹配，用來(lái)彌補(bǔ)牙齒和頭骨解剖的偏差。

曲線肌肉系統(tǒng)具有一組向下延伸到頸部區(qū)域的曲線，這樣可以與身體表演捕捉更好地結(jié)合。但耳朵的動(dòng)畫(huà)獨(dú)立于這一系統(tǒng)，因?yàn)槿祟惗浔旧聿⒉或?qū)動(dòng)任何面部肌肉，但對(duì)于納威人來(lái)說(shuō)，他們的耳朵有著豐富的表現(xiàn)力，無(wú)法在人類身上表現(xiàn)，所以耳朵部分由一個(gè)單獨(dú)系統(tǒng)來(lái)控制。