劉亮，孟思奇

(中央電視臺(tái)新聞制作部，北京 100096)

基于生物流變學(xué)的真實(shí)感人臉模型

劉亮，孟思奇

(中央電視臺(tái)新聞制作部，北京 100096)

該文給出了一種基于生物流變學(xué)的真實(shí)感人臉建模方法。該方法從決定人臉運(yùn)動(dòng)及表情的兩方——受力方人臉及施力方人臉肌肉的運(yùn)動(dòng)動(dòng)力學(xué)性質(zhì)及生物流變學(xué)性質(zhì)出發(fā)，用胡克體與牛頓體的串并聯(lián)構(gòu)建人臉各器官的粘彈性模型，建立應(yīng)力—應(yīng)變關(guān)系的本構(gòu)方程;給出了人臉部三類肌肉的力學(xué)模型，并推導(dǎo)出人臉驅(qū)動(dòng)模型。實(shí)驗(yàn)結(jié)果表明，本方法所得人臉模型能較逼真地模擬人臉的力學(xué)性質(zhì)及運(yùn)動(dòng)特性。

真實(shí)感人臉模型;粘彈性模型;本構(gòu)方程;胡克體;牛頓體

1 引言

人臉是人類交流最重要、最直接的載體，通過(guò)人臉表情所能傳達(dá)的信息大大超過(guò)通過(guò)語(yǔ)音或動(dòng)作所能傳達(dá)的信息。F.Pighin和 J.P.Lewis［1］在 2006年SIGGRAPH專題報(bào)告中指出:虛擬人臉的終極目標(biāo)是建立高度真實(shí)感、動(dòng)態(tài)的虛擬人臉。

從1972年P(guān)arke［2］首次用計(jì)算機(jī)繪制多邊形三維人臉模型至今，在人臉建模方面，較早出現(xiàn)的有由Parke［2］提出的參數(shù)模型，其基本思想是通過(guò)人臉構(gòu)造參數(shù)和人臉動(dòng)畫參數(shù)來(lái)描述不同的人臉特征和人臉表情。其后，特征變形法［3，4］常從人臉有限數(shù)目的特征點(diǎn)三維坐標(biāo)變形標(biāo)準(zhǔn)人臉，重構(gòu)出特定三維人臉模型。樣本統(tǒng)計(jì)法［5］常采用人臉樣本的線性組合來(lái)逼近目標(biāo)人臉。近年來(lái)，隨著人臉新的初始數(shù)據(jù)獲取手段的提出，使得具有高真實(shí)感的人臉建模成為可能。Philipp等人［6］采用編碼結(jié)構(gòu)光調(diào)制人臉三維數(shù)據(jù)，并重建人臉。

現(xiàn)有的人臉模型中，人臉的眼、嘴部、面頰等可視部分常被視為一個(gè)整體，由三角形網(wǎng)格曲面或樣條曲面來(lái)表示。這種建模思想無(wú)法描述真實(shí)的人臉解剖學(xué)特征及運(yùn)動(dòng)動(dòng)力學(xué)模型:單一的網(wǎng)格或曲面模型無(wú)法表示人臉各部位相對(duì)運(yùn)動(dòng)引起的可視部分變化(如眼瞼開閉對(duì)眼球的遮擋問(wèn)題)，影響了模型的真實(shí)感;單一的網(wǎng)格或曲面模型難以描述人臉各部位剛體及柔性體的不同運(yùn)動(dòng)特征，人臉各部位間存在相互影響、相互約束的關(guān)系。

本文旨在通過(guò)對(duì)基于解剖學(xué)的柔性多體人臉模型，來(lái)解決單一模型所帶來(lái)的上述缺陷。

在人臉建?；A(chǔ)上，參數(shù)法、特征變形和樣本線性組合等方法也常用來(lái)驅(qū)動(dòng)人臉。如，用人臉動(dòng)畫參數(shù)表示人臉各運(yùn)動(dòng)單元的位移;用特征點(diǎn)位移變形人臉模型，重構(gòu)出特定人臉運(yùn)動(dòng);使用原型人臉的線性組合表示新的人臉運(yùn)動(dòng)。人臉運(yùn)動(dòng)及表情由肌肉驅(qū)動(dòng)，Waters［7］、Kahler等［8］紛紛從解剖學(xué)的角度出發(fā)，提出了仿真人臉解剖結(jié)構(gòu)的線性肌肉模型。2007年Zhang等［9］在解剖學(xué)基礎(chǔ)上將人臉部分為皮膚、肌肉和頭顱三層分別建模，建立多層混合模型。

現(xiàn)有的肌肉驅(qū)動(dòng)模型中，人臉運(yùn)動(dòng)常表示成和肌肉收縮量及空間坐標(biāo)線性相關(guān)的控制方程:△x=f(l，x)。其中x為空間點(diǎn)坐標(biāo)(x=x(X，t)，空間點(diǎn)x在不同時(shí)刻由不同質(zhì)點(diǎn)X占據(jù))，△x為肌肉影響范圍內(nèi)坐標(biāo)x處的位移，△x與肌肉收縮量l被簡(jiǎn)化為比例關(guān)系。該方程忽略了幾個(gè)問(wèn)題:人臉運(yùn)動(dòng)由施力肌肉影響的同時(shí)，也由其自身力學(xué)性質(zhì)決定;人臉外部各器官多為粘彈性體，受到施力與其應(yīng)變之間是非線性關(guān)系，而非線性關(guān)系;肌肉在人臉各部位間的約束條件下對(duì)人臉進(jìn)行控制的;肌肉力量分布和人臉質(zhì)點(diǎn)X相關(guān)，因此隨著肌肉收縮，其力量在空間的分布也發(fā)生變化。因此，人臉各質(zhì)點(diǎn)的運(yùn)動(dòng)與肌肉收縮量之間并不是線性比例關(guān)系。

因此，本文通過(guò)對(duì)基于運(yùn)動(dòng)動(dòng)力學(xué)及生物流變學(xué)的人臉力學(xué)模型和肌肉驅(qū)動(dòng)模型，實(shí)現(xiàn)還原人臉力學(xué)及運(yùn)動(dòng)特征的人臉力學(xué)模型、仿真肌肉控制的人臉驅(qū)動(dòng)方法，為虛擬人臉設(shè)計(jì)獲得更高真實(shí)感的人臉模型、逼真動(dòng)態(tài)效果提供相關(guān)理論基礎(chǔ)及相關(guān)應(yīng)用技術(shù)。

2 人臉幾何模型

對(duì)于虛擬人臉而言，其幾何模型主要涉及到的是人臉的可視部分:近似為剛體的眼球、牙齒及柔性體的眼瞼、舌、嘴唇、鼻子、額頭、面頰等區(qū)域的皮膚、嘴唇、舌頭。人臉由多個(gè)剛體及柔性體組成，生理學(xué)及物理學(xué)特性各異，且互相約束。因此，應(yīng)根據(jù)人臉各部位的解剖學(xué)及物理學(xué)特征，分別進(jìn)行柔性體及剛體建模。

皮膚、嘴唇、舌頭等柔性體，可采用三角網(wǎng)格模型，輔以紋理映射得到。剛體可用參數(shù)化的幾何形體進(jìn)行幾何建模。

以眼球?yàn)槔矍驇缀文Ｐ涂捎蓛蓚€(gè)圓球相接而成，圖1給出右眼水平方向剖面圖。其中，Or，R為大球中心及半徑，O'r，r為小球中心及半徑，d為虹膜直徑，h為大球球心Or到小球與Z軸交點(diǎn)O″r距離與小球球冠高度之差。眼球球面可用兩個(gè)球面方程表示為:

圖1 右眼水平模型剖面

由于不同人種，性別，年齡人眼差異很小，且虹膜直徑d與其他參數(shù)比例基本固定。這樣，只要測(cè)得人眼虹膜直徑，就可求得人眼內(nèi)部模型的參數(shù)。為了使球面更光滑，可在兩球面相交的局部區(qū)域作平滑處理。具體建模過(guò)程可參考我們的前期工作［10］。

3 人臉力學(xué)模型

人臉運(yùn)動(dòng)變形是多條肌肉收縮控制的結(jié)果，由兩方面因素決定:受力人臉各部位的運(yùn)動(dòng)動(dòng)力學(xué)性質(zhì)，及施力肌肉的控制模型。

3.1 人臉力學(xué)性質(zhì)

人臉的頭骨、牙齒及眼球近似為剛體，其運(yùn)動(dòng)近似為一個(gè)整體的旋轉(zhuǎn)及平移運(yùn)動(dòng)。例如頭骨在脖子部位對(duì)其施加的力的作用下，帶動(dòng)人臉其他部位做整體的旋轉(zhuǎn)及平移;牙齒在下頜骨的帶動(dòng)下做左右平移及以上下頜左右接觸點(diǎn)構(gòu)成的線為旋轉(zhuǎn)軸的轉(zhuǎn)動(dòng);眼球在眼眶內(nèi)做三個(gè)維度的旋轉(zhuǎn)。

人臉的皮膚、嘴唇、舌頭等軟組織為柔性體，受力時(shí)會(huì)發(fā)生形變，其受力響應(yīng)(形變)與外力不呈線性關(guān)系，且有滯后，體現(xiàn)了粘性;撤去外力后(彈性范圍內(nèi))，形狀完全恢復(fù)，同時(shí)在突然加載和卸載(即理想階躍)應(yīng)力和應(yīng)變時(shí)，分別體現(xiàn)了蠕變及應(yīng)力松弛現(xiàn)象，因此是粘彈性體，其應(yīng)力-應(yīng)變是非線性關(guān)系。因此，可用彈性胡克體與粘性牛頓體的串并聯(lián)來(lái)對(duì)人臉各器官分別建模，并建立其本構(gòu)方程式。

以人臉皮膚為例，在力學(xué)上表現(xiàn)為粘彈性性，可看成復(fù)合材料，主要由膠原纖維，彈性纖維以及氨基多糖等組成，其力學(xué)性質(zhì)主要取決于這些成分的自身性質(zhì)和結(jié)構(gòu)以及成分間相互作用。生物流變學(xué)的實(shí)驗(yàn)結(jié)果表明，在人臉自身肌肉施力的作用下，膠原纖維是主要承受應(yīng)力的成分，具有彈性;氨基多糖復(fù)合物對(duì)強(qiáng)度影響小，主要對(duì)受力后變形過(guò)程(即應(yīng)力-應(yīng)變過(guò)程)有重要影響。

經(jīng)研究發(fā)現(xiàn)，人臉皮膚在受到肌肉所施力屬于較小力。當(dāng)肌肉收縮時(shí)，皮膚受到拉伸，迅速產(chǎn)生變形，但隨著纖維肌肉的重新排列，拉伸剛度逐漸變大，變形速度逐漸減小，直至趨于穩(wěn)定狀態(tài)。這也就是粘彈性力學(xué)中所謂的應(yīng)變?nèi)渥儸F(xiàn)象。同時(shí)皮膚也具有應(yīng)力松弛現(xiàn)象。因此，采用彈簧與阻尼器串聯(lián)后與彈簧并聯(lián)得到皮膚的力學(xué)模型，如圖2所示，其力學(xué)模型可表示為本構(gòu)方程:

圖2 皮膚力學(xué)模型

其中，σ，ε 分別為應(yīng)力和應(yīng)變，p1，q0，q1是與 E1，E2，η1等有關(guān)的材料常數(shù)。

當(dāng)對(duì)皮膚施加階躍應(yīng)變?chǔ)艜r(shí)，由上式可得到應(yīng)力松弛為:

其中，t為時(shí)間。

當(dāng)對(duì)皮膚施加階躍應(yīng)力σ時(shí)，由上式可得到蠕變可以表示為下式:

圖3與圖4分別為用胡克體與牛頓體的串并聯(lián)組合近似的皮膚模型的應(yīng)力松弛及蠕變現(xiàn)象。

根據(jù)1942年Cox以針頭插入皮膚，所留下的孔是橢圓而不是圓，該實(shí)驗(yàn)表明，皮膚各向的延伸性和剛度不同，故為各向非同性的粘彈性材質(zhì)。這樣我們根據(jù)橢圓主軸的跡線，可以確定人臉皮膚具有最低延伸性和最高拉伸剛度的方向。隨著與主軸線方向角度變化，延伸性逐漸增加，拉伸剛度降低。在橢圓短軸方向則為皮膚具有最高延伸性和最低拉伸剛度的方向。根據(jù)這一性質(zhì)，可以確定人臉皮膚表面任一點(diǎn)的兩個(gè)正交方向的力學(xué)性質(zhì)，采用不同的材料常數(shù)及 p1，q0，q1及 p＇1，q＇0，q＇1;同時(shí)，根據(jù)其線性組合，可以得到皮膚各向的力學(xué)性質(zhì)。

同理，利用胡克體和牛頓體的不同形式的組合，可以構(gòu)建人臉其他柔性體部位的力學(xué)模型。

3.2 肌肉力學(xué)模型

肌肉的解剖學(xué)特性表明，人臉肌肉可細(xì)分為窄線性肌，寬線性肌，括約肌。由于三類肌肉具有不同幾何性質(zhì)及力學(xué)性質(zhì)，因此具有不同的影響區(qū)域及力量分布。

(1)寬線性肌

寬線性肌(圖5)起點(diǎn)和止點(diǎn)可近似為兩條平行線。lH，lT，lM分別表示起點(diǎn)線，止點(diǎn)線，中軸線，Wf為影響區(qū)域?qū)挾龋琑f為影響區(qū)域長(zhǎng)度。矩形影響區(qū)域內(nèi)任一點(diǎn)P的受力可表示為:

圖5 寬線性肌模型

其中，K，D，S，△l，V∠分別為肌肉的彈性系數(shù)，距離因子，橫向分布因子，收縮量，縱向單位矢量。S由中軸線往兩邊逐漸變小。D在止點(diǎn)線附近最大，起點(diǎn)線lH及長(zhǎng)度Rf兩方向逐漸減小為0。

(2)窄線性肌

窄線性肌為長(zhǎng)條形，一端固定，另一端附著于皮下。圖6給出了窄線性肌的一個(gè)剖面，H為固定端，T點(diǎn)附著于皮下，其控制范圍為一錐形區(qū)域，其控制范圍內(nèi)內(nèi)任一點(diǎn)P的受力可表示為:

其中K為肌肉彈性系數(shù)，V為肌肉收縮方向單位矢量。

圖6 窄線性肌控制模型

D1為固定端距離因子，在控制的扇形區(qū)域HP1P2內(nèi)，在半徑為Rs的弧線P3P4附近D1最大，距該弧線距離越大，D1越小，最小值為“0”。

D2為游離端T距離因子:

A為角度因子，其中a是P點(diǎn)與固定點(diǎn)H連線與肌肉中軸線HT間夾角，β是肌肉中軸線HT與控制扇形邊界HP1的夾角。A在靠近扇形邊界線HP1附近為“0”，到肌肉中軸線 HT附近最大，為“1”，然后逐漸變小，在扇形區(qū)域另一邊界HP2附近減小到“0”。

(3)括約肌

括約肌近似為橢圓形，其影響可以認(rèn)為是隨半徑的增加而衰減，其影響區(qū)域內(nèi)任一點(diǎn)P的受力可表示為:

在H點(diǎn)附近D2為“0”，D2隨著P點(diǎn)到H點(diǎn)距離的增加而逐漸增大，在T點(diǎn)所在弧線附近達(dá)到最大值，到弧線P1P2附近再減小至“0”。

其中，D1，D2為距離影響因子。

4 人臉驅(qū)動(dòng)模型

控制人臉運(yùn)動(dòng)的主要包括表情肌:額肌(Frontails)、眼輪匝肌(Orbicularis Oculi)、皺眉肌(Corrugator Supercilliary)、鼻肌(Nasalis)、口輪匝肌(Orbicularis Oris)、顴大肌(Zygomaticus Major)、顴小肌(Zygomaticus Minor)、笑肌(Risorius)、降口角肌(Depressor Anguli)和頦肌(Mentalis)，以及咀嚼肌:咬肌、顳肌、翼外肌和翼內(nèi)肌。這幾條肌肉的運(yùn)動(dòng)結(jié)果幾乎決定了人臉的所有表情的產(chǎn)生，并且也是驅(qū)動(dòng)人類面部運(yùn)動(dòng)主要肌肉。

設(shè)人臉任一點(diǎn)P受第i條肌肉施加的應(yīng)力為σpi(t)，Np為影響點(diǎn)P的肌肉數(shù)，則點(diǎn)P的t時(shí)刻所受總應(yīng)σp(t)力可表示為:

有公式(2)可推得，當(dāng)施加隨時(shí)間變化的應(yīng)力時(shí)，可以看成是多個(gè)微小階躍應(yīng)力作用的疊加，應(yīng)用Boltzmann疊加原理，可以得到在施加應(yīng)力σp(t)的前提下，任意時(shí)刻t的應(yīng)變?chǔ)舙(t)的表達(dá)式:

其中，σ0是t=0時(shí)施加于試件的應(yīng)力，J(t)是蠕變?nèi)崃俊?/p>

由公式(5)—(11)可知，由面部肌肉的收縮量可求得任一點(diǎn)的所受應(yīng)力歷史σp(t)。由應(yīng)力歷史σp(t)，可由公式(13)計(jì)算任意時(shí)刻的應(yīng)變，即人臉任一點(diǎn)的運(yùn)動(dòng)。

5 實(shí)驗(yàn)與結(jié)果

根據(jù)上述方法，分別完成了人臉各部位的幾何及力學(xué)建模、肌肉建模、人臉驅(qū)動(dòng)的仿真實(shí)驗(yàn)。

圖7為以人臉眼球及眉額等構(gòu)成的人臉上部為例的人臉剛體及柔性體分別建模的實(shí)驗(yàn)過(guò)程。圖8為柔性多體人臉建模的一組實(shí)驗(yàn)結(jié)果。

可見，相對(duì)于用單一網(wǎng)格模型對(duì)眼部進(jìn)行建模的方法而言，“個(gè)性化”建模具有更好的真實(shí)感。

根據(jù)人臉力學(xué)模型及肌肉力學(xué)模型所導(dǎo)出的驅(qū)動(dòng)關(guān)系式，通過(guò)初始化各肌肉參數(shù)，包括肌肉各點(diǎn)的定位，影響范圍的確定，及肌肉控制參數(shù)的確定，初步獲得了幾組人臉運(yùn)動(dòng)及表情的實(shí)驗(yàn)結(jié)果，如圖9。

由實(shí)驗(yàn)結(jié)果可以看出，人臉胡克體(彈簧)和牛頓體(阻尼器)的串并聯(lián)模型較好的模擬了人臉粘彈性，相比較簡(jiǎn)單的應(yīng)力與應(yīng)變?yōu)楸壤P(guān)系的肌肉模型以及線性插值方法，本模型可以更逼真的模擬人臉的力學(xué)性質(zhì)及運(yùn)動(dòng)特性;由于考慮了人臉力學(xué)性質(zhì)對(duì)人臉驅(qū)動(dòng)的影響，本方法得到的實(shí)驗(yàn)結(jié)果的真實(shí)感較好。

圖9 人臉驅(qū)動(dòng)結(jié)果

6 結(jié)束語(yǔ)

本文從人臉解剖學(xué)及力學(xué)特性出發(fā)，建立了柔性多體人臉模型，以解決單一人臉模型所帶來(lái)的無(wú)法表示人臉各部位相對(duì)運(yùn)動(dòng)引起的可視部分變化，以及難以描述人臉各部位剛體及柔性體的不同運(yùn)動(dòng)特征兩方面的缺陷，提高了人臉模型的真實(shí)感;同時(shí)，提出了基于生物流變學(xué)的人臉力學(xué)模型和基于解剖學(xué)的肌肉力學(xué)模型，利用彈性胡克體及粘性牛頓體的串并聯(lián)對(duì)人臉各部位分別構(gòu)建其粘彈體力學(xué)模型及本構(gòu)方程，相比較簡(jiǎn)單的應(yīng)力與應(yīng)變?yōu)楸壤P(guān)系的肌肉模型以及線性插值方法，可以更逼真的模擬人臉的力學(xué)性質(zhì)及運(yùn)動(dòng)特性;提出的基于運(yùn)動(dòng)動(dòng)力學(xué)及生物流變學(xué)的人臉肌肉驅(qū)動(dòng)方法，從決定人臉運(yùn)動(dòng)的內(nèi)外因出發(fā)，同時(shí)考慮施力肌肉物理學(xué)及解剖學(xué)特征，受力人臉各部位的力學(xué)性質(zhì)，由動(dòng)力學(xué)普遍方程導(dǎo)出人臉驅(qū)動(dòng)方程，建立肌肉收縮量(肌肉形變)——應(yīng)力(肌肉力量分布)——應(yīng)變(人臉運(yùn)動(dòng)變形)之間的關(guān)系，具有創(chuàng)新性。上述方法經(jīng)實(shí)驗(yàn)驗(yàn)證，獲得了頗具真實(shí)感及驅(qū)動(dòng)效果的人臉模型。

本文在真實(shí)感人眼建模，人眼運(yùn)動(dòng)及表情的表示及驅(qū)動(dòng)等方法的研究上取得了一些初步的成果。如何由捕獲人臉運(yùn)動(dòng)(應(yīng)變)計(jì)算肌肉參數(shù)(應(yīng)力及肌肉收縮量)，從而實(shí)現(xiàn)高精度的人臉運(yùn)動(dòng)移植;如何引入皮下組織對(duì)人臉可視部分的影響，以獲得更為逼真的形變(如厚度變化，皺紋等)，將是未來(lái)的研究重點(diǎn)。

［1］F Pighin，J P Lewis.Performance-driven facial animation［J］.ACM SIGGRAPH 2006.

［2］Parke F I.Computer generated animation of faces［C］.University of Utah，1972.

［3］Lee W，Goto T，Kshirsagar S，Molet T.Face cloning and face motion capture［M］.Magnenat-Thalmann，N.，Thalmann，D.(eds.)Handbook of Virtual Humans，chap 2，John Wiley ＆ Sons，West Sussex，England，2004.

［4］Zhang Z，Liu Z，Adler D.Robust and rapid generation of animated faces from video images:a model-based modelling approach［J］.International journal of computer vision，2004，58(2):93-119.

［5］Yongli Hu，Baocai Yin，Yanfeng Sun，Shiquan Cheng.3D Face Animation Based on Morphable Model［J］.Journal of Information and Computational Science，2005，2(1):35-39.

［6］Philipp F，Peter E.Adaptive Color Classification for Structured Light Systems［J］.Proceedings of 2008 IEEE computer society conference on computer vision and pattern recognition workshops，2008:1-7.

［7］Waters K.A muscle model for animating three-dimensional facial expressions［J］.Computer Graphics，1987，21(4):17-24.

［8］Kahler K，Haber J，Yamauchi H，Seidel H P.Head shop:Generating animated head models with anatomical structure［J］.Proceedings of the ACM SIGGRAPH Symposium on Computer Animation.New York:ACM Press，2008:55-64.

［9］Yu Zhang，Terence Sim，Eric Sung.Anatomybased Human Face Reconstruction Using Multi-Layer Deformation［J］.Journal of Visual Languages and Computing 2006，17(2):126-160.

［10］Yu Zhang，Meng Luo，Shuhong Xu.An efficient markerless method for resynthesizing facial animation on an anatomy-based model［J］.Proceedings of 2007 IEEE international conference on multimedia and expo，2007:971-974

Biorheology Based Realistic Facial Model

LIU Liang，MENG Si-qi
(China Central Television，News Production Department，Beijing 100096)

This paper presents a method of biorheology based realistic facial modeling.Considering the dynamics characteristics and biorheology characteristics of both muscle，the force member and face，the stressed member，human face is modeled as viscoelastic bodies with hooke bodies and newton bodies in series parallel connection.By using the stress-strain relationship，the constitutive equations are formed.By establishing three kinds of mechanical muscle model，the animating model was deduced.Realistic simulation results show that this model can realistically simulate the mechanics properties and motion characteristics.

realistic facial model;viscoelastic model;constitutive equation;Hooke body;Newton body

TP391.9

A

1673-4793(2012)02-0054-07

2011-11-23

劉亮(1981-)，男(漢族)，中央電視臺(tái)工程師.E-mail:oliver_ll@163.com

(責(zé)任編輯

:宋金寶)