雷騰，侯進(jìn)，2，王獻(xiàn)

(1.西南交通大學(xué)信息科學(xué)與技術(shù)學(xué)院，四川成都610031;2.南京大學(xué)計(jì)算機(jī)軟件新技術(shù)國家重點(diǎn)實(shí)驗(yàn)室，江蘇南京210023)

人臉表情是人類交流與信息傳輸?shù)闹匾绞?。而且這些傳輸?shù)男畔⒅醒鄄空紦?jù)相當(dāng)大的一部分。隨著近幾年計(jì)算機(jī)技術(shù)迅猛的發(fā)展，對這方面的研究也越來越多，如1972年，Parker首次用計(jì)算機(jī)方法來表示人臉。曾丹等［1］提出了一種人眼3D肌肉控制模型。Nicolas Stoiber［2］等通過訓(xùn)練的方法完成了一種用于交流的人臉動畫系統(tǒng)。AxelWeissenfeld等［3］提出了通過語音控制人眼部運(yùn)動的方法，該方法通用性不強(qiáng)并且缺乏臉部的其他部位的運(yùn)動。Tu Ching-Ting［4］等在一種新穎的直接結(jié)合的模型算法的基礎(chǔ)上，開發(fā)了一種自動面部素描合成系統(tǒng)。Song Mingli等［5］通過一種聯(lián)合的稀疏學(xué)習(xí)方法有效和高效地合成各種三維人臉表情。Zhigang Deng等［6］提出了一種頭部與眼部運(yùn)動的一種耦合關(guān)系的方法。William Steptoe等［7］提出了一種通過一系列眼部運(yùn)動圖片驅(qū)動從poser等三維建模軟件導(dǎo)出的人臉模型中的眼部運(yùn)動的方法。尹寶才等［8］提出了一種融合口型、表情等多種運(yùn)動元素的三維人臉動畫合成的方法。范懿文等［9］對人臉動畫與語音之間的關(guān)系進(jìn)行了一定的研究。Thomas S.Huang等［10］提出了MPEG-4的性能驅(qū)動AVATAR穩(wěn)健的面部運(yùn)動等。雖然學(xué)者們對人臉和眼部動畫建模以及驅(qū)動方面進(jìn)行了深入的研究，但他們的研究要么不具有通用性，要么就是處理的數(shù)據(jù)多，使得問題變得很復(fù)雜。而且對整個人臉表情研究的同時也缺乏對眼部細(xì)節(jié)運(yùn)動進(jìn)行研究。本文提出的在Candide-3模型上對眼部進(jìn)行重新建模的方法，不但能細(xì)化眼部特征也保留了兼容MPEG-4人臉動畫標(biāo)準(zhǔn)的人臉模型的特征，也能對眼球及眼瞼的運(yùn)動進(jìn)行模仿，從而對在Candide-3模型上重建人臉模型時，對其不能完成眼部細(xì)節(jié)運(yùn)動做了一個很大的改進(jìn)。

1 眼外部及眼球模型的建立

本文的建模主要有眼球和眼瞼的建模。通過這部分的建模取代Candide-3模型原有的眼部。從而完成了具有眼部細(xì)節(jié)特征的改進(jìn)的人臉模型。

1.1 眼球模型的建立

主要是根據(jù)眼球的結(jié)構(gòu)，以及解剖學(xué)結(jié)果統(tǒng)計(jì)得到的眼球內(nèi)部各種參數(shù)的等比關(guān)系，通過2個半球體對其進(jìn)行建模的。圖1是對應(yīng)的幾何關(guān)系圖。

圖1 眼球模型的幾何圖Fig.1 Geometric figure of eye model

圖1中的R是大球的半徑，r是小球的半徑，o是大球的球心，o'是小球的球心，d是瞳孔的寬度，n和h分別是小球和瞳孔與z軸的交點(diǎn)。將R作為這個模型的基準(zhǔn)，然后根據(jù)一般人眼的幾何比例關(guān)系來得到其他參數(shù)，這個幾何比例關(guān)系為r=0.65R，d=0.924R，=0.43R。通過這種比例關(guān)系，根據(jù)輸入的R值就可以求出其他參數(shù)。然后根據(jù)式(1)在程序中對眼球進(jìn)行繪制。

式中:x1=x2，y1=y2它們的大小是根據(jù)改進(jìn)的Candide-3模型上的眼部2個點(diǎn)的數(shù)據(jù)獲得的，這樣才能使得眼球與Candide-3模型匹配。兩球心的z坐標(biāo)的距離關(guān)系為z1－z2=o'o。在兩球面的鏈接處，本文采用了權(quán)重因子選取法進(jìn)行平滑處理。

1.2 眼外部模型的建立及眼球的匹配

眼外部模型的建立主要是在Candide-3模型上，通過bezier曲線對眼瞼的內(nèi)外邊緣以及上眼瞼溝進(jìn)行建模。然后用這一模型取代原有的Candide-3模型上眼部的點(diǎn)。從而得到可控性很強(qiáng)的帶眼部特征的人臉網(wǎng)格改進(jìn)模型。圖2是眼瞼部模型的幾何圖。圖3是Candide-3模型上去掉眼部數(shù)據(jù)點(diǎn)后形成的眼部空缺的圖。本文的思想就是要將設(shè)計(jì)的眼瞼部模型如圖2建在圖3眼部空缺的部位。其主要的工作就是找到圖2各個曲線對應(yīng)的控制點(diǎn)，即圖3中1.2、1.3等對應(yīng)點(diǎn)的坐標(biāo)。圖4是Candide-3模型的眼部結(jié)構(gòu)。

圖2 眼瞼部分的幾何模型Fig.2 Geometric model of eyelid

圖3 Candide-3左眼外部圖Fig.3 Left eye’s external figure of Candide-3

圖4 Candide-3眼部模型Fig.4 Eye model of Candide-3

本文只對左眼眼瞼曲線的控制點(diǎn)進(jìn)行了求取，然后根據(jù)candide-3模型上左右點(diǎn)對稱的原理得到右邊控制點(diǎn)的數(shù)據(jù)。圖 4 中的點(diǎn) 53、98、69、54、73、106、56組成一個類似的曲線可以看為是上眼瞼的下邊緣，用圖2中曲線 進(jìn)行代替，從而可以得出曲線 的起點(diǎn)和終點(diǎn)分別是Candide-3上的點(diǎn)53和點(diǎn)56，曲線的另外2個控制點(diǎn)是根據(jù)Candide-3模型上63和73點(diǎn)的數(shù)據(jù)的y值稍微大一點(diǎn)，其他值不變的情況下得出來。同樣的道理，下眼瞼內(nèi)邊緣的曲線也可以用這種方法求得。這樣的話就可以得到圖3中點(diǎn)1.2、1.3，2.2、2.3等點(diǎn)的坐標(biāo)。對于眼瞼外的上下邊緣以及上眼瞼溝曲線控制點(diǎn)的獲取，本文是在圖3眼部空缺部分，通過平均人臉這些部位的相對位置，在幾何畫板軟件中找到對應(yīng)的控制點(diǎn)。然后讓幾何畫板軟件顯示這些點(diǎn)的坐標(biāo)。由于幾何畫板是平面圖，因此只可得到圖 3 如 5.1、5.2、5.3、5.4、…、7.2 等曲線控制點(diǎn)的x、y坐標(biāo)。為了得到這些點(diǎn)的z坐標(biāo)，本文根據(jù)建立的眼部模型必須滿足原有Candide-3模型的變化規(guī)律的原理，分別采用了2種求取深度信息的方法，一種是線性求取法，另外一種是平面求取法。具體用哪種方法求取對應(yīng)的深度信息主要是看這個控制點(diǎn)是落在Candide-3模型的對應(yīng)的線上還是對應(yīng)的面上。以圖3中6.1點(diǎn)為例，點(diǎn)6.1落在Candide-3模型的點(diǎn)62和點(diǎn)53所在的線上。那么點(diǎn)6.1就用以下公式求出:

式中:(x1，y1，z1)是 62 點(diǎn)的坐標(biāo)，(x2，y2，z2)是 53 點(diǎn)的坐標(biāo)，然后將6.1點(diǎn)的x或y坐標(biāo)代入式(2)即可以求取對應(yīng)的z坐標(biāo)。而對于圖3中的7.2點(diǎn)則正好落在Candide-3模型的第42個三角面片上，這個三角面片對應(yīng)的頂點(diǎn)為60、62和53。它們對應(yīng)的坐標(biāo)為60(x1，y1，z1)，62(x2，y2，z2)，53(x3，y3，z3)，則這 3 個點(diǎn)對應(yīng)的平面方程為

通過將點(diǎn)7.2的x，y坐標(biāo)代入到式(3)就能得到像7.2這樣點(diǎn)的z坐標(biāo)。通過上面的方法，本文在Candide-3模型上繪制的眼瞼部曲線的正、側(cè)面圖如圖5所示。

在圖5中模型的基礎(chǔ)上去掉Candide-3模型中左右眼部各18個數(shù)據(jù)點(diǎn)以及對應(yīng)的三角形。然后在bezier曲線上等比例取點(diǎn)，分別給左右眼部各取41點(diǎn)，形成了帶點(diǎn)后的Candide-3模型的正，側(cè)面圖如圖6所示。在圖6的基礎(chǔ)上，本文又在Candide-3模型空缺部分的外圍線段上(如圖3中50點(diǎn)和51點(diǎn)所示的線段)進(jìn)行中心點(diǎn)取值或者是三等分點(diǎn)進(jìn)行取值，分別在左右眼部又加了7個點(diǎn)。最后將這些離散的點(diǎn)分別進(jìn)行編號組合，對左右分別加了82個三角面片進(jìn)行三角化。從而得到圖7三角化后的正面和側(cè)面圖。

圖5 帶線的Candide-3模型Fig.5 Candide-3 model with line

圖6 取點(diǎn)后的Candide-3模型Fig.6 Candide-3 model after take

圖8是眼球匹配后的Candide-3模型的正、側(cè)面圖，以左眼為例說明，具體的匹配方法是通過圖3中53點(diǎn)和56點(diǎn)的x、y坐標(biāo)的平均值作為式(1)中大小球的球心的x、y坐標(biāo)，以這2點(diǎn)y方向的距離的一半作為眼球的大球半徑，然后根據(jù)圖4中54和55點(diǎn)的z坐標(biāo)作為圖1中n點(diǎn)的z坐標(biāo)，得到這些數(shù)據(jù)后根據(jù)1.1節(jié)中的等比關(guān)系，求出其他參數(shù)及對眼球和人臉進(jìn)行結(jié)合及可以得到如圖8所示的結(jié)果。

圖7 三角細(xì)化的模型Fig.7 Triangular thinning model

圖8 眼球匹配后的模型Fig.8 The model after eyeball matching

2 個性化人臉網(wǎng)格模型的生成

本文主要是對單張人臉圖片用ASM(active shape model)算法進(jìn)行特征點(diǎn)提取，然后用局部最小二乘法對人臉模型進(jìn)行匹配。從而得到了可以與輸入的單張照片對應(yīng)的三維網(wǎng)格自適應(yīng)人臉模型。

2.1 特征點(diǎn)的提取

本文對MUCT人臉庫的200多張人臉圖片進(jìn)行了人臉特征點(diǎn)的訓(xùn)練。進(jìn)行訓(xùn)練時，本文對人臉庫中每個訓(xùn)練的圖片選取了40個特征點(diǎn)。然后采用ASM算法對人臉進(jìn)行特征點(diǎn)提取。這40個特征點(diǎn)在人臉圖片上的位置和改進(jìn)的Candide-3模型上對應(yīng)的位置分別如圖9所示。

圖9 特征點(diǎn)在人臉圖片和模型上的分布Fig.9 The distribution of feature points on the face images and model

2.2 模型的匹配

對于模型匹配問題，首先對圖9中的特征點(diǎn)進(jìn)行調(diào)整。在特征點(diǎn)調(diào)整完后，接下來就是對非特征點(diǎn)進(jìn)行調(diào)整。對于非特征點(diǎn)的調(diào)整本文采用文獻(xiàn)［11］中能量最小化的相關(guān)思想，就是讓偏導(dǎo)數(shù)為零，然后求取相關(guān)的調(diào)整參數(shù)。及為采用特征點(diǎn)的變化信息，運(yùn)用最小二乘法求取調(diào)整參數(shù)，然后用這些參數(shù)調(diào)整模型。算法具體表達(dá)為設(shè)標(biāo)準(zhǔn)模型中的一個特征點(diǎn)為P(x，y，z)，則它在個性化模型中的點(diǎn)為P'(x'，y'，z')。根據(jù)Candide-3模型匹配的原理，P和P'的關(guān)系可近似地表示為

其中，α為縮放因子矩陣為

平移向量 β =(βx，βy，βz)。

根據(jù)式(4)得到x，y方向的變化關(guān)系:

通過式(5)可得

分別對式(6)和(7)中的未知數(shù)進(jìn)行求偏導(dǎo)得

通過式(8)和(9)就能求出對應(yīng)x，y方向的縮放因子和平移因子。由于深度調(diào)整與縱向和橫向的調(diào)整應(yīng)保持一致，因此深度方向的縮放因子可以是縱橫方向縮放因子和的一半:

由于特征點(diǎn)的坐標(biāo)是二維人臉圖片得到的，因此可以認(rèn)為深度平移因子βz=0。根據(jù)此原理，可以根據(jù)2個特征點(diǎn)在標(biāo)準(zhǔn)模型和個性化模型中點(diǎn)的坐標(biāo)就能求取對應(yīng)的縮放因子和平移向量。然后用求取的這些參數(shù)去調(diào)整非特征點(diǎn)就能得到個性化的人臉模型。與文獻(xiàn)［12］不同的是本文并沒有對該模型進(jìn)行形狀單元調(diào)整，這主要是因?yàn)楸疚氖歉倪M(jìn)的Candide-3模型，有些形狀單元并不明顯，而且具體哪個點(diǎn)屬于哪個形狀單元也不是很明確。本文也用這種方法嘗試過但得到不理想的如圖10的結(jié)果。

并且本文沒有進(jìn)行線性調(diào)整，因?yàn)榫€性調(diào)整在理論上并不是完善的。因?yàn)樘卣鼽c(diǎn)從通用模型到個性模型并不是絕對的線性變化，所以本文對非特征點(diǎn)的調(diào)整用離它最近的特征點(diǎn)進(jìn)行最小二乘法求取的參數(shù)進(jìn)行調(diào)整。圖11是通過不同的人臉圖片得到的調(diào)整后的結(jié)果。

圖10 調(diào)整不成功的模型Fig.10 Unsuccessfully adjusted model

圖11 不同圖片進(jìn)行匹配的結(jié)果Fig.11 Matching results of different images

3 模型紋理映射及眼部運(yùn)動的設(shè)計(jì)

3.1 紋理映射

對于臉部的紋理，采用的是特征點(diǎn)約束貼圖的方法，而對于眼球部分分別對瞳孔進(jìn)行了局部球形紋理貼圖，瞳孔以外的眼球部分本文采用了球形紋理貼圖。前面2種貼圖方法較為多見，就不做過多說明。具體的瞳孔紋理貼圖上分析見圖12。

圖12的左邊對應(yīng)的是紋理圖片，右邊是球體模型。其具體思想是:假設(shè)球面上有一點(diǎn)q，它與z軸的夾角為Q，在x，y平面的投影與原點(diǎn)的連線與x軸的正方向的夾角為B，則將球面上的這一點(diǎn)對應(yīng)的位置表示為(Q，B)，并且在紋理圖片上有與其對應(yīng)的一點(diǎn)p，其極坐標(biāo)為(r，a)，現(xiàn)在就是需要找這2個點(diǎn)的對應(yīng)關(guān)系。主要思想是當(dāng)a=B時，找出r=f(Q)的關(guān)系。這樣做的主要原因是讓紋理圖片的一個徑向映射到球形上的如圖11左邊的B1環(huán)形上且保證r在(0，1)之間。具體求取r=f(Q)的方法如下所示。

如圖12所示，在圓形紋理平面上指定某一面片p1p2p3p4，該面片的2條曲線邊位于半徑為r1和r2的兩段圓弧上，而面片的2個直線邊則分別位于角為a1和a2之間的兩條徑向線段上。根據(jù)映射關(guān)系，球面上對應(yīng)的面片為q2q1q4q3，并且該面片的一對曲邊分別位于在x、y平面的投影與x軸正方向?yàn)锽1與B2的2條圓弧上;而另外一對曲邊則分別位于與z軸成Q1和Q2的2條經(jīng)線圓環(huán)上。此處，為了較好地保證紋理映射中2個曲面具有面積等比性的特點(diǎn)，可令紋理平面上的準(zhǔn)梯形面積與球面上與之對應(yīng)的準(zhǔn)四邊形面積成比例。如圖12，面片p1p2p3p4的面積為

曲面片q1q2q3q4的面積為

因?yàn)橛蠦2=a2，B1=a1，則

為了這種等比關(guān)系只好把其改為

其中，A和B是根據(jù)本文的需要求取的，當(dāng)求取這種關(guān)系后，就能得到對應(yīng)的映射關(guān)系，圖13是紋理貼圖后得到的真實(shí)的人臉結(jié)果。

圖12 局部球形紋理映射Fig.12 Partial spherical texture mapping

圖13 對個性化人臉紋理貼圖的結(jié)果Fig.13 The results of personalized facial texture map

3.2 眼部運(yùn)動設(shè)計(jì)

眼部運(yùn)動主要包括眼球的運(yùn)動以及上下眼瞼的運(yùn)動。眼球的運(yùn)動主要是指由眼部肌肉控制的眼球的上下、內(nèi)外旋轉(zhuǎn)等。在此首先對眼球的上面那些動作進(jìn)行視位的定位得到關(guān)鍵幀，然后分階段進(jìn)行線性插值得到對應(yīng)的過渡幀，從而完成了眼球的運(yùn)動。而眼瞼部的運(yùn)動主要包括由上瞼提肌以及眼輪匝肌控制的眼瞼的睜開和閉合以及眨眼等運(yùn)動。對于這些運(yùn)動本文是在前期建模的基礎(chǔ)上，通過逐步調(diào)整一些眼瞼從睜開到閉合的過程中bezier曲線的控制點(diǎn)一些中間過程的視位，然后用式(14)進(jìn)行分段線性插值而得到一些過渡幀，從而得到了眼瞼從睜開到閉合的動作，最后通過設(shè)置不同時間的定時器也完成眼瞼的眨眼動作。

式中:Vinter為插值幀的視位，V1為前一關(guān)鍵幀的視位，V2為后一關(guān)鍵幀的視位，?為控制插值的參數(shù)。

4 實(shí)驗(yàn)結(jié)果與分析

通過本文的方法得到圖14對應(yīng)的眼部運(yùn)動的結(jié)果。

圖14 眼部運(yùn)動結(jié)果圖Fig.14 The result of eye’s movement

根據(jù)圖14的結(jié)果可以看出，本文的方法能充分地表現(xiàn)人眼部的各種運(yùn)動。本文的方法與文獻(xiàn)［1］的結(jié)果相比，本文不僅能較為真實(shí)地表達(dá)人眼部的運(yùn)動，同時還展現(xiàn)了人臉的整個模型，在這個模型的基礎(chǔ)上還能通過MPEG-4等標(biāo)準(zhǔn)，完成人臉其他部位的運(yùn)動，并且能根據(jù)不同人臉的圖片生成不同的人臉，通用性以及表達(dá)面部表情的實(shí)用性都強(qiáng)于文獻(xiàn)［1］。并且在眼部運(yùn)動控制上，本文的控制方法與文獻(xiàn)［1］基于數(shù)據(jù)流的肌肉模型顯得更簡單一些。與文獻(xiàn)［5］比本文帶有眼部更細(xì)節(jié)的運(yùn)動特征。而相對與文獻(xiàn)［11］本文所對應(yīng)的數(shù)據(jù)量比較小，且本實(shí)驗(yàn)的結(jié)果穩(wěn)定。

5 結(jié)論

本文針對在Candide-3模型上進(jìn)行三維人臉重構(gòu)難以表達(dá)人眼部運(yùn)動的缺陷，分別對眼球以及眼瞼進(jìn)行建模。然后采用ASM算法提取人臉特征點(diǎn)以及用最小二乘法進(jìn)行模型匹配，隨后采用局部球形紋理貼圖等3種紋理貼圖方法進(jìn)行人臉紋理貼圖，最后在建好的模型上，分別對眼球以及眼瞼進(jìn)行線性分段插值動畫，完成了眼部的運(yùn)動。

但本文只是在Candide-3模型上進(jìn)行了改進(jìn)，使一個整體模型，分為面部和眼球部2個分開的模型。因此沒有過多分析面部運(yùn)動和眼球運(yùn)動的關(guān)系，以及人們在說話時語音和語調(diào)等與眼部神態(tài)的關(guān)系，因此接下來的工作可以分析人臉部與眼球運(yùn)動的一種關(guān)系。這樣就能根據(jù)面部的運(yùn)動得到眼球的運(yùn)動，使人臉運(yùn)動更加真實(shí)。然后也可以通過語音來調(diào)用對應(yīng)的眼神、眼瞼等相關(guān)運(yùn)動。

［1］曾丹，程義民，葛仕明，等.人眼3D肌肉控制模型［J］.計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2006，18(11):1710-1716.ZENG Dan，CHENG Yimin，GE Shiming，et al.3D muscle-controlled eye model［J］.Journal of Computer Aided Design and Computer Graphics，2006，18(11):1710-1716.

［2］STOIBER N，BRETON G，SEGUIER R.Modeling shortterm dynamics and variability for realistic interactive facial animation［J］.IEEE Computer Graphics and Applications，2010，30(4):51-61.

［3］WEISSENFELD A，LIU K，OSTERMANN J.Video-realistic image-based eye animation via statistically driven state machines［J］.The Visual Computer，2010，26(9):1201-1216.

［4］TU C T，LIEN J J.Automatic location of facial feature points and synthesis of facial sketches using direct combined model［J］.IEEE Transactions on Systems，Man and Cybernetics，2010，40(4):1158-1169.

［5］SONG M L，TAO D C，SUN S P，et al.Joint sparse learning for 3-D facial expression generation［J］.IEEE Transactions on Image Processing，2013，22(8):3283-3295.

［6］MA X H，DENG Z G.Natural eye motion synthesis by modeling gaze-head coupling［C］//IEEE Virtual Reality.Lafayette，USA，2009:143-150.

［7］STEPTOE W，OYEKOYA O，STEED A.Eyelid kinematics for virtual characters［J］.Computer Animation and Virtual Worlds，2010，21(10):161-171.

［8］尹寶才，王愷，王立春.基于 MPEG-4的融合多元素的三維人臉動畫合成方法［J］.北京工業(yè)大學(xué)學(xué)報(bào)，2011，37(2):266-271.YIN Baocai， WANG Kai， WANG Lichun. A synthesis method of three-dimensional facial animation with multiple elements blending based on MPEG-4［J］.Journal of Beijing University of Technology，2011，37(2):266-271.

［9］范懿文，柳學(xué)成，夏時洪.人臉表情動畫與語音的典型相關(guān)分析［J］.計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2011，23(5):805-812.FAN Yiwen，LIU Xuecheng，XIA Shihong.The canonical correlation analysis of facial expression animation and speech［J］.Journal of Computer Aided Design and Computer Graphics，2011，23(5):805-812.

［10］TANG H，HUANG T S.Mpeg4 performance-driven avatar via robust facial motion tracking［C］//IEEE 15th International Conference on Image Processing.Sandiego，USA，2008:249-252.

［11］WANG S F，LAI S H.Reconstructing 3D face model with associated expression deformation from a single face image via constructing a low-dimensional expression deformation manifold［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33(10):2115-2121.

［12］葛美玲，姚莉秀，李娟，等.基于優(yōu)化CANDIDE模型的人臉動畫［J］.上海交通大學(xué)學(xué)報(bào)，2010，44(11):1491-1495.GE Meiling，YAO Lixiu，LI Juan，et al.Facial animation based on CANDIDE Model［J］.Journal of Shanghai Jiaotong University，2010，44(11):1491-1495.