顏面贗復(fù)體與周圍組織的幾何及紋理光順過(guò)渡方法研究

孫進(jìn)1,2，朱興龍1, 陳曉波2, 曹肖偉1

(1.揚(yáng)州大學(xué) 機(jī)械工程學(xué)院，江蘇 揚(yáng)州225127；2.上海交通大學(xué) 計(jì)算機(jī)集成制造研究所,上海200240)

摘要：基于面結(jié)構(gòu)光數(shù)據(jù)特點(diǎn)對(duì)顏面贗復(fù)體與周圍組織的幾何及紋理光順過(guò)渡方法進(jìn)行了研究.利用隱函數(shù)來(lái)表征顏面贗復(fù)體與周圍組織的3D模型，并且對(duì)兩者的間隙進(jìn)行重新三角化和傘形迭代運(yùn)算，實(shí)現(xiàn)兩者交界處的平滑過(guò)渡；利用帶有像素和紋理信息的面結(jié)構(gòu)光點(diǎn)云數(shù)據(jù)實(shí)現(xiàn)精確紋理映射，求解過(guò)渡區(qū)域顏色場(chǎng)的泊松系統(tǒng)方程，獲取能夠最佳擬合梯度的顏色場(chǎng)，實(shí)現(xiàn)兩者交界處紋理的光順過(guò)渡，避免紋理映射中的光照不均現(xiàn)象和紋理接縫現(xiàn)象.

關(guān)鍵詞：顏面贗復(fù)體；幾何建模；貼合；紋理；過(guò)渡面

收稿日期：2015-04-17

基金項(xiàng)目：國(guó)家自然科學(xué)

基金項(xiàng)目江蘇省博士后(1302179C)；揚(yáng)州市|揚(yáng)州大學(xué)科技合作資金項(xiàng)目(2012038|12)

作者簡(jiǎn)介：孫進(jìn)(1973-)，男，江蘇揚(yáng)州人，講師，博士，碩士生導(dǎo)師，主要從事三維視覺(jué)醫(yī)學(xué)測(cè)量建模研究.

中圖分類號(hào)：TP391.72文獻(xiàn)標(biāo)志碼：A

利用顏面贗復(fù)體能夠有效恢復(fù)患者的顏面外觀.實(shí)現(xiàn)顏面贗復(fù)體與周圍組織的幾何及紋理光順過(guò)渡有兩個(gè)目的：1)佩戴舒適美觀，一個(gè)好的顏面贗復(fù)體應(yīng)該能夠與患者的外觀很好的貼合，這樣使得患者佩戴舒服，并能體現(xiàn)其美學(xué)效果；2)效果可視化，如果缺乏顏面贗復(fù)體的逼真可視化，那么患者與醫(yī)生之間就很難實(shí)現(xiàn)互動(dòng)來(lái)確定他最終所需要的效果.因此，這樣的問(wèn)題轉(zhuǎn)化成逆向工程的理論描述就是：如何通過(guò)贗復(fù)體邊緣部分的幾何設(shè)計(jì)和紋理設(shè)計(jì)來(lái)實(shí)現(xiàn)贗復(fù)體與周圍組織的幾何及紋理光順過(guò)渡.

1　幾何光順技術(shù)

1.1幾何光順準(zhǔn)則

連接兩個(gè)或多個(gè)曲面的過(guò)渡曲面(blending surface)的幾何光順準(zhǔn)則，通常是根據(jù)曲面上的關(guān)鍵曲線是否光順以及曲面的曲率(主曲率、高斯曲率、平均曲率等)的變化是否均勻來(lái)判斷[1].

1.2幾何光順?lè)椒?/p>

1) 神經(jīng)網(wǎng)絡(luò)法.2009年蔣剛[2]采用向量機(jī)分別對(duì)經(jīng)空間映射獲得的三方向二維坐標(biāo)進(jìn)行回歸運(yùn)算，獲得構(gòu)建過(guò)渡曲面所需要的三維點(diǎn)坐標(biāo)值.2) 利用影響區(qū)域數(shù)據(jù)法.2005年陳志楊等[3]利用影響區(qū)域內(nèi)的數(shù)據(jù)構(gòu)造連續(xù)曲面和過(guò)渡區(qū)域內(nèi)數(shù)據(jù)點(diǎn).2004年Funkhouser等[4]在源網(wǎng)格(牛頭)與目標(biāo)網(wǎng)格(羊身)的邊界線實(shí)現(xiàn)兩者的光順過(guò)渡.3)基于偏微分方程(PDE)過(guò)渡.2009年王烈等[5|6]基于熱傳導(dǎo)方程分別研究了變動(dòng)邊界和固定邊界情況下的過(guò)渡面構(gòu)造.4)基于能量?jī)?yōu)化法過(guò)渡.2004年Luo等[7]提出了基于能量模型增加時(shí)間變量的動(dòng)態(tài)NURBS曲面的構(gòu)造.5)雙傘形算子.2007年Chen[8]提出了雙傘形算子概念:先建立每個(gè)頂點(diǎn)的傘形算子并計(jì)算它在法向的位移，通過(guò)迭代使得該位移值趨于零；Fu等[9]用類似的方法完成了不同數(shù)據(jù)之間的融合.在這些算法中，神經(jīng)網(wǎng)絡(luò)方法避開(kāi)了數(shù)學(xué)函數(shù)的非線性計(jì)算，但需要一定量的表面點(diǎn)數(shù)據(jù)作為支撐；基于周邊信息的方法能夠與周邊區(qū)域光順過(guò)渡，但需要確定影響區(qū)域的位置；PDE法需要給定邊界及其跨界導(dǎo)矢條件,且對(duì)于一般自由曲面并不適合；雙傘形算子法在保證較好的初始邊界條件下，能夠?qū)崿F(xiàn)局部區(qū)域的平滑過(guò)渡.

2　紋理光順技術(shù)

2.1紋理光順概念

受到相機(jī)視角大小的限制，獲取一幅完整的數(shù)據(jù)往往需要多視角視圖拼合.物體不同視圖的同一部位因光照等因素導(dǎo)致其顏色值并不相同.這就會(huì)造成兩個(gè)現(xiàn)象：1)由于相機(jī)曝光和燈光條件不同，在一組拼合掃描數(shù)據(jù)重疊區(qū)造成顏色過(guò)渡不連續(xù)，甚至產(chǎn)生接縫現(xiàn)象；2)當(dāng)紋理映射到幾何模型上時(shí)，顏色信息與點(diǎn)的信息不能一一對(duì)應(yīng)導(dǎo)致的紋理變形現(xiàn)象.因此，紋理光順需要實(shí)現(xiàn)兩個(gè)目標(biāo)：最終帶紋理映射的幾何模型不出現(xiàn)明顯的接縫現(xiàn)象，盡量降低生成圖像與原始圖像的失真度.

2.2紋理光順?lè)椒?/p>

1)特征點(diǎn)的映射方法.2008年Ohkubo等[10]從自動(dòng)抽取模型表面的三維邊緣特征入手，進(jìn)行特征對(duì)應(yīng)的尋找.2)分塊組合方法.2004年Zhao等[11]基于網(wǎng)格模型分塊視角相關(guān)紋理映射的原理實(shí)現(xiàn)了人臉的逼真可視化.3)搜索最優(yōu)縫合路徑的方法.2006年Li等[12]通過(guò)小波分解技術(shù)將原始圖像集合分為邊緣圖和平滑圖,對(duì)邊緣圖像采用圖像縫合法進(jìn)行拼接,提出了在部分紋理圖表面搜索最優(yōu)縫合路徑的方法，對(duì)平滑圖像采用多尺度融合法拼接.4)重疊區(qū)設(shè)置權(quán)重的方法. 2008年Ding等[13]提出一種為三維物體表面添加精確紋理的方法，三維光學(xué)數(shù)字成像系統(tǒng)可同時(shí)采集物體在同一個(gè)方向的深度圖像和與它精確對(duì)應(yīng)的紋理圖像，可以在深度圖像合成的同時(shí)進(jìn)行紋理圖像的融合.5)用顏色梯度場(chǎng)的方法.2004年Su等[14]和Levin等[15]通過(guò)在2D圖像域定義加權(quán)函數(shù)來(lái)降低圖像差異對(duì)視圖融合的影響.2009年Chuang等[16]將梯度域的方法延伸到三角網(wǎng)格上來(lái)，首先通過(guò)在每個(gè)視圖上添加顏色梯度獲取一個(gè)描寫紋理細(xì)節(jié)變化的顏色梯度場(chǎng)，然后求解梯度場(chǎng)的泊松方程,得到能夠最佳擬合梯度變化的顏色場(chǎng),將顏色場(chǎng)映射到幾何模型上,可以得到一個(gè)無(wú)縫的紋理表面.

在這些算法中，基于特征點(diǎn)的映射方法優(yōu)點(diǎn)是計(jì)算量小，但特征點(diǎn)準(zhǔn)確性影響紋理映射變形程度；基于分塊組合的方法僅需對(duì)需要過(guò)渡部分進(jìn)行處理，但它要求有三幅正交的人臉圖像；搜索最優(yōu)縫合路徑的方法在消除接縫的同時(shí)能夠最大限度保存圖像原有細(xì)節(jié)信息，但僅適合形狀簡(jiǎn)單模型；重疊區(qū)設(shè)置權(quán)重方法由于權(quán)值是人為設(shè)定，無(wú)法保證紋理平滑過(guò)渡；用顏色梯度場(chǎng)的方法可得到一個(gè)無(wú)縫紋理表面，保證紋理的平滑過(guò)渡，但須增加顏色梯度場(chǎng)計(jì)算.

3　融合面結(jié)構(gòu)光點(diǎn)云特點(diǎn)的幾何及紋理光順技術(shù)

3.1面結(jié)構(gòu)光點(diǎn)云特點(diǎn)

如圖1所示,面結(jié)構(gòu)光掃描儀將二維模板投射到3D物體上，然后用相機(jī)獲取這個(gè)圖像，再利用三角化原理得到三維點(diǎn)的坐標(biāo)，因此，可以獲取帶縱橫像素信息的點(diǎn)云.點(diǎn)云的每個(gè)點(diǎn)包含有5個(gè)數(shù)據(jù)x,y,z,pc,pr.x,y,z為點(diǎn)在空間的3個(gè)坐標(biāo)，pc和pr分別表示點(diǎn)橫坐標(biāo)和縱坐標(biāo)方向的像素值.一個(gè)面結(jié)構(gòu)光圖像的像素產(chǎn)生一個(gè)測(cè)量點(diǎn)，即點(diǎn)與像素是一一對(duì)應(yīng)的，通過(guò)每個(gè)采樣點(diǎn)所處的行和列編號(hào)，則可知此點(diǎn)的紋理信息，達(dá)到紋理圖像與深度圖像精確的對(duì)應(yīng).因此，點(diǎn)的信息可設(shè)計(jì)為圖2：x,y,z,R,G,B,pc,pr，其中R,G,B值是該點(diǎn)的顏色值.其優(yōu)點(diǎn)是將點(diǎn)的信息從三維空間上升到紋理空間，使用同一個(gè)變換矩陣可使點(diǎn)三維坐標(biāo)與紋理坐標(biāo)同時(shí)變換，實(shí)現(xiàn)了紋理精確映射[17].

圖1　3D點(diǎn)云與2D像素一一對(duì)應(yīng)　　　　　　　　　　圖2　自定義點(diǎn)結(jié)構(gòu)

3.2幾何光順?biāo)惴?/p>

1)刪除操作.我們使用隱函數(shù)技術(shù)來(lái)進(jìn)行刪除操作.隱函數(shù)有下列表達(dá)形式：P(X,Y,Z)=C(C為常量) . 例如，一個(gè)半徑為R，球心在原點(diǎn)的球S用方程P(X,Y,Z)=C表達(dá).即P(X,Y,Z)=R2-X2-Y2-Z2.當(dāng)P(X,Y,Z)=0,該方程精確表達(dá)了球S,而P(X,Y,Z)<0則描述了在球S外面的部分.

2)對(duì)源數(shù)據(jù)和目標(biāo)數(shù)據(jù)之間形成的間隙部分進(jìn)行重新三角化.

3)進(jìn)行傘形迭代，對(duì)不規(guī)則的三角形進(jìn)行規(guī)則化，實(shí)現(xiàn)幾何平滑，如圖3所示.總曲率是表面平滑的度量，公式如下，這里kmax和kmin是表面的主曲率.

(1)

通過(guò)傘形迭代來(lái)進(jìn)行總曲率最小化[18]:

P′=P-λ[U2(p)-(U2(p)·Np)·Np],

(2)

(3)

圖3　網(wǎng)格頂點(diǎn)P的傘形算子

3.3紋理光順?biāo)惴?/p>

紋理光順?biāo)惴ㄔ硎菍⒍嘁暭y理映射問(wèn)題轉(zhuǎn)化為解決在一個(gè)拼合好的網(wǎng)格上定義每個(gè)點(diǎn)顏色值的優(yōu)化問(wèn)題.算法步驟如下：

1)獲取一組帶紋理的網(wǎng)格數(shù)據(jù)(稱為視圖)，如圖4(a),(b).

2)不考慮紋理信息,將這一組網(wǎng)格數(shù)據(jù)進(jìn)行多視圖對(duì)齊和融合,如圖4(c).

3)對(duì)齊后的數(shù)據(jù)進(jìn)行孔洞填充,得到一個(gè)基礎(chǔ)網(wǎng)格，如圖4(d).

4)對(duì)基礎(chǔ)網(wǎng)格構(gòu)建初始顏色場(chǎng)，即為基礎(chǔ)網(wǎng)格上的每個(gè)點(diǎn)確定一個(gè)初始顏色值.a.對(duì)基礎(chǔ)網(wǎng)格和各視圖進(jìn)行柵格劃分；b.從基礎(chǔ)網(wǎng)格中的每個(gè)點(diǎn)t，得到其索引值It；c.根據(jù)其索引值It,在各視圖中找到相同索引值的點(diǎn)系列Di；d.在Di中找到與點(diǎn)t距離最近的點(diǎn),并將該點(diǎn)的顏色值賦給點(diǎn)t.

5)得到基礎(chǔ)網(wǎng)格優(yōu)化的顏色場(chǎng).

通過(guò)求解泊松方程可使得a‖f-g‖2+‖f-V‖2最小化,從而得到一個(gè)能夠最佳擬合梯度的顏色場(chǎng); g是各視圖的顏色場(chǎng),V是各視圖的顏色梯度場(chǎng),a是描述插值約束重要性權(quán)重，f是要求的如圖4(d)的基礎(chǔ)網(wǎng)格的優(yōu)化顏色場(chǎng).

6)將顏色場(chǎng)施加到圖4(d)的幾何模型上,最終就得到了帶有精確紋理信息的幾何模型,如圖4(e).

本算法與Chuang等[16]方法的不同之一在于增加步驟3)中的孔洞填充，然后利用步驟4),對(duì)孔洞填充的數(shù)據(jù)點(diǎn)搜索到最近點(diǎn)的顏色作為自己的初始顏色,再參與后面的顏色場(chǎng)優(yōu)化,從而實(shí)現(xiàn)了紋理孔洞的填充,保證孔洞區(qū)的顏色能夠與周邊數(shù)據(jù)光滑過(guò)渡；不同之二在于利用柵格搜索結(jié)構(gòu)替代了原有的KD樹(shù)搜索結(jié)構(gòu),由于柵格搜索結(jié)構(gòu)的最近點(diǎn)搜索速度為O(Np)，而KD樹(shù)搜索結(jié)構(gòu)的速度為O(NplogNx)，Np是固定網(wǎng)格的點(diǎn)數(shù)，Nx是與固定網(wǎng)格對(duì)齊的移動(dòng)網(wǎng)格的點(diǎn)數(shù).對(duì)于大型的數(shù)據(jù)來(lái)說(shuō)，很大一部分時(shí)間用于最近點(diǎn)的搜索，而采用柵格搜索結(jié)構(gòu)則加快了運(yùn)算速度.

圖4　基于顏色梯度場(chǎng)的紋理映射

4　系統(tǒng)應(yīng)用

圖5所示為一頜面缺損的患者贗復(fù)體.按照操作流程，圖5(a)是數(shù)據(jù)預(yù)處理，圖5(b)是幾何光順，圖5(c)是紋理光順，可以發(fā)現(xiàn)贗復(fù)體與患者顏面紋理能夠光滑過(guò)渡.圖5(d)是構(gòu)建的贗復(fù)體與患者顏面偏差顯示圖，可以發(fā)現(xiàn)兩者交接區(qū)域的顏色以青色為主，表明兩者的距離偏差低于0.2 mm，可滿足臨床對(duì)贗復(fù)治療的需要.

圖5　顏面贗復(fù)體的構(gòu)建

5　結(jié)語(yǔ)

本文對(duì)顏面贗復(fù)體與周圍組織的幾何及紋理光順過(guò)渡方法進(jìn)行了研究，提出了融合面結(jié)構(gòu)光點(diǎn)云特點(diǎn)的幾何及紋理光順?lè)椒?

1)利用隱函數(shù)來(lái)表征顏面贗復(fù)體與周圍組織的3D模型，并且對(duì)兩者的間隙進(jìn)行重新三角化和傘形迭代運(yùn)算，實(shí)現(xiàn)兩者交界處的平滑過(guò)渡.

2)帶有像素和紋理信息的面結(jié)構(gòu)光點(diǎn)云的三維坐標(biāo)與紋理坐標(biāo)能同時(shí)應(yīng)用同一個(gè)變換矩陣進(jìn)行坐標(biāo)系變換，實(shí)現(xiàn)精確紋理映射.

3)求解顏面贗復(fù)體與周圍組織數(shù)據(jù)所組成的顏色場(chǎng)泊松方程，得到能夠最佳擬合梯度的顏色場(chǎng)，使得恢復(fù)顏面贗復(fù)體與周圍組織數(shù)據(jù)的過(guò)渡曲面的顏色能夠光順過(guò)渡，解決了紋理映射中紋理接縫現(xiàn)象以及紋理變形現(xiàn)象.

參考文獻(xiàn)：

[1] 朱心雄.自由曲線曲面造型技術(shù)[M].北京：科學(xué)出版社,2000.

[2] 蔣剛.基于SVM 和空間投影的點(diǎn)云空洞修補(bǔ)方法[J].計(jì)算機(jī)工程,2009,35(22):269|271.

[3] 陳志楊,張三元,葉修梓.點(diǎn)云數(shù)據(jù)中空洞區(qū)域的自動(dòng)補(bǔ)測(cè)算法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2005,17(8): 1793|1797.

[4] Funkhouser T,Kazhdan M,Shilane P,et al.Modeling by example[J].ACM Transactions on Graphics,Proceedings of ACM SIGGRAPH 2004,2004,23(3):652|663.

[5] 王烈,葉正麟,石茂.光順過(guò)渡面的熱傳導(dǎo)方程|能量?jī)?yōu)化構(gòu)造方法[J].數(shù)值計(jì)算與計(jì)算機(jī)應(yīng)用,2009(4):295|304.

[6] 王烈,葉正麟,石茂.具有變動(dòng)邊界的過(guò)渡面的熱傳導(dǎo)方程構(gòu)造法[J].計(jì)算機(jī)工程與應(yīng)用,2009,45(32):133|136.

[7] Luo X,Liu N,Gao C.Fairing geometric modeling based on 4|point interpolatory subdivision scheme[J].Journal of Computational and Applied Mathematics,2004,163(1):189|197.

[8] Chen C Y,Cheng K Y.A sharpness|dependent filter for recovering sharp features in repaired 3D mesh models[J].IEEE Transactions on Visualization and Computer Graphics,2008,14(1):200|212.

[9] Fu H,Au O K C,Tai C L.Effective derivation of similarity transformations for implicit Laplacian mesh editing[J].Computer Graphics Forum,2007,26(1):34|45.

[10] Ohkubo R,Kurazume R,Ikeuchi K.Simultaneous registration of 2D images onto 3D models for texture mapping[M]

//Digitally Archiving Cultural Objects,New York:Springer US,2008:237|278.

[11] Zhao X Y,Du L M.Model smoothing and realistic texture mapping in human face synthesis[J].Journal of Computer|aided Design & Computer Graphics,2004,16(11):1517|1522.

[12] Li X L,Zha H B.Seamless 2D|3D texture mapping[J].Acta Scientiarum Naturalium Universitatis Pekinensis,2006,42(5): 674|680.

[13] Ding Y B,Peng X.Smart method of multiple textures blending and mapping on 3D objects[J].Application Research of Computers,2008,25(1):300|302.

[14] Su M S,Hwang W L,Cheng K Y.Analysis on multiresolution mosaic images[J].IEEE Transactions on Image Processing,2004,13(7):952|959.

[15] Levin A,Zomet A,Peleg S,et al.Seamless image stitching in the gradient domain[J].Computer Vision|ECCV 2004,2004,3024:377|389.

[16] Chuang M,Luo L,Brown B J,et al.Estimating the laplace|beltrami operator by restricting 3D functions[J].Computer Graphics Forum,2009,28(5):1475|1484.

[17] 孫進(jìn).非完備幾何特征測(cè)量數(shù)據(jù)建模及其在顏面缺損修復(fù)中的應(yīng)用研究[D].上海:上海交通大學(xué),2012.

[18] Sun J,Chen X B,Lu X Y,et al.Research on 3D textured dress geometry modelling[J].International Journal of Clothing Science and Technology,2012,24(2/3):102|117.

Smooth and Texturing Blending Surface Modelling for Marginal

Area of Facial Prosthesis Based on Areal Scan Data

SUN Jin1,2，ZHU Xinglong1,CHEN Xiaobo2,CAO Xiaowei1

(1.College of Mechanical Engineering, Yangzhou University, Yangzhou 225127, China;

2.Institute of Computer Integrated Manufacturing，Shanghai Jiao Tong University, Shanghai 200240, China)

Abstract:The purpose of this paper is to describe how to model the smooth and texturing blending surfaces for marginal area of facial prosthesis adjoined to surrounding tissues based on the characteristics of areal scan data.First in the geometry modelling stage,the implicit function was used in segment 3D models to re|triangulate the resulting gap and umbrella iterations and the smooth transition between facial prosthesis and surrounding tissues can be achieved.Then in the texture mapping stage,a seamless textured surface can be produced quickly based on the method of solving the Poisson equation for the colour field that best fits the colour gradients with a grid search structure.

Key words:facial prosthesis; geometry modelling; smooth; texture; blending surfaces

(編輯武峰)