一種基于EGI和標(biāo)準(zhǔn)人臉模板的三維人臉點云拼合算法

摘 要：對重合區(qū)域較少的兩組不同角度獲取的三維人臉點云數(shù)據(jù)，直接尋找對應(yīng)點進行點云拼合的難度很大。為解決這一問題，提出一種基于EGI和標(biāo)準(zhǔn)人臉模板全自動點云數(shù)配準(zhǔn)拼合算法。針對待配準(zhǔn)的三維人臉點云以及標(biāo)準(zhǔn)人臉點云模型，首先通過局部最小二乘曲面擬合，估計每個點的法向和曲率，其次計算點云的擴展高斯圖（EGI），然后利用EGI上對應(yīng)的特征點計算歐拉角，分別使待配準(zhǔn)三維人臉點云旋轉(zhuǎn)至與人臉模型大致相同的位置，完成粗配準(zhǔn)，并把粗配準(zhǔn)結(jié)果作為新的初始位置。采用最近點迭代算法（ICP）分別對三維人臉點云與標(biāo)準(zhǔn)人臉模型進行精確配準(zhǔn)，從而實現(xiàn)兩組三維人臉點云的拼接。

關(guān)鍵詞關(guān)鍵詞：點云拼接；三維人臉；高斯圖；最近點迭代算法；歐拉角

DOIDOI：10.11907/rjdk.162008

中圖分類號：TP312

文獻(xiàn)標(biāo)識碼：A 文章編號文章編號：16727800（2016）011004204

基金項目基金項目：

作者簡介作者簡介：張辰陽（1991-），男，湖北恩施人，四川大學(xué)空天科學(xué)與工程學(xué)院碩士研究生，研究方向為計算機視覺導(dǎo)航、三維人臉重建。

0 引言

隨著三維點云數(shù)據(jù)獲取手段的增多以及對于三維重建技術(shù)需求的增大，不同角度的三維點云數(shù)據(jù)拼合技術(shù)[1]逐漸成為研究熱點。目前，解決點云配準(zhǔn)拼合的技術(shù)一般分為手動配準(zhǔn)以及自動配準(zhǔn)兩大類。前者需要在被測物體的重疊區(qū)域上人為貼上標(biāo)記點[2]，從而通過標(biāo)記點計算坐標(biāo)系的旋轉(zhuǎn)、平移參數(shù)。對于后者，通常要求兩幅點云具有足夠多的重疊區(qū)域，這樣才能夠通過算法快速、靈活地尋找兩組或者多組數(shù)據(jù)間的對應(yīng)關(guān)系，最終精確求解出點云數(shù)據(jù)間的旋轉(zhuǎn)、平移關(guān)系。在自動配準(zhǔn)中運用最為廣泛的是由 Besl等[3]提出的最近點迭代算法（iterative closest point， ICP），該算法以相對位置經(jīng)過粗略配準(zhǔn)的兩片點云數(shù)據(jù)為基礎(chǔ)，迭代求解兩片或者多片點云數(shù)據(jù)間的對應(yīng)點及對應(yīng)點之間的剛性變換（旋轉(zhuǎn)、平移）關(guān)系，直到對應(yīng)點之間的距離誤差評價函數(shù)最小。實際上，一般待配準(zhǔn)的點云數(shù)據(jù)間的相對位置是未知的，如何利用粗略配準(zhǔn)將點云數(shù)據(jù)間的相對位置變換到ICP算法的收斂域（即迭代可以收斂）成為解決問題的關(guān)鍵。許多ICP 改進算法主要還是針對某些特征信息建立點云數(shù)據(jù)間的相互關(guān)系。這些特征信息包括法向[4]、曲率[5]、體積分[6]等簡單的一維特征描述函數(shù)，還包括旋轉(zhuǎn)圖像[7]、形狀內(nèi)容[8]等高維特征描述函數(shù)，有的甚至還包括顏色、強度值等輔助信息，它們都是不依賴于點云數(shù)據(jù)的三維旋轉(zhuǎn)與平移的。

在人臉重建領(lǐng)域，需要拼接配準(zhǔn)的兩幅點云沒有足夠大重疊區(qū)域，然而上述算法都必須依賴與兩幅點與數(shù)據(jù)具有足夠大的重疊區(qū)域。因此，針對重疊區(qū)域很小的兩幅人臉點云數(shù)據(jù)（如兩幅側(cè)臉角度達(dá)到45°的三維人臉數(shù)據(jù)），本文提出了一種擴展高斯圖（EGI）和標(biāo)準(zhǔn)人臉模板的點云拼合算法。該方法可以處理空間任意位置的人臉散亂點云，且對點云的重疊度沒有要求。只需要利用點云自身整體的幾何信息，分別將待配準(zhǔn)的點云以及人臉模板的信息映射到高斯球面，分別完成兩幅點云與人臉模板的粗配準(zhǔn)，從而將兩幅待配準(zhǔn)點云的相對位置轉(zhuǎn)換到ICP算法的收斂域，最后完成精確配準(zhǔn)。

1 EGI擴展高斯圖建立

1.1 模型建立

在建立擴展高斯圖之前，首先需要計算點云的法線和曲率。對于點云中的任一點，其法向量等價于該點及其鄰域的最小二乘擬合平面的法向量。點c為點pi的鄰域Nbhd（pi）的質(zhì)心：

在建立擴展高斯圖之前，首先需要計算點云的法線和曲率。對于點云中的任一點pi，其法向量等價于該點及其鄰域Nbhd（pi）的最小二乘擬合平面的法向量ni。點c為點pi的鄰域三維物體的高斯圖像是將物體上的一點映射到高斯球（單位球面）上的一點，并且滿足對用點具有相同的法線方向。特別地， 如果物體中包含一個平面，則平面上所有點均被映射至高斯球上的同一點。擴展高斯圖（EGI）建立在高斯圖像基礎(chǔ)上， 是一種形狀表示， 主要用于表征三維物體的幾何特征，示例見圖2，其為六面體的高斯映射。基本思想為將三維物體的每個面片映射到一個單位球面上來獲取球面圖像，向量的方向與物體面片的法向量方向一致，向量的模等于面片的面積，EGI記錄了面片法向落入全空間各個方向的多邊形面積大小。用函數(shù)表示為：

1.2 對應(yīng)點對確定

在點云配準(zhǔn)中，確定對應(yīng)點對的方法很多。比如馬忠玲等[11]提出的一種基于曲率的點云特征點提取方法，首先利用面（moving least squares surfaces） 快速有效地計算出散亂點云每一點的高斯曲率、平均曲率和主曲率值，提取局部曲率變化最大的點作為特征點，然后利用點的曲率的距離提取初始匹配點，再根據(jù)極大極小曲率的相似度函數(shù)最終確定精確匹配點。在人臉特征點檢測中，還可以先將3維點云投影到2維平面，得到二維圖片，再用人臉landmark檢測算法[12]，得到人臉的68個landmark特征點；或者如劉宇等[13]提出的一種基于法矢的對應(yīng)點提取方法，定義一種法矢偏差的特征量，利用特征量的歐式距離確定對應(yīng)點對。

1.3 高斯球上旋轉(zhuǎn)群旋轉(zhuǎn)

在經(jīng)典力學(xué)與幾何中，所有環(huán)繞著三維歐幾里德空間的原點的旋轉(zhuǎn)而組成的群定義為旋轉(zhuǎn)群[1415]。

點云數(shù)據(jù)（Xi，Yi，Zi）的3維空間的旋轉(zhuǎn)可用g∈SO（3）來表示。由于空間單位向量n由2個獨立參數(shù)確定， 所以SO（3）里的元素是由3個獨立參數(shù)所確定的。通常對SO（3）習(xí)慣用Euler角（α，β，γ）來描述一個轉(zhuǎn)動，0≤α，γ≤2π，0≤β≤π。用Euler角表示g∈SO（3）為：

2 算法實現(xiàn)流程

本文提出的利用EGI和標(biāo)準(zhǔn)人臉模板的三維人臉點云的拼合算法執(zhí)行流程如圖3所示。

（1）首先輸入待配準(zhǔn)點云P1、P2以及人臉模板M，由于MLS算法對于噪聲有較強的魯棒性，所以并不需要對噪聲進行濾波。

（2）提取特征點、確定對應(yīng)點集。先利用MLS算法計算出每一點云數(shù)據(jù)的高斯曲率、平均曲率以及主曲率。認(rèn)為局部曲率值變化最大的為待定點，然后根據(jù)距離確定兩點之間的匹配點，剔除誤差，最終確定對應(yīng)點集。

（3）把3幅點云映射到高斯球面，得到新的點云數(shù)據(jù)。分別遍歷以上對應(yīng)點集，用四元數(shù)方法，求解顛覆點云相對于人臉模板的旋轉(zhuǎn)量，即得到兩幅待配準(zhǔn)點云之間的旋轉(zhuǎn)關(guān)系，最后將旋轉(zhuǎn)量轉(zhuǎn)換成旋轉(zhuǎn)矩陣，方便數(shù)據(jù)運算。

（4）分別把P1、P2乘以R1、R2，目的是將待配準(zhǔn)的人臉筆尖法線方向旋轉(zhuǎn)到與模板一致，從而使得人臉的視點方向與模板基本一樣，使得點云與模板配準(zhǔn)時結(jié)果能夠收斂。

（5）用ICP方法將與人臉模板進行精確配準(zhǔn)得到點云，最后將數(shù)據(jù)融合得到完整人臉。

3 實驗結(jié)果與分析

實驗運行環(huán)境為Intel Core 2.53，GHz Matlab2015b平臺。待配準(zhǔn)點云為數(shù)據(jù)庫中無表情人臉模型。人臉模板為[16]提供的平均人臉模型。

圖4（a）為人臉向左轉(zhuǎn)動45°所得到的點云數(shù)據(jù)，共有35 303個點；（b）為向右轉(zhuǎn)動45°所得到的數(shù)據(jù)，共有33 247個點；（c）為a、b兩幅點云放在同一坐標(biāo)系下的初始位置；（d）為平均人臉模型，共有53 490個點。由圖4（a）、（b）可以清晰看到，兩幅點云的重疊區(qū)域非常少，所以傳統(tǒng)的ICP方法不能夠適用于這一種情況。

由圖5（a）可以看出，通過本文算法可以將兩幅半臉點云的法向量調(diào)整到與平均人臉模板大致相同的朝向，為后面與人臉模板的配準(zhǔn)提供了較好的初始位置。圖5（b）是用粗配準(zhǔn)結(jié)果直接運用文獻(xiàn)[11]中一種基于曲率的自動配準(zhǔn)算法進行匹配后顯示在同一坐標(biāo)系中的結(jié)果，由于沒有足夠大的重疊區(qū)域，即沒有足夠多的正確對應(yīng)點對，導(dǎo)致ICP算法出現(xiàn)局部最佳匹配，并且陷入迭代不收斂的情況。圖5（c）是由粗配準(zhǔn)中的左右兩個半臉點云分別與平均人臉模板進行配準(zhǔn)，然后把兩幅點云融合得到的結(jié)果。綜合圖5（b）、（c）以及表1，從拼接效果上來說，傳統(tǒng)的ICP算法并不適用于重疊度很小的人臉點云拼接，而本文提出的方法能夠有效解決這一問題；運行時間上，由于傳統(tǒng)ICP算法迭代不收斂，因此運行時間也多余本算法運行時間。

4 結(jié)語

本文提出了一種基于EGI和標(biāo)準(zhǔn)人臉模板的三維人臉點云的拼合算法，利用已有的標(biāo)準(zhǔn)人臉模板作為中介，通過把點云映射到EGI，可以不用任何初始估計或手動操作就能夠自動解決只有很少部分重疊區(qū)域甚至沒有重疊區(qū)域的三維人臉點云的拼接問題，而文獻(xiàn)[14]中只能夠配準(zhǔn)不同旋轉(zhuǎn)角度的相同點云，不能對只有部分重疊的點云進行拼接。由于需要通過標(biāo)準(zhǔn)人臉模板作為拼接中介，所以人臉模板是影響本算法的一個重要因素，使用中國人的人臉模型會比本文使用的模型效果更好。在實際應(yīng)用中，可以通過Realsense或者Kinect等采集運動中的人臉側(cè)臉點云數(shù)據(jù)，然后拼接得到完整人臉，若能過提高算法的準(zhǔn)確度以及實時性，可為機場火車站等地方的三維人臉重建提供初始模型。因此，提高本算法的實時性和準(zhǔn)確性將是未來研究的一個重要方向。

參考文獻(xiàn)：

[1] PAUL J B，NEIL D M. A method for registration of 3D shapes[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1992，14（2）：239256.

[2] FARIN G，HOSCHEK J， KIM M S. Handbook of computer aided geometric design[M]. Amsterdam：NorthHolland， 2002：651681.

[3] BESL P J， MCKAY N D. A method for registration of 3D shapes[J].IEEE Transactions on Pattern Analysis and Machine Inteligence，1992，14（2）：156239.

[4] 魏永超， 蘇顯渝. 基于方向角的散亂點云三角剖分算法[J] .四川大學(xué)學(xué)報：工程科學(xué)版， 2009，41（4）：202207.

[5] HT HO.3D Surface matching from range images using multiscale local features[D].PhD dissertation，Depar of Electrical and Electronic Eng.University of Adelaide，2009.

[6] GELFAND NATASHA.Feature analysis and registration of scanned surface[D].PhD dissertation， Stanford University， September，2006.

[7] JOHNSON A.Using spin images for efficient object recognition in cluttered 3D scenes[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence.1999，21（5）：433449.

[8] FROME A， HUBER D， KOLLURI R，et al.Recognizing objects in range data using regional point descriptors[J].Lecture Notes in computer science，2004（3023）：224237.

[9] DING ZHONGMING， TAKUMA K， NAOHISA S， et al. Particle based multiple irregular volume rendering on CUDA[J]. Simulation Modelling Practice and Theory，2010，18（8）：11721183.

[10] KOKH，TAKASHI M，NICHOLAS M P， et al.Shape intrinsic properties for freeform object matching[J].Compute. Inf. Sci. Eng， 2003，3（4）：325333.

[11] 馬忠玲， 周明全， 耿國華，等.一種基于曲率的點云自動配準(zhǔn)算法[J].計算機應(yīng)用研究， 2015， 32（6）：18781880.

[12] ZHANG Z， LUO P， CHEN C L， et al. Facial landmark detection by deep multitask learning[C].European Conference on Computer Vision： Springer International Publishing， 2014：94108.

[13] 劉宇，熊有倫.一種基于法矢的部分重疊點云的拼合方法[C].第一屆全國智能制造學(xué)術(shù)會議， 2006.

[14] AMEESH MAKADIA.Fully automatic registration of 3D point clouds[C].IEEE Computer Society Conference on Computer Vision & Pattern Recognition.2006（1）：12971304.

[15] 黃戈，李曉峰.基于 CEGI 和 Fourier 變換的全自動點云配準(zhǔn)算法[J]，四川大學(xué)學(xué)報：工程科學(xué)版，2014， 46（5）：104109.

[16] University basel：MORPHACE [EB/OL]. http：//faces.cs.unibas.ch/bfm/.

（責(zé)任編輯：陳福時）