彭群聶,高海峰,,張生偉,,李 寧,李大雷,,揭斐然,
(1.光電控制技術重點實驗室,河南 洛陽 471000; 2.中國航空工業(yè)集團公司洛陽電光設備研究所,河南 洛陽 471000; 3.西北工業(yè)大學自動化學院,西安 710129)
三維重建技術作為視覺測量技術的重要研究方向,能夠真實反映物體表面形態(tài)和反射特性,被廣泛應用于空間位姿估計感知、目標識別跟蹤、醫(yī)學檢測、計算機圖形合成等視覺領域[1-2]。表面光滑的低紋理目標具有表面紋理結構較為單一,并且表面高反射特性易產生鏡面耀光的特點。針對此類高反光低紋理目標,傳統(tǒng)的非接觸式三維重建測量技術如:雙目立體視覺技術無法提取有效的目標紋理結構實現(xiàn)特征匹配,極大降低了深度信息的測量精度;基于結構光柵的三維重建技術由于目標表面的鏡面耀光的存在,光柵結構條紋被掩蓋,造成重構結果出現(xiàn)大區(qū)域的數(shù)據空洞。因此,進行準確有效的高反光低紋理目標三維重建技術研究具有較高的理論意義和應用價值。
不同于現(xiàn)有光學測量技術通過捕獲目標的反射和輻射強度信息來反映目標特征,光學偏振成像技術作為一項新型的光學探測技術,利用目標表面反射光的偏振態(tài)解析,反映目標的材質、粗糙度等理化特征及表面性狀、分布等幾何信息,其不依賴于背景照度、溫度、對比度等因素,能極大提高目標探測識別性能[3-4]。文獻[5]研究了菲涅爾理論與反射光偏振態(tài)的聯(lián)系,首次將偏振成像技術引入三維重建領域;文獻[6]將偏振視覺和多光譜成像技術結合,利用波段變化估計介質折射系數(shù)和三維形態(tài);文獻[7]綜合利用多視角下的圖像序列偏振,重構絕緣體目標的三維信息;文獻[8]設計復雜的全方位偏振成像系統(tǒng),獲取透明物體的表面三維形貌。
以上基于偏振視覺的三維重建算法均需要復雜的光學設備和光路配準,且未針對低紋理目標進行探究。本文提出了一種高效的基于光學偏振成像的三維重建算法,該算法不依賴于目標表面結構紋理信息,不需要復雜的光路設備,僅需一線偏振片進行三角度偏振成像,求取目標表面反射光的Stokes偏振矢量,反演估計出表面的法向量分布,同時利用多尺度Shapelets積分算子求取目標表面的相對深度,從而快速準確地重建得到高反光低紋理目標表面的三維形態(tài)。該算法能有效抑制噪聲和耀光的干擾,且計算復雜度低,易于工程實現(xiàn)。
光波屬于橫波,其振動方向相對于光波的傳播方向具有不對稱性,該特征稱為光的偏振[3],而自然光由于各個方向振動分量一致,為無偏光。但當自然光經物體表面反射時,由于其內部材質結構、表面粗糙度、入射角等影響,光的偏振態(tài)發(fā)生變化,由無偏光變?yōu)椴糠制窆猓瓷涔獾钠駪B(tài)中包含目標內部的理化特征和表面的幾何特性。通過解析反射光的偏振態(tài)可以反演估計出目標表面的法向量分布,從而積分重建得到表面的三維形貌。
由菲涅爾理論可知,偏振成像捕獲的目標圖像強度會隨著偏振片旋轉角度φ呈余弦規(guī)律變化,其圖像強度表達式為
(1)
式中:Imax,Imin分別表示旋轉偏振片時,所觀測得到圖像的最大和最小光強值;α代表偏振相角。
對于特定波長的反射光,在實際偏振測量中,常利用3個偏振方向的Stokes矢量數(shù)學表示方法來描述反射光的線偏振態(tài)[5]。本文對目標進行[0°,60°,120°]三偏振角度成像,其Stokes矢量表達式為
(2)
(3)
(4)
式中,I,Q,U均為中間變量。
依據Stokes矢量,反射光的線偏振度ρ1和偏振相角α的算式分別為
(5)
(6)
式中:ρ1=0代表無偏光;ρ1=1表示完全偏振光;0<ρ1<1代表部分偏振光。
圖1 偏振-幾何成像空間Fig.1 Polarimetric-geometric imaging coordinate system
令z=f(x,y)表示目標曲面,其上任意一點的法向量可表示為
(7)
根據SHAFER的雙色反射模型可知,自然光經光滑介質表面反射后,其反射光包含漫反射分量和鏡面反射分量,兩者均具有起偏效應。但對于絕緣體介質,其漫反射光分量起偏效應強于鏡面反射分量;對于金屬導體介質,其漫反射分量起偏效應低,其效果可近似忽略。因此,本文對于絕緣體目標,僅考慮漫反射光的偏振特性;而對于金屬目標,則僅考慮其鏡面反射分量。
結合菲涅爾公式及折射定律,推導得到絕緣體目標表面的漫反射線偏振度ρ2與天頂角θ的幾何表達式為
(8)
而金屬目標表面鏡面反射線偏振度ρ3的幾何表達式為
(9)
式中:ε為絕緣體折射系數(shù);c為內部散射次數(shù),取c=10可滿足重建精度;ε*為金屬的復折射系數(shù)。
偏振相角α(式6)與方位角ψ的關系為
ψ=α或ψ=α+π
(10)
綜合式(7)~式(10)可知,求取目標表面反射光的偏振態(tài)(ρ1,α),即可反演估計得到目標表面的幾何特征(θ,ψ),進而獲取目標表面的法向量分布。
目標表面的法向量分布反映的是物體表面形狀變化的梯度信息[9],令p(x,y)=?f(x,y)/?x,q(x,y)=?f(x,y)/?y,則對于二次連續(xù)閉合的笛卡爾曲面z=f(x,y),滿足梯度二次可積,則物體表面的相對深度可表示為
(11)
多尺度Shapelets算子將二次可積曲面用一組非正交基函數(shù)系數(shù)的加權和來表示,定義了n個不同尺度下的高斯濾波器作為Shapelets基函數(shù)[10],其表達式為
(12)
針對直接利用梯度積分導致深度誤差放大的問題,本文利用多尺度Shapelets積分算子將深度求解問題轉化為多尺度下非正交基函數(shù)系數(shù)加權和問題,直接利用法向量的天頂角θ和方位角ψ,放大了積分過程的約束,避免了積分誤差的傳遞。由式(7)可知,目標表面的梯度幅值可表示為
(13)
式(13)表明目標表面的梯度幅值僅與天頂角θ有關。定義非正交基函數(shù)幅值系數(shù)為
CMi=|▽f|*|▽gi|=|tanθ|*|▽gi|
(14)
幅值系數(shù)能反映目標表面三維形態(tài)的幅度,卻不能反映表面形狀的起伏方向。為保持重建結果與目標表面方向的一致性,本文同時結合方位角ψ,定義非正交基函數(shù)方位系數(shù),其表達式為
CAi=cosψcosgi+sinψsingi。
(15)
綜合非正交基函數(shù)的幅值和方位系數(shù),得到多尺度Shapelets積分算子為
Ci=CMi*CAi=
|tanθ|*|▽gi|*(cosψcosgi+sinψsingi)
(16)
由式(16)可知,多尺度Shapelets積分算子能保證目標表面三維形貌幅值準確的同時,對表面形態(tài)的起伏方向同樣進行了約束。因此,目標表面三維深度信息的求解即可轉化為求取多尺度下非正交基函數(shù)的系數(shù)加權和,其表達式為
(17)
由于Shapelets積分算子采用了非正交的高斯基函數(shù),能在不同尺度下反映目標表面的局部特性,進而能準確快速地重建物體表面的形貌細節(jié),有效抑制了局域誤差和噪聲的放大。
本文中的光學偏振成像測量裝置采用尼康D500 CCD相機與線偏振片的組合,通過機械旋轉偏振片的方式,獲取待重建低紋理目標[0°,60°,120°]3個不同角度的偏振圖像,實現(xiàn)目標的三維重建。為保證待測目標表面得到光源全方位的均勻照射,實驗中采用鹵素燈作為面光源。利用Intel i7 CPU,內存4 GiB的計算機和Matlab2012進行軟件算法仿真處理。實驗以瓷碗、石膏柱體、鋁罐3種不同材質的目標作為重建對象,該類目標表面光滑、結構紋理特征單一甚至缺失。圖2~圖4給出了以上3種低紋理目標的三維重建結果,進一步論證了本文算法的有效性(注:圖2~圖4均截取自仿真軟件原圖)。
第一組實驗目標為光滑的白色瓷碗,介質折射系數(shù)ε=1.642,利用本文三維重建算法,重建結果如圖2所示。
圖2 第一組實驗目標三維重建結果Fig.2 The 3D reconstruction results of Experiment 1
第二組實驗目標為無紋理結構的石膏柱體,介質折射系數(shù)ε=1.574,其三維重建結果如圖3所示。
圖3 第二組實驗目標三維重建結果Fig.3 The 3D reconstruction results of Experiment 2
第三組實驗目標為易反光的金屬導體鋁罐,介質折射系數(shù)ε=1.48+3.9i,其三維重建結果如圖4所示。
圖4 第三組實驗目標三維重建結果Fig.4 The 3D reconstruction results of Experiment 3
以上3組實驗目標,其圖像分辨率參數(shù)及重建算法運行時間如表1所示。
表1 重建場景分辨率及算法時間
由圖2~圖4可知,針對于高反光低紋理目標,無論是絕緣體還是金屬目標,本文提出的基于偏振成像的三維重建算法,都能準確獲取目標表面的深度信息,恢復其三維形狀,有效抑制背景噪聲。圖2中的瓷碗目標,其成像過程中由于表面高反射特性,圖像中出現(xiàn)鏡面耀光,而本文利用偏振成像能一定程度上抑制耀光的干擾,同時結合多尺度Shapelets積分算子實現(xiàn)局部積分,有效避免了耀光造成的數(shù)據空洞和誤差傳遞,同時碗底的起伏、局部細節(jié)重建精度高。圖3中的石膏柱,表面無任何結構紋理信息,傳統(tǒng)三維重建算法無法提取有效的紋理特征,而本文算法不依賴于目標表面特征,從反射光的偏振態(tài)進行量化估計,從而精確恢復目標的三維深度。圖4目標為金屬導體,其電導質表面導致圖像出現(xiàn)了不同陰影和雜散光的干擾以及梯度不連續(xù)的問題。本文重建算法避開了梯度積分,高效地重建出目標整體的三維形貌。
同時,本文提出的重建算法將曲面積分問題轉化為系數(shù)加權求和問題,大大降低了計算復雜度。由表1可看出,對于高分辨的目標圖像,其算法實效性高,易于工程實現(xiàn)。
高反光低紋理目標的三維重建一直是視覺測量領域中的難題。本文提出基于光學偏振成像的三維重建技術,不依賴于目標的紋理結構特征,通過解析反射光的偏振態(tài),反演估計目標表面的法向量分布,提出了多尺度Shapelets積分算子,將曲面積分簡化為基函數(shù)系數(shù)求和問題。相對于傳統(tǒng)三維重建技術,本文算法能高效準確地獲取高反光低紋理目標的深度信息,實現(xiàn)目標表面的真實三維形態(tài)重建。同時算法有效抑制了耀光、背景噪聲的干擾,其重建精度高、計算復雜度低。