提高結(jié)構(gòu)光投影輪廓術(shù)中三維成像質(zhì)量的算法研究

董延清，徐永澤，王宴華，李宏升，陳文聰，史 鵬

(青島理工大學(xué) 理學(xué)院，青島 266525)

近年來，隨著逆向工程和三維成像技術(shù)的發(fā)展和應(yīng)用，獲取現(xiàn)實(shí)世界物體的三維數(shù)據(jù)并進(jìn)行三維成像的方法得到了越來越多的關(guān)注和研究。目前的三維成像技術(shù)主要分為接觸式和非接觸式兩種，其中接觸式測(cè)量雖然有較高的精度，但接觸難免會(huì)對(duì)被測(cè)量物體表面造成損傷，而且受制于被測(cè)量物體的尺寸，測(cè)量效率也會(huì)下降；非接觸式包括全息照相法、散斑干涉法、被動(dòng)式非相干法和主動(dòng)式非相干法等，其中主動(dòng)式非相干法中的結(jié)構(gòu)光投影輪廓術(shù)以結(jié)構(gòu)光為載體，利用投影條紋的相位信息來還原物體的三維形貌，因其非接觸、高速度、高準(zhǔn)確度等優(yōu)點(diǎn)，被廣泛應(yīng)用于逆向工程、醫(yī)學(xué)影像、三維視覺等領(lǐng)域，隨著工業(yè)檢測(cè)精度的精細(xì)化，其更被應(yīng)用于孔洞檢驗(yàn)[1]和工業(yè)磨痕檢測(cè)[2]等機(jī)械、土木工程領(lǐng)域，成為當(dāng)前最具有發(fā)展前景的三維形貌采集和重建技術(shù)之一。

正弦結(jié)構(gòu)光三維成像系統(tǒng)需要投影正弦條紋[3]，條紋投影到物體表面后會(huì)因物體表面的高度不同而產(chǎn)生相位調(diào)制，根據(jù)相位差進(jìn)行相位解包裹等操作便可將物體的高度信息提取出來?；谡医Y(jié)構(gòu)光的傅里葉變換輪廓術(shù)(Fourier Transform Profilometry, FTP)采用傅里葉變換法[4-5]，將一幅含有條紋相位差信息的圖像進(jìn)行傅里葉變換處理，使圖像信息從空間域轉(zhuǎn)換到頻域，在頻域中進(jìn)行濾波操作，把含有變形條紋的基頻信息過濾出來，再對(duì)其進(jìn)行傅里葉逆變換、相位解包裹等一系列操作最終得到物體的三維形貌，其中傅里葉變換中的性質(zhì)對(duì)FTP法有一定影響，會(huì)產(chǎn)生頻譜混疊、頻譜泄漏等問題，LOHRY等[6]提出利用調(diào)制來消除三階諧波的方法提高條紋質(zhì)量；虞梓豪等[7]提出利用多頻外差法來提高小型物體的細(xì)節(jié)重建效果。相移輪廓術(shù)(Phase Shifting Profilometry, PSP)同樣基于正弦條紋的相位差來計(jì)算物體高度，利用物光與參考光之間的有序位移造成相應(yīng)的光程差變換來計(jì)算物體的高度信息。PSP因采用多幅圖像進(jìn)行相位的解包裹，所以相移條紋的精度會(huì)大大影響相位信息的計(jì)算準(zhǔn)確度，就相移步長(zhǎng)的精度問題，ZHANG等[8]提出改進(jìn)Carré算法來抵抗相位步長(zhǎng)不準(zhǔn)確引起的誤差。

環(huán)境光亦稱為背景光，是指在特定環(huán)境中的照明光線，包括自然光線和人造光線，良好的環(huán)境光可以起到美化視覺的作用，但在一些特定的成像系統(tǒng)中，環(huán)境光的加入會(huì)影響成像系統(tǒng)光信息的傳播，甚至可能會(huì)將有用信息湮沒在背景光的噪聲中。正弦結(jié)構(gòu)光三維成像系統(tǒng)非接觸的特點(diǎn)，需要將正弦條紋投影到物體表面，利用圖像采集系統(tǒng)進(jìn)行光信息采集，信息采集過程中會(huì)受到各種外界環(huán)境光等噪聲的影響，在一定程度上降低了三維物體的成像質(zhì)量。

關(guān)于減少環(huán)境光噪聲的算法研究成果較少，本文就正弦結(jié)構(gòu)光投影輪廓術(shù)中信息采集的問題進(jìn)行了詳細(xì)討論，分析物體高度信息的計(jì)算方法，討論了影響三維成像效果的環(huán)境噪聲因素，提出了圖像相減算法和單色通道數(shù)據(jù)提取算法兩種通過減少環(huán)境光噪聲來有效提高三維物體成像質(zhì)量的方法，并用計(jì)算機(jī)模擬和實(shí)驗(yàn)驗(yàn)證了兩種算法的有效性。

P—正弦結(jié)構(gòu)光原始空間周期；θ—斜入射角度；P0—投射接收平面(基準(zhǔn)參考面)上的投影空間周期；B—測(cè)量物體上的任意一點(diǎn)；b—過B點(diǎn)正弦結(jié)構(gòu)光和相機(jī)CCD光軸間的水平距離；L—CCD與基準(zhǔn)參考平面的垂直距離；A，C—B點(diǎn)在基準(zhǔn)參考平面上的兩個(gè)投影點(diǎn)；O—CCD面光軸正射投影點(diǎn)(記為相位O點(diǎn))

1 正弦結(jié)構(gòu)光三維重建原理

1.1 高度公式

正弦結(jié)構(gòu)光三維成像采集系統(tǒng)一般為單目視覺測(cè)量系統(tǒng)[9]，單目系統(tǒng)利用一個(gè)電荷耦合原件(Charge Coupled Device，CCD)或相機(jī)拍攝圖像，測(cè)量圖像上像素點(diǎn)與空間對(duì)應(yīng)點(diǎn)的幾何約束關(guān)系，求得三維坐標(biāo)，計(jì)算得到三維物體的高度信息。假定投影系統(tǒng)的光束近似為平面波[10]，模型如圖1所示，一定角度傾斜投影的條紋打在物體表面上，物體的高度對(duì)正弦條紋進(jìn)行相位△φ的調(diào)制，與之相對(duì)應(yīng)，相位△φ中便攜帶了物體的高度信息。

圖1 平面波傳輸模型

漫反射物體的高度h(x,y)對(duì)相位進(jìn)行調(diào)制后得到的附加相位為

φ(x,y)=2πx/P0+2πh(x,y)/λe，

(1)

式中：λe為等效波長(zhǎng)，一個(gè)等效波長(zhǎng)正好等于引起相位變化量的高度變化。

由于Dc為任意取值，則CCD陣列上任意點(diǎn)的前后兩次相位差有如下關(guān)系式：

(2)

(3)

其中式(3)中正弦結(jié)構(gòu)光原始空間周期P，斜入射角度θ，CCD與基準(zhǔn)參考平面的垂直距離L，均由實(shí)驗(yàn)系統(tǒng)參數(shù)決定，都可以測(cè)量得到。φA和φC分別為條紋中同一位置點(diǎn)水平方向上的原相位和投影相位。顯然，當(dāng)P，L，θ確定時(shí)，高度h隨著相位差Δφ=φC-φA增大而增大，呈線性正相關(guān)。

1.2 FTP法基本原理

圖像是由離散的像素點(diǎn)[11]構(gòu)成，對(duì)圖像進(jìn)行二維離散傅里葉變換(Two-Dimensional Discrete Fourie Transform, 2D-DFT)和逆變換等操作求出物體的真實(shí)高度[12-13]，具體步驟為：首先對(duì)圖像進(jìn)行傅里葉變換，將圖像從空間域轉(zhuǎn)換到頻率域，在頻率域中進(jìn)行特定的窗口濾波，把投影條紋的信息從頻域中提取出來，進(jìn)行傅里葉逆變換后便可得到條紋的相位差Δφ(x,y)，利用相位差計(jì)算并擬合出圖像中物體的真實(shí)高度。

在FTP中，當(dāng)投影的正弦結(jié)構(gòu)光場(chǎng)照射到物體表面時(shí)，考慮一維變形條紋強(qiáng)度I分布表示為

I(x)=I0(x)+I1(x)cos[2πv0x+Δφ(x)]，

(4)

式中：I0(x)為背景光強(qiáng)度；I1(x)為條紋的振幅強(qiáng)度(包含反射率信息)；v0為原始的條紋空間頻率。

(5)

進(jìn)行傅里葉變換后，得到的頻譜強(qiáng)度分布為

(6)

(7)

由式(7)可以得到變形條紋的相位偏移：

(8)

式(8)中，tan-1(…)求出的相位是包裹相位，需要對(duì)其進(jìn)行解包裹；2πv0x為基準(zhǔn)平面的相位變化，減去基準(zhǔn)平面得到的就是因高度造成的相位偏移差。

1.3 PSP法原理

相移輪廓術(shù)通過移動(dòng)條紋或者物體來移動(dòng)固定步長(zhǎng)的相位，通過相位之間的特定相位差信息將相位中包含的物體高度信息計(jì)算出來。

其中四步相移輪廓術(shù)的條紋強(qiáng)度公式分別為

(9)

通過聯(lián)立以上四個(gè)方程可求得相位差：

(10)

從上式中可以看到，通過四個(gè)強(qiáng)度求差、商后，最終求解得到不含有振幅強(qiáng)度I1(x)和背景光I0(x)的相位，減去基準(zhǔn)平面后得到因高度引起的相位差。

從以上兩種方法中可以看出，條紋投影輪廓術(shù)的實(shí)現(xiàn)需要先得到精確的條紋相位差信息Δφ(x,y)，通過Δφ(x,y)來計(jì)算物體的高度信息，所以條紋的清晰度對(duì)最終的三維成像效果有至關(guān)重要的影響，當(dāng)物體表面反光或者顏色與條紋顏色相近時(shí)，條紋的清晰度便會(huì)被干擾，條紋的相位信息也便無法得到精確的解析，進(jìn)而影響三維成像效果。如何將條紋的信息精確地提取出來直接關(guān)系到最終的三維成像質(zhì)量。

2 條紋有效信息提取算法

由物體高度公式(3)可以看出，理論上h的求解與相位差Δφ有關(guān)，而與背景光I0無關(guān)，但在實(shí)際情況下，背景光的增強(qiáng)意味著噪聲的增加，背景光會(huì)對(duì)投影條紋產(chǎn)生疊加。FTP方法進(jìn)行傅里葉變換后背景信息I0會(huì)存在于整個(gè)頻譜中，尤其在強(qiáng)背景光時(shí)條紋所攜帶的相位差信息Δφ更容易被湮沒在噪聲[14]中無法有效分離；PSP方法因要拍攝多張照片，若這些照片中背景光發(fā)生變化會(huì)使得I0產(chǎn)生嚴(yán)重?cái)_動(dòng)，影響相位φ(x)的計(jì)算，進(jìn)而影響物體高度的準(zhǔn)確還原。下面提出兩種濾除(減少)背景光噪聲的算法。

2.1 圖像相減算法

利用圖像相減算法，將有背景光有投影條紋的圖像和有背景光無投影條紋的圖像數(shù)據(jù)進(jìn)行相減[15]，得到的便是兩幅圖像的差異信息，即變形條紋圖，大大提高了條紋有效信息傳輸和接收的準(zhǔn)確性。

固定各種環(huán)境參數(shù)，確保單一變量，背景光下實(shí)驗(yàn)，環(huán)境光會(huì)與投影出來的條紋產(chǎn)生加權(quán)，圖像的整體亮度提高，同時(shí)條紋的信息部分被環(huán)境光所掩蓋，利用投影條紋圖減去物光光強(qiáng)或者參考光光強(qiáng)，得到一副全新的條紋圖像，實(shí)驗(yàn)中記錄在CCD中的環(huán)境光圖像記為U0(x，y)，環(huán)境光下加上投影條紋的像素信息記為U1(x，y)，通過圖像相減便可得到投影條紋的振幅變化。

獲得條紋圖像為

(11)

將背景光場(chǎng)減掉，從而只剩下變形條紋的信息，對(duì)相減得到的圖像進(jìn)行FTP或者PSP處理后即可得到物體的三維形貌。

從圖2中可以看出，圖2(b)所示圖像環(huán)境光對(duì)條紋的對(duì)比度影響較大，條紋不清晰，影響最終的三維成像質(zhì)量；通過圖像相減算法利用圖2(b)-(a)將背景光場(chǎng)數(shù)據(jù)減掉，得到如圖2(c)所示的物體條紋圖，條紋清晰度大幅提升，有效減小了環(huán)境光對(duì)條紋清晰度的影響。

圖2 不同情況下的實(shí)物條紋(頂視)

2.2 單色通道數(shù)據(jù)提取算法

相位差的計(jì)算依賴于投影條紋的正弦性，正弦性的改變會(huì)影響最終的三維成像精度。當(dāng)外界環(huán)境光(白光)較強(qiáng)時(shí)，利用儀器投影的條紋可以選定為特定顏色的單色條紋，在利用計(jì)算機(jī)系統(tǒng)進(jìn)行處理時(shí)，可以利用單色通道數(shù)據(jù)提取算法[16]將這些條紋較高效率地提取出來，減小環(huán)境光中其他波段有色光的影響，從而進(jìn)一步提高三維成像系統(tǒng)的精度。

幾乎所有的彩色成像設(shè)備和彩色顯示設(shè)備都采用RGB(紅、綠、藍(lán))三基色，各種顏色由RGB三種顏色通道相互疊加而成，真彩色圖像由R，G，B三個(gè)像素層疊加，在RGB彩色空間中，任意彩色光L的配色方稱為

L=r[R]+g[G]+b[B]，

(12)

式中：r[R]，g[G]，b[B]為彩色光L的三基色分量或百分比。

圖像各像素點(diǎn)的不同顏色由R，G，B三基色分量組成，如圖3所示，每個(gè)顏色基量的范圍為0～255，共256階亮度，值越大代表所占分量越多，一幅圖像的每個(gè)像素點(diǎn)上的色彩可看作由紅、綠、藍(lán)三個(gè)0～255不同值構(gòu)成的三層矩陣疊加而成。

圖3 RGB彩色空間

利用計(jì)算機(jī)系統(tǒng)可以進(jìn)行單色通道數(shù)據(jù)提取，將其他顏色的通道進(jìn)行置零，得到某一顏色通道，從而減小其他顏色通道和外界環(huán)境光對(duì)條紋信息的干擾。

修正CCD的非線性影響，使用SCMOS05000KPA直接采集投影條紋并利用計(jì)算機(jī)進(jìn)行處理，從圖4中的像素和強(qiáng)度值的對(duì)應(yīng)關(guān)系可以看出，暗室環(huán)境下條紋的對(duì)比度最高、正弦性較好，當(dāng)加入照度為122 lx的環(huán)境光時(shí)，條紋的對(duì)比度下降明顯，條紋信息的質(zhì)量下降，而當(dāng)采用單色通道數(shù)據(jù)提取去處理?xiàng)l紋后，對(duì)比度有了很大的提升，說明單色通道數(shù)據(jù)提取算法較好地提高了條紋有效信息的質(zhì)量，對(duì)后續(xù)的高度反演有利。

3 結(jié)果分析

3.1 計(jì)算機(jī)模擬PSP實(shí)驗(yàn)

采用計(jì)算機(jī)建立的三棱柱模型如圖5(a)所示，對(duì)圖5 (a)所示模型圖添加背景光隨機(jī)噪聲后分別直接處理和采用上文所提兩種算法處理，最后用四步PSP進(jìn)行高度反演，經(jīng)過式(10)計(jì)算可以得到包裹相位，隨后進(jìn)行解包裹操作即可得到如圖5(b)(c)所示的物體三維形貌圖。從圖5(b)(c)可以看出，由于模擬環(huán)境光的存在使得PSP處理后條紋的相位失真，最終反演得到的三維模型表面粗糙，模型的成像質(zhì)量較差，而采用圖像相減算法和單色通道數(shù)據(jù)提取算法后反演得到的三維模型表面趨于平滑，能有效改善外界環(huán)境光對(duì)成像質(zhì)量的影響。

圖5 計(jì)算機(jī)模擬三棱柱

3.2 FTP實(shí)驗(yàn)驗(yàn)證

本實(shí)驗(yàn)中，采用圖6所示實(shí)驗(yàn)裝置產(chǎn)生激光正弦結(jié)構(gòu)光條紋[17-18]。點(diǎn)光源發(fā)出的綠色激光經(jīng)過調(diào)制和多次菲涅爾衍射傳輸后便可將標(biāo)準(zhǔn)的正弦條紋投影到待測(cè)物體P的表面，通過相機(jī)采集變形條紋的圖像，利用FTP方法可得到物體的三維形貌輪廓圖。

圖6 FTP法實(shí)驗(yàn)裝置

本實(shí)驗(yàn)采取表面平滑的等腰直角三棱柱(圖7)進(jìn)行實(shí)驗(yàn)，三棱柱直角底邊近似邊長(zhǎng)l=12 mm、高L=20 mm，將圖6裝置產(chǎn)生的正弦條紋投影到三棱柱表面(投影條紋空間頻率約3 lp/mm)，分別對(duì)環(huán)境光(光強(qiáng)122 lx)下的原始圖像、經(jīng)圖像相減算法和綠色通道提取算法處理得到的圖像進(jìn)行FTP法處理，結(jié)果如圖8所示，未經(jīng)過條紋有效信息提取算法處理的含環(huán)境光原始圖像在高度反演后三棱柱表面較粗糙，這些起伏點(diǎn)是由于環(huán)境光的噪聲產(chǎn)生的，而經(jīng)過本文提出的算法處理后反演得到的三棱柱表面趨于平滑，三維成像圖的質(zhì)量有一定程度的提高，成像圖中物體表面的噪聲起伏點(diǎn)明顯減少。

圖7 三棱柱實(shí)物

圖8 環(huán)境光下實(shí)驗(yàn)物體的三維成像

4 結(jié)論

結(jié)構(gòu)光條紋投影輪廓術(shù)中變形條紋的有效信息對(duì)最終三維成像質(zhì)量來說至關(guān)重要，當(dāng)拍攝物體處于較強(qiáng)的外界環(huán)境光下時(shí)，環(huán)境光作為噪聲會(huì)影響條紋相位差Δφ(x)的準(zhǔn)確性，從而降低三維成像質(zhì)量，因此本文主要研究投影變形條紋有效信息的提取和還原，提出了圖像相減算法和單色通道數(shù)據(jù)提取兩種后處理算法，可有效地提升物體上變形條紋的清晰度。采用圖像相減算法將背景光信息直接濾除，僅得到更精確的變形條紋圖像數(shù)據(jù)信息；采用與條紋顏色相同的單色通道數(shù)據(jù)提取算法，可減少背景噪聲，增加條紋對(duì)比度，改善因?qū)Ρ榷?、正弦性降低造成的影響。通過計(jì)算機(jī)仿真實(shí)驗(yàn)和激光投影實(shí)驗(yàn)證實(shí)了兩種算法的有效性，這為提高結(jié)構(gòu)光投影輪廓術(shù)中三維成像質(zhì)量的研究提供了有益參考。