基于信度評估的線結(jié)構(gòu)光多重曝光條紋提取

李佐超,郭 威,景春暉,張代聰,馬訓鳴

(西安工程大學機電工程學院,陜西 西安 710600)

0 引言

隨著計算機視覺與光電技術(shù)的迅速發(fā)展,基于機器視覺的檢測技術(shù)得到檢測行業(yè)的高度重視。其中,線結(jié)構(gòu)光[1]主動視覺測量技術(shù)以其測量精度高、抗環(huán)境干擾能力強的優(yōu)勢,在缺陷檢測[2]、目標定位[3]、逆向工程[4]等眾多領(lǐng)域得到了廣泛應用。結(jié)構(gòu)光測量系統(tǒng)的精度受到設(shè)備標定、傳感器性能環(huán)境光等眾多因素的影響,尤其是面對表面反光特性復雜的被測物體時,如何獲取可靠的光條圖像,對于保證測量精度具有重要意義。為了提升條紋圖像的質(zhì)量,國內(nèi)外學者針對結(jié)構(gòu)光測量系統(tǒng)的不同環(huán)節(jié)開展了深入研究。文獻[5]提出了1種實時曝光調(diào)節(jié)技術(shù),以獲取穩(wěn)定的灰度圖像。文獻[6]研究了圖像傳感器的參數(shù)標定對測量精度的影響。文獻[7]研究了直方圖的自適應曝光控制方法,以提高測量精度。文獻[8]通過分析曝光時間與條紋信度評估結(jié)果,獲得最優(yōu)曝光時間。文獻[9]通過連通域分析,實現(xiàn)圖像感興趣區(qū)域(region of interest,ROI)的提取及濾噪。文獻[10]提出了1種基于自適應窗口的灰度中心法,解決了條紋圖像受光照變化與噪聲干擾的問題。但在上述各項研究中,參數(shù)標定研究不能解決被測物體表面反光特性的復雜性問題,且自適應曝光控制以及圖像預處理等方法對受欠曝光與過曝光雙重影響的測量場景適應性較差。文獻[11]提出以光條截面所具有的能量和作為條紋可信度評估依據(jù)。能量越高,即條紋存在的可信度越高。但這種方法存在的問題是過曝光下條紋的信度值較高,會導致條紋灰度過飽和;同時,伴隨干擾條紋與散斑的產(chǎn)生,所以實際條紋可靠性較低。

本文結(jié)合文獻[11]的可信度評估方法,在改進的條紋信度評估基礎(chǔ)上,實現(xiàn)了1種通用型的多重曝光條紋提取法。

1 條紋信度評估數(shù)學模型

單線結(jié)構(gòu)光三維測量利用三角測量原理,通過相機、激光發(fā)生器、被測物體的空間三角位置來計算光條中心位置的三維坐標,以達到獲取物體表面三維數(shù)據(jù)的目的。

條紋截面的灰度分布直接影響條紋中心提取的準確性。在固定拍攝角度下,被掃描工件表面各處的反光程度不同,實際的條紋圖像中往往存在多種低可信度的條紋圖。低可信度條紋灰度圖像如圖1所示。

圖1 低可信度條紋灰度圖像Fig.1 Low confidence striped gray scale images

根據(jù)條紋的能量水平和截面寬度可將其分為2類,分別為欠曝光條紋和過曝光條紋。欠曝光條紋處可能存在輪廓線,但截面能量密度處于低水平,灰度分布不均勻,一般認為可信度較低。過曝光條紋處存在輪廓線,但條紋截面灰度過飽和且產(chǎn)生的散斑使條紋干擾嚴重,條紋寬度已超過正常范圍。

根據(jù)上述分析可知,可靠的結(jié)構(gòu)光條紋應該具有2個特征。

①能量特征,即達到一定的能量水平,避免重建圖像中出現(xiàn)欠曝光條紋。

②合理條紋寬度特征,即防止過曝光下產(chǎn)生高能量但低可信度的條紋。

由此,本文選定條紋能量密度與寬度作為條紋可信度水平的評估依據(jù)。

單線結(jié)構(gòu)光圖像采集過程中,需盡量使條紋法向在圖像中水平分布,即條紋法向橫截面垂直分布。在此前提下,光條圖像上任意1列的能量密度計算方法如下。

①條紋截面寬度估計。

在M行N列的光條圖像f中,對于其中任意1列x,以某種方法得到條紋中心點的縱坐標yC。中心處灰度值為Pmax,結(jié)構(gòu)光條紋邊緣最小灰度值為Pmin≤50%。以yC為中心向光帶兩端搜索首個Pmin值的像素點a和b,則a、b分別為條紋兩端邊界像素。其中像素個數(shù)wx被定義為條紋寬度。

②環(huán)境噪聲與基底噪聲。

由于環(huán)境光線及電荷耦合器件(charge conpled device,CCD)熱噪聲的影響,實際光條圖像中必然具有一定的噪聲,從而影響能量計算的準確性。本文從條紋兩端a、b分別向外延伸w個像素,以其灰度累計作為條紋總噪聲。圖像f中單個像素灰度值為f(xi,yi),則第x列的條紋總噪聲為:

(1)

式中:Nx為第x列像素的總噪聲;wx為第x列像素的條紋截面寬度;yj為第x列像素的條紋截面像素的橫坐標。

③光條截面能量和。

條紋截面能量即條紋截面寬度范圍內(nèi)像素的灰度值之和。圖像中第x列像素的能量可表示為:

(2)

式中:Ex為條紋截面能量累計和;ya、yb為條紋截面邊界像素橫坐標。

④光條能量密度及歸一化處理。

條紋能量密度即條紋截面寬度范圍內(nèi)灰度值之和與截面像素寬度的比值。本文以最大像素值進行歸一化處理。第x列的能量密度可表示為:

(3)

式中:Rx為第x列像素的歸一化能量密度;Dmax=255。

根據(jù)上述計算方法,本文以圖1中的條紋圖像為例,分別標記出4種不同灰度分布狀態(tài)的條紋區(qū)域。其各包含50列像素。待評估條紋區(qū)域如圖2所示。

圖2 待評估條紋區(qū)域Fig.2 Striped areas to be assessed

區(qū)域①中的條紋形態(tài)較好,具有較高的可信度,故將此處條紋作為其他條紋的參照。區(qū)域②為過曝光區(qū)域。區(qū)域③為欠曝光區(qū)域。區(qū)域④中灰度分布較為正常。 本文將圖2中4種不同灰度分布狀態(tài)的條紋區(qū)域分別輸入信度評估體系,得到不同條紋區(qū)域能量密度和寬度分布圖。不同條紋區(qū)域能量密度分布如圖3所示。

圖3 不同條紋區(qū)域能量密度分布圖Fig.3 Distribution of energy density in different stripe regions

圖2中區(qū)域②由于過曝光導致條紋灰度值飽和,并且在條紋周圍產(chǎn)生了散斑。此處條紋的實際可信度較低,但處于過曝光下的條紋具有較高的能量水平。圖3中的過曝光條紋曲線相應體現(xiàn)了這一狀況。由此可知,僅通過能量密度評估指標不容易區(qū)分過曝光與形態(tài)較好的條紋。

對于圖2中區(qū)域③,即處于欠曝光狀態(tài)下的條紋,條紋灰度值和可信度均較低。圖3中對應的欠曝光條紋曲線也驗證了這一情況。

對于圖2中區(qū)域④,從圖3的條紋圖像中可以直觀看出此時的條紋形態(tài)較好。其在圖3中所對應的正常條紋曲線與參照條紋的能量密度曲線最接近。

不同條紋區(qū)域?qū)挾确植既鐖D4所示。

圖4 不同條紋區(qū)域?qū)挾确植紙DFig.4 Width distribution of different stripe areas

由圖3可知,能量密度可以有效識別條紋圖中曝光不足區(qū)域,但存在明顯的不足,即能量密度在過曝光區(qū)域同樣表現(xiàn)出較高的值。為了解決這一問題,本文增加了條紋截面寬度參數(shù)來標記過曝光區(qū)域。在圖4中直觀體現(xiàn)出:參照條紋與正常條紋的寬度基本位于5～6個像素、過曝光區(qū)域的條紋寬度基本在7個以上像素。顯然,條紋寬度與條紋灰度分布的可信度同樣具有非常直接的聯(lián)系。

由此可知,基于條紋能量密度與寬度雙參數(shù)對條紋截面灰度分布信度進行評估的方法符合實際情況。

2 雙參數(shù)多重曝光條紋拼接

基于上述分析,本文設(shè)計了1種適用于單線結(jié)構(gòu)光可信條紋提取的多重曝光法。

(1)設(shè)定區(qū)域標記原則。

本文設(shè)定能量密度為條紋下限參數(shù),將條紋截面寬度設(shè)定為截面上限參數(shù),以此標記適用于測量的可信條紋。本文將圖像輸入信度評估體系,以輸出圖像評估結(jié)果。條紋圖像中:滿足評估標準的像素列標記為“可信條紋”,其列號統(tǒng)計為集合Q;不滿足評估標準的像素列標記為“不可信條紋”,其列號統(tǒng)計為集合U。

(2)設(shè)定曝光時間控制參數(shù)。

①條紋可信度閾值(能量密度Rt、條紋截面寬度Wt)。

②首次曝光時間t0。t0可以設(shè)定為0 ms,或者使得表面反光最強處條紋特征處于設(shè)定的信度閾值范圍內(nèi)。

③曝光時間調(diào)節(jié)單位步長Δt、步長系數(shù)λ。掃描反光特性復雜的表面時,曝光量往往與條紋灰度呈現(xiàn)非線性關(guān)系。通過設(shè)置步長系數(shù)實現(xiàn)可調(diào)步長。λ值由上一次曝光中可信條紋集合中素列增量ε確定。

ε定義為:

ε=Cn-Cn-1

(4)

式中:Cn為第n次曝光融合后圖像中的可信條紋計數(shù)。

λ定義為:

(5)

④拍攝停止標志。圖像中可信條紋所包含的序列占整幅圖像序列的比例為k。k的設(shè)定用于判斷拍攝是否停止,以及保證重建條紋圖像的全局可信度。

(3)條紋圖像重建。

本文創(chuàng)建M行N列的圖像序列It作為模板圖像,存儲可用于測量的條紋序列。相機采集到的條紋圖像序列儲存在It中。每次曝光后標記圖像中的可信條紋序列,將其替換到模板圖像IT中對應位置,并進行圖像信度評估。替換式為:

IT(x,yj)=It(x,yj),x∈Qn且x∈Un-1

(6)

式中:Qn為第n次曝光圖像的可信條紋集合;Un-1為第(n-1)次曝光重建后模板圖像中的不可信條紋集合。

對于已經(jīng)替換到模板中的合格像素列,其將一直保留在模板圖像中,不再更新。每次曝光后隨即進行圖像評估與重建,直到模板圖像中的k達到設(shè)定閾值,則圖像采集結(jié)束。多重曝光流程如圖5所示。

圖5 多重曝光流程圖Fig.5 Multiple exposure flowchart

圖像重建原則如圖6所示。

圖 6 圖像重建原則Fig.6 Principles of image reconstruction

3 試驗與分析

為驗證所提方法的可靠性,本文搭建了單線結(jié)構(gòu)光測量平臺,被測物體需要具備反射特性復雜的表面。由于使用后的鐵軌同時存在銹蝕、摩擦高亮等不同表面狀態(tài),故將其選為被測對象。試驗中采用了自行設(shè)計的線激光3D相機。CCD圖像傳感器為30萬像素。線激光發(fā)生器波長為45 mW、線寬為0.15 mm。

針對鐵軌段固定位置,本文分別采用雙參數(shù)信度多重曝光法、能量信度法[11]多重曝光、傳統(tǒng)最優(yōu)曝光法提取條紋圖像。通過試驗分析可知:曝光在2.0 ms時,過曝光區(qū)域的條紋達到單次曝光下質(zhì)量最優(yōu);曝光在10 ms時,條紋達到單次曝光下最優(yōu)。雙參數(shù)信度多重曝光、單次最優(yōu)曝光10.0 ms與能量信度多重曝光效果對比如圖7所示。

圖7 效果對比Fig.7 Effect comparison

鐵軌表面反射強度變化復雜,同時存在銹蝕、摩擦、高亮等不同表面狀態(tài)。試驗中通過在鐵軌表面使用3D掃描顯影劑獲取理想條紋,使用灰度重心法分別提取不同方法所獲取條紋的中心位置,并分別計算雙參數(shù)信度重建、能量信度重建、單次最優(yōu)曝光與理想條紋中心的偏移距離,以此作為條紋中心誤差。試驗以誤差數(shù)據(jù)的均值與方差來表征曲線的精度。均值代表測量所得的中心曲線與理想曲線的接近程度、方差代表測量所得曲線的穩(wěn)定性。

不同條紋提取方法的誤差均值與方差如表1所示。

表1 不同條紋提取方法的誤差均值與方差Tab.1 Error mean and variance of different stripe extraction methods

由表1中均值與方差數(shù)據(jù)對比可知,相對于單次曝光條紋,通過基于信度評估的多重曝光法所提取的條紋,其中心曲線的精度與穩(wěn)定性都得到了顯著提升。

4 結(jié)論

針對單線結(jié)構(gòu)光條紋輪廓條紋提取時,復雜反射特性表面受到欠曝光與過曝光雙重影響的問題,本文提出了1種基于信度評估的線結(jié)構(gòu)光多重曝光條紋提取方法?；趯l紋的能量密度與寬度模型的分析,本文建立條紋可信度評估標準。在多重曝光下,依據(jù)此評估標準,本文提取各幀圖像中的可信條紋序列,并重建為全局可靠的條紋圖像。本文利用所提方法進行了對比試驗。由試驗數(shù)據(jù)可知,在使用相同的條紋中心計算方法時,相對于能量信度方法與傳統(tǒng)的最優(yōu)曝光法,所提條紋提取方法的誤差均值分別降低了0.17與0.45個像素,其方差對應降低了0.17與0.07。試驗結(jié)果表明,所提方法有效解決了過曝光與欠曝光雙重影響下條紋圖像信度不足的問題,保證了最終光條紋圖像的全局可靠性,有效提升了條紋中心計算的精度與穩(wěn)定性。