王興東 楊雅倫 孔建益 施 毅
1.武漢科技大學(xué)機械自動化學(xué)院,武漢,4300812.揚州力德工程技術(shù)有限公司,揚州,225000
小批量生產(chǎn)的大型非標(biāo)件,其焊縫坡口形貌復(fù)雜,焊接路徑多且長,人工和示教再現(xiàn)型焊接方式不再適用,因此,基于激光視覺的焊縫跟蹤技術(shù)得到發(fā)展[1],該技術(shù)具有直觀、與工件無接觸、精度高和響應(yīng)快等優(yōu)點[2-5],得到了國內(nèi)外學(xué)者的廣泛關(guān)注。目前,光學(xué)三角測量原理[6]在焊縫檢測中應(yīng)用最廣,然而強烈的弧光和焊縫表面的鏡面反光現(xiàn)象導(dǎo)致視覺傳感器難以直接進(jìn)行傳感測量[7]。
基于視覺傳感的焊縫圖像二值化處理是等厚對接自動焊接的關(guān)鍵步驟。二值化閾值的選取決定了焊縫圖像的處理效果[8]。坡口鏡面反射、多層多道焊坡口形貌復(fù)雜和飛濺等現(xiàn)象,使圖像存在灰度級多、灰度分布不均和隨機噪聲的問題,影響閾值的選取。基于閾值的二值化方法可分為兩大類:局部閾值法和全局閾值法[9-11]。局部閾值法依據(jù)子塊中像素點灰度值特征自適應(yīng)調(diào)節(jié)閾值,進(jìn)行多目標(biāo)二值化。常用的局部閾值法有Niblack法[12-13]、Bernsen法[14-15]等。TALAB等[15]基于Bernsen法檢測圖像中車牌標(biāo)志,使用雙均值濾波去除噪聲,選用不同于Bernsen算法的λ值來確定各像素的局部閾值,對車牌圖像進(jìn)行局部二值化。焊縫圖像中的干擾灰度級較高,若采用局部閾值法,易產(chǎn)生強制噪聲。全局閾值法采用單一閾值,將圖像所有像素點灰度值與閾值比較,根據(jù)比較結(jié)果區(qū)分背景及焊縫目標(biāo)。OTSU[16]提出的一種最大類間方差法是二值化的最優(yōu)算法之一。LI等[17]為了在含有強弧光、飛濺及熱變形的復(fù)雜焊接環(huán)境中進(jìn)行圖像預(yù)處理,采用二次中值濾波去除部分噪聲,并通過定義計算窗口位置以縮小圖像。WU等[18]對焊縫圖像進(jìn)行中值濾波去噪,采用Otsu 法處理圖像,以峰值信噪比和均方根誤差作為圖像二值化質(zhì)量的評估指標(biāo)。
國內(nèi)學(xué)者研究了經(jīng)典算法的改進(jìn)。申俊琦等[19]通過最小二乘法建立Otsu法所選閾值與焊縫光帶區(qū)域灰度平均值的直線回歸方程,以選取適合的閾值;齊繼陽等[20]提出一種改進(jìn)Otsu法,在考慮類間方差和類內(nèi)方差對圖像分割效果影響的基礎(chǔ)上,用方差信息代替均值信息,構(gòu)建焊接圖像分割閾值算法。 但上述算法中單一閾值易受噪聲干擾,使焊縫圖像無法達(dá)到滿意的二值化效果,并且需要處理圖像的所有像素點,計算量大,因此,降低干擾對閾值的影響,準(zhǔn)確得到焊縫光帶特征信息是問題的關(guān)鍵。本文提出的二值化方法結(jié)合圖像灰度信息、空間鄰域信息和優(yōu)化算法,有效濾除焊縫圖像存在的干擾,讓光帶信息成為二值化圖中唯一特征。本文建立了基于視覺傳感的等厚對接焊縫跟蹤成像系統(tǒng),對比分析了常規(guī)算法的處理結(jié)果;自適應(yīng)地定義感興趣區(qū)域(region of interest,ROI)以縮減原始圖像;基于鄰域灰度極差值的分布特征,提出了對ROI圖像劃分為平緩和劇烈兩區(qū)域的算法;以高質(zhì)量二值化圖像為目標(biāo),平緩系數(shù)和劇烈系數(shù)為設(shè)計變量,建立了焊縫光帶區(qū)域判定的優(yōu)化模型,以最優(yōu)結(jié)果確定了焊縫光帶區(qū)域;將該區(qū)域灰度均值作為二值化變換閾值,完成圖像預(yù)處理。為驗證算法有效性,對比分析若干組的實驗室實驗二值化處理的結(jié)果,并在工業(yè)現(xiàn)場對多層多道焊的連續(xù)圖像進(jìn)行實驗。
基于視覺傳感的等厚對接焊縫跟蹤實驗系統(tǒng)主要由激光視覺傳感器、主控計算機及控制平臺組成,結(jié)構(gòu)如圖1所示。其中,激光視覺傳感器主要由CCD攝像機和線激光傳感器組成。選用大恒公司的MER-130-30UM相機(分辨率為1 280×1 024像素),焦距為12 mm的M1214-MP2鏡頭,線激光傳感器為波長650 nm的LH-L6353DL激光器。線激光傳感器射出的激光線照射在工件表面,形成特定形狀的激光線條紋;激光視覺傳感器中CCD攝像機接收來自工件表面的反射光,利用成像原理采集等厚板焊接圖像,并傳入主控計算機進(jìn)行圖像處理。實驗對象選用板厚分別為5 mm、10 mm、25 mm的鋼板,均開設(shè)45°的V形坡口角。
圖1 基于視覺傳感的等厚對接焊縫跟蹤實驗系統(tǒng)Fig.1 Tracking system of uniformed-thickness butt weld based on visual sensor in laboratory
在搭建的成像實驗系統(tǒng)中,CCD攝像機和線激光傳感器在同一個平面,且平面夾角θ為30°,如圖2所示。5 mm厚鋼板對接焊縫的原始圖像見圖3a。
圖2 CCD攝像機與線激光結(jié)構(gòu)Fig.2 Structure of CCD camera and line laser
對原始圖像(圖3a)應(yīng)用Otsu算法[16]進(jìn)行二值化,得到圖3b,可看出仍存在反光噪聲,焊縫光帶邊界不光滑,且頂點包含多余像素。這是由于原圖中焊縫光帶灰度值非常高(接近255),但所占面積較小,使得其算法的直方圖不能顯著表征光帶與其相鄰區(qū)域的灰度變化,故焊縫周圍有噪聲殘留。應(yīng)用文獻(xiàn)[17]算法的二值化結(jié)果如圖3c所示,焊縫光帶相較于圖3b更加平滑,光帶寬度增大,但未完全濾除反光噪聲,且頂點包含多余像素。該算法選用開窗進(jìn)行中值濾波,但圖3a的反光區(qū)域明顯、連續(xù)且灰度值變化不大,使得反光區(qū)域內(nèi)的像素點灰度值與設(shè)定窗口中值接近,無法替換反光像素點,導(dǎo)致噪聲殘留。應(yīng)用文獻(xiàn)[19]算法的二值化結(jié)果如圖3d所示,圖像光帶出現(xiàn)斷裂且邊界粗糙。該算法將二值化閾值直接設(shè)為激光帶區(qū)域像素點的灰度平均值,由于光帶灰度值非常高,且明顯高于光帶邊緣區(qū)灰度值,故以該閾值進(jìn)行二值化時會將邊界像素點濾除,得到不完整焊縫信息。因此,上述三種方法均不適用于處理灰度級多、灰度分布不均和隨機噪聲的焊縫圖像,它們的二值化閾值導(dǎo)致圖像處理過度或不完全。針對實時的焊接要求,應(yīng)有效濾除噪聲、準(zhǔn)確且高效地提取焊縫光帶,故本文提出了基于區(qū)域優(yōu)化的等厚對接焊縫圖像二值化方法。
圖3 常規(guī)算法用于V形焊縫二值化結(jié)果Fig.3 The representative results using the common binarization algorithms
應(yīng)用二值化算法無法有效保留焊縫信息。針對實時檢測需求,本文定義ROI(region of interest)圖像以減少處理范圍。為獲取更好的二值化效果,按照鄰域灰度極差值的分布特征,提出了將ROI圖像劃分為平緩和劇烈兩區(qū)域的算法;以高質(zhì)量二值化圖像為目標(biāo),建立了焊縫光帶區(qū)域判定的優(yōu)化模型;以獲取的最優(yōu)結(jié)果確定焊縫光帶區(qū)域,將該區(qū)域灰度均值作為變換閾值,進(jìn)行二值化處理,最終獲得準(zhǔn)確而完整的光帶信息。本文理論研究的技術(shù)路線如圖4所示。
圖4 本文技術(shù)路線圖Fig.4 Flowchart of the proposed method
本文提出基于特征的自適應(yīng)ROI定義方法可保留不同條件下的焊縫圖像紋理,同時縮短搜索時間,具體步驟如下:
(1)讀取圖像寬度M、高度N和像素點灰度值gi,j,i=0,1,…,N;j=0,1,…,M-1;結(jié)合成像系統(tǒng)的硬件配置、焊縫光帶幾何特征及圖像灰度分布,獲取焊縫光帶寬度γ,設(shè)定圖像灰度值的邊界值Δ。
(2)判斷中心像素點P0(i0,j0)灰度值是否滿足gi0,j0≥Δ,若滿足則設(shè)該點為A,并繼續(xù)向上搜索是否存在gi,j0≤Δ,若存在,則將首個滿足條件的點設(shè)為P1(i1,j0),否則,取上邊界為第N-1行,并停止搜索;若P0(i0,j0)不滿足條件,則繼續(xù)向上搜索直至找到滿足gi,j0≥Δ的點A,并重復(fù)找到A點之后的步驟;若搜索至上邊界未找到A點,則將P0(i0,j0)設(shè)為P1(i1,j0)。
(3)以P1(i1,j0)點為起始點,水平向左搜索,判斷是否存在gi1,j≥Δ,若存在,則將首個滿足條件的點P(i1,jx)設(shè)為P0,再按步驟(2)的模式向上搜索,得到點P(iy,jx),令該點為起始點進(jìn)行向左向上的順次循環(huán)、判斷,否則直至搜索到左邊界,取Pa(ia,0)為左上邊界點。
(4)從Pa(ia,0)開始,水平向右搜索,判斷是否存在gia,j≥Δ,若存在,則將首個滿足條件的點P(ia,jz)設(shè)為P0,再按步驟(2)的模式向上搜索,得到點P(iw,jz),令該點為起始點進(jìn)行向右向上的順次循環(huán)、判斷,否則直至搜索到右邊界,取Pb(ib,M-1)為右上邊界點。
(5)取上邊界為第iup行,iup=ib+γ(若iup≥N-1,則取iup=N-1)。
(6)同理,按步驟(2)到步驟(3)的模式,開始向下搜索圖像左下邊界點Pc(ic,0),從Pc(ic,0)開始,按步驟(4)的模式,搜索到右下邊界點Pd(id,M-1)。
(7)取下邊界為第ilow行,ilow=ik-γ(若ilow≤0,則取ilow=0)。
(8)獲取的ROI圖像為第iup行至第ilow行的所有像素點。
將圖3a原圖處理后,得到圖5所示的ROI圖像(圖中方框標(biāo)記為后續(xù)舉例區(qū)域)。本算法自適應(yīng)地選取上邊界為第32行,下邊界為第150行,所定義的ROI圖像相較于原圖,減少26 209個像素點,相對于原圖,降幅為37.70%。
圖5 圖3a的ROI圖像Fig.5 The ROI image of fig.3a
ROI圖像存在灰度級多、灰度分布不均和隨機噪聲等問題,導(dǎo)致不同區(qū)域的灰度變化情況不同。若以常規(guī)二值化算法的單一閾值來考察所有區(qū)域的灰度變化情況,則結(jié)果不再準(zhǔn)確。圖像灰度極差值可準(zhǔn)確描述圖像明暗變化劇烈程度[21]。本文以像素點與其鄰域像素灰度極差來表征圖像的明暗變化劇烈程度。為獲取更好的二值化效果,基于鄰域灰度極差值的分布特征,提出將ROI圖像劃分為平緩和劇烈兩區(qū)域的算法。
ROI圖像(設(shè)為I)內(nèi)各像素(不包含4條邊界上的像素點)與其8鄰域像素的最大灰度值gI(i,j)max與最小灰度值gI(i,j)min之差為像素的鄰域灰度極差值e(i,j),即
e(i,j)=gI(i,j)max-gI(i,j)min
(1)
gI(i,j)max=max(gI(i+k,j+l))
(2)
gI(i,j)min=min(gI(i+k,j+l))
(3)
其中,gI(i,j)表示ROI圖像像素點灰度值;k,l分別取-1,0和1。
(4)
(5)
其中,I(i,j)表示ROI圖像像素點;S(i,j)表示平緩區(qū)域像素點;B(i,j)表示劇烈區(qū)域像素點;N表示ROI圖像所有像素點個數(shù)。
根據(jù)式(4),將所有鄰域灰度極差值趨近或等于0的像素點集合定義為平緩區(qū)域S(i,j);將所有鄰域灰度極差值差異明顯的像素點集合定義為劇烈區(qū)域B(i,j)。圖5中方框區(qū)域內(nèi)像素點的灰度值如圖6a所示,鄰域灰度極差值分布及其分區(qū)結(jié)果(S(i,j)包括①、③和⑤三個部分,B(i,j)包括②和④兩個部分)如圖6b所示,鄰域灰度極差值越大,顯示的顏色越深。
圖6 方框區(qū)域像素點灰度值及鄰域灰度極差值計算結(jié)果Fig.6 The gray value and the distribution of the neighborhood gray difference of the box
上文將ROI圖像分為平緩和劇烈兩大區(qū)域,為達(dá)到高質(zhì)量二值化圖像的目標(biāo),以平緩系數(shù)和劇烈系數(shù)為設(shè)計變量,建立焊縫光帶區(qū)域的優(yōu)化模型,利用最優(yōu)系數(shù)將兩區(qū)域進(jìn)一步細(xì)化,將含有焊縫信息部分合成焊縫光帶區(qū)域;將該區(qū)域灰度均值作為二值化變換閾值,完成圖像預(yù)處理。具體方法如下。
圖6中,平緩區(qū)域S(i,j)中①和⑤部分的灰度值接近或等于0,將其定義為背景區(qū)域N(i,j)S;③部分的灰度值接近或等于255,定義為光帶中間區(qū)域G(i,j)S。區(qū)域G(i,j)S灰度值明顯高于區(qū)域N(i,j)S灰度值,據(jù)此設(shè)定劃分兩區(qū)域的閾值,灰度值大于閾值的區(qū)域即光帶中間區(qū)域G(i,j)S;在不同環(huán)境下得到的圖像,背景區(qū)域N(i,j)S和光帶中間區(qū)域G(i,j)S的灰度值均會出現(xiàn)不同程度的變化,即
(6)
其中,α為平緩系數(shù),α∈(0,1];gS(i,j)為區(qū)域S(i,j)像素點灰度值;gmax和gmin分別為ROI圖像內(nèi)最大與最小灰度值,平緩閾值為α|gmax-gmin|。觀測大量焊縫圖像可知,劇烈區(qū)域B(i,j)與區(qū)域G(i,j)S接近的部分包含光帶邊界等有用信息,而接近區(qū)域N(i,j)S多是噪聲干擾,為全面獲取光帶信息,本文將區(qū)域B(i,j)劃分為接近背景區(qū)域的焊縫外區(qū)域W(i,j)B和接近光帶中間區(qū)域的光帶過渡區(qū)域G(i,j)B。
圖6a中,焊縫外區(qū)域W(i,j)B中包含噪聲,而其灰度值大于區(qū)域N(i,j)S;光帶過渡區(qū)域G(i,j)B包含光帶信息,灰度值接近中間區(qū)域G(i,j)S,進(jìn)一步結(jié)合焊縫圖像特征,提出通過動態(tài)優(yōu)化劇烈系數(shù)進(jìn)行合理區(qū)分,即
(7)
其中,gB(i,j)為區(qū)域B(i,j)像素點灰度值,β為劇烈系數(shù),β∈(0,1]。將式(6)和式(7)準(zhǔn)確劃分的區(qū)域G(i,j)S與G(i,j)B合并為焊縫光帶區(qū)域G(i,j)。
高質(zhì)量二值化圖像的目標(biāo)如下:處理后圖像的像素灰度值的峰值信噪比(peak signal to noise ratio, PSNR)高,且其均方根誤差(root mean square error, RMSE)低。對ROI圖像進(jìn)行二值化,即以區(qū)域內(nèi)像素點的灰度均值K作為變換閾值進(jìn)行圖像處理,使處理效果應(yīng)達(dá)到高質(zhì)量處理的目標(biāo),即
(8)
K=(NG)-1∑gG(i,j)
(9)
其中,gG(i,j)為區(qū)域G像素點灰度值,gW(i,j)為圖像二值化后灰度值,NG為區(qū)域G像素個數(shù)。焊縫光帶區(qū)域判定系數(shù)(平緩系數(shù)α和劇烈系數(shù)β)是劃分得到區(qū)域G(i,j)的關(guān)鍵。為達(dá)到高質(zhì)量二值化圖像的目標(biāo),建立優(yōu)化焊縫光帶區(qū)域判定系數(shù)的目標(biāo)函數(shù):
minf(α,β)=ω1R-ω2P
(10)
(11)
P=10lg(2552/M)
(12)
(13)
其中,ω1、ω2分別為峰值信噪比和均方根誤差的權(quán)重系數(shù),依據(jù)文獻(xiàn)[22],本文算法中ω1、ω2取1;P為圖像像素灰度值的峰值信噪比;R為圖像像素灰度值的均方根誤差;M為圖像像素灰度值的均方誤差。綜上,焊縫光帶區(qū)域判定的優(yōu)化模型為
minf(α,β)=ω1R-ω2P
g3(X)=x1≤1g4(X)=-x1<0
g5(X)=x2≤1g6(X)=-x2≤0
模型中,g1(X)和g2(X)根據(jù)式(6)、式(7)中的判定條件得來,g3(X)~g6(X)根據(jù)焊縫光帶區(qū)域判定系數(shù)的取值范圍得到。根據(jù)本文建立的模型,采用內(nèi)點法[22]求解,優(yōu)化圖5中焊縫光帶區(qū)域判定系數(shù)。取初始點X(0)=[0.25 0.20]T,優(yōu)化結(jié)果為X*=[x1x2]T=[0.15 0.10]T,即α*=0.15,β*=0.10;f*=f(X*)=20.79,P=16.66,R=37.45,K*=124.45。對圖5進(jìn)行二值化處理的結(jié)果如圖7所示,可看出焊縫光帶輪廓完整且清晰,且基本濾除了無關(guān)信息。
圖7 二值化結(jié)果圖Fig.7 Image after binarization
為驗證本文算法有效性,分別在實驗室和工業(yè)現(xiàn)場進(jìn)行實驗,對實驗結(jié)果進(jìn)行評估和分析。
采用圖2所示的系統(tǒng)和圖3所示的成像角度,針對10 mm厚鋼板進(jìn)行圖像處理。原始圖像(圖8a)中存在明顯反光噪聲;為突出灰度信息,得到圖像的灰度圖(圖8b);圖8c采用上文中基于特征的自適應(yīng)ROI定義方法,確定ROI圖像;應(yīng)用本文方法處理的結(jié)果如圖8d所示,焊縫光帶邊界平滑,有效去除了反光噪聲,便于后續(xù)焊縫角點高效提取。對于5 mm和10 mm厚鋼板的等厚對接焊縫圖像,二值化結(jié)果(圖7和圖8d)憑肉眼觀測,主觀評價效果均較好。
圖8 本算法處理10 mm鋼板圖Fig.8 The images of 10 mm thick steel plates using the proposed method
進(jìn)一步依據(jù)圖像質(zhì)量評價指標(biāo)對不同二值化算法結(jié)果進(jìn)行客觀評估,對比結(jié)果見表1,對于兩種不同厚度的鋼板,相比其他3種算法,本文方法均得到了最高的峰值信噪比值、最低的均方差誤差值和最小的目標(biāo)函數(shù)值。
表1 應(yīng)用不同二值化算法處理圖像的評估結(jié)果
現(xiàn)場搭建工業(yè)實驗焊縫跟蹤系統(tǒng)如圖9a所示;跟蹤系統(tǒng)的控制系統(tǒng)和自主研發(fā)的軟件系統(tǒng)界面如圖9b所示;跟蹤系統(tǒng)的成像系統(tǒng)如圖9c所示,包括CCD攝像機、鏡頭、線激光發(fā)射器和濾鏡及輔助裝置(擋光板和排風(fēng)扇等)等;現(xiàn)場焊接時跟蹤系統(tǒng)的工作照片見圖9d,選用CO2氣體保護(hù)焊進(jìn)行焊接,存在強烈的弧光和大量飛濺。
圖9 現(xiàn)場搭建工業(yè)實驗焊縫跟蹤系統(tǒng)Fig.9 Weld tracking system for industrial experiment
設(shè)定CCD攝像機與焊板垂直距離為200 mm,CCD攝像機的前方是線激光,兩者水平距離為265 mm,CCD攝像機的后方是焊槍,兩者水平距離為380 mm。焊接工藝參數(shù)見表2。根據(jù)CCD攝像機和焊槍的距離以及焊接速度,為滿足實時性要求,要求圖像處理的時間應(yīng)遠(yuǎn)少于95 s,本文算法計算時間少于1.7 s。
表2 焊接工藝參數(shù)
按照中厚鋼板(如厚度為25 mm)的焊接工藝要求,需進(jìn)行多層多道焊接。分別給出需進(jìn)行第一和第二道焊接時的坡口(鋼板尺寸為25 mm厚、450 mm長),如圖10所示,其第一道坡口形狀與前者討論的5 mm和10 mm厚鋼板坡口相似(開有角度為60° V形槽和3 mm鈍邊),第二道坡口的形貌較復(fù)雜。
圖10 25 mm厚鋼板第一道和第二道坡口形貌Fig.10 The groove shape of 25 mm thick steel plates
針對25 mm厚鋼板的第一道坡口,采用本文提出的優(yōu)化模型及算法進(jìn)行圖像二值化,處理效果良好。截取25 mm厚鋼板在第二道焊接過程中連續(xù)的9組圖像(圖11),所有子圖中的上圖為原始圖像、下圖為二值化處理結(jié)果圖,每張原始圖像分別包含不同噪聲且焊縫坡口的形態(tài)存在一定的變化。
圖11 25 mm厚鋼板9組第二道焊原圖及二值化結(jié)果Fig.11 The second layer welding of 25 mm thick steel plates
感性觀測圖11中的二值化結(jié)果可看出,焊縫信息得到有效保留,光帶清晰且平滑,無關(guān)信息基本被去除,結(jié)果較為理想。依據(jù)圖像質(zhì)量評價指標(biāo)PSNR和RMSE進(jìn)行客觀評估,結(jié)果見表3。連續(xù)的不同圖像,其差異性必然存在,表3中圖11a~圖11e五組圖像的值接近;相比其余8組,第3組圖像(圖11c)的值最為理想;9組圖像中數(shù)值偏離程度最大的一組是第6組(圖11f),但本文二值化方法以尋優(yōu)為目的,所以圖像客觀評估值整體較高;實驗結(jié)果證明了本文提出的優(yōu)化模型適應(yīng)性好,能實現(xiàn)對多層多道焊的實時焊縫檢測。
表3 應(yīng)用本文算法處理25 mm厚鋼板第二道焊圖像的評估結(jié)果
連續(xù)的高質(zhì)量的二值化圖像便于后續(xù)提取光帶特征點處理,滿足了自動焊接的實時性需求。25 mm厚鋼板第二道焊縫跟蹤結(jié)果如圖12所示,可以看出,焊縫較為平整、勻稱,焊接效果好。
圖12 25 mm厚鋼板第二道焊縫跟蹤結(jié)果Fig.12 The tracking result of the second layer welding of 25 mm thick steel plates
對比分析若干組的實驗室實驗結(jié)果后發(fā)現(xiàn),主觀和客觀評價效果好;由工業(yè)現(xiàn)場實驗的連續(xù)化圖像二值化處理結(jié)果可知,有效去除了噪聲干擾,滿足多層多道的實時性焊接要求;本文提出的二值化方法有效實現(xiàn)了焊縫跟蹤圖像的預(yù)處理,針對多種厚度規(guī)格的鋼板,保證了實時焊接的質(zhì)量。