王業(yè)率,宋建華,何鵬,張龑
(湖北大學(xué)計算機與信息工程學(xué)院, 湖北 武漢 430062)
隨著電子半導(dǎo)體行業(yè)的不斷發(fā)展,電子產(chǎn)品逐漸趨于小型化、精密化、高性能、高質(zhì)量等特點,PCB板的制造工藝面臨著巨大的提升需求.PCB板的制造流程中,曝光顯影工藝環(huán)節(jié)需對PCB板位置進行高精度定位識別,進一步將定位位置發(fā)送至曝光設(shè)備進行曝光處理.而識別過程通常采用PCB板上Mark點完成.Mark點包括通孔、鐳射曝光孔等多種形式,為方便簡化后續(xù)工藝操作以及提高識別精度,PCB板通常較多采用通孔形式的圓形Mark點.
在實際生產(chǎn)過程中,在針對邊緣有缺陷的圓孔時,常見算法在識別成功率以及識別精度存在提升空間,研究學(xué)者也做出大量工作.熊光潔等人針對Mark點的橢圓度提出了識別算法,采用Otsu’s算法對Mark點圖像進行分割,然后實現(xiàn)坐標定位[1].喬鬧生等人基于Hough變換提出圖像邊緣檢測方法,該檢測方法相對于具有一定算法優(yōu)勢[2].
此外,對覆有感光膜的圓孔進行圖像采集時,會時常碰到感光膜反光現(xiàn)象,反光現(xiàn)象形成的反射光斑形狀大小不固定.在機器視覺領(lǐng)域,可利用圖像修復(fù)的方法將Mark點區(qū)域的反射光斑進行去除、修復(fù).常見的圖像修復(fù)算法目前包括三類:一類是基于偏微分方程(PDE)的數(shù)字圖像修補技術(shù);第二類是基于紋理合成(TS)的圖像修復(fù)技術(shù);第三類是基于稀疏表示(SR)方法的圖像修復(fù)技術(shù). 此外,F(xiàn)MM算法通過領(lǐng)域圖像加權(quán)處理的方式進行修復(fù),修復(fù)速度較快,修復(fù)效果較好,但是在邊緣細節(jié)具有缺陷[3,4].
偏微分方程算法最早由Bertalmio等人提出BSCB算法,根據(jù)等照度線方向?qū)⑼旰脜^(qū)域圖像信息延伸至待修復(fù)區(qū)域[5], BSCB算法計算復(fù)雜度較高. Bertalmio等人對圖像修復(fù)做出了大量研究,將流體力學(xué)中的Navier-Stokes模型(N-S模型)應(yīng)用到圖像修復(fù)算法中,圖像邊緣部分存在缺陷[6,7].
Mumford 以及 Shah提出了基于體積能量的Mumford & Shah算法(M&S算法)模型[8]. 針對該泛函中存在的復(fù)雜度問題,Ambrosio及Tortorelli使用橢圓形對泛函進行了逼近,且使用Euler-Lagrange方程及有限差分法降低計算復(fù)雜度[9,10]. 該算法在去除脈沖噪聲較BSCB算法及Navier-Stokes算法具有一定優(yōu)勢,且降低了計算復(fù)雜度,同時在邊緣細節(jié)處理方面也較FMM算法更優(yōu). 在具有長條狀反光光斑的圖像場景下,Mumford & Shah算法對于大塊區(qū)域修復(fù)效果不佳的特點得以避免.
1.1 Mumford & Shah泛函模型Mumford & Shah提出的圖像修復(fù)模型是以最小化能量泛函為基礎(chǔ)的,該能量泛函可以表示為[9]:
F[u|u0,I]
(1)
其中,I表示修復(fù)圖像區(qū)域,u0表示圖像的可用部分,可表示為加入高斯白噪聲的圖像.
根據(jù)貝葉斯原理,該泛函可進一步表示為數(shù)據(jù)模型部分與圖像模型部分的和:
(2)
Mumford & Shah的圖像分割理論將E[u]進一步表示為:
(3)
B 表示圖像的邊緣部分,并用一維Hausdoff 測度進行度量.因此,Mumford & Shah模型可表示為:
(4)
1.2 Ambrosio & Tortorelli改進模型Ambrosio & Tortorelli將原Mumford & Shah模型用橢圓泛函進行了簡化,提高了收斂速度. 其做出的改進包括[10]:
(5)
(6)
χ為邊緣部分的過渡區(qū)域.由此,修復(fù)問題可演化為求解最小化問題:
(7)
該最小化問題的求解過程主要包含u和χ的積分計算,使用有限差分法進行求解的過程較為簡潔.
分別定義算子Lχ和算子Mu:
(8)
(9)
Euler-Lagrange方程可表示為:
(10)
Muχ=1
(11)
2.1 Mark點圖像PCB板生產(chǎn)過程中的Mark點定位工序通常需要將感光膜貼附在PCB板上.當(dāng)PCB板上已附有銅箔圖案時,銅箔圖案在圖案邊緣區(qū)域部分具有落差,落差深度與腐蝕程度一致.感光膜通常厚度在0.3 mm以內(nèi),經(jīng)壓膜工藝處理時表面易產(chǎn)生形變,從而導(dǎo)致環(huán)形光源光線從感光膜反射至工業(yè)相機鏡頭處形成反射光斑,如圖1所示.
圖1 PCB板機器視覺系統(tǒng)光源反射示意圖
此應(yīng)用視覺系統(tǒng)成像距離較短,且對清晰度要求較高,同軸光源在設(shè)計需求上存在缺陷,因此多采用環(huán)形光源作為光源方案.環(huán)形光源傾斜角的存在導(dǎo)致光源光線經(jīng)過漫反射后易進入工業(yè)相機取景范圍,從而在Mark點采樣圖像中形成光斑.
常見的最小二乘法、霍夫變換等圓擬合算法在干擾圖形區(qū)域面積過大、干擾圖形邊緣距離圓弧距離過大等狀況下,存在誤差較大問題.待圖像轉(zhuǎn)移PCB板緊密吸附在曝光設(shè)備黑色臺面上,Mark點通孔處圖像灰度與臺面保持一致,反射光斑區(qū)域圖像灰度與光源保持一致.因此,在依賴灰度閾值作為輪廓化處理前提下,反射光斑、非通孔區(qū)域與通孔區(qū)域的邊緣易形成較大灰度差,從而誤識別為輪廓,如圖2所示.
圖2 含反射光斑區(qū)域Mark點圖像輪廓化示意圖
2.2 算法步驟本算法的具體步驟如下:
Step1:使用Otsu’s算法對圖像生成蒙版圖像.
Step2:初始化參數(shù)讀入待修復(fù)圖像和蒙版圖像.
Step3: 在Euler-Lagrange方程邊界條件確定情況下,定義微分算子Lχ及Mu.
Step4:采用算子Mu求解Euler-Lagrange方程中χ,更新迭代項χ.
Step5:采用算子Lχ求解Euler-Lagrange方程中u,更新迭代項u.
Step6:計算迭代項u與前值的差值.如果經(jīng)迭代的圖像u與前次迭代圖像u之差小于預(yù)定閾值threshold_value,迭代結(jié)束;否則回到Step4繼續(xù)進行迭代.
Step7:輸出經(jīng)修復(fù)的圖像.
基于前述理論算法,對進行了修復(fù)實驗.實驗所使用計算機配置包括: CPU為Intel酷睿i7-9700 3.0 GHz,內(nèi)存為16 GB,算法用MATLAB R2018a進行實現(xiàn).在本算法的實現(xiàn)過程中,令圖像區(qū)域為Ω∈(0,1)×(0,1),迭代次數(shù)iter取20次,迭代誤差閾值tol=1e-14.Ambrosio-Tortorelli模型逼近精度epsilon=0.05.
以PCB板上mark點通孔為實驗對象,嘗試對Mark點圖像進行修復(fù)實驗.Mark點圖像大小為696×520像素,如圖3(a)所示,圖中Mark點通孔在方形銅箔圖案中,感光膜由于壓制不工整而產(chǎn)生褶皺,導(dǎo)致反光光斑產(chǎn)生.此類反光光斑圖案為條狀,條狀區(qū)域?qū)挾炔灰?,以便針對不同情形下圖像特征進行修復(fù).使用Otsu’s算法對圖像進行閾值分割,閾值參數(shù)為0.7,分割后光斑區(qū)域即圖3(a)中噪點區(qū)域.由Otsu’s算法分割出的mask蒙版如圖3(b)所示.經(jīng)本算法修復(fù)后,圖像中通孔內(nèi)部光斑區(qū)域得到較好的修復(fù),通孔邊緣毛刺較少;銅箔圖案處光斑區(qū)域出現(xiàn)了涂抹痕跡,顯示該算法在具有大量紋路區(qū)域處缺乏修正,修復(fù)圖像如圖3(c)所示.
圖3 Mark點修復(fù)結(jié)果
為檢測噪聲環(huán)境對圖像修復(fù)的影響,特對待修復(fù)圖片加入噪聲進行修復(fù)實驗,圖片大小縮放為279×208像素.由于椒鹽噪聲能夠體現(xiàn)出脈沖干擾性質(zhì)的圖像畸變,因此在待修復(fù)圖像中加入噪聲密度參數(shù)為0、0.01、0.05、0.1、0.5的椒鹽噪聲,以未加噪聲情況下修復(fù)圖片作為基準,采用MSE、PSNR、修復(fù)時間作為客觀評價指標對基準圖片進行修復(fù)效果評估,修復(fù)結(jié)果見表1. 添加的噪聲對該修復(fù)算法影響較小,在噪聲密度達到0.5時,PSNR仍然可達33.411,且修復(fù)時間隨噪聲密度增加的變化不大.
分別采用Mumford & Shah算法、BSCB算法、Navier-Stokes算法、FMM算法對圖3所示圖形進行對比修復(fù)實驗,圖片大小為279×208像素,取通孔左上角附近區(qū)域以及無銅箔區(qū)域作為實驗一與實驗二的實驗對象進行修復(fù)實驗,修復(fù)結(jié)果如圖4及圖5所示.
表1 不同椒鹽噪聲密度下的修復(fù)數(shù)據(jù)
圖4 實驗一修復(fù)結(jié)果
圖5 實驗二修復(fù)結(jié)果
本研究采用的Mumford & Shah算法能夠?qū)γ娣e較小的反光區(qū)域進行有效修復(fù),面積較大的修復(fù)區(qū)域圖像細節(jié)較少;BSCB算法同樣對細節(jié)有較好修復(fù)效果,但是在面積較大的修復(fù)區(qū)域修復(fù)效果不滿意,圖像中出現(xiàn)了修復(fù)過程產(chǎn)生的噪點;Navier-Stokes算法由邊界向內(nèi)進行修復(fù),在修復(fù)區(qū)域邊緣較平滑,但是在內(nèi)部區(qū)域存在分塊痕跡;FMM算法修復(fù)細節(jié)較豐富,在通孔邊緣處仍存在毛刺狀修復(fù)痕跡,實驗二中細節(jié)部分出現(xiàn)了輕微噪點.
對實驗一及實驗二提取客觀評估指標MSE、PSNR進行評估,MSE值越小,PSNR的值越大,說明修復(fù)效果越好,修復(fù)結(jié)果見表2. 通過實驗結(jié)果可見,Mumford & Shah算法修復(fù)的效果最佳,體現(xiàn)了該算法對于此類條狀修復(fù)對象的較佳適應(yīng)性.
表2 使用不同修復(fù)算法的實驗數(shù)據(jù)對比
PCB板的曝光工藝是其生產(chǎn)線產(chǎn)能的瓶頸,而Mark點識別失敗是曝光工藝環(huán)節(jié)停產(chǎn)的重要因素之一.現(xiàn)有的機器視覺算法在常見的異形孔識別成功率上尚存在提升空間,對異形孔之上反射光斑的修復(fù)處理將提高PCB板產(chǎn)能.
本研究采用Mumford & Shah算法對Mark點圖像進行了修復(fù)處理.由于反射光斑顯長條形的形狀特征,且灰度上與通孔區(qū)域形成反差對比,因此,在邊緣區(qū)域的修復(fù)效果較好.然而,該算法對于部分較大面積反射光斑的修復(fù)效果尚存在優(yōu)化空間.后續(xù)可以對算法進行改進優(yōu)化,或者使用深度學(xué)習(xí)方式對光斑區(qū)域進行識別、修復(fù),以提高識別成功率以及精度.