周小軍,譚 薇
(1.甘肅工業(yè)職業(yè)技術(shù)學院,甘肅 天水 741025; 2.四川大學 網(wǎng)絡(luò)空間安全學院,四川 成都 610041)
集成電路產(chǎn)業(yè)已成為衡量一個國家科技綜合實力的重要標準。2015年公布《中國制造2025》戰(zhàn)略規(guī)劃,將“集成電路生產(chǎn)和封裝”作為重點建設(shè)內(nèi)容。集成電路芯片在生產(chǎn)封裝過程中的表面缺陷檢測技術(shù)對提高生產(chǎn)效率至關(guān)重要,人工方法誤檢率高,效率差,基于圖像處理技術(shù)的機器視覺檢測優(yōu)勢明顯。圖像的邊緣是位于2個區(qū)域的邊界上相連像素的集合,芯片圖像缺陷檢測時的關(guān)鍵步驟就是根據(jù)圖像灰度的不連續(xù)性來進行圖像分割,通過檢測圖像的一階梯度最大值和二階導數(shù)是否過零點來判斷輪廓,也叫邊緣檢測[1]。常見的一階算子有 Roberts,Prewitt和Sobel;二階算子有Log,Kirsch和Laplacian等[2]。近年來在已有的傳統(tǒng)方法的基礎(chǔ)上,大量的邊緣檢測方法出現(xiàn)。由于在工業(yè)環(huán)境的檢測過程中,芯片圖像在采集過程中要受各種因素如環(huán)境溫度濕度、光源的照度和工業(yè)相機鏡頭在工業(yè)上利用CCD相機畸變等的影響,采集到的芯片圖像中不可避免的存在各種干擾和噪聲,使采集到的圖像對比度不均勻或者存在陰影,對邊緣檢測的結(jié)果影響很大。
Canny邊緣檢測算子于1986年由John F.Canny提出[3],算法簡單高效,是圖像中最經(jīng)典、最廣泛應用的算法之一,因檢測效果良好,至今仍然十分活躍。近年來,國內(nèi)外學者不斷對Canny算子進行了改進[4-9]。Canny同時確定了一個優(yōu)秀邊緣檢測算子的3個標準:(1)低檢錯率高信噪比準則,即檢測算法應該最大限度檢測出邊緣信息,降低誤檢和漏檢,減少噪聲影響,提高信噪比;(2)最優(yōu)精度定位準則,使檢測的邊緣圖像盡可能和原圖像無限接近,噪聲影響引起的偏離度最低,提高定位的精確度;(3)對應準則,檢測點和邊緣點要相互對應,噪聲和干擾不應被作為偽邊緣被檢測[10]。
Canny邊緣檢測算子實質(zhì)就是在3個準則上建立的一種多級檢測算法,具體實現(xiàn)可分為以下4個步驟:
其中,坐標與方位之間關(guān)系為:
式中:M(x,y)為幅值,表示邊緣的強度;θ(x,y)為方位角,最大局部值M(x,y)所對應梯度的方位角表示邊緣。
第3步 幅值非極大值抑制,用3×3鄰域作用于梯度幅值陣列,將圖像像素梯度值M(x,y)與沿著梯度方向的2個8鄰域像素梯度M(x+1,y+1)進行比較。如該像素點梯度值不是局部最大則令M(x,y)=0,對該點進行抑制即該點不是邊緣點。
第4步 雙閾值連接邊緣,對圖像進行高、低閾值分割后可得到2個邊緣圖像。高閾值圖像不含假邊緣,但有間斷[11]。利用低閾值在圖像8鄰域搜索可能連接的邊緣,完成對高閾值圖像的間斷連接。
(1)Canny算子對光照十分敏感,因為芯片焊盤表面反光,采集時會產(chǎn)生曝光現(xiàn)象;同時,有光源陰影的存在,會檢測出假邊緣,影響檢測質(zhì)量。
(2)Canny算子中高、低閾值參數(shù)不具有自適應的能力,而閾值選擇對圖像的邊緣檢測影響很大,人為設(shè)定閾值費時費力,也很難取得好的檢測效果。
(3)在具體的應用環(huán)境中,如果閾值設(shè)置不合理,則可能產(chǎn)生過判斷現(xiàn)象,將噪聲和偽邊緣誤判為真實邊緣;也有可能產(chǎn)生過粗,判斷不出真實的邊緣,無法進行識別目標的輪廓準確檢測處理。
Canny算子檢測算法簡單有效,檢測時間短,但因其閾值不能自動選擇而需人為干預。閾值大小直接影響檢測的性能,Canny算子在提取不同圖像的邊緣時缺乏自適應性,對局部噪聲敏感,所以常會過檢測出偽邊緣,而對灰度值變化緩慢邊緣又無法檢測到。對此,該文用最大類間方差對Canny算子閾值的選取方法進行了改進,能自適應確定閾值,經(jīng)實驗證明在對芯片圖像檢測時效果良好。最大類間方差法是根據(jù)圖像的灰度特性對圖像進行全局二值化,將其分為前景和背景兩部分,兩者之間方差越大,兩部分之間的差別就越大,錯分的概率就越小,分類就越正確。
則整個圖像全局均值為:
用Matlab2016b軟件,在處理器為Intel(R)Core(TM)i5-5200U CPU@2.20 GH,內(nèi)存為8G的計算機平臺上實驗。選取了Matlab自帶的2張512×512的原始圖像1Liftingboby原始圖像2Pillsetc圖像和2張自行采集到的200×200缺陷芯片原始圖像3Dirt和原始圖像4Scratch。采用傳統(tǒng)的Canny算子和該文最大內(nèi)間差自適應閾值改進后的結(jié)果進行了對比分析和研究,實驗檢測結(jié)果如圖1和圖2所示。
圖1 圖像1 Liftingboby和圖像2 Pillsetc檢測結(jié)果對比
圖2 圖像3 Dirt和圖像4 Scratch檢測結(jié)果對比
由上述實驗結(jié)果可以看出,圖形內(nèi)容較為豐富的原始圖像1中含有薄厚變化的云層背景和遠近2個飛行器圖像,圖像內(nèi)容相對比較單一,因此加入了彩色藥品和采集噪聲較大的原始圖像2。2種圖像在使用普通Canny算子時因為檢測閾值的自動選擇,大量的干擾信息被檢測,噪聲及干擾都被檢測成邊緣。對要進行機器視覺識別的芯片圖像的原始圖像3和原始圖像4,因為圖像內(nèi)容相對簡單,但是由于工業(yè)圖像采集環(huán)境的不同,以及受光照不均勻的影響,產(chǎn)生了一定的噪聲和陰影,這樣圖像灰度分布各異,分割閾值對邊緣檢測影響很大,通過人工反復修改試驗也能取得較好的閾值,但是耗時耗力,尤其是在實際應用時無法做到實時的響應。
通過采用該文改進后的最大內(nèi)間差法自適應獲取高低閾值。圖像1~4的高閾值TH、低閾值TL,采用傳統(tǒng)Canny算子檢測熵值E1、消耗時間t,和改進后檢測熵值E2、消耗時間t2分別如表1所示。
表1 改進后圖像檢測參數(shù)對比統(tǒng)計表
由表1知,在檢測消耗時間上,采用改進后的方法在運行后使用的時間要相對長一些。因為圖像中細節(jié)的信息和噪聲信息被處理掉,改進后檢測邊緣的圖像熵值比改進前變小,由于處理大量干擾信息,所以犧牲了一定的時間代價。圖像3和圖像4因采集時光照不均勻,邊緣輪廓產(chǎn)生的陰影被很好地處理掉。改進后檢測效果良好,有效去除了不必要的干擾,圖像重要信息的邊緣得以保留,從直觀視覺效果可以看出改善效果明顯。總之,經(jīng)改進算法處理后的圖像能去除大部分噪聲及光照干擾,在后續(xù)芯片缺陷識別時對提高識別率和準確率非常關(guān)鍵。
利用機器視角檢測集成芯片表面缺陷的核心技術(shù)仍受制于人,對芯片的表面缺陷進行檢測主要是檢測芯片表面的印刷字符、芯片引腳、劃痕污染等。為準確判斷芯片圖像中的缺陷,需要采集后的圖像二值化,然后再進行缺陷邊緣檢測,通過在Canny算子中引進最大內(nèi)間差法自適應地根據(jù)圖像灰度來生成高低閾值,改善了原算法的噪聲敏感性,檢測時將大量的非缺陷信息進行濾除,保留有效的檢測信息。實驗結(jié)果表明,改進算法對檢測到有效邊緣信息有很強的自適應性,能滿足工程上實時性要求,可為后續(xù)芯片缺陷檢測提供關(guān)鍵的技術(shù)參考。