周虹

摘? 要：圖像特征具有低對比度、平滑梯度的產(chǎn)品表面缺陷，與表面背景圖案和污漬十分接近，這對基于機器視覺的缺陷識別和檢測帶來嚴重干擾。該文提出一種改進SIFT算子的特征識別方法，用分數(shù)階微分代替高斯差分算子，再利用圖像局部梯度和信息熵，自適應生成分數(shù)階微分次數(shù)，有效克服SIFT無法有效提取污漬、紋理等低對比度特征的缺陷。實踐證明，該方法能在復雜干擾環(huán)境下實現(xiàn)對特定缺陷的識別，且具有較高的檢出速度、檢出率以及工程實用價值。

關(guān)鍵詞：SIFT? 表面檢測? 分數(shù)階微分? 缺陷識別

中國分類號：TB486;TQ174.76;TP391.41 文獻標識碼：A文章編號：1672-3791（2021）01（c）-0010-05

Abstract： The image features have low contrast， smooth gradient of the product surface defects， and the surface background patterns and stains are very close， which brings serious interference to machine vision based defect recognition and detection. This paper proposes an improved feature recognition method for SIFT operators， which uses fractional differential instead of gaussian differential operator， and then uses image local gradient and information entropy to generate fractional differential times in an adaptive way to effectively overcomes the defects SIFT can not effectively extract low contrast features such as stains and textures. Practice has proved that this method can realize the identification of specific defects in complex interference environment and has high detection speed， detection rate and engineering practical value.

Key Words： SIFT; Surface detection; Fraction differential; Defect recognition

表面缺陷是影響產(chǎn)品品質(zhì)的重要指標之一，主要包括裂紋、針孔、印刷缺陷、斑點等。

近年來，基于機器視覺的表面缺陷自動檢測研究越來越受關(guān)注，并取得了一定的進展[1-3]，文獻[1]利用陰極銅板的缺陷顏色和背景有較大差別，設計了一種基于彩色空間的聚類方法以實現(xiàn)快速區(qū)分缺陷的目的，但該方法受光照影響大，且無法有效利用基于灰度空間的大量成熟算法，計算效率低;文獻[2]介紹了一種基于頻域濾波的方法，對裂紋檢測取得了較好效果，但此方法在有干擾的情況下無法拓展到其他缺陷檢測;文獻[3]利用多特征融合以及卷積神經(jīng)網(wǎng)絡，實現(xiàn)了金屬板帶材表面缺陷的檢測，但該方法同樣只適用于無干擾的情況下。

目前，陶瓷料、木料等產(chǎn)品表面缺陷的視覺檢測在生產(chǎn)實際中應用依然較少，這主要是因為生產(chǎn)環(huán)境中的干擾因素比實驗室要多。以瓷磚為例，一是瓷磚表面缺陷形態(tài)各異，沒有統(tǒng)一的形狀和尺寸作為模板;二是瓷磚表面留下的水漬、碎石、手印等，和缺釉、斑點在圖像上非常相似，會對視覺檢測帶來嚴重干擾，對于中小企業(yè)而言，這些干擾又很難在視覺檢測前徹底清除。此外，位置變化、光照不均等因素也會影響缺陷的檢測。在這樣復雜干擾環(huán)境下，傳統(tǒng)的基于顏色信息統(tǒng)計或者基于標準模板對比的簡單視覺檢測方法往往都得不到理想的效果。

基于SIFT特征點匹配的缺陷識別算法，可以有效克服以上不足，在復雜干擾環(huán)境下能實現(xiàn)快速、準確識別缺陷的目的。文獻[4]成功運用SIFT對中厚板的表面缺陷進行了檢測，識別準確率達到95%;文獻[5]將SIFT算法用于藥用玻璃瓶印刷字缺陷的檢測，并取得了較好的檢測結(jié)果;文獻[6]在汽車保險盒的在線缺陷檢測中，成功運用了SIFT算法，并得到了理想的實驗結(jié)果。

1? 基于分數(shù)階微分的改進SIFT算子

近年來，分數(shù)階微分（Fraction differential）在圖像處理上的應用越來越受到關(guān)注。分數(shù)階微分能利用非局部信息來計算像素微分，在低對比度邊緣和紋理邊緣識別中具有優(yōu)越的性能。

目前，典型的分數(shù)階微分定義主要有兩種，一種是G-L（Grunwald-Letnikov）方程，另一種是R-L（Riemann-Liouville）方程。R-L方程更適合于數(shù)值計算，因此該文采用R-L方程結(jié)合SIFT算子進行研究[7]。

R-L分數(shù)階微分方程定義如下：

式中，I為分數(shù)階微分代號，[g，h]為自變量t的取值范圍，α為微分次數(shù)，Γ（α）為伽馬函數(shù)，定義如下：

對于圖像的邊緣等高頻部分，1～2階之間的分數(shù)階微分算子對輪廓的提取雖不及2階微分算子強，但比1階微分的增強效果要好。而對于紋理、水漬等圖像低頻部分，0～1階分數(shù)階微分有效改善了1階微分對于邊緣信息衰減嚴重的問題。因此，分數(shù)階微分提高了高頻信息，而且沒有使中低頻圖像信息過分衰減，從而改善了SIFT提取圖像紋理和低對比度細節(jié)信息的能力[8-9]。

基于分數(shù)階微分的特點，理想的微分次數(shù)應該是：對于高頻圖像特征，次數(shù)接近2，對于低頻特征，次數(shù)接近0。如果能讓次數(shù)α自適應變化，則能具備最佳特征提取效果。接下來的問題是如何判斷圖像區(qū)域是邊緣區(qū)域還是紋理或者平滑區(qū)域。

梯度具有判別邊緣的能力，而信息熵具有判別紋理的能力，于是我們的辦法是結(jié)合梯度和信息熵來進行判斷。

最后分析分數(shù)階微分次數(shù)與綜合判別因子之間的關(guān)系。從前面的分析可以得出α的范圍是[0，2]，且趨勢是逐漸接近。于是該文采用反正切函數(shù)來擬合這個關(guān)系。并且，綜合判定因子雖然綜合了梯度和信息熵，但是梯度占主要部分，因此綜合判定因子也就用頻率來近似。

經(jīng)過反復實驗，我們得到α和f的函數(shù)關(guān)系為：

2? 基于改進SIFT算子的瓷磚表面缺陷檢測

SIFT算子的關(guān)鍵在于特征點選取，由于充分考慮了縮放、尺度、旋轉(zhuǎn)等因素影響，從而可以實現(xiàn)有干擾的環(huán)境下準確地識別出缺陷。但該算法計算流程復雜、數(shù)據(jù)處理量大、檢測耗時較長的缺點，導致其在實時檢測場合的應用受限。直接的解決思路是在保證檢測精度的前提下，盡可能減少特征點的數(shù)量，從而有效壓縮最終的特征描述矩陣。而減少特征點數(shù)量的有效辦法是針對具體應用場景優(yōu)化SIFT算子的各個參數(shù)。

2.1 圖像金字塔組數(shù)的確定

關(guān)于組數(shù)（Octave）的確定，Lowe在其論文中給出了一個經(jīng)驗公式[7]：

式中，p為待求組數(shù);m，n為圖像尺寸大小;a為修正值，取值范圍為[0-p]，具體可根據(jù)金字塔圖像的尺寸范圍來確定。

以瓷磚表面缺陷檢測為例，按照國家標準，瓷磚表面缺陷的檢測要求是在距離1 m的瓷磚上方觀察，不能發(fā)現(xiàn)有缺陷。為獲得更準確的機器視覺測量數(shù)據(jù)，該實驗系統(tǒng)能呈現(xiàn)所有表面缺陷的最大圖像尺寸為512×512。再將圖像不斷縮小，直到所有缺陷都無法辨別，得到最小圖像尺寸為20×20。按照SIFT圖像金字塔的生成原理，按照1/2不斷縮小，從512縮小到20，至少要迭代5次。因此，按照公式（1），a取4，得到金字塔最小組數(shù)p為5。

2.2 尺度空間的初始值

尺度空間用來不斷地對圖像進行高斯模糊，從而達到忽略細節(jié)，保留輪廓的目的。高斯模糊參數(shù)δ（尺度空間）的計算公式如下：

式中，o為圖像所在的組，s為圖像所在的層，δ0為初始的尺度，S為每組的層數(shù)。對于生活圖像的檢測和識別應用[7]，Lowe給出了以上參數(shù)的參考值，取δ0=1.6，S=3。

研究發(fā)現(xiàn)，在基于SIFT的工業(yè)視覺檢測中，δ0的取值非常重要。如果取值太小，則會導致特征點過多，后續(xù)計算量過大，影響實時檢測的速度。反之如果太大，則會忽略掉圖像小的細節(jié)，導致特征點過少，影響檢測精度。經(jīng)反復實驗發(fā)現(xiàn)，δ0的取值可以參考一下經(jīng)驗公式：

式中，k為圖像中待檢測部分的最小尺寸。在該項目中，瓷磚圖像的表面缺陷的最小尺寸約為2像素，因此，δ0取值0.7。

2.3 對比度閾值的確定

確定好金字塔的組數(shù)以及尺度空間的參數(shù)，就可以得到圖像金字塔的尺度空間組，再計算出高斯差分組。

利用尺度空間組的圖像，可以找出所有的極值點，查找的原理是以某點為中心，以所在圖像及所在組的上下兩層圖像的3×3區(qū)域為鄰域，共26點進行比較，如果該點比領(lǐng)域值都大或者都小，則判斷為極值點。

以上求得的極值點是在離散圖像上獲取的，并不一定是真正的極值點。為了找到準確的極值點，我們設從離散極值點到真實極值點的偏差為Δx，用泰勒公式展開可以得到擬合公式（4）。

計算出精確的極值點后，接下來還需要對這些極值點進行過濾。首先是篩選掉低對比度的極值點，同樣的，通過設定一個對比度閾值CT來過濾。Lowe給出了CT的建議值是0.04。

在工業(yè)檢測的應用中，該值的選取也具有一定的靈活性。一般來說，物體輪廓特征點的對比度比紋理等局部特征點要大。因此，如果只想提出物體的輪廓特征來實現(xiàn)識別的目的，則可以將閾值T適當增大，否則可以適當減小，以得到更多局部特征點。

除此之外，還可根據(jù)高斯差分空間的高斯核大小來分析CT的取值。對于歸一化的圖像，如果方差δ0取0.7，則模糊核的中心最大值約為0.32，因此，可以估計出高斯差分圖像DOG的最大差值在0.32左右。若保留70%以上對比度的關(guān)鍵點，則可以設CT為0.2.

2.4 圖像邊框極值點閾值確定

剔除完低對比度極值點后，接下來的工作是篩選掉多余的圖像邊框極值點。SIFT在計算圖像極值點時，很容易將邊框點包括在內(nèi)。一來這些點并不表示圖像內(nèi)容的任何信息，二來如果保留過多邊框點，也會嚴重影響計算速度，所以要盡可能過濾掉。

剔除的原理是通過求極值點水平方向x和垂直方向y的梯度變化比值ET來衡量，如果梯度變化過大，則可以認定是邊框點，予以剔除。否則，則認為不是邊框點，保留下來。

Lowe給出了ET的建議值是10，在工業(yè)實際檢測中，為了得到更快的檢測速度，要盡可能減小該閾值，以減少邊框極值點。但該值減少得太多，又會導致誤判其他非邊框極值點而剔除。應該根據(jù)圖像特征區(qū)域和邊框梯度的變化范圍來合理確定閾值。在瓷磚的表面缺陷檢測中，ET設置為3是最合適的。

3? 實驗

經(jīng)過上述分析和設置，SIFT算法完成了最主要的工作，在圖像上找出了經(jīng)過優(yōu)化和篩選的極值點，這些留下來的極值點作為最終缺陷識別的特征點。

實驗系統(tǒng)的主要環(huán)境配置為：操作系統(tǒng)Ubuntu18.4，編譯器為Python6.5，圖像處理軟件為OpenCV3.4，GPU圖像處理加速器為GeForce-GTX-1060。

實驗用的圖像為帶碎石和手印干擾的瓷磚缺陷照片，過程包括兩個環(huán)節(jié)，分別是缺陷檢出率對比驗證，和缺陷誤檢率對比驗證。對比的檢測算法包括3種，分別是論文中提到的傳統(tǒng)基于圖案顏色統(tǒng)計算法MatchTemplate、基于SIFT算子算法和基于卷積神經(jīng)網(wǎng)絡的TensorFlow-CNN深度學習算法[2]。

表1列出了3種算法的檢出率和平均耗時對比?？梢钥闯觯兇獾膱D案對比方法MatchTemplate對3種缺陷的檢測效果都不佳，主要原因在于缺陷圖像的形態(tài)變化較大，縮放、旋轉(zhuǎn)、不同區(qū)域的亮度變化等，都很容易導致圖案匹配算法MatchTemplate失敗。而SIFT算法充分考慮了環(huán)境因素的變化，因此具有良好的抗干擾能力。TensorFlow-CNN在裂紋識別上具有一定的優(yōu)勢，而在凹釉和斑點的缺陷檢測上檢出率不高，究其原因是受到碎石和污漬等干擾因素的影響，它們的圖像和斑點、凹釉圖像類似，和裂紋差距較大。

表2列出了3種算法的誤檢率和平均耗時對比。MatchTemplate對模板圖案高度依賴，因此其誤檢率和檢出率一樣不高。TensorFlow-CNN具有一定的適應變化能力，但其對圖像的縮放、光照變化等綜合影響因素適應能力，以及對碎石、污漬等干擾因素的區(qū)分能力并不強，導致其誤檢率也偏高。而SIFT算法利用的信息較多，充分考慮了環(huán)境因素的變化，因此其誤檢率也較低。

另外，從檢測時間上來看，圖案比較MatchTemplate算法的原理簡單、計算量較小，速度最快，耗時最短。而基于深度學習的TensorFlow-CNN算法結(jié)構(gòu)復雜，神經(jīng)網(wǎng)絡訓練和使用過程計算量巨大，耗時長，不太適合工業(yè)實時控制要求。而SIFT算法耗時僅比圖案比較算法略長，實際應用時，能達到每秒3塊瓷磚的檢測速度，完全可以滿足一般生產(chǎn)線的要求。

4? 結(jié)論

該文闡述了SIFT算法用于缺陷檢測的基本原理，并提出了自適應分數(shù)階微分的改進算法。

（1）SIFT算法的關(guān)鍵是通過圖像特征點及其鄰域信息來描述特定圖案，分數(shù)階微分可顯著提高平滑區(qū)域特征點的提取，提高缺陷識別率。

（2）通過減少SIFT特征點數(shù)量，可以顯著減少計算量，提高處理速度。而通過優(yōu)化SIFT算法的相關(guān)參數(shù)，圖像金字塔組數(shù)、尺度空間大小、對比度閾值和邊框極值點閾值，可以實現(xiàn)SIFT檢測速度和檢測精度的平衡。

（3）相對于傳統(tǒng)算法和人工智能算法，改進SIFT算法有更高的檢測精度和更快的檢測速度。

參考文獻

[1] 馬美榮，李東喜.基于RetinaNet的手機主板缺陷檢測研究[J].計算機工程與科學，2020，42（4）：673-682.

[2] 金昊，康宇哲，齊希陽，等.基于FasterR-CNN的高壓電線缺陷檢測方法[J].計算機應用，2019，39（S2）：97-102.

[3] 趙艷，左保齊.機器視覺在織物疵點檢測上的應用研究綜述[J].計算機工程與應用，2020，56（2）：11-17.

[4] 周鵬，徐科，楊朝霖.基于SIFT的中厚板表面缺陷識別方法[J].清華大學學報：自然科學版，2018，58（10）：881-887.

[5] 張俞晴，何寧，魏潤辰.基于卷積神經(jīng)網(wǎng)絡融合SIFT特征的人臉表情識別[J].計算機應用與軟件，2019，36（11）：161-167.

[6] 曾瑞篷.基于機器視覺的汽車保險盒缺陷在線自動檢測系統(tǒng)研究[D].南京航空航天大學，2017.

[7] 張桂梅，郭黎娟，熊邦書，等.基于多分辨率和自適應分數(shù)階的ActiveDemons算法[J].計算機研究與發(fā)展，2018，55（12）：2753-2763.

[8] 向雨晴，楊曉梅.基于分數(shù)階和非局部全變差模型的圖像去模糊[J].計算機工程與設計，2018，39（7）：2002-2007.

[9] Rabha W. Ibrahim. A new image denoising model utilizing the conformable fractional calculus for multiplicative noise[J]. SN Applied Sciences，2019，2（1）：1718-1720.