李鈞正 殷子玉 樂心怡

摘要：近年來，數(shù)據(jù)驅(qū)動的缺陷檢測技術(shù)在工業(yè)部門得到了初步應(yīng)用，提升了生產(chǎn)智能化的水平，但是受制于訓(xùn)練樣本不足、檢測精度較低的問題，這種方法目前仍然難以進(jìn)一步推廣。因此，本文提出了一種數(shù)據(jù)驅(qū)動的鋼板表面缺陷檢測技術(shù)。針對訓(xùn)練樣本不足的問題，采取數(shù)據(jù)增強(qiáng)方法增廣數(shù)據(jù)集。針對檢測精度較低的問題，采取層次結(jié)構(gòu)模型方法提升缺陷檢出率。試驗證明，所提出的方法能有效檢出缺陷，并且已經(jīng)在生產(chǎn)線上部署，其準(zhǔn)確率在95%以上。

關(guān)鍵詞：缺陷檢測；卷積神經(jīng)網(wǎng)絡(luò)；層次結(jié)構(gòu)模型；數(shù)據(jù)增強(qiáng)；小樣本學(xué)習(xí)

中圖分類號：TP181文獻(xiàn)標(biāo)識碼：ADOI：10.19452/j.issn1007-5453.2021.06.009

合金鋼材料被廣泛應(yīng)用于航空航天、汽車工業(yè)、國防工業(yè)等各個領(lǐng)域，其性能的穩(wěn)定性對于產(chǎn)品安全具有重大意義[1]。盡管現(xiàn)代航空工業(yè)已逐步采用鋁合金、鈦合金、復(fù)合材料等先進(jìn)材料，但是作為一種廉價、高強(qiáng)度、高韌性、耐熱的傳統(tǒng)材料，合金鋼在飛機(jī)結(jié)構(gòu)件、葉片、蒙皮等部位仍有廣泛的應(yīng)用。鋼板是合金鋼的一種中間工業(yè)產(chǎn)品，然而，在鋼板的生產(chǎn)過程中，由于環(huán)境因素、原材料成分、軋制工藝等原因，常常產(chǎn)生各類缺陷，如邊線、邊裂、氣泡等。這些缺陷對于鋼板的耐磨性、抗腐蝕性、疲勞強(qiáng)度等都會產(chǎn)生負(fù)面影響[2]，從而最終影響到成品飛行器的性能。實(shí)際生產(chǎn)情景下，通常會部署缺陷檢測工序來對鋼板產(chǎn)品進(jìn)行檢測，并按照其性能分級。

鋼板的缺陷以表面缺陷為主[3]。傳統(tǒng)的鋼板缺陷檢測方法多以人工目檢為主。這種方法因影響工人健康、檢測效率低、誤檢率高等原因，已被自動化視覺檢測系統(tǒng)所取代。目前的鋼板缺陷檢測系統(tǒng)主要采用人機(jī)協(xié)作框架，檢測程序能夠判斷大多數(shù)缺陷，僅當(dāng)檢測程序不能確定鋼板質(zhì)量時，需要對其進(jìn)行人工檢查。

針對檢測程序，在20世紀(jì)末，已經(jīng)形成了較為成熟的基于特征工程和統(tǒng)計信息的鋼板缺陷檢測技術(shù)[4]。這一類方案常需要專家對每一種缺陷設(shè)計特定的特征提取器。當(dāng)所生產(chǎn)的鋼板品種、光照條件等因素發(fā)生變化時，必須要修改或重新設(shè)計特征提取器，否則其算法的性能將快速下降。這一類方案由于精度不高，需要大量專家先驗信息，不能適應(yīng)我國航空工業(yè)對于多品種、小批量生產(chǎn)的需求，亟待提出一種具有更高柔性和可靠性的新型缺陷檢測方案。

隨著深度學(xué)習(xí)的快速發(fā)展，數(shù)據(jù)驅(qū)動的缺陷檢測方法越來越多地取代了傳統(tǒng)基于特征工程的方法[5-8]。這種方法不再需要煩瑣的特征工程，并且對于環(huán)境變化的魯棒性也有較大的提升，具有快速部署的優(yōu)勢。但是，當(dāng)深度學(xué)習(xí)應(yīng)用于缺陷檢測領(lǐng)域時，往往存在訓(xùn)練樣本不足的問題。工業(yè)缺陷很少發(fā)生，而且缺陷的種類多種多樣，因此，在這樣的不平衡小樣本數(shù)據(jù)集上訓(xùn)練神經(jīng)網(wǎng)絡(luò)，容易造成過擬合的問題，其泛化性弱，難以實(shí)際應(yīng)用。

深度學(xué)習(xí)應(yīng)用于缺陷檢測的另一個難點(diǎn)是精度問題。一方面是由于數(shù)據(jù)集小且不平衡，另一方面是由于深度學(xué)習(xí)的機(jī)制尚未研究清楚。盡管相比于傳統(tǒng)特征工程方法，深度學(xué)習(xí)的精度相對較高，但是仍然需要人的協(xié)助。如何進(jìn)一步從模型的方面提升精度，仍然是一個開放性的問題。

針對上述問題，在廣泛調(diào)研鋼板表面缺陷視覺檢測領(lǐng)域的相關(guān)方法后，本文提出了一種新穎的小樣本學(xué)習(xí)技術(shù)框架。該框架采取了數(shù)據(jù)增強(qiáng)、層次結(jié)構(gòu)模型等方法大大提升了深度學(xué)習(xí)系統(tǒng)的性能。該技術(shù)已經(jīng)應(yīng)用于實(shí)際生產(chǎn)線上，其精度在95%以上。

1檢測流水線框架與數(shù)據(jù)集

1.1缺陷檢測設(shè)備

鋼板缺陷檢測流水線寬度為4m，在流水線上方和下方布置龍門架，等間隔分別安裝10臺工業(yè)相機(jī)，用于拍攝鋼板兩面的缺陷情況，其分辨率為1280×800px。這10路相機(jī)以視頻流的形式輸出到邊緣服務(wù)器上進(jìn)行計算?，F(xiàn)場端將現(xiàn)場工藝參數(shù)和邊緣服務(wù)器所輸出的缺陷信息上傳到材料資源計劃系統(tǒng)（MRP）云端，由質(zhì)檢員鑒別難以分辨的缺陷，并依據(jù)缺陷的種類和數(shù)量對產(chǎn)品鋼板進(jìn)行分級。

現(xiàn)場端的邊緣計算服務(wù)器有三個角色，分別是：（1）依據(jù)內(nèi)置的算法進(jìn)行缺陷檢測，將缺陷的位置、種類上傳到MRP云；（2）對于算法難以鑒別的缺陷，將局部圖片上傳到MRP云，由質(zhì)檢員鑒別；（3）滾動存儲最近進(jìn)行檢測的歷史圖片，以提供給機(jī)器學(xué)習(xí)專家進(jìn)一步優(yōu)化缺陷檢測算法。整個缺陷檢測設(shè)備系統(tǒng)的示意圖如圖1所示。

1.2鋼板常見缺陷

對于鋼板品質(zhì)影響較大的缺陷主要是邊線、邊裂、氣泡三種缺陷（見圖2）。這三種缺陷所出現(xiàn)的位置各有不同。邊線和邊裂缺陷只分布于邊緣，由靠近邊緣的兩臺相機(jī)捕捉。氣泡缺陷主要分布于內(nèi)部，由5臺相機(jī)共同捕捉。其中邊線和邊裂出現(xiàn)的頻率更高，且對于產(chǎn)品品質(zhì)的影響更大。

1.3數(shù)據(jù)集

鋼板制造過程中出現(xiàn)缺陷的頻率低。在設(shè)計深度學(xué)習(xí)缺陷檢測模型時，生產(chǎn)線已經(jīng)部署了基于特征工程的缺陷檢測系統(tǒng)。該系統(tǒng)可以粗略篩選掉大量無缺陷樣本。針對篩選所得的缺陷樣本進(jìn)行標(biāo)注，復(fù)核后劃分為訓(xùn)練集和測試集。

缺陷檢測模型包含三個層級神經(jīng)網(wǎng)絡(luò)，分別是：（1）內(nèi)部—正常邊—缺陷邊的三分類器；（2）氣泡的目標(biāo)檢測器；（3）邊線、邊裂的目標(biāo)檢測器。

針對內(nèi)部—正常邊—缺陷邊的三分類器，訓(xùn)練集包括4000張內(nèi)部照片、2500張缺陷邊照片、900張正常邊照片；測試集包括472張內(nèi)部照片、538張缺陷邊照片、359張正常邊照片。

針對氣泡的目標(biāo)檢測器，訓(xùn)練集包括67張氣泡照片，測試集包括10張氣泡照片。

針對邊線、邊裂的目標(biāo)檢測器，訓(xùn)練集包括1400張邊線照片、1400張邊裂照片；測試集包括100張邊線照片、100張邊裂照片。

2深度學(xué)習(xí)模型

構(gòu)建深度學(xué)習(xí)模型以完成鋼板邊線、邊裂和氣泡的缺陷檢測任務(wù)，其檢測流程如圖3所示。缺陷檢測過程分為兩個階段，首先是對從現(xiàn)場采集的圖片進(jìn)行分類，鑒別出正常邊、缺陷邊和內(nèi)部。接著，依據(jù)分類階段所得到的不同分類結(jié)果，執(zhí)行不同的缺陷定位模型。對于正常邊，由于其不包含缺陷，無須進(jìn)一步進(jìn)行缺陷定位。對于缺陷邊，在其上執(zhí)行SSD-邊深度模型，即一個用來檢測邊線、邊裂的目標(biāo)檢測器，對缺陷邊進(jìn)行更為詳盡的分類，并給出坐標(biāo)。對于分類結(jié)果為內(nèi)部的圖片，執(zhí)行SSD-氣泡深度模型，如果檢出氣泡，則按做氣泡缺陷記錄；如果未檢出，則按做正常記錄。訓(xùn)練過程采用預(yù)訓(xùn)練保證泛化性，特別地，由于氣泡缺陷數(shù)據(jù)集小，在訓(xùn)練SSD-氣泡深度模型時，還引入了數(shù)據(jù)增強(qiáng)技術(shù)以進(jìn)一步保證泛化性。

2.1層次結(jié)構(gòu)模型

各個缺陷種類非常不平衡，主要表現(xiàn)在氣泡缺陷非常稀少。如果采用單一的分類模型或單一的目標(biāo)檢測模型，則氣泡缺陷作為非常見種類，可能無法被神經(jīng)網(wǎng)絡(luò)正確地學(xué)習(xí)和識別。此外，氣泡的紋理結(jié)構(gòu)與其他缺陷相似，也會給識別帶來較大的困難。因此，需要單獨(dú)構(gòu)建用來識別氣泡的神經(jīng)網(wǎng)絡(luò)模型。類似地，考慮到邊線和邊裂具有相似的紋理結(jié)構(gòu)，同樣采用單獨(dú)的一個神經(jīng)網(wǎng)絡(luò)來區(qū)分邊線和邊裂。

上一節(jié)討論了三類缺陷在鋼板上分布的位置，即氣泡通常出現(xiàn)在邊的內(nèi)部，邊線和邊裂只出現(xiàn)在邊上，在設(shè)計層次結(jié)構(gòu)模型的時候參考這個規(guī)律也能夠降低誤檢率，提高檢測效率。

綜上所述，使用一種先粗檢后細(xì)檢的層次結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)模型，其結(jié)構(gòu)如圖4所示。

2.2數(shù)據(jù)增強(qiáng)

盡管神經(jīng)網(wǎng)絡(luò)在視覺領(lǐng)域取得了許多進(jìn)展，但是如何在小樣本數(shù)據(jù)集上訓(xùn)練具有良好泛化性的模型仍然是一個開放性的問題。針對小樣本學(xué)習(xí)，數(shù)據(jù)增強(qiáng)是一種常用手段[9-12]。數(shù)據(jù)增強(qiáng)主要包括對像素的線性變換或?qū)μ卣鞯膶股桑℅AN）方法。線性變換主要包括旋轉(zhuǎn)、裁剪、翻轉(zhuǎn)等。

GAN方法通過對抗訓(xùn)練兩個神經(jīng)網(wǎng)絡(luò)，即生成器和判別器，然后利用生成器來擴(kuò)充數(shù)據(jù)集。

注意到在鋼板缺陷檢測任務(wù)中缺陷數(shù)據(jù)量較小，氣泡缺陷更是十分罕見。因此首先在67張氣泡數(shù)據(jù)集上，通過訓(xùn)練一個WGAN-GP[13]網(wǎng)絡(luò)，將氣泡樣本擴(kuò)充到4000張，平衡了氣泡回歸網(wǎng)絡(luò)中正常內(nèi)部-氣泡的數(shù)據(jù)量。WGANGP所生成的氣泡缺陷樣本如圖5所示。然后將全部數(shù)據(jù)集進(jìn)行翻轉(zhuǎn)，加高斯噪聲，以改變亮度的方法進(jìn)行增強(qiáng)，將數(shù)據(jù)集擴(kuò)充至6倍，其效果如圖6所示。試驗表明，聯(lián)合應(yīng)用像素級和特征級的數(shù)據(jù)增強(qiáng)提升了鋼板缺陷檢測模型的泛化性。

2.3預(yù)訓(xùn)練與骨干網(wǎng)絡(luò)

在訓(xùn)練一個神經(jīng)網(wǎng)絡(luò)時，通常會加載一個預(yù)訓(xùn)練的模型作為特征提取層[14-15]。這種手段能夠提升模型泛化性和訓(xùn)練速度。

對于分類器網(wǎng)絡(luò)，選擇Inception網(wǎng)絡(luò)[16]作為分類網(wǎng)絡(luò)，因為它具有較高的準(zhǔn)確性和較快的速度。除了卷積網(wǎng)絡(luò)的最后一層和全連接層以外，加載了ImageNet預(yù)訓(xùn)練模型的全部參數(shù)。特別地，針對鋼板缺陷檢測問題，修改全連接層的網(wǎng)絡(luò)結(jié)構(gòu)，實(shí)現(xiàn)了“內(nèi)部”“正常邊”“缺陷邊”的三分類問題。

對于回歸網(wǎng)絡(luò)，采用SSD網(wǎng)絡(luò)[17]的架構(gòu)來實(shí)現(xiàn)。SSD網(wǎng)絡(luò)采用直接回歸的方法來檢測對象，在速度和準(zhǔn)確度上都有顯著的優(yōu)勢。SSD采用VGG16作為骨干網(wǎng)絡(luò)，從輸入圖像中提取特征。SSD在VGG16之后增加了6個輔助卷積層，以提取更多的特征圖用于檢測。然后在多層次的特征圖上生成不同尺度的預(yù)測框，以檢測各種尺寸的缺陷。對于每個對應(yīng)的默認(rèn)邊界框，其與真實(shí)標(biāo)簽的交并比大于0.5則認(rèn)為匹配度為正。之后，通過每個正向默認(rèn)框中的4個偏移生成預(yù)測邊界框，并保留前若干預(yù)測。最后，通過非極大值抑制進(jìn)行過濾，并給出結(jié)果。

3試驗與分析

3.1分類網(wǎng)絡(luò)

對于分類器網(wǎng)絡(luò)，加載Inception[16]模型在ImageNet預(yù)訓(xùn)練的參數(shù)，并在鋼板缺陷數(shù)據(jù)集上訓(xùn)練。模型的具體結(jié)構(gòu)參數(shù)見表1。以包含472張內(nèi)部照片、538張缺陷邊照片、359張正常邊照片的測試集進(jìn)行測試，其結(jié)果見表2，分類準(zhǔn)確率在95%以上。

3.2回歸網(wǎng)絡(luò)

對于回歸網(wǎng)絡(luò)，使用SSD模型以及預(yù)訓(xùn)練VGG16骨干網(wǎng)絡(luò)，其網(wǎng)絡(luò)結(jié)構(gòu)見表3。在鋼板缺陷訓(xùn)練集上訓(xùn)練，并在10張氣泡照片、100張邊線照片、100張邊裂照片的測試集進(jìn)行測試，重疊區(qū)域交并比（IoU）閾值使用0.5。在此IoU閾值下，使用不同的檢測閾值測定其精確率-召回率曲線（見圖7），然后計算平均精度（見表4）。

3.3綜合驗證與生產(chǎn)線部署

為了進(jìn)一步驗證帶有數(shù)據(jù)增強(qiáng)的、包含分類和回歸兩階段的深度模型的漏檢、誤檢情況，首先基于概率對誤檢率、漏檢率進(jìn)行初步估計。由于基于概率的估計，其計算過程需要給定缺陷率，而缺陷率與摻雜、工藝等因素密切相關(guān)，所以這種估計方法是相對粗略的。取氣泡、邊線、邊裂的缺陷率分別為2%、10%、10%。計算可得整個檢測系統(tǒng)的誤檢-漏檢曲線如圖8所示。圖8中，邊缺陷的曲線都不與坐標(biāo)軸相交，這是因為在缺陷分類階段，有4%左右的缺陷被錯誤地分類，進(jìn)一步提示誤檢和漏檢的主要原因產(chǎn)生在層次結(jié)構(gòu)模型中Inception分類器模型。因此，如何更準(zhǔn)確地分類是后續(xù)進(jìn)一步繼續(xù)提升精度的重點(diǎn)研究內(nèi)容。

同時，該方法的有效性也可以從生產(chǎn)線部署的角度驗證。在生產(chǎn)線上部署該檢測系統(tǒng)，一些檢測到的缺陷如圖9所示。每10路工業(yè)相機(jī)連接至一臺服務(wù)器。其檢測平均速度約為4FPS，符合工業(yè)需求。對于所提示的置信度70%以下的缺陷采取人工復(fù)檢，相比較于上一代基于特征工程的缺陷檢測方法，極大降低了質(zhì)檢員的勞動負(fù)荷，提升了工廠的缺陷檢測智能化水平。

4結(jié)束語

針對鋼板缺陷檢測領(lǐng)域使用傳統(tǒng)特征工程和統(tǒng)計特征進(jìn)行缺陷識別的方法，本文提出了一種新的基于小樣本機(jī)器學(xué)習(xí)的檢測系統(tǒng)。所提出的方法綜合使用了數(shù)據(jù)增強(qiáng)、層次結(jié)構(gòu)模型等方法解決了樣本不足和模型泛化性弱的問題，達(dá)到了95%以上的精度，大大降低了質(zhì)檢員的工作強(qiáng)度并提升了工廠的缺陷檢測智能化的水平。

參考文獻(xiàn)

[1]薄鑫濤.航空航天等工業(yè)用超高強(qiáng)度鋼的相關(guān)知識[J].熱處理， 2019， 34（5）：61-63. Bo Xintao. Knowledge about ultra-high strength steels for aerospace and other industries[J]. Heat Treatment， 2019， 34（5）： 61-63. （in Chinese）

[2]郭聯(lián)金，羅炳軍. PNN與BP神經(jīng)網(wǎng)絡(luò)在鋼板表面缺陷分類中的應(yīng)用研究[J].機(jī)電工程， 2015， 32（3）：352-357. Guo Lianjin， Luo Bingjun. Application of PNN and BP neural network in the classification of steel plate surface defects[J]. Mechatronics Engineering， 2015， 32（3）：352-357. （in Chinese）

[3]程萬勝.鋼板表面缺陷檢測技術(shù)的研究[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2008. Cheng Wansheng. Research on surface defect detection technology of steel plate[D]. Harbin：Harbin Institute of Technology，2008.（in Chinese）

[4]吳平川，路同浚，王炎.機(jī)器視覺與鋼板表面缺陷的無損檢測[J].無損檢測， 2000， 22（1）：13-16. Wu Pingchuan， Lu Tongjun， Wang Yan. Machine vision and nondestructive inspection of steel plate surface defects[J]. Nondestructive Testing， 2000， 22（1）：13-16. （in Chinese）

[5]顧佳晨，高雷，劉路璐.基于深度學(xué)習(xí)的目標(biāo)檢測算法在冷軋表面缺陷檢測中的應(yīng)用[J].冶金自動化， 2019， 43（6）：25-28. Gu Jiachen， Gao Lei， Liu Lulu. Application of deep learningbased target detection algorithm in cold rolling surface defect detection[J]. Metallurgical Automation， 2019， 43（6）：25-28. （in Chinese）

[6]楊宇，王彬文，呂帥帥，等.一種基于深度學(xué)習(xí)的復(fù)合材料結(jié)構(gòu)損傷導(dǎo)波監(jiān)測方法[J].航空科學(xué)技術(shù)，2020，31（7）：102-108. Yang Yu，Wang Binwen，Lv Shuaishuai，et al.A deep-learningbased method for damage identification of composite laminates[J].Aeronautical Science & Technology，2020，31（7）：102-108.（in Chinese）

[7]趙楊超，李艷軍，曹愈遠(yuǎn)，等.基于K-means聚類的航空復(fù)合材料敲擊檢測研究[J].航空科學(xué)技術(shù)，2019，30（10）：45-49. Zhao Yangchao，Li Yanjun，Cao Yuyuan，et al. Study on percussion detection of aerospace composite materials based on K-means clustering[J].Aeronautical Science & Technology，2019，30（10）：45-49.（in Chinese）

[8]夏立群，王可.基于PNN網(wǎng)絡(luò)的余度作動器智能故障診斷[J].航空科學(xué)技術(shù)， 2014， 25（1）： 73-78. Xia Liqun，Wang Ke. Redundant actuator intelligent fault diagnosisbasedonPNN[J].AeronauticalScience& Technology， 2014，25（1）：73-78. （in Chinese）

[9]Fiore U，De Santis A，Perla F，et al. Using generative adversarial networks for improving classification effectiveness in credit card fraud detection[J]. Information Sciences，2019，479：448-455.

[10]Huang Z，Yu Y，Xu J，et al. PF-Net：Point Fractal Network for 3D Point Cloud Completion[C]//Proceedings of the IEEE/ CVF Conference on Computer Vision and Pattern Recognition，2020：7662-7670.

[11]Zhang H，Chen Z，Zhang C，et al. Weld defect detection basedondeeplearningmethod[C]//2019IEEE15th InternationalConferenceonAutomationScienceand Engineering（CASE）. IEEE，2019：1574-1579.

[12]Le X，Mei J，Zhang H，et al. A learning-based approach for surface defect detection using small image datasets[J]. Neurocomputing，2020，48：112-120.

[13]Gulrajani I，Ahmed F，Arjovsky M，et al. Improved training of wasserstein gans[C]// Advances in Neural Information Processing Systems，2017：5767-5777.

[14]Donahue J，Jia Y，Vinyals O，et al. Decaf：a deep convolutional activation feature for generic visual recognition[C]// International Conference on Machine Learning，2014：647-655.

[15]Sharif Razavian A，Azizpour H，Sullivan J，et al. CNN features off-the-shelf：an astounding baseline for recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops，2014：806-813.

[16]Szegedy C，Ioffe S，Vanhoucke V，et al. Inception-V4，inception-ResNet and the impact of residual connections on learning[C]// Proceedings of the Thirty-First AAAI Conference onArtificial Intelligence，2017：4278-4284.

[17]Liu W，Anguelov D，Erhan D，et al. SSD：single shot multibox detector[C]//European Conference on Computer Vision. Springer，Cham，2016：21-37.

（責(zé)任編輯皮衛(wèi)東）

Surface Defect Detection for Steel Plate with Small Dataset

Li Junzheng1，Yin Ziyu2，Le Xinyi1

1. Shanghai Jiao Tong University，Shanghai 200240，China 2. Software Engineering Institute of Guangzhou，Guangzhou 510990，China

Abstract： In recent years， data-driven defect detection technology has been initially applied in the industrial sector to improve the level of production intelligence. However， this method is still difficult to be further promoted due to the problem of insufficient training samples and low detection accuracy. Therefore， in this paper， a data-driven surface defect detection technology for steel plates is proposed. To address the problem of insufficient training samples， the data augmentation method is adopted to increase the dataset to ensure the generalizability of the model. To address the problem of low detection accuracy， a hierarchical model is adopted to improve the precision. Experiments prove that the proposed method can effectively detect defects. And it has been deployed in the production line with an accuracy of more than 95%.

Key Words： defect detection； convolutional neural network； hierarchical model； data augmentation； small sample learning