基于深度學(xué)習(xí)的線圈炮缺陷自動檢測與分類

田浩杰，楊曉慶，翟曉雨

（四川大學(xué)電子信息學(xué)院，成都 610065）

0 引言

電磁武器系統(tǒng)現(xiàn)在已經(jīng)成為衡量國家軍事實力的重要基礎(chǔ)之一，其中線圈炮又是電磁武器中一個重要的分支。線圈炮工作時的峰值電流常常會達到幾千甚至上萬安培，這不僅會使炮體溫度迅速上升，還會產(chǎn)生巨大的電磁應(yīng)力，長時間的使用會形成很多種燒蝕疵病，這些疵病的產(chǎn)生會導(dǎo)致武器使用效能下降，運行安全性降低，服役壽命減少等諸多問題?！禛JB2977A-2006火炮靜態(tài)檢測方法》軍用標(biāo)準(zhǔn)將武器系統(tǒng)的疵病按類別和損傷等級分為14大類和50余小類，疵病的復(fù)雜程度為金屬管道內(nèi)壁疵病的識別和分類帶來了困難。如何高速、精準(zhǔn)、自動化地對各種燒蝕疵病進行分類識別是當(dāng)前研究的關(guān)鍵。

傳統(tǒng)的疵病檢測與識別方法一般有三種：一是由有經(jīng)驗的技術(shù)人員采用光學(xué)窺腔儀等設(shè)備直接觀察，并對觀察到的區(qū)域進行分析和判斷的人工檢測方法；二是采用基于“疵病目標(biāo)分割提取-人工疵病特征提取-人工特征描述計算”的統(tǒng)計學(xué)檢測方法；三是采用如BP神經(jīng)網(wǎng)絡(luò)、支持向量機的“淺層網(wǎng)絡(luò)識別”的檢測方法。然而上述方法都存在著種種弊端：“人工檢測方法”僅能實現(xiàn)單人的定性觀察，無法進行定量測量，且會受到主觀因素影響，易發(fā)生漏檢和誤判的情況；“基于特征提取的統(tǒng)計學(xué)檢測方法”依賴于人工特征的提取，由于環(huán)境復(fù)雜，疵病種類多，不同疵病之間有很大的相似之處，人工特征的有效描述和準(zhǔn)確選取是很困難的，很大程度上依靠個人經(jīng)驗，不利于疵病的客觀評定；“基于淺層網(wǎng)絡(luò)識別的檢測方法”通常依賴于特征篩選和特征提取算法的設(shè)計，特別是對于復(fù)雜場景下獲取的原始數(shù)據(jù)，由于特征向量間的區(qū)分性不強，導(dǎo)致檢測結(jié)果不佳。

作為近年來圖像識別領(lǐng)域的研究熱點，卷積神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用于模式識別領(lǐng)域。卷積神經(jīng)網(wǎng)絡(luò)是一類包含卷積計算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)，是深度學(xué)習(xí)的代表算法之一。卷積神經(jīng)網(wǎng)絡(luò)具有表征學(xué)習(xí)能力，能夠按其階層結(jié)構(gòu)對輸入信息進行平移不變分類。卷積神經(jīng)網(wǎng)絡(luò)由輸入層、卷積層、池化層、全連接層以及輸出層構(gòu)成，作為一個多層神經(jīng)網(wǎng)絡(luò)，它具有局部連接、權(quán)重共享、合并池化及多層結(jié)構(gòu)這四個核心特征，實現(xiàn)了圖像的位移、縮放和扭曲不變性。相比于傳統(tǒng)的疵病檢測方式，卷積神經(jīng)網(wǎng)絡(luò)只需要少量的圖像預(yù)處理且不需要人工提取疵病特征，通過直接將圖像作為網(wǎng)絡(luò)的輸入，避免了傳統(tǒng)識別算法中復(fù)雜的特征提取和數(shù)據(jù)重建過程，并表現(xiàn)出極強的學(xué)習(xí)能力和計算準(zhǔn)確性，具有應(yīng)用到武器缺陷分類識別的潛力。

為了實現(xiàn)快速、準(zhǔn)確地對線圈炮的各種燒蝕疵病進行自動化、智能化分類識別進而對武器工作效能及運行安全性做出有效評估，本文首先采用雙邊濾波算法進行圖像增強，為后續(xù)流程提供高質(zhì)量圖片，同時基于單樣本幾何變換的數(shù)據(jù)增強策略擴充樣本數(shù)量，提高模型的適應(yīng)性，然后比較了三種經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)的分類能力，引入類激活熱力圖進行可視化，最后開發(fā)了可以根據(jù)缺陷圖像學(xué)習(xí)訓(xùn)練并分類識別的自動化軟件，大大提高了檢測效率。

1 數(shù)據(jù)處理

1.1 獲取數(shù)據(jù)集

本文前期共獲得四種典型的金屬管道內(nèi)壁的燒蝕疵病圖像共120張，分別為碎屑、磨損、裂紋和掛銅各30張，每張圖像的大小為50×50。為了進一步擴展缺陷種類，收集了東北大學(xué)熱軋鋼帶表面缺陷數(shù)據(jù)集，其中有夾雜、劃痕、氧化、開裂、麻點和斑塊共六種缺陷，每種缺陷各300張，每張圖像的大小為200×200。統(tǒng)一將圖像大小調(diào)整為50×50，共計十種缺陷圖像如圖1所示。

圖1 金屬管道內(nèi)壁缺陷圖像

1.2 圖像增強和數(shù)據(jù)增強

由于實際成像過程中受到各種噪聲的影響，利用具有保護圖像邊緣信息能力的雙邊濾波算法提高圖像質(zhì)量并降低檢測效果受環(huán)境光照不均等各種噪聲的影響。

雙邊濾波器是在高斯濾波器的基礎(chǔ)上改進而來的。高斯濾波器因為對圖像所有區(qū)域的濾波效果都是一樣的，所以不能突出像素變化大的區(qū)域，而雙邊濾波器通過修改高斯濾波器的權(quán)值可以使鄰域點和中心點像素變化較大的區(qū)域保持梯度，變化較小的區(qū)域?qū)崿F(xiàn)高斯濾波的效果。其數(shù)學(xué)公式可以總結(jié)如下：

其中是權(quán)重，和是像素索引，是歸一化常數(shù)，是像素的強度值，σ為高斯函數(shù)的標(biāo)準(zhǔn)差。增強后的圖像如圖2所示。

圖2 圖像增強

由于樣本數(shù)量通常與識別魯棒性呈正相關(guān)，所以為了減少過擬合現(xiàn)象，提高模型泛化能力，對初始的四種缺陷圖像進行數(shù)據(jù)增強，采用隨機裁剪、中心裁剪、水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)的方式將圖像數(shù)量由120張擴充為600張（示例見圖3），最后一共獲得2400張圖像，為后續(xù)構(gòu)建具有強泛化能力的高精度分類模型提供數(shù)據(jù)支撐。

圖3 數(shù)據(jù)增強

2 缺陷分類

將上文中建立的數(shù)據(jù)集的80%作為訓(xùn)練集（1920張），剩下的20%作為測試集（480張），樣本數(shù)據(jù)分布如表1所示。分類模型選用三種經(jīng)典的基于深度卷積神經(jīng)網(wǎng)絡(luò)的分類模型，包括Alexnet、VGG16和Resnet18。

表1 樣本數(shù)據(jù)分布

實驗的硬件環(huán)境如下：CPU為AMD 3600，內(nèi)存為16G。軟件環(huán)境如下：Pytorch為深度學(xué)習(xí)框架，Python作為開發(fā)語言，Pycharm作為編程環(huán)境。

表2為三種分類模型對不同種類缺陷的識別準(zhǔn)確率，可以看出三種模型對不同種類的缺陷識別準(zhǔn)確率存在一些差異，但基本都達到了90%以上。表3為三種模型的性能指標(biāo)對比。從表3中可以看出，Alexnet和Resnet分別在平均類識別率和單張圖像缺陷檢出率上最高，但與另外兩個模型差別不大。在480張圖像的預(yù)測總時間上，Alexnet遠(yuǎn)遠(yuǎn)優(yōu)于VGG和Resnet，單張圖像的預(yù)測時間僅為0.00067秒。綜合來看，Alexnet的性能最優(yōu)，后續(xù)編寫桌面交互軟件將以Alexnet為算法核心。

表2 不同種類缺陷識別準(zhǔn)確率

表3 不同模型的性能指標(biāo)

3 類激活熱力圖

采用上述的卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)達到了較好的分類效果，但是模型判斷缺陷的方式不直觀，不能確定哪些像素對結(jié)果的影響更大。為了解決這一問題，本文引入梯度加權(quán)類激活熱力圖（Gradient-weighted Class Activation Map，Grad-CAM）來表征每個像素在該類別圖像上的重要程度，可以更直觀的展示模型在提取圖像特征時敏感度更高的區(qū)域是否為缺陷所在的區(qū)域，從而判斷是否出現(xiàn)過擬合現(xiàn)象。

圖4所示為十種缺陷圖像的Grad-CAM可視化結(jié)果，從圖中可以看出模型提取的每張圖像的特征區(qū)域基本都在缺陷所在區(qū)域，這表明模型具有一定的泛化能力，沒有出現(xiàn)過擬合現(xiàn)象。但是當(dāng)一張圖像中存在多個相同缺陷時顯示效果有所下降，不過不影響顯示網(wǎng)絡(luò)最敏感的區(qū)域。

圖4 Grad-CAM可視化結(jié)果

4 自動化軟件

為了提高缺陷檢測的效率，更方便快捷地對線圈炮金屬管道內(nèi)壁的各種燒蝕疵病進行自動化、智能化分類識別，利用C#語言在.Net框架下開發(fā)了自動化軟件，可以實現(xiàn)自定義訓(xùn)練模型、批量缺陷識別、數(shù)據(jù)后處理等功能。圖5所示為軟件訓(xùn)練模型和驗證樣本的界面，相比于在代碼層面完成模型訓(xùn)練與樣本驗證等工作，通過該軟件可以更簡單高效地實現(xiàn)。

圖5 軟件界面

5 結(jié)語

本文重點研究了基于深度學(xué)習(xí)的線圈炮缺陷自動識別與分類方法。針對實際成像過程易受噪聲影響的問題，利用雙邊濾波算法對數(shù)據(jù)集進行了圖像增強。針對樣本數(shù)量少的問題，通過單樣本幾何變換的方式實現(xiàn)了數(shù)據(jù)增強。之后比較了三種經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)分類模型的性能，三個模型在分類精度上差別不大，但在預(yù)測時間上Alexnet遠(yuǎn)遠(yuǎn)優(yōu)于另外兩個模型；同時為了更直觀地觀察模型是否更多關(guān)注缺陷區(qū)域，引入Grad-CAM來顯示模型對每類缺陷圖像的敏感區(qū)域。為了提高缺陷檢測的效率，專門開發(fā)可以根據(jù)缺陷圖像學(xué)習(xí)訓(xùn)練并分類識別的自動化軟件，可以大大降低人力和時間成本，保障設(shè)備安全可靠運行。然而線圈炮缺陷檢測難度相對較大，檢測類別和精度還需進一步提升，并且圖像的采集還沒有自動化，使得樣本數(shù)量較少，未來我們將結(jié)合現(xiàn)有的研究基礎(chǔ)控制攝像頭進一步實現(xiàn)缺陷圖像的自動采集。