基于YOLOv5的換向器表面缺陷檢測算法研究

張曉麗，馬怡琛，倉玉萍，董少飛，郝 納，何思思

(1.西安文理學院 機械與材料工程學院 陜西省表面工程與再制造重點實驗室，陜西 西安 710065；2.西安文理學院 機械與材料工程學院 西安市智能增材制造重點實驗室，陜西 西安 710065；3.信陽師范大學 物理電子工程學院，河南 信陽 464000)

0 前言

在機械零部件使用過程中，不可避免會產(chǎn)生諸如微小裂紋、凸起等缺陷，這些微小缺陷隨著產(chǎn)品的反復使用可能會持續(xù)增加，從而嚴重影響產(chǎn)品的功能和壽命，甚至導致整個系統(tǒng)發(fā)生故障。研究顯示，80%的機械零部件都是由于缺陷導致疲勞損壞造成的[1]。由于傳統(tǒng)的人工檢測方式受視覺疲勞、注意力分散等因素的影響，很難達到現(xiàn)代工業(yè)生產(chǎn)中高效性和實時性的要求，所以建立機械零部件表面缺陷智能檢測系統(tǒng)對零部件質(zhì)量控制具有極其重要的意義[2-3]。

針對不同工件缺陷檢測方法，國內(nèi)外學者進行了廣泛研究。主要集中于基于傳統(tǒng)圖像處理方法的和基于機器學習的工件表面缺陷方法兩種。韓素華等人針對國標51105型號軸承套圈進行了表面缺陷檢測實驗，提出了基于機器視覺的表面缺陷檢測實驗系統(tǒng)設(shè)計，精度達95%[4]。YoungJin Cha等人基于Faster-R-CNN提出一種多類型損傷的自動檢測方法，結(jié)合無人機實現(xiàn)混凝土、鋼材腐蝕等自主視覺檢測，五類缺陷平均檢測精度(mean Average Percision，mAP)達到87.8%[5]。Yiting Li等人研究采用改進SSD(Single Shot MultiBox Detection )算法對灌裝線集裝箱表面缺陷進行檢測，采用MobileNetv1替換SSD算法中的VGG16特征提取網(wǎng)絡(luò)，簡化了檢測模型，識別率約為95%[6]。綜上，采用深度學習中的卷積神經(jīng)網(wǎng)絡(luò)可以自動提取工件表面缺陷的有效圖像信息，分類精度較高且速度較快。

電機被廣泛應用在不同工業(yè)現(xiàn)場和行業(yè)中，而換向器是直流電動機、直流發(fā)電機和交流整流子電動機電樞上的一個重要部位，它在電動機轉(zhuǎn)動的過程中扮演了關(guān)鍵的角色，確保電動機能夠持續(xù)穩(wěn)定地運轉(zhuǎn)，其可靠性對整個生產(chǎn)過程具有重要意義[7]。換向器在工作中存在磨損，當換向器磨損嚴重或者換向器表面發(fā)生缺陷如裂紋時，電機在運轉(zhuǎn)時會產(chǎn)生火花，進一步加劇電刷和換向器的損傷，降低電機效率，縮短電機的使用壽命。目前國內(nèi)對于換向器表面質(zhì)量是否存在缺陷檢測的研究較少。基于以上分析，本文以換向器為研究對象，提出一種基于深度學習的換向器表面缺陷檢測系統(tǒng)。該系統(tǒng)首先構(gòu)建換向器表面缺陷數(shù)據(jù)集，并對數(shù)據(jù)集進行類別、位置的標定，其次采用YOLOv5算法進行模型的訓練，并且對于已訓練好的模型進行檢測，最后根據(jù)攝像頭攝取到的圖像，采用訓練好的YOLOv5網(wǎng)絡(luò)模型對換向器表面缺陷進行檢測和識別。

1 理論分析

1.1 YOLOv5目標檢測算法

YOLOv5是YOLO系列中性能和通用性較強的一款模型，在檢測速度和精度上有著較強的優(yōu)勢，能夠在保持較高檢測精度的同時滿足實時性要求，是繼YOLOv3之后被廣泛應用于工業(yè)檢測的算法。相對于其他版本的YOLO算法，YOLOv5可以在不降低檢測精度的情況下，采用Focus框架將圖像切片，加快了訓練速度。同時，YOLOv5采用Pytorch框架，使得YOLOv5的大小對比YOLOv3、YOLOv4等版本降低了90%左右，從而使得YOLOv5的部署具有更多的靈活性，同時YOLOv5給出的四個不同大小的模型可以實現(xiàn)在不同精度要求下的檢測[8]。因此，YOLOv5訓練速度快，模型精度高，內(nèi)存占用小，可以方便地運用在更多復雜場景。YOLOv5的網(wǎng)絡(luò)結(jié)構(gòu)主要可以劃分為主干(backbone)、頸部(neck)、頭部(head)這3個組成部分。其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)圖

YOLOv5的主干網(wǎng)絡(luò)(Backbone)包括Focus、CBS、C3和SPP模塊，目標檢測模型中主干網(wǎng)絡(luò)的作用是實現(xiàn)對輸入圖像的特征提取。Focus模塊在輸入圖像進入主干網(wǎng)絡(luò)之前，對圖像進行切片(Slice)，然后把切片后的結(jié)果拼接(Concat)起來。網(wǎng)絡(luò)結(jié)構(gòu)中的基本單元卷積(Conv)、批量化歸一化(BN)和激活函數(shù)SiLU組成CBS模塊，其結(jié)構(gòu)如圖2所示。

圖2 CBS模塊結(jié)構(gòu)

YOLOv5的損失函數(shù)包括三個部分，分別為分類損失、預測框置信度損失和預測框定位損失。其中分類損失和預測框置信度損失均為二分類交叉墑?chuàng)p失，YOLOv5網(wǎng)絡(luò)中采用GIOU_Loss作為邊界框回歸損失計算式[9]：

(1)

(2)

式中：C為兩個框中的最小外接矩形；B∪Bgt為預測框與真實框的并集。

1.2 YOLO模型性能指標

模型性能主要包括兩個方面：一個是檢測精度，另一個是檢測速度。性能評估指標有準確率、精確率、召回率、平均精確度等。對于一個二分類算法來說，預測的結(jié)果只有兩類，分別用“正”和“負”來表示。采用YOLO模型對一組樣本進行二分類預測時，根據(jù)預測樣本類別和實際樣本類別，會出現(xiàn)4類情況：

(1)預測結(jié)果為正，實際樣本也為正。這種情況定義為真正例TP(True Positive)。

(2)預測結(jié)果為正，實際樣本卻為負。這種情況定義為假正例FP(False Positive)。

(3)預測結(jié)果為負，實際樣本也為負。這種情況定義為真反例TN(True Negative)。

(4)預測結(jié)果為負，實際樣本卻為正，這種情況定義為假反例FN(False Negative)。

這四種情況構(gòu)成一個混淆矩陣，如表1所示。表格內(nèi)容為每種類別對應的樣本數(shù)量，借助混淆矩陣表，可以計算YOLO模型的各種性能指標。

表1 混淆矩陣表

精確率(P)指真正例樣本數(shù)占預測結(jié)果為正(包括真正例和假正例)樣本數(shù)的比例，計算方法如公式(3)所示[10]：

(3)

召回率(R)指真正例樣本數(shù)占實際正樣本(包括真正例和假反例)總數(shù)的比例，計算方法如公式(4)所示[11]：

(4)

準確率(Acc)指預測結(jié)果正確(包括真正例和真反例)的樣本數(shù)占總樣本數(shù)的比例，計算方法如公式(5)所示[12]：

(5)

一般情況下召回率和準確率越接近1代表模型越好，但是這兩個指標卻存在負相關(guān)，因此需要在這兩者之間進行取舍，或通過平均精確度(AP)即P-R曲線與坐標軸的面積協(xié)助分析，當有n個類別需要識別時，將所有AP值求平均值可得mAP。計算公式如式(6)和式(7)所示[13]：

(6)

(7)

1.3 Mosaic數(shù)據(jù)增強

YOLOv5在輸入端采用了Mosaic數(shù)據(jù)增強，具體實現(xiàn)如圖3所示。Mosaic數(shù)據(jù)增強是先隨機選擇4張圖像進行翻轉(zhuǎn)、縮放等操作，再將處理后的4張圖片拼貼操作形成新的一張圖片，之后裁剪訓練圖像中超出背景的部分，得到模型的訓練數(shù)據(jù)。這樣做不僅增加了檢測數(shù)據(jù)集的內(nèi)容，而且通過隨機縮放增加了許多小目標，使得網(wǎng)絡(luò)的魯棒性更好，提高了單GPU訓練時的表現(xiàn)。

圖3 Mosaic數(shù)據(jù)增強流程圖

2 換向器表面缺陷模型構(gòu)建

2.1 換向器表面缺陷檢測系統(tǒng)構(gòu)建

工業(yè)用換向器表面缺陷檢測系統(tǒng)如圖4所示。系統(tǒng)工作過程如下：

圖4 換向器表面缺陷檢測系統(tǒng)框圖

(1)采用Mosaic數(shù)據(jù)增強等方法，對數(shù)據(jù)集進行預處理，將構(gòu)建的數(shù)據(jù)集分為訓練集和測試集；

(2)采用訓練集對YOLOv5模型進行訓練，得到效果最佳的網(wǎng)絡(luò)權(quán)重數(shù)據(jù)和訓練模型；

(3)采用訓練好的YOLOv5模型對圖片進行目標檢測，識別出圖像中是否有缺陷，如果有，進一步判斷換向器表面缺陷的位置。

2.2 數(shù)據(jù)集創(chuàng)建

本研究采用的數(shù)據(jù)集是公開的KolektorSDD數(shù)據(jù)集，這個數(shù)據(jù)集專門用于換向器表面的缺陷識別。數(shù)據(jù)集由50組有缺陷的換向器組成，每組包含有8張金屬表面圖，并有對應的標簽。圖5為KolektorSDD數(shù)據(jù)集中部分圖像。

圖5 公開的KolektorSDD數(shù)據(jù)集

2.3 數(shù)據(jù)集預處理

為增加換向器表面缺陷檢測精度，采用旋轉(zhuǎn)、裁剪、加噪等操作對換向器原始數(shù)據(jù)集進行擴展。

旋轉(zhuǎn)是對換向器表面圖像的位置進行變換，雖然人眼看到變換后的圖像和變換前區(qū)別不是很大，由于計算機識別圖片是以像素的方式進行，而旋轉(zhuǎn)變換后圖像的像素變化較大，變換后圖像發(fā)生了顯著的變化，因此，所提出的方法可以有效地對數(shù)據(jù)集進行擴充，其旋轉(zhuǎn)效果如圖6所示。

圖6 旋轉(zhuǎn)對比圖

裁剪主要是對換向器表面圖像的不同區(qū)域進行隨機裁剪。在實際工況中，由于受到外界環(huán)境影響，被識別的換向器可能會受到遮擋或損壞，而通過裁剪可以模擬這樣的場景。這種方法可以擴充換向器圖片數(shù)量以提高訓練網(wǎng)絡(luò)的泛化能力，使得對換向器表面缺陷的識別精度更高，其裁剪效果如圖7所示。

圖7 裁剪對比圖

2.4 數(shù)據(jù)標定

采用LabelImg標注工具對數(shù)據(jù)進行標注。標注過程是在標注換向器缺陷的類別信息和位置信息，完成之后會生成對應的文件來存儲換向器圖片的邊界框信息，標注過程如圖8所示。標注后將數(shù)據(jù)集分為訓練集和測試集，所采用的比例是8∶2，之后還需從訓練集中抽取部分圖像作為驗證集來測試訓練之后的模型，隨機抽取的比例為0.2，抽取的圖像依然屬于訓練集。

圖8 LabelImg數(shù)據(jù)標定

2.5 YOLOv5網(wǎng)絡(luò)模型訓練

YOLOv5網(wǎng)絡(luò)模型訓練流程如圖9所示，首先輸入訓練樣本，網(wǎng)絡(luò)參數(shù)初始化，對標定好的數(shù)據(jù)集進行監(jiān)督學習，并提取特征，之后訓練網(wǎng)絡(luò)反向修正權(quán)值、閾值，再判斷是否滿足設(shè)定的結(jié)束條件(即設(shè)置的迭代次數(shù))，如果是，將生成分類模型，結(jié)束此次訓練。

圖9 訓練流程圖

訓練完成后，即可對換向器表面缺陷進行檢測。檢測流程如圖10所示。通過相機采集圖像信息，對圖像的閾值進行分割和缺陷識別，判斷是否有缺陷，如果有，將獲取缺陷區(qū)域并調(diào)用訓練好的分類模型，輸出檢測的結(jié)果。

圖10 檢測流程圖

2.6 實驗環(huán)境的搭建

為了實現(xiàn)換向器表面缺陷和位置的檢測，對KolektorSDD數(shù)據(jù)集進行擴充后采用YOLOv5算法對訓練模型進行構(gòu)建，并進行推理。本實驗的運行環(huán)境為：Windows 10(64位)操作系統(tǒng)；Genuine Intel(R)CPU @ 2.20 GHz(雙核)，內(nèi)存為64 GB；NVIDIA GeForce GTX 1080 Ti GPU，顯存8 GB；Tensorflow-gpu版本2.8.0，CUDA版本為11.5，CUDNN版本為8.2.1，Anaconda版本為4.12.0。采用的軟件程序是Python語言，開發(fā)環(huán)境是PyCharm，采用的學習框架是PyTorch。

3 實驗結(jié)果與分析

PR曲線(Precision-Recall Curve)是一種用于評估二分類器性能的曲線圖，在目標檢測中被廣泛使用。PR曲線更加關(guān)注正確率和完整性，PR曲線的橫坐標是召回率，縱坐標是準確率。PR曲線的形狀與其所對應的每個閾值選擇有關(guān)。通常會選擇某段準確率超過最小要求的那部分數(shù)據(jù)，在這部分數(shù)據(jù)中找到召回率最高的閾值作為模型的輸出結(jié)果。本文換向器表面缺陷檢測模型構(gòu)建中，所得到的PR曲線如圖11所示。從圖中可以看出，有缺陷檢測下的PR的包絡(luò)面積為0.994，有缺陷加無缺陷檢測下的PR的平均包絡(luò)面積也為0.994，兩種分類檢測得到的PR曲線比較接近，包絡(luò)面積均接近于1，即檢測的平均精度較高，檢測的性能較好。

圖11 換向器表面缺陷檢測PR曲線

Box用來衡量所構(gòu)建模型中邊界框預測的誤差程度，其值越小表示模型邊界框預測的更準確；Obj表示目標檢測過程中損失的均值；Classification作為分類損失的均值。以上各個損失值越小，表明檢測的精確度越高。模型構(gòu)建中訓練集和驗證集中其損傷值和迭代次數(shù)關(guān)系如圖12所示。從圖中可以看出，當?shù)螖?shù)為200時，訓練集和測試集的分類損失值接近于0，訓練集和測試集的邊界框損失、目標損失值均低于0.02，表明模型訓練在小數(shù)據(jù)集上性能表現(xiàn)良好。

圖12 訓練集和測試集損失值同迭代次數(shù)曲線

訓練集和驗證集中精確度和召回率同迭代次數(shù)關(guān)系如圖13所示。從圖中可以看出，當?shù)螖?shù)為200時，精確度數(shù)值高于0.99，召回率數(shù)值高于0.95，平均精度均值接近于1。同時，損失值較小，因此，所構(gòu)建網(wǎng)絡(luò)模型訓練效果較好，精度較高。

圖13 精確度和召回率同迭代次數(shù)曲線

在YOLOv5推理的過程中，首先需要將待檢測的圖像送入網(wǎng)絡(luò)模型，經(jīng)過卷積層和池化層等處理，得到一些特征點和特征向量，然后通過全連接層將這些特征與類別標簽相結(jié)合，最終可以得到目標檢測結(jié)果。實驗的推理結(jié)果如圖14所示，不僅可以檢測出換向器表面是否存在缺陷，并能檢測出換向器表面缺陷的位置，對換向器表面缺陷檢測的準確率達到90%。

圖14 推理結(jié)果

4 結(jié)論

本文為減輕在工業(yè)用零部件表面缺陷檢測中人工檢測的成本和負擔，提高檢測的效率，以工業(yè)用典型零件換向器為研究對象，設(shè)計了一款工業(yè)用零部件缺陷檢測系統(tǒng)。以公開的Kolektor-SDD數(shù)據(jù)集為基礎(chǔ)，對數(shù)據(jù)集進行預處理，構(gòu)建換向器表面缺陷訓練集和測試集。依據(jù)構(gòu)建的訓練集和測試集，采用深度學習框架對YOLOv5網(wǎng)絡(luò)模型進行訓練，并對訓練的換向器表面缺陷檢測模型進行推理測試。實驗結(jié)果表明換向器表面缺陷檢測系統(tǒng)在檢測精度和檢測速度方面表現(xiàn)良好，換向器表面缺陷的檢測準確率達到90%，不僅能有效檢測出換向器表面是否有缺陷，還能檢測出表面缺陷的位置。本研究可以為工業(yè)中換向器零部件的制造和應用進行實時在線監(jiān)測，及時發(fā)現(xiàn)換向器表面缺陷，提高產(chǎn)品的可靠性和安全性。在后續(xù)研究中，可以對所采用的方法繼續(xù)優(yōu)化，以提高換向器表面缺陷檢測算法的精度和效率。