改進YOLOv5s的鋼材表面缺陷檢測

谷長江 高法欽

摘 要：缺陷檢測是生產中重要的環(huán)節(jié)，基于鋼板表面缺陷特征不明顯和難以提取導致的檢測精度不足問題，文章在YOLOv5s檢測網絡的基礎上進行改進，首先基于DO-Conv過參數化模塊改進網絡特征提取模塊，然后使用ULSAM注意力機制改進網絡的頸部（Neck），提出改進的YOLOv5s缺陷檢測網絡?；贜EU-DET數據集的實驗結果表明，改進的YOLOv5s缺陷檢測網絡檢測平均準確率達76.6%，較YOLOv5s和YOLOv4分別提升了7.8%和6.3%，有效提高了鋼材表面缺陷檢測精度。

關鍵詞：YOLOv5s;缺陷檢測;注意力機制;過參數化

中圖分類號：TP399 文獻標志碼：A

0 引言（Introduction）

鋼材作為國民生產中重要的材料，在其生產、加工及運輸過程中不可避免地有缺陷產生，其中尤為嚴重的就是生產過程中產生的缺陷，這類缺陷的影響較大，常常造成殘次品或無法滿足實際使用需要等。傳統(tǒng)的目標檢測主要是采用人工方式進行檢測，這種方法受主觀因素影響較大，因此研究基于深度學習的鋼材表面缺陷檢測算法具有重大意義。

隨著深度學習在圖像領域的不斷應用，缺陷檢測也逐漸成為其中一個應用分支[1]。傳統(tǒng)的機器圖像如無損檢測、微波檢測方法的應用存在對材料有限制等問題而無法廣泛應用[2-3]?；趫D像深度學習的缺陷檢測技術沒有目標材料限制要求且不需要直接接觸被檢測物體而逐漸被應用于更多領域的材料缺陷檢測任務中。

研究者們在鋼材表面缺陷檢測領域已進行了大量研究。2017年，邢健夫[4]使用AlexNet構建了一套對鋼材缺陷進行分類的網絡，并使用數據增強技術對數據集進行擴充，最終提高了缺陷分類的準確性。2020年，徐鏹等[5]在YOLOv3網絡的基礎上進行改進，采用MobileNet模塊提升了帶鋼表面缺陷的檢測速度。

然而，對于鋼材表面缺陷檢測任務，上述研究仍存在很多問題，例如對小目標不敏感、缺陷檢測的精度依舊有待提高等。針對小目標檢測問題，本文通過使用ULSAM 注意力機制，加強了上下文特征信息的融合和對小目標的特征提取能力。針對缺陷檢測精度不高的現象，本文提出基于DO-Conv的特征提取模塊，利用過參數化帶來的強大特征提取能力提升模型的性能[6]。并通過實驗證明，本文所提方法有效提升了鋼材表面缺陷檢測精度。

1 YOLOv5s算法及其改進（YOLOv5s algorithmand its improvements）

1.1 YOLOv5s網絡結構

YOLOv5是繼YOLOv4之后提出的YOLO系列的又一名新成員，它的特征提取網絡是基于跨階段的局部網絡架構的暗網（CSPDarknet）[7]。CSPDarknet擁有較高的計算效率，同時YOLOv5系列為了面向不同的檢測任務，提出了如YOLOv5-t、YOLOv5-s、YOLOv5-m、YOLOv5-l等多個不同版本，這使得YOLOv5系列比YOLOv4系列擁有更廣的適用領域[8]。其中應用最多的就是YOLOv5s網絡，它在網絡復雜性與網絡精度方面取得了良好的協(xié)調。因此，本文針對YOLOv5s網絡進行研究。

圖1是YOLOv5s網絡的結構圖。YOLOv5s網絡分為Backbone特征提取網絡、neck上下文特征融合網絡及Head預測網絡三個部分。其中，SPPF結構使用集連方法構建模塊，這在很大程度上擴大了模塊的感受野。

1.2 YOLOv5s網絡檢測原理

YOLOv5s是一種基于深度學習的目標檢測模型，它使用卷積神經網絡實現對圖像中物體的檢測。YOLOv5s采用了單階段目標檢測的方法，該方法可以在單次推理中完成目標檢測、定位和分類任務。

在YOLOv5s中，網絡使用多個卷積層提取圖像特征。Neck部分完整對Backbone部分提取到的特征進行進一步融合，由此得到更豐富的目標特征，以便實現對目標的預測。Neck網絡部分采用的是特征金字塔+路徑聚合（FPN+PAN）結構。LIN等[9]提出著名的特征金字塔網絡（Feature PyramidNetworks，FPN），目的是對網絡內部不同深度的特征信息進行融合。Mosaic數據增強技術是在YOLOv4網絡的基礎上提出的，經實驗證明，Mosaic能有效緩解特征不明顯的現象，因此YOLOv5s中也使用了這種方法[10]。

首先，網絡使用一組卷積層提取圖像特征。其次，網絡使用類似于FPN的結構生成多個分辨率的特征圖。這些特征圖可以用來預測目標的位置和類別。最后，YOLOv5s使用了一種稱為非極大值抑制（Non-Maximum Suppression）的方法移除重疊的檢測框，并輸出最終的檢測結果。

YOLOv5s的損失函數如公式（1）：

其中，α、β、γ 是協(xié)調三個損失的超參數，Lconf 表示該檢測點是否存在目標的置信度損失，Lobj 表示目標分類的損失，Lbbox 表示目標真實框與預測框之間偏離導致的損失。

1.3 YOLOv5s的改進

1.3.1 基于DO-Conv改進YOLOv5s

DO-Conv是一種過參數化（Over-Parameter）方法[11]，它的思想是通過將一次卷積分離成兩個可學習的訓練步驟，最終在推理時將這兩個步驟結合成一個卷積操作，它包含一個深度卷積操作和一個普通的矩陣乘法即線形層。其中，深度卷積公式如下：

通過一次深度卷積可以讓原有尺度為Cin×（M ×N ）的輸入特征轉換為尺度為Cin×D 的輸入特征，對于h×w 大小的特征圖而言，D 指的是h×w 個空間點位，M ×N 指的是滑動窗口時卷積核W 的個數，Cin 表示輸入特征的尺度為C。

DO-Conv的具體流程圖如圖2所示，其中W 表示卷積權重，I 表示輸入特征，P 表示卷積參數，O 表示輸出特征，o為公式（2）表示的運算操作，*表示普通卷積操作。圖2是DOConv推理時的流程，可以看出，輸入特征相當于進行了兩次卷積，根據DO-Conv研究推理得出，圖2中的計算流程等價于圖3所示的流程。

從圖3中可以看出，DO-Conv采用了類似Inception的思想，但不同的是DO-Conv采用深度方向的堆疊方法。

1.3.2 ULSAM

ULSAM（超輕量級子空間注意力模塊），是一種用于緊湊型CNN的新型注意力模塊。ULSAM可以為每個特征圖子空間學習不同的注意力圖，減少緊湊型CNN的特征圖中的空間和通道冗余。同時，為每個子空間學習不同的注意力圖，可以實現多尺度的特征表示，特別是對于細粒度的圖像分類任務。ULSAM是一個能夠高效地學習特征圖子空間的模塊，它是基于跨通道相互依賴性的注意力模塊構建的。

ULSAM計算流程圖如圖4所示，DW 表示分組卷積，PW表示點積，1×1表示卷積核大小，Softmax是激活函數。

為了增強網絡對特征的識別能力，本文在將特征送入預測網絡之前，使其通過一個ULSAM模塊，以更好地提取特征。改進后的網絡結構圖如圖5所示。

2 實驗與分析（Experiment and analysis）

2.1 實驗環(huán)境

為了驗證本研究改動對小目標缺陷件檢測的有效性和先進性，在CPU為RX3600，GPU為Ge Force RTX3060，開發(fā)語言為Python，深度學習框架為pytorch的環(huán)境下進行實驗。

2.2 數據集簡介

數據集來源于東北大學的NEU-DET鋼材表面缺陷數據集[12]。圖像類別包括裂紋（CR，Crazing）、夾雜（IN，Inclusion）、斑塊（PA，Patches）、麻點（PS，Pitted_Surface）、壓入氧化鐵皮（RS，Rolled-in_Scale）及劃痕（SC，Scratches）。每種類型的缺陷圖片包含300幅尺寸為200×200的圖像，共計1 800張。使用xml格式定位缺陷位置并對其進行分類。數據集按7∶2∶1的比例隨機分為訓練集、驗證集和測試集。

2.3 模型訓練

本文提出的改進YOLOv5s算法的初始設置情況如下：初始學習率為0.01，訓練300個epoch，若訓練結束驗證集損失未穩(wěn)定，則相應增加epoch 值，如果訓練長時間不收斂，超過50個epoch，則提前結束。模型訓練目標的類別置信度閾值是0.5，DIoU 閾值是0.45。當兩個預測框之間的DIoU 值超過了設置閾值時，則刪除該預測框。將輸入圖像進行分類處理后，輸出結果作為最終結果。

評價指標主要分為模型指標和精度指標兩大類。模型指標為模型的參數量大小Params，模型推理時的浮點數GFLOPs。精度指標采用精確率（Precision，P）、召回率（Recall，R）和平均準確率（Mean Average Precision，MAP）三項作為網絡模型的性能指標。P、R、MAP 和AP 公式如下：

其中，TP 為正確預測的正例;FP 為錯誤預測的負例;FN 為錯誤預測的正例;n 為類別數;AP 為每種檢測類型的準確性。

2.4 結果與分析

為了驗證本文方法的優(yōu)越性，首先將其與主流算法進行了性能比較，然后通過消融實驗驗證了改進YOLOv5s算法的有效性。

2.4.1 算法的對比實驗

改進YOLOv5s與YOLOv3、YOLOv4和YOLOv5s三種常用算法的評價指標見表1[13-16]。下述算法的GFLOPs 是在輸入圖像大小為640×640時獲得的。

上述改進模型的Params 和GFLOPs 是在推理時獲得的。所有模型均是在初始學習率為0.01、IoU 閾值為0.5的條件下計算，訓練結束時模型損失均已收斂。由表1中的結果可知：本文提出的改進YOLOv5s算法以76.6%的平均準確率、76.2%的精確率、70.3%的召回率排第一，其綜合性能優(yōu)于其他幾種算法。

2.4.2 消融實驗

本文設立3組不同條件的實驗，未改動的YOLOv5s、僅添加DO-Conv的YOLOv5s，以及添加了ULSAM注意力機制與DO-Conv的YOLOv5s（本文改進算法），通過比較3組實驗的MAP 驗證本文所提算法的有效性。這3組實驗的MAP 見表2。

由表2可知，改動后算法的檢測精度得到了大幅提升，通過使用注意力機制融合特征以及通過DO-Conv增強特征提取能力，可以有效提升模型的精度。

3 結論（Conclusion）

本文提出的基于YOLOv5s的鋼板缺陷檢測方法通過DO-Conv增強特征提取能力，引入ULSAM 模塊提升了算法對NEU-DET鋼板缺陷識別的精度。針對鋼材表面缺陷檢測問題，本文對YOLOv5s算法進行改進：引入DO-Conv模塊，進一步增強模型對特征的提取能力;引入ULSAM 注意力機制，增強特征融合能力，更好地提取目標特征。實驗結果驗證了本文提出的新算法的有效性，研究成果為鋼材表面缺陷檢測提供了一種算法基礎。接下來，將在提升模型檢測速度及檢測精度方面做進一步研究。

參考文獻（References）

[1] 袁洪強，杜國鋒，余澤禹，等. 基于輕量神經網絡的鋼材表面缺陷快速識別[J]. 科學技術與工程，2021，21（34）：14651-14656.

[2] 李翰超，古陽，于亞婷. 基于渦流無損檢測技術的金屬表面缺陷三維模擬分析[J]. 電子科技大學學報，2020，49（6）：942-948.

[3] GAO B，ZHANG H，WOO W L，et al. Smooth nonnegativematrix factorization for defect detection using microwavenondestructive testing and evaluation[J]. IEEETransactions on Instrumentation and Measurement，2014，63（4）：923-934.

[4] 邢健夫. 基于卷積神經網絡的熱軋帶鋼表面缺陷識別及系統(tǒng)開發(fā)[D]. 沈陽：東北大學，2017.

[5] 徐鏹，朱洪錦，范洪輝，等. 改進的YOLOv3網絡在鋼板表面缺陷檢測研究[J]. 計算機工程與應用，2020，56（16）：265-272.

[6] YE H，ZHU X D，LIU C Y，et al. Furniture image classificationbased on depthwise group over-parameterized convolution [J]. Electronics，2022，11（23）：3889.

[7] WANG X，GAO J S，HOU B J，et al. A lightweight modifiedYOLOX network using coordinate attention mechanismfor PCB surface defect detection[J]. IEEE SensorsJournal，2022，22（21）：20910-20920.

[8] 楊暢暢，李慧玲，潘廣通. 基于改進YOLOv4算法的鋁型材表面缺陷檢測[J]. 組合機床與自動化加工技術，2022（11）：66-69.

[9] LIN T Y，DOLLáR P，GIRSHICK R，et al. Feature pyramidnetworks for object detection[C]∥IEEE. Proceedingsof the IEEE Conference on Computer Vision and PatternRecognition. New York：IEEE，2017：936-944.

[10] 顏學坤，楚建安. 基于YOLOv5改進算法的印花圖案疵點檢測[J]. 電子測量技術，2022，45（4）：59-65.

[11] PANDEY E，KUMAR S. Exploring the generalization capacityof over-parameterized networks[J]. InternationalJournal of Intelligent Systems and Applications in Engineering，2023，11（1s）：97-112.

[12] HE Y，SONG K C，MENG Q G，et al. An end-to-end steelsurface defect detection approach via fusing multiple hierarchicalfeatures[J]. IEEE Transactions on Instrumentationand Measurement，2020，69（4）：1493-1504.

[13] 程婧怡，段先華，朱偉. 改進YOLOv3的金屬表面缺陷檢測研究[J]. 計算機工程與應用，2021，57（19）：252-258.

[14] 方葉祥，甘平，陳俐. 金屬表面缺陷檢測的改進YOLOv3算法研究[J]. 機械科學與技術，2020，39（9）：1390-1394.

[15] 庾彩紅，黃海松，曾鋒，等. 基于YOLO_v4的空心杯電樞表面缺陷實時檢測[J]. 組合機床與自動化加工技術，2021（6）：59-62，66.

[16] CHEN S H，LAI Y W，KUO C L，et al. A surface defect detectionsystem for golden diamond pineapple based on CycleGANand YOLOv4[J]. Journal of King Saud University-Computerand Information Sciences，2022，34（10）：8041-8053.

作者簡介：

谷長江（1997-），男，碩士生。研究領域：目標檢測，缺陷檢測，圖像處理。本文通信作者。

高法欽（1974-），男，博士，副教授。研究領域：機器學習與智能感知，機器視覺定位與產品外觀檢測重構研究。