改進PSO-YOLOv5的金屬表面缺陷檢測方法

蔡聰藝

（漳州職業(yè)技術學院，福建 漳州 363000）

0 引言

金屬作為工業(yè)產品的重要原材料之一，在加工過程中不可避免地會出現(xiàn)裂紋、劃痕等損傷，金屬表面的損傷會帶來產品的質量和美觀缺陷，嚴重的會導致企業(yè)的品牌質量下降、成本增大等問題［1-2］。傳統(tǒng)的人工檢測主觀因素影響較大，存在漏檢、成本高以及效率低等突出問題。隨著機器視覺技術和圖像處理技術的發(fā)展，基于計算機圖像分析處理的金屬表面缺陷自動檢測系統(tǒng)已經得到了廣泛應用，該系統(tǒng)能夠有效地提高檢測的精度和速度。

早期的金屬表面缺陷檢測主要分為傳統(tǒng)的圖像處理方法和基于人工提取特征的機器學習方法［3］，與傳統(tǒng)的人工檢測相比，機器視覺技術在一定程度上改善了人工檢測效率低、準確度差的缺陷。但是容易受到周圍環(huán)境的影響，因此難以大范圍應用。隨著計算機視覺技術的不斷發(fā)展，采用深度學習方法來檢測金屬表面缺陷受到了國內外學者的廣泛關注，文獻［4］提出了基于聚類的Faster R-CNN算法，利用K-MeansII聚類生成錨點方案，提高零件表面的檢測精度；文獻［5］利用YOLOv3檢測鋁型材表面缺陷，將原始圖像與預處理后的圖像融合，增強魯棒性；文獻［6］結合金字塔與殘差融合的方法對YOLOv3算法進行改進，提高了鋼材表面劃痕的檢測精度。基于YOLO系列的改進算法在數據處理和網絡篩選方面均具有較好的效果，可以通過增強原始數據抽取、對數據集進行聚類劃分、引入損失函數等方法來提高缺陷檢測的準確性。然而，在金屬表面缺陷檢測中，仍然存在缺陷尺度過小導致的檢測不靈敏、結果無效和漏檢等問題。

本文結合現(xiàn)有深度學習目標檢測的方法，在原有的YOLOv5網絡上結合了PSO算法優(yōu)化網絡的頸部部分，同時應用了自適應錨框計算并使用反向傳播神經網絡對圖像進行訓練，得到最終的深度卷積神經網絡，以期進一步提高小目標情況下的缺陷檢測精度。

1 YOLOv5介紹

1.1 基本原理

YOLOv5是YOLOv4的迭代版，是以Darknet-53為特征的網絡結構作為特征提取網絡，提高了檢測的精度、速度，目前普遍應用于視頻和實時目標等的檢測中［7］。與之前的YOLO模型相比，YOLOv5的模型所占內存大幅度減小，可以說YOLOv5以最小的網絡擁有了最快的速度和AP精度，圖1是YOLOv5的結構示意圖。

圖1 YOLOv5結構示意圖

從圖1可以看出，YOLOv5由輸入端、基準網絡端、Neck網絡、Head輸出端和代表輸入圖像的輸入端組成。輸入端階段通常包括圖像預處理階段，在此階段，輸入圖像被縮放到網絡的輸入端并歸一化。在網絡訓練階段，YOLOv5使用Mosaic數據提高了操作增強模型的訓練速度和網絡精度［8］。此外，對基準網絡部分進行改進，添加了基準網絡Focus結構和Neck網絡，使基準網絡增強了提取通用特征的特異性和魯棒性。

1.2 YOLOv5檢測原理

YOLOv5利用特征金字塔網絡（FPN）來提取多尺度特征圖層，有針對性地提高小目標的被檢測概率。YOLOv5將淺、深層特征相互融合，可以得到3個特征圖，3個特征圖均具有不同比例，可檢測3種尺度目標物，通過區(qū)分來提高檢測精度。利用3個比例尺的特征圖探測目標，每個比例尺產生3個Anchor Box，共9個Anchor Box。在預測過程中，通過PSO算法預測Anchor Box的尺寸，圖2是預測框示意圖。

圖2 預測框示意圖

如圖2所示，輸入圖像首先被劃分為S×S網格，每個網格的寬度、高度分別為cx、cy，相對于錨盒偏移量的網格輸出分別為tx、ty、tw、th，然后預測框坐標公式為：

其中：bx、by是預測框的原點坐標；bw、bh分別為預測框的寬度和高度；pw、ph分別是Anchor Box的寬和高。

在此基礎上，應用基于統(tǒng)計學習理論中最小二乘支持向量機（LS-SVM）算法對圖像進行分類［9］，通過加入激活函數Sigmoid的使用將預測值tx和ty映射到［0，1］范圍內，然后設置置信度閾值，篩選出不符合的預測框，最后用非極大值抑制方法去除冗余預測框［10］。

YOLOv5一般按三種不同尺度（32×32、16×16和8×8）對特征圖層進行劃分，此方法雖然可以一定程度提高多目標的檢測，但仍然對金屬可能出現(xiàn)的表面缺陷檢測不敏感，因此有必要對YOLOv5進行改進，來提高小缺陷目標檢測的精確性?；诖思夹g缺陷，本文提出了一種基于多尺度融合深度學習的改進算法來實現(xiàn)金屬零件表面缺陷的自動檢測［11］。

2 YOLOv5改進

2.1 網絡結構

針對網絡結構部分，基于傳統(tǒng)YOLOv5網絡結構，本文新增圖層以提高目標檢測能力。通過分析不同類型噪聲與原始圖像之間的差異，提出了基于深度學習框架下的去噪方法，并將其應用于增強現(xiàn)實系統(tǒng)，最后利用實驗數據驗證該方案的有效性及實用性。改進后的網絡模型如圖3所示，虛線框為新增尺度為104×104的特征圖層。

圖3 改進后的算法結構

在Darknet-53中，經過兩次向上采樣，將第二個殘差塊的淺層輸出融合網絡的深層輸出，然后通過卷積得到一個104×104的新特征圖層，縮小了原始圖像的尺寸，從而能得到更多的網格，使網絡具有更好的提取特征性能。

因為網格大小對目標物的尺寸具有敏感性，通過將淺層、深層特征相融合，創(chuàng)建有利于檢測小目標的特征層，提高模型檢測小目標的能力，提高模型整體精度。在網絡中，增加1個特征圖層使Anchor Box數目增加到12個，也提高了檢測密度。

最后利用上述算法來進行驗證，在多個真實數據集上分別實現(xiàn)了基于深度卷積神經網絡的多尺度、高分辨率遙感影像的道路識別和分類?？梢钥吹?，特征層數目的疊加可以增多劃分缺陷目標的尺寸層次，從而提高了網絡對多缺陷目標的綜合檢測能力。

2.2 基于PSO的YOLOv5改進算法

已有的缺陷檢測算法可以有效檢測缺陷，然而需要在多次訓練過程中不斷調節(jié)以達到最好的訓練效果。粒子群算法（Particle Swarm Optimization，PSO）是一種群智能算法，由于其收斂速度快、全局尋優(yōu)能力強等多方面的優(yōu)點受到了廣泛關注［12］。它通過迭代找到隨機粒子群的最優(yōu)解，每次迭代來跟蹤粒子的“極值”來更新位置和速度信息。粒子速度計算公式如下：

其中：i=1,2,…,N,N是群中粒子的總數，vi表示粒子的速度，xi是粒子的當前位置，c1、c2是學習因子，rand()是介于（0，1）之間的隨機數。

結合粒子群優(yōu)化算法和YOLOv5改進對金屬表面進行缺陷檢測，具體步驟如下：

（1）在YOLOv5算法中增加一個特征圖層，尺度為104×104，比原算法多一尺度，即形成一個四尺度的預測模型，有效解決了小目標檢測的敏感性問題，進一步提升表面缺陷檢測精度和準確性。

（2）引入DIoU損失函數，使邊界框的距離測量和交叉問題得到處理，從而使模型的運動軌跡更加精確，模型收斂速度加快。

（3）利用PSO網絡對網絡的特征提取模塊進行優(yōu)化，進一步提高特征提取的精度，獲取最優(yōu)的特征類型，減少網絡損失，從而提升網絡的檢測精度。

3 實驗結果

3.1 實驗平臺搭建

實驗運行環(huán)境如表1所示。

表1 實驗硬件描述

3.2 數據處理

數據集來源：漳州職業(yè)技術學院自行收集整理的NEU-DET鋼材表面缺陷數據集［13］。

圖像類別：包含6種類型的缺陷，即裂紋、雜質、斑塊、Pitted_surface、Rolled-in_scale和劃痕。

圖像數量：每種類型的缺陷圖片包含300幅尺寸為1800×416的圖像，共計1800張。

圖像增強技術：提取的圖像進行90度和180度旋轉，調整圖像的飽和度和對比度。

缺陷定位：使用xml格式定位缺陷位置并對其進行分類。

圖像預處理：包括灰度化處理和二值化處理等一系列操作。

數據集劃分：數據集按8:2的比例隨機分為訓練集和測試集，即1440張圖像劃分訓練集和360張圖像劃分測試集。

3.3 模型訓練

根據本文提出的改進PSO-YOLOv5算法，該算法的初始設置情況為：初始學習率值為1/1000，為防止數據出現(xiàn)過擬合，設置權重衰減系數為5倍的初始學習率值［15］，當訓練迭代次數達到960次時，學習率相應地減少10倍。實驗前期共設置了2批次尺寸，batch_size設置為4。模型訓練目標的類別置信度閾值是0.5，DIoU閾值是0.45。當兩個預測框之間的DIoU值超過了設置閾值時，則刪除該預測框。最后將輸入圖像進行分類處理后，輸出結果作為最終結果。

評價指標主要分為速度指標和精度指標兩大類。速度指標為同一運行條件下每秒處理的圖片數量或單張圖片處理所需時間。精度指標采用精確率（Precision，P）、召回率（Recall，R）和平均準確率（Mean Average Precision，MAP）三項作為網絡模型的性能指標。P、R和MAP公式如下：

式中：TP—正確預測的正例；FP—錯誤預測的負例；FN—錯誤預測的正例；N—檢測類別數的數量；AP—每種檢測類型的準確性。

3.4 結果與分析

為了驗證本文方法的優(yōu)越性，首先將其與主流算法進行了性能比較，然后通過消融實驗驗證了改進PSO-YOLOv5算法的有效性。

（1）與當前主流算法的對比實驗

改進PSO-YOLOv5與Faster R-CNN等4種算法的評價指標詳見表2。

表2 算法的計算結果對比

所有模型均是在初始學習率0.001，DIoU閾值為0.5的條件下計算，共訓練了1080個epoch。由表2計算結果可知：本文提出的改進PSO-YOLOv5算法以67.76%的平均準確率、68.56%的精確率、75.89%的召回率均排各項第一，證明改進的PSOYOLOv5算法在金屬缺陷檢測時，在相同條件下能夠獲得更高的準確率、更好的魯棒性以及更快的收斂速度，其綜合性能優(yōu)于其他幾種算法。在運行效率方面，本文方法的FPS為31.6frames/s，快于Faster RCNN的13frames/s和SSD的29.7frames/s。雖 與YOLOv2和YOLOv3的檢測速率相比稍低，但由于改進的大規(guī)模輸出網絡結構、DIoU損失和PSO網絡的改進，檢測精度最高。

綜上，相較于目前主流的金屬表面缺陷檢測算法，如Faster R-CNN、YOLOv3等，本文所提出的改進PSO-YOLOv5算法具有最高的檢測精度，同時檢測速度也適中。結合檢測精度與檢測速度這兩個指標，本文提出的PSO-YOLOv5整體效果最優(yōu)。

（2）消融實驗

為了進一步驗證本文提出的改進算法的有效性，將改進的PSO-YOLOv5金屬缺陷檢測方法與原始YOLOv5算法進行性能對比，實驗結果如圖4所示。

圖4 PSO-YOLOv5和YOLOv5檢測結果對比

對比檢測所有的小缺陷目標，改進的PSO-YOLOv5比YOLOv5算法在六項表面缺陷類型的檢測上均具有較好的檢測精度。根據圖4可知，在裂紋、雜質等6項金屬表面缺陷類型中，PSO-YOLOv5比YOLOv5的檢測精度高。其中氧化鐵皮壓入和裂紋類型檢測精度提高較多，均超過14%，且氧化鐵皮壓入精度提高值最大，達15.24%；斑塊類缺陷檢測精度提高值最小，為6.88%。改進的PSO-YOLOv5算法的平均檢測精度為79.97%，YOLOv5算法的平均檢測精度為69.60%，PSO-YOLOv5較其提高了10.37%，表明改進PSO-YOLOv5算法可以顯著提高金屬表面缺陷檢測的精度。

4 結語

本文算法融合增加了特征圖層的尺度，引入DIoU損失函數和PSO算法，最后通過加入卷積層增強圖像細節(jié)處理得到一種新的基于YOLOv5與CNN結合的金屬表面缺陷檢測方法。實驗結果表明，本算法在平均準確率、精確率、召回率方面均比目前流行的如YOLOv5、Faster R-CNN等算法具有較大的優(yōu)越性，極大提高了金屬表面缺陷的檢測精度和準確性，滿足了金屬缺陷檢測精度的要求。