杜孟新，畢 玉，杜鵬昊

（1.機(jī)械工業(yè)儀器儀表綜合技術(shù)經(jīng)濟(jì)研究所，北京 100055；2.北京工商大學(xué)，北京 100048）

0 引言

我國正由制造大國向制造強(qiáng)國轉(zhuǎn)變，人工智能在企業(yè)生產(chǎn)過程的應(yīng)用不斷改造和提升傳統(tǒng)制造能力。鋼鐵企業(yè)生產(chǎn)現(xiàn)場的產(chǎn)品檢測環(huán)節(jié)，多為人工視檢方式，對于微小缺陷的分析判斷與工人能力素質(zhì)有直接關(guān)系，會發(fā)生一些人為失誤引起的產(chǎn)品漏檢或誤判等問題。隨著帶鋼生產(chǎn)過程產(chǎn)品表面缺陷自動(dòng)檢測需求不斷提高，基于神經(jīng)網(wǎng)絡(luò)的人工智能視覺檢測算法具有快速高精度地完成缺陷圖像自動(dòng)檢測任務(wù)的能力，被越來越多地應(yīng)用于帶鋼生產(chǎn)檢測。其中，基于模糊理論的自適應(yīng)圖像分析方法、基于小波變換的邊緣和紋理特征識別算法、基于專家經(jīng)驗(yàn)和決策樹的圖像分類系統(tǒng)等在早期的帶鋼缺陷檢測中應(yīng)用較多，識別精度高，但耗時(shí)較多，且對新缺陷類型的學(xué)習(xí)能力不高；隨著機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)算法發(fā)展，基于LVQ 神經(jīng)網(wǎng)絡(luò)的缺陷識別算法、自適應(yīng)神經(jīng)模糊推理系統(tǒng)、決策理論和神經(jīng)網(wǎng)絡(luò)的最優(yōu)貝葉斯分類器、基于LQV、RBF 和支持向量機(jī)作為基分類器的多分類器集成方法、DenseNet 深度卷積神經(jīng)網(wǎng)絡(luò)、深度Gabor 卷積神經(jīng)網(wǎng)絡(luò)等人工智能算法在帶鋼表面缺陷圖像分類中表現(xiàn)出良好的性能，對未知缺陷的學(xué)習(xí)和分類能力較高。卷積神經(jīng)網(wǎng)絡(luò)近年來發(fā)展迅速，識別速度更快、識別率更準(zhǔn)確的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)不斷涌現(xiàn)，本文根據(jù)帶鋼表面缺陷圖像特點(diǎn)，對基于卷積神經(jīng)網(wǎng)絡(luò)經(jīng)典模型進(jìn)行研究，探索適用于帶鋼實(shí)際生產(chǎn)檢測的算法模型。

1 帶鋼表面缺陷圖像檢測算法設(shè)計(jì)

帶鋼表面缺陷類型眾多，且同一類型缺陷具有多樣性，圖像特征不明顯，而卷積神經(jīng)網(wǎng)絡(luò)算法在解決此類問題上表現(xiàn)出良好的性能。本文選擇效率和精度較高的特征學(xué)習(xí)圖像分類算法進(jìn)行測試對比，研究適合于帶鋼表面缺陷圖像的檢測模型。當(dāng)前卷積神經(jīng)網(wǎng)絡(luò)算法根據(jù)其目標(biāo)定位方式主要分為基于候選區(qū)、無候選區(qū)兩類算法，本文分別采用基于候選區(qū)的two-stage 算法Faster-RCNN 模型、基于無候選區(qū)的one-stage 算法YOLOv4 模型、anchor-free 算法CenterNet 模型，研究3 種模型在帶鋼表面缺陷圖像識別中的性能。

Faster-RCNN是基于候選區(qū)的神經(jīng)網(wǎng)絡(luò)模型，在RCNN、Fast-CNN 網(wǎng)絡(luò)的基礎(chǔ)上，采用RPN 取代selective search 候選區(qū)生成方式，提高候選特征圖的生成效率，大幅提升圖像檢測的速度和準(zhǔn)確率。YOLO是典型的無候選區(qū)one-stage 目標(biāo)檢測算法，由于其較快的推理速度和較高的檢測精度，YOLO 系列的目標(biāo)檢測算法在工業(yè)界應(yīng)用比較普遍，YOLOv4在YOLOv3的基礎(chǔ)上在各階段加入特殊函數(shù)進(jìn)一步提高算法的速度和精度。CenterNet根據(jù)目標(biāo)中心點(diǎn)來檢測目標(biāo)，通過設(shè)置中心點(diǎn)位置的回歸屬性得到檢測目標(biāo)的寬高信息，網(wǎng)絡(luò)模型訓(xùn)練是單個(gè)前向傳播網(wǎng)絡(luò)，不存在局部最優(yōu)問題，不需進(jìn)行NMS 后處理，網(wǎng)絡(luò)處理速度快。

表1 算法對比

1.1 Faster-RCNN

Faster-RCNN 網(wǎng)絡(luò)主要分為4 層：卷積層、RPN層、ROI 層以及全連接層。卷積層采用經(jīng)典的ResNet50 對原始圖像直接卷積提取特征圖像feature maps；RPN 層 在feature map 上 逐 像 素 按 照（［1∶2］，［1∶1］，［2∶1］）3 種比例生成9 k 個(gè)定位框anchors，并通過softmax 函數(shù)對定位框做二分類，判斷其是前景或背景，同時(shí)使用bounding box 對定位框位置進(jìn)行回歸，將概率最高的前150 個(gè)前景和背景定位框作為proposal 輸入到ROI 層；ROI 層將RPN 層proposal 在feature maps 上進(jìn)行映射，并通過ROI 池化方式突出圖像特征，生成proposal feature maps；全連接層采用softmax 函數(shù)判斷proposal 的類型，以此確定檢測目標(biāo)所屬類型，并再次采用bounding box regression 獲得檢測框的精確位置。

1.2 YOLOv4

YOLOv4 模型分為4 層：輸入層、卷積層、Neck網(wǎng)絡(luò)、輸出層。輸入層進(jìn)行圖像縮放及歸一化等預(yù)處理操作，訓(xùn)練階段使用Mosaic 數(shù)據(jù)增強(qiáng)方式隨機(jī)拼接4 張訓(xùn)練圖像合成一張圖像，增加訓(xùn)練圖像出現(xiàn)次數(shù)并降低訓(xùn)練集圖像數(shù)量，提高模型的訓(xùn)練速度及精度；卷積層YOLOv4 采用CSPDarknet53 作為基準(zhǔn)網(wǎng)絡(luò)用來提取通用特征，利用Mish 代替ReLu作為激活函數(shù)提高檢測準(zhǔn)確度，并增加Dropblock進(jìn)一步提升網(wǎng)絡(luò)的泛化能力；Neck 網(wǎng)絡(luò)引入SPP 模塊融合不同尺寸的特征圖，并利用FPN 特征金字塔提升網(wǎng)絡(luò)的特征提取能力；輸出層采用CIOU_Loss和DIOU_Loss 作為損失函數(shù)進(jìn)行目標(biāo)的分類及預(yù)測框位置的訓(xùn)練和迭代。

1.3 CenterNet

CenterNet 整體網(wǎng)絡(luò)結(jié)構(gòu)較為簡單，分為輸入層、基準(zhǔn)網(wǎng)絡(luò)層及預(yù)測模塊3 層。輸入層對圖像進(jìn)行調(diào)整，尺寸統(tǒng)一縮放到512×512 像素；基準(zhǔn)網(wǎng)絡(luò)層使用ResNet50 網(wǎng)絡(luò)，提取圖片特征feature maps，之后經(jīng)過3 次反卷積對特征圖像進(jìn)行上采樣；預(yù)測模塊包含3 個(gè)分支，其中，heatmap 用來預(yù)測目標(biāo)類別、offset 預(yù)測目標(biāo)中心點(diǎn)、box 預(yù)測目標(biāo)大小，將經(jīng)過上采樣的特征圖像分別輸入3 個(gè)分支，采用focal loss 作 為heatmap 損 失 函 數(shù)、L1Loss 作 為offset 和box 的損失函數(shù)，對模型進(jìn)行反饋迭代。

圖1 帶鋼表面典型缺陷圖像

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)

本實(shí)驗(yàn)采用東北大學(xué)帶鋼檢測數(shù)據(jù)庫提供的1 800 張缺陷圖像作為數(shù)據(jù)集，該數(shù)據(jù)集包含帶鋼表面6 種典型缺陷圖像，分別為：裂紋（crazing）、夾雜（inclusion）、斑塊（patches）、麻點(diǎn)（pitted-surface）、氧化鐵皮壓入（rolled-in-scale）和劃痕（scratches），每種缺陷圖像300 張，圖像尺寸為200×200 像素。實(shí)驗(yàn)中將1 800 張圖像隨機(jī)劃分為訓(xùn)練集和測試集，其中，訓(xùn)練集1 200 張圖，包含各類缺陷圖像每類200 張，測試集600 張圖，包含各類缺陷圖像每類100 張。

2.2 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)采用的硬件環(huán)境為GTX 3070 型號的GPU顯卡，軟件環(huán)境為torch 1.2.0，Python 3.6。

2.3 結(jié)果分析

通過對3 種模型的訓(xùn)練和測試，綜合實(shí)驗(yàn)結(jié)果如下：

表2 3 種模型對帶鋼表面缺陷的平均識別精度

3 種模型對于帶鋼表面6 種缺陷均表現(xiàn)出較高的識別精度，隨著預(yù)測圖像與實(shí)際圖像交并比IOU（即預(yù)測圖像與實(shí)際圖像重疊率）的提高，圖像識別的精度下降。當(dāng)IOU 為0.3 即重疊率設(shè)置為0.3 時(shí)，F(xiàn)aster-RCNN 的識別精度最高，當(dāng)IOU 為0.75 時(shí)，CenterNet 則表現(xiàn)出較好的識別精度。

對于帶鋼生產(chǎn)過程來說，產(chǎn)品表面一旦出現(xiàn)缺陷就需要對其進(jìn)行處理，對缺陷類型的識別率要求較高，而對缺陷目標(biāo)的定位精度要求并不高，可以將IOU 為0.5 時(shí)，3 種模型的識別精度作為模型選擇的依據(jù)，此時(shí)YOLOv4 表現(xiàn)出最高的檢測精度，因此，本文認(rèn)為YOLOv4 更為適合在帶鋼生產(chǎn)表面檢測中應(yīng)用。

從帶鋼表面6 種典型缺陷的識別結(jié)果可以看出，斑塊、劃痕、麻點(diǎn)、夾雜4 類缺陷圖像采用圖像識別算法自動(dòng)率均高于70%，在實(shí)際應(yīng)用中將取得較好的識別效果，而氧化鐵皮壓入、裂紋類的缺陷，由于其目標(biāo)與背景相似度較高且缺陷邊緣不清晰，在機(jī)器識別過程中效果較差。

表3 6 種缺陷在不同模型下的平均識別精度

綜上可見，YOLOv4、Faster-RCNN 算法對于斑塊、劃痕、麻點(diǎn)、夾雜等邊緣清晰且對比度較高的缺陷目標(biāo)識別精度高，在帶鋼產(chǎn)品檢測環(huán)節(jié)具有較高的實(shí)際應(yīng)用價(jià)值。

3 結(jié)論

本文從缺陷圖像的識別精度上對3 種算法進(jìn)行對比，從工業(yè)應(yīng)用的需求出發(fā)，帶鋼生產(chǎn)檢測環(huán)節(jié)需要較高的識別精度和較快的識別速度，因此，算法的檢測速度同樣是重要的考核指標(biāo)。同時(shí)機(jī)器學(xué)習(xí)算法在不斷發(fā)展，YOLO 系列算法也已經(jīng)出現(xiàn)了YOLOv5、YOLOx 等更新的版本，其在帶鋼表面缺陷圖像的檢測也許會有更為優(yōu)秀的表現(xiàn)。