基于智能視覺的機械零件圖像分割技術(shù)

洪慶，宋喬，楊晨濤，張培，常連立

(1. 南京理工大學 機械工程學院，江蘇 南京 210094； 2. 北京航天新風機械設(shè)備有限責任公司，北京 100854)

0 引言

隨著計算機技術(shù)的飛速發(fā)展，圖像分析處理已成為視覺的重要研究方向，在制造裝配領(lǐng)域有著廣闊的應用前景。

傳統(tǒng)視覺算法對于特征十分敏感，而實際的工作環(huán)境復雜，光線條件惡劣，傳統(tǒng)算法無法滿足實際生產(chǎn)需要。基于深度學習的圖像處理算法相對于傳統(tǒng)算法具有更高的準確性和穩(wěn)定性，在制造業(yè)應用更加廣泛。蘇朝陽等基于機器視覺，利用圖像處理算法組件分別配置圖像處理鏈，實現(xiàn)了對電容器外觀底部露白缺陷和引腳變形缺陷的檢測[1]。周振等針對圖像目標受環(huán)境影響難識別目標的問題，基于深度圖像設(shè)計并實現(xiàn)了一種輪廓提取及特征識別的方法[2]。魏中雨等針對制造中零件識別定位以及裝配檢測效率低、準確度差等問題，提出了一種基于深度神經(jīng)網(wǎng)絡(luò)的零件裝配檢測方法[3]。張輝等提出一種基于機械臂和機器視覺的表面質(zhì)量檢測方法[4]。

在現(xiàn)有技術(shù)條件下，預設(shè)特征、姿勢再進行工程學分析的方法越來越難以滿足現(xiàn)代制造的裝配質(zhì)量及效率要求。如何實現(xiàn)裝配實時工程學分析已成為一個迫切需要解決的問題[5]。為提高實時裝配分析的可行性，本文將針對其中零件圖像分割技術(shù)展開研究。

1 技術(shù)路線

本文實現(xiàn)機械零件圖像分割的技術(shù)路線如下：

1) 根據(jù)制造過程中零件準確率及速度要求，選取Deeplabv3[6-7]算法模型作為本文機械零件圖像分割的基礎(chǔ)算法。

2) 機械零件數(shù)據(jù)集的準備。收集大量機械零件相關(guān)圖片，并利用標注工具生成圖像掩膜標簽，將數(shù)據(jù)分為訓練集、驗證集、測試集。

3) 基于Deeplabv3算法模型，加入自定義Encoder-Decoder特征提取模塊，構(gòu)建改進后的Deeplabv3算法，并命名為Deeplabv3-d。

4) 基于自建機械零件數(shù)據(jù)集，完成Deeplabv3-d的訓練與測試，并根據(jù)測試結(jié)果評估算法的實用性。

5) 基于Deeplabv3-d算法，更換不同骨干網(wǎng)絡(luò)(mobileNet、Resnet-101)，在自建機械零件數(shù)據(jù)集上進行性能對比測試。

2 Deeplabv3-d算法原理

2.1 空洞卷積(膨脹卷積)

圖像分割過程中，初始圖像先用卷積網(wǎng)絡(luò)層進行特征卷積提取，生成卷積后的特征圖，再由池化層進行最大或平均特征的提取，之后圖像尺寸變?yōu)樵叽绲囊话?，再?jīng)過反卷積網(wǎng)絡(luò)層將尺寸恢復至原始尺寸，保證提取特征、擴大感受野的同時，還原得到的預測像素信息。

因此圖像分割模塊主要包括兩個部分：1) 通過卷積池化層(即下采樣層)提取圖像特征并保證較大的感受野信息；2) 通過反卷積層(即上采樣層)擴大圖像尺寸并還原需要得到的預測信息。在下采樣—上采樣過程中，很容易出現(xiàn)數(shù)據(jù)信息丟失、空間結(jié)構(gòu)紊亂、層級結(jié)構(gòu)信息丟失等現(xiàn)象，例如小目標檢測時無法重建完整信息。受制于該問題，圖像分割算法長期處在瓶頸期，而空洞卷積[8]的出現(xiàn)使該問題得到了較好的解決。

圖1是常規(guī)卷積和空洞卷積的卷積操作圖[8]，通過對比可知，相比于常規(guī)卷積的一次常規(guī)感受野卷積，空洞卷積對更大的感受野進行卷積操作，使卷積后的每一個特征點都涵蓋了更廣的信息。

圖1 卷積操作圖

圖1(b)為空洞=2時的空洞卷積操作圖，一般性的卷積映射公式見式(1)：

(1)

其中：r表示卷積步幅即空洞，標準卷積是比率r=1的一種特殊情況。通過更改步幅值(空洞)可自適應地修改卷積層提取特征的感受野。

2.2 深度可分離卷積

深度可分離卷積[9]思想是將標準卷積層分解為深度卷積層、逐點卷積層(即1×1卷積)，在不增加網(wǎng)絡(luò)計算復雜度的基礎(chǔ)上，大大增加了網(wǎng)絡(luò)深度以及網(wǎng)絡(luò)泛化、擬合能力。具體而言，深度卷積針對每個輸入通道獨立執(zhí)行空間卷積，而點向卷積用于組合深度卷積的輸出[10]。這是一種輕量級的卷積方式，將傳統(tǒng)的多通道卷積模型分解為逐通道卷積+逐點卷積，相比起常規(guī)的卷積，其運算成本和計算量都大為降低，實現(xiàn)算法復雜度優(yōu)化，大大加快了訓練速度。

2.3 Deeplabv3-d

Encoder-Decoder[10]特征提取模塊，在深度神經(jīng)網(wǎng)絡(luò)中常用于圖像分割任務。普通卷積網(wǎng)絡(luò)層能夠基于卷積、池化方式編碼多維度信息，通過使用不同尺度、步長的卷積核實現(xiàn)多種速率或多個感受野的變換，并利用最大池化操作來探查傳入特征[7]，而Encoder-Decoder模塊能夠通過特征空間的反向傳播來獲取更為準確的對象邊界。

為優(yōu)化Deeplabv3圖像分割性能，在原本v3模型中添加Encoder-Decoder特征提取模塊，減少其數(shù)據(jù)信息丟失、空間結(jié)構(gòu)紊亂、層級結(jié)構(gòu)信息丟失的可能性，改善其對象邊界分割效果。再將深度可分離卷積理論應用于Encoder-Decoder模塊，從而在不增加計算復雜度的基礎(chǔ)上構(gòu)建出更深網(wǎng)絡(luò)的Encoder-Decoder模塊，使得Deeplabv3算法網(wǎng)絡(luò)泛化擬合能力大大增加，本文將改進后的Deeplabv3命名為Deeplabv3-d。

改進的Deeplabv3，使用了空間金字塔池化和Encoder-Decoder結(jié)構(gòu)。

本文提出的模型Deeplabv3-d包含來自編碼器模塊的豐富語義信息，而對象邊界提取由簡單而有效的Decoder恢復模塊進行，Encoder模塊允許通過應用空洞卷積以任意分辨率提取卷積特征。在最后特征圖中的編碼豐富了語義信息，而對于網(wǎng)絡(luò)中的卷積池化操作引起的對象邊界小部分信息丟失問題，可以通過應用空洞卷積提取更密集的特征圖來減弱。

因考慮到有限的GPU內(nèi)存，提取出比輸入小8倍甚至4倍的輸出特征圖在計算上并不可取。以Resnet101[11]為例，當利用空洞卷積提取比輸入分辨率小16倍的輸出特征時，必須對其特征進行擴展，而要求輸出特征比輸入小8倍，則卷積塊會增加大量的網(wǎng)絡(luò)參數(shù)。

Encode-Decoder模塊有助于在Encoder通道中進行更快的計算，并逐漸在Decoder通道中恢復清晰的對象邊界。為結(jié)合兩種方法各自的優(yōu)點，本文通過合并多維度上下網(wǎng)絡(luò)層特征信息來豐富Encoder-Decoder網(wǎng)絡(luò)模塊，具體結(jié)構(gòu)如圖2所示。

圖2 自定義Encoder-Decoder模塊

圖2即為完整的Deeplabv3-d結(jié)構(gòu)。Deeplabv3加入自定義Encoder-Decoder模塊后，將采用mobileNet與Resnet101進行擬合效果比對。

3 Deeplabv3-d訓練及分析

為讓模型系統(tǒng)更快擬合而自建機械零件數(shù)據(jù)集，使用批量梯度下降法，將數(shù)據(jù)集分為100個批次，設(shè)置周期為50，迭代次數(shù)為600，進行訓練迭代。

訓練過程損失值變化如圖3所示，可發(fā)現(xiàn)模型訓練損失在第200次迭代后逐漸趨于平穩(wěn)，最終達到0.014 53。根據(jù)實際曲線波動情況得知，模型在整個訓練過程中僅出現(xiàn)少量震蕩，擬合效果較好。

圖3 訓練loss-迭代次數(shù)圖像

4 Deeplabv3-d零件圖像分割測試

觀察圖4所示的單個零件分割效果、圖5所示的多個零件堆疊分割效果可知，Deeplabv3-d對機械零件圖像的分割效果較好，與零件輪廓擬合度較高。

圖4 單個零件分割效果圖

圖5 多個零件堆疊分割效果圖

綜合分析圖4和圖5可得，不同環(huán)境下，Deeplabv3-d算法網(wǎng)絡(luò)對單個零件或多個零件堆疊都具有良好、直觀的分割效果，應用于實際工業(yè)場景中具有一定的可行性。同時，Deeplabv3-d在測試集上的預測準確度Acc和平均交并比mIOU隨訓練周期變化曲線如圖6、圖7所示。

圖6 測試集Acc隨訓練周期變化曲線

圖7 mIOU隨訓練周期變化曲線

分析圖6、圖7中Acc/mIOU隨周期的變化曲線，可得出模型的預測準確度和平均交并比經(jīng)過震蕩上升，在第30個訓練周期后逐漸趨于平滑，最終達到90%以上，在分割精度上有較好的表現(xiàn)。

為對比Deeplabv3-d不同主干網(wǎng)絡(luò)中的模型擬合效果，采用兩種骨干網(wǎng)絡(luò)進行驗證。在表1中記錄了在mobileNet和Resnet101兩種骨干網(wǎng)絡(luò)下的圖像分割效果。兩種骨干網(wǎng)絡(luò)平均mIOU值都超過90%，均展現(xiàn)出較好的分割性能。

表1 不同骨干網(wǎng)絡(luò)下的Deeplabv3+評估

5 結(jié)語

本文針對機械零件圖像分割，通過建立機械零件數(shù)據(jù)集，并向Deeplabv3算法網(wǎng)絡(luò)中加入集成空間金字塔、空洞卷積、深度可分離卷積結(jié)構(gòu)的Encode-Decoder特征提取模塊，完成了改進網(wǎng)絡(luò)Deeplabv3-d的構(gòu)建。在實際單零件或多零件堆疊圖像的分割效果測試中，Deeplabv3-d取得了較好的分割效果，證明了在實際環(huán)境中零件圖像分割算法的可行性，對實際工業(yè)生產(chǎn)具有較大意義。