基于上下文語義分割信息的缺銷螺絲部件識別

余鴻飛, 韓 軍,賈立業(yè)

(上海大學 通信與信息工程學院，上海 200444)

0 引言

輸電線路中的很多部件都是通過帶銷釘?shù)穆萁z來固定的，由于這些帶銷釘?shù)穆萁z長期暴露在自然環(huán)境中，難免會出現(xiàn)形變導致銷釘脫落，形成缺銷螺絲。缺銷螺絲在輸電線路中存在極大的安全隱患，若不及時處理則容易引發(fā)一系列的安全事故。目前，針對輸電線路中的絕緣子、防震錘、均壓環(huán)等部件的故障檢測都已經(jīng)達到了一個較好的效果，相比之下，輸電線路上缺銷螺絲的檢測效果還有待提升。在傳統(tǒng)的圖像處理方法上，如SIFT(scale-invariant feature transform)[1]、邊緣檢測符[2]、HOG(histogram of oriented gridients)等，對于缺銷螺絲這種小部件識別精度不高。而無人機巡檢產生的圖像都是高分辨率的，缺銷螺絲部件相對于整幅圖像所占像素比非常小。因此，本文將從小目標識別的角度來研究缺銷螺絲。

近年來，卷積神經(jīng)網(wǎng)絡在特征提取方面的出色表現(xiàn)，幾乎被利用于目標檢測和識別的各個領域。2015年，文獻[3]提出全卷積網(wǎng)絡(FCN)，將分類網(wǎng)絡擴展為密集的像素分類，圖像語義分割取得了巨大的進步。但對于圖像中的小目標，由于其分辨率過低、像素數(shù)目較少的特性導致提取到的特征較為粗糙，通過分類網(wǎng)絡簡單擴展的FCN并不能較好地提取小目標的邊界[4]。因此，國內外研究學者提出了各種方法來提升小目標分割的性能。之后，文獻[5]提出了U-Net網(wǎng)絡，它采用了跳層連接(skip-net)和“編碼-解碼”結構相結合的方法來解決小目標分割問題。通過整合來自網(wǎng)絡不同層的特征圖，將淺層的高分辨率特征與深層的低分辨率特征進行融合，用淺層特征來彌補丟失小目標信息過多的深層特征，在一定程度上可以改善小目標的分割結果。但這種僅僅利用單層非學習上采樣將低分辨率的特征圖轉換為高分辨率特征圖的方法依然丟失了較多的圖像信息，極大地限制了小目標分割的效果。2016年，谷歌提出了DeepLab 網(wǎng)絡模型[6]。直至2018年，提出了Deeplab v3+網(wǎng)絡[7]，該網(wǎng)絡采用編解碼器模型，v3版本的網(wǎng)絡作為網(wǎng)絡編碼器，低層特征與編碼器高層特征相結合部分作為解碼器，并將深度可分卷積應用到空間多孔金字塔池化(ASPP)[8-10]和解碼器模塊上，進一步提高了對小目標的識別效果。

為了解決目前輸電線路中螺絲部件缺陷診斷識別中出現(xiàn)的精度低、邊緣不準確、誤識別較多等問題，本文在語義分割的基礎上，提出一種基于上下文語義分割信息的缺銷螺絲識別方法，通過圖像裁剪分塊和圖像亮度增強等預處理提升Deeplab v3+網(wǎng)絡對缺銷螺絲和周圍若干部件的分割效果，再根據(jù)缺銷螺絲與周圍若干部件的空間關系分析，排除誤識別的缺銷螺絲區(qū)域，從而提高輸電線路圖片中缺陷螺絲部件的識別效果。

1 基于語義分割的輸電線路部件識別

1.1 系統(tǒng)概述

本文采用Deeplab v3+網(wǎng)絡對輸電線路圖片中的缺銷螺絲(Loss_screw)及其周圍若干部件(線夾(Singletri)、三角板(Tri)和扇形板(Fan))進行語義分割。如圖1所示，以缺銷螺絲部件模型的訓練測試為例，整個系統(tǒng)主要有以下幾個步驟：首先對數(shù)據(jù)集中的缺銷螺絲(設置label為Loss_screw)部件進行標注，標注后的圖片生成對應的掩膜圖；然后再對缺銷螺絲原圖和掩膜圖進行規(guī)則裁剪，篩選出帶有完整缺銷螺絲部件的小圖和對應掩膜圖，并且對部分較暗的圖片進行自適應Gamma校正，增強缺銷螺絲部件的輪廓細節(jié)；最后為保證實驗結果客觀性，將數(shù)據(jù)集按一定比例隨機劃分訓練集、驗證集和測試集，在Deeplab v3+網(wǎng)絡上進行多次重復的模型訓練及測試實驗。

圖1 缺銷螺絲模型訓練測試系統(tǒng)框圖

1.2 裁剪分塊

目前輸電線路部件識別沒有公開的數(shù)據(jù)集，本文中所用到的數(shù)據(jù)集均來源于實驗室無人機巡檢拍攝的圖片，拍攝地點多且無人機搭載的相機像素均為2 000萬以上。根據(jù)Deeplab v3+的網(wǎng)絡特性，會對輸入至網(wǎng)絡的源圖像數(shù)據(jù)進行隨機裁剪，而無人機巡檢產生的數(shù)據(jù)均為高分辨率圖像，對于本文中所用到的缺銷螺絲、線夾、三角板和扇形板等部件，圖片中所包含的有用像素信息占整張圖像的比例極小，整張圖中的大部分區(qū)域相對這些部件來說都是背景。無論從模型訓練的效率，還是對這些部件輪廓細節(jié)信息提取的準確度來說，都對模型的訓練產生了極大的影響。

對高分辨率的圖片進行裁剪處理是遙感圖像研究中經(jīng)常用到的方法，本文針對缺銷螺絲部件及其周圍若干部件模型的訓練，對高分辨率的輸電線路圖片進行規(guī)則裁剪處理，根據(jù)不同部件尺寸大小以及訓練時設置的train_crop_size大小，將原圖和掩膜圖裁剪成多張固定大小的圖片。再對裁剪后的小圖片進行篩選，篩選出帶有完整部件的圖片作為數(shù)據(jù)集。通過減少背景區(qū)域，增加部件區(qū)域在圖片中所占像素比，來減少網(wǎng)絡對于輸入圖片的部件信息的丟失，從而提高模型的精度。圖2為某一張高分辨率輸電線路圖片規(guī)則裁剪示例。

圖2 圖片規(guī)則裁剪

1.3 自適應Gamma校正增強

由于自然環(huán)境的影響及無人機在戶外航拍時角度的不同，部分圖片上的缺銷螺絲、線夾、三角板和扇形板部件光線不均勻出現(xiàn)輪廓不清晰等問題。本文采用一種自適應Gamma校正算法[11]調節(jié)圖片亮度，以增強整張圖片中相關部件的輪廓細節(jié)，降低網(wǎng)絡對該區(qū)域信息的丟失。

根據(jù)Retinex理論，圖像是由亮度分量和反射分量組成[12]。以缺銷螺絲部件為例，本文中用L(x,y)表示缺銷螺絲圖像各通道具有相同的亮度分量，Rc(x,y)(c∈{r,g,b})表示反射分量，則缺銷螺絲圖片S(x,y)可表示為：

Sc(x,y)=Rc(x,y)·L(x,y),c∈{r,g,b}

(1)

把RGB通道的最大值作為人眼觀察的照度V(x,y)，缺銷螺絲圖像的亮度分量L(x,y)可表示為：

L(x,y)=G(x,y)*V(x,y)

(2)

其中:V(x,y)=maxSc(x,y),c∈{r,g,b}，G(x,y)表示二維高斯濾波器。得到缺銷螺絲圖像亮度分量L(x,y)后再對其進行自適應Gamma校正，得到增強后的亮度分量Len(x,y)，具體計算公式如下：

Len(x,y)=L(x,y)γ(x,y)

(3)

其中:γ(x,y)表示Gamma校正系數(shù)矩陣。然后根據(jù)公式(1)和公式(2)計算得到反射分量Rc(x,y)：

Rc(x,y)=Sc(x,y)/L(x,y),c∈{r,g,b}

(4)

得到Len(x,y)和Rc(x,y)后，再代入式(1)即得到增強的缺銷螺絲圖像Sen(x,y)：

(5)

部分圖片增強后的效果如圖3所示。

圖3 Gamma增強效果圖

2 基于上下文信息的缺銷螺絲識別

2.1 缺銷螺絲與其周圍部件空間關系分析

在缺銷螺絲識別實驗中出現(xiàn)了較多誤識別，實驗數(shù)據(jù)統(tǒng)計表明主要是以不帶銷釘?shù)钠胀萁z識別成缺銷螺絲為主。針對這種誤識別，根據(jù)帶銷釘?shù)穆萁z主要處在線夾、三角板、扇形板等部件附近的連接處，這些部件相較于螺絲，在整張圖像中所占像素比更大且Deeplab v3+對于它們的識別效果要更好。本文利用這些部件與缺銷螺絲的位置關系建立一種上下文位置關系模型，通過空間位置關系的推導來判斷識別到的缺銷螺絲是否屬于誤識別，如圖4所示。

圖4 輸電線路上的三類螺絲

通常情況下，兩個區(qū)域之間空間關系可以分為3類，即方向關系、距離關系和拓撲關系。方向關系包括上邊(above)、下邊(below)、左邊(left)和右邊(right)關系，距離關系包括靠近(near)和遠離(far)關系，拓撲關系包括分離(disjointed)、鄰接(bordering)、入侵(invaded by)和包含(surrounded by)關系[13]，如圖5所示。

圖5 圖像中對象之間空間關系

根據(jù)對螺絲部件與其周圍部件(線夾、三角板、扇形板等)的數(shù)據(jù)統(tǒng)計分析，拓撲關系模型最接近于螺絲部件與其周圍部件之間的關系。在本文中用拓撲關系模型來描述缺銷螺絲部件與其周圍部件之間的空間關系。圖6是螺絲與其周圍部件之間的拓撲關系示例圖，其中分離關系是扇形板與右上角普通螺絲之間的關系。

圖6 螺絲與其他部件的拓撲關系示例

2.2 結合拓撲關系的缺銷螺絲識別

根據(jù)第2節(jié)內容，訓練得到缺銷螺絲、線夾、三角板和扇形板部件的模型，將缺銷螺絲模型分別和線夾、三角板和扇形板部件的模型進行融合，把待識別圖片中的缺銷螺絲、線夾、三角板和扇形板區(qū)域分割出來，再在每組實驗中分別將缺銷螺絲(Loss_screw)和這些部件建立上下文位置關系模型，進行拓撲關系分析，根據(jù)拓撲關系的具體類別判斷分割出的缺銷螺絲區(qū)域是否屬于誤識別。

圖7 結合拓撲關系的缺銷螺絲識別算法流程圖

以缺銷螺絲周圍的線夾(Singletri)部件為例，采用第2節(jié)方法訓練得到缺銷螺絲模型Loss_screw.pb和線夾模型Singletri.pb，融合兩個模型，待識別圖片被分割出缺銷螺絲區(qū)域Di和線夾區(qū)域Dj，根據(jù)兩區(qū)域像素值不同可以計算得到如下變量：

1)缺銷螺絲區(qū)域Di和線夾區(qū)域Dj的邊界長度li和lj(i,j=1,,k)；

2)缺銷螺絲區(qū)域Di和線夾區(qū)域Dj之間的共同邊界長度lij；

4)通過以上變量分別計算得到4種拓撲關系對應的隸屬函數(shù)[14]：

(6)

(7)

(8)

(9)

根據(jù)4種拓撲關系對應的隸屬函數(shù)，可以繪制得到以下圖像(橫坐標變量為邊界長度比sij)。本文通過隸屬函數(shù)的最大值來判斷缺銷螺絲區(qū)域Di和線夾區(qū)域Dj之間拓撲關系的具體類別。將邊界長度比sij分別代入上式中計算得到μDIS(Di,Dj)、μBOR(Di,Dj)、μINV(Di,Dj)和μSUR(Di,Dj)，比較這4個值的大小，其中的最大值對應的拓撲關系即表示缺銷螺絲區(qū)域Di和線夾區(qū)域Dj之間的關系。

圖8 拓撲關系隸屬函數(shù)

由于一張圖片中可能不只有一個缺銷螺絲(Loss_screw)和線夾(Singletri)，若圖片中分割出了多個缺銷螺絲(Loss_screw)和線夾(Singletri)區(qū)域，則需要兩兩進行拓撲關系分析。本文在實驗中將4種拓撲關系分為兩類處理，若由公式計算得到缺銷螺絲區(qū)域與線夾區(qū)域之間是鄰接、侵入和包含這三種關系，則該缺銷螺絲區(qū)域不需要再和其他線夾區(qū)域進行拓撲關系分析，可直接判定該缺銷螺絲區(qū)域識別正確，否則該缺銷螺絲區(qū)域將繼續(xù)和其他線夾區(qū)域進行拓撲關系分析，直到出現(xiàn)和它是鄰接、侵入和包含這三種關系的線夾區(qū)域為止；若計算得到缺銷螺絲區(qū)域和所有線夾區(qū)域都為分離關系，則判定該缺銷螺絲區(qū)域是被誤識別的。

3 實驗與結果分析

3.1 實驗環(huán)境

本文中實驗使用的GPU型號為Geforce GTX1080Ti，計算機的操作系統(tǒng)為Ubuntu16.04，采用Tensorflow1.6框架，,Python版本為2.7，模型訓練的網(wǎng)絡為Deeplab v3+。其中Deeplab v3+的主干網(wǎng)絡采用Xception網(wǎng)絡，并且已經(jīng)在ImageNet數(shù)據(jù)集上進行了預訓練。

3.2 數(shù)據(jù)預處理對輸電線路部件識別效果對比

根據(jù)1.2節(jié)，本實驗采用了高分辨率的缺銷螺絲、線夾、三角板和扇形板部件圖片各1 000張，根據(jù)不同部件尺寸以及訓練時設置的train_crop_size大小，分別進行規(guī)則裁剪，其中缺銷螺絲圖片裁剪為513 pixel×513 pixel，網(wǎng)絡訓練時train_crop_size設置為513×513，線夾、三角板和扇形板圖片均裁剪為1 026 pixel×1 026 pixel大小，train_crop_size設置為1 026×1 026。裁剪分塊后經(jīng)篩選得到包含完整缺銷螺絲、線夾、三角板和扇形板部件的小尺寸圖片各1 200張，再對其中亮度不均勻的360張缺銷螺絲圖片、200張線夾圖片、180張三角板和150扇形板部件圖片做了自適應Gamma增強。本次實驗均按照5:2:3的比例隨機分配網(wǎng)絡的訓練集、驗證集和測試集。實驗中使用交叉熵損失函數(shù)作為代價函數(shù)，并采用隨機梯度下降(SDG，Stochastic Gradient Descent)進行目標函數(shù)優(yōu)化。Deeplab v3+網(wǎng)絡的擴張率組設置為[5,9,17]，初始學習率為10-4，輸入輸出分辨率比值(OS，output_stride)為16，為確保訓練收斂，迭代次數(shù)均設置為30w次。通過Tensorboard監(jiān)控缺銷螺絲訓練時的損失函數(shù)，由損失曲線圖可以看出，在訓練達到12 w次時就基本完成了收斂。

圖9 缺銷螺絲訓練損失曲線

本實驗采用均交并比(mIoU, mean Intersection over Union)作為模型訓練測試的評價指標，其計算公式如下：

(10)

(11)

其中：N表示類別數(shù)，nij表示類別為i的像素點被判定為類別為j的像素點數(shù)量，nji表示類別為j的像素點被判定為類別為i的像素點數(shù)量，nii表示正確分割的像素點數(shù)量。

為保證實驗的客觀性，進行了多次重復實驗，并隨機選取了其中2次實驗數(shù)據(jù)統(tǒng)計,如表1所示。

表1 數(shù)據(jù)預處理對輸電線路部件識別的影響 %

由表1分析可知，未經(jīng)任何預處理操作的Deeplab v3+算法對缺銷螺絲的識別效果較差；規(guī)則裁剪后，對4種部件識別的mIoU提升非常明顯，其中對缺銷螺絲部件的提升幅度最大，達17%左右；而Gamma校正增強對mIoU的提升相比規(guī)則裁剪沒有那么突出，尤其對線夾、三角板和扇形板部件而言，由于這三種部件位置相對于螺絲沒有那么隱蔽，光線不均勻現(xiàn)象較少，Gamma校正增強對其識別效果提升不明顯也在合理之中?？偠灾?種預處理方法相較于原始的Deeplab v3+算法均有不同程度的提升，加了預處理后，Deeplab v3+網(wǎng)絡對缺銷螺絲、線夾、三角板和扇形板部件識別的mIoU都達到了90%以上。

3.3 Deeplab v3+網(wǎng)絡對帶銷螺絲和缺銷螺絲的鑒別實驗

為驗證上下文模型對于降低缺銷螺絲誤識別的可行性，設計本次實驗用于檢測Deeplab v3+網(wǎng)絡對于帶銷螺絲和缺銷螺絲的鑒別能力。本次實驗的三組實驗中，選取800張僅包含Screw標簽的小圖，800張僅包含Loss_screw標簽的小圖以及1 000張同時包含這兩種標簽的小圖。均按照5∶2∶3的比例隨機分配網(wǎng)絡的訓練集、驗證集和測試集。實驗環(huán)境配置和3.2節(jié)實驗相同，訓練迭代次數(shù)均設置為30 w次，進行多次重復實驗，并隨機選取了其中2次實驗結果統(tǒng)計如表2所示。

表2 Deeplab v3+對帶銷螺絲和缺銷螺絲的鑒別能力 %

根據(jù)表2結果，Deeplab v3+網(wǎng)絡同時對帶有帶銷螺絲和缺銷螺絲兩個標簽的數(shù)據(jù)集進行訓練預測的mIoU明顯低于單個標簽，但經(jīng)過裁剪分塊和自適應Gamma校正增強處理后，其mIoU有明顯提升，經(jīng)過多次實驗都能達到80%左右，本文認為Deeplab v3+網(wǎng)絡對于小圖中的帶銷螺絲和缺銷螺絲具有良好的鑒別能力，在缺銷螺絲識別實驗中不會出現(xiàn)大量帶銷螺絲識別成缺銷螺絲的情況，引入上下文模型降低對普通螺絲的誤識別具有一定的可行性。

3.4 結合上下文語義信息的缺銷螺絲識別

為了降低對普通螺絲的誤識別，在3.2節(jié)實驗的基礎上，將訓練好的缺銷螺絲模型分別與線夾、三角板和扇形板的模型結合，對待識別部件進行分割，并對2種像素不同的區(qū)域計算相關參數(shù)，進行拓撲關系計算分析。本實驗采用精確率(Precision)和召回率(Recall)作為評價指標，其計算公式如下：

Precision=TP/(TP+FP)

(12)

Recall=TP/(TP+FN)

(13)

其中：TP表示將缺銷螺絲預測為缺銷螺絲的數(shù)量，F(xiàn)P表示將其他部件預測為缺銷螺絲的數(shù)量，F(xiàn)N表示將缺銷螺絲預測為其他部件的數(shù)量。

本實驗采用了1600張高分辨率輸電線路圖片，為避免實驗的偶然性，每次隨機平均分為4組，進行多次重復實驗，統(tǒng)計了所有實驗的平均精確率和召回率，并與Deeplab v3+算法進行了比較，實驗結果如表3所示。

表3 引入不同部件語義信息后缺銷螺絲識別效果對比 %

由表3可以看出，僅在Deeplab v3+的基礎上加入對數(shù)據(jù)集的預處理能夠很大程度地提高對缺銷螺絲識別的召回率，但同時也帶來了較多誤識別，導致實驗的精確率較低。通過引入線夾、三角板和扇形板部件的信息，對缺銷螺絲識別的精確率有了很大程度的提高。通過對精確率和召回率計算公式的分析，精確率與FP(即其他部件預測為缺銷螺絲的數(shù)量)成反比關系，表明精確率的提高能代表引入周圍的部件信息后排除了很大部分的誤識別，而召回率在加入預處理和引入其他部件語義信息都能達90%左右，這也說明缺銷螺絲的漏識別較少。

4 結束語

本文針對輸電線路上的缺銷螺絲識別，提出了一種基于上下文語義分割信息的識別方法。在基于Deeplab v3+算法的基礎上，對輸電線路數(shù)據(jù)集的規(guī)則裁剪、自適應Gamma校正增強等預處理，提升了網(wǎng)絡對于缺銷螺絲識別的mIoU，但同時也帶來了較多的誤識別；通過引入線夾、三角板和扇形板部件的信息后，排除了較多的誤識別，提高了缺銷螺絲識別的精確率和召回率。相較于Deeplab v3+算法，本文提出的方法在mIoU、精確率和召回率等指標上均有了明顯的提升。