基于Faster R?CNN的航拍圖像中絕緣子識別

程海燕 翟永杰 陳瑞

關(guān)鍵詞： 卷積神經(jīng)網(wǎng)絡(luò); 深度學(xué)習(xí); Faster R?CNN; 航拍圖像; 絕緣子識別; 智能電網(wǎng)

中圖分類號： TN911.73?34; TP391 ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識碼： A ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2019）02?0098?05

Faster R?CNN based recognition of insulators in aerial images

CHENG Haiyan， ZHAI Yongjie， CHEN Rui

（North China Electricity Power University， Baoding 071003， China）

Abstract： In order to solve the problems of poor applicability and low recognition efficiency in traditional insulator recognition methods， a method of auto?recognition of insulators in power grid inspection aerial images is proposed combining with the thought of deep convolutional neural network. The insulator recognition system is established by applying the Faster R?CNN framework and combining with the database of power grid inspection aerial images， so as to automatically recognize the insulators in aerial images， and analyze the influence of different models and parameters on recognition accuracy. The experimental results show that in comparison with the traditional aerial insulator identification method， the proposed method has higher recognition accuracy rate and efficiency by using the deep convolutional neural network to learn and recognize aerial insulators， and can well recognize all kinds of insulators with its greatly?improved recognition performance.

Keywords： convolutional neural network; deep learning; faster R?CNN; aerial images; insulator recognition; smart grid

0 ?引 ?言

電網(wǎng)巡檢是保證輸電線路安全、可靠運行的重要途徑。近年來，使用無人機進(jìn)行電力巡檢，繼而對航拍圖像進(jìn)行信息處理或部件識別是智能電網(wǎng)建設(shè)的研究熱點之一。絕緣子是輸電線路中的重要設(shè)備，受外界環(huán)境影響容易受損，繼而引發(fā)電力事故[1]。因此對絕緣子進(jìn)行狀態(tài)檢測尤為重要，而絕緣子狀態(tài)檢測的前提是絕緣子識別。傳統(tǒng)的絕緣子圖像識別包括圖像濾波處理、特征提取和目標(biāo)識別等步驟，特征的提取規(guī)則根據(jù)人工設(shè)計。文獻(xiàn)[2]依據(jù)絕緣子顏色信息標(biāo)示出絕緣子位置，文獻(xiàn)[3]提取絕緣子的圖像邊緣，進(jìn)而識別絕緣子。文獻(xiàn)[4?5]利用絕緣子串的特有形狀定位絕緣子。文獻(xiàn)[6]基于絕緣子的紋理特征進(jìn)行定位。文獻(xiàn)[7]通過建立絕緣子標(biāo)準(zhǔn)圖庫，利用ASIFT算法進(jìn)行匹配實現(xiàn)絕緣子識別。雖然上述方法在一定范圍內(nèi)能夠識別出絕緣子，但存在兩個主要問題：

1） 都是人工設(shè)計特征進(jìn)行提取，依賴于研究者的經(jīng)驗，缺乏對問題的泛化能力，而且主要針對特定類別的絕緣子進(jìn)行識別，在復(fù)雜背景和干擾條件下普遍存在適用性較低的問題。

2） 識別過程分多個階段進(jìn)行，實現(xiàn)過程較復(fù)雜，整體優(yōu)化不易實現(xiàn)，因此制約了目標(biāo)識別的效率。

近期，基于深度卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)識別取得良好的效果。與傳統(tǒng)方法不同，深度學(xué)習(xí)不需要進(jìn)行人工特征提取，算法自動學(xué)習(xí)獲得目標(biāo)特征，適用性強、目標(biāo)識別效率更高。相比深度學(xué)習(xí)其他目標(biāo)識別方法，F(xiàn)aster R?CNN[8]的識別準(zhǔn)確率更高、運行速度更快。因此，本文利用Faster R?CNN框架，結(jié)合航拍絕緣子圖像數(shù)據(jù)集，構(gòu)建絕緣子識別系統(tǒng)，自動識別電網(wǎng)巡檢航拍圖像中不同類型的絕緣子，并分析了不同參數(shù)對識別精確度的影響。

1 ?Faster R?CNN

1.1 ?Faster R?CNN結(jié)構(gòu)

Faster R?CNN包含兩個網(wǎng)絡(luò)：區(qū)域建議網(wǎng)絡(luò)RPN （Region Proposal Network）和Fast R?CNN[9]檢測器，利用RPN生成目標(biāo)建議框送到Fast R?CNN檢測網(wǎng)絡(luò)中，用于圖像分類和定位修正，最終得到檢測結(jié)果，其結(jié)構(gòu)圖如圖1所示。

RPN為全卷積網(wǎng)絡(luò)，采用滑動窗口遍歷卷積，提取特征，將每個卷積映射位置編碼為一個低維特征向量。每個窗口中心位置對應(yīng)k個不同尺度和高寬比的錨點（anchor，即參數(shù)化后的目標(biāo)建議框），同時采樣。分類層和回歸層對該區(qū)域的類別得分和邊界框位置進(jìn)行修正，輸出一組可能包含目標(biāo)的矩形區(qū)域建議框。

Fast R?CNN把RPN生成的目標(biāo)建議框映射到CNN的最后一層卷積特征圖上，通過計算預(yù)先標(biāo)記的實際邊界框與目標(biāo)區(qū)域建議框的重疊率得到感興趣區(qū)域RoIs（Regions of Interest）;接著采用RoI池化層為每個建議框提取固定尺寸的特征向量;再利用全連接層得到RoI特征向量，對Softmax分類器和邊框回歸聯(lián)合訓(xùn)練，從而對目標(biāo)置信度分值和檢測位置進(jìn)行微調(diào)。

1.2 ?訓(xùn)練Faster R?CNN

訓(xùn)練過程采用RPN同F(xiàn)ast R?CNN交替訓(xùn)練的方式，即先訓(xùn)練RPN，再用生成的目標(biāo)建議區(qū)域訓(xùn)練Fast R?CNN。在最后一個卷積層輸出的卷積特征圖上，采用3×3的滑動窗口實現(xiàn)建議框的提取，在每個滑動窗口位置采用3種不同尺度和3種不同高寬比（1∶1，2∶1，1∶2）生成9 個anchor框?qū)Π繕?biāo)的窗口位置進(jìn)行預(yù)測。經(jīng)過分類層和回歸層對該區(qū)域的類別得分和邊界框位置進(jìn)行修正。最后分類和回歸總損失為：

[L（{pi}，{ti}）=1NclsiLcls（pi，p*i）+λ1Nregip*iLreg（ti，t*i）] ? （1）

[Lcls（pi，p*i）=-log[p*ipi+（1-p*i）（1-pi）]] ? （2）

[Lreg（ti，t*i）=i∈{x，y，w，h}smoothL1ti-t*i] （3）

[smoothL1（x）=0.5x2， ? ? ? ? ?x<1x-0.5 ， ? 其他 ] （4）

式中：[Ncls]為批處理大小;[Nreg]為anchor框的位置數(shù);[i]是anchor的索引;[pi]是anchor [i]屬于某個目標(biāo)的預(yù)測概率。當(dāng)anchor為正樣本時，[p*i=1]，否則[p*i=0];[ti]表示預(yù)測的邊界框的4個參數(shù)化坐標(biāo)向量;[t*i]是與正anchor對應(yīng)的實際邊界框的坐標(biāo)向量，默認(rèn)取[λ=10];[Lcls]和[Lreg]分別為分類損失和回歸損失。

采用RPN生成的建議框去訓(xùn)練Fast R?CNN檢測網(wǎng)絡(luò)，訓(xùn)練過程采用端到端的反向傳播算法和隨機梯度下降法。RPN和Fast R?CNN單獨訓(xùn)練，沒有實現(xiàn)卷積層共享。再利用上一步訓(xùn)練的Fast R?CNN重新初始化RPN，固定共享卷積層，僅微調(diào)RPN的特有層，保持共享的卷積層固定，用RPN提取的目標(biāo)建議框微調(diào)Fast R?CNN的特有層，這樣，兩個網(wǎng)絡(luò)共享相同的卷積層，構(gòu)成一個統(tǒng)一的網(wǎng)絡(luò)。

2 ?基于Faster R?CNN的絕緣子識別

基于Faster R?CNN的電網(wǎng)巡檢航拍圖像中絕緣子識別過程包括兩個階段，網(wǎng)絡(luò)訓(xùn)練階段和識別測試階段。訓(xùn)練階段用自建圖像數(shù)據(jù)庫對具有初始參數(shù)的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到目標(biāo)識別模型，測試階段將測試樣本輸入訓(xùn)練好的識別模型得到識別結(jié)果。整個流程包含以下幾個步驟：

1） 構(gòu)建絕緣子圖像數(shù)據(jù)集，得到絕緣子邊界框標(biāo)注值;

2） 訓(xùn)練Faster R?CNN，得到最終識別模型;

3） 對新樣本進(jìn)行檢測識別。

2.1 ?訓(xùn)練絕緣子識別網(wǎng)絡(luò)

2.1.1 ?構(gòu)建絕緣子圖像數(shù)據(jù)集

Faster R?CNN是經(jīng)過特定的圖像數(shù)據(jù)集和相應(yīng)的標(biāo)注進(jìn)行預(yù)處理的，不適用于直接為其他圖像數(shù)據(jù)集執(zhí)行目標(biāo)檢測。目前沒有公開的絕緣子圖像數(shù)據(jù)庫，需要自己構(gòu)建數(shù)據(jù)庫。本系統(tǒng)數(shù)據(jù)庫來源于某電網(wǎng)公司提供的電網(wǎng)巡檢航拍圖像，包含不同背景、不同材質(zhì)、不同電壓等級及不同角度下的各種類型的絕緣子，圖像大小統(tǒng)一縮放到256×256像素，把它們作為圖像樣本，圖2為部分圖像樣本。系統(tǒng)采用 VOC2007 數(shù)據(jù)集格式，對絕緣子進(jìn)行相應(yīng)標(biāo)注。

2.1.2 ?訓(xùn)練模型

模型訓(xùn)練部分，RPN與Fast R?CNN交替訓(xùn)練。用預(yù)訓(xùn)練好ImageNet VGG?16模型初始化RPN。在訓(xùn)練過程中隨機梯度下降法中mini?batches由一幅圖像樣本構(gòu)成，在該圖像中隨機采樣256個anchor 框，正負(fù)anchors的比例為1∶1。與已知標(biāo)注框重疊區(qū)域大于0.7的anchor標(biāo)記為正anchor，即前景，重疊區(qū)域小于0.3的標(biāo)定為負(fù)anchor，即背景。對正anchor標(biāo)簽為1，負(fù)anchor標(biāo)簽為0。這些帶標(biāo)簽的樣本和標(biāo)注框的坐標(biāo)被用于RPN的有監(jiān)督的訓(xùn)練。

采用上一步生成的建議框去訓(xùn)練Fast R?CNN檢測網(wǎng)絡(luò)，它同樣由預(yù)訓(xùn)練的ImageNet VGG?16模型進(jìn)行初始化。在訓(xùn)練過程中，mini?batches由2幅圖像樣本構(gòu)成，每個圖像生成64個感興趣區(qū)域RoIs。在反向傳播過程中經(jīng)過RoI池化層時，進(jìn)行反向傳播的計算。利用得到的Fast R?CNN網(wǎng)絡(luò)再次初始化RPN，固定卷積層參數(shù)，僅微調(diào)RPN的特有層;再保持共享的卷積層參數(shù)固定，用RPN微調(diào)Fast R?CNN的特有層，得到統(tǒng)一的識別模型。

2.2 ?檢測和識別絕緣子

使用VGG?16模型學(xué)習(xí)絕緣子特征，訓(xùn)練Faster R?CNN模型進(jìn)行絕緣子識別，同時訓(xùn)練網(wǎng)絡(luò)參數(shù)，訓(xùn)練好的模型可直接用于絕緣子識別。進(jìn)行絕緣子識別時，輸入一幅圖像，輸出即為帶標(biāo)識框的識別結(jié)果，完全實現(xiàn)端到端識別。

3 ?實驗結(jié)果與分析

絕緣子識別方法在容天超算工作站SCW4000上運行，其操作系統(tǒng)為Ubuntu 14.04.3位，顯卡Nvidia Tesla K40C，共2片GPU， 單片GPU存儲器容量12 GB，開發(fā)環(huán)境Matlab R2014a。

實驗過程訓(xùn)練集含5 000張圖像樣本，測試集含500張圖像。采用精確度均值（Average Precision，AP）來衡量識別效果，精確度為標(biāo)記正確的絕緣子邊界框個數(shù)與標(biāo)記出的所有邊界框個數(shù)之比。首先研究不同深度卷積網(wǎng)絡(luò)對絕緣子識別系統(tǒng)性能的影響，然后分析了不同參數(shù)對AP的影響，最后將Faster R?CNN方法與基于選擇性搜索算法進(jìn)行目標(biāo)區(qū)域建議的SPPnet[10]方法進(jìn)行比較。

3.1 ?不同卷積層深度對絕緣子識別系統(tǒng)的影響

為了研究不同卷積層深度對絕緣子識別系統(tǒng)的影響，本文分別采用具有5個卷積層的ZF模型[11]和具有13個卷積層的VGG?16模型[12]作為共享卷積層進(jìn)行對比實驗。訓(xùn)練時，前30 000次迭代學(xué)習(xí)率為0.001，后面的10 000次迭代學(xué)習(xí)率是0.000 1，動量為0.9，權(quán)重衰減為0.000 5，比較結(jié)果如表1所示。

從表1可以看出，與ZF模型相比，采用VGG?16模型訓(xùn)練網(wǎng)絡(luò)耗時長，測試速率慢，但隨著網(wǎng)絡(luò)模型深度的增加，AP值從89.49%提高到90.5%，提高了1個百分點，這是因為VGG?16模型選擇比較小的卷積核和步長，網(wǎng)絡(luò)精度高，對其他數(shù)據(jù)集具有很好的泛化能力。因此本系統(tǒng)采用VGG?16模型作為卷積網(wǎng)絡(luò)。圖3給出了采用VGG?16模型進(jìn)行卷積運算的部分識別結(jié)果。

從圖3可以看出，被識別出來的絕緣子形式各樣，包含不同材質(zhì)（玻璃、陶瓷）、不同顏色（藍(lán)色、綠色、灰色等）、不同背景（綠地、森林，田野等）、不同尺度和角度，存在不同程度的模糊和遮擋情況，且輸入的測試圖像尺寸各異。和人工設(shè)計的特征只能識別某個特定類型絕緣子相比，由于深度學(xué)習(xí)自動學(xué)習(xí)絕緣子特征，對各種類型的絕緣子均能實現(xiàn)自動識別，其適用范圍更加廣泛，通用性更強。

3.2 ?不同批尺寸對AP的影響

表2為其他參數(shù)固定時改變批尺寸的測試集上實驗結(jié)果，為縮短訓(xùn)練時間，最大迭代次數(shù)為20 000次。Faster R?CNN采用隨機梯度下降法進(jìn)行訓(xùn)練，每個樣本進(jìn)行一次迭代更新，從表2可以看出，在一定范圍內(nèi)，批尺寸越大，訓(xùn)練的樣本就越多。

3.3 ?不同訓(xùn)練樣本數(shù)量對識別系統(tǒng)性能的影響

訓(xùn)練樣本數(shù)量對卷積神經(jīng)網(wǎng)絡(luò)的識別效果影響很大。采用不同訓(xùn)練樣本數(shù)量訓(xùn)練Faster R?CNN模型，RPN和Fast R?CNN階段批尺寸分別為256和128，最大迭代次數(shù)為40 000次，其他參數(shù)不變，對測試集進(jìn)行測試，系統(tǒng)性能對比如表3所示。

觀察表3發(fā)現(xiàn)，隨著訓(xùn)練樣本數(shù)量的增加，系統(tǒng)訓(xùn)練耗時增加，但AP 值明顯提高，由1 000個樣本的71.3%提高到5 000個樣本的90.5%，提高了19個百分點，測試一張圖像的平均耗時均為0.21 s，測試速率基本保持不變，這說明增加訓(xùn)練樣本數(shù)量確實會提高系統(tǒng)識別精確度，而且該系統(tǒng)識別速度快，幾乎可以實現(xiàn)實時識別。

圖4給出采用不同訓(xùn)練樣本數(shù)量對應(yīng)的模型進(jìn)行測試的部分識別結(jié)果。可以看出，隨著樣本數(shù)量的增加，識別出的絕緣子位置更加精確，包圍框內(nèi)絕緣子占比更大。

3.4 ?不同識別方法比較

SPPnet[11]網(wǎng)絡(luò)采用選擇性搜索 （Selective Search，SS）算法生成目標(biāo)區(qū)域建議，SS是Faster R?CNN提出之前最常用的生成目標(biāo)區(qū)域建議的算法。為了驗證本文所提方法對絕緣子識別具有優(yōu)勢，將之與SPPnet網(wǎng)絡(luò)進(jìn)行比較。使用VGG?16模型，根據(jù)AP最大時對應(yīng)的模型參數(shù)，對測試集分別采用Faster R?CNN與SPPnet進(jìn)行識別，比較結(jié)果如表4所示。

可以看出，F(xiàn)aster R?CNN方法的識別精確度比SPPnet高，這主要是由于RPN比SS產(chǎn)生的目標(biāo)區(qū)域建議框更加精準(zhǔn)。Faster R?CNN將特征抽取、目標(biāo)建議提取、邊框回歸和分類都整合在了一個網(wǎng)絡(luò)中，所有過程都通過GPU完成，檢測速度遠(yuǎn)遠(yuǎn)超過了SPPnet。

4 ?結(jié) ?論

本文采用Faster R?CNN深度卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建絕緣子識別模型，通過建立絕緣子航拍圖像數(shù)據(jù)集，完成模型的訓(xùn)練和效果的驗證。通過實驗驗證，基于Faster R?CNN的絕緣子識別方法是有效的，可以識別圖像中不同類型的絕緣子，其識別速度可以達(dá)到每張約220 ms，精確度達(dá)到90.5%，能克服傳統(tǒng)絕緣子識別方法適用性受限、效率低的問題。但是，由于樣本不完備，對于絕緣子之間存在遮擋的情況識別效果并不理想，需要進(jìn)一步收集更有效的圖像樣本，這也是后續(xù)需要解決的問題。

參考文獻(xiàn)

[1] 仝衛(wèi)國，苑津莎，李寶樹.圖像處理技術(shù)在直升機巡檢輸電線路中的應(yīng)用綜述[J].電網(wǎng)技術(shù)， 2010，34（12）： 204?208.

TONG Weiguo， YUAN Jinsha， LI Baoshu. Application of image processing in patrol inspection of overhead transmission line by helicopter [J]. Power system technology， 2010， 34（12）： 204?208.

[2] 林聚財，韓軍，陳舫明，等.基于彩色圖像的玻璃絕緣子缺陷診斷[J].電網(wǎng)技術(shù)，2011，35（1）：127?133.

LIN Jucai， HAN Jun， CHEN Fangming， et al. Defects detection of glass insulators based on color images [J]. Power system technology， 2011， 35（1）： 127?133.

[3] 趙振兵，金思新，劉亞春.基于NSCT的航拍絕緣子圖像邊緣提取方法[J].儀器儀表學(xué)報，2012，33（9）：2045?2052.

ZHAO Zhenbing， JIN Sixin， LIU Yachun. Aerial insulator image edge extraction method based on NSCT [J]. Chinese journal of scientific instrument， 2012， 33（9）： 2045?2052.

[4] 趙振兵，王樂.一種航拍絕緣子串圖像自動定位方法[J].儀器儀表學(xué)報，2014，35（3）：558?565.

ZHAO Zhenbing， WANG Le. Aerial insulator string image automatic location method [J]. Chinese journal of scientific instrument， 2014， 35（3）： 558?565.

[5] 張晶晶，韓軍，趙亞博，等.形狀感知的絕緣子識別與缺陷診斷[J].中國圖象圖形學(xué)報，2014，19（8）：1194?1201.

ZHANG Jingjing， HAN Jun， ZHAO Yabo， et al. Insulator recognition and defects detection based on shape perceptual [J]. Journal of image and graphics， 2014， 19（8）： 1194?1201.

[6] 楊翠茹.基于紋理特征的絕緣子檢測方法[J].電氣技術(shù)，2010，11（7）：46?48.

YANG Cuiru. A detection method for insulators based on texture features [J]. Electrical engineering， 2010， 11（7）： 46?48.

[7] 苑津莎，崔克彬，李寶樹.基于ASIFT算法的絕緣子視頻圖像的識別與定位[J].電測與儀表，2015，52（7）：106?112.

YUAN Jinsha， CUI Kebin， LI Baoshu. Identification and location of insulator video images based on ASIFT algorithm [J]. Electrical measurement & instrumentation， 2015， 52（7）： 106?112.

[8] REN S， HE K， GIRSHICK R， et al. Faster R?CNN： towards real?time object detection with region proposal networks [J]. IEEE transactions on pattern analysis & machine intelligence， 2017， 39（6）： 1137?1149.

[9] GIRSHICK R. Fast R?CNN [C]// Proceedings of International Conference on Computer Vision. Santiago： IEEE， 2015： 1440?1448.

[10] HE K， ZHANG X， REN S， et al. Spatial pyramid pooling in deep convolutional networks for visual recognition [C]// Proceedings of the European Conference on Computer Vision. Berlin： Springer， 2014： 346?361.

[11] ZEILER M D， FERGUS R. Visualizing and understanding convolutional networks [C]// Proceedings of the European Conference on Computer Vision. Berlin： Springer， 2014， 8689： 818?833.

[12] SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large?scale image recognition [C]// Proceedings of International Conference on Learning Representations. [S.l.： s.n.]， 2015： 1?14.