結合尺度約束與空間信息的輸電線路多金具檢測方法

翟永杰， 楊 旭

(華北電力大學 控制與計算機工程學院，河北 保定 071003)

0 引 言

隨著我國城市化進程的大跨步推進，電網的覆蓋面積逐年擴大。輸電線路作為電力系統(tǒng)的重要組成部分，擔負著輸送和分配電能的任務[1-3]。其中，金具作為輸電線路的重要部件，起到了支持、固定、接續(xù)裸導線以及維持整個線路穩(wěn)定運行的作用[4]。由于輸電線路廣泛分布在平原或高山之中，因此金具往往常年暴露在外，受到風吹日曬和雨雪侵蝕的影響，其復雜多變的工作環(huán)境極易使其發(fā)生位移、歪斜、破損等缺陷[5]。因此對輸電線路金具進行定期巡檢將大大減少輸電線路的故障發(fā)生，確保電力系統(tǒng)的正常運營。

隨著無人機巡檢技術的成功應用，基于圖像處理技術與計算機視覺的輸電線路航拍圖像巡檢技術逐漸成熟。其中，如何實現(xiàn)準確的多金具檢測成為當前限制輸電線路缺陷巡檢準確率的基礎問題與主要瓶頸[6]。研究早期，金具檢測任務往往通過人工特征與分類器等機器學習算法實現(xiàn)，如陳曉娟等[7]對采集的線路圖像進行預處理，利用隨機Hough變換與一定的形狀條件，實現(xiàn)對防震錘的檢測；金立軍等[8]利用圖像匹配和形態(tài)學運算提取可見光圖像中的間隔棒，基于校正透視畸變實現(xiàn)骨架提取，最后通過形狀度量與最小風險原則顯示間隔棒檢測；翟永杰等[9]利用絕緣子具有的梯度輪廓閉合性特點進行目標建議，利用局部特征實現(xiàn)絕緣子粗定位，以絕緣子骨架結構描述子實現(xiàn)細定位。但是，基于機器學習的金具檢測算法在實際應用中往往易受到周圍環(huán)境的影響，且在檢測性能上還有很大的提升空間。

隨著深度學習在工業(yè)領域的逐步應用，基于深度目標檢測的金具檢測技術得到了國內外研究學者的廣泛關注[10]，如湯踴等[11]利用改進的Faster R-CNN和不同核大小的卷積神經網絡實現(xiàn)了均壓環(huán)的檢測。楊罡等[12]通過多尺度特征融合方法和深度可分離卷積在移動端ARM設備上實現(xiàn)了絕緣子、懸垂線夾、防震錘等部件的檢測。李偉性等[13]利用改進的SSD和圖像像素估計實現(xiàn)了復合絕緣子的目標檢測和故障評估。然而上述算法僅針對具有較大尺寸的單一金具，在實際應用往往會由于金具組合安裝與無人機拍攝距離等問題導致檢測精度下降，受到金具尺度不同、互相遮擋等特點影響嚴重，如圖1所示。

圖1 多金具航拍圖像Fig. 1 Aerial images of multi-fittings

其中圖1(a)與圖1(d)中的聯(lián)板由于拍攝距離的影響表現(xiàn)出不同尺度大小的特點，如黃色方框所示，圖1(b)中聯(lián)板、屏蔽環(huán)與鍥型耐張線夾等金具在組合使用時往往互相遮擋嚴重，如綠色方框所示。受到上述因素影響，當前算法面對航拍圖像中多金具問題時，往往難以取得良好的檢測效果。

為解決多金具檢測任務中目標尺度不一、互相遮擋等問題，本文提出尺度約束與空間信息的輸電線路多金具檢測方法(Scale Constraint and Spatial Information R-CNN, SCSI R-CNN)。首先使用Faster R-CNN算法作為基本框架，采用k-means++算法對輸電線路金具數據集中各個金具的標注框進行聚類分析，通過CH指標比較得到與檢測任務適配的錨框尺度，然后基于金具空間布局的相對幾何特征，采用潛在空間模塊對輸入視覺特征進行增強，最后在金具數據集上對所述算法進行了驗證。

1 Faster R-CNN

Ren等[14]在2015年提出了Faster R-CNN算法，其模型框架如圖2所示。

圖2 Faster R-CNN檢測框架Fig. 2 Detection framework of Faster R-CNN

Faster R-CNN主要由卷積神經網絡(Convolutional Neural Networks, CNN)、區(qū)域生成網絡(Region Proposal Networks, RPN)、感興趣區(qū)域池化單元(Region Of Interest Pooling, RoI Pooling)以及分類和回歸單元4部分組成：

(1) 卷積神經網絡：基于一系列卷積、池化與非線性模塊的組合，由淺至深提取航拍圖像的特征圖(Feature Map)，并輸出到RPN網絡與RoI Pooling單元。

(2) RPN網絡：通過3種尺度(8, 16, 32)和3種比例(2∶1, 1∶1, 1∶2)形成9種預設錨框 (Anchor Box)。預設錨框在特征圖上滑動生成多個候選框，基于交并比(Intersection over Union, IoU)分配正負樣本，如公式(1)所示：

(1)

式中：GT表示真值框，Anchor表示滑動錨框。然后使用非極大值抑制算法(Non-Maximum Suppression, NMS)篩選出Nr個目標候選區(qū)域。

(3) RoI Pooling：對不同尺寸的正樣本候選框所對應的特征圖區(qū)域作為輸入，基于平均池化模塊生成Nr個維度相同的特征向量。

(4) 分類與回歸單元：將步驟3得到的特征向量輸入全連接層，利用softmax函數判斷特征圖候選區(qū)域的類別以及準確位置，如公式(2)所示：

(2)

2 SCSI R-CNN

由于Faster R-CNN多金具檢測核心過程就是通過預設錨框與RPN網絡實現(xiàn)預測框回歸和目標定位，然后提取對應區(qū)域的特征進行金具類別檢測。因此預設錨框參數與特征選取至關重要?；诖耍疚牟捎胟means++算法對任務目標的標注框尺寸進行聚類分析，以便于實現(xiàn)金具檢測的錨框適配與尺度約束，結合CNN網絡特征提取與RPN網絡的錨框生成與候選區(qū)域生成，提取基本候選目標特征向量，并采用潛在空間模塊與金具視覺特征級聯(lián)完成增強，結合金具間的空間幾何特征實現(xiàn)更加準確的多金具檢測，算法框架如圖3所示。

圖3 本文檢測算法流程圖Fig. 3 Flow chart of detection algorithm for this article

2.1 標注框尺度約束

由于無人機對輸電線路高壓負荷的敏感性導致無法近距離拍攝的問題，輸電線路金具數據集中的航拍圖像目標往往尺寸不一，呈現(xiàn)小目標特點。因此，F(xiàn)aster R-CNN模型針對大尺寸目標預設的錨框參數對于當前目標的覆蓋效果不佳，需要按照金具尺度特點重新設定錨框參數。然而人工預設的方法往往需要大量驗證實驗，且易引入人工誤差導致與模型不匹配。

本文采用輸電線路金具數據集中各個金具標注框的寬與高作為輸入數據，采用kmeans++算法[16]對目標框聚類分析，根據聚類結果重新設置錨框參數，達到適配任務目標的尺度約束效果，具體步驟如下所示：

(1) 輸入輸電線路金具數據集，統(tǒng)計航拍圖像的各個目標標注框信息，得到含有N個樣本的數據集a={xi|xi=(xi1,xi2,…,xim),i=1,2,…,N}，其中m為特征維度。

(2) 初始化k個數據點作為初始聚類中心，即C={cj|ci=(ci1,ci2,…,cim),j=1,2,…,k}。如公式(3)所示，基于歐式距離計算數據集a中每一個數據點xi與每一個中心點cj的距離d。如公式(4)所示，計算每個樣本點被選為下一個聚類中心的概率P。

(3)

P(i)=d2(xi)/sum(d2(xi))

(4)

(3) 按照輪盤法選出下一類聚類中心，重復步驟(2)與(3)直到聚類中心的位置不發(fā)生變化或誤差平方和最小為止，如公式(5)所示：

(5)

在kmeans++聚類算法中，不同的聚類中心點量會改變最終的聚類效果，因此本文選用CH指標[17]直觀評估樣本集的聚類情況。

CH指標是用來衡量聚類的類內密集度和類間離散度的綜合指標，如公式(6)所示：

(6)

式中：k表示聚類中心數目；n表示當前的類；trB(n)表示類間離散度矩陣的跡；trW(n)表示類內離散度矩陣的跡。由公式可知，CH指標越大，表明類別內部樣本的密集度越高，類與類間的樣本離散度越高，即聚類效果越好。

2.2 空間信息提取

空間信息能夠表征金具間復雜的位置信息，因此本文采用空間信息作為視覺特征的輔助信息解決金具間相互遮擋的問題。潛在空間模塊以Nr個目標候選區(qū)域池化后的D維特征向量F∈Nr×D作為輸入，通過堆疊的多層感知機(Multi-Layer Perceptrons, MLPs)將目標候選區(qū)域構建為空間區(qū)域圖GS(VS,ES)，其中區(qū)域圖GS的邊ES用于表征節(jié)點目標間的空間關系，將區(qū)域特征F與區(qū)域空間位置VS聯(lián)合計算，得到包含每個目標區(qū)域位置信息的潛在空間特征。最后將潛在空間特征與視覺特征級聯(lián)，計算最終分類與回歸結果。

為更好表征金具間的空間布局，捕獲目標間的空間知識，本文采用相對幾何特征B={bi}作為空間區(qū)域圖的輸入。首先利用目標檢測器的骨干網絡與RPN網絡提取各個目標區(qū)域的預測框。為提取固定尺度相對幾何特征B，本文將單個目標預測框的相對幾何信息bi表示成長度為5的幾何向量，如公式(7)所示：

(7)

式中：W和H分別是輸入航拍圖像的寬度與高度；xi、yi、wi和hi分別為區(qū)域i的中心點坐標與寬度和高度；pi為當前區(qū)域的置信度分數。

對于給定的目標區(qū)域i和j，我們提取相應的幾何特征bi和bj，并使用MLP學習兩區(qū)域的相關關系，如公式(8)所示：

(8)

(9)

(10)

3 實驗結果與分析

本文采用現(xiàn)場采集的1 455張輸電線路航拍圖像進行人工標注，形成金具檢測數據集。該數據集共包括9 098個檢測目標，包含預絞式懸垂線夾、提包式懸垂線夾、壓縮型耐張線夾、鍥型耐張線夾、掛板、U型掛環(huán)、聯(lián)板、并溝線夾、防震錘、間隔棒、均壓環(huán)、屏蔽環(huán)、重錘、調整板共14類金具。

本文所述模型使用Faster R-CNN作為基線模型，以預訓練的ResNet-101作為特征提取網絡，訓練集與測試集比例為3∶1。在訓練過程中隨機水平翻轉進行數據增強，該模型的基本參數為：初始學習率為0.001，迭代次數為20，batch size為1，采用隨機梯度下降算法(stochastic gradient descent, SGD)作為優(yōu)化器，交叉熵作為損失函數。采用NVIDIA 1080Ti專業(yè)加速卡進行訓練與測試；利用CUDA10.0加速訓練；網絡開發(fā)框架為Pytorch。

3.1 聚類分析

基于輸入的金具檢測數據集，本實驗提取到9 098個目標框的標注框尺寸，輸入信息為各個標注框的寬與高，即N=9 098，m=2。分別設置初始聚類中心k=2, 3, 4, 5, 6, 7并對標注框尺寸進行聚類分析，結果如圖4所示。

圖4 聚類結果Fig. 4 Clustering results

其中圖4的橫、縱坐標分別表示金具目標標注框的相對寬度與高度，不同顏色的樣本點分別代表不同的聚類簇，簇內的黑色叉號表示該類數據的聚類中心?？梢钥闯觯捎诮鹁吖ぷ鳝h(huán)境往往不易近距離拍攝，相比于5 760×3 840分辨率的航拍圖像，金具呈現(xiàn)明顯的小尺度特點，其中目標框面積小于航拍圖像1%像素尺寸的數量為7 171個，約占數據集中全部目標的79%。

計算不同聚類中心數的中心點坐標和寬高比，并利用相對寬度與高度的聚類結果作為聚類數據，根據式6計算相應CH指標，結果如表1所示。

表1 不同聚類中心數的聚類結果Tab.1 Clustering results with different numbers of cluster centers

由表1可以看出，當聚類中心數為5時CH指標的值最大，即此時聚類效果最好。分析聚類中心數為5的中心點坐標可以看出，簇中心面積的極值范圍集中在2162～2 3872之間。結合特征提取網絡ResNet101在原圖的感受野為642，因此本文設定錨框適配尺度為(2, 4, 8, 16, 32)。此時，生成錨框能夠覆蓋(1282, 2562, 5122, 1 0242, 2 0482)大小的原始圖像，即錨框極大值、極小值尺寸能夠在最大程度上匹配金具標注框面積分布。分析寬高比可以發(fā)現(xiàn)，聚類中心點的寬高比集中在0.41～1.72之間，目標標注框的比例與預設錨框比例基本一致，所以保持錨框比例(2∶1, 1∶1, 1∶2)保持不變。上述錨框尺度與比例的修改有助于本文所述算法達到適配金具檢測任務的尺度約束效果，幫助更好解決金具小尺度問題。

3.2 模型實驗與比較

以單類金具檢測平均精度(Average Precision, AP)為評價指標，本文首先給出了基線模型Faster R-CNN與本文所述模型SCSI R-CNN在多類金具檢測性能的比較結果，如表2所示。

由表2可以看出，與基線模型相比，雖然本文所述SCSI R-CNN算法在壓縮型耐張線夾、屏蔽環(huán)和重錘等大尺度金具的檢測精度有所下降，但基本與Faster R-CNN檢測準確率持平。同時對比U型掛環(huán)、并溝線夾等小尺度金具，以及提包式懸垂線夾、調整板等易產生遮擋的金具，本文算法都能較好提高其檢測率，如并溝線夾等單類金具的AP提升最多達到25.24%。綜上可知，SCSI R-CNN算法將輸電線路金具的尺度約束與空間信息融合到目標檢測模型中，對小尺度目標、遮擋目標具有良好的改善效果。

表2 單類金具檢測準確率比較Tab.2 Comparison of detection accuracy of single-type fittings

為驗證本文所述SCSI R-CNN在多金具檢測任務中的檢測性能，本文在保證超參數相同的情況下比較了SSD[18]、RetinaNet[19]、YOLOv4[20]、Faster R-CNN、HKRM[21]以及本文算法的模型性能，通過MS COCO2014[22]中COCO評價指標對模型進行評估。比較結果如表3所示。

表3 檢測算法性能比較Tab.3 Performance comparison of detection methods

可以看出，相比于Faster R-CNN，本文所述算法在基本檢測性能AP50上提高了6.8%，與其他算法相比，無論是一階段檢測模型SSD、RetinaNet或YOLOv4，還是二階段檢測模型Faster R-CNN與HKRM，SCSI R-CNN都在各個檢測指標上取得了較高的提高。需要注意的是，APS與ARS分別代表對于小目標檢測的準確率與召回率，相比于基線模型，本文所述算法分別取得了5.8%與7.8%的提升，有效展示出尺度約束在解決金具小目標問題的性能提高。

圖5給出了本文所述算法與Faster R-CNN的可視化檢測結果?？梢钥闯?，由于工作背景復雜，圖5(a)紅色方框中輸電桿塔被Faster R-CNN算法誤判為小尺度金具——并溝線夾，SCSI R-CNN算法通過尺度約束對小目標檢測的適配性，改善了此類誤檢現(xiàn)象，如圖5(d)所示。同樣地，用于金具間相互連接的掛板往往受限于自身尺寸，因此往往檢測準確率不高。比較圖5(b)與圖5(e)中黃色方框可以看出，F(xiàn)aster R-CNN漏檢的兩個掛板被本文所述算法成功檢出，即基于標注框聚類分析的尺度約束有利于檢測模型對輸電線路金具形狀與尺度進行更加準確地適配，尤其對于小尺度目標的提升顯著。根據圖5(c)與圖5(f)中黃色方框亦可看出，對于U型掛環(huán)、提包式懸垂線夾等小尺度金具的檢測效果有了良好的改善。最后，由于輸電線路金具的組合結構，往往會導致密集目標間的相互遮擋。對比圖5(c)與圖5(f)中紫色方框可以看出，由于屏蔽環(huán)對U型掛環(huán)、壓縮型耐張線夾、掛板等金具的遮擋，以及防震錘大量組合使用的互相遮擋，F(xiàn)aster R-CNN在左上側與下側的金具組合結構中發(fā)生了大量漏檢，降低了模型檢測性能。因此SCSI R-CNN算法基于金具目標間的空間信息對視覺特征進行增強，大大改善了航拍圖像中密集金具目標的遮擋問題，驗證了潛在空間特征輔助目標檢測的有效性。

圖5 可視化結果比較Fig. 5 Comparison of visualization results

3.3 消融實驗

為了更好理解尺度約束與空間信息對SCSI R-CNN算法的作用，本文對部分超參數進行了消融實驗。首先針對尺度約束中不同錨框尺度數量對檢測準確率的影響進行比較，然后采用不同維度E的潛在空間特征對檢測準確率進行超參數對比實驗，結果如表4所示。

表4 消融實驗結果Tab.4 Results of ablation experiments

可以看出，隨著錨框尺度數的增加，算法準確率逐漸增加，即金具檢測準確率對于小尺度錨框的適配度更高，更多小尺寸錨框的生成往往有助于檢測輸電線路金具這類小尺寸目標，能夠有效提升檢測準確率5.15%。另外，通過對潛在空間特征維度E的超參數實驗可以看出，適宜的特征維度能夠提升算法性能1.61%。然而過低或過高的特征維度對算法提升較小，即產生欠擬合或過擬合等問題。甚至當潛在空間特征維度達到2 048維時會導致算法準確率的下降。

4 結 論

(1) 本文以輸電線路多金具檢測為目標，以Faster R-CNN檢測算法為基礎框架，以多金具尺度不一與相互遮擋為研究問題，以尺度約束與空間信息為研究方法，搭建適配金具檢測任務的目標檢測算法SCSI R-CNN。

(2) 本文利用聚類分析算法對標注框尺度進行改進，通過錨框相關參數的更新解決了模型與任務間的適配問題。以檢測目標的幾何位置特征為輸入，采用多層感知機實現(xiàn)目標間空間關系提取與特征增強，解決了單一視覺特征易受目標遮擋影響的問題。

(3) 本文針對現(xiàn)場采集的輸電線路實際航拍圖像訓練并測試模型。實驗結果表明，本文所述算法相比于基線模型提高了6.76%的檢測準確率，對于單類金具最多達到25.24%的提高，能夠良好解決金具小目標與遮擋影響等問題，為檢測模型應用落地提供更好的改進方式。