翟永杰，楊旭，趙振兵，王乾銘，趙文清

（1. 華北電力大學(xué) 控制與計(jì)算機(jī)工程學(xué)院，河北 保定 071003; 2. 華北電力大學(xué) 電氣與電子工程學(xué)院，河北 保定 071003）

近年來，隨著電網(wǎng)高速發(fā)展與全面覆蓋，輸電線路作為電力傳輸中的核心系統(tǒng)，其穩(wěn)定運(yùn)行對電網(wǎng)的安全有著至關(guān)重要的影響[1-2]。其中，金具作為輸電線路的重要附件，起到了固定、防護(hù)與接續(xù)以及維持整個線路穩(wěn)定運(yùn)行的作用[3-4]。由于金具的工作環(huán)境往往處在復(fù)雜惡劣的野外環(huán)境，極易發(fā)生銹蝕、變形、破損等缺陷，因此對輸電線路進(jìn)行定期巡檢將大大減少輸電線路故障的發(fā)生[5]。

隨著數(shù)字圖像處理與無人機(jī)監(jiān)控技術(shù)的發(fā)展，基于航拍圖像處理的輸電線路金具巡檢技術(shù)已成功應(yīng)用[3]。目前常用的方法可以分為3類：基于特征描述的算法、基于經(jīng)典機(jī)器學(xué)習(xí)的算法和基于深度學(xué)習(xí)的算法。其中，基于特征描述的算法主要利用形狀[6-7]、邊緣[8]、輪廓[9-10]等形態(tài)學(xué)特征，或圖形基元[11]、共生紋理[12]等手工特征實(shí)現(xiàn)對防振錘、絕緣子、間隔棒等輸電線路部件的特征提取與識別，在實(shí)際應(yīng)用中往往會受到成像條件、外界環(huán)境等因素變化的影響，導(dǎo)致金具的識別可靠性不高，難以滿足工業(yè)應(yīng)用要求?；诮?jīng)典機(jī)器學(xué)習(xí)算法的金具識別往往通過傳統(tǒng)特征提取方法與經(jīng)典線性分類器相結(jié)合的方法[13-15]完成金具識別任務(wù)。相比于最初的特征描述方法，機(jī)器學(xué)習(xí)算法在一定程度上提高了可靠性，但模型受到人工構(gòu)建的限制難以無法深度挖掘樣本特征，在識別的準(zhǔn)確率上仍有很大的提升空間。隨著深度學(xué)習(xí)在公開數(shù)據(jù)集中的流行與發(fā)展[16]，基于深度學(xué)習(xí)目標(biāo)檢測算法的金具定位與檢測研究得到了國內(nèi)外研究學(xué)者的廣泛關(guān)注，如文獻(xiàn)[17]結(jié)合多顯著性目標(biāo)檢測技術(shù)與邏輯判斷對輸電線路金具航拍圖像實(shí)現(xiàn)目標(biāo)檢測；文獻(xiàn)[18]結(jié)合輸電線路金具的特征，使用深度可分離卷積與多尺度特征融合方法實(shí)現(xiàn)絕緣子、懸垂線夾、防震錘三類部件的識別與檢測；文獻(xiàn)[19]結(jié)合RFB模型與Focal-loss損失函數(shù)一定程度上緩解了絕緣子樣本不平衡問題，提高了檢測速度與準(zhǔn)確率；文獻(xiàn)[20]采用ResNet網(wǎng)絡(luò)對SSD目標(biāo)檢測算法進(jìn)行改進(jìn)，完成了較高檢測精度與置信度的絕緣子任務(wù)。然而，上述工作僅是針對輸電線路金具本身特性對目標(biāo)檢測模型進(jìn)行適用性應(yīng)用與改進(jìn)，未能將模型與電力領(lǐng)域業(yè)務(wù)知識有效融合。同時，受限于金具工作環(huán)境的特殊性，金具數(shù)據(jù)集往往存在嚴(yán)重的樣本不平衡問題，對于某些樣本較少的金具，單一的深度檢測模型不能準(zhǔn)確地對關(guān)鍵部件進(jìn)行檢測。

為促進(jìn)深度學(xué)習(xí)模型與電力領(lǐng)域業(yè)務(wù)知識有機(jī)融合，緩解金具樣本間樣本不平衡問題，本文深入研究輸電線路金具結(jié)構(gòu)化組合規(guī)則，結(jié)合輸電線路航拍圖像構(gòu)建多種金具間的共現(xiàn)矩陣，以Faster R-CNN模型作為目標(biāo)檢測基礎(chǔ)框架，利用表達(dá)金具組合規(guī)則的共現(xiàn)矩陣作為先驗(yàn)指導(dǎo)，設(shè)計(jì)共現(xiàn)推理模塊并嵌入目標(biāo)檢測模型中，進(jìn)一步提高了模型檢測的準(zhǔn)確性，為輸電線路金具運(yùn)行狀態(tài)的智能檢測提供新的思路。

1 研究背景

在輸電線路中多種金具的組合結(jié)構(gòu)具有一定的規(guī)則性[21]，如懸垂絕緣子串系統(tǒng)中，從低壓側(cè)到高壓側(cè)間金具排列結(jié)構(gòu)由絕緣子與均壓環(huán)和U型掛環(huán)與掛板、聯(lián)板依次連接，最終通過懸垂線夾與高壓側(cè)導(dǎo)線相連；而用于避免導(dǎo)線舞動幅度過大導(dǎo)致線路跳閘的重錘，也上接均壓環(huán)、下連懸垂線夾，通過這樣的連接方式保證重錘安全、有效地增加絕緣子串垂直荷重。輸電線路常見金具組合結(jié)構(gòu)如圖1所示，其中圖1(a)和圖1(b)分別展示了輸電線路懸垂絕緣子結(jié)構(gòu)與防舞動結(jié)構(gòu)的部分示例。由圖可知，目前輸電線路中金具的組裝結(jié)構(gòu)較為固定，具有豐富經(jīng)驗(yàn)的巡檢工人只需要通過組裝結(jié)構(gòu)就可以判斷出被遮擋金具的大致位置。然而，當(dāng)前的深度檢測算法僅對圖像中的物體進(jìn)行獨(dú)立檢測，沒有有效利用目標(biāo)之間的相互關(guān)系。

圖 1 輸電線路常見金具組合結(jié)構(gòu)示例Fig. 1 Examples of common hardware combinations in transmission lines

同時，由于輸電線路工作環(huán)境的復(fù)雜多變，常用金具種類繁多，可分為線夾、連接金具、接續(xù)金具、防護(hù)金具、拉線金具、接觸金具、母線金具等多個粗粒度類別，每一大類下還有眾多細(xì)粒度類別。由于多種金具的運(yùn)行環(huán)境與作用各不相同，因此在輸電線路中多個金具的組合結(jié)構(gòu)所需數(shù)量也往往各有不同，如提包式懸垂線夾常用于多個組合結(jié)構(gòu)中連接金具與導(dǎo)線，使用數(shù)量與頻率都比較高；而用于非直線桿塔跳線的并溝線夾，因其承擔(dān)任務(wù)的特殊性，所以應(yīng)用數(shù)量與頻率較少。因此，在輸電線路航拍圖像金具數(shù)據(jù)集中，會出現(xiàn)數(shù)據(jù)不平衡和長尾分布的問題。圖2展示出本文所用金具檢測數(shù)據(jù)集中各個金具的標(biāo)注框在整個數(shù)據(jù)集的分布情況，其中數(shù)據(jù)集共含金具14種，標(biāo)注框9 101個?？梢钥闯?，各個金具標(biāo)注框數(shù)量依次降低，且前5種金具標(biāo)注框數(shù)量占整體標(biāo)注框數(shù)量70%以上，呈現(xiàn)出非常嚴(yán)重的長尾分布問題。然而當(dāng)前深度學(xué)習(xí)算法往往是基于數(shù)據(jù)驅(qū)動的，面對缺乏大量樣本的混淆類別與長尾數(shù)據(jù)，性能會有很大下降。

圖 2 金具檢測數(shù)據(jù)集中標(biāo)注框數(shù)量分布Fig. 2 Quantity distribution of bounding boxs in fittings detection dataset

物體之間的關(guān)系可以幫助提高物體識別能力，這在人類常識上已經(jīng)得到了很好的認(rèn)識[22-24]?，F(xiàn)有通用目標(biāo)檢測模型由于多類目標(biāo)檢測缺乏共性的結(jié)構(gòu)性描述，因此大多還是針對每個物體單獨(dú)進(jìn)行檢測，這種相對獨(dú)立的檢測模型僅僅利用了待檢測物體本身的特征，每種物體的數(shù)據(jù)集數(shù)量和質(zhì)量對檢測結(jié)果具有很大的影響。而在輸電線路金具目標(biāo)檢測場景中，輸電線路金具具有較高規(guī)則性的組裝結(jié)構(gòu)特點(diǎn)，通過對金具組裝結(jié)構(gòu)特點(diǎn)進(jìn)行分析，挖掘相應(yīng)關(guān)系信息為目標(biāo)檢測進(jìn)行輔助判斷以解決數(shù)據(jù)長尾問題。

為了有效利用金具間固有的連接結(jié)構(gòu)，將輸電領(lǐng)域業(yè)務(wù)知識與深度學(xué)習(xí)目標(biāo)檢測模型相融合。本文提出采用共現(xiàn)矩陣[24-27]作為金具目標(biāo)結(jié)構(gòu)性信息的表達(dá)方法，設(shè)計(jì)了描述多類金具間共現(xiàn)關(guān)系的推理模塊并嵌入Faster R-CNN模型中，實(shí)現(xiàn)了融合金具目標(biāo)結(jié)構(gòu)關(guān)系的深度目標(biāo)檢測模型。

2 Faster R-CNN模型

Faster R-CNN算法[28]自2015年由Ren等提出后受到了目標(biāo)檢測領(lǐng)域的廣泛應(yīng)用。相比于單階段的SSD(Single Shot MultiBox Detector)[29]，YOLO(You Only Look Once)[30]算法，二階段算法結(jié)合大規(guī)模數(shù)據(jù)集與深度檢測框架的優(yōu)勢，得到的檢測結(jié)果具備較高的檢測精度與泛化性能。Faster R-CNN算法創(chuàng)新性提出區(qū)域建議網(wǎng)絡(luò)(Region Proposal Network, RPN)，通過端到端的方式解決了R-CNN[31]、Fast R-CNN[32]檢測算法中候選框生成耗時問題，極大提高了雙階段檢測算法的效率。

Faster R-CNN算法的基本框架如圖3所示，主要由卷積神經(jīng)網(wǎng)絡(luò)、RPN網(wǎng)絡(luò)、感興趣區(qū)域池化單元(region of interest pooling, RoI Pooling)以及結(jié)果輸出單元4部分組成。

圖 3 Faster R-CNN檢測框架Fig. 3 Faster R-CNN detection framework

1)卷積神經(jīng)網(wǎng)絡(luò)：利用一系列卷積、池化、非線性模塊的組合，從淺至深提取輸入圖像的多通道特征并形成圖像特征圖(feature map)。

2) RPN網(wǎng)絡(luò)：通過預(yù)設(shè)尺寸與比例的多種錨框進(jìn)行特征圖滑動并生成多個候選框，采用非極大值抑制(non-maximum suppression, NMS)分析并篩選出Nr個目標(biāo)候選區(qū)域。

3) RoI Pooling：將每個目標(biāo)候選區(qū)域均勻分成n×n個圖塊并進(jìn)行最大值池化計(jì)算，得到固定尺度的特征圖候選區(qū)域向量。

4)結(jié)果輸出單元：將步驟3)得到的特征向量輸入全連接層，判斷特征圖候選區(qū)域的類別以及準(zhǔn) 確位置。

3 融合共現(xiàn)推理的Faster R-CNN

3.1 共現(xiàn)概率矩陣構(gòu)建

由圖1可知，輸電線路金具的組裝連接呈現(xiàn)出結(jié)構(gòu)化、固定化的特點(diǎn)，因此屬于同一連接結(jié)構(gòu)的金具往往會在同一幅航拍圖像中共同出現(xiàn)。在大多數(shù)應(yīng)用中，相關(guān)關(guān)系是預(yù)先定義的[22-23,27]。本文通過數(shù)據(jù)驅(qū)動的方式構(gòu)建共現(xiàn)概率矩陣，即通過挖掘標(biāo)簽在數(shù)據(jù)集中的共現(xiàn)模式來定義標(biāo)簽之間的相關(guān)性。

本文以條件概率P(Ly|Lx)的形式對標(biāo)簽相關(guān)性進(jìn)行建模，其中P(Ly|Lx)表示當(dāng)標(biāo)簽Lx出現(xiàn)時標(biāo)簽Ly出現(xiàn)的概率。如圖4 所示，P(Ly|Lx)與P(Lx|Ly)并不相等，因此共現(xiàn)矩陣是非對稱的。

為了構(gòu)建金具檢測數(shù)據(jù)集的共現(xiàn)矩陣，本文首先計(jì)算了訓(xùn)練集中每一圖像中金具標(biāo)簽成對出現(xiàn)的次數(shù)，得到共現(xiàn)次數(shù)統(tǒng)計(jì)矩陣H∈RC×C其中C表示金具類別數(shù)，Hxy表示標(biāo)簽Lx與標(biāo)簽Ly在同一張圖像中出現(xiàn)的次數(shù)，Hxx即對角線元素?cái)?shù)值表示所在金具種類在訓(xùn)練集圖像中出現(xiàn)的次數(shù)。然后通過行歸一化得到共現(xiàn)概率矩陣P∈RC×C，如式(1)所示：

圖 4 成對標(biāo)簽間的條件概率Fig. 4 Conditional probability between pairs labels

根據(jù)式(1)在金具檢測數(shù)據(jù)集中計(jì)算得到的共現(xiàn)如圖5所示，其中每一行金具類別為前文所述標(biāo)簽Lx，每一列金具類別為前文所述標(biāo)簽Ly?？梢钥闯?，當(dāng)聯(lián)板在一張圖像中出現(xiàn)時，U型掛環(huán)、掛板、提包式懸垂線夾等金具出現(xiàn)的概率相應(yīng)增大；同樣的，與重錘共現(xiàn)概率較大的金具分別是提包式懸垂線夾與均壓環(huán)。該結(jié)論與金具組合結(jié)構(gòu)一致，可知共現(xiàn)概率矩陣能夠有效表達(dá)標(biāo)簽間的共現(xiàn)關(guān)系，有利于進(jìn)一步將輸電線路金具組裝結(jié)構(gòu)與深度學(xué)習(xí)模型進(jìn)行合理融合。

圖 5 共現(xiàn)概率矩陣生成圖解Fig. 5 Cooccurrence probability matrix generation diagram

3.2 共現(xiàn)推理模塊

為融合輸電領(lǐng)域業(yè)務(wù)知識與深度學(xué)習(xí)模型，通過共現(xiàn)概率矩陣形成共現(xiàn)推理模塊嵌入Faster R-CNN算法，本文結(jié)合圖學(xué)習(xí)方法，通過學(xué)習(xí)共現(xiàn)概率矩陣中各個種類金具間的相關(guān)關(guān)系并映射計(jì)算共現(xiàn)概率關(guān)聯(lián)作為共現(xiàn)圖的鄰接矩陣，通過Faster R-CNN算法提取的Nr個候選區(qū)域特征向量 作為共現(xiàn)圖的輸入特征，通過自學(xué)習(xí)的變換權(quán)重矩陣作為共現(xiàn)圖傳播的權(quán)重，完成共現(xiàn)圖信息傳播并得到增強(qiáng)知識特征，與原有候選區(qū)域特征級聯(lián)后送入邊界框回歸層與分類層，計(jì)算類別與位置的最終結(jié)果，算法流程圖如圖6所示。

圖 6 本文檢測算法流程圖Fig. 6 Flow chart of detection algorithm for this article

3.2.1 共現(xiàn)圖鄰接矩陣

參照圖推理技術(shù)，本文所設(shè)計(jì)的共現(xiàn)推理模塊通過候選區(qū)域特征與共現(xiàn)關(guān)聯(lián)等概念實(shí)現(xiàn)共現(xiàn)圖信息傳播與深度模型融合。首先本文通過Faster R-CNN算法所提取的Nr個具有固定特征維度的特征圖候選區(qū)域向量共現(xiàn)圖中結(jié)點(diǎn)N與輸入特征X進(jìn)行定義，其中Nr為Faster R-CNN算法提取候選目標(biāo)數(shù)量，D為每個候選目標(biāo)區(qū)域的特征維度，ε和W分別為圖的鄰接矩陣與傳播權(quán)重。根據(jù)特征圖候選區(qū)域向量f的維度，本文使用Nr個視覺特征作為圖傳播結(jié)點(diǎn)的輸入特征X，即可得到Nr個圖傳播結(jié)點(diǎn)

對于共現(xiàn)圖鄰接矩陣，本文采用有監(jiān)督的方式將金具結(jié)構(gòu)性特征通過共現(xiàn)概率矩陣與目標(biāo)檢測模型進(jìn)行融合。計(jì)算過程如下所述：

1)為保證能夠有效利用預(yù)訓(xùn)練的共現(xiàn)概率矩陣P中的信息并嵌入目標(biāo)檢測模型形成端對端網(wǎng)絡(luò)，本文定義共現(xiàn)候選圖表示C類目標(biāo)種類到Nr個目標(biāo)結(jié)點(diǎn)及其先驗(yàn)邊權(quán)的共現(xiàn)關(guān)系映射矩陣。在訓(xùn)練過程中，當(dāng)我們知道每個區(qū)域的真實(shí)類別時，兩個區(qū)域節(jié)點(diǎn)的邊權(quán)V是按照P中對應(yīng)真實(shí)類別的共現(xiàn)概率映射的，即這種利用區(qū)域結(jié)點(diǎn)真實(shí)樣本的顯式映射將確?？煽康墓铂F(xiàn)信息提取，為后續(xù)共現(xiàn)圖鄰接矩陣的有監(jiān)督學(xué)習(xí)提供有力保證。

式中：MLPQ表示給定共現(xiàn)候選圖Q情況下通過MLP學(xué)習(xí)的矩陣參數(shù)；α(·) 表示對于兩兩結(jié)點(diǎn)的輸入特征 (fi,fj) 進(jìn)行L1范式計(jì)算的結(jié)果。對于給定不同的共現(xiàn)候選圖Q， M LPQ通過可學(xué)習(xí)參數(shù)利用兩兩視覺特征的差異形成不同結(jié)點(diǎn)間的不同邊緣關(guān)系連接，從而實(shí)現(xiàn)個性化知識推理。

3.2.2 基于圖推理的特征挖掘

最后，將原始視覺特征f與增強(qiáng)特征f′級聯(lián)，得到融合共現(xiàn)推理模塊的聯(lián)合特征，輸入到Faster R-CNN算法的結(jié)果輸出單元，完成類別分類與位置框回歸，得到最終結(jié)果。聯(lián)合特征計(jì)算流 程圖如圖7所示。

圖 7 聯(lián)合特征計(jì)算流程圖Fig. 7 Flow chart of joint feature calculation

4 實(shí)驗(yàn)結(jié)果及分析

本文選用金具檢測數(shù)據(jù)集包含預(yù)絞式懸垂線夾、提包式懸垂線夾、壓縮型耐張線夾、鍥型耐張線夾、掛板、U型掛環(huán)、聯(lián)板、并溝線夾、防震錘、間隔棒、均壓環(huán)、屏蔽環(huán)、重錘、調(diào)整板等14種金具，其中訓(xùn)練集與測試集樣本圖像分別為1 092和363張，數(shù)量比例為3∶1，共包含金具目標(biāo)數(shù)9 101個。

本文所述模型采用NVIDIA 1080Ti專業(yè)加速卡進(jìn)行訓(xùn)練與測試；采用的操作系統(tǒng)為Ubuntu16.04.6 LTS，利用CUDA10.0加速訓(xùn)練；使用的計(jì)算機(jī)語言為Python3.6，網(wǎng)絡(luò)開發(fā)框架為Pytorch。為了驗(yàn)證共現(xiàn)推理模塊的有效性，以Faster R-CNN作為基礎(chǔ)框架進(jìn)行改進(jìn)。本文采用目前目標(biāo)檢測模型中常用的評價指標(biāo)平均精度均值(mean average precision, mAP)對模型進(jìn)行評估，通過度量目標(biāo)檢測框與真值框間的交并比(intersection over union,IoU)計(jì)算各類目標(biāo)平均精度(average precision,AP)，以所有類目標(biāo)的AP平均值作為目標(biāo)檢測模型的最終評價指標(biāo)。

表1給出了融合共現(xiàn)推理模塊前后的金具檢測的AP值結(jié)果，所用模型的batchsize為1，學(xué)習(xí)率為0.002，學(xué)習(xí)率衰減為9，最大迭代次數(shù)為20?？梢暬Y(jié)果如圖8所示，其中x軸為各個金具的類別，y軸為每一類金具檢測的AP值，藍(lán)色柱為Faster R-CNN模型檢測結(jié)果，紅色柱為融合共現(xiàn)推理模塊后檢測模型結(jié)果，色柱上方數(shù)字為融合推理模塊后檢測AP值的提升情況，金具種類按照AP提升數(shù)值從左至右降序排列。

表 1 融合共現(xiàn)推理模塊前后的金具檢測結(jié)果Table 1 Fitting detection results before and after integrating co-occurrence reasoning module

由圖8可以看出，融合共現(xiàn)推理模塊對絕大多數(shù)金具都具有較高的提升，比較圖4可知，鍥型耐張線夾、壓縮性耐張線夾、并溝線夾、預(yù)絞式懸垂線夾等AP值提升較大的金具與其他金具間共現(xiàn)關(guān)系較為密切，且該4類金具的目標(biāo)樣本數(shù)量僅占數(shù)據(jù)集內(nèi)總樣本數(shù)量的8.03%。然而，均壓環(huán)、提包式懸垂線夾等金具的AP值并沒有提高，甚至有所下降，其原因在于：這些金具往往在多種結(jié)構(gòu)中都有應(yīng)用，因此共現(xiàn)概率差別較小。綜上可知，融合共現(xiàn)推理模塊的目標(biāo)檢測模型可以有效利用金具間的固定結(jié)構(gòu)關(guān)系，通過共現(xiàn)關(guān)系將輸電領(lǐng)域業(yè)務(wù)知識嵌入到目標(biāo)檢測模型之中，降低了對數(shù)據(jù)集樣本的數(shù)量要求，能夠有效緩解輸電線路航拍數(shù)據(jù)集的樣本不平衡與長尾分布問題。

為全面評估融合共現(xiàn)推理的目標(biāo)檢測模型性能，本文在保證超參數(shù)相同的情況下比較了SSD512[29]、Faster R-CNN[28]、RetinaNet[33]以及本文算法的模型性能，如表2所示。

圖 8 金具檢測可視化結(jié)果Fig. 8 Visual results of fitting detection

表 2 檢測方法性能比較Table 2 Performance comparison for detection methods

由表2可知，融合共現(xiàn)推理模塊后的Faster R-CNN模型相比于基線模型檢測性能mAP提升了6.56個百分點(diǎn)，與其他算法相比，對于采用V GG16作為骨干網(wǎng)絡(luò)的SSD算法或ResNet101作為骨干網(wǎng)絡(luò)的RetinaNet算法仍有較高提升。

圖9給出了融合共現(xiàn)推理模塊前后的Faster R-CNN模型的定性可視化結(jié)果?？梢钥闯?，圖9(a)中基線模型雖然檢測出防震錘，但漏檢了U型掛環(huán)與提包式懸垂線夾，同樣的，圖9(b)中基線模型漏檢了重錘上側(cè)與絕緣子相連的均壓環(huán)，在圖9(c)中基線模型誤將遠(yuǎn)處背景的棚架檢測為屏蔽環(huán)。而在圖9(d)、(e)、(f)中，融合共現(xiàn)推理模塊的Faster R-CNN模型檢測結(jié)果對這些問題均有了很好的改善。結(jié)合圖4可知，當(dāng)防震錘出現(xiàn)時，U型掛環(huán)與提包式懸垂線夾出現(xiàn)頻率往往較高，并且防舞動結(jié)構(gòu)中重錘與均壓環(huán)存在著較為固定的結(jié)構(gòu)性連接，在共現(xiàn)模型輔助信息的判斷下，這些漏檢問題都得到了改善。同樣的，用于引導(dǎo)避雷器外泄電流的屏蔽環(huán)與壓縮型耐張線夾、掛板、U型掛環(huán)等金具連接，與圖9(c)中重錘、提包式懸垂線夾等金具關(guān)聯(lián)不大，因此融合共現(xiàn)推理模塊能夠有效利用金具間共現(xiàn)關(guān)聯(lián)關(guān)系，有效避免此類非結(jié)構(gòu)化金具的誤檢問題，同時促進(jìn)固定連接結(jié)構(gòu)的金具檢測性能，驗(yàn)證了共現(xiàn)推理模塊的有效性。

圖 9 融合共現(xiàn)推理模塊前后檢測可視化結(jié)果Fig. 9 Detection visual results before and after integrating co-occurrence reasoning module

為了更好理解共現(xiàn)矩陣和增強(qiáng)特征維度在算法中的作用，本文修改部分超參數(shù)進(jìn)行了消融實(shí)驗(yàn)，首先采用全1矩陣替換所提取的共現(xiàn)概率矩陣P，然后采用不同參數(shù)對增強(qiáng)特征維度E進(jìn)行超參數(shù)對比實(shí)驗(yàn)，結(jié)果如表3所示。

可以看出，當(dāng)利用全1矩陣替換共現(xiàn)概率矩 陣后，增強(qiáng)特征僅能利用基線模型輸入的視覺特征進(jìn)行加權(quán)并輸出，無法對金具間的共現(xiàn)關(guān)聯(lián)進(jìn)行有效學(xué)習(xí)，其檢測結(jié)果低于本文所述算法結(jié)果3.87個百分點(diǎn)。因此，本文所用的共現(xiàn)概率矩陣可以對金具間結(jié)構(gòu)性關(guān)聯(lián)進(jìn)行有效表征，有利于融合輸電線路業(yè)務(wù)知識提高金具檢測準(zhǔn)確性。另外，通過對增強(qiáng)特征維度 E 的超參數(shù)實(shí)驗(yàn)可以看出，適宜的增強(qiáng)特征維度可以有效提升算法性能0.35～0.71個百分點(diǎn)，維度過高或過低會產(chǎn)生特征欠 擬合或特征冗余等問題，導(dǎo)致檢測性能的下降。

表 3 消融實(shí)驗(yàn)性能比較Table 3 Performance comparison of ablation experiments

5 結(jié)束語

由于輸電線路金具的結(jié)構(gòu)性連接與組裝結(jié)構(gòu)往往具有規(guī)則性，且該特點(diǎn)具有緩解樣本數(shù)量不均衡這一優(yōu)勢，本文結(jié)合輸電線路航拍圖像構(gòu)建了多種金具間的共現(xiàn)矩陣，基于Faster R-CNN模型作為目標(biāo)檢測基礎(chǔ)框架，利用表達(dá)金具組合規(guī)則的共現(xiàn)矩陣作為先驗(yàn)指導(dǎo)，設(shè)計(jì)共現(xiàn)推理模塊并嵌入目標(biāo)檢測模型中，提出了融合共現(xiàn)推理的Faster R-CNN模型。通過在包含14類金具的數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，融合共現(xiàn)推理模塊的目標(biāo)檢測模型較基線模型有了6.56%的檢測準(zhǔn)確率提升，單類目標(biāo)的AP提升最多達(dá)到21.9%，對于一些樣本數(shù)量較少的金具檢測提升尤其顯著。實(shí)驗(yàn)表明，結(jié)合金具目標(biāo)間的結(jié)構(gòu)化組合，提升模型在先驗(yàn)指導(dǎo)下的檢測能力是實(shí)現(xiàn)金具檢測效果進(jìn)一步提升的有效思路，為促進(jìn)深度學(xué)習(xí)模型與電力領(lǐng)域業(yè)務(wù)知識有機(jī)融合，緩解金具樣本間樣本不平衡問題奠定了堅(jiān)實(shí)的基礎(chǔ)。