臧國(guó)強(qiáng) 劉曉莉 徐穎菲 陳雨露 李文波

深度學(xué)習(xí)在電力設(shè)備缺陷識(shí)別中的應(yīng)用進(jìn)展

臧國(guó)強(qiáng)1,2劉曉莉3徐穎菲1,2陳雨露4李文波1

（1. 中國(guó)科學(xué)院合肥物質(zhì)科學(xué)研究院，合肥 230031；2. 中國(guó)科學(xué)技術(shù)大學(xué)，合肥 230026；3. 國(guó)網(wǎng)根河市供電公司，內(nèi)蒙古根河 022350；4. 安徽大學(xué)物質(zhì)科學(xué)與信息技術(shù)研究院，合肥 230601）

利用深度學(xué)習(xí)可以在電力設(shè)備缺陷識(shí)別中智能、高效、準(zhǔn)確地識(shí)別出電力設(shè)備圖像中的缺陷。本文闡述了缺陷識(shí)別的意義和背景，概括了主流的深度學(xué)習(xí)缺陷識(shí)別模型及其改進(jìn)與優(yōu)化，總結(jié)了當(dāng)前市場(chǎng)的應(yīng)用情況，分析了面臨的挑戰(zhàn)和難點(diǎn)。最后，從自動(dòng)機(jī)器學(xué)習(xí)、樣本數(shù)據(jù)庫(kù)構(gòu)建、電力知識(shí)圖譜等方面分析深度學(xué)習(xí)在未來(lái)電力設(shè)備缺陷識(shí)別中的發(fā)展趨勢(shì)。

深度學(xué)習(xí)；缺陷識(shí)別；電力設(shè)備；智能巡檢

0 引言

電力是我國(guó)經(jīng)濟(jì)發(fā)展、社會(huì)發(fā)展、工業(yè)生產(chǎn)、民生生活、工程建設(shè)等方面不可或缺的重要元素，電力系統(tǒng)的穩(wěn)定運(yùn)行具有極其重要的意義[1]。電力設(shè)備一旦出現(xiàn)故障，會(huì)影響電力系統(tǒng)的安全和穩(wěn)定運(yùn)行，甚至引起電力供應(yīng)中斷，對(duì)國(guó)家和社會(huì)造成重大影響[2]。若不能及時(shí)發(fā)現(xiàn)電力設(shè)備的缺陷并處理，可能會(huì)導(dǎo)致電力設(shè)備故障，所以進(jìn)行電力設(shè)備缺陷管理具有十分重大且必要的意義[3]。

缺陷識(shí)別是電力設(shè)備缺陷管理工作中的重要流程。維護(hù)人員一般通過(guò)日?；?qū)ｍ?xiàng)巡檢采集電力設(shè)備工作狀態(tài)，進(jìn)而發(fā)現(xiàn)其中存在的缺陷。若無(wú)法及時(shí)、準(zhǔn)確、全面地發(fā)現(xiàn)缺陷，則會(huì)影響后續(xù)的缺陷管理工作[4]。

1 電力設(shè)備缺陷識(shí)別的發(fā)展

1.1 從人工巡檢到圖像采集

電力設(shè)備缺陷通常依靠人工巡檢在視距內(nèi)或借助望遠(yuǎn)鏡等設(shè)備被發(fā)現(xiàn)[5]。對(duì)于輸電線路此類分布廣、規(guī)模大的電力設(shè)備，人工巡檢不僅工作量和難度極大，還面臨著復(fù)雜、多變的戶外環(huán)境，工作具有較高的危險(xiǎn)性[6]。隨著技術(shù)的進(jìn)步與發(fā)展，越來(lái)越多的電力維護(hù)單位開始采用無(wú)人機(jī)、巡檢機(jī)器人、固定攝像頭、全景采集等圖像采集設(shè)備對(duì)電力設(shè)備進(jìn)行圖像采集[7]。圖像采集設(shè)備采集到大量的電力設(shè)備圖像后，再由工程師根據(jù)經(jīng)驗(yàn)判斷是否存在缺陷。這種方法的識(shí)別效果受限于工程師的技術(shù)水平和工作經(jīng)驗(yàn)，且識(shí)別效率與工程師數(shù)量和工作時(shí)長(zhǎng)相關(guān)。長(zhǎng)時(shí)間進(jìn)行人工識(shí)別，不僅使工程師精神疲勞，導(dǎo)致識(shí)別精度降低、效率下降，還易對(duì)工程師的身體健康造成傷害[8-9]。

1.2 傳統(tǒng)圖像識(shí)別模式

隨著采集到的圖像數(shù)量越來(lái)越多，將圖像識(shí)別技術(shù)應(yīng)用于電力設(shè)備缺陷識(shí)別中，已經(jīng)成為缺陷識(shí)別的發(fā)展方向之一[10]。在圖像識(shí)別技術(shù)中，特征提取是關(guān)鍵步驟。傳統(tǒng)圖像識(shí)別算法由人工根據(jù)先驗(yàn)知識(shí)和對(duì)任務(wù)的理解提取圖像特征，如根據(jù)電力設(shè)備的特點(diǎn)，提取邊緣、梯度、顏色、紋理等特征，包括尺度不變特征變換（scale invariant feature transform, SIFT）特征、方向梯度直方圖（histogram of oriented gradient, HOG）特征等[11-15]。

但傳統(tǒng)的電力設(shè)備圖像缺陷識(shí)別算法對(duì)圖像特征提取的能力不足，擴(kuò)展性也較差，無(wú)法很好地利用低層特征數(shù)據(jù)，無(wú)法提取深層特征，需要人工設(shè)計(jì)特征[16]。人工設(shè)計(jì)的特征往往針對(duì)給定的設(shè)備類型，因而識(shí)別種類少，數(shù)據(jù)規(guī)模小，泛化能力 差，難以滿足復(fù)雜場(chǎng)景下的多種類電力設(shè)備缺陷識(shí)別要求[17]。

2 深度學(xué)習(xí)缺陷識(shí)別的研究進(jìn)展

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)方向，近年來(lái)在圖像識(shí)別領(lǐng)域取得突出成果。基于深度學(xué)習(xí)的電力設(shè)備缺陷識(shí)別的主要任務(wù)在于對(duì)電力設(shè)備巡檢圖像進(jìn)行圖像識(shí)別，判斷圖像中存在的缺陷并對(duì)其進(jìn)行分類、定位和語(yǔ)義理解。經(jīng)過(guò)多年發(fā)展，較為典型的深度學(xué)習(xí)模型包括深度信任網(wǎng)絡(luò)模型、自編碼網(wǎng)絡(luò)模型及卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks, CNN）模型。

基于卷積神經(jīng)網(wǎng)絡(luò)的圖像識(shí)別算法于2012年取得突破性進(jìn)展[18]，在基于公共圖像數(shù)據(jù)集的分類任務(wù)中取得良好的效果[19]。近年來(lái)，越來(lái)越多的研究者將卷積神經(jīng)網(wǎng)絡(luò)模型應(yīng)用于電力設(shè)備缺陷識(shí)別中，相較于傳統(tǒng)的圖像識(shí)別算法取得了更佳的識(shí)別精度、更強(qiáng)的泛化能力和更快的識(shí)別速度。

2.1 卷積神經(jīng)網(wǎng)絡(luò)缺陷識(shí)別模型

卷積神經(jīng)網(wǎng)絡(luò)是一種包含卷積運(yùn)算仿照生物視覺(jué)機(jī)制構(gòu)建的深層前饋型神經(jīng)網(wǎng)絡(luò)。經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)模型主要有兩類，即基于區(qū)域候選的兩階段模型和基于回歸的單階段模型[20]?；趨^(qū)域候選的模型主要有區(qū)域神經(jīng)網(wǎng)絡(luò)（region-convolutional neural networks, R-CNN）、快速區(qū)域神經(jīng)網(wǎng)絡(luò)（fast-region convolutional neural network, Fast R-CNN）、基于區(qū)域的全卷積網(wǎng)絡(luò)（region-based fully convolutional networks, R-FCN）等；基于回歸的模型主要有YOLO（you only look once）、單點(diǎn)多框檢測(cè)器（single shot multibox detector, SSD）等。

基于區(qū)域候選的模型以較快區(qū)域神經(jīng)網(wǎng)絡(luò)[21]（faster-region convolutional neural network, Faster R-CNN）為代表，是一種兩階段目標(biāo)檢測(cè)模型，其特點(diǎn)是先生成可能包含需要檢測(cè)目標(biāo)的候選框，再進(jìn)一步對(duì)目標(biāo)進(jìn)行檢測(cè)。Faster R-CNN模型是由R-CNN、Fast R-CNN改進(jìn)和優(yōu)化而來(lái)。R-CNN模型是將提取候選區(qū)域替代傳統(tǒng)的窗口滑動(dòng)檢測(cè)，使用卷積神經(jīng)網(wǎng)絡(luò)計(jì)算候選區(qū)域的特征，最后使用支持向量機(jī)分類器進(jìn)行分類。Fast R-CNN模型在R-CNN基礎(chǔ)上進(jìn)行了改進(jìn)，不需要再對(duì)每個(gè)候選區(qū)域單獨(dú)提取特征，而是對(duì)整張圖片提取一次特征，同時(shí)提出感興趣區(qū)域池化對(duì)動(dòng)態(tài)區(qū)域大小進(jìn)行歸一化，并將分類器由支持向量機(jī)更換為softmax函數(shù)，從而提高速度。而Faster R-CNN在此基礎(chǔ)上增加了區(qū)域提取網(wǎng)絡(luò)（region proposal network, RPN），RPN在特征圖中進(jìn)行滑動(dòng)來(lái)選擇所需目標(biāo)，既保證了候選框選擇的準(zhǔn)確性，也提高了網(wǎng)絡(luò)訓(xùn)練的效率[22]。

文獻(xiàn)[23]使用Faster R-CNN模型進(jìn)行高壓電線的缺陷識(shí)別實(shí)驗(yàn)，使用1 917張?jiān)紭颖緢D片，經(jīng)過(guò)處理擴(kuò)張成13 419張樣本。檢測(cè)實(shí)驗(yàn)結(jié)果顯示，對(duì)于高壓電線的斷股、異物缺陷，F(xiàn)aster R-CNN模型實(shí)現(xiàn)了90%以上的AP（average precision），對(duì)于損傷缺陷識(shí)別的AP值也達(dá)到了83%，綜合三類缺陷識(shí)別的mAP（mean average precision）為94%。

基于回歸的單階段檢測(cè)模型以端到端的YOLO[24]、單點(diǎn)多框檢測(cè)器[25]模型為代表。YOLO系列模型的特點(diǎn)在于取消了目標(biāo)區(qū)域建議的機(jī)制，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)直接在一張完整的圖像上進(jìn)行目標(biāo)類別和邊界框回歸的檢測(cè)。由于從輸入到輸出只進(jìn)行一次檢測(cè)，與兩階段檢測(cè)模型相比，其檢測(cè)速度更快，但檢測(cè)精度有所降低[26]。YOLO系列模型經(jīng)過(guò)多年發(fā)展和迭代，目前已發(fā)展至第4代，且第5代也正處于構(gòu)建當(dāng)中[27]。SSD模型將YOLO的回歸思想和Faster R-CNN的候選區(qū)域anchor機(jī)制相結(jié)合，其檢測(cè)速度較Faster R-CNN更快，檢測(cè)精度較YOLO更高[28]?；貧w思想可以對(duì)神經(jīng)網(wǎng)絡(luò)的計(jì)算復(fù)雜度進(jìn)行簡(jiǎn)化，從而提高檢測(cè)速度；采用anchor機(jī)制可以提取不同尺寸的特征，且可提取局部特征以提高檢測(cè)精度。SSD模型采用多尺度的特征提取方法，可提升不同尺度目標(biāo)檢測(cè)的魯棒性[29]。

文獻(xiàn)[30]提出基于改進(jìn)YOLOv3的高壓輸電線路關(guān)鍵部件目標(biāo)檢測(cè)算法，在對(duì)高壓輸電線路防震錘、鳥巢、金具、絕緣子、塔身、塔牌的六類缺陷識(shí)別中，具有較好的效果。實(shí)驗(yàn)結(jié)果表明，YOLOv3針對(duì)防震錘、鳥巢、金具的檢測(cè)精度AP均在80%以上，針對(duì)絕緣子、塔身、塔牌的檢測(cè)精度AP在90%以上，六類的平均精度mAP為89.1%。

為了更好地說(shuō)明深度學(xué)習(xí)缺陷識(shí)別模型的特點(diǎn)及其與傳統(tǒng)圖像識(shí)別算法的區(qū)別，表1從模型機(jī)制、優(yōu)勢(shì)、缺點(diǎn)、適用場(chǎng)景四方面進(jìn)行對(duì)比。

表1 卷積神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)圖像算法對(duì)比

2.2 模型的改進(jìn)和優(yōu)化

單階段、兩階段的卷積神經(jīng)網(wǎng)絡(luò)在目標(biāo)檢測(cè)中具有較好的效果，但面對(duì)電力設(shè)備缺陷識(shí)別任務(wù)還存在一定不足。為了進(jìn)一步提高深度學(xué)習(xí)的電力設(shè)備缺陷識(shí)別效果，研究者還將級(jí)聯(lián)網(wǎng)絡(luò)、遷移學(xué)習(xí)、生成對(duì)抗網(wǎng)絡(luò)（generative adversarial nets, GANs）[31]、注意力機(jī)制、網(wǎng)絡(luò)剪枝等技術(shù)與卷積神經(jīng)網(wǎng)絡(luò)結(jié)合使用，取得了較好的效果。

采用級(jí)聯(lián)形式的識(shí)別模型，可以先對(duì)目標(biāo)部位進(jìn)行檢測(cè)，將檢測(cè)結(jié)果裁剪放大作為下一階段缺陷識(shí)別模型的輸入，從而提高對(duì)小目標(biāo)缺陷的檢測(cè)效果。文獻(xiàn)[32]級(jí)聯(lián)YOLOv3和多個(gè)單分類（one-class classification, OCC）分類器對(duì)輸電線路缺陷進(jìn)行識(shí)別。無(wú)人機(jī)采集到的缺陷圖像先傳入YOLOv3網(wǎng)絡(luò)，獲得部件的位置與邊界框，再對(duì)部件進(jìn)行圖像裁剪，將裁剪后的部件圖像送入OCC分類器進(jìn)行缺陷的判斷。

樣本的數(shù)量對(duì)于深度學(xué)習(xí)模型訓(xùn)練的效果非常重要，樣本數(shù)量少不利于模型的訓(xùn)練[33]。遷移學(xué)習(xí)和GANs是深度學(xué)習(xí)中有效解決樣本數(shù)量少的重要方法[34-35]。遷移學(xué)習(xí)的思想是從源區(qū)域?qū)⒅R(shí)遷移到目標(biāo)區(qū)域，從而提升目標(biāo)區(qū)域模型的性能[36]。在缺陷識(shí)別中，遷移學(xué)習(xí)可以關(guān)聯(lián)不同數(shù)據(jù)集之間的特征，在具備大量樣本的源識(shí)別任務(wù)中進(jìn)行模型訓(xùn)練，把訓(xùn)練出的模型參數(shù)遷移至小樣本識(shí)別任務(wù)模型中，這樣可以減少小樣本識(shí)別所需要的訓(xùn)練樣 本[37]。文獻(xiàn)[38]在電力設(shè)備紅外圖像的識(shí)別模型中使用遷移學(xué)習(xí)的方法，在電磁單元發(fā)熱、動(dòng)靜觸頭接觸位置發(fā)熱、接線板發(fā)熱及金屬連接部分發(fā)熱四大類的熱成像圖像樣本中進(jìn)行遷移學(xué)習(xí)，最終模型的識(shí)別率分別為96%和94%，達(dá)到了較好的效果。

通過(guò)遷移學(xué)習(xí)可以減少模型訓(xùn)練對(duì)樣本的需求量，而通過(guò)GANs可以對(duì)小樣本進(jìn)行擴(kuò)充，緩解樣本數(shù)量不足的困境[39]。傳統(tǒng)的樣本擴(kuò)充技術(shù)主要利用幾何和光學(xué)維度的變換對(duì)圖像進(jìn)行處理[40-41]，未增加額外的特征，對(duì)樣本進(jìn)行的修改較淺，得到的樣本在深度模型訓(xùn)練中容易出現(xiàn)過(guò)擬合[42]。GANs主要包括兩個(gè)網(wǎng)絡(luò)模型，即生成模型和判別模型，其思想是通過(guò)兩個(gè)模型對(duì)抗的方式進(jìn)行學(xué)習(xí)。生成模型生成圖像，判別模型對(duì)生成圖像和真實(shí)圖像的真?zhèn)芜M(jìn)行判別，再根據(jù)判別器的輸出對(duì)生成器的參數(shù)進(jìn)行修正，同時(shí)調(diào)整判別器自身參數(shù)[43]，在反復(fù)的訓(xùn)練過(guò)程中提高生成圖像的逼真度。文獻(xiàn)[44]基于GANs構(gòu)建了電力設(shè)備缺陷樣本擴(kuò)充模型，并針對(duì)X光耐張線夾圖像進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，基于GANs的樣本擴(kuò)充模型生成的樣本數(shù)據(jù)集可以應(yīng)用于缺陷識(shí)別模型的訓(xùn)練，且提高了識(shí)別精度。

復(fù)雜背景的干擾一直是提高電力設(shè)備缺陷識(shí)別精度的難點(diǎn)。在深度學(xué)習(xí)視覺(jué)圖像領(lǐng)域的發(fā)展過(guò)程中，研究者們引入了注意力機(jī)制[45]。注意力機(jī)制模擬人腦在處理視覺(jué)信息時(shí)可以快速掃描圖像，獲取關(guān)鍵信息，形成注意力焦點(diǎn)，并在焦點(diǎn)區(qū)域內(nèi)進(jìn)行更加仔細(xì)地特征提取[46]。注意力機(jī)制的核心目標(biāo)是在輸入的大量信息中提高對(duì)當(dāng)前任務(wù)更重要信息的關(guān)注度，降低或過(guò)濾其他無(wú)用信息，從而提高模型的效率和準(zhǔn)確率。文獻(xiàn)[47]對(duì)SSD模型進(jìn)行改進(jìn)，引入注意力機(jī)制后，目標(biāo)和背景的差異明顯被放大，網(wǎng)絡(luò)捕獲了更多的目標(biāo)信息，減少了背景的影響。

網(wǎng)絡(luò)剪枝是實(shí)現(xiàn)深度學(xué)習(xí)網(wǎng)絡(luò)模型壓縮的一種有效方法。通過(guò)對(duì)權(quán)重低的冗余參數(shù)進(jìn)行修剪，可以減少模型內(nèi)的參數(shù)數(shù)量，降低網(wǎng)絡(luò)的復(fù)雜度，提高模型的運(yùn)行速度，降低模型對(duì)計(jì)算資源的開銷，還能防止過(guò)擬合[48]。因而可降低模型對(duì)計(jì)算設(shè)備的門檻要求，使可選的計(jì)算設(shè)備更加廣泛。除了高性能的中心化計(jì)算設(shè)備以外，移動(dòng)計(jì)算設(shè)備亦可承擔(dān)計(jì)算工作，為邊緣計(jì)算提供條件。文獻(xiàn)[49]利用基于YOLOv3的改進(jìn)模型進(jìn)行五類電力設(shè)備缺陷樣本的識(shí)別，使用網(wǎng)絡(luò)剪枝方法對(duì)網(wǎng)絡(luò)模型進(jìn)行壓縮，并成功部署在輕量級(jí)Jetson AGX Xavier平臺(tái)上。

表2對(duì)缺陷識(shí)別模型的改進(jìn)和優(yōu)化方法進(jìn)行了梳理和總結(jié)，可以更清晰地說(shuō)明不同方法的機(jī)制和應(yīng)用效果。

表2 深度學(xué)習(xí)缺陷識(shí)別模型優(yōu)化方法

2.3 市場(chǎng)應(yīng)用情況

輸電線路缺陷識(shí)別是目前深度學(xué)習(xí)在我國(guó)電力設(shè)備缺陷管理中常見(jiàn)的應(yīng)用場(chǎng)景。我國(guó)的高壓輸電線路長(zhǎng)期處于惡劣的自然環(huán)境之中，容易產(chǎn)生各種缺陷，同時(shí)巡檢的成本較高、效率較低，對(duì)于提高巡檢和缺陷識(shí)別效率有迫切的需求。目前的缺陷識(shí)別需求方主要以負(fù)責(zé)輸電線路實(shí)際管理工作的各省市級(jí)電網(wǎng)公司為主；技術(shù)研發(fā)方以電網(wǎng)系統(tǒng)內(nèi)各相關(guān)研究院、軟件院和主營(yíng)無(wú)人機(jī)巡檢、人工智能的高新技術(shù)公司為主。

在國(guó)家“新基建”大力發(fā)展人工智能的背景下，電網(wǎng)公司已從戰(zhàn)略層面加強(qiáng)人工智能在電力系統(tǒng)中的投入和研究，暢通科技成果轉(zhuǎn)化渠道，推動(dòng)成果落地?；谏疃葘W(xué)習(xí)的電力設(shè)備缺陷識(shí)別是電力人工智能領(lǐng)域具有代表性的科技成果之一。一方面，電網(wǎng)公司建立“人工智能聯(lián)合實(shí)驗(yàn)室”，提出“兩庫(kù)一平臺(tái)”（即樣本庫(kù)、模型庫(kù)和訓(xùn)練平臺(tái)）總部級(jí)訓(xùn)練平臺(tái)的建設(shè)任務(wù)，推動(dòng)在各個(gè)省市級(jí)公司的應(yīng)用，并聯(lián)合各大互聯(lián)網(wǎng)公司共同探索和開發(fā)電力人工智能，發(fā)揮互聯(lián)網(wǎng)公司的算法技術(shù)優(yōu)勢(shì)和電網(wǎng)公司的數(shù)據(jù)優(yōu)勢(shì)；另一方面，各地市電網(wǎng)公司為了提高管理效率，通過(guò)招標(biāo)的方式采購(gòu)基于深度學(xué)習(xí)的輸電線路缺陷識(shí)別技術(shù)服務(wù)和產(chǎn)品，靈活滿足當(dāng)前的缺陷數(shù)字化智能管理需求。

3 深度學(xué)習(xí)缺陷識(shí)別挑戰(zhàn)及展望

3.1 深度學(xué)習(xí)缺陷識(shí)別面臨的挑戰(zhàn)

盡管深度學(xué)習(xí)在圖像識(shí)別研究中具有良好的識(shí)別效果，技術(shù)發(fā)展也較為迅速和全面，但面對(duì)復(fù)雜多變的電力設(shè)備缺陷識(shí)別任務(wù)，現(xiàn)有的研究多在實(shí)驗(yàn)室條件下進(jìn)行，若要在實(shí)際缺陷管理中獲得良好的應(yīng)用效果，仍然存在一些挑戰(zhàn)。

電力設(shè)備缺陷種類眾多[50]，其跨度也較大，有數(shù)厘米大小的螺栓、銷釘缺陷，也有數(shù)米大小的塔桿缺陷[51]。圖像采集設(shè)備的拍攝分辨率有限，小尺度的缺陷在圖像中占比較小，有效信息不足[52]。而用于深度學(xué)習(xí)模型識(shí)別的圖像往往會(huì)被壓縮處理，進(jìn)一步提高了小目標(biāo)缺陷識(shí)別的難度[53]。盡管模型的不斷改進(jìn)、樣本質(zhì)量的提高對(duì)小目標(biāo)缺陷識(shí)別效果有較大提升，但在實(shí)際應(yīng)用中，小目標(biāo)缺陷識(shí)別精度的提高，依然是當(dāng)前電力設(shè)備缺陷識(shí)別的挑戰(zhàn)之一。

由于樣本采集設(shè)備在不同季節(jié)、角度、光照、背景等條件下進(jìn)行樣本采集，采集到的樣本具有復(fù)雜的視覺(jué)呈現(xiàn)，導(dǎo)致缺陷識(shí)別受到復(fù)雜背景和前景遮擋的嚴(yán)重干擾[54-55]。即便是同一部件，在實(shí)際的樣本采集中，也會(huì)呈現(xiàn)出較大差異。缺陷識(shí)別模型必須能夠在高復(fù)雜背景下進(jìn)行準(zhǔn)確而高效的識(shí)別，同時(shí)還應(yīng)該具備較好的泛化性能。

缺陷樣本數(shù)量缺失和樣本種類分布不平衡同樣是缺陷識(shí)別中的挑戰(zhàn)之一[8]。深度學(xué)習(xí)進(jìn)行模型訓(xùn)練與測(cè)試時(shí)對(duì)樣本的數(shù)量要求較高，需要大量的經(jīng)過(guò)標(biāo)注的樣本。一方面，由于缺陷種類眾多，設(shè)備材質(zhì)、顏色、連接方式多樣，覆蓋所有缺陷需要的樣本數(shù)量極大；另一方面，采集的大量電力設(shè)備巡檢圖像需要有經(jīng)驗(yàn)的工程師進(jìn)行缺陷標(biāo)注和分類，效率較低，產(chǎn)生的有效樣本較少。此外，不同電力設(shè)備部件數(shù)量不同，發(fā)生缺陷的概率也存在很大差異，導(dǎo)致缺陷樣本種類分布不平衡。數(shù)量少的缺陷樣本和發(fā)生頻次低的缺陷樣本占總?cè)毕輼颖镜谋壤^低，導(dǎo)致模型不能完整、準(zhǔn)確地學(xué)習(xí)其特征，降低了識(shí)別效果。缺陷樣本數(shù)量分布不均給缺陷識(shí)別帶來(lái)了一定的局限[56]。

盡管卷積神經(jīng)網(wǎng)絡(luò)在圖像目標(biāo)檢測(cè)中可以發(fā)揮較好的作用，在缺陷圖像檢測(cè)中亦有良好表現(xiàn)，但從電力設(shè)備缺陷管理的角度出發(fā)，對(duì)于缺陷的識(shí)別不能僅滿足于圖像層面的目標(biāo)識(shí)別，更應(yīng)該實(shí)現(xiàn)對(duì)圖像內(nèi)容的理解和知識(shí)推理。如何結(jié)合電力行業(yè)相關(guān)的專業(yè)知識(shí)，利用好行業(yè)專家的知識(shí)和經(jīng)驗(yàn)，進(jìn)一步提高缺陷識(shí)別的專業(yè)性和智能化，亦是當(dāng)前提高缺陷識(shí)別效果、完善缺陷數(shù)據(jù)善后管理、增強(qiáng)其實(shí)用性的一大挑戰(zhàn)。

表3梳理了上述挑戰(zhàn)內(nèi)容及對(duì)深度學(xué)習(xí)缺陷識(shí)別模型的要求。

表3 深度學(xué)習(xí)缺陷識(shí)別面臨的挑戰(zhàn)

3.2 技術(shù)展望

隨著我國(guó)電力系統(tǒng)建設(shè)力量不斷加大，對(duì)電力設(shè)備維護(hù)的要求也越來(lái)越高，利用人工智能等先進(jìn)技術(shù)提高缺陷管理效率已成為行業(yè)內(nèi)的共識(shí)。前沿的人工智能技術(shù)發(fā)展迅速，新的思路、算法和技術(shù)也會(huì)逐漸應(yīng)用于電力系統(tǒng)維護(hù)之中，從而進(jìn)一步提高缺陷識(shí)別的精確度、效率和智能化水平。

自動(dòng)機(jī)器學(xué)習(xí)（automatic machine learning, Auto ML）是深度學(xué)習(xí)未來(lái)發(fā)展的方向之一。深度學(xué)習(xí)在缺陷識(shí)別中的應(yīng)用需要工程師選擇合適的網(wǎng)絡(luò)架構(gòu)、對(duì)模型進(jìn)行訓(xùn)練、調(diào)整各項(xiàng)參數(shù)等其他工作，整個(gè)過(guò)程非常耗時(shí)。而Auto ML的目標(biāo)是使用自動(dòng)化的數(shù)據(jù)驅(qū)動(dòng)方式完成任務(wù)，只需要用戶提供缺陷樣本數(shù)據(jù)，Auto ML就可以實(shí)現(xiàn)大部分步驟自動(dòng)化，自動(dòng)化地分析網(wǎng)絡(luò)架構(gòu)、訓(xùn)練過(guò)程、正則化方法、超參數(shù)等對(duì)算法性能的影響，從而生成一個(gè)最優(yōu)的網(wǎng)絡(luò)架構(gòu)[57]。

深度學(xué)習(xí)的模型訓(xùn)練和測(cè)試對(duì)樣本數(shù)量的依賴程度較高，盡管多種方法可以緩解此問(wèn)題，但依然無(wú)法從源頭解決。電力設(shè)備種類眾多，型號(hào)繁雜，適用場(chǎng)景各不相同，缺陷標(biāo)注代價(jià)較高，所以構(gòu)建電力行業(yè)缺陷數(shù)據(jù)庫(kù)較難實(shí)現(xiàn)。未來(lái)的發(fā)展方向?yàn)椋孩倏梢詷?gòu)建電力設(shè)備缺陷樣本數(shù)據(jù)庫(kù)標(biāo)準(zhǔn)，規(guī)范缺陷分類、缺陷描述等結(jié)構(gòu)化信息；②搭建高效的缺陷樣本管理信息系統(tǒng)，開發(fā)半自動(dòng)缺陷標(biāo)注算法和工具，提高人工標(biāo)注的效率；③打通行業(yè)內(nèi)不同管理單位的數(shù)據(jù)壁壘，建立行業(yè)樣本數(shù)據(jù)庫(kù)，實(shí)現(xiàn)數(shù)據(jù)共享。

當(dāng)前深度學(xué)習(xí)算法對(duì)圖像中的缺陷特征提取和缺陷識(shí)別效果較好，但僅有圖像層級(jí)的缺陷識(shí)別缺少專業(yè)知識(shí)做支撐。電力設(shè)備各部件之間相互耦合，缺陷的呈現(xiàn)不僅體現(xiàn)在單一部件上，更體現(xiàn)在各個(gè)部件之間的耦合關(guān)系上，需要更加豐富和專業(yè)的行業(yè)知識(shí)才能更精準(zhǔn)地識(shí)別缺陷。未來(lái)可以構(gòu)建缺陷知識(shí)圖譜，利用先驗(yàn)專業(yè)知識(shí)作為指導(dǎo)，再結(jié)合深度學(xué)習(xí)目標(biāo)檢測(cè)算法實(shí)現(xiàn)對(duì)電力設(shè)備缺陷更加全面和精準(zhǔn)的識(shí)別。

4 結(jié)論

電力設(shè)備缺陷管理對(duì)于國(guó)家電力系統(tǒng)的安全和穩(wěn)定具有重要意義。本文對(duì)電力設(shè)備缺陷管理中缺陷識(shí)別的發(fā)展進(jìn)行了回顧，并從卷積神經(jīng)網(wǎng)絡(luò)模型、模型優(yōu)化和改進(jìn)、市場(chǎng)應(yīng)用情況三方面總結(jié)了深度學(xué)習(xí)在缺陷識(shí)別中的應(yīng)用進(jìn)展。盡管當(dāng)前深度學(xué)習(xí)技術(shù)發(fā)展迅速，但在應(yīng)對(duì)復(fù)雜的缺陷識(shí)別任務(wù)、實(shí)現(xiàn)技術(shù)成果的轉(zhuǎn)化和突破方面還面臨眾多挑戰(zhàn)。未來(lái)可以通過(guò)自動(dòng)機(jī)器學(xué)習(xí)、構(gòu)建電力行業(yè)樣本數(shù)據(jù)庫(kù)和電力知識(shí)圖譜等技術(shù)進(jìn)一步推動(dòng)人工智能在電力行業(yè)的融合應(yīng)用。

[1] 李宗. 電力系統(tǒng)及電力設(shè)備的可靠性[J]. 甘肅科技縱橫, 2018, 47(10): 49-51, 86.

[2] 房婷. 電力系統(tǒng)變電運(yùn)行設(shè)備的主要問(wèn)題和解決方法分析[J]. 中文科技期刊數(shù)據(jù)庫(kù) (引文版) 工程技術(shù), 2016(11): 00291.

[3] 楊明波, 楊露. 淺談如何加強(qiáng)電力設(shè)備缺陷管理[J].通訊世界, 2017(21): 247-248.

[4] 黃旭駿, 蔣衛(wèi)東, 邢哲鳴. 輸電線路設(shè)備缺陷管理現(xiàn)狀及對(duì)策分析[J]. 中國(guó)高新技術(shù)企業(yè), 2015(34): 70-71.

[5] 趙壽生, 董升. 基于提升變電設(shè)備缺陷管理創(chuàng)新機(jī)制的實(shí)施與思考[J]. 企業(yè)管理, 2016(增刊1): 138- 139.

[6] 蘇超, 彭澤榮, 黃志文. 基于圖像處理的絕緣子缺陷檢測(cè)[J]. 工業(yè)控制計(jì)算機(jī), 2016, 29(12): 18-20.

[7] 張?jiān)骑w. 單人背包式全景技術(shù)在輸電線路巡視中的應(yīng)用[J]. 電氣技術(shù), 2018, 19(4): 92-95.

[8] 王子昊. 深度學(xué)習(xí)在輸電鐵塔關(guān)鍵部件缺陷檢測(cè)中的應(yīng)用研究[D]. 天津: 中國(guó)民航大學(xué), 2018.

[9] 周宸, 高偉, 郭謀發(fā). 基于YOLOv4模型的玻璃絕緣子自爆缺陷識(shí)別方法[J]. 電氣技術(shù), 2021, 22(5): 38-42, 49.

[10] 李寧, 鄭仟, 謝貴文, 等. 基于無(wú)人機(jī)圖像識(shí)別技術(shù)的輸電線路缺陷檢測(cè)[J]. 電子設(shè)計(jì)工程, 2019, 27(10): 102-106, 112.

[11] 劉建友, 李寶樹, 仝衛(wèi)國(guó). 航拍絕緣子圖像的提取和識(shí)別[J]. 傳感器世界, 2009, 15(12): 22-24.

[12] 馬帥營(yíng), 安居白, 陳舫明. 基于HSI顏色空間的絕緣子圖像的分割[J]. 大連民族學(xué)院學(xué)報(bào), 2010, 12(5): 481-484.

[13] 張浩, 王瑋, 徐麗杰, 等. 圖像識(shí)別技術(shù)在電力設(shè)備監(jiān)測(cè)中的應(yīng)用[J]. 電力系統(tǒng)保護(hù)與控制, 2010, 38(6): 88-91.

[14] 何春光. 基于改進(jìn)SIFT算法的輸電線路掛線故障隱患檢測(cè)[J]. 電子設(shè)計(jì)工程, 2021, 29(2): 99-102, 107.

[15] 鄒棟. 輸電線路中關(guān)鍵部件圖像識(shí)別及異常檢測(cè)方法研究[D]. 保定: 華北電力大學(xué), 2017.

[16] 熊小萍, 許爽, 蒙登越, 等. 基于Faster R-CNN的輸電線路缺陷識(shí)別模型研究[J]. 自動(dòng)化與儀器儀表, 2020(3): 1-6.

[17] 盧宏濤, 張秦川. 深度卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺(jué)中的應(yīng)用研究綜述[J]. 數(shù)據(jù)采集與處理, 2016, 31(1): 1-17.

[18] 徐洪學(xué), 汪安祺, 杜英魁, 等. 深度學(xué)習(xí)的基本模型及其應(yīng)用研究[J]. 長(zhǎng)春師范大學(xué)學(xué)報(bào), 2020, 39(12): 47-54, 93.

[19] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. Imagenet classification with deep convolutional neural networks[C]//Advances in Neural Information Pro- cessing Systems, London, 2012: 1097-1105.

[20] 王卓, 王玉靜, 王慶巖, 等. 基于協(xié)同深度學(xué)習(xí)的二階段絕緣子故障檢測(cè)方法[J]. 電工技術(shù)學(xué)報(bào), 2021, 36(17): 3594-3604.

[21] REN Shaoqing, HE Kaiming, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149.

[22] 李柯泉, 陳燕, 劉佳晨, 等. 基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法綜述[J/OL]. 計(jì)算機(jī)工程: 1-17[2022-01-12]. DOI: 10.19678/j.issn.1000-3428.0062725.

[23] 金昊, 康宇哲, 齊希陽(yáng), 等. 基于Faster R-CNN的高壓電線缺陷檢測(cè)方法[J]. 計(jì)算機(jī)應(yīng)用, 2019, 39(增刊2): 97-102.

[24] REDMON J, DIVVALA S, GIRSHICK R, et al. You only look once: unified, real-time object detection[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, 2016: 779-788.

[25] LIU Wei, ANGUELOV D, ERHAN D, et al. SSD: single shot multibox detector[EB/OL]. arXiv, https:// arxiv.org/abs/1512.02325.

[26] 鄭含博, 李金恒, 劉洋, 等. 基于改進(jìn)YOLOv3的電力設(shè)備紅外目標(biāo)檢測(cè)模型[J]. 電工技術(shù)學(xué)報(bào), 2021, 36(7): 1389-1398.

[27] 王婉婷, 姜國(guó)龍, 褚云飛, 等. 從RCNN到Y(jié)OLO系列的物體檢測(cè)系統(tǒng)綜述[J]. 齊魯工業(yè)大學(xué)學(xué)報(bào), 2021, 35(5): 9-16.

[28] 馮慶勝, 牛學(xué)慧. 基于SSD的受電弓拉弧在線檢測(cè)方法[J]. 自動(dòng)化與儀表, 2021, 36(3): 45-49.

[29] 唐聰, 凌永順, 鄭科棟, 等. 基于深度學(xué)習(xí)的多視窗SSD目標(biāo)檢測(cè)方法[J]. 紅外與激光工程, 2018, 47(1): 302-310.

[30] 翁智, 程曦, 鄭志強(qiáng). 基于改進(jìn)YOLOv3的高壓輸電線路關(guān)鍵部件檢測(cè)方法[J]. 計(jì)算機(jī)應(yīng)用, 2020, 40(增刊2): 183-187.

[31] GOODFELLOW I J, POUGET-ABADIE J, MIRZA M, et al. Generative adversarial networks[C]//International Conference on Neural Information Processing Systems, 2014: 2672-2680.

[32] 顧曉東, 唐丹宏, 黃曉華. 基于深度學(xué)習(xí)的電網(wǎng)巡檢圖像缺陷檢測(cè)與識(shí)別[J]. 電力系統(tǒng)保護(hù)與控制, 2021, 49(5): 91-97.

[33] KARLINSKY L, SHTOK J, HARARY S, et al. RepMet: representative-based metric learning for classification and few-shot object detection[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Long Beach, 2019.

[34] PAN S J, YANG Qiang. A survey on transfer lear- ning[J]. IEEE Transactions on Knowledge and Data Engineering, 2010, 22(10): 1345-1359.

[35] 劉大鵬, 曹永鋒, 張倫. 深度遷移主動(dòng)學(xué)習(xí)研究綜述[J]. 現(xiàn)代計(jì)算機(jī), 2021(10): 88-93.

[36] XU Yong, DU Jun, DAI Lirong, et al. Cross-language transfer learning for deep neural network based speech enhancement[C]//International Symposium on Chinese Spoken Language Processing, Singapore, 2014.

[37] HUANG Shengjun, ZHAO Jiawei, LIU Zhaoyang. Cost-effective training of deep CNNs with active model adaptation[EB/OL]. arXiv, https://arxiv.org/abs/ 1802.05394.

[38] 王涵, 張倩旭, 黃銀龍. 基于遷移學(xué)習(xí)的電力設(shè)備發(fā)熱位置判定方法[J]. 科技經(jīng)濟(jì)導(dǎo)刊, 2020, 28(34): 14-15.

[39] CRESWELL A, WHITE T, DUMOULIN V, et al. Generative adversarial networks: an overview[J]. IEEE Signal Processing Magazine, 2018, 35(1): 53-65.

[40] TAYLOR L, NITSCHKE G. Improving deep learning with generic data augmentation[C]//2018 IEEE Symposium Series on Computational Intelligence (SSCI), Bangalore, 2018.

[41] 麥俊佳, 曾懿輝, 胡壯麗, 等. 基于深度學(xué)習(xí)的輸電線路航拍照片目標(biāo)檢測(cè)應(yīng)用[J]. 廣東電力, 2020, 33(9): 174-182.

[42] PEREZ L, WANG J. The effectiveness of data aug- mentation in image classification using deep lear- ning[EB/OL]. arXiv, https://arxiv.org/abs/1712.04621v1.

[43] 淦艷, 葉茂, 曾凡玉. 生成對(duì)抗網(wǎng)絡(luò)及其應(yīng)用研究綜述[J]. 小型微型計(jì)算機(jī)系統(tǒng), 2020, 41(6): 1133-1139.

[44] 何佳美. 基于生成對(duì)抗網(wǎng)絡(luò)的電力設(shè)備圖像擴(kuò)充模型及算法研究[D]. 成都: 電子科技大學(xué), 2020.

[45] 任歡, 王旭光. 注意力機(jī)制綜述[J]. 計(jì)算機(jī)應(yīng)用, 2021, 41(增刊1): 1-6.

[46] 鄔滿, 文莉莉, 孫苗. 注意力機(jī)制海洋場(chǎng)景圖像理解算法[J/OL]. 計(jì)算機(jī)工程與應(yīng)用: 1-11 [2021-11-22]. http://kns.cnki.net/kcms/detail/11.2127.TP.20210317. 1008.002.html.

[47] 王燕妮, 余麗仙. 注意力與多尺度有效融合的SSD目標(biāo)檢測(cè)算法[J]. 計(jì)算機(jī)科學(xué)與探索, 2022, 16(2): 438-447.

[48] CHENG Yu, WANG Duo, ZHOU Pan, et al. A survey of model compression and acceleration for deep neural networks[EB/OL]. arXiv, https://arxiv.org/abs/1710. 09282.

[49] 張濤. 高壓輸電線路目標(biāo)缺陷識(shí)別算法設(shè)計(jì)與實(shí)現(xiàn)[D]. 揚(yáng)州: 揚(yáng)州大學(xué), 2021.

[50] 吳凱東, 繆希仁, 劉志穎, 等. 基于泛在物聯(lián)的輸電線路智能巡檢技術(shù)綜述[J]. 電器與能效管理技術(shù), 2020(3): 1-7.

[51] 張姝, 王昊天, 董驍翀, 等. 基于深度學(xué)習(xí)的輸電線路螺栓檢測(cè)技術(shù)[J]. 電網(wǎng)技術(shù), 2021, 45(7): 2821- 2829.

[52] 李雪峰, 劉?，? 劉高華, 等. 基于深度學(xué)習(xí)的輸電線路銷釘缺陷檢測(cè)[J]. 電網(wǎng)技術(shù), 2021, 45(8): 2988- 2995.

[53] 寧柏鋒. 基于深度學(xué)習(xí)的無(wú)人機(jī)巡檢圖像銷釘故障檢測(cè)[J]. 計(jì)算機(jī)測(cè)量與控制, 2019, 27(11): 25-29.

[54] 王萬(wàn)國(guó), 田兵, 劉越, 等. 基于RCNN的無(wú)人機(jī)巡檢圖像電力小部件識(shí)別研究[J]. 地球信息科學(xué)學(xué)報(bào), 2017, 19(2): 256-263.

[55] 楊波, 曹雪虹, 焦良葆, 等. 改進(jìn)實(shí)時(shí)目標(biāo)檢測(cè)算法的電力巡檢鳥巢檢測(cè)[J]. 電氣技術(shù), 2020, 21(5): 21- 27, 32.

[56] OUYANG Wanli, WANG Xiaogang, ZHANG Cong, et al. Factors in finetuning deep model for object detection with long-tail distribution[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, 2016: 864-873.

[57] VACARO L, SAUSONETTI G, MICARELLI A. An empirical review of automated machine learning[J]. Computers, 2021, 10(1): 11.

Application progress of deep learning in power equipment defect identification

ZANG Guoqiang1,2LIU Xiaoli3XU Yingfei1,2CHEN Yulu4LI Wenbo1

(1. Hefei Institute of Physical Science, Chinese Academy of Sciences, Hefei 230031; 2. University of Science and Technology of China, Hefei 230026; 3. State Grid Genhe Power Supply Company, Genhe, Inner Mongolia 022350;4. Institute of Physical Science and Information Technology, Anhui University, Hefei 230601)

Deep learning can be used to identify defects in power equipment images intelligently, efficiently and accurately in power equipment defect recognition. In this paper, the substance and the background of defect recognition is described at first. Then several dominant deep learning models of defect recognition are sketched and the improvement and optimization of these models are introduced. The applications of the models in current market are summarized, and the challenges and difficulties faced in these applications are analyzed. Finally, the future trend of deep learning in power equipment defect recognition is discussed in terms of automatic machine learning, sample database construction and power knowledge mapping.

deep learning; defect recognition; power equipment; intelligent inspection

2021-11-22

2022-01-13

臧國(guó)強(qiáng)（1992—），男，安徽鳳臺(tái)人，碩士研究生，主要研究方向?yàn)楣こ坦芾怼⑷斯ぶ悄堋?/p>

安徽省杰出青年基金（2108085J19）

國(guó)家自然科學(xué)基金（41871302）