王琦 張永杰 周競 劉庸奇

摘 要： 對無線紅外熱成像儀所采集的海量紅外圖片的分析需要花費(fèi)大量時(shí)間和精力，且診斷結(jié)果的正確性不高。為了解決這一問題，提出了一種對海量紅外故障圖像進(jìn)行自動(dòng)處理的可行方法。所提出的算法首先將圖像分割成超像素，然后采用卷積遞歸神經(jīng)網(wǎng)絡(luò)進(jìn)行智能識別。通過對預(yù)訓(xùn)練程序、幾種無監(jiān)督預(yù)訓(xùn)練算法的效率以及不同網(wǎng)絡(luò)參數(shù)進(jìn)行的實(shí)驗(yàn)表明，該算法能夠基于紅外圖像對變電設(shè)備的運(yùn)行狀態(tài)進(jìn)行評估。

關(guān)鍵詞： 卷積神經(jīng)網(wǎng)絡(luò); 紅外故障圖像; 電氣設(shè)備; k-means算法

中圖分類號： TP 399 ? ? ?文獻(xiàn)標(biāo)志碼： A

Abstract： The analysis of the massive infrared images collected by the wireless infrared thermal imager requires a lot of time and effort， and the diagnostic results are not correct. In order to solve this problem， this paper proposes a feasible method for automatic processing of massive infrared fault images. The proposed algorithm first divides the image into superpixels and then uses the convolutional recurrent neural network for intelligent recognition. Experiments on the pre-training program， the efficiency of several unsupervised pre-training algorithms and different network parameters show that the algorithm can evaluate the operating state of electrical equipment based on infrared images.

Key words： convolutional neural network; infrared fault image; electrical equipment; k-means algorithm

0 引言

變電站巡檢人員采用無線紅外熱成像儀通過4G/Wifi等無線方式將現(xiàn)場采集的大量紅外圖像實(shí)時(shí)上傳至云端為評估變電站設(shè)備狀況提供了海量圖像數(shù)據(jù)。目前，紅外故障圖像分析主要是基于人工方式，這種方式對操作人員的專業(yè)素質(zhì)要求很高，且效率不高。為了提高圖像的處理質(zhì)量和效率，大多數(shù)電力公司傾向于使用人工智能方法對紅外圖像進(jìn)行自動(dòng)提取和分析[1-3]。為此，本文提出了一種圖像處理方法來自動(dòng)檢測故障區(qū)域并識別其所屬的設(shè)備部件。該圖像處理方法的主要思路是利用超像素分割方法進(jìn)行圖像分割，然后使用深度學(xué)習(xí)方法來識別存在故障的電氣設(shè)備。與其他針對邊緣或紋理的分割方法不同，超像素分割方法強(qiáng)調(diào)了小區(qū)域內(nèi)部像素的相似性。其中像素相似性判斷是一個(gè)典型的模式識別問題，是由機(jī)器學(xué)習(xí)方法通過提取特征來應(yīng)用的。與典型的視覺圖像特征描述方法不同，本文使用了深度學(xué)習(xí)方法[4]來識別故障圖像中的電氣設(shè)備。目前流行的深度學(xué)習(xí)方法包括深度置信網(wǎng)絡(luò)（DBN）[5]、卷積神經(jīng)網(wǎng)絡(luò)（CNN）[6]、反卷積網(wǎng)絡(luò)（DNN）[7]等算法。其中CNN在圖像識別方面的性能已經(jīng)被一些實(shí)際應(yīng)用所證實(shí)[8-10]。因此，本文第一個(gè)貢獻(xiàn)是利用紅外圖像分割的成像特性。利用超像素分割使該方法適用于各種形狀的斷層區(qū)域;第二項(xiàng)貢獻(xiàn)是將深度學(xué)習(xí)算法融入到無監(jiān)督變電設(shè)備識別中。該方法不依靠變電設(shè)備特征的主觀描述，使分類結(jié)果更加可靠。

1 故障區(qū)域檢測

從溫度矩陣和給定的調(diào)色板創(chuàng)建熱成像相機(jī)生成的紅外故障圖像。圖像可以分為三部分：a）背景區(qū)域;b）設(shè)備區(qū)域;c）故障區(qū)域。一般來說，故障區(qū)域在裝置區(qū)域內(nèi)，與相鄰區(qū)域相比，具有顯著性。與傳統(tǒng)的可見光圖像不同，結(jié)構(gòu)特征如紋理、標(biāo)簽在常規(guī)紅外熱像中丟失。此外，每種區(qū)域內(nèi)的像素是均勻的，具有相似的性質(zhì)。因此，本文采用了超像素分割的概念。首先將原始紅外圖像分割為若干均勻區(qū)域。然后利用斷層區(qū)的洞察性來探測所需的區(qū)域。

1.1 故障區(qū)域分割

超像素算法將像素分組為感知上有意義的原子區(qū)域，可用于替換像素網(wǎng)格的剛性結(jié)構(gòu)。 我們在這里選擇三種流行的超像素算法進(jìn)行比較：Turbopixel[11]、SLIC[12]和熵率超像素（ERS）[13]。樣本圖像的分割結(jié)果，如圖1所示。

1.2 故障和設(shè)備區(qū)域驗(yàn)證

如上所述，設(shè)備區(qū)域是圖像中的主要對象。要診斷故障，就應(yīng)該知道故障發(fā)生的位置及其所屬的設(shè)備部分。本文選擇三個(gè)屬性來找到最可能的故障區(qū)域：平均亮度Ri（即平均灰度值Ri）、一致性SRi（即區(qū)域的面積與其最小凸出的面積之間的比率）、中心距離dRi（即從圖像中心到區(qū)域的距離）。

通過最大化目標(biāo)函數(shù)，如式（2），可以提取故障區(qū)域，如圖3（c）所示，并標(biāo)記為Rs。maxRiRiSRi/dRi

（2） ?二值化圖像如圖3（d）所示。 由于故障區(qū)域位于設(shè)備區(qū)域內(nèi)，因此可以通過將故障區(qū)域作為搜索中心來貪婪地搜索近似設(shè)備故障部分，如圖3（e）所示。

2 基于深度學(xué)習(xí)的電氣設(shè)備識別

在提取故障和設(shè)備區(qū)域之后，應(yīng)該進(jìn)一步識別熱成像圖像所屬電氣設(shè)備的類型。設(shè)備的類型與發(fā)熱原因和其他屬性密切相關(guān)。本文選擇最先進(jìn)的深度學(xué)習(xí)算法來進(jìn)行電氣設(shè)備識別。

本文所使用的卷積遞歸網(wǎng)絡(luò)（CRNN），如圖2所示。

網(wǎng)絡(luò)由兩個(gè)階段組成。第一階段是具有卷積和子采樣的CNN層，第二階段是多層RNN（遞歸神經(jīng)網(wǎng)絡(luò)）[14]。最后兩個(gè)RNN層生成的特征完全連接到一個(gè)SoftMax分類器[15]。

2.1 預(yù)訓(xùn)練

在接受CRNN網(wǎng)絡(luò)的訓(xùn)練之前，卷積濾波器最好先接受無監(jiān)督學(xué)習(xí)算法的預(yù)訓(xùn)練。已有研究發(fā)現(xiàn)k-means算法在只有一個(gè)參數(shù)可調(diào)的情況下獲得最佳性能。還有一些研究提出了一種新的特征學(xué)習(xí)算法，稱為稀疏濾波。本文將通過實(shí)驗(yàn)對K-Means、稀疏濾波和RICA算法進(jìn)行比較。

2.2 訓(xùn)練

CNN的主要思想是將濾波器卷積到輸入圖像上以提取特征。首先，將所有輸入樣本的大小調(diào)整為P╳P。然后將每個(gè)樣本與r╳r大小的K1濾波器卷積。當(dāng)卷積步幅為S時(shí)，輸出特征尺寸為P1╳P1，P1=（p-r）/s+1。通過子采樣塊大小r1╳r1和步幅大小為s1的卷積，進(jìn)一步生成大小為P2╳P2的特征，其中P2=（p1-r1）/s1+1。在第一個(gè)CNN階段之后，每個(gè)樣本的輸出特征大小為K1╳p2╳p2。在RNN階段，一個(gè)層中的所有特征都與下一層連接。每個(gè)圖層共享相同的權(quán)重，并逐漸減小特征尺寸，直到每個(gè)要素圖的最終響應(yīng)大小為1╳1。假設(shè)局部接收特征的大小為l╳l，則每層中的RNN數(shù)量為K2。當(dāng)梳理最后兩層輸出時(shí)，每個(gè)樣本的最終特征的大小是K2╳K1╳（l2+1）。

3 實(shí)驗(yàn)結(jié)果和數(shù)據(jù)分析

為了驗(yàn)證所提方法的有效性和處理效率，將上述圖像處理方法應(yīng)用于無線紅外熱像儀所采集的紅外圖像。實(shí)驗(yàn)所用的設(shè)備為美盛D系列云熱像儀系統(tǒng)。該熱成像儀具有無線連接功能，能夠?qū)崟r(shí)將所采集的紅外圖像上傳至阿里云中，同時(shí)在阿里云主機(jī)中部署上述圖像處理算法對實(shí)時(shí)上傳的紅外圖像進(jìn)行處理，并把處理結(jié)果反饋至變電站控制中心。圖像分析的性能主要取決于故障區(qū)域檢測、已知設(shè)備類型的設(shè)備部件識別。收集了大量含有各種設(shè)備部件的紅外樣品進(jìn)行評估。

3.1 圖像分割

三幅電氣設(shè)備圖像的分割過程。如圖3所示。

圖3（a）是輸入的紅外圖像，圖3（b）是H值灰度圖像，圖3（c）是經(jīng)過驗(yàn)證的故障區(qū)域，圖3（d）是設(shè)備區(qū)域的二值化圖像，圖3（e）是檢測到的故障區(qū)域及其定位的設(shè)備部分。實(shí)體框代表故障區(qū)域的邊界框，虛線框代表深度學(xué)習(xí)步驟中需要分類的設(shè)備部分。在H值灰度圖像中，超像素分割保證了均勻區(qū)域內(nèi)的像素平滑，分割區(qū)域與背景區(qū)域的對比度足夠強(qiáng)。因此，可以方便地提取故障區(qū)域和電氣器件區(qū)域。結(jié)果表明，該分割方法適用于不同位置、形狀和尺寸的圖像分割。

3.2 不同參數(shù)的比較

本文以電流互感器為例進(jìn)行分析。根據(jù)外觀和故障可控性，將電流互感器分為三部分：接頭、內(nèi)接頭和套管。每個(gè)部分有3 000幅樣本圖像用以訓(xùn)練參數(shù)，樣本圖像總共有9 000幅。選擇1 500幅圖像進(jìn)行測試。

依據(jù)前述，實(shí)驗(yàn)定義樣本大小為67╳67，過濾器大小為8╳8，步長為1。卷積后，輸出特征映射大小為60╳60。第2階段的特征地圖大小為27╳27。將RNN階段的接收區(qū)域設(shè)定為3╳3，經(jīng)過3層大小變?yōu)?╳1。通過定義的多層特征輸出，每個(gè)樣本生成的最終特征尺寸為K2╳K1╳10。

以K1為64時(shí)，3種預(yù)訓(xùn)練算法的優(yōu)化濾波器如圖4所示。在這一過程中，當(dāng)利用稀疏濾波時(shí)，發(fā)現(xiàn)目標(biāo)函數(shù)很難收斂。

因此，預(yù)訓(xùn)練方法和參數(shù)決策主要集中在RIC算法和K-means算法上。在實(shí)驗(yàn)中，K1從16變?yōu)?28，分類精度如圖5所示。然后將K1固定為64，將K2從16改為128，結(jié)果如圖5所示。

由圖5可知，K-means的性能遠(yuǎn)遠(yuǎn)優(yōu)于RICA。當(dāng)K1大于64且K2大于64時(shí)，濾波器和RNN的數(shù)量不會(huì)有太大影響。因此，訓(xùn)練算法的參數(shù)選定為：K1 = 64和K2 = 64。

3.3 實(shí)驗(yàn)結(jié)果的討論

本文的研究對象是由熱成像相機(jī)在不知道其原始溫度矩陣的情況下生成的紅外圖像。在這種實(shí)驗(yàn)背景下，通過對紅外圖像的區(qū)域檢測和識別，可以知道故障區(qū)域、故障設(shè)備、故障設(shè)備的位置。因此基于上述研究結(jié)果可以認(rèn)為，通過紅外熱成像圖像分析和處理評估電氣設(shè)備運(yùn)行狀態(tài)是可行的。

4 總結(jié)

本文提出了一種變電站設(shè)備智能紅外故障圖像分析的新方法。首先使用一個(gè)超像素分割方法來近似分割一個(gè)紅外圖像到多個(gè)均勻區(qū)域。為了對故障進(jìn)行深入分析，采用CRNN網(wǎng)絡(luò)對其所屬的電氣設(shè)備進(jìn)行分類，這也是紅外熱成像圖像自動(dòng)分析的關(guān)鍵。實(shí)驗(yàn)結(jié)果表明，本文所提出的算法具有較高的精度，可以適用于不同變電站設(shè)備的紅外圖像分析。

參考文獻(xiàn)

[1] 馮振新，周東國，江翼，等.基于改進(jìn)MSER算法的電力設(shè)備紅外故障區(qū)域提取方法[J].電力系統(tǒng)保護(hù)與控制，2019，47（5）：123-128.

[2] 劉齊，王茂軍，高強(qiáng)，等.基于紅外成像技術(shù)的電氣設(shè)備故障檢測[J].電測與儀表：2019，3（28）：1-7.

[3] 周正欽，馮振新，周東國，許曉路，谷凱凱.基于擴(kuò)展Meanshift電氣設(shè)備發(fā)熱故障區(qū)域提取方法[J].紅外技術(shù)，2019，41（1）：78-83.

[4] 張曉春，歐陽廣澤，何洪英，等.基于紅外圖像匹配的零值絕緣子檢測[J].電測與儀表：2019，（1）24：1-7.

[5] 付煒平，施鳳祥，王偉，等.基于顏色矩陣的絕緣子單片紅外圖像故障診斷方法[J].電瓷避雷器，2018（5）：226-232.

[6] 劉航，謝婷，冉建，等.基于熱紅外圖像的服務(wù)器設(shè)備檢測[J].信息技術(shù)，2018，42（8）：48-51.

[7] 漆燦，李慶武，鄭云海，等.基于智能視覺物聯(lián)網(wǎng)的變電站紅外監(jiān)測系統(tǒng)[J].電力系統(tǒng)保護(hù)與控制，2018，46（15）：135-141.

[8] 谷凱凱，周東國，許曉路，等.一種基于局部特征的PCNN電力故障區(qū)域提取方法[J].計(jì)算機(jī)工程，2018，44（7）：291-296.

[9] 毛峽，石天朋.光伏熱斑圖像有效區(qū)域分割算法研究[J].太陽能學(xué)報(bào)，2018，39（5）：1270-1276.

[10] 李鑫，崔昊楊，許永鵬，等.電力設(shè)備IR圖像特征提取及故障診斷方法研究[J].激光與紅外，2018，48（5）：659-664.

[11] 蘆竹茂，王天正，俞華，等.基于紅外圖像分析的電力設(shè)備熱故障檢測技術(shù)研究[J].現(xiàn)代電子技術(shù)，2017，40（11）：123-126.

[12] 余彬，萬燕珍，陳思超，等.基于密度相似因子的電力紅外圖像分割方法[J].紅外技術(shù)，2017，39（12）：1139-1143.

[13] 李瑞東，孫協(xié)昌，李勐.空間目標(biāo)紅外特征提取與識別技術(shù)[J].紅外技術(shù)，2017，39（5）：427-435.

[14] 張思睿，葛萬成，汪亮友，林佳燕.惡劣天氣下可見光和紅外圖像融合算法設(shè)計(jì)[J].信息技術(shù)，2016（6）：33-36.

[15] 高加猛，王敏.基于Kalman和GMM-PBAS融合的紅外視頻目標(biāo)檢測與跟蹤[J].信息技術(shù)，2016（4）：171-174.

（收稿日期： 2019.07.02）