曾 軍,王東杰,范 偉,劉濱濱,趙洪山
(1.國(guó)網(wǎng)河北省電力有限公司,河北 石家莊 050000;2.國(guó)網(wǎng)河北省電力有限公司保定供電分公司,河北 保定 071000;3.華北電力大學(xué),河北 保定 071000)
早在20 世紀(jì)70年代,就有國(guó)外學(xué)者開(kāi)始研究紅外熱成像的識(shí)別,并首先將其應(yīng)用于軍事領(lǐng)域[1]。我國(guó)雖然起步較晚,但從90年代開(kāi)始就應(yīng)用于各個(gè)領(lǐng)域。在2008年,國(guó)家頒布了《帶電設(shè)備紅外診斷應(yīng)用規(guī)范》[2],各個(gè)科研院所逐步發(fā)掘紅外熱成像識(shí)別在電氣領(lǐng)域的應(yīng)用。相比于可見(jiàn)光圖像,紅外圖像具有對(duì)比度低、信噪比低和灰度級(jí)少的特點(diǎn)[3]。所以可見(jiàn)光圖像和紅外圖像的識(shí)別方法有較大的差異。目前,國(guó)內(nèi)外關(guān)于紅外熱成像目標(biāo)檢測(cè)和識(shí)別的研究主要包括:基于圖像特征的分類識(shí)別和基于模板匹配的目標(biāo)識(shí)別[4]。其中,基于圖像特征的分類識(shí)別目前主要是基于深度學(xué)習(xí)[5],而基于模板匹配的目標(biāo)識(shí)別主要是通過(guò)圖像分割、對(duì)比和增強(qiáng)等方法,對(duì)圖像進(jìn)行處理。本文屬于第二種方法。
關(guān)于圖像分割的方法,文獻(xiàn)[6-9]分析了關(guān)于常見(jiàn)的Sobel,Prewitt,Roberts 等多種邊緣檢測(cè)算法,同時(shí)提出通過(guò)K-means 聚類提取圖像的邊緣,但是只通過(guò)K-means 聚類會(huì)導(dǎo)致提取的部分失去圖像細(xì)節(jié),為接下來(lái)的圖像識(shí)別帶來(lái)問(wèn)題。文獻(xiàn)[10-13]通過(guò)K-means 分割圖像,并用形態(tài)學(xué)進(jìn)行濾波,保留主要成分,但是形態(tài)學(xué)濾波對(duì)于有些圖像可能會(huì)導(dǎo)致過(guò)度切割,最終可能會(huì)導(dǎo)致識(shí)別失敗。關(guān)于圖像匹配的算法,文獻(xiàn)[14]主要通過(guò)SIFT(scale invariant feature transform)算法實(shí)現(xiàn)對(duì)快速移動(dòng)物體的識(shí)別,但是SIFT 算法相比于SURF 算法計(jì)算復(fù)雜度高,計(jì)算速度慢,會(huì)影響識(shí)別的實(shí)時(shí)性。文獻(xiàn)[15]采用SURF 匹配算法和RANSAC(random sample consensus)篩選算法,將提取的圖像特征通過(guò)篩選,提高SURF 算法的魯棒性,但是此方法難以用于單個(gè)圖像中的多目標(biāo)匹配問(wèn)題。
本文基于紅外熱成像針對(duì)電氣設(shè)備三相組件進(jìn)行識(shí)別,如電壓互感器、絕緣子串、絕緣套管等組件都屬于三相組件,最終實(shí)現(xiàn)這類組件的故障定位。針對(duì)前文中出現(xiàn)的過(guò)度分割、計(jì)算時(shí)間較長(zhǎng)、普適性較低的問(wèn)題,本文提出先通過(guò)改進(jìn)K-means 聚類和形態(tài)學(xué)的結(jié)合,準(zhǔn)確提取紅外熱成像中的高溫區(qū)域,因?yàn)殡娏M件的溫度即使在正常情況下也會(huì)明顯不同于環(huán)境溫度[16],所以其中一般包括了三相組件、干擾及噪聲的紅外熱成像。通過(guò)SURF 算法,識(shí)別紅外高溫區(qū)域中的電力設(shè)備某一相組件,再通過(guò)感知哈希算法,對(duì)比圖像中被分割出的其他區(qū)域,最終確定三相的位置。算法具有一定的普適性,不只是適用于某一種電力設(shè)備,為基于電力設(shè)備的三相組件溫度故障診斷提供技術(shù)支持。
電力設(shè)備三相組件的溫度即使在正常情況下,較環(huán)境溫度也會(huì)高出很多。所以通過(guò)紅外攝像頭采集的紅外熱成像中,電力設(shè)備的三相溫度一般明顯偏高,以此作為分割圖像的實(shí)際基礎(chǔ)。但是因?yàn)槟壳半娏υO(shè)備的紅外熱成像主要通過(guò)攝像頭采集,所以圖像是基于RGB(red green and blue)顏色模型[17]。每一個(gè)像素點(diǎn)都是由紅(R)、綠(G)和藍(lán)(B)按照不同的比例混合而成,但是像素點(diǎn)之間的色相差異無(wú)法體現(xiàn)[18]。而L*a*b 顏色模型(文中簡(jiǎn)稱Lab)模型則是以數(shù)字化方式描述人類視覺(jué)感應(yīng)的顏色系統(tǒng),其理論上包括了人眼可以看見(jiàn)的所有色彩的色彩模式,是對(duì)傳統(tǒng)RGB 模型的補(bǔ)充。Lab 用3 組數(shù)值表示色彩[19]。
1)L:亮度數(shù)值,0~100,數(shù)值越高亮度越高;
2)a:表征紅色和綠色,當(dāng)顏色從紅色變化到綠色時(shí),a 值的變化范圍為+127~-128;
3)b:表征黃色和藍(lán)色,當(dāng)顏色從黃色變化到藍(lán)色時(shí),b 值的變化范圍為+127~-128。
本文以某三相電壓互感器的紅外熱成像為例,通過(guò)灰度直方圖可以明顯看到。RGB 模型各個(gè)分量的直方圖灰度分布的區(qū)分度并不大,灰度主要集中在低頻部分。如圖1(b)、1(d)、1(f)所示。Lab 模型的灰度分布模型中的a 分量和b 分量的圖像反差明顯,直方圖呈現(xiàn)互補(bǔ)的趨勢(shì),如圖2所示。表明可以利用a 和b分量的疊加對(duì)圖像進(jìn)行分割。本文利用a 分量和b 分量組成的二維圖像數(shù)據(jù)空間(以下簡(jiǎn)稱ab 分量)作為三相識(shí)別定位的顏色空間對(duì)圖像進(jìn)行聚類分割。
圖1 某紅外圖片的RGB 各分量的圖像及直方分布圖Fig.1 Image and histogram of RGB components of an infrared picture
圖2 某紅外圖片的a 和b 分量的圖像及直方分布圖Fig.2 Image and histogram of the a and b components of an infrared image
1.2.1 基于ab 分量模型的K-means 聚類圖像分割
K-means 聚類算法不需要訓(xùn)練樣本,是一種無(wú)監(jiān)督的統(tǒng)計(jì)方法。大致步驟如下:
1)先從給定像素大小為N的樣本空間數(shù)據(jù)集中選取K個(gè)點(diǎn)作為初始聚類中心;
2)計(jì)算各個(gè)圖像數(shù)據(jù)樣本到每個(gè)初始聚類的距離,把圖像數(shù)據(jù)樣本合并到離它最近的那個(gè)聚類中心所在的類;
3)計(jì)算新形成的每個(gè)類的圖像樣本數(shù)據(jù)對(duì)象的平均值來(lái)得到新的聚類中心;
4)重復(fù)以上步驟,直到相鄰兩次的聚類中心沒(méi)有任何變化,說(shuō)明樣本調(diào)整結(jié)束,聚類準(zhǔn)則函數(shù)達(dá)到最優(yōu)。
傳統(tǒng)的K-means 聚類將全部的數(shù)據(jù)集作為樣本,從中任取K個(gè)像素點(diǎn)作為初始聚類中心。并采用歐氏距離(Euclidean distance),計(jì)算各個(gè)點(diǎn)到聚類中心的距離[20]。為提高圖像識(shí)別算法的實(shí)時(shí)性,任取整個(gè)像素矩陣N中10%的數(shù)據(jù)作為樣本n,并在n中隨機(jī)取K個(gè)點(diǎn)作為初始聚類中心。同時(shí)改用曼哈頓距離(Manhattan distance)描述數(shù)據(jù)個(gè)體之間的相似度的距離。它是標(biāo)準(zhǔn)坐標(biāo)系上的絕對(duì)軸距總和, 結(jié)果是兩個(gè)坐標(biāo)差的絕對(duì)值之和。
1)將M×N的a分量和b分量矩陣,通過(guò)合并變換,變?yōu)?×MN的矩陣,即用每個(gè)像素點(diǎn)的a分量值和b分量值作為該像素點(diǎn)的坐標(biāo)(X,Y);
2)任取整個(gè)像素矩陣中10%的數(shù)據(jù)作為樣本n,從中隨機(jī)取k個(gè)點(diǎn)做為聚類中心,初始聚類中心{P11,P21,P31,…,Pk1};
3)假設(shè)共迭代r次(r∈R),在第r次迭代中按照下列準(zhǔn)則將每個(gè)像素賦值給k類之一,即:
式中:Xijr,Yijr為第r次迭代中屬于類j(j=1,2,3,…,k)的第i個(gè)像素的橫、縱坐標(biāo);P(X)rj、P(Y)rj為第r次迭代中的類j的聚類中心;Qjr為第r次迭代賦給類j的像素集合。
4)更新聚類中心Pjr的方法為:
式中:Nj為Qjr中的像素點(diǎn)總個(gè)數(shù)。
5)滿足下述條件則停止,否則繼續(xù)迭代下一次。
式中:ε為計(jì)算精度。
通過(guò)上述的K-means算法對(duì)電氣設(shè)備組件的紅外圖像進(jìn)行初步分割,得到圖像中溫度較高的區(qū)域。電力設(shè)備組件即使在正常情況下,溫度也會(huì)不同于環(huán)境溫度。所以,本文提取的高溫區(qū)域,會(huì)包含電力設(shè)備的故障相、正常相以及其他噪聲及干擾區(qū)域。
1.2.2 形態(tài)學(xué)膨脹處理
如果只是通過(guò)K-means切割圖像將會(huì)出現(xiàn)過(guò)度切割的現(xiàn)象。以某包含三相電壓互感器的紅外圖像為例,對(duì)其應(yīng)用上述的K-means 切割算法,圖3中的一個(gè)電壓互感器在圖4中出現(xiàn)了過(guò)度的切割,被分割為圖4中的區(qū)域5、6 和7。這將不利于后期的識(shí)別。
圖3 原圖Fig.3 Original image
圖4 過(guò)度分割Fig.4 Over-segmentation
應(yīng)用形態(tài)學(xué)主要是圖像濾波和提取圖像邊緣。本文通過(guò)形態(tài)學(xué)中的膨脹計(jì)算,把背景周?chē)谋尘包c(diǎn)合并到物體中,防止在K-means 算法中出現(xiàn)過(guò)度切割的問(wèn)題。下面給出膨脹方法灰度形態(tài)學(xué)變換過(guò)程。
式中:A為待處理的圖像,B為結(jié)構(gòu)元素。式(5)表示A用B來(lái)膨脹,先對(duì)B做關(guān)于原點(diǎn)的映射,再將其映射平移x,這里A與B映射的交集不為空集。膨脹計(jì)算可以增加算法的魯棒性,在膨脹計(jì)算后保障被識(shí)別區(qū)的完整性。雖然,噪聲同樣也被放大,但是通過(guò)后面的圖像配準(zhǔn)和識(shí)別可以基本忽略噪點(diǎn)的影響。
上述1.2 中的算法作為對(duì)紅外熱成像預(yù)處理,在保證計(jì)算速度和分割精度的情況下,分割出紅外熱成像的高溫區(qū)域,其中包含了故障相元件和正常相元件以及噪聲及干擾區(qū)域。
已分割的高溫區(qū)域既包括三相組件,同時(shí)也包括噪聲區(qū)域和干擾區(qū)域。本文通過(guò)SURF 算法提取出其中和該組件可見(jiàn)光圖像相似度最高的區(qū)域,實(shí)現(xiàn)單相識(shí)別。SURF 是一種局部特征,具有旋轉(zhuǎn)、尺度不變性,對(duì)光照變化和仿射、透視變換也具有較強(qiáng)的魯棒性[21]。與SIFT 算法相比,SURF 加入了Hessian 近似矩陣和積分圖像,降低了計(jì)算的復(fù)雜度,提高了速度。SURF 算法在積分圖像的基礎(chǔ)上,利用Hessian 算子進(jìn)行特征點(diǎn)的檢測(cè)與求取。
式中:
為提高運(yùn)算速度、簡(jiǎn)化計(jì)算,將上式中的高斯二階濾波器轉(zhuǎn)換為9×9 的盒子濾波器,并用它作為最小尺度空間對(duì)圖像進(jìn)行濾波和斑點(diǎn)檢測(cè)?;?jiǎn)后,Hessian 近似矩陣Happr的行列式可以表達(dá)為:
式中:ω為權(quán)重系數(shù),ω≈0.9。Dxx,Dyy,Dxy表示9×9簡(jiǎn)化模板和圖像卷積的結(jié)果。根據(jù)式(6),記錄圖像任意點(diǎn)處響應(yīng)的計(jì)算結(jié)果值,得到在某一尺度σ下的響應(yīng)值。使用不同尺寸的模板,可以形成多尺度斑點(diǎn)響應(yīng)的金字塔圖像,便可以在此基礎(chǔ)上進(jìn)行斑點(diǎn)響應(yīng)極值點(diǎn)的搜索。
為了確保圖像的旋轉(zhuǎn)不變性,為每個(gè)特征點(diǎn)分配一個(gè)主方向。首先以特征點(diǎn)為中心,計(jì)算半徑為6s(s為特征點(diǎn)所在的尺度值)的圓形鄰域內(nèi),對(duì)圖像進(jìn)行Haar 小波響應(yīng)運(yùn)算。之后使用σ=2s的高斯加權(quán)函數(shù)對(duì)Haar 小波響應(yīng)運(yùn)算響應(yīng)值進(jìn)行高斯加權(quán)。遍歷整個(gè)圓形區(qū)域,其中最大Harr 響應(yīng)累加值所對(duì)應(yīng)的方向?yàn)樘卣鼽c(diǎn)主方向。
確定SURF 的特征點(diǎn)描述算子,同樣使用Haar計(jì)算小波響應(yīng)。首先在主方向上將以20s為邊長(zhǎng)的矩形分為4×4 的子塊,每個(gè)子塊利用尺寸為2s的Haar小波模板進(jìn)行響應(yīng)值計(jì)算。得到如下結(jié)果表示每個(gè)區(qū)域的描述符V:
式中:dx和dy分別為在水平和垂直方向上的Haar 小波響應(yīng)值。由此可獲得由 4×4 個(gè)子區(qū)域構(gòu)成,4×(4×4)=64 維的SURF 特征的描述符,并歸一化處理。
特征點(diǎn)匹配,就是通過(guò)某種相似性度量建立兩類圖像特征之間一一對(duì)應(yīng)關(guān)系。特征點(diǎn)匹配的準(zhǔn)確性影響圖像配準(zhǔn)精度[22]。為了合理增加兩個(gè)圖片之間的匹配點(diǎn)個(gè)數(shù),提高算法的魯棒性。本文采用基于拉普拉斯響應(yīng)正負(fù)號(hào)的雙向匹配策略對(duì)SURF 描述子進(jìn)行匹配。匹配條件如下:
式中:tr(HiA)為A圖像的Hessian 矩陣的跡;tr(HjB)為B圖像的Hessian 矩陣的跡。通過(guò)分別遍歷A和B的Hessian 矩陣的跡的符號(hào),選取雙方中所有和對(duì)方符號(hào)相同的特征點(diǎn),作為匹配的特征點(diǎn)。
通過(guò)上述SURF 算法,將分割出的區(qū)域和一相電氣設(shè)備元件的可見(jiàn)光圖像進(jìn)行特征點(diǎn)匹配,找出被分割圖像各個(gè)區(qū)域中匹配特征點(diǎn)最多的區(qū)域,以此確定被識(shí)別的電氣設(shè)備三相組件中的某一相。
將上述算法結(jié)合感知哈希算法(perceptual hash algorithm),將電氣設(shè)備組件的一相定位擴(kuò)充為三相,以提取被識(shí)別圖像中的某類組件的三相位置區(qū)域。感知哈希算法是一種生成圖像“指紋”字符串的算法,目前已廣泛應(yīng)用音頻、圖像、視頻和生物識(shí)別[23],具體步驟如下:
1)將圖片縮放到8×8 的像素圖片
2)將圖片轉(zhuǎn)換為灰度圖片
式中:G代表灰度圖片;R、G、B分別代表圖像RGB模型的各個(gè)分量;
3)壓縮圖片
通過(guò)離散余弦變換(discrete cosine transform,DCT)壓縮圖片,將圖片從空域轉(zhuǎn)換到頻域,變換公式為:
式中:f(i,j)為原始圖像;F(u,v)是DCT 變換后的系數(shù);N為壓縮后像素矩陣的大小,c(u)和c(v)是補(bǔ)償系數(shù);
4)縮小DCT
因?yàn)镈CT 矩陣的特點(diǎn)是能量主要集中在左上角,所以保留左上角8×8 的矩陣;
5)生成圖像“指紋”
將8×8 的DCT 矩陣轉(zhuǎn)化為哈希值,進(jìn)一步縮小DCT 矩陣。規(guī)則如下:
式中:F(i,j)為8×8 的DCT 矩陣中的各個(gè)元素;avg(DCT)為DCT 矩陣的平均值。
6)對(duì)比指紋
通過(guò)計(jì)算漢明距離反映兩個(gè)圖像之間的對(duì)比度,當(dāng)漢明距離小于10 時(shí)被認(rèn)為圖像非常相似。漢明距離計(jì)算公式[24]:
式中:HP1,HP2分別代表兩個(gè)圖像樣本的感知哈希算子。h1和h2分別為64bit 的哈希值。
本文通過(guò)2.1 和2.2 中的SURF 算法,可以確定分割出的每個(gè)區(qū)域和可見(jiàn)光圖像之間的匹配特征點(diǎn)。但是,算法注重盡可能增加特征向量點(diǎn),但沒(méi)有對(duì)其進(jìn)行甄別,所以只篩選出和可見(jiàn)光圖像匹配最多的紅外區(qū)域。假設(shè)可見(jiàn)光圖像為某一項(xiàng)電氣設(shè)備,則會(huì)挑選出與其最相似的部分,這部分可確定為三相設(shè)備中的某一相。一般對(duì)于電力設(shè)備而言,三相設(shè)備在同一張熱成像中只是大小不同,但是角度、形態(tài)基本相同。通過(guò)對(duì)比已選出的區(qū)域和其他區(qū)域的哈希值,篩選出另外兩相,最終確定三相區(qū)域。本文整體算法大致流程如圖5所示。
圖5 算法總流程圖Fig.5 Algorithm general flow chart
本文針對(duì)電氣設(shè)備的紅外圖像進(jìn)行三相的識(shí)別和定位,為了更好地驗(yàn)證本文方法的有效性,選取了多組圖片進(jìn)行測(cè)試。測(cè)試環(huán)境:處理器:Intel(R)Core(TM) i5-5200U CPU @2.20GHz(4 核CPU);內(nèi)存:4096MB RAM;操作系統(tǒng):Windows 10;Matlab 2017a。
首先設(shè)計(jì)實(shí)驗(yàn),體現(xiàn)本文K-means 算法的分割效果和時(shí)間。選取一張三相高壓電壓互感器紅外熱成像作為樣本進(jìn)行測(cè)試,測(cè)試采用歐氏距離和通過(guò)全局隨機(jī)取初始聚類中心的傳統(tǒng)K-means 算法,以及本文的算法。每個(gè)方法每次計(jì)算時(shí),重復(fù)聚類10 次以防止出現(xiàn)局部最優(yōu)。每種方法共計(jì)算10 次。測(cè)試結(jié)果如圖6所示。
通過(guò)圖6可知本文對(duì)于分割圖像的方法計(jì)算速度明顯提高。
圖6 兩種算法計(jì)算時(shí)長(zhǎng)Fig.6 The length of time required for the two algorithms to calculate
如1.2.2 中所述,通過(guò)形態(tài)學(xué)膨脹計(jì)算,可以有效避免過(guò)度切割的問(wèn)題。本文將K-means 切割和形態(tài)學(xué)膨脹計(jì)算結(jié)合。從分割效果來(lái)看,本文的算法更有利于避免出現(xiàn)過(guò)度分割,將過(guò)分割率作為分割精度,結(jié)果如表1所示。
表1 兩種算法的分割精度Table 1 Segmentation accuracy of two algorithms
過(guò)分割率越低說(shuō)明越接近于正確的分割結(jié)果,發(fā)生嚴(yán)重過(guò)度分割的概率越低。由此可見(jiàn)本文的分割算法精度更好。效果如圖7所示。
相比圖4,將圖4中的區(qū)域5、6 和7 合并為圖7中的區(qū)域7,形成了完整的互感器區(qū)域,有效避免了過(guò)度切割的問(wèn)題,這將有利于后面的識(shí)別。
確定了正確的分割區(qū)域后,進(jìn)行三相的識(shí)別和定位。將圖分割出來(lái)的各個(gè)區(qū)域和對(duì)應(yīng)的可見(jiàn)光圖片,通過(guò)本文2.2 的算法進(jìn)行匹配,如圖8所示。
圖8 SURF 特征點(diǎn)匹配Fig.8 SURF feature point matching
圖7中共分割出39 個(gè)區(qū)域,并按照?qǐng)D7進(jìn)行標(biāo)號(hào)。每個(gè)區(qū)域分別和圖8(c)匹配后,結(jié)果如表2所示。
表2 特征點(diǎn)匹配結(jié)果Table 2 Feature point matching result
通過(guò)本文的算法,圖像匹配點(diǎn)數(shù)明顯提高,這會(huì)進(jìn)一步提高系統(tǒng)可靠性。但是,依然存在噪聲干擾的問(wèn)題。例如,圖7中的區(qū)域31 并不是要被識(shí)別的區(qū)域,但是依然出現(xiàn)了匹配點(diǎn)。所以為了避免這種情況,本文結(jié)合感知哈希算法提高識(shí)別的準(zhǔn)確度。選取匹配點(diǎn)數(shù)最多的圖7中的區(qū)域18,和其他區(qū)域?qū)Ρ裙V?,得到如圖9所示的結(jié)果。
圖9 各區(qū)域間漢明距離Fig.9 Hamming distance between regions
區(qū)域7,區(qū)域13 和區(qū)域18 和區(qū)域18 的哈希值的漢明距離最小,說(shuō)明區(qū)域7、13 和區(qū)域18 最相近,而這3 個(gè)區(qū)域就是電氣設(shè)備的三相,如圖10所示。
圖10 最終識(shí)別效果Fig.10 Final recognition effect
為驗(yàn)證算法的可靠性和普適性,又對(duì)其他的電氣設(shè)備紅外熱成像進(jìn)行了三相組件的識(shí)別定位,如圖11所示。結(jié)果表明,本文的三相定位效果較為滿意。
圖11 其他類型設(shè)備三相的識(shí)別定位Fig.11 Three-phase identification and positioning of other types of equipment
本文針對(duì)紅外熱成像信息少,噪聲多等特點(diǎn),以電氣設(shè)備的紅外圖像為對(duì)象,進(jìn)行三相設(shè)備的識(shí)別和定位。主要分為兩步,首先是進(jìn)行圖像的分割,因?yàn)殡姎庠O(shè)備三相組件發(fā)熱的原因,所以通過(guò)將改進(jìn)的K-means 算法和形態(tài)學(xué)相結(jié)合分割圖像,提取其中包含了三相設(shè)備的高溫區(qū)域。此算法在保證分割效果的同時(shí)兼顧了實(shí)時(shí)性。之后,采用SURF 算法和可見(jiàn)光圖片進(jìn)行匹配,選出匹配點(diǎn)最多的區(qū)域后,在通過(guò)感知哈希算法計(jì)算各個(gè)區(qū)域之間的漢明距離,最相近的3 個(gè)區(qū)域即為電氣設(shè)備的三相。通過(guò)實(shí)驗(yàn),本算法不只是針對(duì)某一種電氣設(shè)備,而是具有一定的普適性,得到了較為滿意的結(jié)果。同時(shí)為單一紅外熱成像的多相似目標(biāo)識(shí)別提供了思路。