佘世洲,宋 凱,劉 輝,譚守標(biāo),張 驥
(1.國(guó)網(wǎng)銅陵供電公司運(yùn)維檢修部,安徽 銅陵 244000;2.安徽大學(xué) 計(jì)算智能與信號(hào)處理教育部重點(diǎn)實(shí)驗(yàn)室,安徽 合肥 230039;3.安徽南瑞繼遠(yuǎn)電網(wǎng)技術(shù)有限公司,安徽 合肥 230088)
在電氣電力行業(yè)的變電站設(shè)施中,很多設(shè)備配置了電流表、功率表、避雷器泄露電壓表、油溫表等指針型儀表。這些指針型儀表通常由指針、刻度線和數(shù)字組成。目前對(duì)這些儀表數(shù)據(jù)的記錄主要依靠變電站人員的肉眼觀測(cè),這種檢測(cè)方式效率低下且誤差較大,并且無(wú)法長(zhǎng)時(shí)間觀測(cè),實(shí)時(shí)性不高。另外還存在一些如高原、雪山等人工不便進(jìn)行觀測(cè)的場(chǎng)合。因此基于電力設(shè)備自動(dòng)化巡檢的需求,提出了一種電力指針式儀表示數(shù)自動(dòng)識(shí)別的魯棒方法。
目前,國(guó)內(nèi)外很多學(xué)者針對(duì)指針式儀表的自動(dòng)識(shí)讀進(jìn)行了大量研究[1-6]。例如,Correa Alegria等給出了一種使用差影法和霍夫變換對(duì)指針式儀表進(jìn)行識(shí)別的方法[7],何智杰等[8]提出利用條件霍夫變換和中心投影分析法實(shí)現(xiàn)高精度指針式儀表自動(dòng)讀數(shù)識(shí)別。但是上述研究都是在室內(nèi)光照均勻無(wú)陰影且攝像機(jī)鏡頭與儀表盤(pán)在同一水平面下無(wú)視角變化的情況下進(jìn)行的自動(dòng)讀數(shù)識(shí)別,而變電站儀表設(shè)備多安裝于室外,光照條件復(fù)雜多變且因照片由巡檢機(jī)器人采集,攝像頭需要滿足多視角、多距離的安裝,這就對(duì)指針式儀表自動(dòng)讀數(shù)識(shí)別系統(tǒng)提出了更高要求。
針對(duì)刻度均勻分布的圓形或方形指針式儀表,提出了一種新穎的能適應(yīng)非均勻光照環(huán)境的電力指針式儀表自動(dòng)識(shí)別方法。該方法利用表盤(pán)的顏色直方圖分布特征和亮度梯度特征定位出表盤(pán)區(qū)域作為感興趣區(qū)域,并且對(duì)獲取的表盤(pán)區(qū)域圖像進(jìn)行光照均衡以消除陰影。利用基于定向二進(jìn)制簡(jiǎn)單描述符(ORB[9]:oriented FAST[10]和rotated BRIEF[11])算法,計(jì)算表盤(pán)模板圖像與測(cè)試圖像之間的透視變換矩陣,以對(duì)表盤(pán)區(qū)域進(jìn)行傾斜校正。接著進(jìn)行表盤(pán)區(qū)域圖像的其他預(yù)處理,包括二值化、連通域特征計(jì)算和指針連通域提取,最后通過(guò)改進(jìn)的霍夫變換檢測(cè)并識(shí)別指針角度,從而得到儀表示數(shù)。
在所建系統(tǒng)中,電力指針式儀表圖像由巡檢機(jī)器人的圖像采集系統(tǒng)獲取,然后輸入到計(jì)算機(jī)中進(jìn)行預(yù)處理和示數(shù)識(shí)別。系統(tǒng)整體流程包括:表盤(pán)定位、圖像預(yù)處理、指針檢測(cè)和示數(shù)識(shí)別。
電力指針式儀表的表盤(pán)的結(jié)構(gòu)特征大多是以表盤(pán)中心為圓心、以指針長(zhǎng)度為半徑、指針在一個(gè)圓形或扇形區(qū)域內(nèi)旋轉(zhuǎn)。關(guān)于顏色特征,儀表指針多為紅色或白色,表盤(pán)多為黑色或白色,所以指針和表盤(pán)區(qū)域的顏色差異較為顯著。根據(jù)表盤(pán)的顏色直方圖分布特征和亮度梯度特征[12]定位出表盤(pán)區(qū)域作為感興趣區(qū)域,如圖1所示。
在儀表圖像采集過(guò)程中,由于變電站背景環(huán)境復(fù)雜,且許多儀表設(shè)備安裝在室外,所以采集到的圖像易受光照、陰影、天氣等因素的影響,給后續(xù)分割、識(shí)別帶來(lái)了一定的困難。所以為了提高圖像質(zhì)量,便于后續(xù)的分割處理,首先應(yīng)該對(duì)采集到的儀表圖像進(jìn)行光照均衡處理,其次為了讀數(shù)精準(zhǔn),對(duì)圖像進(jìn)行傾斜校正,然后進(jìn)行二值化變換,最后從二值化圖像中提取指針區(qū)域進(jìn)行示數(shù)識(shí)別。
圖1 表盤(pán)區(qū)域定位
當(dāng)一個(gè)物體遮擋光源時(shí)陰影即會(huì)出現(xiàn),這是一個(gè)去除不掉的視覺(jué)體驗(yàn)。表盤(pán)上的陰影導(dǎo)致表盤(pán)表面光照不均勻,嚴(yán)重影響了后續(xù)的二值化分割。
采用局部匹配對(duì)單幅照片進(jìn)行陰影檢測(cè)和移除的方法?;趨^(qū)域的陰影檢測(cè)[13]能夠?qū)㈥幱耙瞥鳛橐粋€(gè)消光問(wèn)題,與Wu等[14]提出的方法類(lèi)似。然而,Wu等提出的方法依賴(lài)于用戶對(duì)陰影和非陰影區(qū)域的輸入,是在一個(gè)統(tǒng)一框架上自動(dòng)對(duì)陰影進(jìn)行檢測(cè)和移除。特別地,當(dāng)陰影檢測(cè)后,借鑒Levin等[15]提出的消光技術(shù),將影子像素作為前景,非影子像素視為背景。使用陰影恢復(fù)系數(shù),計(jì)算直接光照和環(huán)境光照的比率,并對(duì)每個(gè)像素進(jìn)行直接光照和環(huán)境光照混合的二次光照處理,從而產(chǎn)生復(fù)原圖像。新像素值由式(1)給定:
(1)
其中,r為直射光與環(huán)境光的比率;Ii為原始圖像中第i個(gè)像素點(diǎn)的強(qiáng)度。
光照均衡前后的效果如圖2所示。
圖2 光照均衡前后的表盤(pán)
ORB算法是一種結(jié)合快速興趣點(diǎn)檢測(cè)算子FAST與興趣點(diǎn)描述算子BRIEF的局部特征提取算法[9]。與眾所周知的SIFT和SUFT相比,ORB算法的執(zhí)行速度更快,效率更高,在圖像噪聲、光照、旋轉(zhuǎn)變換等方面都具有優(yōu)越的性能[16]。
對(duì)于測(cè)試圖像,為精準(zhǔn)地矯正測(cè)試圖像,采用基于ORB的圖像配準(zhǔn)程序。首先使用FAST-9算法提取圖像的特征點(diǎn),使用BRIEF算法將特征點(diǎn)描述為一個(gè)二進(jìn)制的字符串,其對(duì)平面旋轉(zhuǎn)非常敏感,然后進(jìn)行特征匹配,最后計(jì)算透視變換矩陣。透視變換是表示兩個(gè)圖像間關(guān)系的普通投影變換模型,利用的是匹配點(diǎn)的坐標(biāo)位置信息,其變換公式為:
(2)
其中,x,y,x',y'為模板圖像和檢測(cè)圖像的行、列坐標(biāo);H(線性變換矩陣)是3*3的單應(yīng)性矩陣。
為了提高計(jì)算效率、減少儲(chǔ)存空間和方便后續(xù)的圖像處理,對(duì)輸入的彩色圖像進(jìn)行了二值化變換[17]。常見(jiàn)的圖像分割方法主要有基于閾值選取的灰度閾值分割、最大熵閾值分割、全局或局部閾值分割、二維直方圖閾值分割、最大類(lèi)間方差法,區(qū)域生長(zhǎng)、區(qū)域分裂-合并方法,基于邊緣檢測(cè)的圖像分割等。
實(shí)驗(yàn)過(guò)程中嘗試了多種圖像分割方法。由于光照均衡之后的表盤(pán)圖像目標(biāo)和背景之間的灰度差異減小,并且在測(cè)試過(guò)程中很多有污染的表盤(pán)圖像存在指針和表盤(pán)的顏色對(duì)比度在每幅圖像中各異的情況,無(wú)法用一個(gè)統(tǒng)一的閾值對(duì)其進(jìn)行分割,所以選用了最大類(lèi)間方差法對(duì)圖像進(jìn)行分割[18]。實(shí)驗(yàn)證明通過(guò)其自適應(yīng)的閾值確定方法,對(duì)待測(cè)的儀表圖像都能進(jìn)行正確的分割。圖像二值化的步驟如下:
(1)計(jì)算待測(cè)圖像的灰度直方圖,用p(i)表示。
(2)計(jì)算平均灰度μ。
(3)
(3)計(jì)算p(i)的零階累加矩ω(k)和一階累加矩μ(k)。
(4)
(4)計(jì)算類(lèi)間方差。
(5)
(5)將σ2(k)(k=0,1,…,255)最大值時(shí)所對(duì)應(yīng)的k值作為閾值T。
(6)對(duì)分割后的圖像進(jìn)行二值化處理,設(shè)輸入圖像為f(x,y),二值化后的圖像為g(x,y),則
(6)
由于電力指針式儀表盤(pán)多為扇形和圓形的構(gòu)造,所以表盤(pán)的刻度線和指針?biāo)诘闹本€都是經(jīng)過(guò)同一個(gè)圓心點(diǎn)的,所以根據(jù)連通域的矩形特征將表盤(pán)的刻度線提取出來(lái)就可以找到表盤(pán)的圓心,進(jìn)而找到所要識(shí)別的指針。
首先按照連通標(biāo)準(zhǔn)對(duì)二值化后的表盤(pán)圖像進(jìn)行連通域提取,然后對(duì)所有連通域按面積、長(zhǎng)度、寬度、長(zhǎng)寬比做統(tǒng)計(jì)處理,根據(jù)數(shù)量多少依次判斷每一類(lèi)連通域是否符合刻度線區(qū)域特征,最后由表盤(pán)的刻度線的向心性確定儀表盤(pán)中心,并依據(jù)表盤(pán)中心搜索指針區(qū)域。提出了新的儀表指針?biāo)阉魉惴ǎ员肀P(pán)中心為圓心構(gòu)造一個(gè)同心圓與指針相交,以交點(diǎn)為起點(diǎn)對(duì)指針區(qū)域進(jìn)行搜索,這樣可以避免其他直線或噪聲的干擾,魯棒性更強(qiáng)。確定的表盤(pán)中心如圖3(a)所示,搜索到的指針區(qū)域如圖3(b)所示。
(a)表盤(pán)中心定位 (b)指針區(qū)域搜索
在已知表盤(pán)指針區(qū)域的基礎(chǔ)上,儀表的示數(shù)可以用指針的偏轉(zhuǎn)角度來(lái)描述。霍夫變換(Hough transform)[19]是現(xiàn)今直線檢測(cè)比較成熟的研究方法,其運(yùn)用兩個(gè)坐標(biāo)空間之間的變換將在一個(gè)空間中具有相同形狀的曲線或直線映射到另一個(gè)坐標(biāo)空間的一個(gè)點(diǎn)上形成峰值,其中直線y=kx+b檢測(cè)的極坐標(biāo)形式為:
ρ=xcosθ+ysinθ
(7)
該方法的一個(gè)突出優(yōu)點(diǎn)是,分割結(jié)果對(duì)數(shù)據(jù)的不完全或噪聲不是十分敏感。所以用于電力指針式儀表圖像中指針的檢測(cè)時(shí),當(dāng)指針邊緣因?yàn)樵肼暩蓴_或其他原因出現(xiàn)間斷的情況下仍能進(jìn)行良好的分割。對(duì)上一節(jié)提取出來(lái)的圖像進(jìn)行邊緣化處理,利用改進(jìn)的霍夫變換將檢測(cè)到的斷續(xù)的短直線進(jìn)行迭代擬合,即在同一方向上且大致坐落于同一直線的小線段擬合,得到的長(zhǎng)線段即為指針?biāo)谥本€y=kx+b。知道斜率k,通過(guò)θ=tan-1k計(jì)算出指針的傾斜角度。指針的示數(shù)N由下式得出。
(8)
其中,A為儀表盤(pán)總量程;θmin,θmax分別表示零刻度與滿刻度指針的角度。
基于改進(jìn)的霍夫變換的指針檢測(cè)效果如圖4所示。
(a)Hough直線檢測(cè) (b)直線擬合
圖4 表針提取
在非均勻光照條件下,對(duì)不同電力指針式儀表進(jìn)行了不同位置的拍攝,采用所提出方法進(jìn)行自動(dòng)識(shí)別,處理結(jié)果見(jiàn)圖5,檢測(cè)數(shù)據(jù)見(jiàn)表1。
圖5 識(shí)別結(jié)果
從圖5和表1中可見(jiàn),該方法能適應(yīng)不同類(lèi)型的表盤(pán),自動(dòng)識(shí)別出指針讀數(shù);同時(shí),識(shí)別讀數(shù)相對(duì)誤差較少。由于設(shè)備運(yùn)行狀態(tài)巡檢的目的主要是與電力設(shè)備自身讀數(shù)進(jìn)行對(duì)比確定設(shè)備是否運(yùn)行異常,因此該方法的識(shí)別誤差能夠滿足巡檢需求。
表1 檢測(cè)數(shù)據(jù)
為提高指針式儀表讀數(shù)自動(dòng)識(shí)別的精度和準(zhǔn)確性,針對(duì)指針圖像的特點(diǎn),提出了指針式儀表讀數(shù)自動(dòng)識(shí)別算法。該算法對(duì)輸入的儀表圖像進(jìn)行表盤(pán)區(qū)域提取,對(duì)表盤(pán)圖像進(jìn)行特定預(yù)處理,并基于預(yù)處理所確定的儀表盤(pán)中心進(jìn)行儀表指針的定位,根據(jù)指針的角度、零刻度線角度和滿刻度線角度計(jì)算得到指針讀數(shù)。該算法對(duì)儀表已知信息依賴(lài)少,通用性好,魯棒性強(qiáng);同時(shí)對(duì)儀表的旋轉(zhuǎn)、平移、噪聲干擾等情況均有較強(qiáng)的自適應(yīng)性,能比較準(zhǔn)確地得到指針的讀數(shù)。
參考文獻(xiàn):
[1] YANG Z,NIU W,PENG X,et al.An image-based intelligent system for pointer instrument reading[C]//2014 4th IEEE international conference on information science and technology.[s.l.]:IEEE,2014:780-783.
[2] 王 瑞,李 琦,方彥軍.一種基于改進(jìn)角度法的指針式儀表圖像自動(dòng)讀數(shù)方法[J].電測(cè)與儀表,2013,50(11):115-118.
[3] 劉 迪,畢篤彥,李權(quán)合,等.非均勻光照下指針式儀表自動(dòng)判讀算法設(shè)計(jì)[J].計(jì)算機(jī)應(yīng)用與軟件, 2013, 30(9):47-48.
[4] 陶冰潔,韓佳樂(lè),李 恩.一種實(shí)用的指針式儀表讀數(shù)識(shí)別方法[J].光電工程,2011,38(4):145-150.
[5] 陳 彬,金連文.一種儀表指針位置檢測(cè)的中心投影法[J].計(jì)算機(jī)應(yīng)用研究,2005,22(1):246-248.
[6] KIM K H,CHEN S L,LEE Y B,et al.A study on analog and digital meter recognition based on image processing technique[J].Journal of the Korean Institute of Telematics and Eleatronics,1995,9(32):79-94.
[7] ALEGRIAE C,SERRA A C.Automatic calibration of analog and digital measuring instruments using computer vision[J].IEEE Transactions on Instrumentation and Measurement,2000,49(1):94-99.
[8] 何智杰,張 彬,金連文.高精度指針儀表自動(dòng)讀數(shù)識(shí)別方法[J].計(jì)算機(jī)輔助工程,2006,15(3):9-12.
[9] RUBLEE E,RABAUD V,KONOLIGE K,et al.ORB:an ef-
ficient alternative to SIFT or SURF[C]//Proceedings of 2011 international conference on computer vision.Washington,DC,USA:IEEE Computer Society,2011:2564-2571.
[10] ROSTEN E, DRUMMOND T. Fusing points and lines for high performance tracking[C]//Proceedings of tenth IEEE international conference on computer vision.Washington,DC,USA:IEEE Computer Society,2005:1508-1515.
[11] CALONDER M,LEPETIT V,STRECHA C,et al.BRIEF:binary robust independent elementary features[C]//Proceedings of 11th European conference on computer vision.Berlin:Springer,2010:778-792.
[12] 陳再良,鄒北驥,黃敏之,等.圖像亮度特征對(duì)ROI提取的影響[J].中南大學(xué)學(xué)報(bào):自然科學(xué)版,2012,43(1):208-214.
[13] GUO R,DAI Q,HOIEM D.Single-image shadow detection and removal using paired regions[C]//Proceedings of 2011 IEEE conference on computer vision and pattern recognition.Washington,DC,USA:IEEE Computer Society,2011:2033-2040.
[14] WU T P,TANG C K,BROWN M S,et al.Natural shadow matting[J].ACM Transactions on Graphics,2007,26(2):377-388.
[15] LEVIN A,LISCHINSKI D,WEISS Y.A closed-form solution to natural image matting[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2008,30(2):228-242.
[16] 楊志娟,袁縱橫,喬 宇,等.基于圖像處理的指針式儀表智能識(shí)別方法研究[J].計(jì)算機(jī)測(cè)量與控制,2015,23(5):1717-1720.
[17] 郭 佳.基于光照不均勻圖像的自適應(yīng)二值化方法研究[D].武漢:武漢科技大學(xué),2013.
[18] OTSU N.A threshold selection method from gray-level histograms[J].IEEE Transactions on Systems Man & Cybernetics,1979,9(1):62-66.
[19] LING Y.Fast Hough transform straight line detection based on classification[J].Microcomputer Information,2007,23(11):206-208.