基于對(duì)稱性特征的指針儀表識(shí)別

項(xiàng) 導(dǎo)，林 歡

(億嘉和科技股份有限公司，江蘇 南京 210012)

指針式儀表作為一種測(cè)量儀器，由于其具有結(jié)構(gòu)簡單、維護(hù)方便、抗電磁干擾能力強(qiáng)、低成本低故障率、防塵防水性能強(qiáng)等優(yōu)點(diǎn)，被廣泛應(yīng)用于冶金、石油化工、電力等行業(yè)[1-2]。近年來，我國的產(chǎn)業(yè)結(jié)構(gòu)正在從勞動(dòng)密集型向以高科技為導(dǎo)向的智慧型快速轉(zhuǎn)變，對(duì)企業(yè)的生產(chǎn)效率提出越來越高的要求。作為在企業(yè)生產(chǎn)和環(huán)境監(jiān)測(cè)中應(yīng)用廣泛的指針式儀表，其輸出結(jié)果為非數(shù)字信號(hào)，無法直接通過RS232、GPIB等接口進(jìn)行數(shù)字化采集和存儲(chǔ)，而傳統(tǒng)的依賴人工讀數(shù)的方式已經(jīng)難以滿足實(shí)時(shí)化、智能化的監(jiān)控需求，需要依賴視頻采集、圖像處理和機(jī)器視覺技術(shù)對(duì)儀表進(jìn)行智能識(shí)別[3]。

基于視覺的指針式儀表的自動(dòng)識(shí)別問題，國內(nèi)外已經(jīng)有很多研究人員進(jìn)行了深入研究，并提出了很多算法。一般而言，指針式儀表讀數(shù)識(shí)別方法由指針定位和讀數(shù)識(shí)別兩個(gè)關(guān)鍵部分構(gòu)成。指針定位主要是利用指針特征，通過圖像處理技術(shù)或者機(jī)器視覺技術(shù)對(duì)表盤上的刻度和指針位置進(jìn)行定位，常見的算法包括Hough直線變換法、最小二乘法、差影法、閾值法等[4]；讀數(shù)識(shí)別主要是利用檢測(cè)到的指針與表盤刻度的相對(duì)關(guān)系來計(jì)算儀表示數(shù)，常見的方法包括基于指針相對(duì)于零刻度偏轉(zhuǎn)角度的角度法、基于指針與表盤刻度相對(duì)位置的距離法及其改進(jìn)方法等[5]。朱海霞[6]采用Hough變換方法完成指針直線特征的識(shí)別，在表盤圓形特征的識(shí)別過程中通過減少累加像素?cái)?shù)目結(jié)合灰度中心法來提高特征定位的效率和精度，并通過構(gòu)建一個(gè)三層的BP神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了字符的識(shí)別?；贖ough 直線變換的方法在指針邊界存在噪聲干擾或者光照不均勻引起指針圖像間斷的情況下，仍具有較好的容錯(cuò)性和魯棒性。LIU等[7]利用小波變換提取指針與刻度邊緣點(diǎn)集合，然后基于最小二乘法擬合得到指針直線。施健等[8]利用差影法，即固定攝像頭與儀表表盤的位置，采集指針位置不同的兩幅圖像，根據(jù)兩幅圖像中指針?biāo)趨^(qū)域的像素值差異明顯、而背景區(qū)域的像素值相似的先驗(yàn)知識(shí)來定位指針位置，然后基于Hough變換計(jì)算指針的旋轉(zhuǎn)角度，進(jìn)而得到指針指向的讀數(shù)。HAN等[9]在對(duì)圖像進(jìn)行自適應(yīng)中值濾波和二值化的基礎(chǔ)上，利用改進(jìn)的Hough變換提取指針，再根據(jù)指針的偏轉(zhuǎn)角計(jì)算儀表讀數(shù)。YUE等[10]基于Hough變換檢測(cè)儀表指針，再通過指針對(duì)稱軸相對(duì)于零刻度直線的偏轉(zhuǎn)角來計(jì)算儀表讀數(shù)。薛建榮等[11]采用改進(jìn)的最大熵法計(jì)算最優(yōu)分割閾值，實(shí)現(xiàn)指針區(qū)域和背景區(qū)域的判別。孫鳳杰等[12]選取指針?biāo)趨^(qū)域的圓心與半徑，并按照預(yù)設(shè)的步長尋找指針與同心圓環(huán)的交點(diǎn)，再根據(jù)交點(diǎn)之間形成的線段的斜率計(jì)算指針相對(duì)于零刻度的偏轉(zhuǎn)角度，實(shí)現(xiàn)了較高的檢測(cè)精度，但是該方法需要人工將背景干擾比較小的指針部分區(qū)域選擇出來，當(dāng)表盤存在較多文字干擾時(shí)，容易檢測(cè)失敗。

上述識(shí)別算法大多針對(duì)特定類型的指針型儀表，基于不同的圖像特征分析對(duì)指針?biāo)诘膮^(qū)域及其讀數(shù)進(jìn)行定位和計(jì)算，并取得了較好的識(shí)別效果，但在算法適用性和魯棒性等方面仍然存在較多問題。例如，當(dāng)受環(huán)境光線影響導(dǎo)致指針表的表盤區(qū)域存在過曝、欠曝、陰影等情況，或者受限于圖像采集設(shè)備的成像能力、拍攝角度，導(dǎo)致表盤刻度存在模糊或指針部分被遮擋等情況發(fā)生時(shí)，上述算法在定位指針區(qū)域時(shí)可能存在較大的誤差。指針型儀表在變電站設(shè)備狀態(tài)監(jiān)測(cè)中應(yīng)用廣泛，受光照、遮擋等因素的影響，采用相機(jī)對(duì)此類儀表進(jìn)行抓圖時(shí)經(jīng)常會(huì)出現(xiàn)模糊、過曝等問題，傳統(tǒng)算法的識(shí)別效果欠佳。

本文針對(duì)變電站指針型儀表讀數(shù)自動(dòng)識(shí)別問題進(jìn)行了深入研究，目的是提高儀表成像質(zhì)量不佳時(shí)指針定位的準(zhǔn)確率和穩(wěn)定性。由于指針在此類儀表中均是圍繞固定點(diǎn)旋轉(zhuǎn)，并且具有對(duì)稱的邊緣結(jié)構(gòu)，基于此先驗(yàn)信息，本文提出了一種新穎的指針識(shí)別算法：1) 首先在待識(shí)別圖像中提取對(duì)稱性特征，并在此基礎(chǔ)上處理得到被識(shí)別指針的一系列信息；2) 基于模板匹配在全景圖中確定感興趣區(qū)域，在指針轉(zhuǎn)角和參考距離的量化空間上進(jìn)行累計(jì)矩陣投票，得到若干組候選指針對(duì)稱軸，在后續(xù)篩選中可以有效排除表盤符號(hào)光照等干擾因素；3) 通過指針邊緣像素點(diǎn)的共線性特征和指針對(duì)稱軸線段對(duì)應(yīng)的圖像像素值近似一致性，對(duì)非指針邊緣像素點(diǎn)進(jìn)行排除，使得最終的對(duì)稱像素點(diǎn)對(duì)基本上都屬于指針；4) 對(duì)候選指針進(jìn)行合并，去除重疊的候選指針，并選擇邊緣像素點(diǎn)集最多的候選指針作為最終的指針識(shí)別結(jié)果。本文提出的基于對(duì)稱性特征的儀表指針自動(dòng)識(shí)別方法，能夠更加精確地提取指針的偏轉(zhuǎn)方向，對(duì)不同大小的儀表指針具有較好的普適性，并且能夠克服表光照不均、表盤文字符號(hào)干擾、指針部分遮擋等因素的干擾，實(shí)現(xiàn)儀表指針穩(wěn)定、精確的識(shí)別。

1 算法設(shè)計(jì)

1.1 表盤區(qū)域定位

在變電站中拍攝到的指針式儀表圖像通常含有較豐富的背景信息，為了排除背景的干擾，提高指針定位準(zhǔn)確率和穩(wěn)定性，首先對(duì)指針?biāo)诘谋肀P區(qū)域進(jìn)行定位。本文采用模板匹配[13]的方法，利用事先標(biāo)定好的表盤區(qū)域模板在梯度域中進(jìn)行標(biāo)準(zhǔn)相關(guān)匹配，尋找指針儀表的感興趣(region of interesting,ROI)區(qū)域，記為Iyx(1≤y≤M,1≤x≤N)，其中M,N分別為ROI區(qū)域的高度與寬度，如圖1所示。

圖1 模板匹配定位表盤區(qū)域

1.2 候選指針提取

圖2給出了候選指針的提取流程。首先根據(jù)圖像邊緣的對(duì)稱性構(gòu)造累積矩陣Φ，計(jì)算累積矩陣Φ中前T個(gè)最大值；然后計(jì)算旋轉(zhuǎn)角與參考距離作為T個(gè)候選指針的對(duì)稱軸，并計(jì)算對(duì)稱軸對(duì)應(yīng)的對(duì)稱邊緣像素點(diǎn)對(duì)。具體包含以下幾個(gè)步驟：

圖2 候選指針提取流程

Step1，將儀表ROI圖像由RGB顏色空間轉(zhuǎn)換到灰度空間，采用自適應(yīng)Canny邊緣檢測(cè)算法[14]提取儀表ROI圖像的邊緣，同時(shí)計(jì)算每個(gè)邊緣像素點(diǎn)的梯度方向，記邊緣像素點(diǎn)集為Ω。Canny邊緣檢測(cè)的低閾值、高閾值分別設(shè)為(1-σ)μ、(1+σ)μ，其中μ為圖像灰度值的均值，σ為調(diào)節(jié)參數(shù)，參數(shù)σ過小會(huì)使得弱邊緣丟失，過大將產(chǎn)生許多偽邊緣，根據(jù)經(jīng)驗(yàn)，這里設(shè)σ為0.33。

Step2，定義[θmin,θmax]為儀表指針的轉(zhuǎn)角范圍，[ρmin,ρmax]為儀表指針的對(duì)稱軸與事先標(biāo)定參考點(diǎn)Pr(x,y)的參考距離范圍，將參數(shù)空間(θ,ρ)在[θmin,θmax]×[ρmin,ρmax]區(qū)域上進(jìn)行等間隔量化，構(gòu)造累積矩陣Φ，并將其初始化為0，如式(1)所示。

Φij←0(θmin≤i≤θmax,ρmin≤j≤ρmax)

(1)

1)點(diǎn)對(duì)距離約束，即點(diǎn)pm與pn的距離滿足參數(shù)h的距離約束；

2)點(diǎn)對(duì)方向約束，即指針邊緣像素對(duì)的方向近似相對(duì)或者相背，且與指針對(duì)稱軸近似垂直；

3) 點(diǎn)對(duì)對(duì)稱軸參考距離約束，即點(diǎn)對(duì)對(duì)應(yīng)的對(duì)稱軸必須與參考點(diǎn)滿足一定的距離約束。則置

Φij←Φij+1

(2)

圖3 累積矩陣?yán)奂硬呗?/p>

這里的行索引i=θ表示指針對(duì)稱軸的旋轉(zhuǎn)角索引，列索引j為像素點(diǎn)pm與pn的中點(diǎn)到參考點(diǎn)Pr(x,y)的距離，表示指針對(duì)稱軸的參考距離索引，據(jù)此完成累積矩陣的投票累加。

Step3，累積矩陣Φ的元素值表明了邊緣像素對(duì)的多少，Φ的最大值代表了最多的對(duì)稱邊緣像素對(duì)。計(jì)算累積矩陣Φ中前T個(gè)最大值，相應(yīng)的行索引表明了對(duì)稱軸的旋轉(zhuǎn)角，列索引表明了指針對(duì)稱軸與參考點(diǎn)的參考距離，以此作為候選指針的對(duì)稱軸，記T個(gè)候選指針的對(duì)稱軸兩側(cè)邊緣像素點(diǎn)集分別為Lk與Rk(k=1,2,…,T)。

圖4給出了儀表ROI區(qū)域經(jīng)過上述步驟處理后得到的候選指針圖像。

1.3 候選指針提煉

如圖4所示，候選指針提取的結(jié)果通常存在許多偽指針邊緣像素對(duì)，需要對(duì)候選指針進(jìn)行提煉，去除非指針邊緣的像素對(duì)，使得最終的像素對(duì)基本

圖4 候選指針提取的結(jié)果圖

上都屬于指針。對(duì)于指針而言，存在如下先驗(yàn)信息：1)指針兩側(cè)的邊緣像素點(diǎn)基本上滿足共線性特性；2)指針對(duì)稱軸線段對(duì)應(yīng)的圖像像素值近似一致，即滿足一致性。如圖5所示，候選指針提煉具體包括以下幾個(gè)子步驟：

圖5 候選指針提煉與合并

Step1，對(duì)候選指針的邊緣像素點(diǎn)集Lk進(jìn)行RANSAC[15]共線性檢測(cè)，提取最多的共線性像素點(diǎn)，得到共線像素點(diǎn)的索引集，記為Lkdx。同理可以得到邊緣像素點(diǎn)集Rk的共線邊緣像素點(diǎn)的索引集，記為Rkdx。若索引kdx同時(shí)滿足kdx∈Lkdx∧kdx∈Rkdx，則說明該索引對(duì)應(yīng)的邊緣像素對(duì)就是滿足共線性約束的邊緣對(duì)，記滿足共線性約束的邊緣像素點(diǎn)集為L1k與R1k，L1k與R1k點(diǎn)對(duì)對(duì)應(yīng)的中點(diǎn)即為指針對(duì)稱軸上的點(diǎn)，記對(duì)稱軸像素點(diǎn)集為Mk。

Step2，對(duì)稱軸像素點(diǎn)集分裂與再組合。由于光線、條紋、符號(hào)等的干擾，導(dǎo)致提取到的指針對(duì)稱軸會(huì)存在斷開的情況，為了得到準(zhǔn)確的指針信息，需要對(duì)對(duì)稱軸像素點(diǎn)集進(jìn)行分裂與再組合處理。首先，當(dāng)像素對(duì)距離在小范圍內(nèi)時(shí)理論上可以認(rèn)為該像素對(duì)屬于同一目標(biāo)，即對(duì)候選指針對(duì)稱軸點(diǎn)集Mk進(jìn)行距離聚類，將距離較小的點(diǎn)對(duì)聚成一簇，記得到的聚類簇為Γkm，下標(biāo)m為聚類簇的個(gè)數(shù)，不同的候選指針具有不同的聚類簇?cái)?shù)目。其次，對(duì)聚類簇Γkt進(jìn)行再組合，即設(shè)Γks與Γkt表示第k個(gè)候選指針對(duì)稱軸的任意兩個(gè)聚類簇，對(duì)應(yīng)的聚類中心像素點(diǎn)坐標(biāo)為Pks與Pkt，統(tǒng)計(jì)ROI區(qū)域圖像內(nèi)從像素點(diǎn)Pks到Pkt直線段對(duì)應(yīng)的像素值變異系數(shù)CVst：

(3)

式中：σst，μst分別為直線段對(duì)應(yīng)像素值的標(biāo)準(zhǔn)差與均值。若變異系數(shù)CVst小于事先指定的閾值，則將聚類簇Γks與Γkt對(duì)應(yīng)的邊緣像素點(diǎn)集進(jìn)行再組合，邊緣像素點(diǎn)集L1k與R1k經(jīng)過聚類簇再組合操作后的邊緣像素點(diǎn)集記為L2k與R2k。

侯選指針提煉結(jié)果如圖所示。

圖6 候選指針提煉結(jié)果圖

1.4 指針合并與選擇

指針合并的目的是去除重疊的候選指針。首先，根據(jù)對(duì)稱邊緣像素點(diǎn)集L2k與R2k計(jì)算候選指針的最小和最大寬度、指針夾角、對(duì)稱軸首尾端點(diǎn)與轉(zhuǎn)角方向等信息；然后，若兩候選指針同時(shí)滿足轉(zhuǎn)角方向近似一致、指針夾角近似一致、最小和最大寬度符合形態(tài)一致性要求，則將兩候選指針進(jìn)行合并，形成新的候選指針；最后選擇邊緣像素點(diǎn)集最多的候選指針作為最終的指針識(shí)別結(jié)果。圖7為最終識(shí)別的指針結(jié)果圖，給出了指針兩側(cè)邊緣以及中間的對(duì)稱軸。

提取指針的對(duì)稱軸之后，再根據(jù)對(duì)稱軸相對(duì)于零刻度的旋轉(zhuǎn)角度，即能計(jì)算指針指向的刻度的示數(shù)。

2 實(shí)驗(yàn)與結(jié)果分析

為了驗(yàn)證所提出的基于對(duì)稱性的指針檢測(cè)算法的有效性，本文開展了實(shí)驗(yàn)研究。實(shí)驗(yàn)所用的計(jì)算機(jī)硬件配置：Intel Core I7-6560U CPU、主頻2.2GHz，內(nèi)存8GB。軟件配置：操作系統(tǒng)Windows 1064bit，采用Visual C++編程實(shí)現(xiàn)。實(shí)驗(yàn)在變電站實(shí)際采集的20 000張指針式儀表樣本集上進(jìn)行，樣本包含多個(gè)拍攝角度、清晰度、光照等，圖8給出了部分圖片示例。

圖7 最終識(shí)別的指針結(jié)果圖

圖8 指針式儀表樣本集圖片示例

以指針當(dāng)前讀數(shù)的 10%作為誤差限，若算法識(shí)別結(jié)果在誤差限范圍內(nèi)即判定為讀數(shù)正確，否則為錯(cuò)誤。算法識(shí)別準(zhǔn)確率見表1。從表中可以看出，19 748張圖片的算法識(shí)別結(jié)果在10%的誤差限范圍內(nèi)，準(zhǔn)確率為98.74%。識(shí)別錯(cuò)誤的圖像中，其誤差大部分集中在10%～20%的誤差范圍內(nèi)。單張圖像的算法檢測(cè)時(shí)間平均為0.352s。這表明本文提出的算法在識(shí)別準(zhǔn)確率和識(shí)別速度上均取得了較好的效果，能夠滿足實(shí)用的需求。

表1 識(shí)別結(jié)果統(tǒng)計(jì)

3 結(jié)束語

本文針對(duì)變電站指針型儀表圖像在過曝、欠曝、遮擋、模糊等情況下的準(zhǔn)確識(shí)別展開了深入研究，所提算法的主要?jiǎng)?chuàng)新之處在于提取待識(shí)別指針圖像中的對(duì)稱性特征，在角度和距離空間中進(jìn)行投票，得到候選指針對(duì)稱軸，再結(jié)合指針邊緣像素點(diǎn)的共線性和指針對(duì)稱軸線段對(duì)應(yīng)的像素值近似一致性等先驗(yàn)信息，對(duì)候選指針進(jìn)行篩選，并根據(jù)指針對(duì)稱軸的旋轉(zhuǎn)角度計(jì)算得到儀表的最終讀數(shù)。實(shí)驗(yàn)結(jié)果表明，本文方法能夠準(zhǔn)確定位指針區(qū)域并識(shí)別儀表示數(shù)，并且算法耗時(shí)很短，能夠滿足指針式儀表的實(shí)時(shí)巡檢需求。本文提出的算法主要是識(shí)別刻度均勻的單指針式儀表，未來將對(duì)刻度不均勻或者多指針的儀表讀數(shù)識(shí)別問題進(jìn)行研究，進(jìn)一步提高算法的普適性。

參考文獻(xiàn)：

[1] 李治瑋, 郭戈. 一種新型指針儀表識(shí)別方法研究[J]. 微計(jì)算機(jī)信息, 2007 (31): 113-114.

[2] PARK Tae-hyoung, KIM Hwa-jung. Path planning of automatic optical inspection machines for PCB assembly systems[C]//IEEE International Symposium on Computational Intelligence in Robotics and Automation. Espoo, Finland: IEEE Computer Society Press. 2005: 249-254.

[3] 金京犬, 劉清. 基于嵌入式 ARM 的指針式儀表讀數(shù)的識(shí)別研究[J]. 南京師范大學(xué)學(xué)報(bào) (工程技術(shù)版), 2009, 9(1): 23-27.

[4] 宋人杰, 趙立亞. Hough 變換的改進(jìn)及其在電廠指針式儀表自動(dòng)識(shí)別中的應(yīng)用[J]. 東北電力大學(xué)學(xué)報(bào), 2011, 31(3): 42-46.

[5] ALEGRIA E C,SERRA A C. Automatic calibration of analog and digital measuring instruments using computer vision[J]. IEEE Transactions on Instrumentation and Measurement, 2000, 49(1): 94-99.

[6] 朱海霞. 基于改進(jìn)Hough變換和BP網(wǎng)絡(luò)的指針儀表識(shí)別[J]. 電測(cè)與儀表, 2015, 52(5): 11-14.

[7] LIU S G,LIU M Y,HE Y. Checking on the quality of gauge panel based on wavelet analysis[C]//Machine Learning and Cybernetics, 2002. Proceedings. 2002 International Conference on. Beijing： IEEE, 2002:763-767.

[8] 施健, 張冬, 何建國, 等. 一種指針式化工儀表的遠(yuǎn)程抄表設(shè)計(jì)方法[J]. 自動(dòng)化儀表, 2014, 35(5): 77-79.

[9] HAN Jiale, LI En,TAO Bingjie,et al. Reading recognition method of analog measuring instruments based on improved hough transform[C]//Electronic Measurement & Instruments (ICEMI), 2011 10th International Conference on. Chengdu：IEEE, 2011: 337-340.

[10] YUE Xiaofeng , ZHANG Min,ZHOU Xiaodong, et al. The research on auto-recognition method for analogy measuring instruments[C]//Computer, Mechatronics, Control and Electronic Engineering (CMCE), 2010 International Conference on. Changchun：IEEE, 2010: 207-210.

[11] 薛建榮, 楊明. 基于圖象處理的復(fù)雜指針式儀表的識(shí)別[J]. 中國儀器儀表, 2005 (10): 73-74.

[12] 孫鳳杰, 郭鳳順, 范杰清, 等. 基于圖像處理技術(shù)的表盤指針角度識(shí)別研究[J]. 中國電機(jī)工程學(xué)報(bào), 2005, 25(16): 73-78.

[13] ROBERTO Brunelli. Template Matching Techniques In Computer Vision[M].New York：Wiley,2009.

[14] CANNY J. A computational approach to edge detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1986,8(6)：679-698.

[15] CHOI S,KIM T,YU W. Performance evaluation of RANSAC family[J]. Journal of Computer Vision, 1997, 24(3): 271-300.