基于機器視覺的指針式航空儀表圖像處理設(shè)計

文/周 虎 宋中建 周章勇（國營蕪湖機械廠）

目前，在航空儀表的維修中，對指針式儀表讀數(shù)或刻度指示判別都是由人工完成的。維修人員通過人眼判讀指針的位置、記錄各種儀表的數(shù)據(jù)來反映檢測產(chǎn)品的工作運行狀態(tài)。然而指針式航空儀表具有多樣性，對測量精度要求較高，維修存在不確定性，而且對人眼判讀所得的數(shù)據(jù)存儲和管理困難，不便于后期數(shù)據(jù)分析和故障預(yù)測。

隨著機器視覺的發(fā)展和對航空儀表自動化檢測要求的提高，采用圖像識別技術(shù)對指針式儀表示數(shù)進行自動識別，對于實現(xiàn)航空儀表的自動化檢測和智能分析具有重要作用。針對指針式儀表示數(shù)的自動識別，其核心技術(shù)包括表盤區(qū)域檢測、指針提取與檢測讀數(shù)計算兩部分。實現(xiàn)流程主要有兩種模式，一種是傳統(tǒng)方式，先檢測表盤區(qū)域，然后進行指針線的提取，再計算讀數(shù)；另一種是傳統(tǒng)與深度學習相結(jié)合的方式，檢測和識別合二為一，在檢測到表盤區(qū)域的同時提取指針、數(shù)字刻度線等關(guān)鍵信息的位置，再計算讀數(shù)。本方案擬采用傳統(tǒng)與深度學習相融合的方式，針對某型指針式航空電壓表設(shè)計一套自動化檢測系統(tǒng)。

一、系統(tǒng)總體設(shè)計

檢測系統(tǒng)采用工業(yè)相機采集儀表工作畫面圖像，通過視覺算法編程開發(fā)的智能檢測軟件對圖像進行處理，得出測量數(shù)據(jù)結(jié)果后，進行判斷和輸出。系統(tǒng)主要由圖像采集、圖像參數(shù)處理、信息輸出和外部通信控制4 部分組成。系統(tǒng)總體架構(gòu)如圖1 所示。

圖1 系統(tǒng)總體架構(gòu)

二、圖像處理軟件設(shè)計

系統(tǒng)軟件通過工業(yè)相機采集被檢測儀表畫面圖像，使用HALCON 和C++混合編程開發(fā)的圖像處理軟件對采集到的圖像進行處理，得出測量數(shù)據(jù)結(jié)果后，根據(jù)被檢測項目的目標進行判斷和輸出。軟件主要由通信控制、圖像采集與顯示、圖像預(yù)處理、圖像處理、解析處理結(jié)果、顯示與存儲、檢測模板等部分組成。

算法實現(xiàn)部分，分為輸入、中間處理、輸出3 部分。從工業(yè)相機設(shè)備獲取圖像，作為圖像輸入，這一步也是圖像處理的第一步輸入。Halcon 圖像處理，包括圖像預(yù)處理、圖像增強、圖像分割、特征提取、圖像理解等，是中間的處理部分，這一部分主要作為算法代碼實現(xiàn)，導(dǎo)出為C++代碼。

交互實現(xiàn)部分，主要是為了方便用戶操作與實用軟件，這部分不涉及圖像處理算法，主要是用Qt 框架，用于實現(xiàn)用戶界面與數(shù)據(jù)表現(xiàn)。

三、圖像處理算法設(shè)計

航空電壓表為典型的指針式儀表，靜態(tài)數(shù)據(jù)讀取包含儀表表盤區(qū)域的檢測和儀表關(guān)鍵點的檢測兩大部分。其中表盤區(qū)域的檢測采用基于深度學習的算法，在檢測到儀表區(qū)域的基礎(chǔ)上，針對指針式儀表的識別問題，設(shè)計了兩種電壓表數(shù)據(jù)讀取的算法。

1.基于深度學習的關(guān)鍵點檢測算法

根據(jù)電壓表的結(jié)構(gòu)特點，采用基于深度學習的關(guān)鍵點檢測實現(xiàn)對電壓表的數(shù)據(jù)讀取，通過檢測表盤的3 類關(guān)鍵點（儀表中心點、指針末端點、數(shù)字刻度關(guān)鍵點）來計算指針相對于數(shù)字刻度關(guān)鍵點的偏移角度，然后由相對偏移角度來計算讀數(shù)。定義的3 類關(guān)鍵點如圖2 所示，其中紅色方塊是儀表中心點，綠色三角是指針末端點，藍色圓點是數(shù)字刻度關(guān)鍵點。

圖2 電壓表關(guān)鍵點檢測定義

采用傳統(tǒng)圖像處理算法來檢測刻度關(guān)鍵點的位置需要人工設(shè)計特征，如指針和刻度線的幾何形狀、顏色等特征。這種算法適應(yīng)性較弱，同時檢測效果容易受到光照、拍攝角度等因素的影響，導(dǎo)致檢測算法失效。而采用深度學習技術(shù)，由于神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的深度和廣度可以達到很大，理論上可以擬合到任意函數(shù)，有很強的特征提取和學習能力。

2.基于SURF 特征點的儀表示數(shù)讀取算法

航空電壓表盤面的圖像相對簡單，為了降低讀數(shù)算法的復(fù)雜度，優(yōu)化算法實時性，本方案提出了基于SURF 特征點匹配的指針式儀表示數(shù)自動讀取算法，包括儀表關(guān)鍵點位置的檢測和指針線的提取。通過SURF 特征點匹配的方式來檢測儀表圖像的關(guān)鍵點位置，關(guān)鍵點的定義如圖3 所示，其中紅色方塊是儀表中心點，綠色三角是指針末端點，藍色圓點是數(shù)字刻度關(guān)鍵點。通過對模板圖像和待識別圖像分別提取SURF 特征點，然后對特征點進行匹配，計算出單應(yīng)性變換矩陣，即可將模板圖像的關(guān)鍵點位置映射至待測圖像上，為進一步的讀數(shù)識別奠定基礎(chǔ)。

圖3 儀表示數(shù)讀取投影計算示意圖

在檢測到儀表表盤的關(guān)鍵點后，就需要對表盤中的指針線進行檢測提取，可以根據(jù)中心點的位置采用中心投影法來檢測指針。在得到指針式儀表的數(shù)字刻度關(guān)鍵點和指針的位置后，即可根據(jù)指針相對于數(shù)字刻度關(guān)鍵點的偏轉(zhuǎn)角度計算讀數(shù)，具體計算過程如下：

設(shè)儀表的量程為(S1,S2)，共有n個數(shù)字刻度關(guān)鍵點，相對于儀表中心點的偏轉(zhuǎn)角度分別為m0,m1,m2,…,mn-1，指針的偏轉(zhuǎn)角度為α，位于mp和mq之間。示意圖如圖4 所示，儀表讀數(shù)的計算公式如下：

3.基于關(guān)鍵點檢測的讀取網(wǎng)絡(luò)

基于關(guān)鍵點檢測的讀取網(wǎng)絡(luò)架構(gòu)如圖4 所示。主干網(wǎng)絡(luò)采用全卷積的神經(jīng)網(wǎng)絡(luò)來提取特征，殘差網(wǎng)絡(luò)（ResNet）在圖像特征提取方面是最常用的網(wǎng)絡(luò)結(jié)構(gòu)，由一系列殘差塊組成，它解決了深層次神經(jīng)網(wǎng)絡(luò)帶來的精度退化現(xiàn)象?；跉埐罹W(wǎng)絡(luò)的主干網(wǎng)絡(luò)與CenterNet 類似，在ResNet 后加3 層動態(tài)卷積和轉(zhuǎn)置卷積就可以得到高分辨率的熱值圖，提高預(yù)測關(guān)鍵點位置的精度。

圖4 殘差主干網(wǎng)絡(luò)架構(gòu)圖

熱值圖的訓(xùn)練過程與CornerNet 類似，對于每一個儀表關(guān)鍵點采用未歸一化的二維高斯函數(shù)分布作為標簽值。其中（x,y）為關(guān)鍵點附近位置點的坐標，（xt,yt）為真實關(guān)鍵點的坐標，σp為標準差。經(jīng)過驗證發(fā)現(xiàn)σp=1 時效果最好。

四、結(jié)語

本文針對傳統(tǒng)的指針式航空儀表檢測中存在的主要問題，提出了一種基于機器視覺的圖像處理設(shè)計方案，使用HALCON 和C++混合編程開發(fā)了一套圖像處理軟件，采用基于深度學習的關(guān)鍵點檢測算法、基于SURF 特征點的儀表示數(shù)讀取算法和基于關(guān)鍵點檢測的讀取網(wǎng)絡(luò)，實現(xiàn)了儀表的讀數(shù)識別，并進行了充分的效果驗證，保證了某型指針式航空電壓表自動化檢測、數(shù)據(jù)采集和存儲項目的可行性。項目的順利實施，對工廠在機器視覺技術(shù)應(yīng)用、設(shè)備自動化檢測和數(shù)據(jù)采集應(yīng)用方面具有重要應(yīng)用價值和推廣前景。