曾瑞林, 王 冠, 王瀟宇, 閻小濤，陳海寶

(1.上海交通大學，上海 200240；2.北京宇航系統(tǒng)工程研究所，北京 100076)

0 引言

計算機視覺技術的發(fā)展推動了工業(yè)系統(tǒng)的進步，與計算機視覺相關的研究現(xiàn)已滲透到生活和生產(chǎn)的諸多方面。計算機視覺在圖像和視頻的分類、識別、增強、移動目標識別等各個領域做出了突出貢獻，降低了圖像視頻的人工處理成本，提高了相關工作效率和穩(wěn)定性。

運載火箭在發(fā)射升空過程中，作為運載火箭發(fā)動機的重要部件，噴管噴射出液體燃料燃燒產(chǎn)生的高壓氣體推動著火箭的運動。運載火箭可以通過各級發(fā)動機上的噴管不同方向的擺動來調(diào)整箭體的不同飛行狀態(tài)[1]。發(fā)動機極性試驗是指火箭在發(fā)射前的地面試車階段，模擬火箭升空時各級發(fā)動機的運動順序進行伺服機構(gòu)通電測試，觀察噴管的擺動方向，以預演的方式保證火箭在發(fā)射升空時的噴管操縱過程的正確性。發(fā)動機極性測試的表現(xiàn)與火箭發(fā)射成敗具有緊密的聯(lián)系。

傳統(tǒng)上，火箭發(fā)射前地面試驗的極性試驗主要依靠人工目視法進行現(xiàn)場判讀。受制于火箭噴管的位置與運動情況，極性測試的人工觀察現(xiàn)場開展有著很大困難，導致測試的準確與置信度不理想。針對人工觀察的不足和問題，有學者設計出極性測試自動化系統(tǒng)，使用計算機視覺自動化方法替代人工進行極性測試。

一些學者陸續(xù)為火箭噴管檢測的運動測量與建模提出了有效的方法，2010年，張靈飛等[2]通過設置指定位置噴管紅外反光球的特征位置捕獲的方式實現(xiàn)噴管運動狀態(tài)的判定。2012年，鮑文磊等[3]設計了基于模板匹配方法和圓擬合算法的模式，以基于單一攝像頭設置的方法估算噴管的擺動狀況。Guo等[4-5]、Bo等[6]提出了一種通過三角視差法切分標注特征點坐標的立體視覺的火箭噴管運動參數(shù)視點測量方法，顯著提高了噴管運動參數(shù)和擺動量的測量精度。2019年，Cui等[7]在研究中建立了一個具有離散特征點約束的噴管姿態(tài)間接調(diào)解模型以提升噴管狀態(tài)檢測的精準度。2021年，方藝偉等[8]提出了一種使用小型無線攝像頭進行噴管極性測試的方法并設計了一種軟硬件協(xié)同測試機制，該研究擺脫了傳統(tǒng)噴管運動測試依賴大型高精密儀器制約的問題，使得火箭噴管極性測試能夠在火箭發(fā)射現(xiàn)場展開。

光流法為二維空間或三維空間物體的抽象運動向量場情況建模與描述，在計算機實際方面以圖像像素網(wǎng)格建立光流運動向量場來進行運動估計。深度光流法指的是采用深度學習實現(xiàn)的光流估計算法。2015年，德國Dosovitskiy等[9]首次提出將卷積神經(jīng)網(wǎng)絡引入到光流估計領域，提出了FlowNet網(wǎng)絡結(jié)構(gòu)。該團隊在2017年提出了FlowNet2.0[10]，通過新數(shù)據(jù)集合成及訓練方法改進、多網(wǎng)絡堆疊、小位移網(wǎng)絡設計等策略，顯著提升了光流估計的性能。為了更好地應對光流估計中的小位移和大位移問題，2017年，Ranjan等[11]提出SpyNet，利用傳統(tǒng)算法中的金字塔理念對光流網(wǎng)絡進行改變。Hui等[12]于2018年提出LiteFlowNet，通過引入級聯(lián)預測光流和特征正則的思想，進一步提升了光流的性能。2020年Teed等[13]發(fā)表遞歸全對場變換(Recurrent All-pairs Field Transforms, RAFT)光流的研究成果，在模型規(guī)模和精度、速度方面都達到良好的表現(xiàn)。本文在RAFT光流法的基礎上進行改進，并在極性檢測場景中取代了傳統(tǒng)Farneback稠密光流法，獲得了更優(yōu)的效果。

1 極性自動化檢測流程描述

1.1 極性自動化檢測系統(tǒng)的數(shù)據(jù)傳輸鏈路

目前應用于某型號長征系列火箭發(fā)動機極性自動檢測系統(tǒng)是軟硬件進行協(xié)同工作的整體系統(tǒng)。從數(shù)據(jù)傳輸?shù)慕嵌确治?，該系統(tǒng)的工作流程大致可以分為前端攝像頭視頻采集、網(wǎng)絡視頻傳輸、極性判別與客戶端結(jié)果可視化等4個部分。其中前端(發(fā)射現(xiàn)場)無線網(wǎng)絡攝像頭負責采集實時視頻信息，使用光纖通路視頻流信號傳輸至后端控制大廳；后端(遠程值守人員監(jiān)視的計算機系統(tǒng))服務器實時進行圖像獲取與運算、分析并將結(jié)果通過PC機上安裝的客戶端程序進行判別結(jié)果可視化顯示[8]。極性自動化系統(tǒng)在前后端的數(shù)據(jù)傳輸鏈路如圖1所示。

圖1 極性自動化系統(tǒng)數(shù)據(jù)傳輸流程

1.2 極性自動化檢測算法概述

在極性自動化檢測算法運行的過程中，服務器配置的軟件能夠利用稠密光流法實現(xiàn)相鄰幀的圖像數(shù)據(jù)像素點差異和像素點的瞬時運動量計算，并結(jié)合根據(jù)噴管的識別框位置坐標定性構(gòu)建出噴管運動量情況。噴管的識別框位置可以手動標定，也可以使用YOLO系列目標識別算法進行自動標定。發(fā)動機的噴管識別框定位結(jié)果如圖2所示。

圖2 噴管識別框定位標注

噴管識別框位置以及運算所得到的稠密光流場通過以式(1)計算得到噴管相對運動量

(1)

式中，di,j,t表示圖像中坐標位置為i,j的光流場像素點在t時刻所對應的二維運動量；Dk,t表示第k個噴管在t時刻的二維運動量。Bound(k)表示第k個噴管的選框所包含的二維像素點位置集合。

在二維運動量Dk,t的基礎上，算法根據(jù)不同級發(fā)動機噴管的運動幅度，設定相關閾值Tk進行發(fā)動機各個噴管動作的篩分，實現(xiàn)非噴管干擾運動的過濾[8]。

1.3 極性自動化檢測系統(tǒng)改進設計概述

本文在已有極性自動化檢測系統(tǒng)的基礎上，對極性測試算法以及軟件進行了改進研究，實現(xiàn)了極性自動化檢測進一步的優(yōu)化。

針對極性自動化檢測算法中發(fā)動機噴管運動檢測這一重要環(huán)節(jié)，使用傳統(tǒng)光流法檢測存在誤差大、不確定因素多等問題，本文運用深度光流算法實現(xiàn)運動測試精度的提升，減少了對極性動作的誤判；針對已有極性自動化檢測算法系統(tǒng)無法對噴管擺角進行測量的問題，本文提出了一種噴管擺角測量算法；針對已有極性自動化檢測算法的系統(tǒng)資源占用高的情況，本文在軟件層面提出了一種優(yōu)化控制算法，完成硬件資源的分配優(yōu)化。軟件運行流程如圖3所示。

圖3 極性自動化判別軟件運行流程

2 深度光流法改良設計

2.1 RAFT深度光流法簡介

作為深度學習光流估計法的代表，RAFT光流法在性能效果、參數(shù)量、運算速度等方面較之前的研究成果都有較大的提升。RAFT光流法的出現(xiàn)促進了深度光流運動估計在各個領域的落地應用。RAFT光流法借助人工神經(jīng)網(wǎng)絡實現(xiàn)光流估計，結(jié)構(gòu)如圖4所示，包含以下3個主要部分：

圖4 RAFT光流法數(shù)據(jù)流示意

1)特征提取編碼器：特征提取編碼器包括圖像編碼器和紋理提取編碼器，能實現(xiàn)以卷積的方式降低圖像分辨率，擴充圖像通道維度，完成每個像素區(qū)域的特征向量信息提取。

2)通道特征圖相似性模塊：該模塊對維度為H×W×C的特征圖進行逐像素點通道內(nèi)積計算，得到包含像素點運動信息的四維張量H×H×W×W作為特征點相似度知識。

3)GRU迭代更新模塊：該模塊為結(jié)合卷積網(wǎng)絡的門控循環(huán)單元(GRU)，能夠?qū)饬饔嬎憬Y(jié)果進行迭代更新。

用于極性自動化測試的RAFT光流法雖然能夠?qū)崿F(xiàn)更加精細的噴管運動結(jié)果檢測，但由于算法存在運行時間消耗過大的問題，直接將其用于極性自動化測試會出現(xiàn)判讀時間延遲的現(xiàn)象，無法滿足實時性要求。本文在RAFT光流法基礎上進行改進研究，通過RAFT網(wǎng)絡內(nèi)部結(jié)構(gòu)的修改使之進一步滿足極性測試中光流運動估計的具體要求，實現(xiàn)光流測試系統(tǒng)精準度與性能的進一步提升?？紤]到RAFT光流法在圖像輸入編碼時間方面的損耗存在一定的優(yōu)化空間，為實現(xiàn)整體運行速度的提升，本章對輸入編碼層進行改良設計，在保證精度的情況下減小輸入圖像編碼時間；為使得RAFT光流法在迭代過程實現(xiàn)更快的收斂，本文在迭代模塊中使用正則化模塊優(yōu)化光流網(wǎng)絡的知識提取能力，實現(xiàn)了網(wǎng)絡精度的提升。

2.2 輸入編碼層設計

深度光流網(wǎng)絡通過輸入編碼層進行原始圖像特征提取以及編碼工作，后續(xù)的網(wǎng)絡光流推導將基于編碼得到的信息進行整合處理。輸入編碼層在整體光流推理時間中占據(jù)一部分比重，為實現(xiàn)更快速的光流網(wǎng)絡設計，以及極性測試噴管運動檢測的幀率提升，本節(jié)對輸入編碼層進行了改良設計，實現(xiàn)了輸入圖像編碼時間的減小。

目前，以RAFT網(wǎng)絡為代表的深度光流網(wǎng)絡的輸入為8位三通道RGB圖像與視頻，但在實際條件下，極性測試受制于多路攝像頭實時視頻流并發(fā)傳輸?shù)木W(wǎng)絡壓力，一般采用單通道灰度視頻流作為判別基準?？紤]到單通道灰度視頻流較多通道彩色圖像所包含的信息量有所損失，因此本文基于圖像梯度向量法對圖像維度進行擴充與強化，對原始數(shù)據(jù)所包含的信息進行擴充。輸入圖片預處理過程如圖5所示。

圖5 輸入圖片處理

本文采用Sobel算子導數(shù)濾波核進行圖像的梯度二維向量構(gòu)建，該濾波核可分為x,y方向卷積因子

(2)

(3)

(4)

光流法的計算結(jié)果依賴于原始輸入圖像的邊緣和位置信息，而圖像梯度向量能夠?qū)Υ祟愋畔⑦M行更為有效的表示與描述，采用圖像輸入強化方法的輸入預處理方式能夠提升光流網(wǎng)絡對輸入信息量的獲取能力。

為實現(xiàn)網(wǎng)絡運算速度的提升與網(wǎng)絡規(guī)模壓縮的目的，本文引入了循環(huán)神經(jīng)網(wǎng)絡與卷積層結(jié)合的ConvRNN網(wǎng)絡，其結(jié)構(gòu)如圖6所示。該網(wǎng)絡可替代ResNet網(wǎng)絡結(jié)構(gòu)實現(xiàn)相類似的網(wǎng)絡復用與記憶功能，具有更好的實際表現(xiàn)，能夠進一步實現(xiàn)圖像編碼器的輕量化與運算快速化。改進前后的編碼器編碼時間與參數(shù)對比如表1所示。

圖6 編碼器結(jié)構(gòu)比較

表1 編碼器速度與規(guī)模對比

2.3 循環(huán)迭代層設計

本節(jié)采用運動檢測中表現(xiàn)較好的RAFT算法用于極性測試噴管運動檢測。為提升極性測試噴管運動檢測結(jié)果的速度與精度，本文對RAFT算法中的循環(huán)迭代模塊進行進一步的修改。本節(jié)介紹了一種在循環(huán)迭代層增加正則化單元以提升RAFT算法表現(xiàn)的策略。

循環(huán)迭代層被用于對光流法進行精細度提升工作。光流運算中間結(jié)果經(jīng)過GRU迭代模塊進行運算。GRU模塊的記憶功能使得迭代網(wǎng)絡能夠?qū)崿F(xiàn)復用，減小了網(wǎng)絡模塊的冗余。同時，基于上一階段的運算光流記憶值，GRU模塊能夠使得光流計算結(jié)果在迭代過程中保持收斂，保證網(wǎng)絡在下一輪迭代中得到更加精細的光流計算結(jié)果。光流迭代模塊結(jié)構(gòu)如圖7所示。

圖7 光流迭代模塊結(jié)構(gòu)

網(wǎng)絡需要通過多次迭代運算構(gòu)建高精度的光流場。當?shù)_到一定次數(shù)時，收斂速度明顯趨緩。本文創(chuàng)新地引入了正則化單元用于處理循環(huán)迭代運算之后的光流結(jié)果，加快收斂速度。正則化單元可以根據(jù)輸入的原始幀信息與當前得到的光流場信息進行比對，緩解光流運算結(jié)果中出現(xiàn)的噪聲、邊緣模糊等問題[12]，提升光流分析在迭代輪次中的收斂速度，使系統(tǒng)可以在更小的迭代收斂時間內(nèi)完成高精度光流場的計算。正則化單元如圖8所示。

圖8 正則化單元結(jié)構(gòu)

3 實時噴管擺角測定算法

3.1 噴管擺角測定方法簡介

在理想實驗室條件下，可以使用傳感器、高速攝像機等設備，結(jié)合噴管所在位置的實際狀況，使用幾何方法對噴管運動的擺角進行精確建模分析。在發(fā)射現(xiàn)場極性測試的環(huán)境下，由于使用的是網(wǎng)絡攝像頭對實際位置的噴管進行拍攝，無法使用各類先進的傳感器設備進行噴管的擺角測定?？紤]到噴管的拍攝場景相對固定，且舵控制電壓可以指示實時的噴管擺角情況，因此考慮基于之前測試視頻信息，根據(jù)電壓情況對特定幀的噴管運動情況進行標定與反推，構(gòu)建出噴管運動擺角數(shù)據(jù)集，實現(xiàn)實時噴管擺角的測量工作。

3.2 擺角數(shù)據(jù)集的標定

對于某型號火箭某發(fā)次的伺服機構(gòu)舵電壓與噴管實際擺角成正相關的關系，可通過人工專家經(jīng)驗方式，參考舵電壓實時情況，標定視頻流中每個噴管的擺角情況隨時間的變化情況。噴管擺角標記方式如圖9所示。

圖9 噴管擺角標記方式

3.3 實時擺角測定算法

本文采用噴管判別區(qū)域內(nèi)的逐個像素累積光流運動量作為判據(jù)，構(gòu)建噴管狀態(tài)描述向量，通過主成分分析(Principal Component Analysis，PCA)的方式保留重要的狀態(tài)分量，使用根據(jù)壓縮之后的噴管狀態(tài)描述向量構(gòu)建狀態(tài)空間，根據(jù)實時視頻流狀態(tài)空間信息特征，結(jié)合對應像素累積光流運動量使用K最鄰近(K-Nearest Neighbor, KNN)法判定實時噴管擺角。實時噴管擺角測定算法流程如圖10所示。

圖10 實時噴管擺角測定算法流程

在噴管擺角測定算法中，累積光流運動量反映了噴管運動與原始位置的累積偏差，為實時噴管擺角的直接判據(jù)；PCA方法主要用于對原始數(shù)據(jù)進行降維，保留重要特征，實現(xiàn)降低后續(xù)聚類運算的復雜度，加速噴管擺角的實時計算目的。

表2 算法1 實時擺角測定算法

上述算法中的Regulate函數(shù)可以實現(xiàn)噴管識別框大小的統(tǒng)一，實現(xiàn)噴管狀態(tài)描述向量的歸一化以便于開展后續(xù)的計算；Flatten函數(shù)用于將原始識別框窗口尺寸進行拉平成一維向量。根據(jù)一維向量在空間中的聚類特性可以判定出擺角的實時偏移情況，達到輔助測試人員進一步分析判定噴管擺角情況的作用。

4 極性自動化測試軟件改良設計

4.1 實時攝像頭監(jiān)視算法改良

原極性自動化測試基于多路攝像頭并行光流幀判別的模式進行實時監(jiān)控。該方法能保證視頻流被實時捕獲，并且映射出實時噴管運動情況。對于不在極性流程中的攝像頭，原極性自動化測試軟件也對其進行實時監(jiān)視，造成了一定運算資源的浪費。針對該問題，本文探究一種低計算資源消耗的極性監(jiān)測系統(tǒng)改良方法，使得極性檢測系統(tǒng)能夠避免在非檢測流程的噴管上進行過度非必要的運算導致計算資源的浪費，從而使得軟件計算資源的分配更加合理。改良的極性監(jiān)測系統(tǒng)如圖11所示。

圖11 改良的極性監(jiān)測系統(tǒng)

本文在原極性檢測軟件的基礎上，對未進入判別流程的攝像頭所傳輸?shù)囊曨l流使用了一種視頻活躍度檢測算法代替光流運動檢測算法以進行實時運動狀態(tài)監(jiān)視。當極性測試所對應的視頻流狀態(tài)達到觸發(fā)條件，軟件即切入視頻流實時判別流程。該方法結(jié)合了幀差法[14]和直方圖方法，通過構(gòu)造視頻幀差直方圖[15]，實現(xiàn)對視頻流中的發(fā)動機噴管是否有運動進行初步有效篩分。

實時攝像頭監(jiān)視算法的改良需要依賴軟件架構(gòu)做出如下調(diào)整：

1)對原系統(tǒng)架構(gòu)中的視頻流算法運動識別層進行拆解，加入閾值預判別邏輯；

2)在光流判別層之前加入視頻流運動篩選層，該層同其他功能模塊一樣使用類進行封裝設計。

4.2 視頻流運動篩選算法

對于暫時不參與噴管極性判別流程的攝像頭，本文采用幀差直方圖對比的方式作為攝像頭中的噴管運動狀態(tài)檢測與評估的依據(jù)。當幀差直方圖的分布滿足一定條件之后，即認定攝像頭對應級數(shù)的噴管開始運動，軟件將相應攝像頭接入，開啟針對新一級發(fā)動機的極性判別流程。

幀差直方圖如圖12所示，可以對連續(xù)兩幀視頻幀的幀差結(jié)果作統(tǒng)計學分析。由圖可以看出，在兩幀差異度較高的情況下，幀差圖中的像素差異值高的點數(shù)量會相應地增多。與此同時，幀差直方圖中反映的高像素差異點的占比數(shù)量會增加。反之則會遞減。據(jù)此可以基于幀差直方圖設定一系列閾值，在高像素差異閾值的像素差異點占比大于某個值的情況下認定攝像頭所攝制的發(fā)動機噴管發(fā)生了明顯的運動，進入新一級的發(fā)動機判別流程。

圖12 幀差直方圖

視頻流運動篩選算法的運行流程如下：

表3 算法2 視頻流運動篩選算法

視頻流運動篩選算法首先通過兩幀連續(xù)圖像幀差的絕對值作為輸入幀差圖像，之后根據(jù)幀差的情況逐像素構(gòu)建維度為256的幀差直方圖。幀差直方圖反映了對應像素差異點占總差異點的比重。當幀差直方圖大于預設定閾值的像素點占總像素數(shù)目的比例高于5%時，即可認定為攝像頭捕獲的視頻流的噴管處在運動狀態(tài)，進入光流判別流程；反之則認定攝像頭捕獲到的視頻流中的噴管為靜止，繼續(xù)使用幀差直方圖算法進行視頻流運動篩選。

與對所有原始輸入視頻流直接采用光流法進行閾值判別的模式相比，本方法限制了算法作用于對存在運動情況的視頻流中進行的光流判讀，降低了多線程光流運算所造成的運算資源冗余，減少了服務器的負載。

5 火箭噴管自動化識別實驗結(jié)果

5.1 噴管極性識別結(jié)果

基于某型號長征系列火箭的地面極性測試視頻和數(shù)據(jù)，通過上述改進系統(tǒng)分析得到噴管極性自動識別結(jié)果。以第一級發(fā)動機的4個噴管為例，極性識別結(jié)果如表4所示。

表4 一級發(fā)動機測試結(jié)果

如表4所示，在動作識別方面，極性自動化識別系統(tǒng)對一級發(fā)動機的極性識別準確率達到100%。同時，實時擺角測定算法可以測量得出實時噴管擺角情況，輔助測試人員進行噴管極性擺動狀態(tài)的識別。

5.2 極性測試軟件運行結(jié)果

極性測試軟件用于提供當前極性判讀結(jié)果的可視化觀察以及分析界面。通過合理的功能區(qū)域分布，極性測試軟件能夠?qū)⑺惴ǚ治隽鞒踢M行直觀化展示并向用戶提供人性化的體驗。極性測試軟件客戶端如圖13所示。

圖13 極性測試軟件客戶端界面

軟件的客戶端界面向用戶提供了本機狀態(tài)和判讀結(jié)果查看的功能按鈕，用戶可以啟動、暫停、退出觀看測試。除此之外用戶還可以通過切換標簽頁完成查看歷史視頻、歷史視頻組態(tài)播放歷史視頻、控制攝像頭的不同任務。

5.3 極性測試自動化系統(tǒng)資源占用

火箭發(fā)動機極性自動化識別系統(tǒng)有8路攝像頭參與算法實時檢測，且要求每一路視頻流每秒可處理不少于12幀的視頻流。經(jīng)過軟件與算法的改良，極性檢測系統(tǒng)光流法的速度提升為26幀/s，且運算顯存資源占用降低到1 204 MB，較原始系統(tǒng)有著一定的提升。與此同時，可以觀察到改進系統(tǒng)在更高的精度下處理視頻流。軟件與算法的改良使得系統(tǒng)在更低資源消耗的情況下實現(xiàn)了光流判別的精度與速度的同步提升。原系統(tǒng)與改進系統(tǒng)的光流法識別結(jié)果對比如圖14所示，性能對比如表5所示。

圖14 原系統(tǒng)與改進系統(tǒng)測量得到光流場比較

表5 原系統(tǒng)與改進系統(tǒng)的對比

6 結(jié)論

本文通過在極性測試中引入深度光流運動檢測方法，實現(xiàn)更高精度的火箭發(fā)動機噴管極性地面測試自動化，使系統(tǒng)具備了火箭發(fā)動機噴管實際擺角檢測的功能。對于極性測試軟件算法運行邏輯功能的改進能夠使得系統(tǒng)在滿足極性測試要求的情況下降低極性服務器運算的負載，測試證明，該系統(tǒng)能夠更加高效準確地對火箭發(fā)動機噴管極性進行判別，同時為測試人員提供更為豐富的極性測試信息。