采用單目視覺的無(wú)人機(jī)自動(dòng)空中加油仿真

王 龍， 董新民， 賈海燕

(1.空軍工程大學(xué)工程學(xué)院，西安 710038; 2.中國(guó)人民解放軍93942部隊(duì)，陜西 咸陽(yáng) 712000)

0 引言

無(wú)人飛行器(UAV)以其機(jī)動(dòng)速度快、維護(hù)費(fèi)用低、生存能力強(qiáng)等優(yōu)點(diǎn)在現(xiàn)代戰(zhàn)爭(zhēng)中正扮演著越來(lái)越重要的角色，但UAV普遍存在載重小、油量少的缺點(diǎn)，大大制約了其效能的發(fā)揮。為解決這種矛盾，美國(guó)國(guó)防預(yù)研局、空軍研究實(shí)驗(yàn)室及NASA等機(jī)構(gòu)已開展了多項(xiàng)自動(dòng)空中加油(Automated Aerial Refueling，AAR)驗(yàn)證計(jì)劃［1－2］，并取得了一些階段性的研究成果［3－4］。

準(zhǔn)確獲取無(wú)人機(jī)與加油機(jī)的相對(duì)位姿信息是實(shí)現(xiàn)無(wú)人機(jī)空中加油的前提。目前測(cè)量相對(duì)位姿信息的傳感器主要包括慣性導(dǎo)航系統(tǒng)(INS)、差分GPS、機(jī)器視覺(Machine Vision，MV)傳感器等。慣導(dǎo)的誤差隨時(shí)間積累，精度無(wú)法滿足要求;差分GPS精度可以滿足空中加油要求，但無(wú)人機(jī)空中加油對(duì)接階段GPS信號(hào)容易受加油機(jī)遮擋，一旦信號(hào)丟失導(dǎo)航精度將顯著下降［5］。機(jī)器視覺因?qū)Ш骄雀?、信息豐富、完全自主等優(yōu)點(diǎn)，近年來(lái)在無(wú)人機(jī)自主著陸、編隊(duì)飛行和自主空中加油等工程實(shí)踐中得到了廣泛的應(yīng)用。

本文對(duì)基于單目視覺的飛行硬管式(Flying Boom)UAV自動(dòng)空中加油系統(tǒng)進(jìn)行建模與仿真。建立包含加油機(jī)、UAV、視覺傳感器的加油系統(tǒng)整體模型與仿真環(huán)境;通過單攝像機(jī)獲取相對(duì)位姿;在考慮大氣擾動(dòng)及加油機(jī)尾流影響的情況下，設(shè)計(jì)了軌跡生成器和跟蹤控制器用于實(shí)現(xiàn)UAV與加油機(jī)的會(huì)合對(duì)接，并對(duì)加油末段的對(duì)接機(jī)動(dòng)進(jìn)行仿真。

1 AAR仿真系統(tǒng)總體設(shè)計(jì)

空中加油可分為軟管式(Probe and Drogue)和硬管式(Flying Boom)兩種。加油機(jī)的尾部結(jié)構(gòu)裝有一具由兩截可伸縮的剛性伸縮管所組成的加油桿，其結(jié)構(gòu)與機(jī)尾結(jié)構(gòu)合而為一。加油桿平時(shí)為收起狀態(tài)，進(jìn)行空中加油作業(yè)時(shí)將其伸出。

飛行硬管式加油方式下，UAV受油口與加油管的對(duì)接本質(zhì)上是項(xiàng)跟蹤任務(wù)，UAV要負(fù)責(zé)整個(gè)加油過程中自身的飛行與控制。根據(jù)相對(duì)位姿信息得到機(jī)動(dòng)指令，再將機(jī)動(dòng)指令分解成一定的可執(zhí)行指令，控制UAV嚴(yán)格按照可行航跡飛行。加油對(duì)接階段，UAV必須近距機(jī)動(dòng)到加油機(jī)后下方的加油位置，緩慢調(diào)整其飛行狀態(tài)，將加油管插入受油口。因此，UAV不僅要擁有與加油機(jī)保持編隊(duì)飛行的能力，而且需自動(dòng)尋找加油機(jī)并實(shí)時(shí)獲取其位置與姿態(tài)才能確保對(duì)接成功。

由于沒有駕駛員的參與，AAR給UAV的導(dǎo)航和飛控系統(tǒng)帶來(lái)了新的挑戰(zhàn)和技術(shù)難題，關(guān)鍵在于精確測(cè)量會(huì)合對(duì)接階段及加油編隊(duì)保持階段UAV與加油機(jī)的相對(duì)位姿。機(jī)器視覺(Machine Vision，MV)由于其經(jīng)濟(jì)、無(wú)源、信息豐富等特點(diǎn)，已成為無(wú)人機(jī)自動(dòng)空中加油中不可缺少的重要信息源［3－5］。本文采用單目視覺作為相對(duì)位姿測(cè)量裝置，將攝像機(jī)裝載于UAV的固定位置，實(shí)時(shí)采集加油機(jī)圖像后，利用圖像處理及位姿估計(jì)算法獲取相對(duì)位置等信息。

為實(shí)時(shí)獲取較真實(shí)的圖像，本文利用虛擬現(xiàn)實(shí)(Virtual Reality，VR)技術(shù)，開發(fā)了包括UAV及加油機(jī)三維模型、地貌、天空等場(chǎng)景模型的視景系統(tǒng)。通過Matlab/Simulink仿真產(chǎn)生的飛機(jī)位置參數(shù)驅(qū)動(dòng)飛機(jī)模型在視景系統(tǒng)中運(yùn)動(dòng)，并用虛擬相機(jī)實(shí)時(shí)捕獲加油機(jī)圖像，解算相對(duì)位姿信息。圖1所示為AAR閉環(huán)仿真系統(tǒng)總體框架。

由圖1可知，基于視覺的AAR仿真系統(tǒng)包括以下幾部分:加油機(jī)和UAV模型、兩機(jī)之間的氣動(dòng)影響模型、視覺傳感器模塊、跟蹤控制律模塊及視景系統(tǒng)。

2 單目視覺相對(duì)位姿估計(jì)

通過攝像機(jī)獲取的加油機(jī)圖像解算相對(duì)位姿信息是一項(xiàng)復(fù)雜的工作，涉及加油機(jī)特征點(diǎn)提取、匹配及位姿估計(jì)等。加油狀態(tài)下坐標(biāo)系定義如圖2所示。圖中:E為地心固聯(lián)系;U為無(wú)人機(jī)系;T為加油機(jī)系;C為攝像機(jī)系。

圖2 AAR問題的坐標(biāo)系Fig.2 Reference frames for the AAR problem

圖2 中:T，U分別為加油機(jī)和無(wú)人機(jī)的質(zhì)心;Pj為加油機(jī)機(jī)體特征點(diǎn);B為加油管端點(diǎn);R為無(wú)人機(jī)受油口;C為攝像機(jī)安裝點(diǎn)。

2.1 特征點(diǎn)提取

加油機(jī)機(jī)翼、尾翼等外形部件上的物理角點(diǎn)在圖像中體現(xiàn)為灰度變化率很高的像素點(diǎn)(即圖像角點(diǎn))。為此，本文選取加油機(jī)的9個(gè)物理角點(diǎn)為特征點(diǎn)，并在該位置加裝紅色標(biāo)志，以增強(qiáng)特征點(diǎn)與背景圖像的對(duì)比度，提高提取精度。圖3給出了加油機(jī)特征點(diǎn)位置。

圖3 加油機(jī)特征點(diǎn)位置Fig.3 Location of tanker feature points

基于圖像灰度的Harris角點(diǎn)檢測(cè)是一種經(jīng)典的特征點(diǎn)提取算法，它對(duì)于圖像的平移、旋轉(zhuǎn)和噪聲都具有較好的魯棒性［6］。Harris算法采用9×9像素大小的高斯窗口掃描圖像，計(jì)算窗口中心像素點(diǎn)的圖像灰度強(qiáng)度I沿x和y方向的一階導(dǎo)數(shù)，構(gòu)造自相關(guān)矩陣為

定義角點(diǎn)響應(yīng)函數(shù)為

式中:det(M)、tr(M)為矩陣M的行列式值和跡;ε為較小常數(shù)。則若C大于某一給定閥值即認(rèn)為該點(diǎn)為角點(diǎn)，反之則舍棄。

由角點(diǎn)判據(jù)可知，閥值設(shè)定過大會(huì)造成角點(diǎn)漏檢，過小則會(huì)提取出偽角點(diǎn)。為此，本文將Harris算法作如下改進(jìn):減小高斯窗口至5×5，取適當(dāng)偏小的閥值執(zhí)行Harris算法，最后對(duì)提取的角點(diǎn)進(jìn)行聚類，并通過標(biāo)準(zhǔn)形態(tài)學(xué)濾波提取每一個(gè)類的質(zhì)心作為角點(diǎn)的最終坐標(biāo)

2.2 特征點(diǎn)匹配

根據(jù)針孔成像原理［4］，特征點(diǎn)Pj在2D像平面的投影坐標(biāo) pj=［uj，vj］T滿足投影方程

根據(jù)加油機(jī)特征點(diǎn)在t系中已知的幾何關(guān)系和投影方程，可得理想的特征點(diǎn)投影集合{p1，p2，…，pn}。利用點(diǎn)與pj之間的歐氏距離，構(gòu)建 m×n維誤差矩陣

記Eerr矩陣各列最小值構(gòu)成的向量為Cmin，列最小值所在行的序號(hào)構(gòu)成的向量為Iindex，各行最小值構(gòu)成的向量為Rmin。則當(dāng)式(5)成立時(shí)，即認(rèn)為點(diǎn) p^i是特征點(diǎn)Pj投影所得。

2.3 位姿估計(jì)

位姿估計(jì)(Pose Estimation，PE)是機(jī)器視覺的核心問題。文獻(xiàn)［7］提出的LHM算法具有計(jì)算速度快、精度高且全局收斂的特點(diǎn)，在實(shí)時(shí)位姿估計(jì)中得到了廣泛的應(yīng)用。

設(shè) Pj在歸一化像平面(f=1)的投影坐標(biāo)為［u′j，v′j］T，則Pj在c系的坐標(biāo)為wj=［1，u′j，v′j］T，定義目標(biāo)空間共線性誤差為

其中:CTc為攝像機(jī)與加油機(jī)的相對(duì)位置;為t系到c系的相對(duì)姿態(tài)矩陣;是Pj在t系中的位置向量;是視線正交投影矩陣。定義為

定義ej的平方和為目標(biāo)函數(shù)，即

通過迭代計(jì)算使上述目標(biāo)函數(shù)達(dá)到最小即可求得CTc和，且在任意初值條件下，經(jīng)過5～10步迭代可得到滿意的解。

加油機(jī)與攝像機(jī)的相對(duì)位置CTc確定后，即可通過坐標(biāo)變換得到受油口R與加油管端點(diǎn)B在地心固聯(lián)系e的相對(duì)位置RBe。根據(jù)圖1中的幾何關(guān)系，RBe可表示為

式中:UCu、URu、TBt及都為已知常量;旋轉(zhuǎn)矩陣和由加油機(jī)和UAV的姿態(tài)角計(jì)算而得。

3 導(dǎo)引與控制設(shè)計(jì)

假定UAV在一定的會(huì)合算法輔助下截獲并跟蹤上加油機(jī)，通過對(duì)航向、高度與速度的調(diào)整已處于加油機(jī)側(cè)后方不遠(yuǎn)的觀測(cè)位置，并且保持與加油機(jī)同航向飛行。UAV之后的任務(wù)只是從觀測(cè)位置緩慢機(jī)動(dòng)到對(duì)接位置，并追蹤加油機(jī)的運(yùn)動(dòng)直至實(shí)現(xiàn)對(duì)接。在自動(dòng)空中加油狀態(tài)下，影響UAV控制性能的主要因素有加油機(jī)的尾流、會(huì)合對(duì)接階段UAV與加油機(jī)的相對(duì)位置及姿態(tài)的測(cè)定，所以對(duì)相對(duì)位置的精確預(yù)測(cè)和控制都是必需的。

3.1 參考軌跡生成

AAR問題實(shí)際可視為兩個(gè)運(yùn)動(dòng)物體的會(huì)合對(duì)接，由視覺傳感器獲得的相對(duì)位置，并不能作為誤差信號(hào)直接輸入控制系統(tǒng)，階躍形式的參考信號(hào)會(huì)導(dǎo)致UAV狀態(tài)量(姿態(tài)、速度和位置)變化過大，而這在兩機(jī)會(huì)合對(duì)接階段顯然是不允許的。為在進(jìn)入會(huì)合對(duì)接控制程式時(shí)，不致引起UAV狀態(tài)量的過大變化，以保證兩機(jī)的安全性，可行的方法是將相對(duì)位置誤差作平滑處理后再作為參考信號(hào)。為此必須生成參考軌跡，即從UAV所處位置機(jī)動(dòng)到加油管端點(diǎn)B的一段平滑軌跡，UAV按照參考軌跡飛行，同時(shí)必須盡量減小實(shí)際飛行軌跡的超調(diào)量。

無(wú)論是會(huì)合對(duì)接還是加油完成后飛離加油機(jī)，參考軌跡的設(shè)計(jì)必須保證兩機(jī)的安全。仿照實(shí)際加油過程中，根據(jù)初始偏差采用多項(xiàng)式擬合的方法［5］設(shè)計(jì)參考軌跡。首先減小側(cè)向距離，然后改變高度令UAV盡量與加油管處于同一軸線，最后水平微加速減小縱向距離(接近速度小于2 m/s)完成對(duì)接。

3.2 大氣擾動(dòng)及加油機(jī)尾流建模

AAR過程中，加油機(jī)與UAV均受到大氣擾動(dòng)的影響。正常情況下加油時(shí)飛機(jī)飛行高度較高，大氣相對(duì)平靜，因此本文采用輕度Dryden風(fēng)場(chǎng)擾動(dòng)模型［8］。

加油機(jī)尾流對(duì)UAV的影響較大，計(jì)算尾流作用時(shí)需要知道加油機(jī)的形狀與飛行狀態(tài)等參數(shù)，通過風(fēng)洞試驗(yàn)確定尾流對(duì)UAV的氣動(dòng)影響。該方法實(shí)驗(yàn)復(fù)雜且成本高、難以實(shí)現(xiàn)。為此，文中采用文獻(xiàn)［9－10］提出的等效氣動(dòng)效應(yīng)法建立加油機(jī)尾流的等效模型，即通過加權(quán)和逐點(diǎn)積分的方法計(jì)算出尾流的等效風(fēng)速度(Veffx，Veffy，Veffz) 和等效風(fēng)梯度(peffx，peffy，peffz)，算法詳見文獻(xiàn)［9－10］。

3.3 控制器設(shè)計(jì)

參考飛行軌跡生成后，就可設(shè)計(jì)相應(yīng)的軌跡跟蹤控制器確保UAV按照一定軌跡飛行。在空中加油過程中，加油機(jī)與UAV的飛行狀態(tài)均在較小的范圍內(nèi)變化，因此可考慮設(shè)計(jì)線性控制器。假設(shè)自動(dòng)空中加油過程中，加油機(jī)始終保持水平直線飛行，且航向保持不變，UAV同航向水平飛行。則UAV在上述條件下機(jī)動(dòng)時(shí)狀態(tài)方程可作線性小擾動(dòng)處理。

UAV的線性狀態(tài)方程為

式中:dps為所受擾動(dòng);up為控制變量(Δδt、Δδa、Δδe、Δδr分別為推力、副翼偏轉(zhuǎn)角、平尾偏轉(zhuǎn)角及方向舵偏轉(zhuǎn)角的變化量)。

為了保證位置零跟蹤誤差，將視覺解算的RB相對(duì)位置與參考飛行軌跡之差 e=［ex，ey，ez］T積分后作為UAV的增廣狀態(tài)變量，則狀態(tài)變量為UAV跟蹤控制律采用線性二次型調(diào)節(jié)器(LQR)方法設(shè)計(jì)。選取代價(jià)函數(shù)為

LQR控制律為

選取合適的Q、R，求解Riccati方程即可得到系統(tǒng)狀態(tài)反饋增益矩陣K。具體控制結(jié)構(gòu)如圖4所示。

圖4 AAR對(duì)接階段的控制結(jié)構(gòu)框圖Fig.4 Block diagram of the AAR control scheme

4 仿真及評(píng)價(jià)

在對(duì)AAR系統(tǒng)進(jìn)行仿真時(shí)，設(shè)定加油機(jī)處于水平直線飛行狀態(tài)，航向ψ0=0，速度V=200 m/s，高度H=7000 m。UAV相對(duì)加油管的初始位置偏差(單位:m)(Δx，Δy，Δz)=( －40，60，10)。最終控制目標(biāo)是令(Δx，Δy，Δz)=(0，0，0)。當(dāng) Δx、Δy、Δz均小于 0.1 m 時(shí)即視為對(duì)接成功。

圖5為初始偏差狀態(tài)下，UAV作緩慢機(jī)動(dòng)時(shí)相對(duì)于加油管的軌跡變化曲線，其中虛線是由多項(xiàng)式擬定的參考軌跡，實(shí)線為實(shí)際機(jī)動(dòng)路線。可以看出，末段對(duì)接機(jī)動(dòng)首先減小兩機(jī)的側(cè)向距離，再減小縱向和垂直偏差，最后在保證UAV與加油管在縱向上幾乎處于同一直線的同時(shí)，緩慢減小縱向距離直至對(duì)接成功。在跟蹤控制器的作用下，實(shí)際軌跡可很好地跟蹤指令的參考軌跡，幾乎沒有超調(diào)量，這樣的會(huì)合機(jī)動(dòng)策略符合實(shí)際的加油過程。

圖5 UAV與加油管的相對(duì)位置變化曲線Fig.5 Trajectory of the RB vector during docking

圖6 為UAV推力和各舵面的偏轉(zhuǎn)曲線圖，由推力曲線可知，推力在50～100 s間經(jīng)歷了先增大后減小的過程。在該時(shí)間段內(nèi)，UAV需不斷減小與加油機(jī)的縱向距離，因此首先要加大推力以增加速度，距離減小到一定程度后再減小推力直至與加油機(jī)的飛行速度匹配。這與實(shí)際的加油機(jī)動(dòng)操作過程相符，說(shuō)明本文設(shè)計(jì)的跟蹤控制器合理有效。

圖6 UAV推力及各舵面的偏轉(zhuǎn)曲線Fig.6 Engine thrust and rudders deflection of UAV

圖7 給出了UAV與加油機(jī)的相對(duì)速度在三軸上投影分量的變化曲線。這與相對(duì)位置的實(shí)際變化相吻合，即為改變某一軸向的偏差，須有某一軸向的速度。由圖可見，縱向接近的相對(duì)速度變化量均在允許范圍(v＜2 m/s)內(nèi)。

圖7 UAV相對(duì)于加油機(jī)的運(yùn)動(dòng)速度曲線Fig.7 Relative velocity between UAV and tanker

圖8 是對(duì)接成功后，受油口R與加油管端點(diǎn)B的相對(duì)位置三軸上的投影。由圖8可見，穩(wěn)定狀態(tài)下3個(gè)軸向的位置分量均保持在0.1 m范圍內(nèi)，滿足成功對(duì)接的精度要求。

圖8 穩(wěn)態(tài)時(shí)相對(duì)位置RB的三軸投影曲線Fig.8 Components of RB vector at stationary condition

5 結(jié)論

自動(dòng)空中加油是解決未來(lái)UAV航程短、燃油量少等問題的有效辦法。本文對(duì)基于視覺的自動(dòng)空中加油系統(tǒng)進(jìn)行了研究，建立了包含加油機(jī)、UAV、視覺傳感器，氣動(dòng)影響及視景等子模塊的UAV飛行硬管式空中加油仿真系統(tǒng)。設(shè)計(jì)了加油末段的參考軌跡，并用軌跡跟蹤控制器實(shí)現(xiàn)UAV與加油管的會(huì)合對(duì)接。最后對(duì)存在加油機(jī)尾流及大氣擾動(dòng)的會(huì)合對(duì)接機(jī)動(dòng)進(jìn)行了仿真。結(jié)果表明，設(shè)計(jì)的參考軌跡及控制器可保證UAV與加油管的平穩(wěn)對(duì)接。

［1］ NALEPKA J P，JACOB L.Automated aerial refueling:Extending the effectiveness of unmanned air vehicles［C］//AIAA Modeling and Simulation Technologies Conference and Exhibit，San Francisco，2005:6005-6013.

［2］ HINCHMAN J，SCHREITER D.Automated aerial refueling［C］//2007 Aerial Refueling Systems Advisory Group Conference，Las Vegas:Air Force Research Laboratory，2007:1-18.

［3］ MAMMARELLA M，CAMPA G，NAPOLITANO M R，et al.GPS/MV based aerial refueling for UAVs［C］//AIAA Guidance，Navigation，and Control Conference and Exhibit，Honolulu，Hawaii，2008:7258-7267.

［4］ CAMPA G，F(xiàn)RAVOLINI M，F(xiàn)ICOLA A，et al.Autonomous aerial refueling for UAVs using a combined GPS-machine vision guidance［C］//AIAA Guidance，Navigation，and Control Conference and Exhibit.Providence，Rhode Island，2008:5350-5362.

［5］ POLLINI L，MATI R，INNOCENTI M，et al.A synthetic environment for simulation of vision-based formation flight［C］//AIAA Modeling and Simulation Technologies Conference and Exhibit，Austin，Texas.2003:5376-5385.

［6］ 王威，唐一平，任娟莉，等.一種改進(jìn)的Harris角點(diǎn)提取算法［J］.光學(xué)精密工程，2008，16(10):1995-2000.

［7］ LU C P，HAGER G，MJOLSNESS E.Fast and globally convergent pose estimation from video images［J］.IEEE Transaction on Pattern Analysis and Machine Intelligence，2000，22(6):610-622.

［8］ 肖業(yè)倫，金長(zhǎng)江.大氣擾動(dòng)中的飛行原理［M］.北京:國(guó)防工業(yè)出版社，1993.

［9］ 陳博，董新民，徐躍鑒，等.加油機(jī)尾流場(chǎng)建模及UAV飛行安全性分析［J］.系統(tǒng)仿真學(xué)報(bào)，2008，20(8):1994-1997.

［10］ 陳博，董新民，徐躍鑒，等.加油機(jī)尾流場(chǎng)建模與仿真分析［J］.飛行力學(xué)，2007，25(4):73-76.