張紅良,郭鵬宇

(國防科學(xué)技術(shù)大學(xué)航天科學(xué)與工程學(xué)院,長沙 410073)

基于跑道的視覺導(dǎo)航信息分析*

張紅良,郭鵬宇

(國防科學(xué)技術(shù)大學(xué)航天科學(xué)與工程學(xué)院,長沙 410073)

基于跑道的視覺導(dǎo)航廣泛用于無人機自主著陸等場合。文中從信息的角度,分析了視覺導(dǎo)航中跑道邊緣線、地平線和跑道橫向控制線提供的姿態(tài)和位置導(dǎo)航信息,推導(dǎo)并證明了兩個基本結(jié)論:已知寬度的跑道邊緣線可以提供兩個姿態(tài)和兩個位置信息;地平線和跑道橫向控制線可以完善姿態(tài)和位置信息。文中的研究對于進行基于跑道的視覺導(dǎo)航算法設(shè)計、精度分析和組合導(dǎo)航可觀性分析等具有理論價值。

視覺導(dǎo)航;跑道;地平線;無人機著陸

0 引言

無人機近年來成為研究和應(yīng)用的熱點,自主著陸是無人機自動化智能化的關(guān)鍵環(huán)節(jié),基于視覺的無人機自主著陸技術(shù)受到持續(xù)的關(guān)注和研究[1-9]。基于視覺的著陸技術(shù)利用機載視覺傳感器對跑道或著陸區(qū)域成像,通過圖像分析,利用視覺導(dǎo)航或組合導(dǎo)航計算無人機的位置、姿態(tài)等參數(shù)。從用于著陸導(dǎo)航的視覺信息看,基于視覺的著陸技術(shù)主要分為兩類:一類視覺導(dǎo)航信息來源于在著陸場或跑道布設(shè)合作特征點或特征結(jié)構(gòu)[1,3,5-8];另一類視覺導(dǎo)航信息直接來源于跑道邊緣或地平線[2,4,10-11]。基于跑道邊緣或地平線等信息的視覺著陸方法無需人工特定設(shè)置合作特征物,具有更廣泛的適用性,可用于一般跑道,并可擴展至在高速公路上的著陸場合或基于跑道燈光的著陸場合[12]。

不同于已有文獻基于跑道的無人機著陸視覺導(dǎo)航具體算法[2,4,10-11]的設(shè)計,文中立足于分析無人機著陸中跑道(地平線)能夠提供的視覺信息,從理論上推導(dǎo)跑道方向、跑道寬度、地平線和跑道橫向控制線對視覺系統(tǒng)姿態(tài)和位置的約束關(guān)系。文中的研究對于進行基于跑道的視覺導(dǎo)航算法設(shè)計、精度分析和導(dǎo)航可觀性分析等具有理論價值。

1 坐標系描述

為便于后面的描述,不失一般性,首先對相關(guān)坐標系進行定義和描述。

定義跑道坐標系(W系)為:原點OW在跑道中心線上,XW軸沿跑道方向,YW軸沿高度方向(向上為正),ZW軸指向跑道側(cè)向(以右手直角坐標系確定正向)。

(1)

其中:Fx、Fy為視覺傳感器的等效焦距;Cx、Cy為視覺傳感器的像面主點,對于已標定視覺傳感器,Fx、Fy、Cx和Cy都為已知量。

(2)

2 跑道邊緣線視覺導(dǎo)航信息分析

對視覺導(dǎo)航來說,跑道的信息主要體現(xiàn)在跑道方向和跑道寬度上,下面從這兩個方面分別分析,最后總結(jié)相關(guān)結(jié)論。

2.1 跑道方向提供的姿態(tài)導(dǎo)航信息

如圖1所示,兩條平行的跑道邊緣線L1和L2成像為l1和l2,根據(jù)小孔成像原理,視覺系統(tǒng)斜視跑道時l1和l2不平行,延長線相交于點Vp,點Vp稱為邊緣線圖像的消隱點(vanishing point)。由于物理空間的跑道邊緣線平行,消隱點對應(yīng)跑道坐標系XW軸方向無窮遠處點的像,光心到消隱點的連線矢量與跑道坐標系XW軸方向平行:OCVp∥XW,其單位矢量在跑道坐標系內(nèi)可表示為:

(3)

圖1 視覺系統(tǒng)對跑道成像示意圖

(4)

(5)

原理上,根據(jù)式(3)～式(5)可以確定俯仰角和偏航角姿態(tài)導(dǎo)航信息(繞跑道坐標系XW軸旋轉(zhuǎn)角即滾轉(zhuǎn)角無法確定)。

不失一般性,下面利用一種姿態(tài)角定義方法給出證明。在無人機著陸導(dǎo)航過程中,滾轉(zhuǎn)角、俯仰角和偏航角一般定義為無人機體相對于跑道坐標系的姿態(tài)。為方便推導(dǎo),假設(shè)視覺系統(tǒng)的光軸(ZC軸)與無人機機頭方向一致,YC軸垂直機身向上,XC在機身平面內(nèi)指向左側(cè),則跑道坐標系按Y-Z-X-Y(2-3-1-2)順序依次旋轉(zhuǎn)偏航角φ、俯仰角θ、滾轉(zhuǎn)角γ和90°后與視覺測量坐標系重合,視覺測量系統(tǒng)姿態(tài)矩陣為:

(6)

將式(3)、式(4)和式(6)代入式(5),整理可得:

(7)

若滾轉(zhuǎn)角γ已知,則可以求解出俯仰角θ和偏航角φ。即根據(jù)跑道方向(跑道邊緣圖像消隱點)可以確定俯仰角和偏航角信息。

因此,跑道方向可以提供俯仰角和偏航角姿態(tài)導(dǎo)航信息。

2.2 跑道寬度提供的位置導(dǎo)航信息

如圖2所示,設(shè)跑道寬度為2Z0,則兩條跑道邊緣線方程在跑道坐標系(W系)內(nèi)的表示為

(8)

圖2 跑道邊緣線對位置的約束

則視覺系統(tǒng)光心和跑道邊緣線L1和L2組成的平面方程在跑道坐標系內(nèi)滿足方程:

(9)

式中m1、n1、m2、n2為待定參數(shù)。式(9)也可寫成:

(10)

式中i=1,2,且s1=n1Z0,s2=-n2Z0。

根據(jù)跑道邊緣線在圖像上的直線(圖2中l(wèi)1和l2)可擬合出其直線方程分別為:

li:v=kiu+di,i=1,2

(11)

式中ki、di(i=1,2)為擬合參數(shù)。

設(shè)視覺系統(tǒng)光心與圖像直線l1和l2組成平面(等同于光心和跑道邊緣線L1和L2組成的平面)在視覺測量坐標系(C系)中滿足方程(像機光心為視覺測量坐標系原點,因此方程無常數(shù)項):

i=1,2

(12)

式中ai、bi、ci(i=1,2)為待定參數(shù)。

13)

這些單位矢量都在光心與圖像直線l1和l2組成平面上,即滿足式(12)。將式(13)代入式(12),化簡可得:

(14)

式(14)對任意u都成立,因此:

(15)

式中ai、bi、ci為未知數(shù)。

由于式(12)等號右邊為0,因此可以令bi=-Fy,代入式(15),求得ai、ci:

(16)

即根據(jù)跑道邊緣線的圖像可以確定光心和跑道邊緣線組成平面方程在視覺測量坐標系內(nèi)的表示。

借助式(2),將式(12)表示的平面轉(zhuǎn)換到跑道坐標系(W系)內(nèi)表示為:

i=1,2

(17)

i=1,2

(18)

(19)

因此可以求得視覺測量系統(tǒng)位置的Y和Z分量,即利用跑道寬度可以提供高度(YW向)和偏離跑道中心線方向(ZW向)位置導(dǎo)航信息。

需要注意的是,在根據(jù)以上原理設(shè)計算法時需要考慮跑道邊緣線圖像l1和l2與YC軸近似平行情況,此時的l1和l2直線方程應(yīng)該擬合成u=kiv+di(i=1,2)形式,相應(yīng)的求解具體形式可以類似推導(dǎo)。

因此,已知姿態(tài)前提下,跑道寬度可以提供高度(YW向)和偏離跑道中心線方向(ZW向)位置導(dǎo)航信息。

從物理內(nèi)涵上講,上述結(jié)論不難理解。如圖2所示,已知姿態(tài)前提下,可以確定視覺系統(tǒng)光心與跑道邊緣線組成的兩個平面,該兩個平面的交線與跑道方向平行,確定了光心在高度方向(YW向)和跑道側(cè)向(ZW向)的兩個位置約束。

由2.1、2.2部分的分析,可以得到如下結(jié)論:

結(jié)論1:已知寬度的跑道邊緣線可以提供如下姿態(tài)和位置視覺導(dǎo)航信息:俯仰角、偏航角、高度(YW向)和偏離跑道中心線方向(ZW向)位置。

3 地平線和跑道橫向控制線視覺導(dǎo)航信息分析

由第2部分的分析可知,跑道邊緣線提供的姿態(tài)和位置視覺導(dǎo)航信息都不完備,在實際應(yīng)用中可進一步利用地平線和跑道橫向控制線完善導(dǎo)航信息。

圖3 地平線和跑道橫向控制線成像示意圖

3.1 地平線提供的姿態(tài)導(dǎo)航信息

若能夠提取出視覺圖像中的地平線,則可以以此確定視覺系統(tǒng)的滾轉(zhuǎn)角和俯仰角。

假設(shè)地平線圖像方程為:

v=k3u+d3

(20)

類似2.2部分的分析,可以得到光心與地平線確定的平面在跑道坐標系內(nèi)的表示:

(21)

其中a3=k3Fx,b3=-Fy,c3=k3Cx-Cy+d3。

由于地平線在無窮遠處,因此光心與地平線確定的平面方程(21)等價于如下方程:

m3yW+n3=0

(22)

因此有:

(23)

將姿態(tài)矩陣變換到等號右邊,并寫成單位向量的形式:

(24)

姿態(tài)矩陣仍按照2.1部分式(6)定義,則有:

(25)

由此可以求解出滾轉(zhuǎn)角γ和俯仰角θ。

3.2 跑道橫向控制線提供的姿態(tài)和位置導(dǎo)航信息

跑道橫向控制線指跑道平面內(nèi)垂直于跑道方向的特征線(如跑道底邊、跑道進近橫排燈線),其對應(yīng)的XW坐標已知,控制線方程表示為:

(26)

假設(shè)跑道橫向控制線對應(yīng)圖像直線的方程為:

v=k4u+d4

(27)

類似2.2部分的分析,可以得到視覺系統(tǒng)光心與跑道橫向控制線確定的平面在跑道坐標系內(nèi)的表示為:

(28)

其中a4=k4Fx,b4=-Fy,c4=k4Cx-Cy+d4。

根據(jù)跑道橫向控制線方程(26),包含視覺系統(tǒng)光心和跑道橫向控制線的平面在跑道坐標系的表示滿足:

m4(xW-X0)+n4yW=0

(29)

其中m4和n4為待定系數(shù)。式(29)與方程(28)等價,因此:

(30)

1)跑道橫向控制線提供的姿態(tài)信息

將式(6)代入式(30)的第三個等式可得:

(31)

由于跑道邊緣線消隱點可以提供俯仰角θ和偏航角φ信息,再結(jié)合式(31),可以求解出滾轉(zhuǎn)角γ。

2)跑道橫向控制線提供的位置信息

由3.1、3.2部分的分析,可以得到如下結(jié)論:

結(jié)論2:地平線可以提供視覺滾轉(zhuǎn)角和俯仰角導(dǎo)航信息;跑道橫向控制線可以提供滾轉(zhuǎn)角和跑道方向位置信息。

4 結(jié)論

文中針對基于跑道信息的無人機視覺著陸問題開展研究。不同于已有文獻具體算法的設(shè)計,文中立足于從理論上分析無人機著陸中跑道能夠提供的視覺信息,得到兩個基本結(jié)論:

1)已知寬度的跑道邊緣線可以提供如下姿態(tài)和位置視覺導(dǎo)航信息:俯仰角、偏航角、高度(YW向)和偏離跑道中心線方向(ZW向)位置。

2)地平線可以提供視覺滾轉(zhuǎn)角和俯仰角導(dǎo)航信息;跑道橫向控制線可以提供滾轉(zhuǎn)角和跑道方向位置信息。

文中的研究對于進行基于跑道的視覺導(dǎo)航算法設(shè)計、精度分析和導(dǎo)航可觀性分析等具有理論價值。

[1] SHARP C S, SHAKERNIA O, SASTRY S S. A vision system for landing an unmanned aerial vehicle [C]∥Proceedings of the 2001 IEEE International Conference on Robotics and Automation, 2001: 1720-1727.

[2] SASA S, GOMI H, NINOMIYA T,et al. Position and attitude estimation using image processing of runway: AIAA 2000-0301 [R]. 2000.

[3] 白亮, 陳袱, 膝科嘉. 計算機視覺輔助無人機自主著陸系統(tǒng) [J]. 彈箭與制導(dǎo)學(xué)報, 2006, 26(2): 320-321.

[4] 張小苗. 機載視覺著陸導(dǎo)航測量方法及關(guān)鍵技術(shù)研究 [D]. 長沙: 國防科學(xué)技術(shù)大學(xué), 2008: 129-150.

[5] 張廣軍, 周富強. 基于雙圓特征的無人機著陸位置姿態(tài)視覺測量方法 [J]. 航空學(xué)報, 2005, 26(3): 344-348.

[6] 蔡鳴, 孫秀霞, 徐嵩. 視覺技術(shù)輔助的無人機自主著陸組合導(dǎo)航研究 [J]. 應(yīng)用光學(xué), 2015, 36(3): 343-350.

[7] 徐貴力, 倪立學(xué), 程月華. 基于合作目標和視覺的無人飛行器全天候自動著陸導(dǎo)引關(guān)鍵技術(shù) [J]. 航空學(xué)報, 2008, 29(2): 437-482.

[8] GUI Y, GUO P Y, ZHANG H L, et al. Airborne vision-based navigation method for UAV accuracy landing using infrared lamps [J]. Journal of Intelligent & Robotic Systems, 2013, 72(2): 197-218.

[9] ZHOU X, LEI Z H, YU Q F, et al. Videometric terminal guidance method and system for UAV accurate landing [C]∥Proc. SPIE 8387, Unmanned Systems Technobgy XIV，2012.

[10] 朱楓, 劉昶, 吳清瀟. 視覺約束下無人機位姿參數(shù)的后驗估計 [J]. 機器人, 2012, 34(4): 424-431.

[11] 莊麗葵, 丁萌, 曹云峰. 利用地平線與跑道邊緣線估計無人機著陸參數(shù) [J]. 傳感器與微系統(tǒng), 2010, 29(3): 104-108.

[12] 李飛, 譚樂祖, 唐亮. 基于跑道燈光的計算機視覺輔助無人機著陸 [J]. 兵工自動化, 2012, 31(1): 11-13.

Information Analysis of Vision Navigation Based on Runway

ZHANG Hongliang,GUO Pengyu

(College of Aerospace Science and Engineering, National University of Defense Technology, Changsha 410073, China)

Vision navigation based on runway is a common application in landing an unmanned aerial vehicle (UAV). From the information point in vision navigation, observability of UAV attitude and position knowing edges of runway, horizon and transverse runway line were analyzed. Two conclusions about visual navigation information were deduced. It is proved that yaw, pitch, altitude and sideways position can be calculated by viewing edges of the runway known width, and with additionally viewing the horizon and the transverse runway line, complete attitude and position can be known. The research can be theoretically referred by method design, precision analysis and observability analysis of visual navigation based on runway.

vision navigation; runway; horizon; UAV landing

2015-10-12基金項目:國家自然科學(xué)基金(11272347)資助

張紅良(1981-),男,江蘇沛縣人,講師,博士,研究方向:攝像測量、視覺導(dǎo)航、慣性導(dǎo)航。

V249

A