齊 樂，袁寶璽，郭鳳娟，郭建新，徐 悅，米 辰

固定翼無人機著陸姿態(tài)角測量算法研究

齊 樂1，袁寶璽1，郭鳳娟2，郭建新1，徐 悅1，米 辰1

（1. 西京學院 信息工程學院, 西安 710123；2. 陜西省組合與智能導航重點實驗室，西安 710071）

針對固定翼無人機自主著陸過程中姿態(tài)角測量不精確的問題，提出了一種新的基于單目視覺的姿態(tài)角測量方法。并且針對現(xiàn)實環(huán)境中拍攝的合作目標圖像存在的光照不均、反光和模糊等情況，提出了紋理增強和檢測效率優(yōu)化算法，消除了圖像退化對檢測結(jié)果的影響，從而實現(xiàn)了對光照退化具有魯棒性的檢測方案。實驗結(jié)果表明，姿態(tài)角測量誤差為0.39°，每秒檢測幀數(shù)達到了83.33幀，能夠同時滿足無人機著陸誤差與實時性的要求。

固定翼無人機；視覺導航；合作目標檢測；姿態(tài)角測量

0 引言

近年來，關(guān)于無人機自主著陸系統(tǒng)的研究取得了很多成果。其中大多數(shù)使用視覺導航[1-4]、全球衛(wèi)星導航系統(tǒng)（global navigation satellite system, GNSS）或慣性導航系統(tǒng)（inertial navigation system, INS）來估計無人機的狀態(tài)。慣導系統(tǒng)使用陀螺儀和加速器等慣性元件來獲取無人機的位置和速度，但慣導系統(tǒng)在長期飛行中往往由于累積誤差而漂移。GNSS被廣泛應用于無人機的定位,但是GNSS依賴于他國衛(wèi)星，且在復雜的城市或室內(nèi)環(huán)境中很容易受到干擾。視覺導航通過對視覺傳感器獲取的圖像進行處理，估計無人機的飛行狀態(tài)和相對位置。它具有設(shè)備簡單、信息量大、自主性強、抗干擾能力強等特點。因此，基于視覺的自主著陸方法在無GNSS環(huán)境下的優(yōu)勢尤為突出。

現(xiàn)有的基于視覺的自主著陸方法，采用的傳感器包括可見光和紅外攝像機,研究大多集中于基于合作目標的自主著陸方法。例如，文獻[5]提出了一種紅外攝像機陣列制導系統(tǒng)，提供固定翼無人機的實時位置和速度，并在無GNSS環(huán)境下成功降落在跑道上。但是，由于地面上攝像機陣列系統(tǒng)設(shè)置復雜，這種方法不適合在狹窄的著陸區(qū)域使用。文獻[6]設(shè)計了一種地基驅(qū)動紅外立體視覺系統(tǒng)，但是當背景中有高溫目標時，該方法無法精確捕捉目標的中心。文獻[7]構(gòu)建了一個旋翼機自主著陸系統(tǒng)，該系統(tǒng)采用了一個混合相機陣列，包括一個魚眼鏡頭相機和一個立體相機。然后將寬視場和深度成像相結(jié)合，實現(xiàn)了對著陸合作目標的精確定位。對于可以懸停的旋翼無人機來說，在得到合作目標的位置信息之后，通過水平面的平移和升降運動即可實現(xiàn)著陸。對于通過滑跑方式降落的固定翼無人機來說，必須通過實時控制姿態(tài)角（俯仰、滾轉(zhuǎn)和偏航角）來實現(xiàn)自主著陸，因而難度更大。

針對以上問題，本文提出了基于約洛v5s（you only look once v5s, YOLOv5s）結(jié)合n點透視（e-perspective-n-point, EPnP）算法的姿態(tài)角測量方法，通過YOLOv5s檢測合作目標，利用EPnP解算姿態(tài)角引導無人機進行自主著陸。本文算法兼顧精度的同時保證了檢測的實時性，且本文提出的基于YOLOv5s和輕量級U型網(wǎng)絡(luò)的紋理增強和檢測效率優(yōu)化算法，消除了圖像退化對檢測結(jié)果的影響，進一步提高了導航精度。

1 基于單目視覺的姿態(tài)角測量算法

1.1 位姿估計理論

圖1 相機成像模型

即

圖2 無人機坐標系

世界坐標系與無人機坐標系的關(guān)系為

1.2 EPnP算法

n點透視（perspective-n-point，PnP）算法是由勒珀蒂（Lepetie）和莫雷諾（Moreno）在2009年提出的一種非迭代算法，文獻[9-10]從噪聲、實時性、特征點個數(shù)等角度將EPnP與比例正交投影迭代變換算法（pose from orthography and scaling with iterations，POSI）、直接線性轉(zhuǎn)換（direct linear transformation，DLT）等算法進行對比，實驗結(jié)果表明，EPnP算法精確度更高、魯棒性更強。該算法的核心思想是：因為三維坐標系中的任意一點都可以用4個控制點來加權(quán)表示，所以算法求解的問題就轉(zhuǎn)換成了4個控制點的求解與優(yōu)化問題。而控制點的坐標可以通過檢測算法獲得，然后根據(jù)轉(zhuǎn)換關(guān)系求得旋轉(zhuǎn)矩陣與平移向量，從而解算出無人機的姿態(tài)角。算法流程如圖3所示。

圖3 算法流程

2 合作目標檢測

2.1 合作目標設(shè)計

文獻[6]與文獻[11-13]中采用的合作目標如圖4所示，這些合作目標一般由黑白兩色組成，具有一定的編碼規(guī)則，具有較強的視覺特征。從廣義上講，圖4所示的合作目標也是某種二維碼，但其模式比二維碼更簡單，包含的編碼信息更少。因此，在無人機接近著陸點時，本文設(shè)計了如圖5（a）所示的快速響應碼（quick response code，QR碼）圖像作為合作目標。圖中像“回”字形的圖案部分被稱為“位置探測圖形（position detection patterns，PDP）”，根據(jù)EPNP算法需要4個控制點輸入的要求，本文設(shè)計的QR碼中間部分也是一個位置探測圖形，合作目標檢測結(jié)果如圖5（b）所示。相對于圖4中的合作目標，二維碼的一個顯著優(yōu)勢是容量大，糾錯能力強，安全性高。QR編碼算法本身具有較強的自糾錯能力，可以提高在存在污染和部分缺失情況下正確解碼的概率，從而提高復雜環(huán)境下合作目標檢測的魯棒性。

圖4 無人機自主著陸合作目標

圖5 合作目標及其檢測結(jié)果

2.2 合作目標檢測算法

根據(jù)無人機姿態(tài)角的求解過程可知，影響無人機姿態(tài)角測量精度的關(guān)鍵因素在于是否精確定位到了合作目標的位置。只有十分準確地檢測到無人機獲取的圖像中的合作目標，得到其精確的位置坐標，然后進行坐標系的轉(zhuǎn)換得到旋轉(zhuǎn)矩陣，才能準確求得無人機的姿態(tài)角，后續(xù)才能引導無人機進行精準地著陸。而由于無人機在飛行過程中速度極快，所以在對檢測算法進行選擇時，還要考慮算法的檢測速度，只有速度夠快才能達到實時解算姿態(tài)角控制無人機飛行狀態(tài)的要求。

YOLOv5s模型尺寸非常小，部署十分快速，默認為批處理推理，單張圖像的推理速度能夠達到140幀每秒（frames per second, FPS），可以極大地滿足實時檢測的要求。將YOLOv5s與其他代表性的一階段和二階段目標檢測算法進行比較，其中二階段算法選取快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（faster region convolutional neural network, Faster R-CNN[14]），一階段算法選用約洛3（you only look once v3，YOLOv3[15]）、YOLOv5m、YOLOv5l、YOLOv5x，將6種算法在統(tǒng)一的自制數(shù)據(jù)集上進行模型的訓練與推理，不同算法的性能對比結(jié)果如表1所示。表1中：mAP（mean average precision）為類平均精度，mAP@0.5為閾值為0.5時的類平均精度。

表1 不同算法性能對比

由表1可以看出： mAP最高的為YOLOv5x的98.29%，每秒檢測幀數(shù)最高的為YOLOv5s，達到了83.33。YOLOv5s相比于YOLOv5x速度提高了3.18倍，mAP僅比YOLOv5x低了0.29%?？紤]到無人機的高速性，需要準確度高、模型小、同時檢測速度滿足實時性要求的檢測算法，所以YOLOv5s算法為最優(yōu)選擇。

3 基于YOLOv5s和輕量級U型網(wǎng)絡(luò)的紋理增強和檢測效率優(yōu)化算法

3.1 輕量級U型網(wǎng)絡(luò)

傳統(tǒng)U型網(wǎng)絡(luò)（u-network，UNet[16]）的主干網(wǎng)絡(luò)部分使用的是視覺幾何群網(wǎng)絡(luò)（visual geometry group network，VGG16）模型，VGG16模型參數(shù)量大、要求的算力較高，模型權(quán)重大小約為490 MB，并不適用于移動端或者嵌入式設(shè)備，所以傳統(tǒng)的Unet模型并不能滿足本文對合作目標進行實時檢測的需求。而移動網(wǎng)絡(luò)（mobile network v2，MobileNetv2[17]）使用深度可分離卷積結(jié)構(gòu)，在提升了模型準確率的同時，大大減少了模型參數(shù)與計算量，極大提高了模型推理速度，可用于移動端以及嵌入式設(shè)備進行實時的特征提取。因此本文提出了基于YOLOv5s和改進的U型網(wǎng)絡(luò)的光照退化魯棒檢測方案，將改進的U型網(wǎng)絡(luò)命名為輕量級U型網(wǎng)絡(luò)（mobile network v2-u-network, MUnet）。

表2 MobileNetv2網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)

3.2 基于YOLOv5s和MUnet的光照退化魯棒檢測方案

本文使用大疆云臺相機禪思Zenmuse Z30在操場進行了實機實驗。實驗中無人機以不同角度，不同高度由遠及近拍攝視頻，然后將視頻轉(zhuǎn)換為圖像序列。圖6所示為獲得的不同飛行條件下的QR碼圖像。

圖6 不同飛行條件下的QR碼圖像

從圖6可以看出，合作目標在現(xiàn)實環(huán)境中受光照影響很大，經(jīng)相機拍攝會出現(xiàn)光照不均、反光和模糊等情況，導致目標檢測精確度大大降低，從而影響真實無人機姿態(tài)角測量的精度。實驗表明，直接使用YOLOv5s檢測場景中的合作目標的PDP時存在漏檢情況，如圖7左圖中的3個PDP圖案中只檢測到了2個，右圖中的3個PDP圖案全部沒有檢測到。

但是，如果將整個QR碼圖像作為被檢測目標，存在光照不均、反光和模糊等情況的QR碼圖像的檢測率會大大提升，實驗結(jié)果顯示，檢測整個QR圖像的準確率能夠提高到95%，檢測結(jié)果如圖8所示。

然而將整個QR碼圖像作為被檢測目標，只能得到1個控制點，無法滿足EPnP算法的使用條件，所以仍然需要得到QR碼圖像中的位置探測圖案的坐標信息，因此必須要解決經(jīng)相機拍攝的QR碼圖像存在的光照不均、反光和模糊等退化問題。由于QR圖像存在大量的紋理，經(jīng)實驗發(fā)現(xiàn)基于深度學習的UNet網(wǎng)絡(luò)能夠有效解決紋理圖像中的光照不均、反光和模糊等退化問題。圖9（a）為退化圖像，圖9（b）為采用MUNet網(wǎng)絡(luò)進行紋理增強之后的圖像。

圖7 真實場景漏檢情況

圖8 整個QR圖像檢測結(jié)果

圖9 紋理增強前后圖像對比

因此，本文設(shè)計了基于YOLOv5s和MUnet的光照退化魯棒檢測方案：

1）使用YOLOv5s檢測整個QR圖像，并按照檢測得到的外接框作為感興趣區(qū)域（圖8所示）把QR圖像分割出來，分割結(jié)果如圖9（a）所示。這樣做的目的是，將紋理增強限定在QR圖像范圍內(nèi)以減少計算面積；

2）將QR圖像進行紋理增強，增強效果如圖9（b）所示，從實驗結(jié)果可以看到，圖9（a）中存在的光照不均、反光和模糊等退化問題都能得到有效增強。考慮到無人機實時性檢測這一特點，為了更進一步提高整個算法的效率，本文將傳統(tǒng)的UNet網(wǎng)絡(luò)進行了改進，使用更加輕量級的MobileNetv2代替?zhèn)鹘y(tǒng)UNet網(wǎng)絡(luò)中的VGG16作為主干網(wǎng)絡(luò)，使得紋理增強時間更進一步減少10倍左右；

3）在增強之后的圖像中，再次使用YOLOv5s檢測PDP定位圖案，其檢測也是在感興趣區(qū)域內(nèi)進行，實驗結(jié)果表明，將第三步的檢測范圍限制在感興趣區(qū)域內(nèi)可以同時提高檢測精度和檢測速度。

3.3 實驗結(jié)果分析對比

模型訓練采用批處理的方式、將提取的8000張圖像中的每8張為一個批次輸入搭建好的MUnet模型進行訓練，最大訓練輪數(shù)設(shè)為1000、損失函數(shù)使用交叉熵損失，表3記錄了基于MUnet的QR碼紋理增強算法的推理結(jié)果，由表3可以看出，加權(quán)調(diào)和平均值為0.923，準確率較高，且推理每張圖像的平均時間為0.0067s，說明MUnet算法的推理速度很快。

表3 模型推理結(jié)果

圖6中不同飛行條件下的QR碼圖像經(jīng)MUnet網(wǎng)絡(luò)進行紋理增強后的效果如圖10所示。

使用YOLOv5s分別對圖6（a）、圖6（b）、圖6（c）、圖6（d）和圖10中的圖10（a′）、圖10（b′）、圖10（c′）、圖10（d′）進行檢測，檢測結(jié)果對比如圖11所示。

從圖11所示的結(jié)果中可以看出，紋理增強后的PDP定位圖案的檢測效果有了明顯的提升，特別是圖6（c）、圖6（d）兩圖，原圖經(jīng)YOLOv5s檢測后并沒有檢測到任何信息，所以圖11并未加入圖6（c）、圖6（d）兩幅原圖進行對比，而圖10（c′）、圖10（d′）中的PDP定位圖案都能檢測到。實驗統(tǒng)計結(jié)果顯示，檢測指標mAP由原來的33.27%提高到了96.35%。

圖10 QR碼紋理增強效果

圖11 紋理增強前后檢測結(jié)果

4 姿態(tài)角測量實驗結(jié)果及分析

4.1 實驗設(shè)計

姿態(tài)角測量實驗過程設(shè)計為三步：1）給定飛行高度和初始姿態(tài)角作為姿態(tài)基準值，無人機按照設(shè)計的路線著陸，獲取第一組著陸圖像；2）保持飛行高度不變，改變初始姿態(tài)角度值再次進行著陸，獲取第二組著陸圖像；3）重復第二步獲取足夠多姿態(tài)角度的無人機著陸圖像數(shù)據(jù)。本文設(shè)定共獲取7組不同姿態(tài)下的著陸圖像。最后，根據(jù)拍攝所獲得的不同姿態(tài)下的著陸圖像求解無人機的姿態(tài)角，并與基準值進行對比，驗證本文所提出的算法的有效性。其中本文設(shè)計的7組實驗中姿態(tài)角基準值如表3所示。

表3 各組實驗姿態(tài)角度

4.2 實驗結(jié)果及分析

各組無人機姿態(tài)角測量誤差如表4所示。由表4可知，通過本文提出的“YOLOv5s+EPnP”算法解算的3個姿態(tài)角的誤差均值為0.39°。與文獻[18]基于雙目視覺測距原理使用“Faster R-CNN+PnP”算法求解旋翼無人機姿態(tài)角的方法相比，本文方法在檢測一張圖像的時間上提高了96%，檢測準確率提高了0.41%，測量誤差降低了38%。實驗結(jié)果表明了本文算法能夠獲得快速、準確并且穩(wěn)定的測量結(jié)果。

表4 無人機姿態(tài)角測量誤差

5 結(jié)束語

本文采用的基于YOLOv5s和MUnet的紋理增強和檢測效率優(yōu)化算法，消除了現(xiàn)實場景圖像退化對檢測結(jié)果的影響，采用的“YOLOv5s+EPnP”的姿態(tài)角測量方法，檢測速度快、測量誤差小能夠同時滿足測量精度和速度的要求，具有很大的工程實用價值。在后續(xù)的研究中，可以根據(jù)仿真實驗中驗證成熟的算法，逐步移植到實際固定翼無人機硬件中，并增加實際硬件相關(guān)參數(shù)的設(shè)定，最終實現(xiàn)自主著陸的工程應用。

[1] 徐貴力, 倪立學, 程月華. 基于合作目標和視覺的無人飛行器全天候自動著陸導引關(guān)鍵技術(shù)[J]. 航空學報, 2008, 29(2): 437-442.

[2] FORSTER C, PIZZOLI M, SCARAMUZZA D. SVO: Fast semi-direct monocular visual odometry[C]// The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of International Conference on Robotics and Automation. Hong Kong: IEEE, 2014: 15-22[2020-08-28].

[3] 張小正, 周鑫, 陳麗娟, 等. 無人機視覺著陸位姿參數(shù)估計方法[J].電光與控制, 2017(5): 26-29.

[4] 戴江鵬. 基于單目視覺的無人機位姿估計算法研究[D].北京：北京理工大學,2018.

[5] YANG T, LI G, LI J, et al. A ground-based near infrared camera array system for UAV auto-landing in GPS-denied environment[J]. Sensors, 2016, 16(9): 1393-1393.

[6] KONG W, ZHANG D, WANG X, et al. Autonomous landing of an UAV with a ground-based actuated infrared stereo vision system[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of International Conference on Intelligent Robots & Systems. Tokyo: IEEE, 2013: 2963-2970[2020-08-28].

[7] YANG T, REN Q, ZHANG F B, et al. Hybrid camera array-based UAV auto-landing on moving UGV in GPS-denied environment[J]. Remote Sensing, 2018, 10(11): 1-31.

[8] LEPETIT V, MORENO-NOGUER F, FUA P. EPnP: an accurate O(n) solution to the PnP problem[J]. International Journal of Computer Vision, 2009, 81(2): 155-166.

[9] 武君, 白剛, 張彩霞. EPNP和POSIT算法在頭部姿態(tài)估計上的實驗比較與分析[J].北方工業(yè)大學學報, 2017, 29(2): 19-27.

[10] 鄧非, 吳幼絲. 球形全景影像位姿估計的改進EPnP算法[J]. 測繪學報, 2016, 45(6): 677-684.

[11] LI J, MA X, CHEN H, et al. Real-time detection and tracking method of landmark based on UAV visual navigation[J]. Journal of Northwestern Polytechnical University, 2018, 36(2): 294-301.

[12] SHARP C S, SHAKERNIA O, SASTRYS S. A vision system for landing an unmanned aerial vehicle[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of International Conference on Robotics and Automation. Seoul: IEEE, 2001(02): 1720-1727[2020-08-28].

[13] LANGE S, SUNDERHAUF N, PROTZEL P. A vision based onboard approach for landing and position control of an autonomous multirotor UAV in GPS-denied environments[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of International Conference on Advanced Robotics. Munich: IEEE, 2009: 1-6[2020-08-28].

[14] REN S, HE K, GIRSHICK R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017, 39(6): 1137-1149.

[15] REDMON J, DDIVVALA S, GIRSHICK R, et al. You only look once: unified, real-time object detection[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of Computer Vision & Pattern Recognition. Las Vegas: IEEE, 2016: 779-788[2020-08-28].

[16] RONNEBERGER O, FISCHER P, BROX T. U-Net: convolutional networks for biomedical image segmentation[EB/OL].(2015-11-18)[2020-08-18].https://link.springer.com/content/pdf/10.1007/978-3-319-24574-4_28.pdf.

[17] SANDLER M, HOWARD A, ZHU M, et al. MobileNetV2: inverted residuals and linear bottlenecks[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE, 2018: 4510-4520[2020-08-28].

[18] 張嘉旭. 基于深度學習的無人機位姿視覺測量與計算方法[D]. 西安: 西安理工大學, 2019.

Study on landing attitude angle measurement algorithm of fixed wing unmanned aerial vehicle

QI Le1, YUAN Baoxi1, GUO Fengjuan2, GUO Jianxin1, XU Yue1, MI Chen1

（1. School of Information Engineering, Xijing University, Xi’an 710123, China;2. Shaanxi Key Laboratory of Integrated and Intelligent Navigation, Xi’an 710071, China）

According to the fact that there is no enough algorithm of attitude angle measurement during autonomous landing of fixed wing Unmanned Aerial Vehicle (UAV), a new attitude angle measurement method based on monocular vision is proposed. In view of the illumination imbalance, reflection and blur of cooperative target images taken in the real environment, texture enhancement and detection efficiency optimization algorithm are proposed to eliminate the influence of image degradation on detection results, so as to realize the detection scheme with robustness to illumination degradation. Experimental results show that the mean of attitude angle error is 0.39, and the number of detection frames per second reached 83.33, which can meet the requirements of UAV landing error and real time simultaneously.

fixed wing unmanned aerial vehicle; visual navigation; cooperative target detection; attitude angle measurement

P228

A

2095-4999(2022)04-0056-09

齊樂，袁寶璽，郭鳳娟，等. 固定翼無人機著陸姿態(tài)角測量算法研究[J]. 導航定位學報, 2022, 10(4): 56-64.（QI Le, YUAN Baoxi, GUO Fengjuan,et al. Study on landing attitude angle measurement algorithm of fixed wing unmanned aerial vehicle[J]. Journal of Navigation and Positioning, 2022, 10(4): 56-64.）DOI:10.16547/j.cnki.10-1096.20220408.

2020-10-10

陜西省重點研發(fā)計劃工業(yè)領(lǐng)域一般項目（2021GY-341）。

齊樂（1997—），女，河北滄州人，碩士研究生，研究方向為視覺導航、圖像處理。

袁寶璽（1974—），男，甘肅定西人，博士，副教授，研究方向為視覺導航、圖像處理等。