薛菁 李帥 代妮娜 雷國平 張望
摘? 要:無人機(jī)視覺定位技術(shù)將無人機(jī)作為載體,結(jié)合圖像識(shí)別技術(shù),提取并處理視覺信息,作為無人機(jī)精準(zhǔn)降落應(yīng)用領(lǐng)域的拓展?;谝曈X定位技術(shù),報(bào)告了無人機(jī)精準(zhǔn)降落技術(shù)的國內(nèi)外研究進(jìn)展情況,對無人機(jī)精準(zhǔn)降落技術(shù)做出了說明,并結(jié)合國內(nèi)外無人機(jī)精準(zhǔn)降落應(yīng)用實(shí)例,對無人機(jī)精準(zhǔn)降落的未來發(fā)展提出了建議,展望了無人機(jī)精準(zhǔn)降落的發(fā)展前景。
關(guān)鍵詞:無人機(jī);圖像處理;精準(zhǔn)降落
中圖分類號(hào):TP391.4? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼:A文章編號(hào):2096-4706(2021)15-0134-03
Abstract: UAV visual positioning technology uses UAV as a carrier, to extract and process visual information by using image recognition technology, and making this as an extension of the application field of UAV precise landing. Based on visual positioning technology, this paper reports the research progress of UAV precise landing technology at home and abroad, explains the UAV precise landing technology, puts forward suggestions for the future development of UAV precise landing combined with the application examples of UAV precise landing at home and abroad, and looks forward to the development prospect of UAV precise landing.
Keywords: UAV; image processing; precise landing
0? 引? 言
多旋翼無人機(jī)已經(jīng)有100多年的歷史,四旋翼作為小型多旋翼無人機(jī)的一種,也已經(jīng)存在超過25年。因其易用、開放和安全,而具有廣泛的民用和軍用價(jià)值。無人機(jī)降落是一個(gè)機(jī)動(dòng)過程,且在無人機(jī)的危險(xiǎn)案例中,著陸事故占了80%,因而對其精準(zhǔn)降落也提出了更高的要求。
傳統(tǒng)的無人機(jī)技術(shù)主要依靠慣性導(dǎo)航系統(tǒng)(Inertial Navigation System, INS)和全球定位系統(tǒng)(Global Position System, GPS)進(jìn)行定位,然而,定位過程中也會(huì)受到多方面的影響,例如GPS并不總是可獲取的,比如在立交橋,高樓附近都會(huì)失效,并且即使是可獲取,它所提供的高度數(shù)據(jù)通常也是不準(zhǔn)確的,需要用一個(gè)近距離傳感器來進(jìn)行補(bǔ)償,但即使是補(bǔ)償后的數(shù)據(jù)也仍然不準(zhǔn)確,在水平面上的著陸位置通常會(huì)離預(yù)定位置有1~3米的偏差。而且INS和GPS不能在室內(nèi)使用,由于這些原因,INS和GPS主要用于對精度要求低的室外飛行。而且當(dāng)無人機(jī)處于低海拔時(shí),可能會(huì)由于標(biāo)記太大,無法進(jìn)入相機(jī)的視野,此外,無人機(jī)的“陰影”也可能會(huì)對圖像造成遮擋。而另一方面,當(dāng)無人機(jī)在更高的高度飛行時(shí),圖像可能由于太小而無法被檢測到。越來越多的團(tuán)隊(duì)對無人機(jī)精準(zhǔn)降落展開了研究。
隨著現(xiàn)代技術(shù)的發(fā)展,計(jì)算機(jī)視覺定位逐步走上無人機(jī)技術(shù)領(lǐng)域的舞臺(tái)。視覺定位技術(shù)提取圖像的主要特征,對大量圖片信息進(jìn)行自動(dòng)處理,以辨識(shí)圖像中的目標(biāo)圖像,獲得圖像的空間位置信息。
在獲得圖像的位置信息后,無人機(jī)機(jī)載平臺(tái)將依據(jù)圖像位置信息進(jìn)行降落。本文旨在對基于視覺定位的無人機(jī)精準(zhǔn)降落技術(shù)進(jìn)行說明,以便對接下來無人機(jī)精準(zhǔn)降落技術(shù)的發(fā)展提供有益的幫助。
1? 國內(nèi)外無人機(jī)精準(zhǔn)降落發(fā)展綜述
無人機(jī)視覺定位技術(shù)是由視覺傳感器獲取目標(biāo)圖像,經(jīng)過數(shù)字圖像處理及特征點(diǎn)提取,得到目標(biāo)的圖像坐標(biāo),再由計(jì)算機(jī)實(shí)現(xiàn)被測物體的空間幾何參數(shù)和位置姿態(tài)等參數(shù)的快速計(jì)算。主要分為有標(biāo)記的視覺定位和無標(biāo)記的視覺定位,其中無標(biāo)記的定位需要關(guān)于場景的先驗(yàn)知識(shí),首先獲得環(huán)境地圖。同時(shí),視覺定位在其他事物上的使用也可以為無人機(jī)視覺定位的發(fā)展提供可取之處。無人機(jī)視覺定位原理如圖1所示。
基于視覺定位技術(shù),無人機(jī)的精準(zhǔn)降落也得到了進(jìn)一步的發(fā)展。無人機(jī)精準(zhǔn)降落是指使無人機(jī)平穩(wěn)且誤差最小的降落到指定位置。目前國內(nèi)外對無人機(jī)精準(zhǔn)降落的研究主要從兩方面展開:
(1)基于RTK地面站的精準(zhǔn)降落,通過RTK基站給無人機(jī)發(fā)送無人機(jī)機(jī)場在大地坐標(biāo)系下的精確位置。
(2)基于視覺定位技術(shù)的精準(zhǔn)降落,通過無人機(jī)機(jī)載圖像識(shí)別設(shè)備辨識(shí)地面目標(biāo)降落點(diǎn),獲得目標(biāo)降落點(diǎn)與無人機(jī)的相對位置。
接下來將對基于視覺定位技術(shù)的無人機(jī)精準(zhǔn)降落進(jìn)行闡述。
1.1? 國內(nèi)發(fā)展
付文龍等[1]為了準(zhǔn)確識(shí)別壓板投退狀態(tài)而提出了一種基于圖像處理與形態(tài)特征分析的智能變電站保護(hù)壓板狀態(tài)識(shí)別方法。該方法首先需采集圖像,進(jìn)行圖像處理,而后根據(jù)RGB值提取有效色塊,對圖像進(jìn)行灰度化、二值化以及形態(tài)學(xué)處理,同時(shí)提取連通區(qū)域,進(jìn)行形態(tài)特征分析,確定有效壓板區(qū)域數(shù)量,最后依據(jù)各有效壓板區(qū)域重心,確定有效壓板順序。實(shí)驗(yàn)結(jié)果表明,該方法可有效解決人工巡檢時(shí)的誤操作問題。
徐滔宏等[2]在智能變電站保護(hù)壓板狀態(tài)識(shí)別的圖像處理方法上對無人機(jī)的視覺引導(dǎo)降落技術(shù)進(jìn)行了研究。該技術(shù)利用機(jī)載機(jī)器視覺模塊處理攝像頭采集到的圖像信息,再采用PID算法控制水平位置,其成像原理式為:
式中Ps為鏡頭中每個(gè)像素單元對應(yīng)的物理距離;Px、Py為整個(gè)圖像平面的中心點(diǎn)像素坐標(biāo)值40和30;f為攝像頭焦距;H為超聲波傳感器所測得的無人機(jī)豎直對地高度;θ、φ分別為無人機(jī)的橫滾角和俯仰角。由于攝像頭安裝過程中不一定安裝在機(jī)架正中心,導(dǎo)致在實(shí)際定點(diǎn)時(shí)無人機(jī)不能定在黑色塊正上方,因此需要測量攝像頭與機(jī)架中心在X軸和Y軸上的偏移量X0和Y0,對估計(jì)的無人機(jī)相對位置進(jìn)行補(bǔ)償。
得到無人機(jī)水平位置的偏移量,無人機(jī)水平位置控制器結(jié)構(gòu)如圖2所示。
并對該偏移量進(jìn)行補(bǔ)償,從而對無人機(jī)實(shí)現(xiàn)高度控制,然后再進(jìn)行定速高度下降控制。無人機(jī)高度控制器結(jié)構(gòu)如圖3所示。
實(shí)驗(yàn)結(jié)果表明,該技術(shù)可以使無人機(jī)自主降落到目標(biāo)位置。
吳文秀等[3]在無人機(jī)可自主降落的基礎(chǔ)上考慮了無人機(jī)的續(xù)航問題,因?yàn)楫?dāng)前無人機(jī)普遍續(xù)航能力不足,因此為了確保無人機(jī)順利完成指定任務(wù),需要對無人機(jī)進(jìn)行充電,因而使無人機(jī)精準(zhǔn)降落至充電基站意義重大。
以實(shí)現(xiàn)無人機(jī)的定點(diǎn)降落為目標(biāo)進(jìn)行系統(tǒng)設(shè)計(jì),系統(tǒng)整體框圖如圖4所示。
而且他們也對降落位置處的標(biāo)志進(jìn)行了更新,提出了AprilTag標(biāo)志,該標(biāo)志有六個(gè)自由度信息,可使無人機(jī)機(jī)載設(shè)備更好進(jìn)行圖像識(shí)別。同時(shí)他們提出的是GPS和視覺識(shí)別相結(jié)合的定位方法。該方法是讓無人機(jī)根據(jù)GPS導(dǎo)航至無人機(jī)充電基站附近,然后啟用Openmv視覺輔助實(shí)現(xiàn)無人機(jī)精確降落。以無人機(jī)為原點(diǎn)建立的坐標(biāo)系如圖5所示。
綜上所述,圖像處理的發(fā)展使得目標(biāo)圖像的處理更加便捷,節(jié)約了成本的同時(shí)提高了工作效率。但是徐滔宏等人的技術(shù)只是在實(shí)驗(yàn)室中得到了驗(yàn)證,并未在實(shí)際情況中進(jìn)行模擬,實(shí)際環(huán)境復(fù)雜多變,遇到的困難也會(huì)更多。吳文秀等人的研究使得目標(biāo)標(biāo)志物可以更精準(zhǔn)的被檢測到,但是缺乏對充電基站所處環(huán)境的探測,因?yàn)闊o人機(jī)執(zhí)行任務(wù)的環(huán)境通常比較惡劣,所以建立充電基站非常不容易。
1.2? 國外發(fā)展
目前國外對無人機(jī)視覺定位的研究主要集中在如何穩(wěn)健和準(zhǔn)確估計(jì)無人機(jī)在傳輸網(wǎng)格中的位置。
Abhimanyu Singh Garhwal等[4]開發(fā)了一種用于圖像識(shí)別的生物信息學(xué)方法,可識(shí)別有嵌入水印或沒有嵌入水印的圖像。該方法是將圖像表示為一個(gè)可解析的字符串(即一個(gè)具有底層結(jié)構(gòu)的序列),并將整個(gè)測試圖像編碼成DNA字母,利用生物信息學(xué)序列比對技術(shù)提取公共子串,這個(gè)子串將被輸入到語法識(shí)別器中進(jìn)行圖像識(shí)別。
生物信息學(xué)啟發(fā)的圖像識(shí)別方法可以運(yùn)用到無人機(jī)尋找降落標(biāo)志上。
Jamie Wubben等[5]針對目前定位系統(tǒng)提供數(shù)據(jù)的不準(zhǔn)確性,提出了一種基于使用ArUco標(biāo)記的高精度著陸解決方案。該方案是UAV搜索ArUco標(biāo)記,如果未檢測到標(biāo)記,UAV會(huì)自動(dòng)改變飛行模式,如果該模式持續(xù)30 s,搜尋任務(wù)將自動(dòng)停止,UAV將只使用GPS著陸。如果UAV的高度大于13.0 m,b設(shè)置為20度;否則,設(shè)置為10度。這些值是基于:標(biāo)記的檢測距離、UAV的大小、標(biāo)記的大小和經(jīng)驗(yàn)優(yōu)化的邊緣。同時(shí),UAV將檢查標(biāo)記是否在虛擬邊界內(nèi)。如果在虛擬邊界內(nèi),UAV將下降;否則,它向目標(biāo)位置水平移動(dòng)。只要UAV的高度大于0.3 m,該算法就會(huì)持續(xù)執(zhí)行。從UAV的高度下降到非常接近地面的那一刻起,控制權(quán)將移交給飛行控制員,該控制員將以安全的方式使無人機(jī)著陸并解除引擎。實(shí)驗(yàn)表明,該方案的著陸方法能夠減少大約96%的著陸誤差。虛擬邊界的視覺表示如圖6所示。
Adam Marut等[6]為了減少飛機(jī)著陸過程中的損壞,提出了一個(gè)簡單且低成本的系統(tǒng)。該系統(tǒng)同樣使用Aruco標(biāo)記,不同的是此系統(tǒng)接收圖像后,會(huì)改變圖像的灰度,然后進(jìn)行輪廓提取,對圖像進(jìn)行濾波,在得到候選標(biāo)記點(diǎn)后進(jìn)行透視去除,并將提取的代碼與標(biāo)記字典進(jìn)行對比,最后確定標(biāo)記的位置。
綜上所述,Abhimanyu Singh Garhwal等提出的算法可以在不提取圖像特征的情況下識(shí)別水印,但是沒有考慮圖像退化問題。Jamie Wubben等考慮了無人機(jī)在固定平臺(tái)、移動(dòng)平臺(tái)和在船上著陸三種情況,但是未考慮到無人機(jī)由于本身固有的不穩(wěn)定性需要得到補(bǔ)償?shù)膯栴}。Adam Marut等對距離、高度和偏差矢量值的校準(zhǔn)方式仍需要改進(jìn)。
1.3? 國內(nèi)國外研究對比分析
國內(nèi)外對無人機(jī)精準(zhǔn)降落已經(jīng)有一定的研究成果。國內(nèi)側(cè)重于研究無人機(jī)精準(zhǔn)降落在識(shí)別降落地標(biāo)志物后的狀態(tài),即如何快速準(zhǔn)確的使無人機(jī)降落至規(guī)定場地,而國外則側(cè)重于對降落標(biāo)志圖像的改進(jìn)。國內(nèi)外的無人機(jī)降落技術(shù)是相輔相成的,且隨著無人機(jī)在植保、電力巡檢等方面的普及使用,無人機(jī)精準(zhǔn)降落應(yīng)該進(jìn)行更深一步的研究。
2? 無人機(jī)精準(zhǔn)降落發(fā)展的應(yīng)用及建議
中國國際飛行器設(shè)計(jì)挑戰(zhàn)賽(CADC)甲組項(xiàng)目對地偵察與打擊中,要求飛手操控?zé)o人機(jī)起飛和降落,在飛行過程中自行偵察未知區(qū)域,并采集數(shù)據(jù)進(jìn)行目標(biāo)分辨,且對目標(biāo)實(shí)施自動(dòng)即時(shí)打擊。該項(xiàng)目的計(jì)分項(xiàng)包括起飛分、偵察分、空投分、降落分以及任務(wù)分。
該項(xiàng)目為無人機(jī)自動(dòng)偵察打擊以及精準(zhǔn)降落領(lǐng)域積累了知識(shí)和技能。在該項(xiàng)目中,絕大部分學(xué)校在無人機(jī)起飛時(shí)選擇通過FPV攝像頭搜尋比賽場地地面的目標(biāo)圖案,然后無人機(jī)執(zhí)行任務(wù)按照GPS定點(diǎn)巡檢,任務(wù)完成后先回到無人機(jī)起飛處的大致位置,再通過攝像頭識(shí)別場地中的目標(biāo)物,通過采集此時(shí)的目標(biāo)標(biāo)志與起飛時(shí)的標(biāo)志對比計(jì)算獲得無人機(jī)和標(biāo)志的相對位置關(guān)系,將這相對位置坐標(biāo)傳入飛控系統(tǒng)后,飛控將控制無人機(jī)完成自主的精準(zhǔn)降落。
但結(jié)合目前研究來看,無人機(jī)的精準(zhǔn)降落仍然有許多需要繼續(xù)研究的地方:
(1)應(yīng)盡可能實(shí)現(xiàn)無人機(jī)自主定位反饋系統(tǒng),如可利用多架無人機(jī)的協(xié)調(diào)實(shí)現(xiàn)無人機(jī)的室內(nèi)應(yīng)用。
(2)為了縮減程序計(jì)算量的同時(shí)提高數(shù)據(jù)輸出頻率,而且不影響狀態(tài)估計(jì)精度,從而實(shí)現(xiàn)在微小型嵌入式系統(tǒng)的應(yīng)用,必須優(yōu)化視覺算法。
(3)如果無人機(jī)僅靠幾個(gè)特征去識(shí)別目標(biāo),在復(fù)雜及不斷變化的環(huán)境中會(huì)降低識(shí)別性能,所以需研究魯棒性更強(qiáng)的視覺定位方法。
(4)因?yàn)闊o人機(jī)需脫離地面工作,導(dǎo)致無人機(jī)和AGV等具有可控性的地面運(yùn)作機(jī)器不一樣。無人機(jī)在工作時(shí)會(huì)遇到各種突發(fā)情況,所以為了更好地完成工作,無人機(jī)的安全性能和可控制性需要進(jìn)一步研究。
3? 結(jié)? 論
無人機(jī)視覺定位具有靈活性強(qiáng)、隱蔽度高、視域視角廣等顯著優(yōu)勢,在偵察勘測、消防救援、安防反恐等領(lǐng)域應(yīng)用廣泛。當(dāng)前國內(nèi)外對無人機(jī)精準(zhǔn)降落的研究也已經(jīng)取得了豐碩的成果,但是仍然可以通過改善飛行性能來提高無人機(jī)精準(zhǔn)降落的效率,從而進(jìn)一步減少著陸時(shí)間,提高著陸精度。
參考文獻(xiàn):
[1] 付文龍,譚佳文,吳喜春,等.基于圖像處理與形態(tài)特征分析的智能變電站保護(hù)壓板狀態(tài)識(shí)別 [J].電力自動(dòng)化設(shè)備,2019,39(7):203-207.
[2] 徐滔宏,王志勝,鹿山山.基于視覺引導(dǎo)的無人機(jī)自主降落研究 [J].機(jī)械與電子,2020,38(8):44-46+51.
[3] 吳文秀,關(guān)志全,汪磊,等.基于openmv的無人機(jī)定點(diǎn)降落視覺識(shí)別技術(shù)研究 [J].智能計(jì)算機(jī)與應(yīng)用,2021,11(1):41-45.
[4] GARHWAL A S,YAN W Q. BIIIA:a bioinformatics-inspired image identification approach [J].Multimedia Tools and Applications,2019,78(8):9537-9552.
[5] WUBBEN J,F(xiàn)ABRA F,CALAFATE C T,et al. Accurate Landing of Unmanned Aerial Vehicles Using Ground Pattern Recognition [J/OL].Electronics,2019,8(12):1-16.[2021-05-23].https://mdpi-res.com/d_attachment/electronics/electronics-08-01532/article_deploy/electronics-08-01532.pdf.
[6] MARUT A,WOJTOWICZ K,F(xiàn)ALKOWSKI K,et al. ArUco markers pose estimation in UAV landing aid system [C]//2019 IEEE 5th International Workshop on Metrology for AeroSpace(MetroAeroSpace).Turin:IEEE,2019:261-266.
作者簡介:薛菁(1997—),女,漢族,山西祁縣人,碩士在讀,研究方向:無人機(jī)關(guān)鍵技術(shù)。
3121500338212