黃罡
摘要:無人機(jī)是信息化時(shí)代的新型技術(shù)產(chǎn)物,它涉及數(shù)據(jù)采集、智能控制、信息處理、通信等相關(guān)技術(shù)。同時(shí)具有操作靈活、體積小巧、機(jī)動(dòng)性高等優(yōu)點(diǎn),這些特點(diǎn)都有效的豐富了無人機(jī)多元化的使用場(chǎng)景。隨著無人機(jī)技術(shù)的不斷成熟,無人機(jī)已經(jīng)在相關(guān)領(lǐng)域被廣泛使用。有別于載人航空設(shè)備,無人機(jī)要在弱人機(jī)交互環(huán)境下實(shí)現(xiàn)相關(guān)任務(wù),就需要擁有場(chǎng)景智能解讀和處理能力,對(duì)于場(chǎng)景的理解力的提升必然要基于目標(biāo)檢測(cè)。計(jì)算機(jī)視覺技術(shù)早在20世紀(jì)90年代就已經(jīng)開始應(yīng)用于無人機(jī)領(lǐng)域,早期受限于微處理器較差的運(yùn)算能力,相關(guān)算法雖然有一定的優(yōu)化但總體上發(fā)展緩慢。經(jīng)過幾十年的發(fā)展,目前隨著處理器運(yùn)算能力的顯著提升,利用計(jì)算機(jī)視覺相關(guān)技術(shù)解決無人機(jī)應(yīng)用中的問題顯得更加得心應(yīng)手。
關(guān)鍵詞:計(jì)算機(jī)視覺;無人機(jī);目標(biāo)檢測(cè);
引言
隨著無人機(jī)在軍用及民用領(lǐng)域的廣泛應(yīng)用,以無人機(jī)為平臺(tái)的圖像獲取和處理技術(shù)在軍事、交通、物流和攝影等諸多領(lǐng)域得到快速發(fā)展?;跓o人機(jī)視覺的多目標(biāo)跟蹤技術(shù)已成為一項(xiàng)重要的研究課題。而無人機(jī)采集的視頻中往往存在目標(biāo)被遮擋而發(fā)生身份跳變的問題,因此研究一種高效、魯棒的無人機(jī)多目標(biāo)跟蹤算法對(duì)無人機(jī)的應(yīng)用具有十分重要的意義。
1算法概述
基于目標(biāo)檢測(cè)的多目標(biāo)跟蹤策略,也稱為TBD(Tracking By Detection)策略,是當(dāng)前MOT算法研究的熱點(diǎn)。本文采用的TBD策略為先用YOLOv4-ti?ny檢測(cè)進(jìn)行目標(biāo)檢測(cè),再用Deep SORT進(jìn)行多目標(biāo)跟蹤。具體實(shí)現(xiàn)步驟:首先使用YOLOv4-tiny目標(biāo)檢測(cè)算法對(duì)當(dāng)前無人機(jī)視頻中的行人及車輛進(jìn)行檢測(cè),得到其位置坐標(biāo)、分類及可信度;其次使用卡爾曼濾波算法預(yù)測(cè)下一幀的目標(biāo)框狀態(tài),對(duì)預(yù)測(cè)結(jié)果和測(cè)量結(jié)果進(jìn)行更新;緊接著使用匈牙利算法將當(dāng)前檢測(cè)到的目標(biāo)與上一幀檢測(cè)到的目標(biāo)進(jìn)行級(jí)聯(lián)匹配,得到關(guān)聯(lián)的目標(biāo)框;最后根據(jù)匹配結(jié)果將關(guān)聯(lián)的目標(biāo)框作為觀測(cè)值更新狀態(tài),得到當(dāng)前幀的更新結(jié)果。
2目標(biāo)檢測(cè)在無人機(jī)領(lǐng)域的前沿研究
2.1復(fù)雜環(huán)境小目標(biāo)下的研究
受到航拍過程中目標(biāo)像素過低且環(huán)境復(fù)雜因素的影響,目標(biāo)檢測(cè)中的小目標(biāo)檢測(cè)一直都是研究中的難點(diǎn)。對(duì)于無人機(jī)圖像中復(fù)雜背景下噪聲信息過大的問題,Audebert等同過全卷積網(wǎng)絡(luò)對(duì)檢測(cè)目標(biāo)進(jìn)行嚴(yán)格分割,而后通過連通分量進(jìn)行目標(biāo)檢測(cè),從而證明了語義分割和目標(biāo)檢測(cè)的結(jié)合可以有效提高目標(biāo)檢測(cè)效率。在此基礎(chǔ)上采用了RPN來對(duì)噪聲信息進(jìn)行抑制。此方法將集成后的新特征點(diǎn)進(jìn)行空洞空間金字塔池化和卷積得到語義特征后,由RPN得到Region Proposal再根據(jù)概率值篩選后經(jīng)過類似的標(biāo)記過程被傳入R-CNN子網(wǎng)絡(luò)進(jìn)更加準(zhǔn)確的坐標(biāo)回歸。在小目標(biāo)檢測(cè)方面,為了提高檢測(cè)的準(zhǔn)確性,2016年提出了FPN算法,通常高層特征語義信息較為豐富而目標(biāo)位置卻不太準(zhǔn)確底層特征語義雖然較少但是目標(biāo)位置更加準(zhǔn)確,作利用深度卷積網(wǎng)絡(luò)固有的多尺度金字塔層次結(jié)構(gòu)來構(gòu)建具有邊際額外成本的特征金字塔。開發(fā)了具有橫向連接的自頂向下架構(gòu),用于構(gòu)建所有尺度的高級(jí)語義特征圖。FPN算法將不同特征層獨(dú)立進(jìn)行預(yù)測(cè),采用了頂層特征和低層特征做融合。
2.2無人機(jī)目標(biāo)跟蹤
KCF算法中,以前一幀目標(biāo)的位置信息作為下一幀目標(biāo)跟蹤區(qū)域擴(kuò)展和采樣的中心,這樣即認(rèn)為下一幀目標(biāo)出現(xiàn)的位置總在擴(kuò)展后的區(qū)域內(nèi),但事實(shí)卻并非如此,被跟蹤目標(biāo)一直處于運(yùn)動(dòng)的狀態(tài),所以前一幀和下一幀總存在一定的位移,這就是跟蹤誤差產(chǎn)生的原因,隨著幀數(shù)的增多,誤差也會(huì)一點(diǎn)點(diǎn)增大,最終會(huì)跟丟目標(biāo),因而本文采用了基于運(yùn)動(dòng)預(yù)測(cè)的跟蹤算法。
2.3檢測(cè)速度方面的研究
雖然無人機(jī)硬件目前處理速度得到了極大的提高,但檢測(cè)速度仍舊是研究的重點(diǎn)方向之一,北京理工大學(xué)的算法論文提出了提出了一種對(duì)YOLOv3的改進(jìn)版本,對(duì)原始模型的卷積層執(zhí)行通道進(jìn)行了修剪,在VisDrone2018-Det基準(zhǔn)數(shù)據(jù)集上評(píng)估顯示參數(shù)尺寸和浮點(diǎn)運(yùn)算均產(chǎn)生了大幅度的下降,運(yùn)行速度成功提高了兩倍左右,且檢測(cè)精確度和YOLOv3保持相當(dāng)。
2.4融合型數(shù)據(jù)關(guān)聯(lián)框架
融合型數(shù)據(jù)關(guān)聯(lián)方法的核心思想是在時(shí)間窗內(nèi)找出現(xiàn)有軌跡與連續(xù)視頻幀檢測(cè)之間的相關(guān)性。與最小費(fèi)用網(wǎng)絡(luò)流模型類似,融合型數(shù)據(jù)關(guān)聯(lián)框架將每個(gè)現(xiàn)有軌跡識(shí)別為特定對(duì)象。所有對(duì)象和關(guān)聯(lián)可能性組成一個(gè)網(wǎng)絡(luò),其中對(duì)象由網(wǎng)絡(luò)的節(jié)點(diǎn)表示,關(guān)聯(lián)可能性由邊緣表示,邊緣代價(jià)用來衡量關(guān)聯(lián)的可能性。然后,該方法的實(shí)現(xiàn)轉(zhuǎn)化為通過指定對(duì)象流的最小代價(jià)來尋找最佳關(guān)聯(lián)。為了實(shí)現(xiàn)該方法,引入一個(gè)虛擬對(duì)象來識(shí)別新的對(duì)象,該對(duì)象被認(rèn)為是軌跡的原點(diǎn)。根據(jù)不同的現(xiàn)有軌跡,建立一個(gè)特定的模型,將特定對(duì)象與其他對(duì)象和背景區(qū)分開來,用于計(jì)算網(wǎng)絡(luò)各方的成本。
3無人機(jī)的目標(biāo)檢測(cè)算法研究
3.1圖像濾波
圖像過濾旨在消除原始圖像中的噪音。有多種圖像過濾方法,如平均過濾、平均過濾等。雖然使用「平均」濾鏡可以減少雜訊,但經(jīng)過濾鏡處理的影像邊緣會(huì)變得模糊。使用平均濾鏡可以減少雜訊,并使影像邊緣變得更清晰,特別是對(duì)于胡椒鹽雜訊而言,濾鏡效果更佳。
3.2圖像分割
圖像分割是一種圖像處理技術(shù),可根據(jù)需要將圖像分割為多個(gè)重要區(qū)域或部分,其質(zhì)量直接影響到以后圖像處理的效率[3]。圖像量化后,將圖像分割算法分為三大類:(1)基于閾值的分割方法;2)邊緣分割方法;3)分區(qū)方法。區(qū)域不成體系的方法包括《區(qū)域司合并法》和《區(qū)域增長(zhǎng)法》。
3.3目標(biāo)識(shí)別
3.3.1基于經(jīng)典的統(tǒng)計(jì)識(shí)別方法
該方法生成大量樣本,測(cè)量目標(biāo)特征分布,并使用特征匹配分類技術(shù)在場(chǎng)景定義域中確定距模型空間的目標(biāo)。此方法無法正確識(shí)別復(fù)雜環(huán)境中或目標(biāo)變更時(shí)的目標(biāo)。
3.3.2基于信息融合的目標(biāo)識(shí)別方法
此方法結(jié)合了不同功能的傳感器,以提高系統(tǒng)識(shí)別復(fù)雜場(chǎng)景中目標(biāo)的能力。目標(biāo)識(shí)別方法目前主要側(cè)重于算法研究和模型開發(fā)。
3.3.3基于知識(shí)的目標(biāo)識(shí)別方法
這種方法的主要目的是查明現(xiàn)有的知識(shí)來源,在應(yīng)用新的環(huán)境中有效地組織和驗(yàn)證知識(shí),了解規(guī)則并明確表達(dá)規(guī)則。域知識(shí)處理能力和組合決定了識(shí)別算法的性能。
結(jié)束語
無人機(jī)領(lǐng)域目標(biāo)檢測(cè)算法的相關(guān)研究目前受到了國(guó)內(nèi)外的高度關(guān)注。雖然相關(guān)的算法優(yōu)化已經(jīng)取得了不錯(cuò)的效果,但是依然存在優(yōu)化和改進(jìn)的空間。從近年來的主要研究方向來看,主要集中在尋求檢測(cè)準(zhǔn)確度與檢測(cè)速度之間的最佳契合點(diǎn)?;赮OLO算法的目標(biāo)檢測(cè)雖然提出的時(shí)間不長(zhǎng),但是研究趨勢(shì)更加符合無人機(jī)的發(fā)展。本文從基于計(jì)算機(jī)視覺的無人機(jī)檢測(cè)技術(shù)角度出發(fā),概括了目標(biāo)檢測(cè)在無人機(jī)中的具體問題,總結(jié)概況了目前主流的目標(biāo)檢測(cè)算法和各自算法的聯(lián)系,同時(shí)結(jié)合無人機(jī)發(fā)展的具體需求,分析了目前對(duì)于無人機(jī)目標(biāo)檢測(cè)技術(shù)主流的改進(jìn)優(yōu)化方向。隨著無人機(jī)應(yīng)用需求的進(jìn)一步提高,目標(biāo)檢測(cè)必然取得更加飛速的發(fā)展。在軍事、民用領(lǐng)域都有著廣泛的應(yīng)用價(jià)值。
參考文獻(xiàn)
[1] 楊浩然,張雨晗.基于計(jì)算機(jī)視覺的無人機(jī)目標(biāo)檢測(cè)算法綜述[J].電子測(cè)試,2022,36(04):44-45+36.
[2] 徐中旭.基于計(jì)算機(jī)視覺的無人機(jī)目標(biāo)跟隨技術(shù)研究[D].南京郵電大學(xué),2021.
[3] 周強(qiáng).基于計(jì)算機(jī)視覺的無人機(jī)目標(biāo)檢測(cè)與隊(duì)形識(shí)別技術(shù)研究[D].中國(guó)電子科技集團(tuán)公司電子科學(xué)研究院,2021.
[4]沈杰.計(jì)算機(jī)視覺技術(shù)在無人機(jī)上的應(yīng)用[J].數(shù)碼世界,2020(04):11-12.
[5]黃潔,唐守鋒,童敏明,李童童,皇甫淑云.計(jì)算機(jī)視覺技術(shù)在無人機(jī)上的應(yīng)用[J].軟件導(dǎo)刊,2019,18(01):14-16.