李洪瑤, 李小強(qiáng), 韓心中, 謝學(xué)立, 席建祥,*

(1. 火箭軍工程大學(xué)導(dǎo)彈工程學(xué)院,西安 陜西 710025; 2. 火箭軍研究院,北京 100094)

0 引 言

無(wú)人機(jī)(unmanned aerial vehicle, UAV)智能巡視隨著UAV工藝和人工智能發(fā)展而興起,在道路交通監(jiān)控、電力線路安全巡檢、關(guān)鍵區(qū)域巡視等領(lǐng)域具有廣泛應(yīng)用。在進(jìn)行較大范圍區(qū)域巡視時(shí),由于區(qū)域環(huán)境復(fù)雜、區(qū)域內(nèi)目標(biāo)較多、UAV硬件限制,單架次UAV巡視方案不能滿足實(shí)際需求,此時(shí)一般需要采用多UAV進(jìn)行巡視。

當(dāng)前的多UAV巡視方案大都將大范圍的巡視區(qū)域劃分為多個(gè)小區(qū)域進(jìn)行單架次巡視,即一個(gè)UAV負(fù)責(zé)巡視一個(gè)小區(qū)域,但是在巡視過(guò)程中各UAV相互獨(dú)立、缺少協(xié)同,無(wú)法充分發(fā)揮多UAV系統(tǒng)級(jí)優(yōu)勢(shì)。采用多架UAV協(xié)同巡視,不僅能夠增大單次飛行的巡視范圍,提高巡視效率,而且能夠通過(guò)融合多機(jī)巡視信息,增強(qiáng)巡視結(jié)果可信度。此外,多UAV系統(tǒng)還具有單架UAV所不具備的容錯(cuò)能力和魯棒性,有利于巡視任務(wù)順利有效完成。多UAV協(xié)同巡視是未來(lái)UAV大范圍智能巡視的發(fā)展趨勢(shì)。

多UAV協(xié)同目標(biāo)檢測(cè)與識(shí)別是多UAV協(xié)同巡視的關(guān)鍵技術(shù),通過(guò)融合多機(jī)信息對(duì)地面目標(biāo)的位置、形狀和類別進(jìn)行感知。技術(shù)實(shí)現(xiàn)途徑主要包括3個(gè)步驟,即目標(biāo)檢測(cè)、目標(biāo)關(guān)聯(lián)與目標(biāo)融合。

目標(biāo)檢測(cè)是完成巡視任務(wù)的前提基礎(chǔ),檢測(cè)信息的全面性和準(zhǔn)確性關(guān)系著后續(xù)態(tài)勢(shì)理解、預(yù)測(cè)和評(píng)估的可靠性。隨著深度學(xué)習(xí)的發(fā)展,目標(biāo)檢測(cè)與識(shí)別技術(shù)取得很大的突破,出現(xiàn)了如快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(faster-region convolutional neural network, Faster-RCNN)算法、YOLO V3算法、Retinanet等優(yōu)秀的目標(biāo)檢測(cè)算法。對(duì)其性能進(jìn)行比較分析,YOLO V3算法屬于單階段算法,檢測(cè)速度最快,但定位精度受限;Faster-RCNN算法屬于兩階段算法,目標(biāo)檢測(cè)精度最高,但運(yùn)行速度較慢;而Retinanet算法能在保持準(zhǔn)實(shí)時(shí)基礎(chǔ)上,達(dá)到近似兩階段檢測(cè)算法的精度,相比于前兩種算法,更適用于航拍圖像的目標(biāo)檢測(cè)。

目標(biāo)關(guān)聯(lián)匹配是進(jìn)行目標(biāo)融合的基礎(chǔ),目標(biāo)關(guān)聯(lián)的精度直接影響圖像拼接與后續(xù)數(shù)據(jù)融合的準(zhǔn)確性,因此較多研究圍繞目標(biāo)關(guān)聯(lián)開(kāi)展。其中,Tang等學(xué)者利用低復(fù)雜度概率數(shù)據(jù)關(guān)聯(lián)(probabilistic data association,PDA)方法,在低信噪比或強(qiáng)雜波的情況下完成目標(biāo)軌跡初始化。同時(shí),將聯(lián)合PDA(joint PDA,JPDA)應(yīng)用于同時(shí)跟蹤多目標(biāo)場(chǎng)景,彌補(bǔ)了快速簡(jiǎn)單逼近算法與高效優(yōu)化算法在計(jì)算負(fù)荷和精度上的差距。Sinha等學(xué)者基于分配的全局最近鄰跟蹤器的跟蹤質(zhì)量度量密度,提出了一種適用于目標(biāo)暫時(shí)無(wú)法檢測(cè)的多目標(biāo)關(guān)聯(lián)跟蹤方法。PDA主要處理雜波環(huán)境中單目標(biāo)關(guān)聯(lián)問(wèn)題,JPDA多用于雜波與目標(biāo)較少的多目標(biāo)關(guān)聯(lián)場(chǎng)景,最近鄰算法則適用于回波環(huán)境較為稀疏的場(chǎng)景中。

隨著社會(huì)的發(fā)展,環(huán)境日益復(fù)雜,多傳感器應(yīng)用已逐漸成為主流,能在復(fù)雜的應(yīng)用背景中對(duì)目標(biāo)進(jìn)行有效識(shí)別成為關(guān)鍵步驟,從而使目標(biāo)融合即數(shù)據(jù)融合的研究有重要意義。Lee等學(xué)者基于貝葉斯推理,提出了一種新的信息融合和狀態(tài)估計(jì)算法用于擴(kuò)展目標(biāo)跟蹤, Koch等學(xué)者基于擴(kuò)展卡爾曼濾波系統(tǒng)在完成非均勻圖像信息融合問(wèn)題上有一定突破,基于擴(kuò)展卡爾曼濾波的多模型庫(kù)被開(kāi)發(fā)出來(lái)并應(yīng)用于對(duì)非均勻圖像進(jìn)行識(shí)別和恢復(fù)過(guò)程。Miao等學(xué)者基于一種似是而非和自相矛盾推理的信息融合算法DSmT(dezert-smarandache theory)的快速質(zhì)量收斂函數(shù)收斂算法的序列圖像完成決策級(jí)的融合,可以顯著提高航空影像的目標(biāo)識(shí)別與融合的效果。本文研究的多UAV協(xié)同目標(biāo)融合中,多UAV航拍圖像獲取的目標(biāo)信息可能具有較強(qiáng)的沖突性,對(duì)目標(biāo)融合算法有一定要求。

綜合本文研究的問(wèn)題,從數(shù)據(jù)處理方式考慮,此問(wèn)題可看作多傳感器信息融合問(wèn)題。多傳感器信息融合是形成系統(tǒng)級(jí)優(yōu)勢(shì)的關(guān)鍵技術(shù),受到學(xué)者廣泛關(guān)注。王琪龍等學(xué)者采用聯(lián)邦卡爾曼濾波算法融合雙目視覺(jué)傳感器和激光測(cè)距傳感器的信息,設(shè)計(jì)了目標(biāo)跟蹤系統(tǒng),提高了跟蹤的量測(cè)精度。陸峰等學(xué)者提出一種用于自動(dòng)駕駛的多視角融合目標(biāo)檢測(cè)識(shí)別方法,利用目標(biāo)框位置信息對(duì)多傳感器信息進(jìn)行目標(biāo)關(guān)聯(lián),并使用證據(jù)推理有效地融合了激光雷達(dá)和可見(jiàn)光傳感器信息,提高了對(duì)道路目標(biāo)的檢測(cè)精度。這也是目前多傳感器目標(biāo)檢測(cè)的主流算法框架之一。Chavez等學(xué)者提出一種基于證據(jù)推理的完整感知融合架構(gòu),通過(guò)集成復(fù)合表示和不確定性管理解決運(yùn)動(dòng)物體檢測(cè)和跟蹤問(wèn)題,提高了檢測(cè)跟蹤的效率與準(zhǔn)確率。相比地面的多傳感器系統(tǒng),多UAV傳感器的空間位置分布更加靈活、距離目標(biāo)更遠(yuǎn)、圖像目標(biāo)尺度更小、目標(biāo)分辨率更低。

結(jié)合目前研究現(xiàn)狀總結(jié)得出,目前研究針對(duì)多UAV協(xié)同定位、協(xié)同跟蹤問(wèn)題較多,但對(duì)底層的多UAV協(xié)同目標(biāo)檢測(cè)與識(shí)別的研究較少。針對(duì)當(dāng)前環(huán)境目標(biāo)復(fù)雜、環(huán)境區(qū)域大的情況,加大多UAV協(xié)同目標(biāo)檢測(cè)與識(shí)別的研究力度具有較為重要的意義,優(yōu)勢(shì)主要體現(xiàn)在兩方面。第一,耗時(shí)更短。多UAV協(xié)同檢測(cè)識(shí)別可根據(jù)獲取的視圖不同進(jìn)行實(shí)時(shí)任務(wù)分配,可使每架UAV最高效完成相應(yīng)任務(wù)。第二,容錯(cuò)性更強(qiáng)。單UAV進(jìn)行目標(biāo)檢測(cè)識(shí)別時(shí)存在的誤差來(lái)源較多,影響任務(wù)的因素較多。多UAV協(xié)同進(jìn)行圖像檢測(cè)識(shí)別工作時(shí),有效保證檢測(cè)識(shí)別任務(wù)的穩(wěn)定性。增強(qiáng)機(jī)間協(xié)同作用,能夠?qū)崟r(shí)進(jìn)行任務(wù)分配調(diào)節(jié),對(duì)于誤差因素的影響可有效降低。在研究過(guò)程中的主要難點(diǎn)有3點(diǎn),包含航拍圖像信息特征提取的有效性、多UAV目標(biāo)關(guān)聯(lián)的二義性和多源信息融合算法的魯棒性。

本文采用決策級(jí)融合結(jié)構(gòu),設(shè)計(jì)多UAV協(xié)同目標(biāo)檢測(cè)與識(shí)別方案。首先采用改進(jìn)的Retinanet對(duì)單個(gè)UAV圖像進(jìn)行目標(biāo)檢測(cè)與識(shí)別,得到各圖像中目標(biāo)的位置坐標(biāo)和類別概率分布;并行地,使用加速魯棒特征(speeded-up robust features, SURF)算法進(jìn)行多UAV圖像配準(zhǔn),獲取多機(jī)圖像之間的幾何變換矩陣,并利用幾何變換矩陣將多機(jī)檢測(cè)結(jié)果投影至同一坐標(biāo)系。在同一坐標(biāo)系下,綜合位置信息和屬性信息構(gòu)建目標(biāo)關(guān)聯(lián)概率矩陣,并基于最近鄰匹配策略選擇目標(biāo)關(guān)聯(lián)對(duì);最后采用動(dòng)態(tài)切換機(jī)制在兩種信息融合算法中實(shí)時(shí)依據(jù)情況選擇證據(jù)推理理論(dempster-shafer theory, DST)和DSmT對(duì)關(guān)聯(lián)的目標(biāo)信息進(jìn)行決策融合。

1 協(xié)同目標(biāo)檢測(cè)與識(shí)別算法介紹

多UAV協(xié)同目標(biāo)識(shí)別主要是UAV搭載的多傳感器的協(xié)同。主要對(duì)多個(gè)UAV在不同視角對(duì)目標(biāo)感知的圖像信息進(jìn)行融合,提高多UAV的感知視場(chǎng)范圍和準(zhǔn)確度。以3架UAV為例,進(jìn)行多UAV協(xié)同目標(biāo)識(shí)別策略研究?？紤]到多UAV系統(tǒng)的個(gè)體差異和帶寬限制,提出基于決策融合的多UAV協(xié)同目標(biāo)識(shí)別算法,算法總體方案如圖1所示。算法主要分為單架UAV航拍圖像的目標(biāo)檢測(cè)、多UAV目標(biāo)關(guān)聯(lián)和多UAV決策融合目標(biāo)識(shí)別3個(gè)階段。首先,單個(gè)UAV對(duì)各自巡視區(qū)域進(jìn)行目標(biāo)檢測(cè)與識(shí)別。然后,將不同UAV圖像進(jìn)行空間配準(zhǔn),將多個(gè)UAV探測(cè)結(jié)果投影至同一坐標(biāo)系下,并完成目標(biāo)關(guān)聯(lián)。最后通過(guò)決策級(jí)融合,將不同UAV對(duì)同一目標(biāo)的檢測(cè)與識(shí)別的結(jié)果進(jìn)行融合。

圖1 多UAV協(xié)同目標(biāo)檢測(cè)與識(shí)別總體框架圖Fig.1 General framework of cooperative object detection and recognition for multiple UAVs

1.1 基于改進(jìn)Retinanet的單機(jī)目標(biāo)檢測(cè)

本文采用深度卷積網(wǎng)絡(luò)作為單UAV圖像的目標(biāo)檢測(cè)與識(shí)別方法?？紤]到UAV航拍圖像小目標(biāo)分布較多,本文選用Retinanet來(lái)檢測(cè)航拍圖像地面目標(biāo)。通過(guò)調(diào)整anchor box參數(shù)適應(yīng)航拍圖像目標(biāo)檢測(cè)。

1.1.1 Retinanet簡(jiǎn)介

Retinanet主要結(jié)構(gòu)如圖2所示。采用ResNet構(gòu)建特征金字塔提取網(wǎng)絡(luò)(feature pyramid networks,FPN),并在殘差網(wǎng)絡(luò)(residual network, ResNet)-FPN的基礎(chǔ)上,增加了、輔助檢測(cè)層,構(gòu)建了～的5層檢測(cè)特征層。為解決限制單階段檢測(cè)器精度的類別不平衡問(wèn)題,提出Focal Loss函數(shù)作為分類損失函數(shù),在交叉熵?fù)p失函數(shù)中添加動(dòng)態(tài)調(diào)節(jié)因子,用來(lái)減小易分類樣本loss權(quán)重,增大難樣本loss權(quán)重,從而引導(dǎo)優(yōu)化器更關(guān)注于難樣本的優(yōu)化。Focal Loss定義為

()=-(1-)log()

(1)

(2)

式中:為標(biāo)簽值；為模型預(yù)測(cè)值；為線性調(diào)節(jié)因子；為指數(shù)調(diào)節(jié)因子。

圖2 Retinanet結(jié)構(gòu)圖Fig.2 Structure of Retinanet

1.1.2 改進(jìn)措施

Retinanet采用分層檢測(cè)的思想設(shè)計(jì)anchor box,在低特征層上用小尺度anchor來(lái)檢測(cè)小目標(biāo),隨著層級(jí)升高,逐級(jí)增大anchor尺度使之更適合更大目標(biāo)的檢測(cè)。為保證anchor box的采樣密度和與目標(biāo)box的匹配率,在每個(gè)層級(jí)內(nèi)設(shè)置多種尺度和長(zhǎng)寬比的anchor box。根據(jù)UAV航拍圖像目標(biāo)分布特性,為匹配更多的小目標(biāo),本文將anchor box的base_size設(shè)置為16,同時(shí)設(shè)置在特征各像素點(diǎn)生成長(zhǎng)寬比為{0.5,1,2,3},尺度比為{2,2,2}的anchor box共12個(gè),增大anchor的采樣密度。對(duì)Retinanet的anchor box匹配策略進(jìn)行修改,保證每個(gè)anchor box匹配到量測(cè)標(biāo)準(zhǔn)值(intersection over union,IOU)最大的真值框。為進(jìn)一步提高anchor box對(duì)小目標(biāo)的召回率,將正樣本閾值下調(diào)為0.4,負(fù)樣本閾值調(diào)整為0.3。Focal Loss參數(shù)設(shè)為=025,=2.0。

此外,由于UAV空間分布不同,采集的圖像在尺度、旋轉(zhuǎn)和視角上存在一定差異。為提高目標(biāo)檢測(cè)器對(duì)多機(jī)圖像的魯棒性,在Retinanet訓(xùn)練階段進(jìn)行數(shù)據(jù)增強(qiáng),對(duì)圖像進(jìn)行隨機(jī)的水平翻轉(zhuǎn)、尺度放縮[0.75,1,1.25]和角度旋轉(zhuǎn)(-π/36,π/36)。并采用遷移學(xué)習(xí)思想進(jìn)行Retinanet訓(xùn)練,首先加載具有COCO預(yù)訓(xùn)練權(quán)重的Retinanet,在VISDrone數(shù)據(jù)集上進(jìn)行初步訓(xùn)練,然后利用在VISDrone數(shù)據(jù)集上訓(xùn)練的權(quán)重,在自己數(shù)據(jù)集上進(jìn)行適應(yīng)性訓(xùn)練。通過(guò)遷移學(xué)習(xí)的方法,增加了參與訓(xùn)練的數(shù)據(jù)量,有利于提高檢測(cè)器的性能。

將Retinanet輸出的結(jié)果經(jīng)過(guò)非極大值抑制(non-maximum suppression,NMS)后,得到單機(jī)圖像的檢測(cè)結(jié)果,為了便于后續(xù)多機(jī)融合,保留Retinanet對(duì)每個(gè)框所屬目標(biāo)類別預(yù)測(cè)的全部概率分布。檢測(cè)結(jié)果如圖3所示。

圖3 單UAV目標(biāo)檢測(cè)結(jié)果Fig.3 Object detection results of single UAV

1.2 綜合位置信息和屬性信息的多機(jī)目標(biāo)關(guān)聯(lián)

多機(jī)目標(biāo)關(guān)聯(lián)是進(jìn)行多機(jī)決策融合的關(guān)鍵環(huán)節(jié),關(guān)聯(lián)效果的好壞關(guān)系著整個(gè)系統(tǒng)的準(zhǔn)確性與可靠性,以往大部分文獻(xiàn)主要根據(jù)目標(biāo)的位置信息進(jìn)行關(guān)聯(lián),這種方法在目標(biāo)密集的情況下容易出現(xiàn)誤關(guān)聯(lián)。為克服關(guān)聯(lián)的二義性,本文綜合目標(biāo)位置信息和屬性信息,構(gòu)建關(guān)聯(lián)概率矩陣,并采用具有全局優(yōu)化的最近鄰匹配算法進(jìn)行關(guān)聯(lián)分配。本文采取的多UAV目標(biāo)關(guān)聯(lián)算法如圖4所示。

圖4 多UAV目標(biāo)關(guān)聯(lián)算法框圖Fig.4 Flow chart of multiple UAVs object association algorithm

1.2.1 基于特征配準(zhǔn)的目標(biāo)坐標(biāo)空間一致性處理

多UAV位于空間不同位置,對(duì)場(chǎng)景的成像角度和方向存在差別。為便于后續(xù)多UAV目標(biāo)關(guān)聯(lián),本文采用圖像配準(zhǔn),找出同一場(chǎng)景在不同成像傳感器下的圖像之間的空間轉(zhuǎn)換關(guān)系,將各成像傳感器的圖像轉(zhuǎn)換到同一坐標(biāo)系中,實(shí)現(xiàn)多UAV目標(biāo)信息坐標(biāo)統(tǒng)一。

具有加速穩(wěn)健特征的算法是圖像配準(zhǔn)常用的特征描述子之一,是尺度不變特征變換算法(scale-invariant feature transform,SIFT)的一種改進(jìn),其在保持SIFT算法優(yōu)良性能基礎(chǔ)上,加快了特征提取計(jì)算速度。

首先利用SURF算法提取三幅圖像特征描述點(diǎn),保證匹配特征點(diǎn)對(duì)的數(shù)量和質(zhì)量。然后采用基于平衡二叉樹(shù)k-d樹(shù)的最近鄰近似匹配規(guī)則,實(shí)現(xiàn)快速的特征點(diǎn)匹配。最后利用隨機(jī)一致性采樣算法(random sample consensus,RANSAC)進(jìn)行特征點(diǎn)對(duì)的精匹配,并求解出最優(yōu)的坐標(biāo)變換矩陣。

本文選取投影變換模型進(jìn)行圖像變換,其幾何變換矩陣為

(3)

式中:,為原坐標(biāo)；為線性調(diào)節(jié)因子；′,′為變換后的坐標(biāo)；為矩陣的元素。可以看出,矩陣具有8個(gè)參數(shù),故至少需要4對(duì)匹配特征點(diǎn)才能求解?；趯?shí)驗(yàn)獲取的數(shù)據(jù),使用上述方法進(jìn)行實(shí)驗(yàn)驗(yàn)證,最終獲取多UAVs圖像特征精匹配結(jié)果如圖5所示。

圖5 多UAV圖像特征精匹配結(jié)果Fig.5 Fine matching results of multiple UAVs image

選取中間的UAV航拍圖像作為參考圖像,左、右UAV的航拍圖像作為待配準(zhǔn)圖像,按左、中、右位置順序分別記為、、。利用坐標(biāo)轉(zhuǎn)換矩陣,將各UAV檢測(cè)的結(jié)果對(duì)齊至同一坐標(biāo)系中。為了直觀表示投影后檢測(cè)框之間的關(guān)系,以圖像為參考圖像做圖像拼接,多UAV檢測(cè)框投影至同一坐標(biāo)系的結(jié)果如圖6所示。

圖6 多UAV圖像拼接與檢測(cè)結(jié)果投影Fig.6 Image mosaic of multiple UAVs and projection of detection results

1.2.2 位置信息和屬性信息的關(guān)聯(lián)概率矩陣構(gòu)建

在統(tǒng)一的坐標(biāo)系下,對(duì)各UAV投影的目標(biāo)檢測(cè)框,選取Jaccard overlap作為位置信息相似性度量準(zhǔn)則。Jaccard overlap定義為

(4)

式中:,分別表示兩個(gè)多邊形包含像素點(diǎn)集合；∩表示集合和的交集；∪表示集合和的并集；表示多邊形面積。

針對(duì)各UAV單機(jī)檢測(cè)獲取的目標(biāo)類別概率分布,選取Hellinger距離作為屬性信息相似性度量。Hellinger距離同Jaccard overlap一樣具有歸一化性質(zhì),便于后續(xù)融合處理。Hellinger距離越小,說(shuō)明目標(biāo)屬性越接近。定義為

(5)

式中:,表示兩個(gè)目標(biāo)框的離散概率分布。

為全面考慮目標(biāo)位置信息和屬性信息給目標(biāo)關(guān)聯(lián)帶來(lái)的影響,采用加權(quán)平均的方式構(gòu)建綜合關(guān)聯(lián)度量準(zhǔn)則:

=-

(6)

式中:表示綜合信息度量值;表示位置信息的權(quán)重;表示屬性信息的權(quán)重。此處和更傾向于位置信息的度量、故取23和13。

此時(shí),圖6中目標(biāo)檢測(cè)框來(lái)源存在7類可能情況,如表1所示,表中“1”表示是,“0”表示否。

表1 多UAV檢測(cè)目標(biāo)框來(lái)源

(7)

式(7)中,3個(gè)關(guān)聯(lián)概率矩陣僅能表示表1的前6種情況。當(dāng)出現(xiàn)第7種情況——目標(biāo)被3架UAV同時(shí)檢測(cè),若直接考慮3個(gè)檢測(cè)框之間的Jaccard overlap,會(huì)弱化關(guān)聯(lián)概率對(duì)三框的位置分布的約束,造成度量失準(zhǔn)。因此采用加權(quán)融合方式進(jìn)行“三框關(guān)聯(lián)”概率賦值為

(8)

式中:、和表示加權(quán)權(quán)重,本文認(rèn)為兩架UAV的可靠程度相等,本文均取1/3。

1.2.3 基于最近鄰的多目標(biāo)關(guān)聯(lián)判定算法

由于各UAV在航拍時(shí)飛行高度,姿態(tài),攝像機(jī)參數(shù)等數(shù)據(jù)存在差異性,所以獲得的場(chǎng)景存在著視角與視場(chǎng)的不同,可能會(huì)出現(xiàn)以下情況:

(1) 同一目標(biāo)同時(shí)被3架UAV檢測(cè)到;

(2) 同一目標(biāo)被其中2架UAV檢測(cè)到;

(3) 目標(biāo)僅被1架UAV檢測(cè)到。

圖7 過(guò)渡框沖突示意圖Fig.7 Schematic diagram of transition box confliction

對(duì)存在關(guān)聯(lián)項(xiàng)的檢測(cè)框,先考慮兩架UAV之間的關(guān)聯(lián)情況,當(dāng)滿足第7種情況賦值條件時(shí),再進(jìn)行3架UAV之間的關(guān)聯(lián)。本文借鑒最近鄰思想,提出一種具有全局優(yōu)化的關(guān)聯(lián)判定算法,算法流程步驟如下所示。

算法旨在生成雙框關(guān)聯(lián)和三框關(guān)聯(lián)的檢測(cè)框集合。

輸入3個(gè)關(guān)聯(lián)概率矩陣。

對(duì)矩陣的行和列進(jìn)行初始化編號(hào),與檢驗(yàn)框的序號(hào)對(duì)應(yīng)。

進(jìn)行預(yù)處理,選取關(guān)聯(lián)閾值th,將概率矩陣小于th的元素置0,然后剔除矩陣全0行和全0列。

求解剩余矩陣所有元素中的最大值,得到最大元素對(duì)應(yīng)的檢測(cè)框編號(hào),生成一對(duì)關(guān)聯(lián)框,并刪去所在行與列。

判斷剩余矩陣是否為空,若否則重復(fù)步驟5,直至矩陣行或列為空,得到所有雙框關(guān)聯(lián)集合。

在雙框關(guān)聯(lián)集合中判斷情況7成立的條件,并對(duì)三框關(guān)聯(lián)概率進(jìn)行閾值篩選。

去除雙框關(guān)聯(lián)集合中可能存在的過(guò)渡框沖突,如圖7所示,取關(guān)聯(lián)概率更大的關(guān)聯(lián)對(duì)。

1.3 基于動(dòng)態(tài)切換機(jī)制的多機(jī)融合識(shí)別

多架UAV在空間的不同位置,以不同視角對(duì)同一目標(biāo)進(jìn)行感知,目標(biāo)在各相機(jī)坐標(biāo)系中的成像存在差異。將不同航拍場(chǎng)景的目標(biāo)檢測(cè)數(shù)據(jù)投影至拼接場(chǎng)景后,同一待檢測(cè)目標(biāo)可能會(huì)擁有多組檢測(cè)數(shù)據(jù),而這多組數(shù)據(jù)對(duì)目標(biāo)的位置和類別置信度的反映存在偏差。為利用多視角帶來(lái)的信息互補(bǔ)性和冗余性,提高多UAV系統(tǒng)的感知效益,需對(duì)多組數(shù)據(jù)進(jìn)行融合,得到一組最準(zhǔn)確的檢測(cè)數(shù)據(jù)。

經(jīng)過(guò)多機(jī)目標(biāo)關(guān)聯(lián),場(chǎng)景內(nèi)的目標(biāo)會(huì)存在3種關(guān)聯(lián)情況:① 不存在關(guān)聯(lián);② 雙框關(guān)聯(lián);③ 三框關(guān)聯(lián)。不存在多機(jī)關(guān)聯(lián)的目標(biāo)則不進(jìn)行融合,直接取單機(jī)檢測(cè)識(shí)別的結(jié)果。對(duì)存在關(guān)聯(lián)的目標(biāo),進(jìn)行融合處理,即將不同UAV的檢測(cè)識(shí)別結(jié)果作為不同的證據(jù)源,完成證據(jù)推理決策融合過(guò)程。

在多UAV飛行過(guò)程中,單架UAV對(duì)同一目標(biāo),可能會(huì)給出不同的類別預(yù)測(cè)概率,甚至是不同的類別判定。針對(duì)多機(jī)決策的不確定性問(wèn)題,本文采用基于DST和DSmT的動(dòng)態(tài)選擇方法進(jìn)行類別概率融合。DST推理框架相對(duì)計(jì)算簡(jiǎn)單有效,但在強(qiáng)沖突條件下會(huì)陷入悖論;DSmT建立了更廣泛的理論框架,具有處理強(qiáng)沖突證據(jù)的能力,但隨著目標(biāo)類別增多,計(jì)算量會(huì)迅速增長(zhǎng)。采用動(dòng)態(tài)切換機(jī)制,根據(jù)證據(jù)沖突程度來(lái)選擇融合方式,從而充分發(fā)揮兩種融合方法的優(yōu)勢(shì)。

根據(jù)目標(biāo)分類,定義目標(biāo)識(shí)別框架根據(jù)={0,1,2,…,},其中0到代表目標(biāo)的類別。將UAV給出的目標(biāo)所屬類別的置信度作為基本概率賦值:{(0),(1),…,()},∈{,,}表示來(lái)源于不同UAV的識(shí)別結(jié)果。針對(duì)兩個(gè)證據(jù)源和,DST采用Dempster規(guī)則進(jìn)行融合:

(9)

式中:()表示融合后的概率分布。

對(duì)于具有較強(qiáng)沖突的證據(jù),DSmT發(fā)展了PCR～PCR共6種組合規(guī)則。本文選擇被廣泛使用的PCR規(guī)則進(jìn)行證據(jù)融合。由于多目標(biāo)識(shí)別框架中目標(biāo)類別具有互斥性,自由DSmT模型將被約束為Shafer模型,此時(shí)PCR組合規(guī)則定義為

(10)

動(dòng)態(tài)切換的時(shí)機(jī)由證據(jù)沖突的強(qiáng)弱決定。本文采用Jousselme距離衡量證據(jù)之間的沖突程度,Jousselme距離越大,說(shuō)明證據(jù)間沖突越強(qiáng)。其中Jousselme距離定義為

(11)

式中:矩陣中的元素為

3個(gè)證據(jù)間的沖突程度選定為兩兩沖突中的最大值為

(,,)=max(++)

(12)

通過(guò)計(jì)算兩個(gè)證據(jù)間的Jousselme距離,將其視為沖突系數(shù),當(dāng)沖突系數(shù)超過(guò)設(shè)定閾值,則認(rèn)為兩個(gè)證據(jù)具有較強(qiáng)的沖突性,此時(shí)采用DSmT進(jìn)行證據(jù)推理,而當(dāng)小于時(shí),則采用計(jì)算復(fù)雜度較小的DST進(jìn)行證據(jù)融合。本文設(shè)定=0.45。從表2可以看出,經(jīng)過(guò)多項(xiàng)決策信息融合,多UAV系統(tǒng)對(duì)目標(biāo)類別的預(yù)測(cè)置信度分布,更加集中于多項(xiàng)證據(jù)最支持的類別,并給予較大的置信度,使判讀更加肯定。表3反映了在強(qiáng)沖突證據(jù)下,DST會(huì)發(fā)生誤判,而DSmT仍能正確判定。

表2 弱沖突證據(jù)下DST與DSmT的推理結(jié)果

表3 強(qiáng)沖突證據(jù)下DST與DSmT的推理結(jié)果

進(jìn)行多機(jī)目標(biāo)關(guān)聯(lián)后,有多個(gè)檢測(cè)框表示同一個(gè)目標(biāo)的情況,不利于目標(biāo)位置判定,因此需進(jìn)行檢測(cè)框合并,確定最合適的位置檢測(cè)框,本文借鑒非極大值抑制思想,選擇關(guān)聯(lián)的3個(gè)檢測(cè)框中預(yù)測(cè)概率最大的作為最終的檢測(cè)結(jié)果。以三框融合為例,設(shè)、、為3架UAV對(duì)同一目標(biāo)的位置檢測(cè)結(jié)果,、、為UAV對(duì)檢測(cè)框的類別預(yù)測(cè)概率,則合并后的目標(biāo)框為

(13)

通過(guò)多框融合,確保了只有一個(gè)最高置信度的檢測(cè)框與目標(biāo)匹配。提高目標(biāo)匹配的精度,更好地服務(wù)于多UAV巡視。其中,以一組實(shí)驗(yàn)圖為例,基于多UAV目標(biāo)位置信息和屬性信息的融合結(jié)果如圖8所示。

圖8 融合結(jié)果展示圖Fig.8 Fusion result display diagram

2 分析與討論

實(shí)驗(yàn)平臺(tái)操作系統(tǒng)為Windows 10,實(shí)驗(yàn)設(shè)備性能配置如下:中央處理器:Xeon E5-1650 v4,3.6 GHz;圖形處理器:TITAN-X,12 GB;運(yùn)行內(nèi)存32 GB;固態(tài)硬盤(pán)容量512 GB。算法采用python 3.6實(shí)現(xiàn),目標(biāo)檢測(cè)算法Retinanet使用pytorch-0.4進(jìn)行搭建,并利用GPU進(jìn)行加速。

為驗(yàn)證本文所提算法的有效性和可行性,在構(gòu)建的多UAV航拍數(shù)據(jù)集上進(jìn)行測(cè)試。數(shù)據(jù)集由不同位置的UAV下視圖像構(gòu)成,圖像來(lái)源于高精度的UAV傾斜攝影三維模型和大疆“悟1”UAV實(shí)拍圖像,相鄰UAV圖像的重疊度大于35%。標(biāo)注的目標(biāo)類別包括小車(chē)、貨車(chē)、障礙物和人等共7類。多UAVs協(xié)同目標(biāo)檢測(cè)數(shù)據(jù)集部分樣本如圖9所示。數(shù)據(jù)集使用有兩種情況:① 不分為所屬UAV,全部圖像用于訓(xùn)練和測(cè)試,稱為“全部數(shù)據(jù)集”;② 根據(jù)UAV方位不同,每組圖像具有3幅圖像、、,稱為“分組數(shù)據(jù)集”。

圖9 多UAV協(xié)同目標(biāo)檢測(cè)數(shù)據(jù)集部分樣本Fig.9 A part of samples of multiple UAVs cooperative object detection dataset

2.1 單UAV目標(biāo)檢測(cè)對(duì)比實(shí)驗(yàn)

為驗(yàn)證改進(jìn)策略的有效性,設(shè)置了性能對(duì)比實(shí)驗(yàn),將改進(jìn)的Retinanet算法同原算法、YOLO v3、Faster R-CNN和SSD進(jìn)行性能對(duì)比。用于目標(biāo)檢測(cè)的數(shù)據(jù)集不用細(xì)分所屬UAV,直接使用全圖像的70%做遷移訓(xùn)練,用剩余30%做測(cè)試。從表4中可以看出,改進(jìn)anchor參數(shù)和訓(xùn)練策略的Retinanet算法在測(cè)試集上精度最高,單張圖像平均檢測(cè)時(shí)間約為85 ms。在增加少量計(jì)算時(shí)間基礎(chǔ)上,精度獲得較大提升,滿足正常目標(biāo)檢測(cè)需求。

表4 目標(biāo)檢測(cè)算法性能對(duì)比

2.2 多UAV協(xié)同目標(biāo)檢測(cè)與識(shí)別實(shí)驗(yàn)

2.2.1 多機(jī)圖像配準(zhǔn)對(duì)比實(shí)驗(yàn)

為兼顧配準(zhǔn)時(shí)間和配準(zhǔn)準(zhǔn)確度,選擇使用SURF特征描述子進(jìn)行特征匹配,同時(shí)選用k-d樹(shù)最近鄰匹配規(guī)則進(jìn)行匹配,選擇最近距離與次近距離比在0.75以內(nèi)的匹配點(diǎn)對(duì)進(jìn)行單應(yīng)性矩陣的求解。在測(cè)試集上進(jìn)行實(shí)驗(yàn)測(cè)試,測(cè)試集中3張不同方位的UAV航拍圖像作為一組。將UAV圖像、對(duì)于UAV圖像的配準(zhǔn)結(jié)果的均值進(jìn)行對(duì)比,圖像大小為512×304。評(píng)價(jià)指標(biāo)包括特征點(diǎn)匹配對(duì)數(shù)、匹配后對(duì)應(yīng)坐標(biāo)點(diǎn)之間的均方誤差和運(yùn)算時(shí)間。表5對(duì)比了本文配準(zhǔn)方案與其他相關(guān)方案,本文方案在匹配點(diǎn)對(duì)數(shù)、均方根誤差和計(jì)算時(shí)間上得到較好的均衡。

表5 多UAV圖像配準(zhǔn)方案性能對(duì)比

2.2.2 多機(jī)目標(biāo)關(guān)聯(lián)對(duì)比實(shí)驗(yàn)

在分組測(cè)試集中,通過(guò)人工標(biāo)記真值關(guān)聯(lián)對(duì),驗(yàn)證本文關(guān)聯(lián)算法的準(zhǔn)確率,并與相關(guān)算法進(jìn)行對(duì)比。從表6可以看出本文采取的最近鄰多目標(biāo)關(guān)聯(lián)方案,在保證了一定準(zhǔn)確率的基礎(chǔ)上,運(yùn)算時(shí)間最快。因?yàn)楸疚年P(guān)聯(lián)的對(duì)象是目標(biāo)檢測(cè)器生成的檢測(cè)框,其經(jīng)過(guò)了非極大值抑制處理,抑制了最高置信度檢測(cè)框附近其他檢測(cè)框的響應(yīng),且關(guān)聯(lián)算法也進(jìn)行了再次閾值抑制,經(jīng)過(guò)閾值篩選后,所得圖像中檢測(cè)框的分布相對(duì)稀疏,雜波干擾也較少,在此情況下,最近鄰關(guān)聯(lián)算法也能表現(xiàn)出較好的性能。

表6 多目標(biāo)關(guān)聯(lián)算法性能對(duì)比

2.2.3 多機(jī)融合檢測(cè)與識(shí)別對(duì)比實(shí)驗(yàn)

為驗(yàn)證經(jīng)過(guò)多機(jī)決策融合,多機(jī)檢測(cè)系統(tǒng)能提高對(duì)待檢目標(biāo)的檢測(cè)可靠性,設(shè)計(jì)對(duì)比實(shí)驗(yàn)。選取融合前后的mAP變化和運(yùn)算時(shí)間作為性能指標(biāo)。為驗(yàn)證所提出的動(dòng)態(tài)切換策略的有效性,將其與單一DST和DSmT進(jìn)行對(duì)比。

測(cè)試時(shí),首先將圖像、、中關(guān)聯(lián)的目標(biāo)框信息進(jìn)行融合,根據(jù)規(guī)則選取融合后的檢測(cè)框序號(hào)和預(yù)測(cè)類別概率,然后對(duì)原圖像、、單機(jī)檢測(cè)結(jié)果的相關(guān)信息進(jìn)行篩選與替換,最后計(jì)算測(cè)試集所有圖像結(jié)果的mAP。

設(shè)定動(dòng)態(tài)切換閾值=0.45,對(duì)4種融合算法進(jìn)行對(duì)比。從表7可以看出,采用動(dòng)態(tài)切換策略的多機(jī)系統(tǒng)獲得了最高的檢測(cè)精度,保證了檢測(cè)系統(tǒng)的可靠性。動(dòng)態(tài)切換策略一定程度避免了DST在強(qiáng)沖突證據(jù)推理上易產(chǎn)生悖論和DSmT計(jì)算復(fù)雜的缺點(diǎn),相較于單一使用DSmT或DST,采用動(dòng)態(tài)切換機(jī)制具有更好的性能。

表7 多UAVs目標(biāo)檢測(cè)決策融合算法性能對(duì)比

對(duì)動(dòng)態(tài)切換融合策略效果高于純DSmT進(jìn)行分析。由于DSmT對(duì)沖突信息處理較DST更敏感,在處理沖突時(shí)會(huì)對(duì)沖突信息進(jìn)行加權(quán)分配,當(dāng)在弱沖突情況下進(jìn)行融合時(shí),雖然DST和DSmT的融合判定一致,但DSmT合成的置信度會(huì)低于DST,而mAP與類別預(yù)測(cè)置信度大小呈正相關(guān)關(guān)系。當(dāng)沖突加大時(shí)DST易發(fā)生誤判,而DSmT對(duì)沖突信息處理得更好,因此在強(qiáng)沖突情況下DSmT發(fā)揮出更好的性能。動(dòng)態(tài)切換策略在測(cè)試集中較好地利用DST和DSmT各自的優(yōu)點(diǎn)完成決策融合,因此性能指標(biāo)mAP超過(guò)了單一使用DSmT。

2.2.4 多機(jī)協(xié)同目標(biāo)識(shí)別檢測(cè)實(shí)驗(yàn)圖

這部分將展示實(shí)驗(yàn)圖,其中包含對(duì)每架UAV拍攝圖按照分類標(biāo)準(zhǔn)及要求分別進(jìn)行的目標(biāo)識(shí)別檢測(cè)結(jié)果如圖10所示,與對(duì)多目標(biāo)進(jìn)行信息決策融合的結(jié)果如圖11所示。基于實(shí)驗(yàn)過(guò)程圖,更為直觀地展現(xiàn)出多UAV識(shí)別檢測(cè)的結(jié)果。實(shí)驗(yàn)驗(yàn)證本文提出的多UAV協(xié)同目標(biāo)檢測(cè)與識(shí)別算法能夠在目標(biāo)較為密集的復(fù)雜情況下,能夠高效地完成多UAV協(xié)同巡視任務(wù)。

圖10 L、M、R單UAV目標(biāo)檢測(cè)部分樣本Fig.10 Part of samples of L, M and R single UAV target detection

圖11 決策融合結(jié)果Fig.11 Decision fusion results

3 結(jié) 論

針對(duì)UAV巡視過(guò)程中單架UAV不能高效完成較大范圍區(qū)域巡視的問(wèn)題,提出了一種基于決策融合的多UAV協(xié)同目標(biāo)檢測(cè)與識(shí)別算法。采用了Retinanet進(jìn)行單UAV圖像目標(biāo)檢測(cè),通過(guò)改進(jìn)anchor box參數(shù)和訓(xùn)練策略提高航拍圖像目標(biāo)檢測(cè)準(zhǔn)確率;使用SURF算子進(jìn)行多機(jī)圖像配準(zhǔn),獲取幾何變換矩陣,完成多機(jī)檢測(cè)信息坐標(biāo)的統(tǒng)一;采用Jaccard overlap和Hellinger距離構(gòu)建目標(biāo)關(guān)聯(lián)概率矩陣,使用具有全局優(yōu)化的最近鄰匹配規(guī)則求得最佳關(guān)聯(lián)對(duì);采用基于Jousselme距離的動(dòng)態(tài)切換策略,結(jié)合DST和DSmT的優(yōu)點(diǎn)進(jìn)行了多UAV檢測(cè)結(jié)果決策融合。實(shí)驗(yàn)結(jié)果表明,所提算法在數(shù)據(jù)集上具有較好的性能表現(xiàn),多機(jī)融合后的檢測(cè)精度提升了12.83%。但此算法對(duì)視角變換較大的多UAV圖像檢測(cè)性能有待進(jìn)一步提高。下一步計(jì)劃采用深度卷積神經(jīng)網(wǎng)絡(luò)提取高質(zhì)量配準(zhǔn)特征點(diǎn),并融合時(shí)序信息,充分發(fā)揮多UAV系統(tǒng)的優(yōu)勢(shì)。