王旭辰 韓煜祺 唐林波 鄧宸偉

（北京理工大學(xué)信息與電子學(xué)院雷達(dá)技術(shù)研究所，北京 100081）

1 引言

隨著科技的進(jìn)步，計(jì)算機(jī)逐漸可以代替人類的視覺系統(tǒng)去處理各種圖像、視頻信息。其中多目標(biāo)跟蹤是目前計(jì)算機(jī)視覺領(lǐng)域研究的主要內(nèi)容之一。在生活中，各大城市的機(jī)動(dòng)車保有量與日俱增。然而交通系統(tǒng)，尤其是交通監(jiān)管系統(tǒng)發(fā)展較為緩慢。面對(duì)持續(xù)增長的機(jī)動(dòng)車總量，在重要道路口安裝固定相機(jī)進(jìn)行車輛監(jiān)管的方法明顯無法滿足目前需求。

隨著多翼無人機(jī)技術(shù)的發(fā)展，為解決車輛監(jiān)管問題提供了新思路。與路口固定相機(jī)相比，無人機(jī)有著小巧靈活、視角廣、可快速移動(dòng)部署等優(yōu)點(diǎn)，有助于采集更全面的車輛信息。同時(shí)在軍用領(lǐng)域中，無人機(jī)技術(shù)和計(jì)算機(jī)視覺技術(shù)的結(jié)合，可以完成對(duì)地面目標(biāo)快速跟蹤和精準(zhǔn)打擊，在地面?zhèn)刹?、敵我識(shí)別、精準(zhǔn)制導(dǎo)等方面均有重要的應(yīng)用。因此，無論從民用還是軍事領(lǐng)域，基于無人機(jī)視角下的多目標(biāo)檢測(cè)和跟蹤技術(shù)都有著重要的應(yīng)用場(chǎng)景。

近年來，國內(nèi)外學(xué)者對(duì)多目標(biāo)跟蹤領(lǐng)域進(jìn)行了深入研究，并提出大量算法。多目標(biāo)跟蹤主要基于“Tracking-By-Detection”策略，即基于檢測(cè)的多目標(biāo)跟蹤。其中分為傳統(tǒng)多目標(biāo)跟蹤算法和基于深度學(xué)習(xí)的多目標(biāo)跟蹤算法。傳統(tǒng)的多目標(biāo)跟蹤算法，主要通過傳統(tǒng)的數(shù)據(jù)關(guān)聯(lián)方式，關(guān)聯(lián)幀和幀之間的檢測(cè)結(jié)果。主要有聯(lián)合數(shù)據(jù)關(guān)聯(lián)［1］（JPDA，Joint Probabilistic Data Association）、多假設(shè)跟蹤（MHT，Multiple Hypothesis Tracking）等?；谏疃葘W(xué)習(xí)的多目標(biāo)跟蹤算法主要基于圖像特征設(shè)計(jì)端到端的卷積神經(jīng)網(wǎng)絡(luò)對(duì)目標(biāo)進(jìn)行跟蹤。2014 年，Zhang 基于雙層自編碼特征，將數(shù)據(jù)關(guān)聯(lián)問題建模成求解最小生成樹問題［2］，首次將深度學(xué)習(xí)用于多目標(biāo)跟蹤領(lǐng)域；Xu 等人提出深度匈牙利匹配網(wǎng)絡(luò)［3］（DHN，Deep Hungarian Net），確定了合適的損失函數(shù)，使網(wǎng)絡(luò)實(shí)現(xiàn)端對(duì)端的訓(xùn)練；Wan 等人建立一個(gè)表觀特征提取網(wǎng)絡(luò)并與深度數(shù)據(jù)關(guān)聯(lián)算法結(jié)合的端到端網(wǎng)絡(luò)。針對(duì)訓(xùn)練樣本不充足的問題，采用單目標(biāo)跟蹤中常用的跨幀匹配的方式，進(jìn)行數(shù)據(jù)關(guān)聯(lián)［4］。Zhu等人在端到端的網(wǎng)絡(luò)中，融入空間注意力模塊，使網(wǎng)絡(luò)更加注意前景目標(biāo)。引入循環(huán)網(wǎng)絡(luò)，利用時(shí)間注意力機(jī)制分析目標(biāo)軌跡中各個(gè)歷史信息的權(quán)重，增強(qiáng)了算法的魯棒性［5］。Chu 等人通過局部關(guān)聯(lián)的形式完成了K 幀的聯(lián)合數(shù)據(jù)關(guān)聯(lián)，通過一個(gè)連續(xù)的外積公式來近似K 階關(guān)聯(lián)矩陣，使端到端數(shù)據(jù)關(guān)聯(lián)算法集成的更為緊密［6］。Bing 等人將多目標(biāo)跟蹤中，檢測(cè)、重識(shí)別、數(shù)據(jù)關(guān)聯(lián)多個(gè)子任務(wù)合并為一個(gè)整體框架，共享任務(wù)特征，提高了網(wǎng)絡(luò)的利用率［7］。

然而對(duì)于傳統(tǒng)多目標(biāo)跟蹤方法，提取目標(biāo)信息較少，難以符合所有實(shí)際可能出現(xiàn)的情況［8］；對(duì)于基于深度學(xué)習(xí)的多目標(biāo)跟蹤方法，可以從大量數(shù)據(jù)中提取外觀、運(yùn)動(dòng)、交互等信息，進(jìn)行建模，魯棒性較高。但是由于一般計(jì)算量較大，對(duì)硬件要求較高，實(shí)時(shí)性較差。而利用無人機(jī)對(duì)目標(biāo)進(jìn)行跟蹤屬于動(dòng)態(tài)背景下對(duì)運(yùn)動(dòng)目標(biāo)的跟蹤，面對(duì)障礙物遮擋視角旋轉(zhuǎn)等復(fù)雜情況，對(duì)跟蹤技術(shù)的穩(wěn)定性和準(zhǔn)確性有著很高的要求。

基于以上的分析，結(jié)合傳統(tǒng)多目標(biāo)跟蹤和基于深度學(xué)習(xí)的多目標(biāo)跟蹤兩類方法的優(yōu)點(diǎn)，提出一種可以在無人機(jī)載平臺(tái)下，對(duì)于多個(gè)目標(biāo)進(jìn)行自主檢測(cè)與跟蹤的算法。數(shù)據(jù)關(guān)聯(lián)方面參考了傳統(tǒng)多目標(biāo)跟蹤算法中的匈牙利匹配算法，通過增廣路徑求出檢測(cè)與跟蹤結(jié)果的最優(yōu)匹配結(jié)果。在目標(biāo)信息提取方面，參考基于深度學(xué)習(xí)的多目標(biāo)跟蹤算法，訓(xùn)練了一個(gè)重識(shí)別網(wǎng)絡(luò)，以提取不同幀的目標(biāo)外觀信息，同時(shí)使用卡爾曼濾波，提取不同幀間相同目標(biāo)的運(yùn)動(dòng)信息。并將兩個(gè)信息進(jìn)行融合，通過匈牙利匹配算法得到最終跟蹤結(jié)果。檢測(cè)器使用YOLOv3算法［9］，通過公開數(shù)據(jù)集和大量無人機(jī)采集的數(shù)據(jù)進(jìn)行訓(xùn)練。并最終在公開數(shù)據(jù)集和實(shí)地?zé)o人機(jī)采集的數(shù)據(jù)中，對(duì)于障礙物遮擋、視角旋轉(zhuǎn)、目標(biāo)尺度變化三方面進(jìn)行了仿真驗(yàn)證，取得了良好的跟蹤效果。

2 無人機(jī)載平臺(tái)下多目標(biāo)檢測(cè)和跟蹤算法

本節(jié)提出了一種無人機(jī)載平臺(tái)下的多目標(biāo)檢測(cè)和跟蹤算法，基于YOLOv3算法的檢測(cè)結(jié)果，對(duì)無人機(jī)視角下的多個(gè)目標(biāo)進(jìn)行鎖定和跟蹤。

2.1 基于深度學(xué)習(xí)的多目標(biāo)檢測(cè)算法

本小節(jié)介紹基于YOLOv3算法的多目標(biāo)檢測(cè)算法工作原理和工作流程。

相比于YOLOv2［10］算法，YOLOv3算法在特征提取方面，使用更深的Darknet-53 網(wǎng)絡(luò)。通過卷積層進(jìn)行了五次采樣，最后通過全連接層進(jìn)行目標(biāo)分類。同時(shí)借鑒ResNets［11］引入殘差網(wǎng)絡(luò)結(jié)構(gòu)，很大程度上增加了網(wǎng)絡(luò)的深度，解決了訓(xùn)練深度網(wǎng)絡(luò)中的梯度消失問題，明顯的提升了識(shí)別的準(zhǔn)確率。在預(yù)測(cè)方面，借鑒了FPN［12］（Feature Pyramid Networks）網(wǎng)絡(luò)采用多尺度特征融合的預(yù)測(cè)方式，可以更好的提取小目標(biāo)的信息，更適合應(yīng)用于無人機(jī)視角下的目標(biāo)檢測(cè)。

多目標(biāo)檢測(cè)算法的主要工作流程如圖1所示。

（1）通過視頻流讀取測(cè)試視頻，分別在尺度為13*13、26*26、52*52的特征圖中進(jìn)行預(yù)測(cè)。

（2）以尺度為13*13的特征圖為例，將視頻幀分為169個(gè)grid cell，并在每個(gè)grid cell中預(yù)測(cè)是否由目標(biāo)中心點(diǎn)存在，同時(shí)預(yù)測(cè)出目標(biāo)屬于車輛種類的置信度。并依據(jù)網(wǎng)絡(luò)權(quán)重，預(yù)測(cè)出在每個(gè)目標(biāo)的位置坐標(biāo)偏移量，通過公式計(jì)算出目標(biāo)框的具體參數(shù)。

（3）為了消除目標(biāo)檢測(cè)中，同一目標(biāo)的多余框，進(jìn)行非極大值抑制處理。即首先過濾掉小于置信度閾值的檢測(cè)框，然后對(duì)于剩下所有預(yù)測(cè)框，根據(jù)預(yù)測(cè)類別為車輛的概率依次排序。將概率最大的檢測(cè)框開始分別與其余檢測(cè)框進(jìn)行交并比檢測(cè)，并過濾掉大于閾值的檢測(cè)框。最后從剩余檢測(cè)框中，選取置信度最高的檢測(cè)框作為車輛檢測(cè)的最終檢測(cè)框。

2.2 目標(biāo)運(yùn)動(dòng)信息匹配

本小節(jié)介紹了一種基于目標(biāo)運(yùn)動(dòng)信息的跟蹤匹配算法，如圖2 所示。使用卡爾曼濾波根據(jù)上一幀目標(biāo)位置預(yù)測(cè)本幀中目標(biāo)的位置。借鑒SORT［13］算法引入馬氏距離，計(jì)算本幀目標(biāo)預(yù)測(cè)位置和檢測(cè)位置之間的馬氏距離，最后根據(jù)匈牙利匹配算法進(jìn)行目標(biāo)運(yùn)動(dòng)信息匹配。

2.2.1 卡爾曼濾波

卡爾曼濾波最早于1960 由匈牙利數(shù)學(xué)家卡爾曼提出，是一種利用線性系統(tǒng)狀態(tài)方程，根據(jù)輸入輸出數(shù)據(jù)，對(duì)系統(tǒng)狀態(tài)進(jìn)行最優(yōu)解的估計(jì)算法。其核心思想為：根據(jù)當(dāng)前時(shí)刻的測(cè)量值和上一時(shí)刻的預(yù)測(cè)值和誤差，計(jì)算得到目前時(shí)刻的最優(yōu)解，再預(yù)測(cè)下一時(shí)刻的測(cè)量值。具體步驟為：

（1）由k-1 時(shí)刻的最優(yōu)值xk-1去預(yù)測(cè)當(dāng)前時(shí)刻的系統(tǒng)狀態(tài)值，見公式（1）。

（2）由k-1 時(shí)刻的誤差協(xié)方差Pk-1和噪聲Q 預(yù)測(cè)當(dāng)前時(shí)刻的均方誤差。

（3）計(jì)算卡爾曼增益，見公式（3）。

（4）通過濾波估計(jì)方程計(jì)算中K時(shí)刻的最優(yōu)值，見公式（4）。

（5）通過濾波均方誤差更新矩陣，見公式（5）。

卡爾曼濾波用于根據(jù)之前視頻幀目標(biāo)位置數(shù)據(jù)，預(yù)測(cè)當(dāng)前視頻幀中目標(biāo)所在位置，再通過數(shù)據(jù)擬合和濾波估計(jì)方程計(jì)算出當(dāng)前時(shí)刻目標(biāo)所在位置的最優(yōu)解，即在目標(biāo)檢測(cè)的基礎(chǔ)上得到更準(zhǔn)確的預(yù)測(cè)框。

2.2.2 運(yùn)動(dòng)信息匹配

為了提取目標(biāo)位置變化時(shí)的運(yùn)動(dòng)信息，計(jì)算本幀卡爾曼濾波預(yù)測(cè)出的目標(biāo)位置與檢測(cè)位置之間的馬氏距離，計(jì)算如公式（6）所示：

其中，(yi，Si)表示第i個(gè)軌跡在空間內(nèi)的投影，dj表示第j個(gè)檢測(cè)框。跟蹤場(chǎng)景定義在八維空間(u，v，γ，h，x'，y'，γ')內(nèi)，其中包含檢測(cè)框中心位置（u，v）、橫縱比γ、高度h、以及它們?cè)诳臻g坐標(biāo)內(nèi)的速度。由于包含不同的量綱，所以選擇不受量綱影響的馬氏距離。通過計(jì)算檢測(cè)位置與卡爾曼濾波得出的平均軌跡位置的距離超過標(biāo)準(zhǔn)差的多少來衡量卡爾曼濾波預(yù)估目標(biāo)位置的不確定性，如公式（7）所示。

如果第i個(gè)跟蹤軌跡與第j個(gè)檢測(cè)之間的關(guān)聯(lián)是允許的，則結(jié)果為1。設(shè)置t(1)為9.4877。

2.3 目標(biāo)外觀信息匹配

本小節(jié)介紹了一種基于目標(biāo)外觀信息的跟蹤匹配算法。首先引入一個(gè)深度特征網(wǎng)絡(luò)，用來提取目標(biāo)外觀信息。然后借鑒DeepSort算法引入余弦距離，計(jì)算不同幀間所有檢測(cè)目標(biāo)兩兩之間的余弦距離，余弦距離越小，則代表兩個(gè)目標(biāo)為同一目標(biāo)的概率越大。

2.3.1 深度特征提取網(wǎng)絡(luò)

通過引入一個(gè)基于深度學(xué)習(xí)的深度特征網(wǎng)絡(luò)來提取每幀的不同目標(biāo)的外觀信息。使用Car-Reid數(shù)據(jù)集訓(xùn)練了該特征網(wǎng)絡(luò)，使其可以提取出得出區(qū)分度較高的車輛外觀信息。Car-Reid數(shù)據(jù)集包括了576 種不同類型外觀顏色的車輛照片組，每一種車輛照片組包含了此類車的不同角度拍攝的圖片，保證網(wǎng)絡(luò)可以最大限度的提取每一種車的各類角度的外觀信息，具體網(wǎng)絡(luò)結(jié)構(gòu)如表1所示。

表1 目標(biāo)外觀特征提取網(wǎng)絡(luò)Tab.1 Object appearance feature extraction network

網(wǎng)絡(luò)由2 個(gè)卷積層和6 個(gè)殘差塊組成，共有2，800，864個(gè)參數(shù)。在稠密層（Desne10）中計(jì)算128維的全局特征，最后通過BN層批處理和l2標(biāo)準(zhǔn)化，將外觀特性投影到單位球面上，使其與余弦外觀度量兼容。

2.3.2 外觀信息匹配

參考DeepSort 算法［14］引入余弦距離，用來描述不同幀之間的目標(biāo)外觀相似度，如公式（8）所示。其中對(duì)于每幀中的每一個(gè)檢測(cè)框d(i，j)，計(jì)算同時(shí)對(duì)于每一個(gè)軌跡，創(chuàng)建一個(gè)數(shù)組，用于儲(chǔ)存最近50幀成功關(guān)聯(lián)的目標(biāo)的外觀特征向量。

d(2)(i，j)表示第i個(gè)跟蹤軌跡和第j個(gè)檢測(cè)目標(biāo)之前的余弦距離。其中表示每個(gè)軌跡保存對(duì)應(yīng)目標(biāo)的外觀信息。表示關(guān)聯(lián)外觀描述符的原型庫。并且根據(jù)t(2)來衡量是否允許關(guān)聯(lián)。

2.4 數(shù)據(jù)關(guān)聯(lián)

數(shù)據(jù)關(guān)聯(lián)方法采用傳統(tǒng)多目標(biāo)跟蹤算法中的匈牙利匹配算法，匈牙利算法是基于Hall 定理中充分性證明的思想，用增廣路徑求二分圖最大匹配的算法。為了更好的融合目標(biāo)運(yùn)動(dòng)信息和目標(biāo)外觀信息，提出信息融合公式，如公式（10）所示。

其中，d(1)(i，j)為由卡爾曼濾波提取的目標(biāo)運(yùn)動(dòng)信息而得出的馬氏距離，d(2)(i，j)為由特征提取網(wǎng)絡(luò)提取的目標(biāo)外觀信息而得出的余弦距離。并引入?yún)?shù)λ，λ代表了兩種信息在進(jìn)行數(shù)據(jù)關(guān)聯(lián)時(shí)所占的影響因子，在本文中λ取0.995。當(dāng)λ取0.9 時(shí)外觀特征和運(yùn)動(dòng)信息對(duì)成本矩陣的影響因數(shù)大概均為0.5。但由于無人機(jī)視角的靈活性使得即使在匹配正確的情況下，相鄰兩幀的馬氏距離依舊很大，所以在參數(shù)選擇中刻意減小了運(yùn)動(dòng)信息的影響因數(shù)。但是由于提取外觀時(shí)，不可能百分百提取目標(biāo)車輛的全部信息，過于的忽略運(yùn)動(dòng)信息會(huì)使得在匹配的過程中，遇到障礙物遮擋等情況下，ID 跳變成與目標(biāo)車輛外觀特征相似的跟蹤軌跡。所以經(jīng)過大量實(shí)驗(yàn)，本課題選取了較為合理的，適用于無人機(jī)視角的參數(shù)λ。最后通過得到的成本矩陣，由匈牙利匹配算法得到匹配結(jié)果。下面給出匈牙利算法的具體表示形式，如公式（11）所示。

其中ci，j為成本矩陣中，對(duì)應(yīng)位置的權(quán)重，xi，j為第i個(gè)檢測(cè)框與第j個(gè)跟蹤框的匹配結(jié)果的二進(jìn)制數(shù)值。

3 實(shí)驗(yàn)與結(jié)果分析

為進(jìn)一步驗(yàn)證提出的無人機(jī)視角下的多目標(biāo)檢測(cè)和跟蹤算法，在UAV123 數(shù)據(jù)集和實(shí)測(cè)數(shù)據(jù)集中，對(duì)于障礙物遮擋、視角旋轉(zhuǎn)、目標(biāo)尺度變化三類情況進(jìn)行仿真驗(yàn)證。其中UAV123 數(shù)據(jù)集中選取car1、car2、car6 共3 組數(shù)據(jù)，實(shí)測(cè)數(shù)據(jù)集為無人機(jī)實(shí)地采集數(shù)據(jù)共5325 幀，測(cè)試平臺(tái)CPU 為I5-7300HQ，GPU為1050Ti。

3.1 無人機(jī)視角旋轉(zhuǎn)

在實(shí)際應(yīng)用中，當(dāng)無人機(jī)視角旋轉(zhuǎn)時(shí)，由于視角移動(dòng)過快等原因，可能會(huì)出現(xiàn)檢測(cè)器在個(gè)別幀漏檢情況，導(dǎo)致下一幀重新識(shí)別到目標(biāo)時(shí)，算法錯(cuò)誤判斷成新目標(biāo)，造成ID 跳變。本算法中，使用外觀信息和運(yùn)動(dòng)信息同時(shí)對(duì)重檢目標(biāo)進(jìn)行判斷，可以很大程度上避免因漏檢造成的跟蹤失效情況。

在實(shí)際采集的無人機(jī)數(shù)據(jù)下，測(cè)試算法在無人機(jī)視角旋轉(zhuǎn)下的穩(wěn)定性，測(cè)試結(jié)果如圖3 所示。可見，在第一行圖片中，290幀無人機(jī)視角發(fā)生快速橫向移動(dòng)，導(dǎo)致本幀視野模糊同時(shí)檢測(cè)器失效。在297 幀到301 幀的過程中，依次檢測(cè)到1～3 號(hào)車，最后重新跟蹤成功。在第二行數(shù)據(jù)中，無人機(jī)視角發(fā)生旋轉(zhuǎn)，從326 幀到750 幀的過程中，視野里的三輛車的暴露面逐漸改變，算法依然可以保持穩(wěn)定的檢測(cè)跟蹤效果，不發(fā)生ID跳變。

3.2 跟蹤目標(biāo)尺度變化

隨著無人機(jī)相對(duì)目標(biāo)由遠(yuǎn)及近的過程，會(huì)帶來目標(biāo)在無人機(jī)視角中的尺度大范圍變化，容易造成跟蹤器不能很好的適應(yīng)目標(biāo)的尺度變化，使得跟蹤相對(duì)于目標(biāo)過大或者過小的情況。本算法中，并沒有使用一般跟蹤算法中的尺度金字塔，通過不同步長來適應(yīng)目標(biāo)尺度變化。本算法通過檢測(cè)器中FPN 網(wǎng)絡(luò)分別從三個(gè)尺度上進(jìn)行信息提取和融合，可以很好的適應(yīng)目標(biāo)的尺寸變化。從而根據(jù)檢測(cè)器結(jié)果生成跟蹤結(jié)果。

為驗(yàn)證算法穩(wěn)定性，選取了UAV123 數(shù)據(jù)集中car1和car6中，目標(biāo)尺度變化較為明顯的測(cè)試視頻，來驗(yàn)證本算法對(duì)于車輛目標(biāo)尺度變化的跟蹤效果穩(wěn)定性，測(cè)試結(jié)果如圖4 所示。可以看出在測(cè)試視頻中，car1 中第8 幀到第418 幀，目標(biāo)車輛在無人機(jī)視角下尺度逐漸變小；在car6 中第2 幀到第457 幀，目標(biāo)車輛在尺度變化的同時(shí)還包含了輕微的視角變化。本課題算法均可以在ID 不發(fā)生跳變的情況下進(jìn)行穩(wěn)定的檢測(cè)與跟蹤。

3.3 障礙物遮擋

在無人機(jī)跟蹤目標(biāo)的過程中，由于無人機(jī)的靈活性，使得無人機(jī)視角很容易被障礙物遮擋，此時(shí)十分考驗(yàn)算法對(duì)于目標(biāo)的重檢和重識(shí)別的能力。如果僅根據(jù)目標(biāo)運(yùn)動(dòng)信息進(jìn)行跟蹤，當(dāng)目標(biāo)通過障礙物的同時(shí)，發(fā)生運(yùn)動(dòng)方向的突變，會(huì)造成跟蹤算法的失效；如果僅根據(jù)目標(biāo)外觀信息進(jìn)行，目標(biāo)中若存在相似目標(biāo)，很容易在無人機(jī)視角發(fā)生遮擋后，跟蹤目標(biāo)ID 跳變成外觀相似目標(biāo)的ID。本算法通過儲(chǔ)存之前跟蹤軌跡的最近50 幀車輛外觀信息特征同時(shí)預(yù)測(cè)車輛的運(yùn)動(dòng)軌跡，在當(dāng)無人機(jī)飛過障礙物后目標(biāo)車輛再次出現(xiàn)在視角時(shí)，同時(shí)結(jié)合目標(biāo)外觀信息和目標(biāo)運(yùn)動(dòng)信息，再次重新識(shí)別匹配，使其ID不發(fā)生跳變。

UAV123 數(shù)據(jù)集中，選取在無人機(jī)視角遮擋下，即包含相似目標(biāo)又包含目標(biāo)遮擋后目標(biāo)運(yùn)動(dòng)方向發(fā)生突變的情況進(jìn)行測(cè)試，測(cè)試結(jié)果如圖5所示。

四號(hào)和五號(hào)車的外觀相似，均為黑色轎車。同時(shí)，四號(hào)和五號(hào)車在經(jīng)過障礙物遮擋之后，并沒有進(jìn)行沿著環(huán)形車道行駛，運(yùn)動(dòng)方向改變成另一條匝道?？梢钥闯觯v車通過障礙物后，即使存在外觀相似目標(biāo)和目標(biāo)運(yùn)動(dòng)突變的情況，本算法依然可以有效的重新檢測(cè)跟蹤，并且保持相同的ID。

4 結(jié)論

無人機(jī)技術(shù)和計(jì)算機(jī)視覺技術(shù)的結(jié)合應(yīng)用，在民用和軍事領(lǐng)域均具有重要價(jià)值和研究意義。本文結(jié)合傳統(tǒng)多目標(biāo)跟蹤算法和基于深度學(xué)習(xí)的多目標(biāo)跟蹤算法特點(diǎn)，提出基于深度學(xué)習(xí)的無人機(jī)載平臺(tái)多目標(biāo)檢測(cè)與跟蹤算法。數(shù)據(jù)關(guān)聯(lián)方面參考傳統(tǒng)多目標(biāo)跟蹤算法，采用匈牙利匹配算法。在信息提取方面，參考基于深度學(xué)習(xí)的多目標(biāo)跟蹤算法，訓(xùn)練了一個(gè)重識(shí)別網(wǎng)絡(luò)，以提取不同幀的目標(biāo)外觀信息，同時(shí)使用卡爾曼濾波，提取不同幀間相同目標(biāo)的運(yùn)動(dòng)信息。通過一個(gè)信息融合公式，將兩類信息轉(zhuǎn)換成為一個(gè)成本矩陣，最后通過匈牙利匹配算法得出跟蹤結(jié)果。本文提出的跟蹤算法在大量公開數(shù)據(jù)集和實(shí)際采集視頻中進(jìn)行了仿真驗(yàn)證，并取得了良好的跟蹤效果。