一種基于檢測的實時在線多目標跟蹤方法*

尉晨陽，楊大為，張宇堃

（沈陽理工大學信息科學與工程學院，沈陽110159）

1 引 言

多目標跟蹤技術(shù)日漸成為計算機視覺領(lǐng)域的重點研究對象，特別是單目二維視頻的多目標跟蹤更是一個被廣泛研究的問題，廣泛應(yīng)用于監(jiān)控、行為、動作分析等與生活息息相關(guān)的領(lǐng)域。近年來，目標跟蹤的方法大多基于深度學習[1-4]，根據(jù)學習特征進行跟蹤，如表觀特征的深度學習、相似性度量的深度學習、高階特征匹配的深度學習等。這些方法雖然可以準確跟蹤目標，提高算法的準確性，但模型的過度復雜會導致跟蹤算法無法滿足實時性。

當前流行的多目標跟蹤方法大多遵循檢測跟蹤框架。隨著目標檢測算法性能的不斷提高，遵循檢測跟蹤框架的跟蹤算法也得到了改進。通常，被跟蹤對象的軌跡是在一個全局優(yōu)化方法下進行批處理的，而批處理無法使目標身份在每個時間段里進行更新。更傳統(tǒng)的數(shù)據(jù)關(guān)聯(lián)技術(shù)如多假設(shè)跟蹤（MHT）和聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)（JPDA）在頂級的在線跟蹤器或者批量跟蹤器中雖然有突出地位，但當遇到對象分配具有較高的不確定性時，這些方法的計算量會隨著跟蹤對象的數(shù)量呈指數(shù)級增長，在計算的可處理性和可實現(xiàn)上遇到困難。最近，Rezatofighi等人重新研究了JPDA 公式，想通過高效近似于JPDA 方式解決復雜性問題。類似地，Kim 等人通過使用目標的外觀模型來完善MHT 方法，以實現(xiàn)最先進性能。但是，這些方法仍然存在決策延遲問題，不適合在線跟蹤。

針對這種現(xiàn)狀，在此提出一種實時與準確平衡的跟蹤算法，將MOT 問題視為一個簡單的關(guān)聯(lián)問題，旨在解決視頻序列幀之間的數(shù)據(jù)如何進行關(guān)聯(lián)?；跈z測跟蹤框架的算法，使用卡爾曼濾波在圖像空間上對目標進行運動信息的建模，預(yù)測出跟蹤目標的下一幀位置。研究打破了GIoU 僅作為損失函數(shù)應(yīng)用于檢測算法這一常規(guī)操作，首次嘗試將GIoU方法應(yīng)用于多目標跟蹤算法中，讓其作為距離度量去計算邊界框之間重疊的相似性，從而生成關(guān)聯(lián)度量矩陣。再應(yīng)用匈牙利方法逐幀進行數(shù)據(jù)關(guān)聯(lián)，在MOT 基準測試上進行評估。

2 相關(guān)工作

在多目標跟蹤技術(shù)的研究當中，基于整個視頻的檢測結(jié)果（批處理），已提出了多種方法。一種趨于普遍的做法是通過使用網(wǎng)絡(luò)流[5]、圖切[6]、MCMC[7]和最小分組[8]等方法，將檢測結(jié)果建模為圖形。而在逐幀輸入的情況下，匈牙利匹配[9]、貪心匹配[10]和遞歸神經(jīng)網(wǎng)絡(luò)[11]是序列預(yù)測（在線處理）的常用模型，對于使用的關(guān)聯(lián)度量函數(shù)包括了時空關(guān)聯(lián)等方法。時空關(guān)聯(lián)的可視化方法廣受研究，被提出的基本方法包括檢測之間使用交并比（IoU）或通過使用卡爾曼濾波器加入速度模型。速度模型也有通過遞歸神經(jīng)網(wǎng)絡(luò)學習[12]，通過結(jié)合頭/關(guān)節(jié)檢測器[13]、分割[14]、活動識別[15]或關(guān)鍵點軌跡[16]等方法來實現(xiàn)，但這也進一步增加了分配成本的復雜性。最近出現(xiàn)的方法是利用物體檢測[17]或單目標跟蹤[18]，依賴其外觀特征的預(yù)訓練邊界框回歸器，以在下一幀中使邊界框進行回歸。

早期工作在最小成本流數(shù)據(jù)關(guān)聯(lián)框架中執(zhí)行端到端學習。最近，文獻[19]和[20]中所用的方法分別通過引入匈牙利匹配和聚類公式的可微形式來實現(xiàn)端到端優(yōu)化。并行工程試圖在單一網(wǎng)絡(luò)中同時執(zhí)行目標檢測、數(shù)據(jù)關(guān)聯(lián)和重新識別。特別是，Center Track 能夠只使用靜止圖像的增強來訓練檢測器。這些涉及聯(lián)合檢測和跟蹤的方法在實時速度上提供了高性能，但需要較高的注釋成本。

許多在線跟蹤方法是通過建立目標的外觀、運動等模型或通過在線學習建立一個全局模型，以幫助檢測與軌跡之間進行關(guān)聯(lián)。當只考慮一對一建模進行匹配時，可以使用全局最優(yōu)解，如Geiger 等人采用的匈牙利算法[21]。該算法分兩步進行，先通過關(guān)聯(lián)相鄰幀上的檢測形成軌跡，其中的關(guān)聯(lián)矩陣是通過幾何和外觀線索結(jié)合所形成；然后再次使用幾何和外觀線索進行軌跡之間的關(guān)聯(lián)。受此兩步關(guān)聯(lián)方法的啟發(fā)，在此將基本模型關(guān)聯(lián)簡化為單個階段。

3 目標跟蹤方法

以現(xiàn)有檢測結(jié)果為基礎(chǔ)，提取其檢測對象的數(shù)據(jù)。隨后通過卡爾曼濾波對目標的下一幀位置、運動等信息進行預(yù)測。將得到的預(yù)測框與檢測框之間通過距離度量得到成本矩陣。最終利用匈牙利算法對成本矩陣進行全局最優(yōu)選擇。

3.1 估計模型

卡爾曼濾波是一種以狀態(tài)和觀測方程為基礎(chǔ)，結(jié)合遞歸方法來預(yù)測目標變化的方法。它由預(yù)測和校正兩部分組成。預(yù)測階段濾波器通過使用上一狀態(tài)信息，做出對當前狀態(tài)的預(yù)測；校正階段濾波器通過對預(yù)測階段獲得的預(yù)測值進行修正，從而獲得更接近真實值的新預(yù)測值?？柭鼮V波通過以下公式進行預(yù)測，計算過程如下：

預(yù)測：

校正：

更新協(xié)方差估計：

其中，xk 為真實值， 為卡爾曼估計值，Pk 為卡爾曼估計誤差協(xié)方差矩陣，為預(yù)測值，Pk'為預(yù)測誤差協(xié)方差矩陣，Kk 為卡爾曼增益， 為測量余量。為預(yù)測出目標下一幀的位置、速度等跟蹤信息，此處為卡爾曼濾波創(chuàng)建一個運動模型。設(shè)每個目標模型的狀態(tài)如下式所示：

其中y、w分別代表檢測目標的中心橫坐標、縱坐標，s、r 分別代表目標框尺寸的大小和比例為卡爾曼濾波器預(yù)測軌跡下一幀觀測狀態(tài)的表示。

3.2 數(shù)據(jù)關(guān)聯(lián)

相似度矩陣選用廣義交并比GIoU（Generalized Intersection over Union）作為度量指標進行構(gòu)建，用于表達預(yù)測框和檢測框之間的重疊程度。在SORT 算法中使用交并比IoU 作為兩框之間的距離度量指標。然而，該方法無法很好地表達出兩框之間的相鄰程度以及不相交程度，特別地，當IoU=0 時，無法反映出兩框之間的重合度。檢測框與預(yù)測框重疊情況如圖1 所示。

圖1 檢測框與預(yù)測框重疊情況示意圖

對于兩框而言，若使用IoU 作為距離度量的評價指標，上圖三種情況得到的數(shù)值結(jié)果是一樣的。但對于人直觀的感覺和后續(xù)相似度矩陣的產(chǎn)生而言，需要表達的效果應(yīng)有不同。亦即：選取IoU 作為距離度量指標，會因其無法精確反映出檢測框和跟蹤框之間的重合度大小而影響目標跟蹤效果。

為克服IoU 的缺點，在此使用GIoU 作為兩框之間的距離度量指標。在以往的研究中，GIoU 作為回歸損失函數(shù)應(yīng)用于先進的目標檢測算法中（例如mask R-CNN、yolo v3 等），并在一定程度上改進了檢測器的性能。作為距離度量，GIoU 方法保留IoU方法優(yōu)勢的同時還對IoU 算法進行了擴展，使得當兩框之間完全重合的情況下，IoU 值與GIoU 值相等。但在GIoU 方法中，將對稱區(qū)間范圍由[0,1]改為[-1,1]，區(qū)間范圍的改動會讓兩框無任何交集且距離無限遠的時候取最小值。亦即：為了能夠更準確表達出兩框之間的重合度，應(yīng)選取GIoU 方法。該方法關(guān)注兩框重疊區(qū)域的同時，對非重合區(qū)域也進行了最大程度的關(guān)注。GIoU 作為距離度量設(shè)計如下：

其中，A、B 表示為檢測框與跟蹤框，C 為兩框間的最小閉包區(qū)域面積。

對于分配指派問題，此處采用匈牙利算法對相似度矩陣求解最優(yōu)分配。另外，對于目標重疊小于閾值δGIoU的情況下，直接拒絕分配。

4 實驗結(jié)果與分析

為充分體現(xiàn)本算法的實用性，在視頻數(shù)據(jù)集選擇上，選取了幾個具有挑戰(zhàn)性的行人跟蹤序列進行試驗，如頻繁的遮擋、擁擠的場景、序列在不同的視角、攝像機運動等。首先，對2DMOT2015 中具有代表性數(shù)據(jù)集進行跟蹤測試，如TUD-Stadtmitte 數(shù)據(jù)集視角低，相互遮擋嚴重，有完全遮擋的情況；TUDCampus 是側(cè)視行人的數(shù)據(jù)集；PETS09-S2L1 數(shù)據(jù)集主要挑戰(zhàn)在于目標移動在高速非線性模式下，目標遮擋較為頻繁；ETH-Sunnyday 是在一個移動的平臺上拍攝的數(shù)據(jù)集。

在評估方面，由于多目標跟蹤性能僅通過一個分數(shù)來判定好壞是不準確的，故此采用了文獻[22]中定義的評估度量，以及標準的MOT 度量[23]。特別地，對于MOT17 數(shù)據(jù)集，新增一個度量標準Recall，用來表示正確匹配的檢測目標數(shù)ground truth 給出的目標數(shù)。

MOT15 閾值設(shè)置為：當δGIoU與 IoU 取值同為 0.3時效果最好。實驗結(jié)果如表1 所示。

表1 基于MOT15 數(shù)據(jù)集序列的跟蹤結(jié)果

實驗選用的視頻數(shù)據(jù)測試也包含了另外兩個具有挑戰(zhàn)性的跟蹤基準，即MOT16 和MOT17。其中MOT16 使用的檢測器是DPM，視頻環(huán)境比MOT15中視頻環(huán)境更為復雜多變，人數(shù)增多、遮擋以及攝像機運動等問題更為全面。而MOT17 視頻環(huán)境雖然同樣復雜，但它是在兩套公開流行的檢測器（即FRCNN 和SDP）下進行檢測，相對于MOT16 中的檢測水平更加精確。

按照常規(guī)，MOT16/MOT17 中包括MOT16/17-02、MOT16/17-04 等一系列序列，以下的評估度量值取值皆為MOT16/MOT17 所包含的序列度量值的平均值。

MOT16 的閾值設(shè)置為：當 δGIoU取值為 0.3，IoU取值為0.2 時，兩者的跟蹤效果最為明顯。實驗結(jié)果如表2 所示。

MOT17 的閾值設(shè)置為：對于SDP 檢測器，當δGIoU取值為0.1，IoU 取值為0.3 時，兩者的跟蹤效果最為明顯。對于FRCNN 檢測器，當δGIoU與IoU 取值均為0.2 時效果最好。實驗結(jié)果如表3 所示。

由上述實驗結(jié)果可知，環(huán)境復雜性和檢測水平一般，如MOT15，結(jié)果會出現(xiàn)顯著提升，且跟蹤效果良好；環(huán)境復雜但檢測性能一般，如MOT16，結(jié)果也有所提升；當環(huán)境復雜但檢測精度較高時，如MOT17，跟蹤效果良好，無論FRCNN 還是SDP 檢測器，檢測出的MOTA 值均達到80%以上，在Recall 方面的表現(xiàn)也有明顯改善。

表2 基于MOT16 數(shù)據(jù)集序列的跟蹤結(jié)果

表3 基于MOT17 數(shù)據(jù)集序列的跟蹤結(jié)果

5 結(jié)束語

提出一種基于檢測的多目標跟蹤算法，目的在于達到跟蹤準確率和速率之間的平衡。利用最近檢測算法質(zhì)量的提高，檢測目標的結(jié)果通過卡爾曼濾波進行預(yù)測，大致得到目標下一幀的位置等信息。對于兩框之間關(guān)聯(lián)問題，嘗試了以GIoU 作為距離度量應(yīng)用于MOT 算法中，用其進行相似度矩陣的構(gòu)建，結(jié)合實驗結(jié)果可知，作為距離度量的GIoU，在跟蹤問題上產(chǎn)生了不錯的效果。