基于MF-DeepSORT的交通多目標(biāo)跟蹤

黃 晨，胡愛群

(東南大學(xué) 信息科學(xué)與工程學(xué)院，江蘇 南京 211189)

0 引言

多目標(biāo)跟蹤技術(shù)[1-2]是計算機視覺領(lǐng)域的重要研究方向，在行人監(jiān)測[3]、智能交通監(jiān)視[4]和自動駕駛[5]等領(lǐng)域有著廣泛的應(yīng)用。近年來，隨著深度學(xué)習(xí)、目標(biāo)檢測等技術(shù)的發(fā)展，多目標(biāo)跟蹤技術(shù)取得了極大的進步。當(dāng)前多目標(biāo)跟蹤技術(shù)的主流方法主要有兩種:基于檢測加跟蹤的兩階段方案[6-8]和基于檢測和跟蹤聯(lián)合的一階段方案[9-11]，如：DeepSORT、JDE和CenterTrack等。在行人監(jiān)測領(lǐng)域，多目標(biāo)跟蹤已經(jīng)取得了長足的發(fā)展，但是在交通目標(biāo)跟蹤領(lǐng)域的研究較少，交通目標(biāo)的跟蹤場景此前尚未出現(xiàn)公開、大型的多目標(biāo)跟蹤任務(wù)。同時由于交通目標(biāo)與行人目標(biāo)跟蹤在特性上存在諸多差異，缺少交通多目標(biāo)跟蹤數(shù)據(jù)使得難以衡量多目標(biāo)跟蹤算法在道路交通場景的跟蹤性能，導(dǎo)致目前針對交通多目標(biāo)跟蹤任務(wù)的研究不充分。

DeepSORT跟蹤算法是兩階段跟蹤框架中應(yīng)用最為廣泛的算法，但是在交通場景跟蹤目標(biāo)密集情況下，DeepSORT跟蹤算法難以保持目標(biāo)的跟蹤狀態(tài)，并且高度依賴目標(biāo)檢測器的檢測性能。為了在交通目標(biāo)跟蹤場景獲得更好跟蹤性能，本文引入YOLOv5算法[12]作為DeepSORT的目標(biāo)檢測器，并在以下兩個方面提出改進：① 提出用檢測框和跟蹤目標(biāo)預(yù)測框二者的IOU度量運動相似度替代原本的馬氏距離度量方式；② 外觀相似度度量采用深度特征距離融合HOG[13]特征距離，提升外觀相似度度量的準(zhǔn)確性，從而提高跟蹤的魯棒性。將改進的DeepSORT算法命名為MF-DeepSORT。

MF-DeepSORT算法在標(biāo)注和構(gòu)建的交通目標(biāo)跟蹤數(shù)據(jù)集Car-MOT中取得了明顯優(yōu)于DeepSORT的跟蹤性能。

1 MF-DeepSORT算法

本文提出的改進算法主要在兩個方面對DeepSORT進行改進。下面介紹MF-DeepSORT算法的整體框架，同時對改進和優(yōu)化的部分進行進一步的介紹。

1.1 MF-DeepSORT的整體框架

圖1為MF-DeepSORT的整體框架示意圖，MF-DeepSORT算法包含兩個階段：目標(biāo)檢測階段和跟蹤匹配階段。

圖1 MF-DeepSORT算法的整體框架

在目標(biāo)檢測階段，首先采用YOLOv5目標(biāo)檢測模型識別視頻每幀的輸入圖像，篩選得到檢測框；然后，檢測框通過卷積神經(jīng)網(wǎng)絡(luò)模型提取得到深度特征以及提取手工HOG特征，這兩種特征被稱為檢測框的外觀特征；最后，將檢測框的外觀特征及表征其運動特征的位置信息輸入跟蹤匹配階段。

跟蹤匹配階段基于目標(biāo)檢測階段得到運動特征和外觀特征，然后與現(xiàn)有跟蹤目標(biāo)預(yù)測的運動特征和外觀特征分別度量相似度，融合關(guān)聯(lián)矩陣，進行級聯(lián)匹配;未能完成匹配的檢測框與跟蹤目標(biāo)再次執(zhí)行IOU匹配;通過兩次匹配過程，完成當(dāng)前幀檢測框與現(xiàn)有跟蹤目標(biāo)的配對;最后更新跟蹤器中跟蹤目標(biāo)的狀態(tài)標(biāo)記，并完成卡爾曼濾波器的更新和預(yù)測。

1.2 基于IOU的運動特征度量

為了更好地度量多目標(biāo)跟蹤中的運動特征，本文提出采用檢測框與跟蹤目標(biāo)預(yù)測框的IOU度量替代DeepSORT算法中的馬氏距離度量方式。

在DeepSORT中，檢測框與先前跟蹤目標(biāo)預(yù)測位置運動特征的匹配程度通過二者的馬氏距離來刻畫。跟蹤目標(biāo)i與檢測目標(biāo)j的馬氏距離d′(i,j)表示為：

(1)

式中，xj和yi分別是檢測目標(biāo)j的觀測量和跟蹤目標(biāo)i運動的預(yù)測量，而Si代表卡爾曼濾波器的狀態(tài)協(xié)方差矩陣。馬氏距離越大，二者間的運動特征差異越大，通過對馬氏距離設(shè)置閾值門限，來排除錯誤的關(guān)聯(lián)。

然而這種馬氏距離度量僅僅使用到了檢測框與跟蹤目標(biāo)的距離關(guān)系，不能準(zhǔn)確刻畫二者的運動信息，當(dāng)外觀特征相似的兩個目標(biāo)接近時，容易導(dǎo)致ID切換問題，同時當(dāng)跟蹤目標(biāo)被遮擋一段時間后，馬氏距離受到卡爾曼濾波預(yù)測不確定性增大的影響，難以可靠的度量運動狀態(tài)。

基于IOU的運動特征度量比馬氏距離能夠更準(zhǔn)確刻畫檢測框和跟蹤目標(biāo)的位置關(guān)系，即運動特征。跟蹤目標(biāo)i預(yù)測框Pi與檢測目標(biāo)j的檢測框Qj的IOU計算如圖2所示，其計算公式為：

圖2 跟蹤目標(biāo)預(yù)測框Pi與檢測框Qj的IOU計算示意圖

(2)

IOU(i,j)的取值范圍為[0,1]，定義跟蹤目標(biāo)i與檢測目標(biāo)j的IOU距離表示為：

dIOU(i,j)=1-IOU(i,j)。

(3)

通過IOU度量的方式，能夠更準(zhǔn)確衡量檢測框與跟蹤目標(biāo)之間的運動特征差異，可以得到運動特征閾值門限矩陣表達(dá)式：

bIOU(i,j)=I[dIOU(i,j)≤tIOU]，

(4)

式中，I為指示函數(shù)，符合條件取1，反之取0。經(jīng)過實驗，tIOU設(shè)置為0.9，能夠剔除檢測框與跟蹤目標(biāo)預(yù)測框絕大部分錯誤的關(guān)聯(lián)，提高跟蹤準(zhǔn)確性，減少ID切換次數(shù)。

1.3 基于HOG特征融合的外觀特征度量

為了在跟蹤匹配階段更準(zhǔn)確地關(guān)聯(lián)匹配檢測框和跟蹤目標(biāo)，本文提出在級聯(lián)匹配外觀特征度量時融合深度特征距離與HOG特征距離。

HOG特征通過統(tǒng)計和計算圖像局部區(qū)域的梯度方向直方圖構(gòu)成特征，常用于表征物體邊緣信息，廣泛用于圖像識別中，對于檢測框的幾何形變和光照變化能保持很好的不變性。并且，提取計算圖像的HOG特征，計算量小、運算快，對速度性能影響很小。通過引入HOG特征距離融合，能夠更好地反映目標(biāo)的淺層圖像特征，提升外觀相似度度量準(zhǔn)確性、魯棒性。

在目標(biāo)檢測階段，將得到的檢測框Qj尺寸調(diào)整為256×128，輸入經(jīng)過預(yù)訓(xùn)練的ResNet-18網(wǎng)絡(luò)[15]，輸出得到512維的深度特征Dj。同時，提取檢測框的HOG特征，輸出8 505維的HOG特征Hj。

圖3為級聯(lián)匹配距離度量的算法結(jié)構(gòu)。其中，深度特征距離和HOG特征距離采用最小余弦距離作為衡量準(zhǔn)則，只針對跟蹤目標(biāo)i最近的N幀內(nèi)的特征計算，可以分別用如下公式表示。

圖3 級聯(lián)匹配距離度量算法結(jié)構(gòu)

(5)

(6)

(7)

(8)

獲得外觀特征距離dd(i,j)和dHOG(i,j)后，對兩種特征距離通過加權(quán)平均進行融合，得到融合外觀特征距離dF(i,j)，計算公式如下：

dF(i,j)=λdd(i,j)+(1-λ)dHOG(i,j)。

(9)

可以調(diào)節(jié)λ的權(quán)重決定外觀特征距離更看重哪種特征。通過實驗，λ取值為0.85時取得良好效果。

同樣，外觀特征距離度量也存在閾值門限tF，避免錯誤匹配，其表達(dá)式為：

bF(i,j)=I[dF(i,j)≤tF]，

(10)

式中，tF通常設(shè)置為0.2。結(jié)合式(3)和式(9)兩個門限閾值，得到門限函數(shù)b(i,j)，其計算公式如下：

b(i,j)=bIOU(i,j)°bF(i,j)，

(11)

式中，°表示矩陣的哈達(dá)瑪積。融合關(guān)聯(lián)矩陣Ci,j可以由融合外觀距離得到，計算表達(dá)式為：

Ci,j=dF(i,j)°b(i,j)。

(12)

將融合關(guān)聯(lián)矩陣采用匈牙利匹配[16]法則進行匹配，獲得跟蹤目標(biāo)和檢測框之間正確的對應(yīng)關(guān)系。

2 實驗驗證

2.1 實驗數(shù)據(jù)集

本文采集并標(biāo)注了一個含有6個交通場景的視頻數(shù)據(jù)集，并將這個數(shù)據(jù)集命名為Car-MOT。

Car-MOT包含6個城市交通場景視頻序列，從幀率為30幀/s的視頻中，每隔5幀提取一幀圖像，構(gòu)成視頻序列。在實際應(yīng)用中，多目標(biāo)跟蹤框架需要對當(dāng)前圖像進行推理，再提取視頻當(dāng)前時刻的圖像，構(gòu)建的跟蹤算法處理速度在10～15 幀/s，大約為視頻幀率的1/2～1/3，因此構(gòu)建的Car-MOT符合交通多目標(biāo)跟蹤算法實際應(yīng)用場景。數(shù)據(jù)集具體信息如表1所示。

表1 Car-MOT數(shù)據(jù)集信息

2.2 評價指標(biāo)

本文采用多目標(biāo)跟蹤評估常用的4個性能指標(biāo)[17]對算法在Car-MOT數(shù)據(jù)集的性能做客觀評價，分別為多目標(biāo)跟蹤準(zhǔn)確性(Multiple Object Tracking Accuracy, MOTA)、多目標(biāo)跟蹤精度(Multiple Object Tracking Precision,MOTP)、ID切換次數(shù)(ID Switch,IDsw)、大多數(shù)目標(biāo)被跟蹤的軌跡數(shù)量(Mostly Tracked,MT)。

其中，MOTA可以統(tǒng)計跟蹤中錯誤指標(biāo)的積累，反映多目標(biāo)跟蹤器跟蹤的準(zhǔn)確性能；MOTP表示檢測框與真實標(biāo)注框之間的重合程度，主要與目標(biāo)檢測模型的檢測性能有關(guān)；IDsw用于衡量跟蹤算法對目標(biāo)跟蹤狀態(tài)的保持能力；MT是指目標(biāo)被成功跟蹤，且路徑長度占總路徑長度80%以上的數(shù)量，進而反映同一個目標(biāo)在長時間內(nèi)的跟蹤性能。

2.3 實驗平臺與參數(shù)設(shè)置

本文的實驗環(huán)境基于Ubuntu 16.04操作系統(tǒng)的服務(wù)器，同時深度學(xué)習(xí)架構(gòu)采用Pytorch 1.7版本。服務(wù)器的主要硬件參數(shù)為：Intel (R) Core i5-9400F 6核6線程處理器、GeForce RTX 1060 6GB顯卡和32 GB內(nèi)存。

MF-DeepSORT跟蹤算法的實驗參數(shù)設(shè)置與DeepSORT算法基本保持一致。跟蹤目標(biāo)初始化幀數(shù)為3幀；IOU匹配最大閾值距離為0.7；丟失跟蹤最大保留幀數(shù)是30；外觀特征計算幀數(shù)N=100。

目標(biāo)檢測模型YOLOv5使用輕量級模型YOLOv5s，保證最快的檢測速度；輸入模型的圖像大小為640×640；檢測框置信度閾值為0.3，保證足夠多的檢測框數(shù)量；YOLOv5中NMS非極大值篩選的IOU閾值為0.5。

2.4 實驗結(jié)果與分析

表2顯示了DeepSORT跟蹤算法和MF-DeepSORT跟蹤算法及各項改進在Car-MOT交通目標(biāo)跟蹤數(shù)據(jù)集上消融實驗的結(jié)果。由表2中數(shù)據(jù)可知：在Car-MOT數(shù)據(jù)集中，MF-DeepSORT的兩種消融模型在大多數(shù)指標(biāo)中優(yōu)于DeepSORT跟蹤算法，并且最終的MF-DeepSORT各項性能評價指標(biāo)均優(yōu)于DeepSORT。具體來看，MF-DeepSORT在MOTA指標(biāo)上提高了4.839%，達(dá)到了62.071%，跟蹤的準(zhǔn)確性大幅度提高，在IDsw降低了94%，減少到兩次，幾乎不發(fā)生跟蹤ID的切換，證明對同一個跟蹤目標(biāo)有很強的保持能力。由此可見本文提出的MF-DeepSORT在交通多目標(biāo)跟蹤數(shù)據(jù)集上的跟蹤性能優(yōu)于DeepSORT。

表2 MF-DeepSORT與DeepSORT在Car-MOT的消融實驗跟蹤性能對比

圖4和圖5直觀顯示了MF-DeepSORT和DeepSORT在Car-MOT數(shù)據(jù)集上的跟蹤效果。目標(biāo)密集時，MF-DeepSORT的跟蹤精度更高，從圖4任務(wù)1的第42到第43幀可以看出，DeepSORT算法中，藍(lán)色箭頭指向的跟蹤ID為30的同一車輛，下一幀跟蹤ID切換為22，而在MF-DeepSORT算法中同一車輛保持跟蹤ID為24不變，這體現(xiàn)了MF-DeepSORT更好的跟蹤保持能力。

圖4 任務(wù)1中DeepSORT和MF-DeepSORT的性能對比

圖5 任務(wù)6中DeepSORT和MF-DeepSORT的性能對比

MF-DeepSORT具有更好的環(huán)境魯棒性，圖5中跟蹤任務(wù)6從第30到第31幀時，DeepSORT算法受到樹陰光照變化影響，紅色箭頭指向的同一車輛被賦予了兩個跟蹤ID，且兩個跟蹤框與車輛實際輪廓均存在較大差距。而MF-DeepSORT，對同一車輛則能保持正常的跟蹤狀態(tài)，不受影響。由此可知，MF-DeepSORT通過IOU度量運動特征，能夠極大程度避免空間上錯誤的匹配，保持跟蹤狀態(tài)，減少跟蹤ID的切換。外觀特征度量融合HOG特征距離，能夠提升外觀特征度量的準(zhǔn)確性，提升跟蹤精度。

3 結(jié)論

本文針對交通場景下的目標(biāo)跟蹤問題，構(gòu)建了交通多目標(biāo)跟蹤數(shù)據(jù)集Car-MOT,同時還提出了一種基于DeepSORT的交通目標(biāo)追蹤算法MF-DeepSORT。MF-DeepSORT引入了HOG特征來表征目標(biāo)信息，可以提高跟蹤匹配準(zhǔn)確性，同時MF-DeepSORT采用IOU度量空間位置信息，可以提升跟蹤精度。實驗證明MF-DeepSORT是一種高效的交通多目標(biāo)跟蹤算法。