道路復(fù)雜交通場景下的改進MDnet目標跟蹤算法

王小平，施新嵐

(1. 重慶城市管理職業(yè)學(xué)院 大數(shù)據(jù)與信息產(chǎn)業(yè)學(xué)院，重慶 401331； 2. 重慶郵電大學(xué) 通信與信息工程學(xué)院，重慶 400065)

0 引 言

運動目標跟蹤技術(shù)是智能交通應(yīng)用背景下的研究重難點，其主要目的是持續(xù)確定機動車、非機動車和行人目標在視頻圖像序列中的位置。通過分析可以得到目標運動速度、加速度等運動參數(shù)，經(jīng)進一步處理，得到圖像畫面中目標的運動軌跡、實時姿態(tài)信息，從而實現(xiàn)對運動目標的行為分析與理解，最終判斷目標是否違反交通規(guī)則[1]。

相關(guān)濾波器及深度學(xué)習(xí)目標跟蹤算法是目前2種主流技術(shù)。相關(guān)濾波器的本質(zhì)是利用目標前景與背景信息間的差異設(shè)計分類器[2]。深度學(xué)習(xí)算法在視頻圖像序列中以其多隱藏層的結(jié)構(gòu)提取目標特征，并由模式識別完成運動目標的跟蹤[1,3-4]。

POSTECH實驗室在2016年提出一種被稱為MDnet多域網(wǎng)絡(luò)的新型CNN網(wǎng)絡(luò)體系結(jié)構(gòu)[5]，MDnet網(wǎng)絡(luò)規(guī)模較小，兼顧了多種目標跟蹤的通用性。這種高實時性的模型非常適用于智能交通領(lǐng)域，但是智能交通領(lǐng)域中復(fù)雜的交通道路還有目標尺度變化、目標被遮擋、目標模糊等特性問題需要解決。MDnet在這些問題中表現(xiàn)的相對一般，依然存在改進空間。

運動目標跟蹤技術(shù)的應(yīng)用載體是視頻圖像序列。由同一攝像頭捕獲的視頻圖像序列信息與時間相關(guān)，一般呈現(xiàn)出圖像連續(xù)變化的特性。根據(jù)圖像連續(xù)變化的時間相關(guān)特性，收集前序圖像中的目標運動信息對當前幀目標位置進行預(yù)測；同時，視頻圖像序列中背景信息相對運動目標變化較少，輸入圖像中存在較多的冗余信息，因此可以忽略部分背景信息，把更多的計算資源用于目標圖像區(qū)域，從而提高信息處理效率。L.YONG等[6]提出的SIN不僅處理當前圖像物體的外觀信息，還利用圖片中背景信息和目標之間的關(guān)聯(lián)信息、當前幀圖像的上下文信息實現(xiàn)目標的有效檢測。目標跟蹤與目標檢測的原理類似，因此這種利用背景與目標關(guān)聯(lián)信息、上下文信息的方法也可以遷移至目標跟蹤領(lǐng)域，并由多種信息融合實現(xiàn)目標有效跟蹤[7]。

筆者在原來的MDnet上基于時間相關(guān)性對其進行改進，利用視頻圖像序列的時間相關(guān)性，由前序幀目標信息，結(jié)合當前幀信息的時空結(jié)合信息共同計算，得出道路復(fù)雜交通場景下機動車、非機動車以及行人目標所在位置。

1 基于時間相關(guān)性的改進MDnet算法

目標快速運動使得圖像中目標區(qū)域邊界模糊，邊緣特征不明顯，運動目標的前景、背景信息難以區(qū)分。當目標被其他物體遮擋時，如果是輕微的遮擋，會出現(xiàn)目標定位出現(xiàn)偏差，若是大面積且長時間遮擋，則真實目標跟丟，目標器轉(zhuǎn)而跟蹤遮擋的物體或者其它物體。在一些智能交通跟蹤系統(tǒng)中，由于系統(tǒng)閉環(huán)控制作用，系統(tǒng)控制模塊會隨著目標運動，控制攝像頭移動保證目標始終處于攝像頭捕捉范圍內(nèi)。若目標被交通道路中遮擋物干擾，系統(tǒng)跟蹤目標切換至假目標，加之系統(tǒng)閉環(huán)控制作用，跟丟的現(xiàn)象愈發(fā)嚴重，會導(dǎo)致違章目標跟蹤失敗。

為解決目標跟蹤場景中運動模糊、障礙物干擾，造成跟蹤出現(xiàn)偏差甚至跟丟的問題，常使用軌跡預(yù)測的方式，保證目標不脫離視場，實現(xiàn)目標遮擋情況下的目標有效跟蹤。CNN不同規(guī)模的卷積核提取特征的能力不相同，有研究人員提出用更多、更小的卷積核代替單個的大卷積核，從而獲取更多的圖像信息，提升運動目標跟蹤的準確性。

1.1 軌跡預(yù)測

圖像中常用顏色、紋理以及邊緣信息作圖像特征，而遮擋物會破壞目標的圖像特征，導(dǎo)致跟蹤算法魯棒性下降。對于殘缺的目標特征，通常使用運動目標的前序信息補充，補充后的目標信息在一定程度上修正遮擋物帶來的影響，提升跟蹤的準確度。

常用的軌跡預(yù)測方式，是使用當前幀的前序信息，獲取目標光流信息，預(yù)測當前幀目標所在區(qū)域。圖像中運動目標由于其特殊性，無法直接獲取二維坐標信息。由于系統(tǒng)閉環(huán)控制作用，無法體現(xiàn)目標的真實運動軌跡，在圖像中只體現(xiàn)了目標局部信息。因此可以借鑒采樣的思想，提取圖像中運動目標的光流特征表征目標運動信息。

光流是空間運動物體在成像平面中像素運動的瞬時速度，通常將二維圖像平面特定坐標點上的灰度瞬時變化率定義為光流矢量。在三維空間中，由運動場描述運動，而在二維圖像中，物體的運動描述方式是通過圖像序列同一位置的像素灰度變化體現(xiàn)。當運動由三維空間變換映射到二維圖像時，運動變化表現(xiàn)為光流變化，這種運動描述方式也稱為光流場。光流場中以二維矢量場的形式記錄了各像素點灰度變化趨勢，并作為每一個像素點灰度變化產(chǎn)生的矢量瞬時速度集。三維空間中的運動場與二維圖片平臺的映射關(guān)系示意圖如圖1、圖2，相鄰幀圖像獲取的運動光流場示意如圖3。

圖1 三維空間的矢量場Fig. 1 Three-dimensional space vector field

圖2 矢量場在二維平面內(nèi)的投影Fig. 2 Vector field projected on two-dimensional plane

圖3 可視化光流場Fig. 3 Visual optical flow field

圖像中運動目標所提取的光流特征，由于攝像機抖動、光照干擾等因素影響，難免會提取到存在誤差的光流信息。對所提取的光流特征進行預(yù)處理：刪除異常處異常光流特征點，并在特征稀疏處插值填充光流特征，最后利用有效的軌跡預(yù)測方法實現(xiàn)運動目標軌跡預(yù)測。其中軌跡預(yù)測是指由前序幀采集光流信息或其它時序信息，經(jīng)過預(yù)處理后分析時序信息規(guī)律，預(yù)測下一幀運動目標所處位置[8]。

采用目標探索策略判別式進行軌跡預(yù)測，首先在前序幀目標的位置周圍區(qū)域采樣[17]，隨后確定目標探索空間，探索空間范圍計算式如式(1)：

y={(m,n)|m2+n2

(1)

式中：m,n為前序幀目標所在中心位置；r為圓形探索空間半徑。

在探索空間y中進行局部一致性全采樣，得到前序時序信息后，由結(jié)構(gòu)化輸出SVM模型建立目標位置預(yù)測函數(shù)[9]，用于預(yù)估目標在后續(xù)幀的位置信息預(yù)測函數(shù)如式(2)：

(2)

1.2 不同核大小的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計

理論上卷積核的大小可以是任意的，但大部分CNN中使用的卷積核都是奇數(shù)形式的正方形核。且在感受野相同的情況下，卷積核越小，模型參數(shù)和目標跟蹤計算量越小[10]。

文獻[10]指出，能夠捕獲單像素以及相鄰八領(lǐng)域信息的最小卷積尺寸是3×3，且1個5×5卷積核的感受野與2個3×3卷積層堆疊相同，同理1個5×5卷積核的感受野與3個3×3卷積層堆疊相同。因此，在保證感受野一致時，可通過小尺寸卷積層的堆疊替代大尺寸卷積層。每個卷積層后會附帶1個激活函數(shù)，激活函數(shù)的作用是讓判決函數(shù)擬合性更強，使用多個小卷積核代替大卷積核，會使得跟蹤模型準確率更高。同時，多個3×3卷積層也減少了目標跟蹤模型參數(shù)。當輸入特征圖大小都是C×C時，使用1層7×7卷積核的參數(shù)個數(shù)為49C2，使用3層3×3卷積核的參數(shù)個數(shù)僅為3×(3×3×C×C)=27C2，使用3層3×3卷積核的網(wǎng)絡(luò)模型參數(shù)數(shù)量更少。

那么1層7×7卷積核由3層3×3卷積核代替，1層5×5卷積核由2層3×3卷積核代替的模式，不僅增加了隱藏層，還利用激活函數(shù)起到隱形正則化的作用，并減少了模型參數(shù)數(shù)量。

1.3 改進MDnet結(jié)構(gòu)

筆者提出的改進MDnet融合時間與空間2種信息，網(wǎng)絡(luò)結(jié)構(gòu)中信息處理模塊擁有時間、空間2個處理部分，圖像特征處理模塊部由多個小型卷積核與激活函數(shù)組合而成。改進MDnet網(wǎng)絡(luò)結(jié)構(gòu)示意如圖4，改進的MDnet由采集時空信息，特征目標提取及處理，運動目標位置確定3個步驟實現(xiàn)道路復(fù)雜交通場景下有效目標跟蹤。

圖4 基于時間相關(guān)性的改進MDnet網(wǎng)絡(luò)結(jié)構(gòu)Fig. 4 Improved MDnet network structure based on time correlation

MDnet模型的圖像輸入大小為107×107，隨后確定目標探索空間，再輸入至堆疊的6層卷積層，得到大小為3×3的特征圖，通過2層大小為512個單位的全連接層。最后一層是多分支的，每個分支均是具有分支屬性的全連接層，并且負責(zé)對目標進行2分類。除最后一層獨立域的全連接層，其余層都共享特征圖。

時空信息采集模塊采集前序幀的光流特性信息作為時間信息，采集由光流信息軌跡預(yù)測所得目標探索空間作為空間信息。時空信息采集模塊的流程示意圖如圖5。收集并處理前序光流特征信息，由目標搜索策略，計算軌跡預(yù)測的趨勢以及設(shè)定的搜索空間大小，將目標探索空間這一局部圖像信息輸入圖像特征提取及處理模塊，而當前幀圖像中搜索區(qū)域外的其它圖像將被拋棄。

圖5 時間信息采集模塊的流程示意Fig. 5 Flow chart of time information acquisition module

只保留待處理圖像的探索空間區(qū)域的原因在于發(fā)現(xiàn)圖像特征后，確定特征在圖像的精確位置不是重點，特征與其它特征的相對位置關(guān)系才是最重要的。跟蹤目標與背景圖像的聯(lián)系緊密程度與距離相關(guān)，相隔較遠的背景圖像對目標的跟蹤性能的影響力較小。且運動目標在圖像中的位置變化是連續(xù)的，因此使用探索空間圖像訓(xùn)練網(wǎng)絡(luò)模型。

在模型的訓(xùn)練中采用long-term和short-term互補的更新方式，long-term是固定時間間隔內(nèi)的主動更新，short-term是當出現(xiàn)固定個候選框評分低于準確率閾值時的被動更新。原MDnet中卷積層處理圖像的全局信息，基于時間相關(guān)性的改進MDnet卷積層只處理目標探索空間處圖像，運動目標候選框為負樣本的概率相比未改進前的網(wǎng)絡(luò)概率低，因此模型整體更新速度更快，模型收斂速度也更快?；跁r間相關(guān)性的改進的MDnet模型long-term為每5幀更新1次，short-term為20個候選框評分低于0.65時更新1次。

2 實驗驗證與分析

2.1 實驗設(shè)置與結(jié)果分析

筆者在道路復(fù)雜交通場景下，基于時間相關(guān)性的改進MDnet機動車、非機動車及行人目標跟蹤模型，由Pytorch深度學(xué)習(xí)框架搭建，并由GPU加速訓(xùn)練。具體實驗環(huán)境如表1。

表1 實驗相關(guān)環(huán)境配置Table 1 Experiment related environment configuration

筆者的目標跟蹤算法，針對MDnet算法利用視頻圖像序列間的時間信息相關(guān)性進行改進。在本節(jié)的實驗中，改進算法對比原MDnet在公開OTB數(shù)據(jù)集進行跟蹤準確率、成功率的定量對比分析，不同特性的視頻序列以實驗結(jié)果圖示的方式進行定性比較分析。

2.1.1 定量分析

在MATLAB平臺使用公開的OTB數(shù)據(jù)集，對原MDnet目標跟蹤方法與改進的MDnet目標跟蹤方法評估，根據(jù)實際跟蹤結(jié)果得到這2種方法的目標跟蹤準確率、成功率曲線圖。OTB公開數(shù)據(jù)集標準庫2種目標跟蹤方法的準確率、成功率如圖6； OTB目標模糊自選庫2種跟蹤方法的目標跟蹤準確率、成功率如圖7。括號內(nèi)為最高準確率、成功率。

圖6 基于標準庫的跟蹤方式準確率與成功率Fig. 6 Accuracy and success rate of tracking method based on standard library

圖7 基于目標模糊自選庫的跟蹤方式準確率與成功率Fig. 7 Accuracy and success rate of tracking method based on target fuzzy self-selection database

由圖6可以看出：基于時間相關(guān)性的改進MDnet目標跟蹤方法相比于原MDnet目標跟蹤方法在整體性能上基本保持一致，并且略有提升。由圖7可以看出：針對目標快速運動、目標模糊、目標遮擋問題，這些需要更多紋理細節(jié)來判斷道路復(fù)雜交通場景下的目標跟蹤，改進MDnet的目標跟蹤方法準確率、成功率都要高于原MDnet目標跟蹤方法。

因此基于時間相關(guān)性的改進MDnet在保持目標跟蹤通用性的前提性下，擁有更強的針對性，對目標快速運動等其它特性的智能交通監(jiān)管應(yīng)用場景具有更高的應(yīng)用價值。

2.1.2 定性分析

對基于時間相關(guān)特性的MDnet目標跟蹤方法定性分析，圖8、圖9為實驗結(jié)果示意。圖中實線框為改進MDnet的目標跟蹤結(jié)果，虛線框是目標的標準位置。圖8、圖9中右上角三位數(shù)字代指該幀在視頻序列中的序號。

1)目標快速運動、模糊與遮擋特性分析

圖8(a)的walking交通監(jiān)控圖像中地形開闊，遮擋物較少，跟蹤目標為行走的行人。圖8(b)的Crowds視頻序列是交通監(jiān)控中常見的行人目標跟蹤應(yīng)用場景，道路周邊由于樹木的遮擋，光線斑駁，行人區(qū)域圖像顏色不均勻。圖8(c)的Car視頻序列是交通圖像中機動車跟蹤場景，被跟蹤目標與目標拍攝者兩者相對運動，存在運動模糊、背景圖像存在與機動車跟蹤目標相似物的干擾，且由于天橋、道路周圍的遮擋，光照不均勻。圖8(d)CarDark視頻序列是智能交通系統(tǒng)中機動車夜間跟蹤場景，由于地面濕滑反光，且目標機動車速度快，機動車跟蹤目標圖像更模糊。

圖8 目標快速運動、模糊與遮擋特性實驗結(jié)果Fig. 8 Experimental results of target fast motion,blur and occlusion characteristics

實驗結(jié)果可以看出：圖8中改進的MDnet對跟蹤目標區(qū)域圖像整體模糊問題，背景與目標色系相同即目標邊界分割模糊問題，快速運動小目標問題能有效解決，并準確跟蹤目標所在位置。

2)目標尺度變化、面內(nèi)旋轉(zhuǎn)、形變特性分析

在圖9(a)的CarScale視頻序列中，被跟蹤目標是運動中的小汽車，視頻的特性有目標發(fā)生的尺度變化、目標被樹枝遮擋、目標發(fā)生面內(nèi)旋轉(zhuǎn)現(xiàn)象。圖9(b)為Couple視頻序列跟蹤目標為行走的一對夫婦，由于拍攝視角改變，目標發(fā)生面內(nèi)旋轉(zhuǎn)與目標形化。

圖9 目標尺度變化、面內(nèi)旋轉(zhuǎn)、形變特性實驗結(jié)果Fig. 9 Experimental results of target scale changes,in-plane rotation and deformation characteristics

實驗結(jié)果可以看出：圖9(a)中可以有效跟蹤目標，當目標發(fā)生面內(nèi)旋轉(zhuǎn)時，改進的MDnet方法可以定位部分目標區(qū)域圖像，但是目標真實區(qū)域無法全部覆蓋。圖9(b)中目標物由2人組成，但是目標由于視角變化，目標旋轉(zhuǎn)發(fā)生形變，造成目標短暫跟丟，但是很快又找回目標。

根據(jù)以上分析，基于時間相關(guān)性的改進MDnet利用目標圖像的上下文信息，能有效的解決道路復(fù)雜交通場景下目標快速運動、模糊以及低分辨率場景下的目標跟蹤。能在一定程度上解決部分圖像信息缺失的目標遮擋問題，基本實現(xiàn)目標的有效跟蹤，當目標發(fā)生短時間局部信息突變但是后續(xù)目標圖像還原時，目標在丟失一段時間后可以找回。

總體而言，基于時間相關(guān)性的改進MDnet的模型參數(shù)較少，目標跟蹤耗時較短，具有較好的實時性。因此，改進的MDnet對實時性有要求，低分辨率、目標圖像存在模糊現(xiàn)象，短時間局部圖像缺失的運動目標跟蹤智能交通應(yīng)用場景有較高的應(yīng)用價值。

2.2 軌跡預(yù)測對跟蹤性能的影響

運動目標跟蹤算法的評價指標主要從實時性、準確率2個方面評估算法可用性?；跁r間相關(guān)性的改進MDnet新增了軌跡預(yù)測模塊，筆者將分析增加軌跡預(yù)測模塊對目標跟蹤性能實時性、準確率的影響。目標跟蹤的實時性能，包括模型訓(xùn)練過程中，模型擬合所消耗的時間、測試過程中目標跟蹤模型在單位時間內(nèi)目標跟蹤的幀數(shù)。目標跟蹤準確率，是指在測試集中跟蹤準確率。分析不同大小的目標搜索空間半徑r對目標跟蹤效果的影響，根據(jù)式(2)計算所得目標探索空間是圓形，但通常視覺處理任務(wù)中輸入圖像的形狀是矩形，因此把該圓形探索空間的直徑2r作為邊長得到正方形輸入圖像，目標探索空間如圖10。

圖10 目標探索空間示意Fig. 10 Schematic diagram of target exploration space

目標搜索空間半徑r大小與跟蹤準確率的關(guān)系示意如圖11(a)，隨著半徑r的增長，跟蹤準確率也隨之升高，但是當目標探索空間半徑r為(1+70%)r時，目標跟蹤準確率增長速度減慢。目標搜索空間半徑r與模型擬合速度關(guān)系示意如圖11(b)，模型擬合速度隨半徑r的增大而變慢。目標搜索空間半徑r與幀實時處理速度示意如圖11(c)，當半徑r增大時，幀實時處理速度變慢，算法實時性能下降。

圖11 探索空間半徑r對目標跟蹤的影響Fig. 11 Influence of exploration space radius r on target tracking

圖10的實驗結(jié)果證明：隨著搜索半徑r的越大，模型擬合速度越慢、實時性下降的現(xiàn)象越明顯，但是模型在r取(1+70%)r時，目標跟蹤準確率達到93.81%，隨后準確率提升不明顯。相比不使用軌跡預(yù)測和搜索空間的方法在實時性，模型擬合速度，準確率等性能都有所提升。

3 結(jié) 語

筆者分析擁有較高準確率的目標跟蹤MDnet，針對智能交通領(lǐng)域中常見的目標遮擋、目標快速運動導(dǎo)致運動模應(yīng)用場景，實現(xiàn)對目標的有效跟蹤，幫助判斷目標是否有違章行為。目標遮擋與目標模糊容易跟丟的原因在于目標圖像不可見，目標前景信息與背景信息不可區(qū)分，當前幀可用信息相比無遮擋不模糊圖像可用信息較少，因此需要借助前序幀圖像的時間信息確定當前幀目標探索空間，利用小尺寸卷積核以小視野提取目標探索空間的更多紋理信息。截取當前幀圖像目標探索空間，拋棄其它圖像信息，小卷積核提取圖像特征，提高模型目標遮擋與運動模糊場景的跟蹤準確率。

改進的MDnet能有效解決跟蹤目標區(qū)域圖像整體模糊問題，背景與目標色系相同即目標邊界分割模糊問題，快速運動小目標問題，實時跟蹤目標所在位置。改進的MDnet使用邊長為(1+70%)r的探索空間，模型訓(xùn)練long-term為每5幀更新1次，short-term為20個候選框評分低于0.65時更新1次。最終經(jīng)過標準庫實驗驗證，改進后的MDnet目標跟蹤準確率可達到93.81%，高于改進前93.00%的準確率；經(jīng)過自選的目標模糊自選庫實驗驗證，改進后的MDne目標跟蹤準確率可達95.93%，高于改進前93.92%的準確率。實驗結(jié)果表明改進的MDnet可提升運動目標跟蹤的準確性。