抗運動模糊的交通流視頻多車跟蹤研究

杜丹豐 申明雨

（東北林業(yè)大學(xué)交通學(xué)院，黑龍江 哈爾濱 150040）

0 引言

通過監(jiān)控攝像頭采集視頻流數(shù)據(jù)，并對交通流視頻中的車輛進行檢測、跟蹤，能夠有效提升公路智能化管理水平。交通流視頻多車輛跟蹤是目前公路視頻監(jiān)控中比較先進的技術(shù)之一。它具有施工時無須破壞路面、檢測器安全且拆卸方便等優(yōu)點，同時能夠為分析和管理交通提供可靠的依據(jù)。

當(dāng)采集交通流視頻時容易發(fā)生抖動，所獲得的交通流視頻易出現(xiàn)運動模糊的情況，降低了車輛跟蹤器的精度。當(dāng)前針對該工況的研究較為匱乏，由于多數(shù)多車跟蹤模型缺乏應(yīng)對運動模糊的調(diào)節(jié)機制，因此跟蹤精度較低，難以應(yīng)對運動模糊的場景。

該文利用UA-DETRAC 數(shù)據(jù)集提出了一種抗運動模糊的交通流視頻多車跟蹤方法。首先，應(yīng)用K 均值聚類算法（K-means 聚類算法）得到關(guān)于車的尺寸的先驗框。其次，選擇性能較好的DarkNet53 網(wǎng)絡(luò)提取車輛特征。再次，使用卡爾曼濾波與級聯(lián)匹配進行多車的跟蹤。最后，構(gòu)建基于 Laplacian算子和生成對抗網(wǎng)絡(luò)的運動模糊檢測、去除模塊，該模塊既具備抗運動模糊的能力，又能滿足現(xiàn)實工況中的需求。

1 多車跟蹤模塊

1.1 車輛跟蹤數(shù)據(jù)集

UA-DETRAC自動駕駛數(shù)據(jù)集是于2018 年被提出來的，其樣圖如圖1 所示。它包括了100 個具有不同挑戰(zhàn)的視頻序列，這些視頻均是在真實的交通場景中的不同位置、不同角度拍攝下來的。其中標(biāo)注幀數(shù)超過140 000 幀，標(biāo)注內(nèi)容包括車輛類型、是否有遮擋、折斷比例以及車輛真實框位置等。

圖1 UA-DETRAC 數(shù)據(jù)集樣圖

UA-DETRAC 數(shù)據(jù)集分為訓(xùn)練集（UA-DETRAC-TRAIN）與測試集（UA-DETRAC-TEST），其中的視頻序列包括多個尺度、遮擋以及背景雜亂等挑戰(zhàn)，更適合于訓(xùn)練具有魯棒性的多車跟蹤模型。該文選取UA-DETRAC-TRAIN 作為多車跟蹤模型的訓(xùn)練數(shù)據(jù)集。在測試多車跟蹤模型時，選擇UADETRAC-TEST 中不同場景下的視頻進行測試驗證。

1.2 車輛先驗框選取

先驗框能夠檢測不同尺度大小的物體，在很大程度上影響了車輛定位的準確性。該文基于UA-DETRAC 數(shù)據(jù)集，使用K-means 聚類算法得到符合車輛尺寸比例的先驗框，從而提升檢測的精度。

K-means 聚類算法屬于聚類分析算法，其采用迭代求解的方式，在數(shù)據(jù)分析中具有廣泛的用途，該算法有以下4個步驟：1）將數(shù)據(jù)分成組，隨機選取個對象作為初始的聚類中心。2）計算每個對象與各個種子聚類中心之間的距離，然后把每個對象分配給距離它最近的聚類中心。3）聚類中心以及分配給它們的對象就代表了一個聚類，每分配一個對象，聚類中心都會根據(jù)聚類中現(xiàn)有的對象被重新計算。4）該過程不斷重復(fù)，直到滿足某個終止條件。終止條件為沒有（或最小數(shù)目的）對象被重新分配給不同的聚類中心，沒有或者最小數(shù)目的聚類中心再發(fā)生變化，且使誤差平方和局部最小。

該文使用UA-DETRAC 數(shù)據(jù)集，針對車輛寬高設(shè)置了9個聚類中心，再使用K-means 聚類算法得到用于車輛檢測的先驗框，其比例結(jié)果為0.53、0.65、0.69、0.72、0.78、0.81、0.91、1.06 和1.19。

1.3 車輛檢測及外觀嵌入

跟蹤模型采用聯(lián)合學(xué)習(xí)檢測及嵌入模型（Jointly learns the Detector and Embedding model，JDE）架構(gòu)，其包括檢測與匹配2 個階段。其目標(biāo)是在1 次前向傳播過程中同時輸出檢測結(jié)果和嵌入模型特征的網(wǎng)絡(luò)架構(gòu)，在特征提取網(wǎng)絡(luò)提取特征后，特征金字塔網(wǎng)絡(luò)結(jié)構(gòu)預(yù)測多個尺度特征，并進行上采樣融合，將特征輸入卷積神經(jīng)網(wǎng)絡(luò)，同時輸出目標(biāo)位置及目標(biāo)的嵌入特征，經(jīng)過在線關(guān)聯(lián)等步驟對已檢測的目標(biāo)特征進行多目標(biāo)跟蹤。該文使用文獻[4]提出的DarkNet53 網(wǎng)絡(luò)作為JDE 的特征提取網(wǎng)絡(luò)，DarkNet53 網(wǎng)絡(luò)能夠更好地進行特征采樣，且在訓(xùn)練時也更加簡單。多車跟蹤模型檢測及外觀嵌入流程如圖2 所示，在網(wǎng)絡(luò)傳播的同時，輸出類別及嵌入特征。

圖2 多車跟蹤模型檢測及外觀嵌入流程圖

輸入的視頻幀首先通過特征提取網(wǎng)絡(luò)DarkNet53 獲得3個尺度的特征圖，完成上采樣融合后，輸入預(yù)測頭中進行卷積操作，進而得到邊框回歸、分類以及輸出特征嵌入。其中，上采樣的尺度為1/32、1/16 和1/8。預(yù)測頭輸出的預(yù)測特征圖的大小為（6+）××（為先驗框的數(shù)量；為特征嵌入的維度；為高；為寬）。從以下3 個維度對特征頭輸出進行劃分：1）邊界框分類。2）邊界框回歸。3）特征嵌入。

該文的損失函數(shù)選用的是，如公式（1）所示。

式中：為模型預(yù)測的類別概率；為平衡因子用于平衡正、負樣本數(shù)量比例；為調(diào)制參數(shù)，使損失函數(shù)更加關(guān)注難以訓(xùn)練的樣本；為實際標(biāo)簽值。

1.4 多車在線跟蹤

在完成車輛檢測后，該文使用DeepSORT 算法提出的方法進行預(yù)測匹配。具體操作如下：在保持車輛速度恒定的基礎(chǔ)上，先使用卡爾曼濾波通過線性觀測來處理逐幀數(shù)據(jù)的關(guān)聯(lián)性，并預(yù)測軌跡，車輛的狀態(tài)量包括位置和速度信息。在得到現(xiàn)有軌跡的預(yù)估位置后，使用成本矩陣將其與新檢測得到的目標(biāo)的空間和外觀相似性的比對。

空間相似性（，）如公式（2）所示。

外觀相似性（，）如公式（3）所示。

整合公式（1）、公式（2）得到最終成本矩陣c，如公式（4）所示。

式中：為權(quán)重系數(shù)。

除成本矩陣以外，DeepSORT 算法還使用門控矩陣來表示當(dāng)前空間以及外觀相似性是否滿足要求。門控矩陣b如公式（5）所示。

式中：為索引標(biāo)識。有2 個取值，分別為1 和2，代表所使用方法DeepSORT 算法中的2 個門控指標(biāo)。

當(dāng)空間相似性以及外觀相似性較為接近時，b為1，否則為0。

通過這2 個矩陣，該操作對每幀中新檢測到的第個目標(biāo)和現(xiàn)有的第個追蹤目標(biāo)進行了匹配以及后處理，達到了在線跟蹤的效果。

2 抗運動模糊模塊

2.1 模糊檢測模塊

Laplacian 算子常用來進行圖像模糊檢測，它能夠強調(diào)圖片中密度快速變化的區(qū)域，也就是邊界，因此常用于模糊檢測。Laplacian 算子是維歐幾里得空間中的二階微分算子，如果是1 個二階可微的實值函數(shù)，那么其Laplacian 算子如公式（6）所示。

式中：為方向；為方向。

其中，方向的偏導(dǎo)數(shù)如公式（7）所示。

方向的偏導(dǎo)數(shù)如公式（8）所示。

綜合公式（6）～公式（8）能夠得到如公式（9）所示的Laplacian 算子。

針對1 幀圖像的濾波器如公式（10）所示。

將公式（9）中的系數(shù)代入公式（10），所得矩陣可以在沒有噪聲的情況下查找圖像中快速變化的區(qū)域。從根本上來說，算子在更高維平面上對圖像的變化趨勢（其二階導(dǎo)數(shù)）進行衡量。如果圖像基本均勻，則結(jié)果為0。無論在何處發(fā)生變化，所得到的矩陣都會在較暗的一側(cè)具有正元素，在較亮的一側(cè)具有負元素。在正常圖片中，邊界清晰且方差較大；而在模糊圖片中，方差則較小。

該文使用Laplacian 算子作為基礎(chǔ)模糊檢測模型，由人工預(yù)先定義好合適的閾值，判斷圖片是否產(chǎn)生運動模糊。在設(shè)定閾值時，該文使用UA-DETRAC數(shù)據(jù)集的視頻序列，先使用高斯算法對視頻序列進行運動模糊處理，然后使用所測試的閾值進行模糊檢測。該文選取不同大小的閾值進行對比測試，最終該文將閾值設(shè)置為13。測試結(jié)果如圖3所示：當(dāng)閾值小于13 時，判定該幀為模糊；當(dāng)閾值大于13 時，判定該幀為清晰。該文通過選取UA-DETRAC 數(shù)據(jù)集的1 000 張視頻幀作為測試樣本，其中運動模糊幀有100 張。使用閾值13 進行測試，最終針對運動模糊的判定正確率為98%。

圖3 模糊判別測試結(jié)果

2.2 模糊去除模塊

在進行模糊去除時，該文采用基于生成對抗網(wǎng)絡(luò)（Generative adversarial network）的方法。生成對抗網(wǎng)絡(luò)是通過2個神經(jīng)網(wǎng)絡(luò)以相互博弈的方式進行學(xué)習(xí)的，它由生成器D 和判別器G 組成，生成器用來捕捉數(shù)據(jù)分布，判別器用來辨別數(shù)據(jù)產(chǎn)生自生成器的概率，并使用博弈機制進行同時訓(xùn)練。

該文采取基于生成對抗網(wǎng)絡(luò)的去模糊算法，將特征金字塔結(jié)構(gòu)作為生成器的核心，并將最小二乘法應(yīng)用到判別器的學(xué)習(xí)中，基于WGAN 以及內(nèi)容損失進行訓(xùn)練學(xué)習(xí)，提出框架在模糊移除方面性能較好。該文使用生成對抗網(wǎng)絡(luò)模糊去除模塊（DeblurGAN-v2）來進行視頻幀去模糊操作。DeblurGAN-v2 為一種基于特征金字塔的去模糊架構(gòu)，它將5 個不同尺度的最終特征圖作為輸出，這些特征圖均被上采樣為相同的輸入大小，并連接成1 個張量。然后在網(wǎng)絡(luò)末端填入2 個上采樣和卷積層，恢復(fù)原始圖像，減少偽影的存在。為保持訓(xùn)練的有效性，對損失函數(shù)L的定義如公式（11）所示。

式中：L為均方誤差損失。

L如公式（12）所示。

式中：x為第個樣本的值；y為第個樣本的預(yù)測值；h為特征提取網(wǎng)絡(luò)，為其參數(shù)；為樣本的總量。

L為內(nèi)容損失，用于衡量清晰圖像和模糊圖像之間的特征值差異，如公式（13）所示。

式中：φ為通過特征提取網(wǎng)絡(luò)中第個池化層前、第個卷積層后得到的特征圖；W、H為特征圖的維度；I為模糊圖像的特征；I為清晰圖像的特征；G為判別器，θ為其參數(shù)；，為索引值。

為全局和局部判別器的損失，目標(biāo)為使得輸出的數(shù)據(jù)分布能夠更加接近真實數(shù)據(jù)的分布，如公式（14）所示。

式中：和分別為不同概率分布下的期望計算，為在不同概率分布下的期望計算，Pdata（）以及Pz（）分別為其概率分布；D 為判別器；為輸入的真實樣本數(shù)據(jù)；G 為生成器；為輸入生成器G 的數(shù)據(jù)。

2.3 抗運動模糊模塊整體架構(gòu)

抗運動模糊模塊整體結(jié)構(gòu)如圖4 所示，包括模糊檢測模塊、模糊去除模塊。首先，模糊檢測模塊對輸入的視頻幀進行判別，大于閾值為清晰，小于閾值為模糊。其次，將判定為模糊的視頻幀輸入模糊去除模塊進行預(yù)處理。最后，將其返回多車跟蹤模塊中進行跟蹤。

圖4 抗運動模糊模塊整體架構(gòu)

2.4 抗運動模糊多車跟蹤方法的整體框架

抗運動模糊多車跟蹤方法整體框架如圖5 所示，先將輸入的多車視頻分解為視頻幀，然后輸入預(yù)先得到的車輛先驗框，再將視頻幀輸入模糊檢測模塊后進行模糊判別，使用模糊去除模塊對模糊圖像進行去模糊操作后返回清晰幀，最后將其輸入多車跟蹤模塊中進行跟蹤。

圖5 抗運動模糊多車跟蹤方法整體框架圖

3 多車跟蹤試驗

3.1 試驗環(huán)境及試驗數(shù)據(jù)集

該文整體算法需要在Pytorch1.7.1 上實現(xiàn)，硬件平臺的CPU 需要配置英特爾i7-10700F 處理器，并且訓(xùn)練時使用GPU 加速，GPU 的配置為GTX-3070 和8G 內(nèi)存。在訓(xùn)練過程中采用線下分離訓(xùn)練和線上組合的方式構(gòu)造多車跟蹤模型。在對多車跟蹤模型進行性能評測時，選取UA-DETRACTEST 作為測試數(shù)據(jù)集，其中包括40 個不同序列。在測試階段抽取4 個不同場景下的視頻序列，應(yīng)用完成訓(xùn)練的抗運動模糊多車跟蹤模型對這些視頻序列進行在線跟蹤，以驗證所提出的算法的有效性。

3.2 多車跟蹤模型試驗

該文在進行多車跟蹤模型測試時，使用了4 個不同場景下的視頻序列，測試結(jié)果如圖6 所示。當(dāng)視頻清晰時，該文的多車跟蹤模型在訓(xùn)練后的跟蹤性能良好，對車輛特征的捕捉也較為準確。

圖6 測試結(jié)果

3.3 抗運動模糊多車跟蹤模型試驗

為測試所建的多車跟蹤模型在視頻模糊時的魯棒性，該文選取了18 個測試視頻序列，在模擬現(xiàn)實情況中的運動模糊工況時，對其中的部分視頻幀進行高斯模糊和運動模糊處理，得到包括模糊幀的視頻幀序列，將其合成處理后又得到帶有模糊幀的視頻。視頻中的模糊幀如圖7 所示。為驗證抗運動模糊多車跟蹤模型的性能，該文將該模型與無抗模糊機制的普通跟蹤模型進行了對比，對比結(jié)果見表1。

圖7 視頻中模糊幀樣圖

由表1 可知，該文所提出的抗運動模糊多車跟蹤模型在視頻受到運動模糊干擾時，其模糊檢測以及模糊去除機制能夠有效地去除運動模糊，將漏檢率和誤檢率降低了近18.89%。

表1 抗運動模糊跟蹤模型與普通跟蹤模型對比結(jié)果

4 結(jié)論

當(dāng)采集交通流視頻時，由于環(huán)境因素的影響而產(chǎn)生抖動，因此很容易出現(xiàn)運動模糊的情況，使車輛跟蹤精度降低。目前針對該工況的研究較為缺乏，該文提出了抗運動模糊交通流視頻多車跟蹤方法。

首先，該方法針對車輛尺寸大小，使用聚類算法得到符合車輛尺寸的先驗框。其次，采用DarkNet53 網(wǎng)絡(luò)提取車輛特征。再次，使用卡爾曼濾波與級聯(lián)匹配進行多車跟蹤。最后，通過基于Laplacian 算子的模糊判別機制和嵌入生成對抗網(wǎng)絡(luò)模糊去除模塊來提升多車跟蹤模型的抗運動模糊能力。試驗結(jié)果表明，該文提出的抗運動模糊交通流視頻多車跟蹤方法，在交通視頻受到運動模糊干擾時跟蹤效果更好，并且具有更好的魯棒性，使漏檢率和誤檢率降低了約18.89%。