吳 捷，馬小虎

（1.泰州職業(yè)技術(shù)學(xué)院信息技術(shù)學(xué)院，江蘇 泰州 225300；2.蘇州大學(xué)計算機科學(xué)與技術(shù)學(xué)院，江蘇 蘇州 215006）

0 引言

目標(biāo)跟蹤是計算機視覺領(lǐng)域的研究熱點之一，在人機交互、醫(yī)學(xué)成像、交通監(jiān)測等領(lǐng)域有著極其廣泛的應(yīng)用。目標(biāo)跟蹤的基本流程是在待跟蹤視頻序列的第一幀中標(biāo)記出目標(biāo)邊界框，并在后續(xù)幀中對目標(biāo)進行準(zhǔn)確定位。由于目標(biāo)物體在運動過程中可能會發(fā)生形變、旋轉(zhuǎn)以及受到自然環(huán)境中光照變化等諸多因素的影響，使得目標(biāo)跟蹤尚有不少亟待解決的難題。

近年來深度學(xué)習(xí)方法異軍突起，在目標(biāo)跟蹤領(lǐng)域得到廣泛應(yīng)用，DeepSRDCF、CF2、ECO、STRCF、MCCT等跟蹤器在DCF 框架下結(jié)合卷積神經(jīng)網(wǎng)絡(luò)（CNN）達到了較高的跟蹤精度，但是使用深度特征也明顯降低了算法的運行速度，限制了其應(yīng)用范圍。而全卷積孿生網(wǎng)絡(luò)（SiamNet）憑借超越DCF 方法的準(zhǔn)確度和端到端訓(xùn)練的優(yōu)勢，成為目標(biāo)跟蹤領(lǐng)域最熱門的研究方向。

Bertinetto 等在CVPR2016 會議上提出了基于全卷積孿生網(wǎng)絡(luò)（SiamFC）的目標(biāo)跟蹤方法，實現(xiàn)了端到端訓(xùn)練，達到了超實時性能，并且具有較高的跟蹤精度。Li 等對Siamese 孿生網(wǎng)絡(luò)框架進行了擴展，引入?yún)^(qū)域推薦網(wǎng)絡(luò)（RPN）并提出了SiamRPN 跟蹤算法，跟蹤器的性能進一步得到了提升。

雖然一系列基于SiamNet 的跟蹤算法取得了良好的跟蹤效果，但也存在如下問題：視覺跟蹤中的目標(biāo)可以是任意形式的，而從普通圖像中預(yù)先訓(xùn)練的CNN 模型對感興趣的目標(biāo)對象是不可知的，這使得預(yù)訓(xùn)練的效率變得較低。從跟蹤速度來看，因為預(yù)訓(xùn)練模型的深度特征是高維的，造成了大量使用深度特征的跟蹤器計算負(fù)荷很高。為了提高跟蹤速度，提取和跟蹤目標(biāo)相關(guān)度較高的深層特征進行視覺跟蹤是非常重要的。

在CVPR2019 會議上，Li 等提出TADT 算法，在SiamNet 框架基礎(chǔ)上，將目標(biāo)感知模塊嵌入到預(yù)訓(xùn)練網(wǎng)絡(luò)后面，使用回歸損失和排序損失來有效選擇對于目標(biāo)定位和尺度變化最為敏感的特征通道，取得了非常好的效果，在一系列實時跟蹤算法中精度最佳。TADT 算法在特征提取時，僅使用卷積神經(jīng)網(wǎng)絡(luò)VGG16 中的Conv4-3 層深度特征定位目標(biāo)位置，在目標(biāo)發(fā)生大幅形變或低分辨率等場景下容易發(fā)生跟蹤漂移。

為了解決此問題，本文在TADT 算法框架下結(jié)合通道選擇與位置優(yōu)化提出一種新型的目標(biāo)跟蹤算法。算法利用了Conv3-3、Conv4-3、Conv5-1 3 個層次的深度特征，并使用峰值旁瓣比對初次跟蹤結(jié)果進行分類處理，兼顧了跟蹤精度與速度。在OTB跟蹤數(shù)據(jù)集上的實驗結(jié)果表明，本文算法具有較好的跟蹤性能，在主要跟蹤指標(biāo)上超過了目前主流跟蹤算法。

1 TADT 跟蹤算法

1.1 算法框架

TADT 算法框架由通用CNN 特征骨干網(wǎng)、目標(biāo)感知模塊和相關(guān)匹配模塊3 部分組成。其中的核心為目標(biāo)感知模塊，其從預(yù)訓(xùn)練的CNN 網(wǎng)絡(luò)中提取目標(biāo)特征，進而通過回歸損失和排序損失函數(shù)，分別計算得到對于目標(biāo)活動和尺度變化較為敏感的特征通道作為當(dāng)前目標(biāo)的特征表示。相關(guān)匹配模塊計算模板分支與搜索分支之間的相似度得分，得分圖的最大值即為目標(biāo)位置。圖1 為TADT 跟蹤器的總體框架圖。

圖1 TADT 算法框架

1.2 跟蹤過程

跟蹤初始化。在此階段，初始化離線訓(xùn)練的CNN 網(wǎng)絡(luò)并提取Conv4-1 和Conv4-3 層特征，其中，預(yù)訓(xùn)練的特征提取器在分類任務(wù)中離線訓(xùn)練，目標(biāo)感知部分只在第一幀中進行訓(xùn)練。在初始網(wǎng)絡(luò)訓(xùn)練中，分別訓(xùn)練回歸損失和排序損失部分，并在網(wǎng)絡(luò)收斂后根據(jù)每一損失計算梯度。利用梯度特征生成模型，從預(yù)先訓(xùn)練好的CNN 中選擇固定數(shù)量的重要度分?jǐn)?shù)最高的濾波器。通過疊加這兩種特征濾波器，得到最終的目標(biāo)感知特征。

在線檢測。利用目標(biāo)感知特征并通過卷積運算，（即Siamese 框架中的相關(guān)層）直接計算初始目標(biāo)與當(dāng)前幀中搜索區(qū)域的相似度特征并輸出響應(yīng)圖。響應(yīng)圖中的值表示其對應(yīng)位置為實際目標(biāo)的置信度，利用響應(yīng)圖中最大置信度對應(yīng)的相對位置，可以計算出目標(biāo)物體在搜索區(qū)域中對應(yīng)的實際位置。

尺度估計。為了評估目標(biāo)的尺度變化，TADT 固定模板的大小，并將當(dāng)前幀中搜索區(qū)域的特征圖分別進行縮小、放大和固定不變3 種操作。在跟蹤過程中，將這3 種特征圖與目標(biāo)模板進行比較來得到最接近的尺度。為了獲取對目標(biāo)尺度變化較為敏感的濾波器，作者進行了一系列對比實驗，最終證明利用Conv4-1 層深度特征效果最佳。

2 本文改進算法

TADT 算法在實現(xiàn)實時跟蹤的情況下取得了很好的跟蹤效果，但是其僅使用卷積神經(jīng)網(wǎng)絡(luò)VGG16中的Conv4-3 層深度特征定位目標(biāo)位置，在目標(biāo)發(fā)生大幅形變或低分辨率等場景下容易發(fā)生跟蹤漂移。

而已有的研究發(fā)現(xiàn)，卷積網(wǎng)絡(luò)不同層次特征對于目標(biāo)跟蹤都具有非常重要的作用。如圖2 所示，低層特征有較高的分辨率，能夠?qū)δ繕?biāo)進行精準(zhǔn)的定位；高層特征包含更多的語義信息，能夠有效對目標(biāo)進行范圍定位，處理較大的目標(biāo)變化和防止跟蹤器漂移。

圖2 卷積網(wǎng)絡(luò)不同層次特征圖對比

本文基于TADT 算法框架并對其進行了改進。在初始化VGG16 網(wǎng)絡(luò)時，本文算法加入了Conv5-1卷積層，而TADT 則去除了全部的Conv5 層特征。本文算法并沒有選擇添加層次更高的Conv5-2 和Conv5-3 層，主要是考慮到使用更深層特征會顯著增加算法的處理時間。

除此之外，本文算法引入峰值旁瓣比，對每幀跟蹤結(jié)果進行可靠性判斷，只有對于低可靠性的跟蹤結(jié)果使用Conv5-1 層特征進行重定位，進一步提升了算法的運行速度。下面給出峰值旁瓣比的定義：

設(shè)第t 幀的特征響應(yīng)圖為R，則其峰值旁瓣比（PSR）定義為：

其中，max 用于求得R的最大值，μ、σ表示特征響應(yīng)圖的均值和方差。峰值旁瓣比主要體現(xiàn)跟蹤的可靠性。

利用上式計算得到的峰值旁瓣比可以對每幀跟蹤結(jié)果進行可靠性判斷，本文進行可靠度判斷的方法如下：

設(shè)跟蹤視頻序列中第t 幀的峰值旁瓣比為P，則計算其與前t-2 幀峰值旁瓣比均值的比值ratio：

根據(jù)求得的ratio 值，可將跟蹤結(jié)果分為高可信、待優(yōu)化和低可信3 種情況。

本文算法執(zhí)行流程如下：在TADT 框架下，利用Conv4-3 層特征進行目標(biāo)初次定位，進而通過計算峰值旁瓣比對初次定位結(jié)果進行判斷，視其結(jié)果分別進行處理。對于初次定位結(jié)果為高可信的，直接利用之前得到的初次目標(biāo)定位位置作為最終結(jié)果；對于待優(yōu)化情形，在初次定位得到的搜索區(qū)域基礎(chǔ)上，利用Conv3-3 層深度特征對目標(biāo)進行精確再定位；對于低可信情形，利用Conv5-1 層深度特征進行目標(biāo)重定位。

在目標(biāo)的尺度處理方面，本文和TADT 算法一致，使用Conv4-1 層特征進行處理。

本文算法流程圖如下頁圖3 所示。

圖3 本文算法流程圖

3 實驗結(jié)果與分析

3.1 實驗環(huán)境

本文在Win10 系統(tǒng)上使用Matlab2016b 編程語言實現(xiàn)了提出的目標(biāo)跟蹤算法。其中，核心硬件配置為主頻3.3 GHz Inter Xeon（R）E3-1225 的CPU，GTX1060 GPU，32 GB 運行內(nèi)存。本文使用VGG16卷積神經(jīng)網(wǎng)絡(luò)作為離線訓(xùn)練網(wǎng)絡(luò)，利用VGG16 網(wǎng)絡(luò)中Conv4-1 和Conv4-3 層特征作為目標(biāo)尺度和初次定位目標(biāo)位置的深度特征。本文所用其他跟蹤參數(shù)和TADT 一致。為了全面評估本文所提算法的性能，在OTB-50 及OTB-100數(shù)據(jù)集上進行了實驗，并與TADT、STRCF、MCCT_H、ECO_HC、Deep LMCF、BACF、Staple_CA、DeepSRDCF、LDES等9 個先進的跟蹤器進行了比較。

3.2 定量比較

圖4 和圖5 是10 種算法在OTB-50 和OTB-100 上的總精確度圖和成功率圖，從圖4 和圖5 中看出，本文提出的算法精確度和成功率均排名第1，證明了本文所提算法性能優(yōu)異。圖6 給出了10 種算法在平面內(nèi)旋轉(zhuǎn)、出視野、低分辨率、變形等4 種復(fù)雜場景下的成功率曲線圖。相比基準(zhǔn)算法TADT，本文算法的跟蹤成功率分別提高了2.3%、1.4%、1.7%和2.2%，這主要得益于本文算法引入了Conv5-1 層深度特征，有效抑制了跟蹤漂移。

圖4 10 種算法在OTB-50 的成功率曲線圖和距離精度曲線圖

圖5 10 種算法在OTB-100 的成功率曲線圖和距離精度曲線圖

圖6 10 種算法在OTB-50 4 種挑戰(zhàn)性場景下的成功率曲線圖

表1 給出了10 種算法在OTB-100 上的性能對比，加星號的算法表示使用了深度特征。在使用深度特征的4 種算法中，本文算法跟蹤速度排名第2，達到實時跟蹤的要求。在跟蹤成功率及精確度方面，本文算法均排名第1，跟蹤成功率相比STRCF，提高了2.2%，相比Staple_CA 則提升了10.7%。數(shù)據(jù)對比可以看出，本文算法兼顧了跟蹤精度和跟蹤速度。

表1 10 種算法在OTB-100 上的性能對比

為更加直觀地評價本文算法在復(fù)雜環(huán)境下的性能表現(xiàn)，表2 給出了本文算法與其他9 種目標(biāo)跟蹤算法在OTB-100 基準(zhǔn)數(shù)據(jù)集中11 個具有挑戰(zhàn)性的屬性上的精確度圖統(tǒng)計數(shù)據(jù)，以加粗字體標(biāo)識單個屬性的最優(yōu)結(jié)果，加粗下劃線為第2 好結(jié)果。本文算法在8 種屬性的精確度圖中排在第1 位，其余3 種屬性均排在第2 位，且全部優(yōu)于TADT 算法，說明本文算法增加的位置優(yōu)化模塊有效增強了各種復(fù)雜情形下算法對目標(biāo)的定位能力，一系列對比數(shù)據(jù)有力地證明了本文改進算法的合理性及有效性。

表2 在OTB-100 數(shù)據(jù)集上多屬性比較結(jié)果

3.3 定性比較

為了更加直觀地展示各種算法的跟蹤效果，下頁圖7 給出了本文算法與TADT、STRCF、MCCT_H、ECO_HC、DeepLMCF 等5 種綜合性能排名靠前算法在5 個挑戰(zhàn)性視頻序列的可視化跟蹤結(jié)果對比，這5 個視頻序列依次為Bolt、MotorRolling、Bird1、DragonBaby 及Soccer。定性分析如下：

圖7 6 種算法在5 個挑戰(zhàn)性視頻序列的跟蹤結(jié)果比較

1）Bolt 視頻序列中存在遮擋、變形、平面內(nèi)旋轉(zhuǎn)等挑戰(zhàn)。TADT 算法因為只使用Conv4-3 層特征定位目標(biāo)，在第246 幀時丟失目標(biāo)，本文算法使用了更深層特征，有效解決了這一問題。

2）MotorRolling 視頻序列中存在尺度變化、快速運動、平面內(nèi)旋轉(zhuǎn)、背景干擾等挑戰(zhàn)。從第142 幀和150 幀的截圖看出，只有本文算法和DeepLMCF可以準(zhǔn)確跟蹤。

3）Bird1 視頻序列存在長時遮擋、快速運動、出視野、形變等多種復(fù)雜因素的干擾。在Bird1 視頻序列中，第204 幀時STRCF 和ECO_HC 算法丟失目標(biāo)，308 幀時只有本文算法和TADT 可以跟蹤，本文算法的目標(biāo)定位更加精確，第406 幀時只有本文算法可以定位目標(biāo)。

4）DragonBaby 和Soccer 視頻序列中存在尺度

變化、平面內(nèi)（外）旋轉(zhuǎn)、遮擋、快速運動、運動模糊、出視野等多種挑戰(zhàn)因素。DragonBaby 視頻序列的第57 幀ECO_HC 算法出現(xiàn)了跟蹤漂移，第88 幀時TADT 及MCCT_H 也丟失了目標(biāo)，從第94 幀可以看出，本文算法跟蹤最為準(zhǔn)確。從Soccer 視頻序列的第178 幀和388 幀截圖可以看出，本文算法無論是范圍定位還是精確定位均為最佳。

4 結(jié)論

本文在孿生網(wǎng)絡(luò)框架下，結(jié)合通道選擇與目標(biāo)位置優(yōu)化模塊，提出了一種新型目標(biāo)跟蹤算法。通過梯度計算實現(xiàn)針對不同跟蹤目標(biāo)選擇特定特征通道，同時引入峰值旁瓣比對跟蹤結(jié)果進行可信度判斷，進而根據(jù)判斷結(jié)果分別進行后續(xù)優(yōu)化處理。與近年來提出的多個優(yōu)秀算法在OTB 數(shù)據(jù)集上進行了定量與定性分析，從一系列對比數(shù)據(jù)可以看出，本文算法具有最好的跟蹤精度與成功率，且有效解決了TADT 算法應(yīng)對物體形變、低分辨率等能力較差的問題，具有一定的理論與實際應(yīng)用價值。后續(xù)工作重點是在跟蹤目標(biāo)的尺度估計方面進一步改進，以更好地適應(yīng)目標(biāo)的旋轉(zhuǎn)、形變等場景。