孟曉燕， 段建民

(北京工業(yè)大學(xué)信息學(xué)部， 北京 100124)

目標(biāo)跟蹤是一個(gè)機(jī)遇與挑戰(zhàn)并存的機(jī)器視覺(jué)研究方向，因在自動(dòng)駕駛[1]、交通流監(jiān)控[2]、人機(jī)交互[3]、機(jī)器人[4]、醫(yī)學(xué)診斷[5]和行為識(shí)別[6]等領(lǐng)域得到廣泛應(yīng)用，而成為了研究熱點(diǎn). 機(jī)遇主要體現(xiàn)在雖然經(jīng)過(guò)十幾年的研究，該方向已經(jīng)有了許多突破性的進(jìn)展，但是仍然存在進(jìn)一步深入研究和提升的空間. 挑戰(zhàn)性則體現(xiàn)在復(fù)雜環(huán)境和目標(biāo)本身2個(gè)方面，具體而言，跟蹤失敗可以歸因于跟蹤過(guò)程中發(fā)生的遮擋、光照變化、尺度和形態(tài)差異以及快速運(yùn)動(dòng)等不利因素.

目標(biāo)跟蹤旨在從連續(xù)視頻幀中識(shí)別出感興趣區(qū)域. 一般而言，跟蹤框架由4個(gè)模塊組成，分別是目標(biāo)初始化、外觀建模、運(yùn)動(dòng)估計(jì)和目標(biāo)定位. 目標(biāo)初始化是對(duì)目標(biāo)的位置或感興趣區(qū)域標(biāo)示包圍框的過(guò)程，外觀建模是由具備判別能力的目標(biāo)特征和構(gòu)造的數(shù)學(xué)模型組成的檢測(cè)過(guò)程，運(yùn)動(dòng)估計(jì)是推斷跟蹤后續(xù)幀中目標(biāo)所處位置的過(guò)程，而目標(biāo)定位操作則涉及到最大后驗(yàn)概率預(yù)測(cè)或貪婪搜索策略. 大量的跟蹤算法被相繼提出，回答了何為視覺(jué)目標(biāo)跟蹤，何種學(xué)習(xí)機(jī)制適用于跟蹤任務(wù)，以及如何有效定義外觀模型和運(yùn)動(dòng)模型等問(wèn)題. 文獻(xiàn)[7-11]從不同的側(cè)重點(diǎn)對(duì)跟蹤算法進(jìn)行了調(diào)查，但是考慮到近年來(lái)該領(lǐng)域的迅速發(fā)展，以及相關(guān)濾波和深度學(xué)習(xí)在完成跟蹤任務(wù)時(shí)的突出表現(xiàn)，目前仍缺乏一個(gè)針對(duì)性較強(qiáng)且相對(duì)全面的論述. 本文旨在提供一個(gè)基于相關(guān)濾波理論的目標(biāo)跟蹤方法的研究進(jìn)展綜述，希望可以為讀者們就跟蹤算法的多樣性提供一個(gè)有組織、有層次的參考文獻(xiàn)，并為其未來(lái)將要開(kāi)展的研究工作提供有價(jià)值的參考思路.

本文工作如下：首先對(duì)相關(guān)濾波跟蹤算法進(jìn)行了介紹，并且對(duì)核相關(guān)濾波器進(jìn)行了詳細(xì)描述. 然后就視覺(jué)目標(biāo)跟蹤面臨的主要難題、目前的研究現(xiàn)狀等方面展開(kāi)分析與討論. 最后在OTB2013、OTB100和VOT2017基準(zhǔn)數(shù)據(jù)集上，對(duì)具有代表性的相關(guān)濾波類跟蹤算法進(jìn)行了對(duì)比，進(jìn)一步說(shuō)明了其優(yōu)越性.

1 相關(guān)濾波類跟蹤算法

基于相關(guān)濾波理論的跟蹤方案在頻域內(nèi)進(jìn)行計(jì)算有效控制了運(yùn)算成本，提高了跟蹤效率. 依據(jù)已有知識(shí)，可將相關(guān)濾波跟蹤器(correlation filter trackers，CFTs)的一般框架歸納為圖1. 首先在初始幀確定的目標(biāo)位置提取圖像塊，訓(xùn)練濾波器. 然后在跟蹤過(guò)程中，根據(jù)前一幀中的目標(biāo)位置，在當(dāng)前幀中估計(jì)包含目標(biāo)的圖像塊. 為了有效地表示目標(biāo)外觀，可在選定的圖像塊中提取手工特征、深度特征或融合特征，并利用余弦窗口平滑邊界. 通過(guò)離散傅里葉變換執(zhí)行相關(guān)濾波操作. 最后通過(guò)傅里葉逆變換得到響應(yīng)地圖，響應(yīng)得分最大值所在的位置即為目標(biāo)在當(dāng)前幀中的新位置.

1.1 相關(guān)濾波理論

設(shè)h為相關(guān)濾波器，x為輸入數(shù)據(jù)，可以取圖像特征或原始像素. 根據(jù)卷積定理，空域中的卷積等于頻域中元素間的乘積，可得

x?h=F-1(⊙*)

(1)

式中：?為卷積；⊙為元素間的乘法運(yùn)算；F-1為傅里葉逆變換；*為復(fù)共軛. 式(1)給出了輸入x和濾波器h之間的置信地圖，選擇目標(biāo)周圍置信度值最大處對(duì)相關(guān)濾波器進(jìn)行更新. 假設(shè)y為期望輸出，對(duì)于新目標(biāo)外觀z，相關(guān)濾波器h需滿足

y=F-1(⊙*)

(2)

因此，可得

(3)

1.2 核相關(guān)濾波器

文獻(xiàn)[12]將CFTs表示為求解嶺回歸問(wèn)題，利用循環(huán)矩陣對(duì)樣本進(jìn)行密集采樣，并引入核函數(shù)提升分類器的性能，具體的實(shí)現(xiàn)過(guò)程可以分為訓(xùn)練、檢測(cè)和更新3個(gè)部分.

1) 訓(xùn)練. 在第t幀中，以檢測(cè)到的目標(biāo)位置為中心選取大小為M×N的圖像塊x作為基樣本，采用循環(huán)移位得到訓(xùn)練樣本xi，其中i∈{0,1，…,M-1}×{0,1，…,N-1}. 對(duì)于遞歸最小二乘法(recursive least square，RLS)分類器，分類實(shí)質(zhì)為找到w使得函數(shù)f(x)=wTx在xi上的響應(yīng)與yi的平方誤差值最小，即

(4)

(5)

(6)

式中：σ為核函數(shù)參數(shù)；*為的復(fù)共軛.

2) 檢測(cè). 樣本訓(xùn)練完成之后，對(duì)于新讀入的視頻幀，選取以上一幀中估計(jì)的目標(biāo)位置為中心、大小為M×N的圖像塊上進(jìn)行檢測(cè)，得到的響應(yīng)圖表示為

f(z)=F-1((xz)⊙)

(7)

f(z)得分最大值處所對(duì)應(yīng)的位置即為當(dāng)前幀中目標(biāo)的位置.

3) 更新. 為了適應(yīng)跟蹤過(guò)程中目標(biāo)外觀的變化，采用線性插值的方式對(duì)濾波器和目標(biāo)外觀模型進(jìn)行更新，更新方式為

(8)

式中：t為幀數(shù)；θ為學(xué)習(xí)率.

2 視覺(jué)目標(biāo)跟蹤的難點(diǎn)

由于實(shí)際場(chǎng)景的復(fù)雜性以及目標(biāo)自身的變化，視覺(jué)目標(biāo)跟蹤面臨很多技術(shù)難點(diǎn)，本節(jié)主要從特征表示與尺度變化2個(gè)方面進(jìn)行分析. 與其他視覺(jué)任務(wù)一樣，對(duì)于目標(biāo)跟蹤而言，特征表示直接關(guān)系到目標(biāo)外觀模型的有效性，進(jìn)而影響跟蹤的成敗. 因此，選擇合適的獨(dú)立特征或融合特征是設(shè)計(jì)跟蹤框架時(shí)需要重點(diǎn)考慮的問(wèn)題. 此外，目標(biāo)在視頻序列中的尺度會(huì)隨著目標(biāo)與攝像機(jī)之間的距離發(fā)生改變，變大或變小均會(huì)對(duì)之后的建模產(chǎn)生不利影響，累計(jì)誤差導(dǎo)致跟蹤失敗.

2.1 特征表示

最初將相關(guān)濾波理論引入目標(biāo)跟蹤領(lǐng)域的MOSSE[13]跟蹤器和基于檢測(cè)的核循環(huán)結(jié)構(gòu)CSK[14]跟蹤器采用的均為單通道灰度特征，而灰度特征的表征能力不足以處理背景復(fù)雜或者目標(biāo)與背景顏色相似的情況. 之后Henriques等[12]將單通道特征擴(kuò)展為多通道方向梯度直方圖特征，利用圖像的梯度信息提升算法的跟蹤性能. 文獻(xiàn)[15]將Gray擴(kuò)展為多通道顏色名稱(color names，CN)特征，結(jié)合自適應(yīng)降維策略，在降低計(jì)算成本的同時(shí)提升了跟蹤性能. 方向梯度直方圖(histogram of oriente gridients，HOG)特征和顏色特征在描述目標(biāo)方面顯示出了明顯的優(yōu)勢(shì)，所以之后提出的許多算法采用的均為HOG特征或CN特征，如RPT[16]、DSST[17]、FDSST[18]和LMCF[19]等.

考慮到利用單一特征描述目標(biāo)的局限性，研究者們將關(guān)注點(diǎn)放在了如何融合不同特征的特性實(shí)現(xiàn)優(yōu)勢(shì)互補(bǔ)上，但是復(fù)雜特征不可避免地增加了計(jì)算復(fù)雜度，因此如何在保證跟蹤實(shí)時(shí)性的同時(shí)提升跟蹤性能是需要重點(diǎn)考慮的問(wèn)題. 文獻(xiàn)[20]從優(yōu)化特征表示的角度出發(fā)提出了SAMF跟蹤器，同時(shí)對(duì)Gray、CN和HOG特征進(jìn)行建模，提升了復(fù)雜環(huán)境下跟蹤器的魯棒性. 文獻(xiàn)[21]從特征間差異性角度出發(fā)，利用深度信息和顏色信息的優(yōu)勢(shì)互補(bǔ)，提出了DS-KCF跟蹤器，保證實(shí)時(shí)性的同時(shí)，有效提升了算法性能. 受HOG強(qiáng)大表征力的啟發(fā)，文獻(xiàn)[22]將一種新的描述算子MC-HOG與相關(guān)濾波框架結(jié)合提出了MOCA跟蹤器，利用多顏色通道的方向梯度直方圖特征進(jìn)行建模，在一定程度上提升了跟蹤器的性能. 文獻(xiàn)[23]提出的STAPLE算法通過(guò)保持2個(gè)獨(dú)立的回歸問(wèn)題來(lái)開(kāi)發(fā)每個(gè)補(bǔ)丁的固有結(jié)構(gòu)，采用HOG和全局顏色直方圖共同描述目標(biāo). 在顏色模板中，前景和背景區(qū)域由先前的估計(jì)位置計(jì)算，得到搜索區(qū)域中每個(gè)像素的得分，使用積分圖計(jì)算顏色響應(yīng)地圖. 在HOG模板中，在先前估計(jì)位置確定的搜索區(qū)域上提取HOG特征，并將其與CF卷積得到密集響應(yīng)模板，最終通過(guò)2個(gè)模板得分的線性組合估計(jì)出目標(biāo)的位置. 它可以視為DSST和DAT的互補(bǔ)與結(jié)合，2種算法高效無(wú)縫結(jié)合之后，不僅準(zhǔn)確性得以提升，其計(jì)算效率也有了顯著的提升，幀率達(dá)到了80幀/s，STAPLE的算法框架如圖2所示.

隨著深度學(xué)習(xí)的快速發(fā)展，許多結(jié)合深度卷積特征的CFTs應(yīng)運(yùn)而生. 文獻(xiàn)[24]在相關(guān)濾波框架中引入豐富的層次卷積特征用于視覺(jué)跟蹤，基于KCF框架，采用在ImageNet上使用VGG-19訓(xùn)練好的特定三層特征替代原始HOG特征進(jìn)行建模，有效提升了跟蹤性能. 文獻(xiàn)[25]在SRDCF框架的基礎(chǔ)上結(jié)合卷積特征進(jìn)行建模提出了DeepSRDCF跟蹤算法. 不同卷積層的特征適于完成不同的任務(wù)，低層特征利于定位，而高層特征因包含豐富的語(yǔ)義信息適于分類. CFNet[26]對(duì)比了所提算法框架分別使用conv1、conv2和conv5時(shí)的性能差異，得出了CFNet-conv2更適于完成跟蹤任務(wù)的結(jié)論. 之后提出的許多方法以不同的方式結(jié)合深度特征構(gòu)造跟蹤框架，獲得了優(yōu)異的成績(jī)，但是此類濾波器忽略了卷積層之間的關(guān)系，所以仍然存在一定的局限性. Danelljan等[27]提出的C-COT使用神經(jīng)網(wǎng)絡(luò)VGG-Net提取深度特征，將原始的彩色圖像和2個(gè)卷積層的輸出作為特征，雖然提升了準(zhǔn)確度，但是復(fù)雜的特征嚴(yán)重影響了計(jì)算速度，難以滿足實(shí)時(shí)性的要求. ECO[28]在其基礎(chǔ)上通過(guò)因式分解操作，將HOG、CN和卷積神經(jīng)網(wǎng)絡(luò)(convolution neural network，CNN)的維度進(jìn)行了不同程度的降維，減少了訓(xùn)練參數(shù)，進(jìn)而有效降低了計(jì)算復(fù)雜度. ECO+[29]將特征網(wǎng)絡(luò)換為ResNet-50，采用數(shù)據(jù)增強(qiáng)擴(kuò)充訓(xùn)練集，將淺層特征和深度特征分而治之，最終兩部分響應(yīng)自適應(yīng)融合得到最優(yōu)結(jié)果. 作者具體分析了淺層特征和深度特征的特征差異，得出了深度特征偏向于魯棒性而手工特征更關(guān)注準(zhǔn)確度的結(jié)論.

由上述討論可知，CFTs經(jīng)歷了從單通道特征到多通道特征、從單一特征到融合特征、從人工特征到深度特征的過(guò)程，如何為跟蹤任務(wù)匹配合適的特征以及采取何種方式進(jìn)行特征融合是實(shí)現(xiàn)跟蹤器性能提升急需解決的關(guān)鍵問(wèn)題.

2.2 自適應(yīng)尺度更新問(wèn)題

傳統(tǒng)CFTs通常采用固定大小的窗口，以致于在跟蹤過(guò)程中易發(fā)生目標(biāo)尺度增大、邊緣信息丟失或尺度減少引入背景干擾等問(wèn)題. 為了更好地處理目標(biāo)尺度變化帶來(lái)的跟蹤漂移問(wèn)題，許多學(xué)者從不同的角度進(jìn)行了研究. Li等[20]針對(duì)尺度問(wèn)題提出了SAMF方法，該方法在KCF跟蹤框架的基礎(chǔ)上，將濾波器在多尺度縮放的圖像塊上進(jìn)行檢測(cè)得到響應(yīng)地圖，取響應(yīng)最大的位置為目標(biāo)位置與最佳尺度. Danelljan等[17]提出的DSST算法同樣采取尺度窮舉的思路，與SAMF不同的是其采用的是分步窮舉策略，即先進(jìn)行平移跟蹤，后進(jìn)行尺度跟蹤. SAMF可以看作是一個(gè)全局尋優(yōu)的過(guò)程，而DSST可以看作是局部尋優(yōu)的過(guò)程，全局最優(yōu)并不能保證局部最優(yōu)，所以SAMF的得分最高處并不能保證尺度最優(yōu). 此外，與SAMF統(tǒng)一選取HOG+CN特征建模不同，DSST的分步策略為不同濾波器的特征描述子提供了更加靈活的選擇. 獨(dú)立尺度濾波器的引入，不可避免地增大了計(jì)算復(fù)雜度，而且相較于SAMF的7個(gè)粗略尺度，DSST的尺度池因包含了33個(gè)精細(xì)尺度，降低了計(jì)算效率. 之后提出的加速版FDSST[18]就是考慮到復(fù)雜度的問(wèn)題，采用降維操作和QR分解降低了計(jì)算量. 文獻(xiàn)[30]提出的多模板尺度自適應(yīng)核CFT-CF+MT，與文獻(xiàn)[17]和[20]采用的策略類似，也是在一定的尺度池中進(jìn)行窮舉搜索，使用后驗(yàn)概率取代最大似然概率，獲得了健壯的跟蹤性能. 文獻(xiàn)[31]借鑒配置獨(dú)立尺度濾波器的思路，將分步策略化為同步進(jìn)行，得到目標(biāo)最佳位置以及尺度. 考慮到連續(xù)幀中跟蹤目標(biāo)的尺度變化范圍較小，采用上述窮舉尺度池的方法一定程度上滿足了尺度更新的需要，而且配置獨(dú)立尺度濾波器的方法，具備很強(qiáng)的移植能力，為解決尺度變化問(wèn)題提供了一種可行的思路. 考慮到尺度濾波器的使用對(duì)于耗時(shí)的負(fù)面影響，Solis等[32]基于KCF框架提出了一種快速可伸縮方案，通過(guò)引入可調(diào)高斯核函數(shù)和幀間關(guān)鍵點(diǎn)匹配技術(shù)處理尺度問(wèn)題，并從特征描述子、模板大小等方面綜合降低了運(yùn)行時(shí)間，是一種高效的CFT.

除了窮舉尺度池的方法，分塊處理也是實(shí)現(xiàn)尺度自適應(yīng)的一種有效方式. 文獻(xiàn)[16]提出的可信塊跟蹤器RPT，由部件間的相對(duì)位置關(guān)系推斷目標(biāo)的尺度變換情況. 文獻(xiàn)[33]提出了一種實(shí)時(shí)分塊自適應(yīng)核相關(guān)濾波器RPAC，將跟蹤目標(biāo)分解為5個(gè)部件，為每個(gè)部件配備獨(dú)立的濾波器，通過(guò)計(jì)算各個(gè)響應(yīng)地圖中響應(yīng)得分最大處的變化來(lái)估計(jì)目標(biāo)尺度的變化. 文獻(xiàn)[34]從平衡準(zhǔn)確性與實(shí)時(shí)性的角度出發(fā)提出了DPCF跟蹤器，通過(guò)一個(gè)全局濾波器和多個(gè)部件濾波器間的耦合作用協(xié)同處理局部遮擋和尺度變化問(wèn)題.

除了早期的跟蹤器，之后提出的跟蹤框架大多包含了尺度適應(yīng)策略. 其中，尺度窮舉法和分塊模型是實(shí)現(xiàn)尺度自適應(yīng)的2個(gè)主要思路，如何在盡量不影響執(zhí)行速度的情況下，確定尺度因子及空間結(jié)構(gòu)是需要重點(diǎn)考慮的問(wèn)題.

3 研究現(xiàn)狀分析

目標(biāo)跟蹤之所以具有極大的挑戰(zhàn)性，是因?yàn)橐韵聨追矫嬉蛩豙35]：1) 目標(biāo)外觀信息的缺失；2) 背景噪聲的干擾；3) 不可避免的外觀變化. 盡管目前的研究已經(jīng)在建立外觀模型和魯棒跟蹤方面取得了明顯進(jìn)展，目標(biāo)跟蹤技術(shù)應(yīng)用于實(shí)際場(chǎng)景時(shí)仍然是一個(gè)非常復(fù)雜的問(wèn)題. 除了第2節(jié)中討論的特征表示以及尺度自適應(yīng)更新方面，像目標(biāo)遮擋、跟蹤漂移等問(wèn)題，也在很大程度上影響了跟蹤性能.

本節(jié)針對(duì)上述挑戰(zhàn)和問(wèn)題，分別從基本類CFTs、部件類CFTs、正則化類CFTs和Siamese網(wǎng)絡(luò)類CFTs共4個(gè)類別對(duì)已有的目標(biāo)跟蹤算法進(jìn)行分析與討論.

3.1 基本類CFTs

基本類CFTs以KCF為基本框架，旨在改進(jìn)KCF自身的缺陷以及處理不同的跟蹤難題. 具體而言，這些跟蹤器從特征表示、尺度變化的處理、核函數(shù)、長(zhǎng)期跟蹤、響應(yīng)分布以及算法集成等角度進(jìn)行優(yōu)化，以實(shí)現(xiàn)跟蹤性能的提升.

從特征優(yōu)化的角度出發(fā)，文獻(xiàn)[24]在相關(guān)濾波框架中引入了豐富的層次卷積特征用于視覺(jué)跟蹤，提出了HCFT跟蹤器. HCFT在KCF框架中引入在ImageNet上使用VGG-19訓(xùn)練好的特定三層特征替代原始HOG特征，并為每一層特征配置獨(dú)立的相關(guān)濾波器進(jìn)行模板學(xué)習(xí)，得到置信圖后進(jìn)行加權(quán)融合獲取目標(biāo)位置. 目標(biāo)定位時(shí)，兼顧了低層特征的高分辨率優(yōu)勢(shì)和高層特征的語(yǔ)義信息，提升了跟蹤的精確度和魯棒性. Ma等[36]對(duì)HCFT進(jìn)行了擴(kuò)展，加入重檢測(cè)模塊和尺度估計(jì)，提出了基于層次關(guān)聯(lián)特征的跟蹤器HCFT+. 文獻(xiàn)[37]學(xué)習(xí)卷積層輸出的CF編碼目標(biāo)外觀，推斷每一層的響應(yīng)，并以由粗到細(xì)的方式進(jìn)行目標(biāo)定位. 算法增加額外的CF用以保持目標(biāo)外觀的長(zhǎng)期記憶，而且將其應(yīng)用于不同類型的目標(biāo)方案. Qi 等[38]提出的HDT算法同樣在特征層面進(jìn)行了研究，集成了CNN不同層特征的優(yōu)勢(shì)，首先通過(guò)相關(guān)濾波器在卷積層建立弱跟蹤器，并為每一個(gè)弱分類器分配權(quán)重作為決策置信，然后采用boosting的思想進(jìn)行對(duì)沖生成強(qiáng)跟蹤器，得到最終的跟蹤結(jié)果，HDT跟蹤框架如圖3所示.

從處理尺度變化的角度出發(fā)，Zhang等[39]在KCF基本框架上提出的RAJSSC算法更能夠同時(shí)從空間位移、尺度變化和旋轉(zhuǎn)變化對(duì)目標(biāo)外觀變化建立模型. 算法首先通過(guò)循環(huán)矩陣在尺度和位置空間執(zhí)行窮舉搜索，然后將目標(biāo)模板從笛卡兒坐標(biāo)系轉(zhuǎn)移到對(duì)數(shù)極坐標(biāo)系，確保目標(biāo)發(fā)生旋轉(zhuǎn)時(shí)，仍能保持其循環(huán)結(jié)構(gòu). Li等[20]針對(duì)尺度問(wèn)題提出了SAMF方法，將濾波器在多尺度縮放的圖像塊上進(jìn)行檢測(cè)得到響應(yīng)地圖，取響應(yīng)最大的位置為目標(biāo)位置與最佳尺度. Danelljan等提出的DSST[17]算法和加速版FDSST[18]同樣采取尺度窮舉的思路對(duì)尺度變換進(jìn)行了處理，具體的實(shí)現(xiàn)方式已在2.2節(jié)中給出. 類似文獻(xiàn)[17-18,20]采用的窮舉尺度池方法一定程度上滿足了尺度更新的需要，為解決尺度變化問(wèn)題提供了一種可行的思路. 考慮到尺度濾波器的使用對(duì)于耗時(shí)的負(fù)面影響，文獻(xiàn)[32]基于KCF框架提出了一種快速可伸縮方案，通過(guò)引入可調(diào)高斯核函數(shù)和幀間關(guān)鍵點(diǎn)匹配技術(shù)處理尺度問(wèn)題. 文獻(xiàn)[40]將Edgeboxes引入KCF框架提出了KCFDPT方法，通過(guò)生成目標(biāo)候選區(qū)域應(yīng)對(duì)目標(biāo)尺度和長(zhǎng)寬比的變化.

從核函數(shù)的角度出發(fā)，文獻(xiàn)[41]針對(duì)基本相關(guān)濾波器只使用單核的問(wèn)題，提出一種基于多核相關(guān)濾波器的跟蹤算法，算法充分利用不同特征的冪頻譜(power spectrums)及其判別不變性來(lái)提升性能，并且采用最優(yōu)二分搜索和特征快速估計(jì)進(jìn)行尺度估計(jì)，同時(shí)利用特征金字塔的最小層數(shù)，有效降低了計(jì)算量.

從實(shí)現(xiàn)長(zhǎng)期跟蹤的角度出發(fā)，文獻(xiàn)[42]在DSST的基礎(chǔ)上，引入了負(fù)責(zé)目標(biāo)置信度的相關(guān)濾波器，即通過(guò)平移CF、尺度CF和置信度CF共同實(shí)現(xiàn)目標(biāo)的跟蹤任務(wù). 如圖4所示，LCT通過(guò)對(duì)時(shí)間上下文相關(guān)信息建模實(shí)現(xiàn)平移估計(jì)，采用外觀信息構(gòu)建尺度金字塔實(shí)現(xiàn)尺度估計(jì)，使用在線隨機(jī)ferns檢測(cè)器實(shí)現(xiàn)目標(biāo)丟失情況下的重新檢測(cè)，很大程度上提升了目標(biāo)大面積遮擋和移除視野情況下跟蹤的魯棒性. 作者在LCT基礎(chǔ)上，使用支持向量機(jī)(support vector machine，SVM)替代在線隨機(jī)ferns檢測(cè)作為重檢測(cè)模塊提出了ILCT[43]方法. 文獻(xiàn)[44]受認(rèn)知心理學(xué)ASMM(Atkinson-Shiffrin memory model)啟發(fā)提出了多存儲(chǔ)跟蹤器MUSTer，將短期存儲(chǔ)和長(zhǎng)期存儲(chǔ)聚合到圖像信息并進(jìn)行跟蹤. 短期存儲(chǔ)涉及到一個(gè)集成相關(guān)濾波器ICF用于結(jié)合時(shí)空一致性，而長(zhǎng)期存儲(chǔ)涉及到隨機(jī)抽樣一致算法(random sample consensus，RANSAC)估計(jì)和關(guān)鍵點(diǎn)匹配跟蹤控制輸出.

從響應(yīng)分布的角度出發(fā)，文獻(xiàn)[45]為克服單中心高斯分布作為目標(biāo)響應(yīng)會(huì)降低跟蹤性能的缺陷，提出了一種可以自適應(yīng)更改目標(biāo)響應(yīng)的通用框架，以降低跟蹤器循環(huán)位移不能可靠近似轉(zhuǎn)換時(shí)的敏感性. 文獻(xiàn)[46]基于濾波器響應(yīng)的各向異性，提出了3種稀疏損失函數(shù)用以減少濾波器的損耗及過(guò)擬合情況. 文獻(xiàn)[47]同樣針對(duì)KCF濾波器的響應(yīng)分布問(wèn)題，提出了一種輸出約束轉(zhuǎn)移方法，在貝葉斯優(yōu)化框架中對(duì)相關(guān)響應(yīng)的分布進(jìn)行建模，緩解了跟蹤的漂移問(wèn)題. 一方面，OCT基于對(duì)目標(biāo)的相關(guān)響應(yīng)服從高斯分布的合理解釋，利用高斯分布選擇訓(xùn)練樣本，降低了模型的不確定性. 另一方面，OCT基于將數(shù)據(jù)分布轉(zhuǎn)換為優(yōu)化變量約束的理論，提升了估計(jì)效率.

從算法集成的角度出發(fā)，由于每種跟蹤算法之間都存在一定的差異，它們根據(jù)被跟蹤目標(biāo)以及環(huán)境的不同進(jìn)行假設(shè)，因此不同算法均能體現(xiàn)出自身的優(yōu)勢(shì)和不足，對(duì)不同算法進(jìn)行集成實(shí)現(xiàn)優(yōu)勢(shì)互補(bǔ)是提升跟蹤性能的一種有效方式. 文獻(xiàn)[48]提出了一種基于支持相關(guān)濾波器的跟蹤器SCF. 算法通過(guò)循環(huán)矩陣對(duì)SVM模型進(jìn)行重構(gòu)，將交替優(yōu)化過(guò)程與離散傅里葉變化結(jié)合，即將跟蹤問(wèn)題轉(zhuǎn)換為支持相關(guān)濾波器的迭代學(xué)習(xí)過(guò)程，進(jìn)而實(shí)時(shí)找到全局最優(yōu)解. 文獻(xiàn)[19]提出的LMCF算法，同樣使用結(jié)構(gòu)SVM作為分類器，引入相關(guān)濾波器的速度優(yōu)勢(shì)，通過(guò)多峰檢測(cè)避免了相似物體和背景的干擾，并且采用高效的模型更新策略，兼顧準(zhǔn)確性的同時(shí)大大加快了計(jì)算效率. 文獻(xiàn)[49]提出了一種多任務(wù)相關(guān)粒子濾波器進(jìn)行視覺(jué)跟蹤，所提的MCPF跟蹤框架結(jié)合了MCF和粒子濾波器的優(yōu)勢(shì)，利用不同特征之間的相關(guān)性聯(lián)合學(xué)習(xí)相關(guān)濾波器，通過(guò)粒子抽樣策略有效處理了尺度變化問(wèn)題，并引導(dǎo)抽樣粒子向目標(biāo)狀態(tài)分布的模式方向運(yùn)動(dòng)以提升跟蹤性能. 文獻(xiàn)[50]提出的并行跟蹤與驗(yàn)證跟蹤框架從尋求跟蹤性能和效率間平衡點(diǎn)的角度出發(fā)，將跟蹤過(guò)程分為跟蹤器和驗(yàn)證器2個(gè)部分. 跟蹤部分采用FDSST算法，負(fù)責(zé)計(jì)算實(shí)時(shí)推理和估計(jì)跟蹤結(jié)果，驗(yàn)證器部分負(fù)責(zé)多尺度驗(yàn)證結(jié)果，其中跟蹤部分和驗(yàn)證部分采用2個(gè)線程工作異步進(jìn)行.

3.2 正則化類CFTs

判別式相關(guān)濾波器的跟蹤性能主要受到3個(gè)方面的限制：1) 濾波器尺寸需要和塊尺寸相等的條件限制了檢測(cè)范圍. 2) 固定的搜索區(qū)域造成了訓(xùn)練樣本集中負(fù)樣本的缺失，產(chǎn)生模型過(guò)擬合的情況，當(dāng)跟蹤發(fā)生遮擋時(shí)難以實(shí)現(xiàn)重新檢測(cè). 3) 采用周期假設(shè)產(chǎn)生邊界效應(yīng)問(wèn)題. 雖然選擇較大的搜索區(qū)域可以解決此類問(wèn)題，但是引入過(guò)多的背景信息又會(huì)降低跟蹤器的判別能力，因此，研究者們引入正則化策略來(lái)改善這一問(wèn)題，許多正則化類相關(guān)濾波器應(yīng)運(yùn)而生.

針對(duì)判別相關(guān)濾波器采用周期假設(shè)導(dǎo)致不必要的邊界效應(yīng)這一問(wèn)題，文獻(xiàn)[51]在DCF框架中引入正則項(xiàng)提出了空間正則化判別CFT-SRDCF. 算法根據(jù)空間位置確定濾波器的懲罰系數(shù)，弱化了背景信息的干擾，并利用高斯- 賽德?tīng)柕椒ㄟM(jìn)行在線訓(xùn)練，提升了跟蹤性能. SRDCF對(duì)尺度變化的處理方法采用了SAMF[20]的尺度金字塔法. 通過(guò)引入空間權(quán)重函數(shù)對(duì)目標(biāo)邊界框外的非零濾波器進(jìn)行懲罰的思路是合理的，但是權(quán)重在整個(gè)序列中是固定的，只能抑制背景，卻不能隨著形狀的變化而增強(qiáng)目標(biāo). 文獻(xiàn)[52]在判別相關(guān)濾波框架中結(jié)合了顏色概率，提出了基于通道可靠性和空間置信度的CSR-DCF跟蹤方法. 一方面，空間置信度地圖支持濾波器自適應(yīng)選擇適于跟蹤的目標(biāo)區(qū)域，減少了不必要的邊界效應(yīng)和矩形假設(shè)的局限性. 另一方面，CSR-DCF框架對(duì)多通道特征直接求和的方式進(jìn)行了優(yōu)化，首先根據(jù)約束最小二乘解的性質(zhì)估計(jì)得到通道可靠性，將其作為加權(quán)系數(shù)，然后采用自適應(yīng)加權(quán)求和策略得到最終的響應(yīng)結(jié)果，其算法框架如圖5所示. SRDCF和CSR-DCF都專注于懲罰濾波器，其中SRDCF是引入固定的權(quán)值來(lái)抑制邊界處的濾波器，而CSR-DCF采用二值分割模型來(lái)消除對(duì)應(yīng)背景的濾波器系數(shù). 文獻(xiàn)[53]從不同于SRDCF和CSR-DCF的思路出發(fā)，通過(guò)構(gòu)造自適應(yīng)特征權(quán)值來(lái)為像素分配不同的權(quán)值，兼?zhèn)浔尘耙种坪湍繕?biāo)增強(qiáng)，提出了FWDCF跟蹤器. FWDCF的一個(gè)主要貢獻(xiàn)是提出了偽相關(guān)濾波變量，將自適應(yīng)權(quán)重整合于DCF框架，并采用高斯- 賽德?tīng)柗ㄔ诟道锶~域進(jìn)行優(yōu)化求解.

Danelljan等[54]將SRDCF框架在樣本質(zhì)量層面進(jìn)行了優(yōu)化發(fā)展為SRDCFdecon，通過(guò)一個(gè)聯(lián)合外觀模型和樣本質(zhì)量權(quán)重的統(tǒng)一公式實(shí)現(xiàn)了損壞樣本的降低和正確樣本的增加. 文獻(xiàn)[25]使用CNN特征替代了原框架中采用的手工特征，提出了DeepSRDCF算法，并且證明了淺層卷積層與深層相比更適于完成視覺(jué)跟蹤任務(wù). 隨著深度運(yùn)動(dòng)特征在動(dòng)作識(shí)別領(lǐng)域的廣泛應(yīng)用，文獻(xiàn)[55]將深度運(yùn)動(dòng)特征和手工特征融合共同作用于SRDCF框架，提出了DMSRDCF算法，因深度運(yùn)動(dòng)特征為外觀線索提供了互補(bǔ)信息而顯著提升了跟蹤性能. 文獻(xiàn)[56]對(duì)DMSRDCF的工作進(jìn)行了擴(kuò)展，具體分析了深度運(yùn)動(dòng)特征對(duì)視覺(jué)目標(biāo)跟蹤的影響及其適用條件.

在在線被動(dòng)攻擊學(xué)習(xí)的啟發(fā)下，從平衡主動(dòng)學(xué)習(xí)和被動(dòng)學(xué)習(xí)的角度出發(fā)，文獻(xiàn)[57]將時(shí)間正則化引入到SRDCF框架中，提出了時(shí)空正則化相關(guān)濾波器STRCF. 該框架不僅可以合理地逼近多幅訓(xùn)練樣本上的SRDCF形式，而且在發(fā)生巨大形變時(shí)體現(xiàn)出了更強(qiáng)的魯棒性. STRCF模型是凸的，采用交替方向乘子法(alternating direction method of multiplier，ADMM)對(duì)每個(gè)子問(wèn)題進(jìn)行求解時(shí)均能得到閉合解，而且能在迭代次數(shù)較少時(shí)實(shí)現(xiàn)收斂，得到最終的跟蹤結(jié)果. 文獻(xiàn)[58]在時(shí)空正則化相關(guān)濾波框架中引入雙色聚類直方圖模型提出了CSCT跟蹤方法. 首先，采用K-means算法對(duì)第一幀中目標(biāo)真值的顏色通道進(jìn)行聚類，生成一個(gè)數(shù)據(jù)自適應(yīng)非均勻量化器用于設(shè)計(jì)顏色直方圖，從而得到更加魯棒的顏色模型. 然后，為了避免外觀突變?cè)斐傻母櫰疲珻SCT框架提出了一種時(shí)空正則化方法來(lái)學(xué)習(xí)濾波器. 最后，將顏色聚類直方圖模型與時(shí)空正則化相關(guān)濾波模型進(jìn)行線性組合，得到最終的外觀模型.

文獻(xiàn)[27]提出的C-COT方法使用VGG-Net提取特征，通過(guò)隱式插值將不同分辨率的特征圖插值到連續(xù)空間域，應(yīng)用Hessian矩陣獲得亞像素精度的目標(biāo)位置. 針對(duì)C-COT使用高維特征訓(xùn)練大量濾波器而且每幀更新造成計(jì)算量增加的缺陷，文獻(xiàn)[28]在C-COT基礎(chǔ)上，提出了改進(jìn)版本的ECO跟蹤框架，從3個(gè)方面對(duì)C-COT進(jìn)行了優(yōu)化. 首先，ECO通過(guò)矩陣分解卷積操作對(duì)濾波器進(jìn)行降維，得到了一組具有顯著能量的緊湊型濾波器. 其次，從圖6給出的C-COT和ECO的訓(xùn)練樣本可看出，C-COT的訓(xùn)練集由一系列連續(xù)的樣本組成，這樣既產(chǎn)生了大量的冗余樣本又可能導(dǎo)致對(duì)近期樣本的過(guò)度擬合，而ECO將樣本劃分為一定數(shù)量具備類內(nèi)相似性和類間差異性的組件，利用混合高斯模型對(duì)組件外觀進(jìn)行表示，在降低樣本數(shù)量的同時(shí)提升了樣本的判別能力. 最后，ECO采用稀疏型模型更新策略進(jìn)一步降低了計(jì)算復(fù)雜度. 針對(duì)ECO不能受益于更好更深的深度特征這一反?，F(xiàn)象，文獻(xiàn)[29]提出了ECO+算法. 在ECO的基礎(chǔ)上，ECO+將特征網(wǎng)絡(luò)換為ResNet-50，采用數(shù)據(jù)增強(qiáng)擴(kuò)充訓(xùn)練集，將淺層特征和深度特征分而治之，最終兩部分響應(yīng)自適應(yīng)融合得到最優(yōu)結(jié)果. 文獻(xiàn)[59]同樣是從利用相關(guān)濾波器的在線學(xué)習(xí)效率和CNN特征的判別能力進(jìn)行結(jié)合的思路出發(fā)，在ECO框架的基礎(chǔ)上提出了CFWCR方法. 首先從訓(xùn)練好的CNN的不同層提取的每個(gè)特征進(jìn)行歸一化，然后對(duì)每個(gè)特征的加權(quán)卷積響應(yīng)進(jìn)行求和，得到最終的響應(yīng)得分. 文獻(xiàn)[60]對(duì)CFWCR的工作進(jìn)行了進(jìn)一步的發(fā)展，提出了MFT算法. 針對(duì)CNN不同層次的特征和跟蹤中遇到的不同問(wèn)題之間的關(guān)聯(lián)性，MFT框架為不同的特性配置不同的特征，并且采用獨(dú)立求解的方式，根據(jù)視頻的特性自適應(yīng)調(diào)整融合權(quán)重，得到更加健壯的跟蹤器. 文獻(xiàn)[61]分析了深度特征的空間信息，提出了LSART跟蹤方法. 首先，提出一種KRR模型，證明了該模型可以采用神經(jīng)網(wǎng)絡(luò)的方法進(jìn)行求解. 然后，提出了一個(gè)具有空間正則化核的CNN，每個(gè)輸出通道對(duì)應(yīng)的濾波器聚焦于目標(biāo)的特定區(qū)域，并且通過(guò)距離變換池確定卷積層各輸出通道的有效性. 最后，聯(lián)合KRR模型和CNN的輸出，得到最終的響應(yīng)值.

針對(duì)現(xiàn)有的空間正則化方法通過(guò)簡(jiǎn)單的預(yù)定義約束來(lái)正則化濾波器，忽略了特征輸入的多樣性和冗余性的缺陷，文獻(xiàn)[62]提出了一種基于構(gòu)建自適應(yīng)空間特征選擇外觀模型的LADCF跟蹤方法. 該框架利用時(shí)間一致性設(shè)計(jì)了一個(gè)低維判別流形空間，實(shí)現(xiàn)了可靠靈活的時(shí)間信息壓縮，進(jìn)而減少了濾波器的退化，保留了圖像的多樣性. 在實(shí)驗(yàn)時(shí)，只選擇了5%的手工特征和20%的深度特征，卻獲得了更好的性能，同時(shí)解決了邊界效應(yīng)和背景雜波的問(wèn)題. 為了更好地利用未標(biāo)記的數(shù)據(jù)和樣本空間的流形結(jié)構(gòu)，文獻(xiàn)[63]提出了一種基于增廣樣本的流形正則化CFT-MRCT，利用矩陣的塊循環(huán)結(jié)構(gòu)從目標(biāo)區(qū)域和非目標(biāo)區(qū)域剪裁得到增廣樣本，通過(guò)標(biāo)記和未標(biāo)記的流形空間結(jié)構(gòu)，并且采用半監(jiān)督跟蹤框架提升了跟蹤性能. Mueller等[64]提出了一種基于內(nèi)容注意力機(jī)制的相關(guān)濾波跟蹤算法.

3.3 部件類CFTs

與全局外觀模型相比，許多跟蹤器采用局部分塊策略建立外觀模型. 其優(yōu)勢(shì)在于當(dāng)目標(biāo)發(fā)生部分遮擋時(shí)，未被遮擋的部分仍然可以有效地表示目標(biāo)的外觀模型，利用局部信息實(shí)現(xiàn)目標(biāo)跟蹤，而且分塊模型也是實(shí)現(xiàn)尺度自適應(yīng)的一種有效方式. 其劣勢(shì)則體現(xiàn)為模型分塊帶來(lái)的計(jì)算復(fù)雜度問(wèn)題，但是CFTs的高效性和魯棒性可以彌補(bǔ)這一缺陷，使其應(yīng)用于分塊模型時(shí)具有極大的優(yōu)勢(shì).

文獻(xiàn)[33]提出了一種基于部件的實(shí)時(shí)跟蹤方法RPAC. 如圖7所示，RPAC將跟蹤目標(biāo)分解為5個(gè)局部目標(biāo)，為每個(gè)部件配置獨(dú)立的相關(guān)濾波器進(jìn)行跟蹤，然后將部件濾波器的置信得分聯(lián)合得到最終的判定值. 為解決部件發(fā)生遮擋權(quán)重值仍較大引發(fā)誤跟蹤的問(wèn)題，作者綜合考慮峰值旁瓣比值與置信圖平滑約束來(lái)判斷部件的遮擋情況，并為每個(gè)部件分配權(quán)值，同時(shí)采用空間布局約束來(lái)抑制組合噪聲的干擾. 文獻(xiàn)[16]提出一種可信塊跟蹤方法，以KCF為基本濾波器，通過(guò)跟蹤可信度度量來(lái)衡量塊在跟蹤時(shí)的可信程度，在序列蒙特卡羅框架下用概率模型估計(jì)可信塊的分布，并通過(guò)霍夫投票來(lái)確定目標(biāo)的位置. 文獻(xiàn)[65]通過(guò)發(fā)掘和利用可信的部件來(lái)學(xué)習(xí)目標(biāo)模型，使用多方向遞歸神經(jīng)網(wǎng)絡(luò)遍歷候選區(qū)域來(lái)捕捉上下文信息. 在跟蹤過(guò)程中，利用神經(jīng)網(wǎng)絡(luò)生成置信度地圖，在充分利用可靠部件信息的同時(shí)，通過(guò)正則化判別相關(guān)濾波來(lái)抑制背景噪聲產(chǎn)生的影響. 文獻(xiàn)[66]提出的PKCF算法同樣以KCF為基濾波器訓(xùn)練每個(gè)模板塊，通過(guò)粒子濾波框架自適應(yīng)地設(shè)置每個(gè)塊的權(quán)重.

可變形部件在解決非剛性物體的形變和遮擋問(wèn)題時(shí)顯示出了巨大的潛力. 文獻(xiàn)[34]提出的DPCF方法基于可變形部件相關(guān)濾波器進(jìn)行目標(biāo)跟蹤，通過(guò)一個(gè)全局濾波器和多個(gè)部件濾波器間的耦合作用協(xié)同處理局部遮擋和尺度變化問(wèn)題. 首先，通過(guò)局部濾波器對(duì)應(yīng)特定的目標(biāo)部件實(shí)現(xiàn)粗略估計(jì)，為全局濾波器提供定位依據(jù). 然后，全局濾波器向部件濾波器提供反饋?zhàn)鳛楦潞拖嚓P(guān)形變參數(shù)的決策依據(jù)，具體算法框架如圖8所示. 文獻(xiàn)[67]提出的DPT方法也是一種基于相關(guān)濾波器的可變形部件跟蹤方法，將視覺(jué)和幾何特征約束為一個(gè)凸代價(jià)函數(shù)，并提出迭代直接法用于高效優(yōu)化. 跟蹤器在2個(gè)層次上對(duì)目標(biāo)進(jìn)行建模，綜合了根相關(guān)濾波器作為粗略表示與中層星型部件模型用于精確定位，同時(shí)采取自頂向下定位、自底向上更新的方式實(shí)現(xiàn)目標(biāo)跟蹤. 文獻(xiàn)[68]提出了一個(gè)統(tǒng)一的公式學(xué)習(xí)可變形卷積濾波器DCCO. 在這個(gè)框架中，形變?yōu)V波器由子濾波器的線性組合進(jìn)行表達(dá)，聯(lián)合優(yōu)化子濾波器的參數(shù)和它們之間的位置關(guān)系進(jìn)行模型學(xué)習(xí). 文獻(xiàn)[69]使用馬爾可夫隨機(jī)模型捕捉塊內(nèi)時(shí)空關(guān)系和遮擋先驗(yàn)知識(shí)實(shí)現(xiàn)了跟蹤性能的提升，并且使用一個(gè)高效密集的置信傳播用于所提馬爾可夫模型的推導(dǎo).

文獻(xiàn)[70]同樣借鑒全局與局部相結(jié)合的思路，提出了LGCF視覺(jué)跟蹤模型. 該模型有效聯(lián)合了局部和全局策略，通過(guò)部件和目標(biāo)之間的運(yùn)動(dòng)模型保持其內(nèi)部結(jié)構(gòu)，同時(shí)加入時(shí)間一致性緩解了模型漂移的問(wèn)題. 文獻(xiàn)[71]提出一種利用部件空間結(jié)構(gòu)的分塊自適應(yīng)核CFT-SSPA-KCF，該模型同時(shí)最小化外觀和形變代價(jià)以預(yù)測(cè)目標(biāo)的位置. 優(yōu)化過(guò)程分為2個(gè)部分，首先是采用KCF對(duì)部件的外觀進(jìn)行跟蹤加快計(jì)算速度，然后通過(guò)結(jié)構(gòu)化學(xué)習(xí)機(jī)制最小化形變代價(jià)函數(shù)以減小標(biāo)簽噪聲，最后結(jié)合最小生成樹(shù)和動(dòng)態(tài)規(guī)劃得到的部件外觀與形變得分確定目標(biāo)在當(dāng)前幀的位置.

與目前將目標(biāo)劃分為固定數(shù)目的部件相比，文獻(xiàn)[72]提出了一種基于動(dòng)態(tài)可變形部件集合的非剛性目標(biāo)跟蹤方法. 其中，保留形狀的核相關(guān)濾波器被引入到水平集框架中用于動(dòng)態(tài)地跟蹤單個(gè)目標(biāo)塊，具備了假設(shè)復(fù)雜拓?fù)浣Y(jié)構(gòu)的能力. 當(dāng)可變形部件捕獲單個(gè)目標(biāo)子區(qū)域時(shí)，使用光度判別和形狀變化去顯示單個(gè)目標(biāo)子區(qū)域的跟蹤性能，動(dòng)態(tài)選擇具有良好可跟蹤性的子區(qū)域進(jìn)行似然估計(jì)，最終實(shí)現(xiàn)目標(biāo)輪廓的確定.

分塊模型將局部圖像特征與幾何特征進(jìn)行結(jié)合，是視覺(jué)跟蹤的強(qiáng)大范例，具有一定的應(yīng)對(duì)部分遮擋、目標(biāo)形變和視角變化的能力. 其難點(diǎn)在于如何有效利用每個(gè)部件的時(shí)空置信圖對(duì)全局目標(biāo)位置進(jìn)行估計(jì)，如何處理部件間的空間位置關(guān)系、全局目標(biāo)與局部塊間的關(guān)系，以及遮擋、形變情況下部件可信度的計(jì)算. 分塊的數(shù)量和空間結(jié)構(gòu)關(guān)系與跟蹤的性能有著緊密聯(lián)系，如何在密集搜索時(shí)兼?zhèn)涞陀?jì)算成本是一個(gè)極具挑戰(zhàn)的問(wèn)題.

3.4 Siamese網(wǎng)絡(luò)類CFTs

在最近的研究中，基于Siamese網(wǎng)絡(luò)的視覺(jué)跟蹤算法因其高效性吸引了研究者們的注意，并取得了優(yōu)異的成績(jī). 1個(gè)Siamese網(wǎng)絡(luò)連接2個(gè)輸入生成1個(gè)輸出，通過(guò)共享卷積層或全連接層實(shí)現(xiàn)對(duì)2個(gè)圖像塊的相似性判別，目的是尋求不同輸入圖像中是否存在相同的目標(biāo). 文獻(xiàn)[73]提出的SiameseFC框架通過(guò)目標(biāo)區(qū)域和候選區(qū)域的相似性度量來(lái)完成跟蹤任務(wù)，如圖9(a)所示，SiameseFC是完全卷積的，輸入為目標(biāo)z和當(dāng)前幀中大于目標(biāo)的預(yù)測(cè)區(qū)域x，將z和x經(jīng)過(guò)φ之后得到的輸出送入相似性度量模塊，最終輸出結(jié)果為一個(gè)標(biāo)量值響應(yīng)分?jǐn)?shù)地圖，其尺寸取決于搜索圖像的大小，分值最高的位置即為目標(biāo)位置. 全卷積網(wǎng)絡(luò)使得待搜索區(qū)域不需要與目標(biāo)圖像具有相同尺寸，為網(wǎng)絡(luò)提供了更大的搜索區(qū)域，其中φ的體系結(jié)構(gòu)與文獻(xiàn)[74]中的類似，具體參數(shù)如表1所示. 為了應(yīng)對(duì)跟蹤過(guò)程中目標(biāo)的尺度變化，搜索圖像選取了5個(gè)尺度，分別是1.025{-2,-1,0,1,2}. 前文中提到的文獻(xiàn)[24-25，27]顯示了將深度特征與CF框架結(jié)合有助于提升跟蹤器的性能，但是上述文獻(xiàn)中的方法只是簡(jiǎn)單地利用提前訓(xùn)練好的深度特征，沒(méi)有進(jìn)行更加深入的整合. 針對(duì)這一局限性，并且考慮到SiameseFC全卷積結(jié)構(gòu)缺少同類目標(biāo)的判別性信息，文獻(xiàn)[26]在SiameseFC的基礎(chǔ)上引入相關(guān)濾波器提出了CFNet算法，將具有封閉解的相關(guān)濾波器視為可微的CNN層，通過(guò)反向傳播實(shí)現(xiàn)了端到端的學(xué)習(xí). 如圖9(b)給出的CFNet框架所示，在特征提取時(shí)，上下2個(gè)分支網(wǎng)絡(luò)是相同的，差別體現(xiàn)在樣例分支中加入的相關(guān)濾波器. 研究發(fā)現(xiàn)，CFNet與SiameseFC相比，在網(wǎng)絡(luò)層數(shù)較深時(shí)跟蹤精度方面提升有限，性能并沒(méi)有隨著網(wǎng)絡(luò)的加深而提高，甚至出現(xiàn)了降低，但是CFNet在網(wǎng)絡(luò)層數(shù)較淺時(shí)可以取得較好的效果，也就是說(shuō)CFNet能夠得益于輕量級(jí)網(wǎng)絡(luò)實(shí)現(xiàn)跟蹤效率與準(zhǔn)確性的兼顧. 不同于CFNet致力于改進(jìn)SiameseFC的初衷，文獻(xiàn)[75]同樣提出了一種端到端的輕量級(jí)網(wǎng)絡(luò)架構(gòu)DCFNet框架，學(xué)習(xí)卷積特征并執(zhí)行相關(guān)跟蹤過(guò)程. 具體來(lái)說(shuō)，DCFNet使用卷積層在離線訓(xùn)練過(guò)程中編碼先驗(yàn)信息，然后將DCF視為Siamese網(wǎng)絡(luò)中增加的一個(gè)特殊的相關(guān)濾波層，通過(guò)它將網(wǎng)絡(luò)輸出定義為目標(biāo)位置的概率熱圖，完成在線學(xué)習(xí)與跟蹤. 雖然相關(guān)濾波層需要在線更新，但是因?yàn)橥茖?dǎo)是在傅里葉頻域內(nèi)進(jìn)行的，所以得以保留了DCF的高效性.

表1 SiameseFC的網(wǎng)絡(luò)參數(shù)

作為匹配類跟蹤算法中的一種代表性方法，孿生網(wǎng)絡(luò)跟蹤模型具有超越實(shí)時(shí)速度的計(jì)算效率，但是匹配類算法本身缺乏在線適應(yīng)能力，難以捕捉跟蹤過(guò)程中目標(biāo)和背景發(fā)生的變化，很大程度上限制了跟蹤的精確度. 針對(duì)這一缺陷，文獻(xiàn)[76]在SiameseFC框架的基礎(chǔ)上增加了目標(biāo)外觀變換轉(zhuǎn)換層和背景抑制變換層，提出了動(dòng)態(tài)孿生網(wǎng)絡(luò)Dsiam[77]跟蹤方法. Dsiam算法的主要貢獻(xiàn)為：1) 分別在模板分支和搜索分支引入外觀變換轉(zhuǎn)換層和背景抑制轉(zhuǎn)換層，有效提升了模型的泛化能力. 2) 為了降低在線更新對(duì)計(jì)算效率產(chǎn)生的負(fù)面影響，并且得益于模型的循環(huán)卷積形式，采用FFT對(duì)所提更新模型進(jìn)行快速計(jì)算，兼顧了在線適應(yīng)能力與高效性. 3) Dsiam實(shí)現(xiàn)了元素層面的多層特征融合，具備自適應(yīng)融合不同層深度特征的能力. 文獻(xiàn)[78]從平衡跟蹤速度與精度的角度出發(fā)，提出了Early-Stopping跟蹤器. 根據(jù)幀的難易程度自適應(yīng)選擇學(xué)習(xí)特征，利用馬爾可夫決策求解跟蹤問(wèn)題，對(duì)易于處理的視頻幀通過(guò)相關(guān)濾波結(jié)合人工特征完成，而對(duì)于困難幀采用孿生網(wǎng)絡(luò)結(jié)合深度卷積特征完成，并且利用強(qiáng)化學(xué)習(xí)判斷是否向后續(xù)卷積層繼續(xù)，有效避免了需要最后一層做出決策的局限，提升了跟蹤效率. 文獻(xiàn)[79]提出的CREST算法將特征提取、生成響應(yīng)地圖和模型更新集成到神經(jīng)網(wǎng)絡(luò)中，采用end-to-end的訓(xùn)練方式，在跟蹤過(guò)程中沒(méi)有采用循環(huán)移位和離散傅里葉變化，直接進(jìn)行空間卷積運(yùn)算，生成密集響應(yīng)地圖. 如圖10給出的CREST算法框架所示，左邊部分采用孿生網(wǎng)絡(luò)提取特征地圖，右邊部分是在DCF Base mapping的基礎(chǔ)上引入了2個(gè)殘差學(xué)習(xí)：空間殘差和時(shí)間殘差. 其中，空間殘差使用3層網(wǎng)絡(luò)，輸入為當(dāng)前幀的特征地圖，當(dāng)目標(biāo)受到如遮擋、光照變化等外部干擾因素的影響造成DCF無(wú)法回歸到真值時(shí)，空間殘差被用于進(jìn)行響應(yīng)修正. 時(shí)間殘差的輸入則是初始幀的特征地圖，其作用是在空間殘差與DCF均無(wú)法回歸到真值時(shí)，對(duì)響應(yīng)地圖進(jìn)行修正. 由此可見(jiàn)，殘差學(xué)習(xí)的引入提高了外觀發(fā)生劇烈變化時(shí)目標(biāo)響應(yīng)的魯棒性.

結(jié)合深度卷積特征的相關(guān)濾波器在最近跟蹤測(cè)試中取得了良好的成績(jī)，但是目前大部分的跟蹤器只考慮外觀特征，而忽略了視頻幀之間的運(yùn)動(dòng)信息. 針對(duì)這一問(wèn)題，文獻(xiàn)[80]提出了光流跟蹤器FlowTrack. 與之前利用預(yù)先計(jì)算好光流信息用于跟蹤不同，作者將特征提取、warp操作、特征融合、相關(guān)濾波器等模塊集于一個(gè)網(wǎng)絡(luò)并進(jìn)行end-to-end訓(xùn)練. 具體來(lái)說(shuō)，網(wǎng)絡(luò)采用Siamese框架，分為歷史分支和當(dāng)前分支，在歷史分支中進(jìn)行光流的提取和warp，在當(dāng)前分支只進(jìn)行特征的提取. 在融合階段，設(shè)計(jì)了一種時(shí)空注意力機(jī)制，在空間位置和時(shí)間維度上分別配置權(quán)重，并且采用類似SENet的方式度量權(quán)重. 完成特征融合之后，將歷史分支和當(dāng)前分支的輸出一起送入CF層進(jìn)行訓(xùn)練，得到最終的跟蹤結(jié)果.

離線學(xué)習(xí)的本質(zhì)使得Siamese網(wǎng)絡(luò)無(wú)法真正意義上抑制背景中出現(xiàn)的干擾樣本，也就是說(shuō)很難正確區(qū)分2個(gè)外觀類似的人或者車，導(dǎo)致跟蹤發(fā)生漂移. 而相關(guān)濾波算法是在線學(xué)習(xí)的方法，可以通過(guò)分析上下文之間的關(guān)系進(jìn)行調(diào)整，提升算法的性能. 因此，如何將在線學(xué)習(xí)與離線訓(xùn)練有效結(jié)合，是需要重點(diǎn)考慮的一個(gè)問(wèn)題.

4 實(shí)驗(yàn)對(duì)比與分析

本節(jié)給出第3節(jié)研究現(xiàn)狀分析中討論的4種不同類別且具有代表性的一些相關(guān)濾波類跟蹤算法在OTB2013[81]、 OTB100[82]和VOT2017[83]基準(zhǔn)數(shù)據(jù)集上的性能對(duì)比與分析，3個(gè)基準(zhǔn)數(shù)據(jù)集的詳細(xì)信息如表2所示.

表2 基準(zhǔn)數(shù)據(jù)集的詳細(xì)信息

4.1 OTB基準(zhǔn)數(shù)據(jù)集

4.1.1 OTB2013和OTB100數(shù)據(jù)集

OTB2013基準(zhǔn)數(shù)據(jù)集由50段帶有標(biāo)記屬性的視頻序列組成，標(biāo)記屬性代表了現(xiàn)實(shí)場(chǎng)景中執(zhí)行跟蹤任務(wù)時(shí)會(huì)遇到的跟蹤難題，分別是光照變化(illumination variation,IV)、尺度變化(scale variation,SV)、遮擋(occlusion,OCC)、形變(deformation,DEF)、運(yùn)動(dòng)模糊(motion blur,MB)、快速運(yùn)動(dòng)(fast motion,FM)、平面內(nèi)旋轉(zhuǎn)(in-plane rotation,IPR)、平面外旋轉(zhuǎn)(out-of-plane rotation,OPR)、移出視野范圍(out-of-view,OV)、低分辨率(low resolution,LR)和背景雜亂(background clutters,BC). 文獻(xiàn)[82]在OTB2013的基礎(chǔ)上對(duì)數(shù)據(jù)集進(jìn)行了擴(kuò)展，將50段視頻序列增加到了100段. OTB2013基準(zhǔn)數(shù)據(jù)集的視頻序列顯示如圖11所示，視頻序列的屬性標(biāo)記情況如表3所示.

4.1.2 OTB評(píng)價(jià)指標(biāo)

為了評(píng)價(jià)跟蹤器的性能，文獻(xiàn)[81]采用2種方式對(duì)其進(jìn)行度量. 一種是精確度(precision rate)，中心位置誤差(center location error，CLE)是一種衡量跟蹤精度的評(píng)價(jià)指標(biāo)，定義為被跟蹤目標(biāo)中心位置與地面真值之間的平均歐式距離. 另一種是成功率(success rate)，若跟蹤邊界框與地面真值框之間的重疊率超過(guò)設(shè)定的閾值，則視為跟蹤成功. 成功率表示跟蹤成功的幀數(shù)所占的比例，重疊率計(jì)算公式為

(9)

式中：rt為跟蹤框；ra為真值框；∩為兩者重疊的區(qū)域；∪為兩者的覆蓋區(qū)域. 除此之外，用精確度圖(precision plot)和成功率圖(success plot)評(píng)估跟蹤器的性能. 精確度圖顯示了閾值在一定范圍內(nèi)的平均精度，本節(jié)中閾值取20. 成功率圖表示閾值在一定范圍內(nèi)的重疊率精度，由曲線下的面積評(píng)估跟蹤器性能. 一般評(píng)估算法的方法是從第1幀的真值位置初始化跟蹤器，在整個(gè)測(cè)試序列中運(yùn)行，得到平均精度和成功率，并定義為一次評(píng)估值(one-pass evaluation，OPE). 然而，跟蹤器對(duì)初始化的敏感性導(dǎo)致不同的初始化導(dǎo)致性能間的巨大差異，因此使用2種方法來(lái)分析跟蹤器對(duì)初始化的魯棒性，即對(duì)初始化分別進(jìn)行時(shí)間和空間擾動(dòng)，稱為時(shí)間魯棒性評(píng)價(jià)(temporal robustness evaluation，TRE)和空間魯棒性評(píng)價(jià)(spatial robustness evaluation，SRE).

表3 OTB2013視頻序列的標(biāo)記屬性

4.1.3 跟蹤算法對(duì)比

為了全面而清晰地評(píng)估CFTs的性能，本節(jié)對(duì)32種具有代表性的CFTs在OTB2013和OTB100基準(zhǔn)數(shù)據(jù)集上的測(cè)試結(jié)果進(jìn)行了比較. 根據(jù)第3節(jié)所提分類方式將32種CFTs歸為4類. 屬于基本CFTs的有15種，包括KCF[12]、KCF+MT[30]、DSST[17]、FDSST[18]、SAMF[20]、Staple[23]、Staple-CA[64]、KCFDPT[40]、LMCF[19]、 SCT[84]、LCT[42]、SCF[48]、 HDT[38]、 MCPF[49]和MUSTer[44]；屬于正則化CFTs的有10種，包括SRDCF[51]、 Deep-SRDCF[25]、 SRDCF-decon[54]、 C-COT[27]、 ECO[28]、BACF[85]、CSR-DCF[52]、MRCT[63]、SWCF[86]和ACFN[87]；屬于Siamese類CFTs的有5種，包括SiamFC[73]、CFNet-conv1[26]、CFNet-conv2[26]、CREST[79]和DCFNet[75]；屬于部件類CFTs的有2種，包括DPCF[34]和RPT[16]. 上述方法的基本原理與跟蹤框架已在第3章研究現(xiàn)狀分析部分進(jìn)行了分析，并且表4給出其中20種開(kāi)源算法的資源鏈接.

之所以選擇這32種CFTs進(jìn)行對(duì)比，有以下4點(diǎn)原因： 1) 將本節(jié)與第3節(jié)研究現(xiàn)狀分析部分進(jìn)行前后呼應(yīng)，所選取的32種CFTs的設(shè)計(jì)思路與算法框架在第3節(jié)給出了介紹，通過(guò)理論知識(shí)與實(shí)驗(yàn)結(jié)果的結(jié)合加深對(duì)算法的理解；2) 所選32種算法涵蓋了基本類、正則化類、部件類和Siamese網(wǎng)絡(luò)類CFTs，可以更加全面地了解CFTs的整體性能水平；3) 32種CFTs中有15種屬于基本類，并且涵蓋了對(duì)KCF多個(gè)角度的改進(jìn)，如特征表示、尺度變化的處理、核函數(shù)、長(zhǎng)期跟蹤、響應(yīng)分布以及算法集成等；4) 同類算法之間具有較強(qiáng)的關(guān)聯(lián)性，例如正則類中的Deep-SRDCF、SRDCF-decon和C-COT都是在SRDCF基礎(chǔ)上的改進(jìn)算法，Siamese類中的CFNet和DCFNet都是在SiameseFC基礎(chǔ)上提出的改進(jìn)方案，通過(guò)對(duì)比這些具有一定關(guān)聯(lián)性的算法有利于更深入地了解相關(guān)領(lǐng)域研究的發(fā)展現(xiàn)狀及有價(jià)值的研究方向. 表5是對(duì)32種CFTs在2個(gè)基準(zhǔn)數(shù)據(jù)集上的2個(gè)性能指標(biāo)的統(tǒng)計(jì)結(jié)果，圖12顯示了它們?cè)贠TB2013和OTB100數(shù)據(jù)集上的成功率、精確率值及幀率. 根據(jù)給出的測(cè)試結(jié)果，對(duì)這些算法從特征的角度、模型和框架的角度、跟蹤挑戰(zhàn)的角度以及實(shí)時(shí)性的角度分別進(jìn)行對(duì)比分析.

表4 20種CFTs的資源鏈接

從特征的角度進(jìn)行分析，因?yàn)橄嚓P(guān)濾波類跟蹤屬于判別式跟蹤方法，即將跟蹤問(wèn)題轉(zhuǎn)換為檢測(cè)問(wèn)題，所以好的特征是此類跟蹤的關(guān)鍵因素. 從表5給出的成功率和精確率結(jié)果以及表6給出的特征信息可以看出，HOG和CN特征在視覺(jué)跟蹤領(lǐng)域體現(xiàn)出了優(yōu)異的性能，一系列基于HOG特征、CN特征或者是兩者融合的算法相繼提出，如RPT、DSST、FDSST、SAMF、KCFDPT、SRDCF等. DeepSRDCF在SRDCF的基礎(chǔ)上，將深度卷積特征引入SRDCF中，探索了不同conv特征的性能差異，結(jié)果顯示采用第1層conv的效果最好，在2個(gè)數(shù)據(jù)集上將成功率和精確率分別提升了1.5%、3.7%和1.1%、6.2%. CFNet同樣對(duì)比了分別使用conv1、conv2和conv5時(shí)的性能差異，結(jié)果顯示采用conv2的性能最優(yōu). 之后提出的許多方法以不同的方式結(jié)合深度特征構(gòu)造跟蹤框架，體現(xiàn)出了良好的性能，但是它們獨(dú)立學(xué)習(xí)各層的CFT而忽視了層與層之間的關(guān)聯(lián)性，使得此類方法存在一定的局限. CF2和HDT從不同層特征優(yōu)勢(shì)互補(bǔ)的角度出發(fā)，在不影響實(shí)時(shí)性的同時(shí)提升了跟蹤性能，MCPF在其基礎(chǔ)上進(jìn)一步利用不同層之間的依賴關(guān)系訓(xùn)練濾波器，進(jìn)一步提升了跟蹤精度. C-COT使用VGG-Net提取深度特征，將原始的彩色圖像和2個(gè)卷積層的輸出作為特征，與CFNet等同類算法相比精確度有了顯著提升，但是復(fù)雜的特征嚴(yán)重降低了計(jì)算效率，難以達(dá)到實(shí)時(shí)性的要求. ECO在C-COT基礎(chǔ)上通過(guò)因式分解操作，將HOG、CN和CNN的特征維度進(jìn)行降維，其中HOG壓縮到10，CN壓縮到3，CNN的第1、5卷積層分別壓縮到16和64，減少了訓(xùn)練參數(shù)，進(jìn)而有效降低了計(jì)算復(fù)雜度，使得幀率提高了大約8倍.

表5 32種CFTs在OTB2013和OTB100上的性能對(duì)比結(jié)果

表6 CFTs的詳細(xì)信息

根據(jù)表5的對(duì)比結(jié)果結(jié)合表6的跟蹤器詳細(xì)信息對(duì)32種CFTs從模型和框架的角度進(jìn)行分析，DSST在KCF基礎(chǔ)上從解決尺度問(wèn)題的角度出發(fā)，擴(kuò)展了跟蹤框架，增加了一個(gè)獨(dú)立的尺度濾波器，與KCF相比，準(zhǔn)確率有了一定的提高. 之后提出的加速版FDSST采用降維操作和QR分解降低了計(jì)算量，幀率與DSST相比提高了1倍多，同時(shí)在OTB2013上的成功率也提升了近3%. SAMF與DSST算法類似，同樣采用了尺度窮舉的思路，但是尺度因子的變化范圍較小，不能較好地處理尺度變化較大的情況. 與尺度池方法不同，DPCF基于可變形分塊實(shí)現(xiàn)了對(duì)濾波器大小的自適應(yīng)調(diào)節(jié)，在OTB2013和OTB100上的成功率和精確率與SAMF相比分別提升了2.6%、4.4%和2.4%、2.4%. 針對(duì)判別相關(guān)濾波器采用周期假設(shè)導(dǎo)致不必要的邊界效應(yīng)這一問(wèn)題，SRDCF引入空間正則化弱化背景信息的干擾，顯著提升了性能. SRDCF-decon在SRDCF的基礎(chǔ)上從提升樣本質(zhì)量的角度出發(fā)，在OTB2013上的成功率提升了3.3%. CSR-DCF利用空間置信圖使濾波器參數(shù)同樣是集中在置信分高的地方，和SRDCF一樣抑制背景信息的干擾，但是采取的方式不同，性能差距也較大. BACF同樣對(duì)邊界效應(yīng)進(jìn)行了處理，提出了擴(kuò)大所搜區(qū)域采用真實(shí)負(fù)樣本的思路，取得了比SRDCF-decon更加優(yōu)異的成績(jī). BACF的成績(jī)很大程度上說(shuō)明了樣本質(zhì)量對(duì)跟蹤器性能有很大的影響. 不同類跟蹤算法根據(jù)被跟蹤目標(biāo)和任務(wù)的不同設(shè)計(jì)算法框架，均具有自身的優(yōu)勢(shì)及劣勢(shì)，所以將相關(guān)濾波器與其他算法集合去實(shí)現(xiàn)優(yōu)勢(shì)互補(bǔ)也是一種提升跟蹤性能的思路. LMCF通過(guò)集成CF與結(jié)構(gòu)化SVM，與KCF相比，性能得到了顯著提升. MCPF跟蹤框架將MCF與粒子濾波器進(jìn)行了結(jié)合，采用粒子抽樣策略有效處理了尺度變化問(wèn)題，并引導(dǎo)抽樣粒子向目標(biāo)狀態(tài)分布的模式方向運(yùn)動(dòng)提升了跟蹤性能. 近期一些將Siamese網(wǎng)絡(luò)與相關(guān)濾波結(jié)合的算法也被用于處理跟蹤問(wèn)題，如SiamFC、CFNet和DCFNet等，圖12給出的幀率說(shuō)明了使用輕量級(jí)網(wǎng)絡(luò)能夠?qū)崿F(xiàn)跟蹤速度方面的提升.

從跟蹤挑戰(zhàn)的角度進(jìn)行分析，大多數(shù)跟蹤器并不能在所有的跟蹤挑戰(zhàn)中都表現(xiàn)出良好的性能. OTB數(shù)據(jù)集將跟蹤挑戰(zhàn)的屬性歸納為分為IV、SV、OCC、DEF、MB、FM、IPR、OPR、OV、LR和BC，屬性的具體介紹已在4.1.1小節(jié)給出. 表7、8分別給出了10種采用手工特征的CFTs和10種采用深度特征的CFTs在OTB100基準(zhǔn)數(shù)據(jù)集不同挑戰(zhàn)屬性下得到的Success Rate，排名第一的結(jié)果用粗體表示，排名第二的結(jié)果用斜體表示，排名第三的結(jié)果用下劃線表示. 在快速運(yùn)動(dòng)和運(yùn)動(dòng)模糊挑戰(zhàn)中，目標(biāo)的外觀因目標(biāo)自身或者是相機(jī)的運(yùn)動(dòng)而模糊. 手工特征CFTs中ECO-HC和SRDCF-decon表現(xiàn)最好，這是因?yàn)镾RDCF-decon通過(guò)擴(kuò)大搜索空間的方式解決了快速運(yùn)動(dòng)序列中目標(biāo)位置發(fā)生較大變化的難題，而ECO-HC采用亞像素級(jí)的多分辨率特征有效提升了跟蹤精度. 在深度特征CFTs中ECO和C-COT表現(xiàn)最好. 在尺度變化和遮擋挑戰(zhàn)中，跟蹤器在目標(biāo)觀測(cè)時(shí)通常會(huì)將干擾背景作為目標(biāo)信息而導(dǎo)致跟蹤漂移的發(fā)生. 在手工特征CFTs中，SRDCF、CSRDCF和ECO-HC表現(xiàn)最好，而深度特征CFTs中ECO、C-COT和MCPF表現(xiàn)最好. 綜合性能最好的ECO通過(guò)混合高斯模型對(duì)訓(xùn)練樣本進(jìn)行分組，不僅避免了近期錯(cuò)誤樣本產(chǎn)生的過(guò)擬合問(wèn)題，而且提升了樣本的多樣性與判別能力，因此表現(xiàn)出了優(yōu)異的性能. 從表3給出的OTB視頻序列的標(biāo)記屬性可以看出，在許多測(cè)試序列中，光照變化和低分辨率是同時(shí)存在的，為準(zhǔn)確跟蹤帶來(lái)了很大的難題. 為了解決光照問(wèn)題，跟蹤器需要提升對(duì)目標(biāo)模型和背景模型的判別能力，而在低分辨率圖像中，外觀表示也起到了重要作用. 因此，這2個(gè)挑戰(zhàn)可以通過(guò)表征能力強(qiáng)的特征解決. 在手工特征CFTs中，ECO-HC和SRDCF-decon表現(xiàn)最好，在深度特征CFTs中，ECO和CF-Net在精度方面表現(xiàn)最好，并且深度特征與手工特征相比具有更強(qiáng)的表征能力. 移出視野范圍對(duì)于大多數(shù)跟蹤器而言是最為嚴(yán)峻的挑戰(zhàn)之一，通過(guò)保持有用的目標(biāo)樣本在跟蹤失敗后啟動(dòng)重檢測(cè)模塊是解決OV問(wèn)題的途徑. 手工特征CFTs中，CSRDCF和SRDCF具有較高的跟蹤精度，而采用深度特征的ECO和C-COT得益于學(xué)習(xí)多分辨率特征有效應(yīng)對(duì)了OV挑戰(zhàn). 由于判別型跟蹤方法在線學(xué)習(xí)正負(fù)樣本，背景雜亂會(huì)對(duì)跟蹤器的訓(xùn)練造成干擾，因此背景雜亂也是難以處理的跟蹤挑戰(zhàn)之一，ECO和ECO-HC表現(xiàn)出了優(yōu)異的性能. 因?yàn)镋CO采用多分辨率卷積特征提升了外觀表示，利用高斯混合模型對(duì)樣本集進(jìn)行分組提升了樣本質(zhì)量，稀疏型模型更新方式提升了跟蹤效率，所以在絕大多數(shù)跟蹤挑戰(zhàn)中取得了最為優(yōu)異的性能. 通過(guò)上述分析可以看出，4種類別的CFTs相比，每個(gè)挑戰(zhàn)屬性下表現(xiàn)最為良好的都是正則類CFTs.

表7 手工特征CFTs在OTB100不同屬性測(cè)試序列中的成功率

表8 深度特征CFTs在OTB100不同屬性測(cè)試序列中的成功率

從實(shí)時(shí)性的角度進(jìn)行分析，通常情況下認(rèn)為跟蹤算法的幀率達(dá)到25幀/s視為滿足實(shí)時(shí)處理的需求. 從表5給出的實(shí)時(shí)性指標(biāo)可以看出所對(duì)比的32種CFTs中，有12種可以實(shí)現(xiàn)實(shí)時(shí)跟蹤. 最初提出的MOSSE、CSK、CN等算法的幀率均超過(guò)了100幀/s，之后提出的相關(guān)濾波類跟蹤器從不同的優(yōu)化角度出發(fā)有效提升了整體性能，但是越來(lái)越復(fù)雜的框架難免在一定程度上影響運(yùn)算效率，即便如此，大部分的CFTs仍能滿足或接近滿足實(shí)時(shí)性的需求.

4.2 VOT基準(zhǔn)數(shù)據(jù)集

4.2.1 VOT2017基準(zhǔn)數(shù)據(jù)集

VOT2017[88]基準(zhǔn)數(shù)據(jù)集由60段帶有5種標(biāo)記屬性的視頻序列組成，這5種屬性分別是相機(jī)移動(dòng)、光照變化、尺度變化、動(dòng)作變化和遮擋. VOT2017將VOT2016中已經(jīng)被大多數(shù)算法準(zhǔn)確跟蹤的10個(gè)序列進(jìn)行了替換，并且保持了序列的分布屬性. VOT數(shù)據(jù)集對(duì)于極小目標(biāo)跟蹤是非常重要的一個(gè)基準(zhǔn)數(shù)據(jù)集，同時(shí)VOT2017對(duì)所有序列的真值進(jìn)行了重新標(biāo)定，精確到像素級(jí)別，然后重新擬合矩形框，給出了更為準(zhǔn)確的標(biāo)注信息.

4.2.2 VOT2017評(píng)價(jià)指標(biāo)

VOT2017使用平均重疊期望(expected average overlap，EAO)、Accuracy和Robustness這3個(gè)性能指標(biāo)對(duì)算法進(jìn)行評(píng)估. Accuracy指的是跟蹤器在單個(gè)測(cè)試序列下真值與預(yù)測(cè)包圍框之間平均重疊率，重疊率的定義已在4.1.2小節(jié)給出. Robustness指的是跟蹤器在單個(gè)測(cè)試序列中失敗的次數(shù)，當(dāng)重疊率為0時(shí)即判定為跟蹤失敗，在失敗并丟棄5幀之后進(jìn)行重新初始化. EAO是對(duì)每個(gè)跟蹤器在一段序列上非重置重疊的期望值.

4.2.3 跟蹤結(jié)果對(duì)比

為了進(jìn)一步分析CFTs的性能，本小節(jié)對(duì)10種具有代表性的CFTs在VOT2017基準(zhǔn)數(shù)據(jù)集上進(jìn)行了比較. 10種CFTs中包含5種使用深度特征的方法，分別為CF2、ECO、C-COT、SiameseFC和MCPF. 另外5種使用人工特征的方法，為CSRDCF、SRDCF、STAPLE、DSST和KCF. 其中CSRDCF、SRDCF、C-COT和ECO屬于正則類，STAPLE、DSST、CF2和MCPF屬于基本類，SiameseFC屬于孿生網(wǎng)絡(luò)類. 表9是這10種CFTs在VOT2017基準(zhǔn)數(shù)據(jù)集上對(duì)3個(gè)性能指標(biāo)的評(píng)估結(jié)果，得分最優(yōu)的用粗體表示.

從表9給出的實(shí)驗(yàn)結(jié)果可以看出，在Baseline測(cè)試中，手工特征跟蹤器中CSRDCF獲得EAO和R的最優(yōu)值分別為0.256和0.356，STAPLE獲得A的最優(yōu)值為0.530. 深度特征跟蹤器中CF2獲得為EAO的最高得分為0.286，MCPF獲得A的最高得分為0.510，ECO獲得R的最高得分為0.276. 在Realtime測(cè)試中，手工特征跟蹤器中的STAPLE在各項(xiàng)指標(biāo)中表現(xiàn)都是最好，深度特征跟蹤器則由SiameseFC獲得了各項(xiàng)指標(biāo)的最高得分.

表9 HC特征和深度特征跟蹤器在VOT2017基線和實(shí)時(shí)測(cè)試中的A、R和EAO對(duì)比結(jié)果

5 結(jié)論

本文針對(duì)相關(guān)濾波類目標(biāo)跟蹤方法應(yīng)用于實(shí)際場(chǎng)景時(shí)面臨的主要難題，以及目前該領(lǐng)域的研究現(xiàn)狀展開(kāi)討論與分析，并將32種代表性相關(guān)濾波類跟蹤器在OTB-2013、OTB100和VOT2017基準(zhǔn)數(shù)據(jù)集上進(jìn)行了評(píng)估，表明了相關(guān)濾波類跟蹤器在性能方面的優(yōu)越性. 雖然相關(guān)濾波類跟蹤方法與其他方法相比具有一定的優(yōu)勢(shì)，但是在應(yīng)用于實(shí)際場(chǎng)景時(shí)，準(zhǔn)確性和魯棒性仍然難以滿足跟蹤任務(wù)的需要. 因此，目標(biāo)跟蹤領(lǐng)域以及相關(guān)濾波類跟蹤仍然存在進(jìn)一步深入研究與提升的空間.

結(jié)合文章的研究現(xiàn)狀分析和實(shí)驗(yàn)部分的對(duì)比結(jié)果，并且考慮目前機(jī)器視覺(jué)領(lǐng)域的研究熱點(diǎn)，目標(biāo)跟蹤的進(jìn)一步研究可以從以下幾個(gè)方面考慮：

1) 如何平衡跟蹤性能與實(shí)時(shí)性之間的關(guān)系. 復(fù)雜特征以及算法框架在提升跟蹤精度的同時(shí)將不可避免地影響其實(shí)時(shí)性，所以做到兩者兼顧才能實(shí)現(xiàn)高效穩(wěn)健的跟蹤.

2) 對(duì)于視覺(jué)跟蹤任務(wù)，特征的優(yōu)劣是影響跟蹤性能的關(guān)鍵因素. 在處理跟蹤問(wèn)題時(shí)，卷積特征與人工特征相比具有一定的優(yōu)勢(shì)，但是選取預(yù)先訓(xùn)練好的卷積特征還是跟蹤專用的特征，以及何種網(wǎng)絡(luò)訓(xùn)練得到的特征更利于跟蹤仍是目前需要進(jìn)一步研究探討的課題.

3) 目前大部分單目標(biāo)跟蹤算法的研究對(duì)象都是短時(shí)目標(biāo)跟蹤任務(wù)，雖然已有少數(shù)研究者對(duì)長(zhǎng)時(shí)跟蹤進(jìn)行了研究，但其本質(zhì)依然是在短時(shí)跟蹤框架中引入重檢測(cè)模塊或其他校正模塊來(lái)實(shí)現(xiàn)，缺乏具有針對(duì)性的長(zhǎng)時(shí)跟蹤框架，這是值得進(jìn)一步深入研究的問(wèn)題.

4) 相關(guān)濾波類跟蹤算法屬于一種tracking-by-detection框架，在線更新的學(xué)習(xí)方式和有限的訓(xùn)練樣本可能導(dǎo)致過(guò)擬合問(wèn)題，造成跟蹤失敗. 而生成對(duì)抗網(wǎng)絡(luò)(generative adversarial network，GAN)具有生成逼近真實(shí)圖像的能力，在相關(guān)濾波跟蹤框架中加入GAN用于生成訓(xùn)練樣本是未來(lái)研究的一個(gè)重要方向.

5) 定制網(wǎng)絡(luò)架構(gòu). 探索更加適用于跟蹤框架學(xué)習(xí)的網(wǎng)絡(luò)架構(gòu)，而不僅僅是通過(guò)遷移學(xué)習(xí)的方式進(jìn)行網(wǎng)絡(luò)微調(diào)，這同樣是未來(lái)跟蹤任務(wù)一個(gè)有前途的研究方向.