一種多分辨率在線選擇分支的單目標(biāo)跟蹤方法*

楊大為，張宇堃，尉晨陽(yáng)

（沈陽(yáng)理工大學(xué)信息科學(xué)與工程學(xué)院，沈陽(yáng) 110159）

1 引言

視覺(jué)目標(biāo)跟蹤是指對(duì)圖像序列中的運(yùn)動(dòng)目標(biāo)進(jìn)行檢測(cè)、提取、識(shí)別和跟蹤，獲得運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)參數(shù)，如位置、速度、加速度和運(yùn)動(dòng)軌跡等，從而進(jìn)行下一步的處理與分析，實(shí)現(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)的行為理解，供更高一級(jí)的檢測(cè)任務(wù)使用。這其中要運(yùn)用到孿生網(wǎng)絡(luò)，其結(jié)構(gòu)具有兩個(gè)輸入，一個(gè)是作為基準(zhǔn)的模板，另一個(gè)是要選擇的候選樣本。在單目標(biāo)跟蹤任務(wù)中，作為基準(zhǔn)的模板作為要跟蹤的對(duì)象，通常選取的是視頻序列第一幀中的目標(biāo)對(duì)象；而候選樣本則是之后每一幀中的圖像搜索區(qū)域。孿生網(wǎng)絡(luò)要做的就是找到之后每一幀中與第一幀中的范本最相似的候選區(qū)域，即為這一幀中的目標(biāo)，實(shí)現(xiàn)目標(biāo)的跟蹤。

SiamFC算法[1]的網(wǎng)絡(luò)結(jié)構(gòu)就是孿生網(wǎng)絡(luò)，其骨干網(wǎng)絡(luò)主要使用的是淺層的Alexnet網(wǎng)絡(luò)[2]，但跟蹤效果并不是很理想。在此做出改進(jìn)設(shè)計(jì)，以SiamFc算法為基礎(chǔ)，以深層網(wǎng)絡(luò)Resnet-50作為骨干網(wǎng)絡(luò)，并采用具有在線分支選擇機(jī)制的多個(gè)網(wǎng)絡(luò)分支架構(gòu)。這種改進(jìn)有如下特點(diǎn)：首先，在Siamese網(wǎng)絡(luò)的基礎(chǔ)上，以深層網(wǎng)絡(luò)Resnet-50作為骨干網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)目標(biāo)圖像更深層次的特征提取，增加了其外觀表示的魯棒性；其次，為了充分利用不同的分支，提出一種有效的通用分支選擇機(jī)制，根據(jù)分支的區(qū)分能力動(dòng)態(tài)選擇分支；第三，在多分支和分支選擇機(jī)制的基礎(chǔ)上，提出了一種新的深度學(xué)習(xí)跟蹤方法，實(shí)現(xiàn)了實(shí)時(shí)跟蹤，提高了跟蹤性能。

2 相關(guān)工作

2.1 基于Siamese孿生網(wǎng)絡(luò)的跟蹤器

在跟蹤任務(wù)中，需要跟蹤的目標(biāo)是通過(guò)起始幀的選擇框給出的。由于被跟蹤目標(biāo)的不確定性，無(wú)法做到提前準(zhǔn)備好數(shù)據(jù)，并且訓(xùn)練出一個(gè)具體的detector。過(guò)去幾年出現(xiàn)的TLD[3]、Struck[4]和KCF[5]等優(yōu)秀算法，由于上述原因，用于跟蹤的模型往往是一個(gè)簡(jiǎn)單模型，通過(guò)在線訓(xùn)練，來(lái)進(jìn)行下一幀的更新。Siamese網(wǎng)絡(luò)提出使用相似性學(xué)習(xí)來(lái)解決跟蹤問(wèn)題，通過(guò)學(xué)習(xí)深度嵌入函數(shù)，評(píng)估樣本圖像patch與搜索區(qū)域內(nèi)候選patch之間的相似性，最終選擇相似性分?jǐn)?shù)最高的patch作為跟蹤結(jié)果。SiamFC開(kāi)創(chuàng)性地提出一個(gè)全卷積的Siamese網(wǎng)絡(luò)，使用Siamese架構(gòu)解決了與深度CNNs的相似性學(xué)習(xí)。全卷積網(wǎng)絡(luò)的優(yōu)點(diǎn)是待搜索圖像不需要與樣本圖像具有相同尺寸，可以為網(wǎng)絡(luò)提供更大的搜索圖像作為輸入，在密集網(wǎng)格上計(jì)算所有平移窗口的相似度。由于該方法不需要在線訓(xùn)練，實(shí)時(shí)跟蹤更加方便。

2.2 Resnet深度神經(jīng)網(wǎng)絡(luò)

Resnet網(wǎng)絡(luò)又稱(chēng)為深度殘差網(wǎng)絡(luò)，是由何明凱博士提出的。從經(jīng)驗(yàn)來(lái)看，網(wǎng)絡(luò)的深度對(duì)模型的性能至關(guān)重要，當(dāng)增加網(wǎng)絡(luò)層數(shù)后，網(wǎng)絡(luò)可以進(jìn)行對(duì)更加復(fù)雜的特征模式的提取，所以當(dāng)模型更深時(shí)理論上可以取得更好的結(jié)果。目標(biāo)可能出現(xiàn)在搜索區(qū)域的任何位置，因此目標(biāo)模板的學(xué)習(xí)特征表示應(yīng)保持空間不變，然而ResNet網(wǎng)絡(luò)中都會(huì)有Padding操作，會(huì)影響算法的平移不變性，使得網(wǎng)絡(luò)更加關(guān)注圖像中心。在現(xiàn)代深層體系結(jié)構(gòu)中，只有AlexNet的零填充變體滿(mǎn)足此空間不變性的限制。因此在此通過(guò)均勻分布的采樣策略讓目標(biāo)在中心點(diǎn)進(jìn)行偏移，以緩解ResNet網(wǎng)絡(luò)因?yàn)槠茐牧藝?yán)格平移不變性帶來(lái)的影響，即消除了位置偏見(jiàn)，讓有padding的更深層網(wǎng)絡(luò)可以應(yīng)用到跟蹤算法中。

2.3 多分支跟蹤框架

在目標(biāo)跟蹤過(guò)程中，固定的圖像特征表示是比較單一的，深度網(wǎng)絡(luò)中每層卷積獲取的特征是有區(qū)別的，因此在此使用多分辨率方法來(lái)獲取多個(gè)不同的特征圖，并通過(guò)在線選擇分支，選擇特征圖得分最高的分支。多分辨率方法即為上下文相關(guān)，許多跟蹤算法中使用過(guò)類(lèi)似的方法。TRACA[6]即是一個(gè)多分支跟蹤器，它利用多個(gè)專(zhuān)家自動(dòng)編碼器（expert auto-encoders）對(duì)原始深度卷積特征進(jìn)行魯棒壓縮。由于每個(gè)編碼器是根據(jù)不同的上下文訓(xùn)練的，所以它執(zhí)行上下文相關(guān)的壓縮。其他的還包括：MDNet[7]，它由共享層和特定層的多個(gè)分支組成；BranchOut[8]，它使用一個(gè)CNN作為目標(biāo)表示，有一個(gè)通用的卷積層和多個(gè)完全連接層的分支，允許在每個(gè)分支中使用不同數(shù)量的層來(lái)維護(hù)目標(biāo)外觀的可變抽象級(jí)別。上述這些多分支跟蹤器的一個(gè)共同點(diǎn)是：利用不同的特征表示構(gòu)建一個(gè)魯棒性強(qiáng)的跟蹤器。此處改進(jìn)設(shè)計(jì)的網(wǎng)絡(luò)架構(gòu)由多個(gè)分支組成，這些分支分別進(jìn)行離線訓(xùn)練，專(zhuān)注于不同類(lèi)型的CNN功能，其所實(shí)現(xiàn)的框架中還使用了Resnet-50分支來(lái)實(shí)現(xiàn)圖像的分類(lèi)。在這樣的多分支框架中，在不同場(chǎng)景中訓(xùn)練的分支的組合可以確保更好地使用不同的多分辨率特征表示。

2.4 在線分支選擇

不同的模型對(duì)不同的跟蹤目標(biāo)在不同的尺度、旋轉(zhuǎn)、光照等條件下產(chǎn)生不同的特征圖。將所有可用的特征圖都用于單個(gè)對(duì)象跟蹤既沒(méi)有效率也沒(méi)有效果。BranchOut隨機(jī)選擇一個(gè)分支進(jìn)行模型更新，使學(xué)習(xí)到的目標(biāo)外觀模型多樣化。MDNet從預(yù)訓(xùn)練中學(xué)習(xí)領(lǐng)域無(wú)關(guān)的表示，并通過(guò)在線學(xué)習(xí)識(shí)別分支。在此改進(jìn)設(shè)計(jì)的在線分支選擇機(jī)制，則是分析了每個(gè)分支的特征表示，從而在每幀中選擇最健壯的分支。不同的特征表示，能夠更有效地處理對(duì)象跟蹤問(wèn)題中的各種挑戰(zhàn)。

3 多分辨率在線選擇分支跟蹤器方法

考慮到不同神經(jīng)網(wǎng)絡(luò)模型產(chǎn)生不同的特征表示，在此使用不同的CNNs分支來(lái)獲取不同的多分辨率特征表示，并使用在線分支選擇機(jī)制來(lái)選擇最具魯棒性的分支，以此獲取最佳的特征圖，提高跟蹤準(zhǔn)確率。為達(dá)到符合設(shè)計(jì)預(yù)期的效果，需要對(duì)跟蹤方法所采用的網(wǎng)絡(luò)架構(gòu)作全面考慮。

使用多個(gè)特征表示，這一做法被證明對(duì)目標(biāo)跟蹤是有益的，不同的CNNs可以提供不同的特征表示，鑒于此，在此改進(jìn)設(shè)計(jì)的方法中，集成了Siamese網(wǎng)絡(luò)Se，它包括Ns個(gè)上下文相關(guān)的分支以及一個(gè)Resnet-50分支，可簡(jiǎn)單記為：Se＝Ns+1。上下文相關(guān)的分支具有與SiamFC完全相同的結(jié)構(gòu)；除此之外的另外一個(gè)分支則是Resnet-50網(wǎng)絡(luò)。該跟蹤器方法的網(wǎng)絡(luò)架構(gòu)如圖1所示。

圖1 本跟蹤方法的網(wǎng)絡(luò)架構(gòu)圖

輸入包括從第一個(gè)視頻幀裁剪的目標(biāo)patch和當(dāng)前幀中包含搜索區(qū)域的另一個(gè)patch。目標(biāo)patch z的大小為Wz×Hz×3，對(duì)應(yīng)于圖像patch的寬度、高度和顏色通道數(shù)。搜索區(qū)域x的大小為Wx×Hx×3（Wz

本方法使用上下文相關(guān)的Nc分支和一個(gè)通用分支即Ns＝Nc+1。所有這些分支都具有與SiamFC網(wǎng)絡(luò)相同的結(jié)構(gòu)。

上下文相關(guān)的分支通過(guò)以下三個(gè)步驟進(jìn)行訓(xùn)練：首先，在視頻數(shù)據(jù)集上訓(xùn)練基本的孿生網(wǎng)絡(luò)，保留基本的孿生網(wǎng)絡(luò)作為總分支；然后，在視頻數(shù)據(jù)集的低層的特征圖上執(zhí)行上下文聚類(lèi)，以發(fā)現(xiàn)Nc上下文相關(guān)的聚類(lèi)；最后，使用Nc集群來(lái)訓(xùn)練由基本Siamese網(wǎng)絡(luò)初始化的Nc上下文相關(guān)的分支，這些分支以(z,X)作為輸入并提取它們的特征映射，至此，使用一個(gè)互相關(guān)層，結(jié)合它們的特征映射得到一個(gè)響應(yīng)映射。

用Resnet[9]分支對(duì)映像分類(lèi)任務(wù)進(jìn)行預(yù)訓(xùn)練，將其作為一個(gè)分支，并對(duì)網(wǎng)絡(luò)進(jìn)行不同任務(wù)的訓(xùn)練，此處對(duì)步長(zhǎng)進(jìn)行了小的修改，以確保輸出響應(yīng)映射具有與其他分支相同的維度。

4 實(shí)驗(yàn)與分析

為驗(yàn)證本改進(jìn)方法的效果，進(jìn)行相應(yīng)實(shí)驗(yàn)。實(shí)驗(yàn)選用硬件環(huán)境為：Intel Core i7-9700k，CPU@3.60 GHz，GeForce GTX 2080 GPU；軟件環(huán)境為：python3.6，CUDA9.0，CuDNN v7.6，tensorflow_gpu-1.10.0。

Resnet分支網(wǎng)絡(luò)為ResNet-50?，F(xiàn)代化網(wǎng)絡(luò)一般都選用步長(zhǎng)為32，但跟蹤為了定位的準(zhǔn)確性，一般步長(zhǎng)都比較?。⊿iamese系列一般都為8），所以把ResNet最后兩個(gè)block的步長(zhǎng)去掉了，同時(shí)增加了膨脹卷積，此舉一是為了增加感受野，二是為了能利用上預(yù)訓(xùn)練參數(shù)。

在跟蹤領(lǐng)域中，對(duì)于實(shí)驗(yàn)結(jié)果的測(cè)試一般都是使用公開(kāi)數(shù)據(jù)集，這樣有利于在同一數(shù)據(jù)集評(píng)價(jià)條件下對(duì)比不同方法的性能優(yōu)劣程度。本實(shí)驗(yàn)的主要目的是研究將多個(gè)特征表示與在線分支選擇機(jī)制相結(jié)合的效果。為此，在此使用OTB-2013、OTB-50和OTB-100三種數(shù)據(jù)集，對(duì)跟蹤框架進(jìn)行消融實(shí)驗(yàn)分析，結(jié)果如下表1。

表1 消融分析實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)結(jié)果表明，相對(duì)于基本的SiamFC跟蹤器，本改進(jìn)方法跟蹤穩(wěn)定性（AUC）有顯著提升。由此可見(jiàn)，Resnet-50網(wǎng)絡(luò)結(jié)構(gòu)在對(duì)目標(biāo)圖像的特征提取方面更加的穩(wěn)定，精度更高，也說(shuō)明深度神經(jīng)網(wǎng)絡(luò)對(duì)于圖像的特征挖掘更加明顯，跟蹤結(jié)果更加準(zhǔn)確。

本方法使用ImageNet數(shù)據(jù)集[10]進(jìn)行訓(xùn)練，包括4000個(gè)視頻序列和大約130萬(wàn)幀，包含大約200萬(wàn)個(gè)跟蹤對(duì)象，并且只考慮彩色圖像。為簡(jiǎn)單起見(jiàn)，隨機(jī)挑選一對(duì)圖像，在一張圖像的中心裁掉z，在另一張圖像的中心裁掉X，圖像被縮放，使邊框加上上下文的附加邊界具有一個(gè)固定的區(qū)域?；镜腟iamese分支以0.01的初始學(xué)習(xí)率訓(xùn)練50個(gè)epoch。學(xué)習(xí)率在每個(gè)epoch后衰減，衰減系數(shù)為0.869。上下文相關(guān)的分支是基于10個(gè)epoch的學(xué)習(xí)率0.00001的一般分支參數(shù)進(jìn)行微調(diào)的。圖2給展示出本方法在部分?jǐn)?shù)據(jù)集上的跟蹤情況。表2為本方法跟蹤結(jié)果與SiamFC的對(duì)比。

圖2 ImageNet數(shù)據(jù)集部分跟蹤結(jié)果

表2 本算法跟蹤結(jié)果與SiamFC算法對(duì)比

從表2數(shù)據(jù)可直觀對(duì)比出本方法與SiamFC算法在指定評(píng)價(jià)參數(shù)上的跟蹤效果，從表中可以看出，在跟蹤精度上，本算法比SiamFC算法提高了4個(gè)百分點(diǎn)，失敗率下降了6個(gè)百分點(diǎn)，在EAO和EFO指標(biāo)方面，本算法均優(yōu)于SiamFC算法。

5 結(jié)束語(yǔ)

在線選擇多分支的目標(biāo)跟蹤方法，集成多個(gè)Siamese網(wǎng)絡(luò)實(shí)現(xiàn)了目標(biāo)特征代表的多樣化。使用Resnet-50深度網(wǎng)絡(luò)挖掘圖像更深層次的有利信息，利用在線分支選擇機(jī)制，針對(duì)目標(biāo)外觀變化選擇最具區(qū)別性的分支。本方法是在SiamFC算法的基礎(chǔ)上，根據(jù)目標(biāo)特征的多樣性所提出的，并通過(guò)對(duì)比實(shí)驗(yàn)驗(yàn)證了其跟蹤效果。實(shí)驗(yàn)結(jié)果顯示改進(jìn)的性能與標(biāo)準(zhǔn)的孿生網(wǎng)絡(luò)跟蹤器相比，魯棒性和準(zhǔn)確性更加突出。