深度單目標(biāo)跟蹤算法綜述

白浩然

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都610065）

0 引言

單目標(biāo)跟蹤算法是只根據(jù)視頻某一幀中某特定一個(gè)目標(biāo)物體的位置信息，在后續(xù)幀中對(duì)該目標(biāo)物體進(jìn)行持續(xù)跟蹤定位，并給出相應(yīng)預(yù)測(cè)出的目標(biāo)位置的算法，在實(shí)際生活中已經(jīng)在諸多領(lǐng)域中應(yīng)用，如：自動(dòng)駕駛、園區(qū)安保等。同時(shí)，近幾年深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)的火熱助長(zhǎng)了單目標(biāo)追蹤算法在深度嵌入式特征領(lǐng)域的嘗試，開(kāi)拓了一個(gè)全新的方向。

1 核心結(jié)構(gòu)與思想

孿生網(wǎng)絡(luò)是其核心結(jié)構(gòu)，介紹孿生網(wǎng)絡(luò)前，先引入單目標(biāo)追蹤算法中的一些基本概念：模板幀與搜索幀。單目標(biāo)追蹤算法中處理的數(shù)據(jù)是視頻，視頻由幀構(gòu)成，我們根據(jù)任務(wù)特點(diǎn)，人為的將視頻幀分為兩類(lèi)：一是我們已知目標(biāo)物體位置的某些視頻幀，我們一般將這個(gè)已知幀稱(chēng)為模板幀；二是所有未知目標(biāo)位置的視頻幀，需要給出預(yù)測(cè)的跟蹤位置，我們一般將這些幀稱(chēng)為搜索幀。那么單目標(biāo)追蹤算法的核心思想可以概括為：根據(jù)模板幀中目標(biāo)物體的信息，依靠相關(guān)性算法，在搜索幀中定位目標(biāo)物體。

2 難點(diǎn)

深度單目標(biāo)追蹤算法任務(wù)上的難點(diǎn)主要包括幾部分：

（1）目標(biāo)消失視野外

指跟蹤目標(biāo)消失在視頻畫(huà)面中，可能消失很長(zhǎng)一段時(shí)間，或者快速閃入，閃出畫(huà)面。

（2）目標(biāo)被遮擋

指跟蹤目標(biāo)還在視頻畫(huà)面中，但被其他不相關(guān)物體遮擋住，具體可分為全部遮擋和部分遮擋。

（3）相似目標(biāo)導(dǎo)致混淆

指視頻畫(huà)面中還存在與跟蹤目標(biāo)外觀十分相似的不相關(guān)目標(biāo)，特別是兩者距離靠近時(shí)，追蹤算法不易分辨，有時(shí)甚至人眼也無(wú)法快速分辨。

（4）運(yùn)動(dòng)模糊

指跟蹤目標(biāo)因?yàn)槠浔旧砜焖龠\(yùn)動(dòng)，或鏡頭快速運(yùn)動(dòng)，導(dǎo)致的目標(biāo)，畫(huà)面模糊，使跟蹤目標(biāo)不易分辨。

對(duì)于這些難點(diǎn)，常見(jiàn)的相關(guān)算法提出的解決方案各有側(cè)重點(diǎn)，但始終不會(huì)脫離一個(gè)基本框架的思想和結(jié)構(gòu)，也就是接下來(lái)要介紹的攣生網(wǎng)絡(luò)結(jié)構(gòu)。

3 孿生網(wǎng)絡(luò)結(jié)構(gòu)

孿生網(wǎng)絡(luò)作為深度單目標(biāo)追蹤算法的核心結(jié)構(gòu)，時(shí)常以不同的形式出現(xiàn)在各個(gè)算法中，它是兩支具有相同結(jié)構(gòu)，相同參數(shù)的卷積神經(jīng)網(wǎng)絡(luò)，多見(jiàn)于深度單目標(biāo)追蹤算法的頭部，常見(jiàn)的是AlexNet[1]、ResNet[2]，它們一支用于模板幀的特征提取，一支用于搜索幀的特征提取，再將兩支所得特征用卷積的方式來(lái)計(jì)算特征間的相似性，此類(lèi)結(jié)構(gòu)在單目標(biāo)追蹤領(lǐng)域的首次嘗試是SiamFC[3]，在SiamFC中，模板幀Z是目標(biāo)物體的截取，比視頻幀X尺寸小很多，搜索幀是完整視頻幀。它們分別經(jīng)過(guò)孿生網(wǎng)絡(luò)φ后，得到的模板幀特征的尺寸也遠(yuǎn)小于搜索幀的，用這兩個(gè)特征的embedding對(duì)原圖進(jìn)行表征，再將模板幀的嵌入式特征作為卷積核在搜索幀嵌入式特征中做卷積計(jì)算*，卷積后的會(huì)得到一張基于模板幀相似性的熱力圖，計(jì)算過(guò)程入下：

熱力圖最高響應(yīng)點(diǎn)便可通過(guò)一些后處理算法轉(zhuǎn)換成搜索幀中預(yù)測(cè)出的目標(biāo)位置，從而實(shí)現(xiàn)跟蹤。通過(guò)這種方法，將跟蹤問(wèn)題簡(jiǎn)化成匹配問(wèn)題。這類(lèi)方法的最大特點(diǎn)是速度十分快，但因其相關(guān)性計(jì)算較為簡(jiǎn)單，直接使用了卷積運(yùn)算生成的熱力圖，并且缺少對(duì)于目標(biāo)在多尺度情況下的優(yōu)化，導(dǎo)致準(zhǔn)確率較低。

以深度學(xué)習(xí)為基礎(chǔ)的單目標(biāo)追蹤算法在孿生網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上，發(fā)展出一系列不同的方法，并對(duì)Siam-FC中暴露出的問(wèn)題進(jìn)行有傾向性的改進(jìn)。主要分成三種：孿生網(wǎng)絡(luò)的優(yōu)化算法、在線更新的算法、目標(biāo)檢測(cè)算法的變種算法，下面將介紹這三種方法。

3.1 基于孿生網(wǎng)絡(luò)優(yōu)化的算法

SiamFC中有兩個(gè)顯著的問(wèn)題：一是相關(guān)性計(jì)算過(guò)于簡(jiǎn)單，直接用熱力圖計(jì)算預(yù)測(cè)位置，導(dǎo)致算法準(zhǔn)確性較低，且對(duì)于目標(biāo)的多尺度變化較為無(wú)力；二是由于網(wǎng)絡(luò)平移不變性的限制，導(dǎo)致深層網(wǎng)絡(luò)無(wú)法直接引入，而淺層網(wǎng)絡(luò)提取的特征較為粗糙，不利于精準(zhǔn)結(jié)果的得到。關(guān)于問(wèn)題一的討論與改進(jìn)的代表作是SiamRPN[4]，關(guān)于問(wèn)題二的討論與改進(jìn)的代表作是SiamRPN++[5]、SiamDW[6]。

在SiamRPN中，引入了Faster R-CNN[7]中最具代表性的RPN網(wǎng)絡(luò)作為相關(guān)性計(jì)算模塊，在RPN網(wǎng)絡(luò)中，將目標(biāo)定位拆解為是否為目標(biāo)中心點(diǎn)的二分類(lèi)，目標(biāo)框長(zhǎng)寬尺寸的回歸兩個(gè)任務(wù)，并且配合Anchor機(jī)制：以每一個(gè)像素點(diǎn)為中心點(diǎn)的一組多比例，多尺寸的預(yù)定義目標(biāo)框，先將每一個(gè)像素點(diǎn)做二分類(lèi)，在目標(biāo)中心點(diǎn)或近中心點(diǎn)上的預(yù)定義框上做目標(biāo)尺寸的回歸。這兩點(diǎn)改變相輔相成，讓計(jì)算過(guò)程更加平滑，且因?yàn)锳nchor機(jī)制中多尺寸、多比例的預(yù)定義目標(biāo)框讓預(yù)測(cè)多尺度目標(biāo)框尺寸的回歸更加容易，不易出現(xiàn)梯度爆炸，使整體目標(biāo)定位的準(zhǔn)確性和魯棒性皆有較大提升。

在SiamFC中特征提取的主干網(wǎng)絡(luò)是移除了padding的AlexNet，雖然一定程度上緩解了padding所產(chǎn)生的平移不變性對(duì)于網(wǎng)絡(luò)的破壞，但導(dǎo)致網(wǎng)絡(luò)深度受到限制，所提取出的特征質(zhì)量大打折扣。之所以padding如此關(guān)鍵，是因?yàn)榫矸e計(jì)算的一個(gè)特點(diǎn)便是平移等變性，padding的引入會(huì)使圖像邊緣被填充，像素點(diǎn)經(jīng)過(guò)帶padding的卷積層前后的位置會(huì)產(chǎn)生漂移，無(wú)法依照下采樣倍數(shù)一一對(duì)應(yīng)，致使破壞了平移等變性，產(chǎn)生對(duì)深層網(wǎng)絡(luò)有害的平移不變性。SiamRPN++、Siam-DW都對(duì)這些問(wèn)題進(jìn)行了探討。SiamRPN++中通過(guò)對(duì)數(shù)據(jù)施加特殊的預(yù)處理方法，一定程度上緩解了padding帶給深層網(wǎng)絡(luò)對(duì)于目標(biāo)位置的偏見(jiàn)，第一次將深層網(wǎng)絡(luò)，例如ResNet-50帶入相關(guān)工作；SiamDW雖然也在關(guān)注如何將深層網(wǎng)絡(luò)引入單目標(biāo)跟蹤，但沒(méi)有采取類(lèi)似SiamRPN++中數(shù)據(jù)預(yù)處理的方式，而是在探討感受野、padding、stride三者的關(guān)系，以一種全新的殘差模塊代替ResNet中的傳統(tǒng)模塊。

3.2 基于在線更新的算法

在線更新的算法不同于其他訓(xùn)練后固定參數(shù)進(jìn)行測(cè)試的算法，此類(lèi)算法最大特點(diǎn)就是在測(cè)試階段網(wǎng)絡(luò)參數(shù)也同樣在變化，網(wǎng)絡(luò)會(huì)定向?qū)W習(xí)測(cè)試數(shù)據(jù)的特點(diǎn)，但囿于實(shí)時(shí)性的要求，測(cè)試階段學(xué)習(xí)的次數(shù)較少，且數(shù)據(jù)都來(lái)自過(guò)往跟蹤到目標(biāo)的視頻幀，所以數(shù)據(jù)量較小。其核心的思想就是在測(cè)試階段對(duì)測(cè)試數(shù)據(jù)進(jìn)行過(guò)擬合，所以通常都可以獲得較高的準(zhǔn)確性。但一旦某一位置產(chǎn)生錯(cuò)判定，會(huì)造成模型對(duì)錯(cuò)誤數(shù)據(jù)進(jìn)行擬合，對(duì)網(wǎng)絡(luò)性能造成漸進(jìn)的負(fù)面影響?？梢?jiàn)這類(lèi)方法的高準(zhǔn)確性是一把雙刃劍。

ATOM[8]和DiMP[9]作為此類(lèi)方法的翹楚，ATOM借鑒IOUnet[10]中的思想，即：拋開(kāi)具體尺寸數(shù)值的回歸，以預(yù)測(cè)框與真實(shí)框的IOU作為目標(biāo)進(jìn)行離線訓(xùn)練，以此訓(xùn)練結(jié)果繼續(xù)在測(cè)試中負(fù)責(zé)預(yù)測(cè)目標(biāo)框尺寸，并用一個(gè)熱力圖對(duì)預(yù)測(cè)出的目標(biāo)框的中心點(diǎn)進(jìn)行分類(lèi)，這一步引入了在線更新算法；DiMP的關(guān)注點(diǎn)在于Siam-FC中忽略的背景信息的運(yùn)用上，手段是通過(guò)在線更新的算法強(qiáng)化模板幀的特征，使得模板幀特征始終在適應(yīng)運(yùn)動(dòng)中產(chǎn)生形變、模糊等復(fù)雜情況，提升整體追蹤算法的魯棒性。

3.3 基于目標(biāo)檢測(cè)的算法

對(duì)于檢測(cè)任務(wù)和追蹤任務(wù)的最大區(qū)別就是后者需要始終關(guān)注同一個(gè)目標(biāo)，產(chǎn)出其運(yùn)動(dòng)軌跡，防止發(fā)生跟偏，跟丟的情況，除此之外，兩者的另一個(gè)區(qū)別是目標(biāo)檢測(cè)關(guān)注目標(biāo)的具體類(lèi)別，而目標(biāo)追蹤不關(guān)注，剩下的部分中兩者的區(qū)別較為模糊，那么從發(fā)展較為成熟的檢測(cè)算法對(duì)追蹤任務(wù)進(jìn)行借鑒，是一個(gè)十分自然的想法，而需要額外關(guān)注的只有如何引入模板幀與搜索幀的相關(guān)性計(jì)算，GlobalTrack[11]在這個(gè)思想的基礎(chǔ)上完成度較高。

GlobalTrack的基本框架來(lái)自Faster R-CNN，但Faster R-CNN中缺少對(duì)于模板幀信息的引入，而Global-Track中通過(guò)孿生網(wǎng)絡(luò)結(jié)構(gòu)與ROI-pooling的結(jié)合：將目標(biāo)的特征經(jīng)過(guò)ROI Pooling后作為卷積核在搜索幀中進(jìn)行卷積運(yùn)算，大大提高了網(wǎng)絡(luò)對(duì)于模板幀中目標(biāo)的鑒別性，并使其對(duì)于目標(biāo)具體類(lèi)別不再敏感。

4 結(jié)語(yǔ)

以深度學(xué)習(xí)為基礎(chǔ)的單目標(biāo)跟蹤算法在相關(guān)領(lǐng)域應(yīng)該有了廣泛的應(yīng)用，并且以為其出色的性能越來(lái)越受到人們的關(guān)注，其中幾種典型的方法各有優(yōu)缺點(diǎn)：基于孿生網(wǎng)絡(luò)優(yōu)化的算法因?yàn)槠湓絹?lái)越凝聚的結(jié)構(gòu)而使其在跟蹤速度方面有較為亮眼的表現(xiàn)，而準(zhǔn)確性稍遜一籌；基于在線更新的算法因其對(duì)于數(shù)據(jù)的過(guò)擬合而產(chǎn)出高準(zhǔn)確性，而因?yàn)橐掷m(xù)在測(cè)試階段進(jìn)行學(xué)習(xí)，更新網(wǎng)絡(luò)參數(shù)，導(dǎo)致其速度較為受到限制；基于檢測(cè)算法改進(jìn)得到的追蹤算法因?yàn)橹饾u模糊檢測(cè)與追蹤之間的界限，為人們提供了一個(gè)較為統(tǒng)一的視角。

目前，對(duì)于單目標(biāo)追蹤算法的發(fā)展，并沒(méi)有因?yàn)榉椒ù嬖诓町惗尸F(xiàn)割裂化態(tài)勢(shì)，如何將各自方法中的長(zhǎng)處相結(jié)合會(huì)是今后研究的重點(diǎn)。