基于注意力機(jī)制和孿生網(wǎng)絡(luò)的跟蹤算法研究

王 玲，周 磊，王 鵬，白燕娥

長(zhǎng)春理工大學(xué) 計(jì)算機(jī)科學(xué)技術(shù)學(xué)院，長(zhǎng)春 130022

近幾年隨著神經(jīng)網(wǎng)絡(luò)研究的深入，目標(biāo)跟蹤算法研究得到了不斷的發(fā)展，無論是機(jī)器人、自動(dòng)駕駛還是智能監(jiān)控，都在逐步融入人們的生活。但因目標(biāo)物體外形變換、光照變化、快速移動(dòng)、運(yùn)動(dòng)模糊、遮擋和復(fù)雜相似背景等因素，目標(biāo)跟蹤仍然是一項(xiàng)具有挑戰(zhàn)性的工作。

基于深度學(xué)習(xí)的跟蹤器中，Yun等[1]提出ADNet可控跟蹤器，通過深度強(qiáng)化學(xué)習(xí)生成動(dòng)作序列，跟蹤期間進(jìn)行在線微調(diào)，移動(dòng)或縮放搜索框來獲得跟蹤結(jié)果；為了提高對(duì)深層特征的識(shí)別能力，DSiam[2]引入了兩種相關(guān)濾波器，分別用于在線更新目標(biāo)特征和緩解背景雜波；SA-Siam[3]提出了兩種互補(bǔ)的孿生網(wǎng)絡(luò)來提取全局外觀和語義特征；Bhat等[4]提出基于一個(gè)目標(biāo)模型的預(yù)測(cè)網(wǎng)絡(luò)，通過應(yīng)用迭代優(yōu)化過程，得出不同的學(xué)習(xí)損失值，可最大限度地提高預(yù)測(cè)模型的辨別能力；在后續(xù)的研究中，SiamDCN[5]構(gòu)建由SiamDCN分支和SiameseFC[6]組成的孿生網(wǎng)絡(luò)，通過互相關(guān)操作自適應(yīng)地調(diào)整模板核，實(shí)現(xiàn)精準(zhǔn)的視覺跟蹤；李睿等[7]通過改進(jìn)Siamese-FC，在目標(biāo)分支與搜索分支同時(shí)使用AlexNet與ResNet作為主干網(wǎng)絡(luò)實(shí)現(xiàn)參數(shù)共享，并通過多特征融合，達(dá)到對(duì)目標(biāo)物體的準(zhǔn)確定位；王希鵬等[8]也通過改進(jìn)孿生網(wǎng)絡(luò)，進(jìn)行多層特征融合，并設(shè)計(jì)短時(shí)記憶模塊，將響應(yīng)圖加權(quán)疊加，以適應(yīng)目標(biāo)物體動(dòng)態(tài)變化，提升跟蹤性能。

近幾年，為了提高跟蹤效果，把注意力機(jī)制融入到目標(biāo)跟蹤模型也成為了一個(gè)研究方向。RASNet[9]在目標(biāo)物體的外觀特征上增加了三種注意模塊，優(yōu)先選擇信息豐富的特征通道，并對(duì)它們進(jìn)行加權(quán)融合實(shí)現(xiàn)互相關(guān)操作；張漢等[10]通過融入局部注意力機(jī)制和全局注意力機(jī)制策略，采用上采樣方法恢復(fù)特征圖尺寸，提升模型的泛化能力；SiamAtt[11]使用孿生注意力網(wǎng)絡(luò)，將注意力機(jī)制引入分類分支，通過分類分?jǐn)?shù)來區(qū)分前景和背景，以此預(yù)測(cè)目標(biāo)位置；Wang等[12]提出一種高效輕量級(jí)的通道注意力模塊，應(yīng)用很少參數(shù)，在圖像分類和目標(biāo)檢測(cè)等方面有效地提升了精度。但是在跟蹤器中融入注意力機(jī)制將增加一定的計(jì)算量，從而影響跟蹤器的整體性能。

針對(duì)上述問題，本文基于SiameseFC，在卷積層融合卷積通道注意力機(jī)制，在不降低通道維度的情況下，提取強(qiáng)化的圖像特征；在目標(biāo)圖像分支融合堆疊通道注意力機(jī)制，保證跟蹤速度的同時(shí)維持跟蹤器的健壯性；之后融合空間注意力機(jī)制，在低分辨率、形變和遮擋情況下，實(shí)現(xiàn)對(duì)目標(biāo)物體的準(zhǔn)確定位。

1 相關(guān)工作

SiameseFC作為全卷積孿生網(wǎng)絡(luò)，使用兩個(gè)對(duì)稱的全卷積分支，通過共享權(quán)重方法提取目標(biāo)圖像與搜索圖像的特征；使用互相關(guān)操作計(jì)算多個(gè)推薦框的相似分?jǐn)?shù)，得分最高的推薦框?qū)⒆鳛樵谒阉鲌D上的預(yù)測(cè)位置。互相關(guān)使用下面公式進(jìn)行計(jì)算：

其中，φ(·)表示全卷積網(wǎng)絡(luò)，b表示偏移量，p(·)表示計(jì)算目標(biāo)圖像和搜索圖像特征進(jìn)行的推薦框互相關(guān)函數(shù)。這樣的結(jié)構(gòu)對(duì)目標(biāo)物體與背景信息學(xué)習(xí)能力不足，很容易忽略它們之間聯(lián)系。

注意力機(jī)制能夠幫助學(xué)習(xí)目標(biāo)物體與背景信息之間的聯(lián)系，獲取更多需要關(guān)注區(qū)域的細(xì)節(jié)信息，這使得注意力機(jī)制被應(yīng)用在目標(biāo)跟蹤任務(wù)中。不同的注意力機(jī)制在跟蹤任務(wù)中起到不同的作用，通道注意力機(jī)制注重加強(qiáng)各個(gè)通道內(nèi)圖像特征提取，同時(shí)抑制無用的特征信息；空間注意機(jī)制注重通道內(nèi)圖像空間特征信息，利于對(duì)目標(biāo)物體的準(zhǔn)確定位。本文結(jié)合SiameseFC和注意力機(jī)制，提出ThrAtt-Siam跟蹤器用于完成目標(biāo)跟蹤任務(wù)。

2 ThrAtt-Siam跟蹤器算法

ThrAtt-Siam跟蹤器架構(gòu)如圖1所示。與以往深度神經(jīng)網(wǎng)絡(luò)跟蹤器不同，ThrAtt-Siam跟蹤器采用AlexNet變體作為特征提取主干網(wǎng)絡(luò)，追求圖像特征提取速度的同時(shí)，一定程度上降低了圖像特征提取精度，為了彌補(bǔ)這部分損失，本研究開發(fā)一種具有高性能、高泛能力的跟蹤器，將卷積通道注意力機(jī)制融合到第一層卷積和后五層卷積中，在第一卷積層中還增加兩個(gè)圖像特征和兩個(gè)卷積塊，以更好地提取圖像特征信息；為了降低計(jì)算參數(shù)的工作量，僅在目標(biāo)圖像分支中引入堆疊通道注意力機(jī)制和空間注意力機(jī)制，利用通道內(nèi)和通道間的不同特性進(jìn)行特征提取，之后將目標(biāo)圖像分支與搜索圖像分支通過改進(jìn)的互相關(guān)公式（2）進(jìn)行計(jì)算：

圖1 ThrAtt-Siam跟蹤器架構(gòu)Fig.1 Tracker architecture of ThrAtt-Siam

其中，q(·)表示使用卷積通道注意力機(jī)制，兩個(gè)圖像特征融合于兩個(gè)卷積塊，φ(·)表示全卷積網(wǎng)絡(luò)，ω表示堆疊通道注意力機(jī)制與空間注意力機(jī)制，b表示偏移量。

2.1 卷積通道注意力機(jī)制

卷積通道注意力機(jī)制可平衡圖像特征提取速度與準(zhǔn)確率。首先，它使用少量參數(shù)，采用適當(dāng)?shù)目缤ǖ澜换ゲ呗?，在不增加算法?fù)雜度的同時(shí)保證模型整體性能，有效地學(xué)習(xí)通道特征；其次，它具有模塊化結(jié)構(gòu)，即插即用的特點(diǎn)，可高效地嵌入變體AlexNet網(wǎng)絡(luò)中，便于實(shí)際應(yīng)用。具體操作如圖2所示。

圖2 卷積通道注意力機(jī)制Fig.2 Convolution channel attention mechanism

在不同卷積層中，接收輸入XM的通道數(shù)為C，經(jīng)過全局平局池化層獲得特征后，繼續(xù)執(zhí)行1D卷積操作，使用自適應(yīng)卷積核K，完成維度不變的新映射關(guān)系，隨后使用Sigmoid函數(shù)學(xué)習(xí)通道信息，經(jīng)過特征間相乘融合后得到XN，作為之后操作的輸入。

在自適應(yīng)卷積核K的取值上，各種CNN框架的1D卷積核會(huì)根據(jù)通道數(shù)手動(dòng)進(jìn)行調(diào)整，這樣將耗費(fèi)大量的計(jì)算資源。本研究依據(jù)文獻(xiàn)[12]的方案，K值與通道數(shù)C之間存在正比關(guān)系，K值由公式（3）自適應(yīng)確定：

其中，||odd表示獲取最近的奇數(shù)，γ和b取值分別設(shè)置為2和1。

2.2 特征融合與卷積塊

在特征提取階段融入特征圖有助于訓(xùn)練判別能力更強(qiáng)的特征提取網(wǎng)絡(luò)[13-15]；通過卷積層提取到的特征，進(jìn)一步使用1×1與3×3的組合卷積塊來強(qiáng)化圖像特征[16]。ThrAtt-Siam跟蹤器為了保證性能和準(zhǔn)確率，在卷積層提取特征時(shí)，多次融入特征圖，通過兩個(gè)卷積塊增加網(wǎng)絡(luò)深度，可線性組合不同通道內(nèi)特征信息，以此加強(qiáng)和細(xì)化圖像特征，具體操作如圖3所示。

圖3 特征融合與卷積塊Fig.3 Feature fusion and convolution block

首先，對(duì)第一層卷積融合ECA后提取到的兩個(gè)目標(biāo)特征圖1進(jìn)行融合，可有效地強(qiáng)化基礎(chǔ)特征信息，突出目標(biāo)物體特征信息，得到新目標(biāo)特征圖+；其次，使用卷積核為1×1與3×3的兩個(gè)卷積層，形成局部語義塊，得到目標(biāo)特征圖++。這樣既可以加強(qiáng)圖像特征的提取，也可以細(xì)化圖像輪廓信息。這種結(jié)構(gòu)在不改變通道維度的同時(shí)，不增加偏移學(xué)習(xí)，減少權(quán)重計(jì)算量，使跟蹤器快速地提取到更好的魯棒特征，即使遇到圖像模糊和低分辨率的情況下，也能保證對(duì)目標(biāo)物體的跟蹤效果。

2.3 堆疊通道注意力機(jī)制

單獨(dú)使用最大池化層或平局池化層，都會(huì)忽略掉通道內(nèi)部分特征信息，為了能夠更好地獲取圖像特征，ThrAtt-Siam跟蹤器采用全局最大池化（GMP）與全局平均池化（GAP）形成可融合特征的堆疊通道注意力機(jī)制，加強(qiáng)有用的通道信息提取的同時(shí)，減少無用通道信息的影響，從而提升跟蹤器的泛化能力，具體結(jié)構(gòu)如圖4所示。

圖4 堆疊通道注意力機(jī)制Fig.4 Attention mechanism of stacked channels

目標(biāo)圖像分支中通過卷積層輸出的特征信息通道數(shù)為C，GMP和GAP并行處理目標(biāo)特征圖。GMP側(cè)重于獨(dú)特的和細(xì)致的目標(biāo)物體特征，GAP側(cè)重于目標(biāo)物體整體的認(rèn)知，增強(qiáng)通道的注意；然后分別使用卷積核為1×1的FC1全鏈接層，減少特征圖維度，使用ReLU激活函數(shù)后使用卷積核為1×1的FC2全鏈接層，增加特征圖維度，如公式（4）、（5）所示：

然后運(yùn)用特征相加方式將兩個(gè)子網(wǎng)絡(luò)特征進(jìn)行融合，如公式（6）所示：

2.4 空間注意力機(jī)制

與堆疊通道注意力機(jī)制相比，空間注意力機(jī)制更加注重目標(biāo)圖像在每個(gè)通道內(nèi)位置特征的信息，并利用通道空間特征之間的關(guān)系構(gòu)建空間注意力，關(guān)注每個(gè)通道內(nèi)目標(biāo)圖像信息最豐富的部分，是對(duì)堆疊通道注意力機(jī)制的補(bǔ)充。ThrAtt-Siam跟蹤器采用的空間注意力機(jī)制，具體結(jié)構(gòu)如圖5所示?？臻g注意力機(jī)制分為上下文模塊和通道轉(zhuǎn)換模塊。上下文模塊接收堆疊注意力機(jī)制的輸出的特征圖SH×W×CN作為輸入，計(jì)算出所有特征通道的相同空間注意；上下文模塊通過1×1卷積操作，將C個(gè)通道減至單通道，然后經(jīng)過Softmax函數(shù)之后和輸入相乘，融合傳入到多層通道轉(zhuǎn)換模塊中；多層通道轉(zhuǎn)換模塊主要計(jì)算跨通道的不同空間關(guān)注，首先通過1×1卷積操作將輸出通道數(shù)減至C/8，通過實(shí)驗(yàn)，通道數(shù)減至C/8時(shí)，特征提取效果最好；然后經(jīng)過BatchNorm層和ReLU層繼續(xù)應(yīng)用1×1卷積操作，最后應(yīng)用Sigmoid函數(shù)與輸入相乘融合，得到目標(biāo)特征

圖5 空間注意力機(jī)制Fig.5 Spatial attention mechanism

3 實(shí)驗(yàn)結(jié)果及分析

3.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)使用PyTorch框架進(jìn)行操作，環(huán)境如表1所示。

表1 實(shí)驗(yàn)環(huán)境Table 1 Experimental environment

3.2 數(shù)據(jù)集

實(shí)驗(yàn)所用數(shù)據(jù)集如表2所示。

表2 數(shù)據(jù)集Table 2 Data sets

3.3 網(wǎng)絡(luò)結(jié)構(gòu)與參數(shù)

ThrAtt-Siam跟蹤器的網(wǎng)絡(luò)結(jié)構(gòu)與相應(yīng)參數(shù)如表3所示。訓(xùn)練時(shí)，目標(biāo)圖像和搜索圖像分別為135×135和263×263的彩色圖。批量數(shù)（batch）為32，每個(gè)批量有3 650對(duì)樣本，進(jìn)行15次迭代。網(wǎng)絡(luò)模型的衰減率為10-2到10-5。

表3 卷積框架網(wǎng)絡(luò)參數(shù)Table 3 Network parameters of convolution framework

3.4 評(píng)價(jià)標(biāo)準(zhǔn)

3.4.1 VOT評(píng)價(jià)標(biāo)準(zhǔn)

對(duì)于VOT數(shù)據(jù)集，使用精確率（accuracy）和平均重疊（expected average overlap，EAO）對(duì)跟蹤器進(jìn)行評(píng)測(cè)。

精確率評(píng)測(cè)標(biāo)準(zhǔn)是指在一段跟蹤序列中，跟蹤預(yù)測(cè)區(qū)域和目標(biāo)物體真實(shí)區(qū)域的平均交并比，數(shù)值越大，表示精確率越高。

EAO評(píng)測(cè)標(biāo)準(zhǔn)是拆分出視頻中跟蹤成功的序列，計(jì)算幾個(gè)短時(shí)序列上重疊曲線值的平均值。當(dāng)重疊率為0時(shí)認(rèn)為跟蹤失敗，模型會(huì)對(duì)目標(biāo)再次進(jìn)行跟蹤。

3.4.2 OTB評(píng)價(jià)標(biāo)準(zhǔn)

對(duì)于OTB數(shù)據(jù)集，使用準(zhǔn)確率（precision plot）和成功率（success plot）對(duì)跟蹤器進(jìn)行評(píng)測(cè)。

準(zhǔn)確率通過下面的公式（7）進(jìn)行計(jì)算：

Sall是所有跟蹤幀數(shù)的誤差總數(shù)，S是預(yù)測(cè)目標(biāo)物體的中心點(diǎn)與人工標(biāo)注的目標(biāo)物體中心點(diǎn)之間的誤差，p1為閾值，設(shè)為20個(gè)像素點(diǎn)，S可由公式（8）計(jì)算得出：

其中，x1、y1表示人工標(biāo)注的真實(shí)位置，x2、y2表示預(yù)測(cè)的位置。

成功率的計(jì)算公式如公式（9）所示：IoU（intersection-over-union）是目標(biāo)物體預(yù)測(cè)區(qū)域和人工標(biāo)注區(qū)域的交并比，計(jì)算公式如公式（10）所示：

其中，region(A)表示跟蹤器預(yù)測(cè)的區(qū)域，region(G)表示目標(biāo)物體的真實(shí)區(qū)域。實(shí)驗(yàn)中，將閾值p2設(shè)置為0.5。IoUall是所有跟蹤幀數(shù)的交并比總數(shù)。

3.5 VOT2017實(shí)驗(yàn)結(jié)果

ThrAtt-Siam跟蹤器在VOT2017數(shù)據(jù)集上與SCSSiam[15]、SiameseFC、UCT[17]、Staple[18]、KCF[19]和DSST[20]方法進(jìn)行比較，實(shí)驗(yàn)結(jié)果如表4所示。ThrAtt-Siam跟蹤器比基準(zhǔn)SiameseFC在精確率上提升0.01，在EAO上提升0.03；與SCS-Siam跟蹤器實(shí)驗(yàn)結(jié)果持平，但在OTB2015數(shù)據(jù)集上實(shí)驗(yàn)結(jié)果優(yōu)于SCS-Siam跟蹤器；ThrAtt-Siam跟蹤器在精確率上雖然低于Staple 0.01，但在EAO上高于Staple 0.05。整體上ThrAtt-Siam跟蹤器，顯示出了較好的跟蹤效果。

表4 VOT2017評(píng)測(cè)結(jié)果Table 4 VOT2017 evaluation results

3.6 OTB2015實(shí)驗(yàn)結(jié)果

3.6.1 定量分析

ThrAtt-Siam跟蹤器在OTB2015數(shù)據(jù)集上與SCSSiam、SiameseFC、BACF[21]、LMCF[22]、KCF和DSST進(jìn)行比較，實(shí)驗(yàn)結(jié)果如圖6所示。ThrAtt-Siam跟蹤器的準(zhǔn)確率為0.820，成功率為0.782。與基線SiameseFC比較準(zhǔn)確率高出0.049，成功率高出0.023。BACF在成功率上優(yōu)于ThrAtt-Siam跟蹤器，但在準(zhǔn)確率上ThrAtt-Siam跟蹤器高于BACF以及其他跟蹤器。通過定量分析ThrAtt-Siam跟蹤器表現(xiàn)出了良好的跟蹤效果。

圖6 OTB2015實(shí)驗(yàn)結(jié)果圖Fig.6 OTB2015 experimental results

3.6.2 定性分析

OTB2015包含11種具有挑戰(zhàn)的跟蹤場(chǎng)景：照明變化（IV）、比例變化（SV）、遮擋（OCC）、變形（DEF）、運(yùn)動(dòng)模糊（MB）、快速運(yùn)動(dòng)（FM）、面內(nèi)旋轉(zhuǎn)（IPR）、面外旋轉(zhuǎn)（OPR）、視野外（OV）、背景雜波（BC）和低分辨率（LR）。表5是從11種場(chǎng)景中挑選出來5組序列所涉及的挑戰(zhàn)屬性和對(duì)應(yīng)幀數(shù)。圖7是將ThrAtt-Siam跟蹤器與SCSSiam、SiameseFC、BACF、LMCF、KCF、DSST進(jìn)行定性實(shí)驗(yàn)的比較結(jié)果。

圖7 OTB2015定性分析Fig.7 OTB2015 qualitative analysis

表5 場(chǎng)景屬性Table 5 Scene attributes

（1）復(fù)雜背景

在序列Basketball中，球場(chǎng)上目標(biāo)物體的外形、服裝十分相似，復(fù)雜背景造成了一定的干擾。使DSST和KCF完全丟失目標(biāo)物體，SiameseFC和BACF后期也跟錯(cuò)目標(biāo)。而ThrAtt-Siam跟蹤器保持良好的跟蹤效果。

（2）比例變化

在序列Couple和Lemming中，隨著目標(biāo)物體不停運(yùn)動(dòng)，逐步產(chǎn)生了不同的比例變化，尤其在Couple中，DSST、LMF、KCF和SCS-Siam都存在目標(biāo)物體丟失的現(xiàn)象，只有ThrAtt-Siam跟蹤器沒有丟失跟蹤目標(biāo)。

（3）遮擋

在序列Jogging-2中，跟蹤目標(biāo)在進(jìn)行運(yùn)動(dòng)時(shí)，由于遮擋短暫失去目標(biāo)，這使得很多跟蹤器不能再次識(shí)別跟蹤目標(biāo)，只有ThrAtt-Siam跟蹤器和SCS-Siam跟蹤器保持著較好的跟蹤效果。

（4）面內(nèi)旋轉(zhuǎn)

在序列MotorRolling中，由于摩托車表演時(shí)多次產(chǎn)生旋轉(zhuǎn)，造成模糊和形變的情況出現(xiàn)，其他跟蹤器有的丟失目標(biāo)物體，有的僅跟蹤到目標(biāo)的局部，只有ThrAtt-Siam跟蹤器沒有丟失跟蹤目標(biāo)。

3.7 消融實(shí)驗(yàn)

為了驗(yàn)證ThrAtt-Siam跟蹤器的有效性，在OTB2015數(shù)據(jù)集上進(jìn)行消融實(shí)驗(yàn)，分別是僅使用ECA，不添加兩個(gè)卷積塊和其他注意力機(jī)制的ECA-Siam，使用ECA和兩個(gè)卷積塊的ECATF-Siam和使用ECA，添加兩個(gè)卷積塊，使用堆疊注意力機(jī)制的TwoAtt-Siam。通過表6可知，所提出的ThrAtt-Siam跟蹤器分別在準(zhǔn)確率與成功率上高出ECA-Siam 0.043和0.028；高出ECATF-Siam 0.03和0.023；高出TwoAtt-Siam 0.017和0.013。由此證明ThrAtt-Siam跟蹤器在SiameseFC基礎(chǔ)上逐步引入的注意力機(jī)制及特征增強(qiáng)方法，對(duì)目標(biāo)跟蹤效果具有促進(jìn)作用。

表6 消融實(shí)驗(yàn)Table 6 Ablation experiment

4 結(jié)語

融合三種注意力機(jī)制的ThrAtt-Siam跟蹤器在公開數(shù)據(jù)集OTB2015上的準(zhǔn)確率達(dá)到0.820，跟蹤速度達(dá)到88 FPS，可用于實(shí)時(shí)跟蹤。同時(shí)，ThrAtt-Siam跟蹤器在VOT2017數(shù)據(jù)集也獲得了較好的跟蹤性能。但ThrAtt-Siam跟蹤器在目標(biāo)物體快速運(yùn)動(dòng)和光照明顯變化的場(chǎng)景下，跟蹤效果并不理想，這是將來需要改進(jìn)的地方。