顯著性能量目標(biāo)跟蹤軌跡修正算法

解云嬌，楊大偉，毛 琳

(大連民族大學(xué) 機(jī)電工程學(xué)院，遼寧 大連 116605)

基于深度學(xué)習(xí)的目標(biāo)跟蹤算法無法適應(yīng)視頻圖像中目標(biāo)外觀的劇烈變化，導(dǎo)致神經(jīng)網(wǎng)絡(luò)難以捕獲目標(biāo)區(qū)域的卷積特征，進(jìn)而產(chǎn)生跟蹤漂移問題。隨著計(jì)算機(jī)視覺在無人駕駛領(lǐng)域的應(yīng)用，很多學(xué)者正致力于目標(biāo)跟蹤相關(guān)算法的改進(jìn)，在這期間涌現(xiàn)出大量優(yōu)秀的跟蹤算法[1]。文獻(xiàn)[2]提出采用VAE方法生成多樣化正樣本SINT++算法，使用強(qiáng)化學(xué)習(xí)豐富訓(xùn)練數(shù)據(jù)從而提高跟蹤的準(zhǔn)確率，但該算法實(shí)現(xiàn)復(fù)雜，當(dāng)跟蹤目標(biāo)未知時(shí)，需要利用隨機(jī)梯度下降法在線微調(diào)網(wǎng)絡(luò)權(quán)重，使得跟蹤效率下降，難以達(dá)到實(shí)時(shí)跟蹤；Siamese-FC是一種端到端的全卷積孿生網(wǎng)絡(luò)算法[3]，該算法按照運(yùn)動(dòng)學(xué)模型提取目標(biāo)，生成兩個(gè)互相關(guān)特征圖，比較搜索區(qū)域與目標(biāo)模板的相似度，將相似性最高的區(qū)域輸出為跟蹤結(jié)果，該算法網(wǎng)絡(luò)結(jié)構(gòu)簡單，跟蹤速度達(dá)到58 fps，但網(wǎng)絡(luò)深層缺少細(xì)節(jié)特征，導(dǎo)致跟蹤容易受到特征干擾而出現(xiàn)錯(cuò)誤；文獻(xiàn)[4]基于Siamese-FC，提出SiamRPN算法，引入Faster RCNN區(qū)域候選網(wǎng)絡(luò)模塊[5]，跟蹤器可同時(shí)計(jì)算目標(biāo)的位置、形狀，避免多尺度測(cè)試，進(jìn)一步提高算法性能，跟蹤速度達(dá)到160 fps，但該算法魯棒性較差，無法對(duì)目標(biāo)實(shí)現(xiàn)長時(shí)間視覺跟蹤。針對(duì)這些問題，文獻(xiàn)[6]提出SiamMask算法，在Siamese-FC和SiamRPN的基礎(chǔ)上引入全卷積孿生網(wǎng)絡(luò)的離線訓(xùn)練過程，可同時(shí)應(yīng)用于目標(biāo)跟蹤和半監(jiān)督視頻對(duì)象的分割任務(wù)，但該算法在運(yùn)動(dòng)模糊發(fā)生時(shí)無法獲取目標(biāo)顯著特征，導(dǎo)致跟蹤漂移。

本文針對(duì)運(yùn)動(dòng)模糊場景下發(fā)生的跟蹤漂移問題，提出一種顯著性能量目標(biāo)跟蹤軌跡修正算法(Saliency Energy Target Tracking Trajectory Correction Algorithm，SEC)，通過分析目標(biāo)區(qū)域的顯著性能量特征對(duì)跟蹤結(jié)果進(jìn)行漂移判定。該算法引入漂移判定模塊來辨識(shí)跟蹤結(jié)果目標(biāo)區(qū)域是否發(fā)生漂移，當(dāng)確定偏移發(fā)生時(shí)，利用軌跡預(yù)測(cè)模塊對(duì)不準(zhǔn)確的跟蹤結(jié)果進(jìn)行修正，從而改善運(yùn)動(dòng)模糊情況下的跟蹤漂移問題，有效提升跟蹤精度。

1 SEC算法

為解決模糊運(yùn)動(dòng)場景下全卷積孿生網(wǎng)絡(luò)跟蹤算法存在的跟蹤漂移問題，本文提出SEC算法，將顯著性能量特征與軌跡預(yù)測(cè)結(jié)合。首先分析跟蹤結(jié)果區(qū)域中目標(biāo)特征的能量偏差，判定跟蹤結(jié)果是否失效；使用軌跡預(yù)測(cè)模塊對(duì)判定跟蹤失敗的輸出結(jié)果進(jìn)行目標(biāo)跟蹤位置校正，以此改善算法跟蹤效果。

1.1 漂移判定模塊

SiamMask算法雖具有較好的跟蹤效果，但在運(yùn)動(dòng)模糊場景下，跟蹤器無法獲取目標(biāo)特征且難以區(qū)分目標(biāo)與背景，出現(xiàn)跟蹤漂移問題。導(dǎo)致目標(biāo)與背景難以區(qū)分的原因是運(yùn)動(dòng)模糊場景中的目標(biāo)特征發(fā)生劇烈變化，在這種情況下僅僅使用普通的圖像卷積特征不能進(jìn)行有效跟蹤。圖像顯著性分析方法[7-8]通過提取感興趣目標(biāo)區(qū)域作為顯著性區(qū)域，使得目標(biāo)可以很好地適應(yīng)動(dòng)態(tài)背景場合。分析圖像能量分布的方法可以有效整合跟蹤目標(biāo)的紋理、顏色、HOG以及深度特征等單一特征，經(jīng)過能量統(tǒng)計(jì)后可保留跟蹤目標(biāo)區(qū)域中的有效特征[9-10]。本文采用圖像顯著性結(jié)合能量統(tǒng)計(jì)的方法計(jì)算目標(biāo)區(qū)域能量特征，判別跟蹤結(jié)果中目標(biāo)特征的有效性。

(1)

(2)

(3)

Rn+1=Dn+1-Drn。

(4)

式(4)中Rn+1表示第n+1幀跟蹤結(jié)果的歐式距離Dn+1與距離上限值Dr波動(dòng)差值，超出距離上限則判定該跟蹤結(jié)果出現(xiàn)漂移。否則，判定該跟蹤結(jié)果沒有出現(xiàn)漂移。顯著性能量特征漂移判定算法工作流程如圖1。

圖1 漂移判定模塊工作流程

1.2 軌跡預(yù)測(cè)模塊

針對(duì)運(yùn)動(dòng)模糊場景下跟蹤算法搜索目標(biāo)的局限性，本文引入LSTM網(wǎng)絡(luò)結(jié)構(gòu)解決軌跡預(yù)測(cè)問題。跟蹤器實(shí)時(shí)在線跟蹤的同時(shí)，使用LSTM軌跡預(yù)測(cè)算法同步獲取并保存跟蹤目標(biāo)的位置信息，當(dāng)卷積神經(jīng)網(wǎng)絡(luò)顯著性能量特征漂移判定模塊判定第n+1幀圖像因運(yùn)動(dòng)模糊發(fā)生漂移時(shí)，調(diào)用LSTM預(yù)測(cè)模型預(yù)測(cè)漂移幀中目標(biāo)的位置，用預(yù)測(cè)結(jié)果校正目標(biāo)跟蹤結(jié)果。

(5)

圖2 SEC算法工作流程圖

2 仿真分析

仿真實(shí)驗(yàn)使用GeForce 1080Ti顯卡，操作系統(tǒng)為64位Ubuntu 16.04，編程環(huán)境為Python 3.6，Pytorch 0.4.1，CUDA 9.0，ILSVRC2015-VID訓(xùn)練集、VOT2018和OTB-50基準(zhǔn)測(cè)試集。SEC算法相關(guān)參數(shù)設(shè)置見表1。

表1 SEC算法相關(guān)參數(shù)設(shè)置

仿真結(jié)果表明，SEC在OTB-50測(cè)試集上丟失幀數(shù)為36，SiamMask的丟失幀數(shù)為74，SEC算法有效抑制了跟蹤漂移造成的跟蹤失效。選取OTB-50數(shù)據(jù)集部分視頻序列，進(jìn)一步對(duì)比SEC與SiamMask的性能差異，如圖3。

圖3 SiamMask與SEC算法跟蹤結(jié)果對(duì)比

通過Matrix、Soccer、Blurcar1、MotorRolling視頻序列進(jìn)行算法性能分析，SiamMask算法由于使用單一的卷積特征進(jìn)行跟蹤，無法捕捉模糊圖像中的目標(biāo)特征，從而發(fā)生跟蹤漂移，在原跟蹤網(wǎng)絡(luò)中加入SEC算法后，跟蹤器可以較好地應(yīng)對(duì)跟蹤漂移問題，成功修正跟蹤結(jié)果。

在第(1)組對(duì)比圖中可以看出，由于目標(biāo)所在圖像的背景復(fù)雜，SiamMask無法捕獲全部的目標(biāo)特征區(qū)域，而SEC能夠跟蹤到大部分目標(biāo)特征區(qū)域；在第(2)組對(duì)比圖中，存在大量相似的跟蹤目標(biāo)，SiamMask容易混淆存在相似特征的區(qū)域(第241幀)，進(jìn)而發(fā)生跟蹤漂移(第382幀)，由于SEC能夠區(qū)分目標(biāo)區(qū)域的顯著性能量特征，從而提高了這種復(fù)雜環(huán)境下的跟蹤精度；在第(3)組對(duì)比圖中，針對(duì)SiamMask在運(yùn)動(dòng)模糊場景下發(fā)生的漂移問題，SEC成功修正了跟蹤結(jié)果；在第(4)組對(duì)比圖中，當(dāng)目標(biāo)在相鄰幀中發(fā)生大幅度形變時(shí)，SiamMask的分割掩碼無法準(zhǔn)確計(jì)算出下一幀目標(biāo)的所在區(qū)域，進(jìn)而目標(biāo)框無法及時(shí)收縮，SEC能夠發(fā)現(xiàn)這一缺點(diǎn)，并精確框定了發(fā)生形變的目標(biāo)所在區(qū)域。

SEC算法選取VID數(shù)據(jù)集視頻序列的軌跡信息作為軌跡預(yù)測(cè)模塊的訓(xùn)練樣本。在VOT2018的仿真測(cè)試結(jié)果見表2。與SiamMask進(jìn)行仿真對(duì)比，SEC算法將SiamMask算法的跟蹤精度提高了0.2%。SEC算法雖然對(duì)模糊序列的目標(biāo)跟蹤準(zhǔn)確率提升明顯，但是當(dāng)目標(biāo)跟蹤軌跡中出現(xiàn)連續(xù)跟蹤漂移時(shí)，由于算法的軌跡預(yù)測(cè)模塊依賴于歷史位置信息，所以相比SiamMask算法，其魯棒性降低了1.8%。因VOT2018中運(yùn)動(dòng)目標(biāo)較為清晰，跟OTB數(shù)據(jù)集相比，視頻序列較少存在目標(biāo)模糊和抖動(dòng)現(xiàn)象，所以本算法在此數(shù)據(jù)集上提高幅度較小。

表2 VOT2018仿真測(cè)試結(jié)果

3 結(jié) 語

本文針對(duì)SiamMask算法出現(xiàn)的跟蹤漂移現(xiàn)象，提出顯著性能量目標(biāo)跟蹤軌跡修正算法SEC。SEC算法通過分析目標(biāo)區(qū)域的顯著性能量特征，篩選出錯(cuò)誤的跟蹤結(jié)果，利用軌跡修正模塊對(duì)錯(cuò)誤結(jié)果進(jìn)行校正，進(jìn)一步提高跟蹤精度。與SiamMask算法相比，SEC算法進(jìn)一步改善了復(fù)雜情況下目標(biāo)跟蹤的精度，適用于智能監(jiān)控和無人自主駕駛等系統(tǒng)。