通道可靠局部秩變換的目標(biāo)跟蹤算法

李 麗，李均利，田竟民

(四川師范大學(xué) 計(jì)算機(jī)科學(xué)學(xué)院，成都610101)

1 引 言

目標(biāo)跟蹤的主要任務(wù)是根據(jù)目標(biāo)在當(dāng)前幀的位置信息去預(yù)測目標(biāo)在后續(xù)幀中的位置[1].目標(biāo)跟蹤技術(shù)在人與機(jī)器交互領(lǐng)域[2]、監(jiān)控領(lǐng)域[3]、機(jī)器人技術(shù)領(lǐng)域[4]、醫(yī)學(xué)診查領(lǐng)域[5]等展現(xiàn)出了優(yōu)異的性能.在實(shí)際應(yīng)用時(shí)，要想準(zhǔn)確的對目標(biāo)進(jìn)行跟蹤仍舊會遇到許多挑戰(zhàn).如光照變化、遮擋、形體變換等因素都會對目標(biāo)跟蹤的準(zhǔn)確性有影響.

相關(guān)濾波跟蹤算法為跟蹤領(lǐng)域的熱點(diǎn)[6].2010年，Bolme等[7]在目標(biāo)跟蹤算法中引入相關(guān)濾波思想，提出MOSSE(Minimum Output Sum of Squared Error Filter)算法，該算法利用灰度特征來表示跟蹤的目標(biāo).2012年，Henriques等[8]在MOSSE算法中加入核方法，提出具有循環(huán)結(jié)構(gòu)的檢測跟蹤C(jī)SK(Circulant Structure of Tracking-by-detection with Kernel)算法，解決了樣本不足的問題.但由于CSK算法中為單通道灰度特征，所以當(dāng)目標(biāo)遇到各種復(fù)雜情況時(shí)，比較容易出現(xiàn)跟蹤漂移的情況.為提升算法的跟蹤魯棒性，Henriques等將CSK算法的灰度特征改為梯度方向直方圖(Histogram Oriented Gradients，HOG)特征，提出KCF(Kernelized Correlation Filters)目標(biāo)跟蹤算法[9]，極大提高了跟蹤精確度.2014年，Danelljan等[10]提出CN(Color Name)跟蹤算法，提取目標(biāo)的CN特征，利用主成成分分析的方法將CN特征的維度降為2維，提高了算法的魯棒性；Li等[11]將梯度直方圖HOG和顏色屬性CN特征融合，提出SAMF(Scale Adaptive Multiple Feature)跟蹤算法，SAMF算法通過構(gòu)建尺度池獲得多尺度樣本，求解目標(biāo)位置并對目標(biāo)進(jìn)行尺度估計(jì).2015年，Danelljan等[12]加入空間正則項(xiàng)提出了SRDCF(Spatially Regularized Discriminative Correlation Filter)跟蹤算法，解決了邊界效應(yīng)問題，且使算法的跟蹤精確度得到提高.2017年，Galoogahi等[13]提出BACF(Background-Aware Correlation，BACF)跟蹤算法.BACF算法為了解決邊界效應(yīng)且提升跟蹤精確度，將跟蹤濾波器裁剪為目標(biāo)大小.2018年，Li等[14]通過引入時(shí)間正則項(xiàng)，提出了STRCF算法(Learning Spattial-Temporal Regularized Correlation Filter，STRCF)，提升了算法的跟蹤成功率.

為解決使用目標(biāo)當(dāng)前幀樣本訓(xùn)練跟蹤器時(shí)，以上算法在跟蹤目標(biāo)的過程中遇到跟蹤目標(biāo)被大面積遮擋，這時(shí)獲取的訓(xùn)練樣本會被污染，從而導(dǎo)致跟蹤模型漂移，致使跟蹤算法不能夠準(zhǔn)確跟蹤目標(biāo)的問題.本文利用通道可靠性系數(shù)和經(jīng)驗(yàn)選擇方法評估各個(gè)特征通道響應(yīng)圖，以此提高跟蹤器對跟蹤目標(biāo)的描述能力，從而提高目標(biāo)跟蹤的成功率.

2 核相關(guān)濾波跟蹤算法

核相關(guān)濾波KCF(KernelCorrelation Filters)跟蹤算法[9]在目標(biāo)視頻序列的第一幀中，初始化目標(biāo)的中心位置，之后使用目標(biāo)的位置信息去預(yù)測下一幀目標(biāo)的最佳位置，最后用檢測結(jié)果更新訓(xùn)練樣本和目標(biāo)檢測器.KCF方法利用嶺回歸訓(xùn)練檢測器，檢測器在包含目標(biāo)的周圍選擇跟蹤窗口，得到大小m×n的樣本圖像塊x.再對xi進(jìn)行循環(huán)移位，i∈{0，…，m-1}×{0，…，n-1}，每一個(gè)yi都對應(yīng)一個(gè)樣本xi的高斯標(biāo)簽，構(gòu)成的訓(xùn)練樣本集為(xi，yi).第t幀中構(gòu)建訓(xùn)練器的函數(shù)為：

(1)

式(1)中，f為分類函數(shù)，f(x)=wTx；x為樣本；w為權(quán)重系數(shù)；yi為樣本標(biāo)簽；λ為正則化參數(shù)，防止過擬合；‖·‖為范數(shù)運(yùn)算；λ‖w‖2為懲罰項(xiàng).由嶺回歸得：

w=(XTX+λI)-1XTy

(2)

式(2)中，w為權(quán)重系數(shù)；X為樣本循環(huán)矩陣；λ為正則化參數(shù)；y為高斯標(biāo)簽函數(shù)；I為單位矩陣.在傅里葉域，式(2)寫為：

(3)

在跟蹤算法中引入核函數(shù)，其核函數(shù)表示為k(x，x′)=φT(x)φ(x′)，φT(x)和φ(x′)表示映射函數(shù).高維空間的樣本權(quán)重組合為：

w=∑iαiφ(xi)

(4)

式(4)中，φ(x)為映射函數(shù)；αi為樣本xi的分量.利用嶺回歸與核函數(shù)理論得到分類器(4)的閉式解為：

α=(k+λI)-1y

(5)

式(5)中，k為核矩陣，其元素kij=k(xi，xj)=〈φ(xi)，φ(xj)〉；I為單位矩陣；yi為向量y的元素；α在對偶空間的解為：

(6)

(7)

式(7)中，F(xiàn)-1表示IFFT變換；σ為高斯函數(shù)帶寬.第t+1幀時(shí)，設(shè)輸入圖像為z，分類器響應(yīng)表示如式(4)所示.

f(z)=wTz=∑iαik(z，xi)

(8)

式(8)中，xi為訓(xùn)練樣本；z為檢測區(qū)域.第t+1幀響應(yīng)為：

(9)

3 通道可靠局部秩變換的跟蹤算法

3.1 局部秩變換特征表示方法

本文使用的局部秩變換(Local Rank Transformation，LRT)特征，具有光照不敏感性，突出圖像邊緣信息的特點(diǎn)[15].首先將跟蹤目標(biāo)的原始圖像映射到CIELab顏色空間，在CIELab顏色空間L通道上應(yīng)用局部變換方法獲取跟蹤目標(biāo)的特征圖譜[16].圖1為提取局部秩變換特征的示例圖，從左至右分別為跟蹤目標(biāo)的原始圖、L通道圖和局部秩變換特征圖.由局部秩變換特征圖可以看出目標(biāo)的邊緣信息比較突出，這有利于跟蹤器對目標(biāo)的跟蹤.

圖1 LRT特征示例

本文結(jié)合LRT特征的特點(diǎn)對LRT特征和Lab三通道目標(biāo)特征進(jìn)行融合，得到目標(biāo)融合特征圖.使用映射函數(shù)使特征向量近似于交叉核函數(shù)的效果[17].交叉核定義如式(10)所示，映射函數(shù)如式(11)所示.

(10)

(11)

式(10)中x，z為樣本，n為樣本數(shù)量；式(11)中N為離散化層數(shù)，U(x)為一元函數(shù)，R(·)為舍入函數(shù).樣本映射之后交叉核如式(12)所示.

(12)

從式(12)可分析出，特征映射相近于交叉核關(guān)系，這種逐一比較的操作可用矩陣運(yùn)算替代，且符合圖像處理的方式.本文使用的16通道特征圖是對4通道特征圖(LRT+Lab)中每個(gè)元素逐一應(yīng)用特征映射方法進(jìn)行擴(kuò)展得到.這樣能通過特征提取區(qū)域的大小來保留多少特征信息.

3.2 訓(xùn)練器更新機(jī)制

在跟蹤過程中，用當(dāng)前幀的跟蹤目標(biāo)作為訓(xùn)練樣本對目標(biāo)模型進(jìn)行更新.算法模型更新時(shí)，對濾波器各參數(shù)進(jìn)行更新的方法為線性差值.

(13)

(14)

3.3 算法流程

本文基于KCF將HOG特征[18]替換為LRT特征，提出通道可靠局部秩變換的目標(biāo)跟蹤算法(Object Tracking Algorithm Based OnReliable Channel Local Rank Transform，RCLRT).通過考慮干擾目標(biāo)的影響，利用經(jīng)驗(yàn)選擇的特征通道和根據(jù)通道可靠性系數(shù)選擇的特征通道進(jìn)行實(shí)驗(yàn)比較，選擇能夠準(zhǔn)確反映目標(biāo)的特征通道，從而更加突出目標(biāo)的特征，提高跟蹤精確度.

算法流程如下：

輸入：第1幀圖像并初始化目標(biāo)

輸出：所有序列每幀中目標(biāo)的中心位置

1)提取局部秩變換特征，通過式(3)求解濾波器

2)利用式(4)計(jì)算各通道響應(yīng)圖，選擇可靠的通道響應(yīng)圖

3)將選擇的響應(yīng)圖進(jìn)行融合得到融合響應(yīng)圖，尋找融合響應(yīng)圖中響應(yīng)值最大的位置即為目標(biāo)的位置.

3.4 利用可靠的特征通道選擇的位置濾波

RCLRT中采用LRT特征，共16維特征通道，16維的特征通道中有些特征通道不能清晰地描述目標(biāo)，如圖2所示.

圖2 原始目標(biāo)圖和特征通道圖

可以看出，特征通道中有很多干擾目標(biāo)的背景信息或相似目標(biāo)，使得特征通道不能真實(shí)地反映目標(biāo).在進(jìn)行響應(yīng)圖計(jì)算時(shí)，如果將全部特征通道的權(quán)重相加，那么會影響對目標(biāo)定位的精確性.因此本文將測試通道響應(yīng)圖的可靠性，通過可靠性系數(shù)，選擇最大的兩個(gè)值所對應(yīng)的特征通道的響應(yīng)圖，使其融合得到融合響應(yīng)圖.與經(jīng)驗(yàn)選擇的兩個(gè)特征通道的融合響應(yīng)圖進(jìn)行實(shí)驗(yàn)比較，選擇響應(yīng)最好的融合響應(yīng)圖為最終的響應(yīng)圖.以此估計(jì)目標(biāo)的位置，提高跟蹤精確度.

由于不相同的可靠性系數(shù)指標(biāo)對不相同的模型評價(jià)效果存在差異，因此本文選擇次峰與主峰比、響應(yīng)最大值、峰值旁瓣值，3個(gè)可靠性系數(shù)指標(biāo)對RCLRT進(jìn)行評價(jià).在OTB50[19]數(shù)據(jù)集中，選擇20個(gè)視頻測試的結(jié)果如圖3所示.

圖3 可靠性指標(biāo)測試結(jié)果圖

圖3中RCLRT1、RCLRT2和RCLRT3分別為次主峰與主峰比、響應(yīng)最大值和峰值旁瓣值作為可靠性系數(shù)的跟蹤結(jié)果.可以看出峰值旁瓣值更能準(zhǔn)確評估RCLRT模型.次主峰與主峰比見式(15).

(15)

式(15)中，Pmax1為主峰峰值；Pmax2為次峰峰值.RSFMP反映了跟蹤目標(biāo)的突出性，值越大，響應(yīng)圖越干凈，跟蹤效果越好，那么可靠性越高.

計(jì)算各通道RSFMP后，選取特征通道中RSFMP值最大的兩個(gè)所對應(yīng)的特征通道響應(yīng)圖，將這兩個(gè)響應(yīng)圖作為可靠性響應(yīng)圖并融合得融合響應(yīng)圖：

S=RSFMPmax1+RSFMPmax2

(16)

本文用到的峰值旁瓣比作為可靠性系數(shù)時(shí)，其計(jì)算公式如式(17)所示.

(17)

式(17)中，gmax表示響應(yīng)輸出矩陣的最大值峰值，峰值附近11×11之外的區(qū)域定義為旁瓣；us1表示為“旁瓣”區(qū)域的均值；σs1表示“旁瓣”區(qū)域的標(biāo)準(zhǔn)差，PSR衡量相關(guān)性峰值.利用融合響應(yīng)圖尋找響應(yīng)最大值位置，作為目標(biāo)估計(jì)位置.

4 實(shí)驗(yàn)與分析

本文提出的跟蹤算法，使用的電腦CPU型號為Intel i7-9750H(2.60GHz)，內(nèi)存為16G，Matlab版本為R2016a，Opencv版本為3.4.2.采用Matlab+C語言(Open CV)編寫.

本文算法評估方式采用OPE(one-pass evaluation)，即用經(jīng)驗(yàn)標(biāo)注(ground-truth)的位置初始化第1幀中目標(biāo)的位置，然后利用跟蹤器持續(xù)跟蹤目標(biāo)，最終計(jì)算出跟蹤目標(biāo)的精確度和成功率.

1)精確度.指追蹤算法估計(jì)的目標(biāo)位置(bounding box)的中心點(diǎn)與經(jīng)驗(yàn)標(biāo)注的目標(biāo)的中心點(diǎn)之間的距離小于給定閾值的視頻幀的百分比.

為了更好地比較利用可靠性系數(shù)選擇的特征通道響應(yīng)圖和經(jīng)驗(yàn)選擇的特征通道響應(yīng)圖對估計(jì)目標(biāo)位置的性能.先將經(jīng)驗(yàn)選擇的16種特征通道響應(yīng)圖組合進(jìn)行比較，根據(jù)實(shí)驗(yàn)結(jié)果，選擇最好的組合再與利用可靠性系數(shù)選擇的3種組合進(jìn)行對比實(shí)驗(yàn).采用的數(shù)據(jù)集為上文選取的20個(gè)視頻序列.

圖4是16種特定特征通道組合算法測試排在前10的結(jié)果.結(jié)合表1可以看出，局部秩變換特征的特征通道2和特征通道7進(jìn)行組合，無論在精確度還是成功率上，其性能表現(xiàn)都是最好的.因此本文利用RCLRT27算法與RCLRT1、RCLRT2和RCLRT3進(jìn)行對比實(shí)驗(yàn).

圖4 經(jīng)驗(yàn)選擇測試結(jié)果

表1 10種算法的精確度、成功率

為分析算法在遮擋、背景雜亂和快速運(yùn)動等方面的表現(xiàn)性能，本文在OTB50的數(shù)據(jù)集上選擇了4個(gè)視頻序列進(jìn)行特定場景測試，選擇的視頻序列如表2所示，視頻序列屬性有形變(DEF)、背景雜亂(BC)、平面外旋轉(zhuǎn)(OPR)、遮擋(OCC)、尺度變化(SV)、平面內(nèi)旋轉(zhuǎn)(IPR)、光照變化(IV).

表2 視頻序列屬性

4.1 定性分析

圖5為本文算法與比較算法在特定視頻序列的結(jié)果.視頻從上至下、從左至右分別是Bolt2(第1，7，16，117，292幀)、Jogging1(第1，65，81，121，252幀)、Dancer(第1，15，90，151，215幀)、Faceocc2(第1，264，389，562，812幀)，通過分析跟蹤結(jié)果可知RCLRT27算法的跟蹤成功率和精確度較好.

圖5 4種算法跟蹤結(jié)果

在Bolt2序列中，目標(biāo)為短跑運(yùn)動員，背景比較雜亂，目標(biāo)有快速運(yùn)動和形變等特點(diǎn).7幀時(shí)所有算法均可跟蹤目標(biāo)，但在16幀及16幀之后，目標(biāo)發(fā)生較大形變時(shí)只有RCLRT27能夠準(zhǔn)確估計(jì)目標(biāo)位置，在跟蹤過程中，其他的跟蹤器多次出現(xiàn)跟蹤漂移或者跟蹤失敗.

在Jogging1序列中，在65幀時(shí)所有算法均可跟蹤目標(biāo)；在81幀目標(biāo)離開遮擋物之后，只有RCLRT27能夠?qū)崿F(xiàn)目標(biāo)的準(zhǔn)確定位；在121幀，目標(biāo)徹底離開遮擋物時(shí)，僅有RCLRT27與RCLRT3能夠準(zhǔn)確估計(jì)目標(biāo)位置.

在Dancer序列中，目標(biāo)在運(yùn)動過程中出現(xiàn)了大幅度旋轉(zhuǎn)、光照變化和形變.在15幀時(shí)，目標(biāo)旋轉(zhuǎn)幅度較小，所有算法均可跟蹤目標(biāo)但只有RCLRT27能夠準(zhǔn)確的估計(jì)目標(biāo)的位置；在90幀時(shí)，目標(biāo)的形變和旋轉(zhuǎn)較大時(shí)，僅有RCLRT27與RCLRT1能預(yù)測目標(biāo)位置，其余跟蹤器出現(xiàn)了嚴(yán)重的漂移.在151幀時(shí)，RCLRT2徹底跟蹤失敗；從總體來說，RCLRT27始終都能夠準(zhǔn)確的估計(jì)目標(biāo)的位置.

在Faceocc2序列中，所有算法均可跟蹤目標(biāo)，在389幀時(shí)，目標(biāo)發(fā)生了旋轉(zhuǎn)，僅有RCLRT27能夠?qū)崿F(xiàn)目標(biāo)的準(zhǔn)確定位，其他算法在跟蹤目標(biāo)過程中跟蹤框都發(fā)生了偏移.

RCLRT27通過經(jīng)驗(yàn)選擇的特征通道2和特征通道7進(jìn)行組合，形成最終的響應(yīng)圖，突出目標(biāo)在響應(yīng)圖中的位置，當(dāng)目標(biāo)有多種屬性變化時(shí)也能夠準(zhǔn)確跟蹤目標(biāo).

4.2 定量分析

本文經(jīng)驗(yàn)選擇的特征通道算法RCLRT27和3個(gè)可靠性指標(biāo)算法RCLRT1、RCLRT2和RCLRT3在OTB50數(shù)據(jù)集上進(jìn)行測試，結(jié)果如圖6所示.曲線下面積越大則對應(yīng)的算法性能越好，結(jié)果表明在在成功率曲線與精確度曲線中RCLRT27均優(yōu)于其他算法.

圖6 OTB50數(shù)據(jù)集測試結(jié)果

4.3 與其他算法比較

選擇使用梯度方向直方圖(HOG)特征的KCF算法和使用顏色特征的CN算法與本文使用LRT特征的RCLRT27算法在4個(gè)具有挑戰(zhàn)性的序列上進(jìn)行比較.視頻從上至下、從左至右分別是Bolt2(第1，12，30，41幀)、Jogging1(第1，74，85，130幀)、Dancer(第1，50，128，222幀)、Faceocc2(第1，520，600，808幀)，通過對3個(gè)算法在不同視頻序列的跟蹤結(jié)果進(jìn)對比分析如圖7所示，可以發(fā)現(xiàn)在目標(biāo)快速運(yùn)動，短時(shí)完全遮擋時(shí)，RCLRT27算法的跟蹤質(zhì)量和魯棒性都較KCF和CN算法更好.3種算法在4個(gè)挑戰(zhàn)性視頻序列的精確度、成功率和速率如表3所示，可知本文算法RCLRT27在精確度和成功率上都有最好的結(jié)果，其平均速率為56.7fps，滿足實(shí)時(shí)性要求.

表3 精確度、成功率值和速率

圖7 3種算法跟蹤結(jié)果

為對比算法在遮擋、光照變化及背景雜亂時(shí)的表現(xiàn)，本文使用中心位置誤差和重疊率評價(jià)算法的跟蹤結(jié)果.

1)中心位置誤差

(18)

式(18)中，O表示目標(biāo)中心位置；Ot為人工標(biāo)定的實(shí)際中心位置.誤差用像素來表示，即兩個(gè)中心點(diǎn)之間像素點(diǎn)的個(gè)數(shù)，中心位置誤差越小表示算法越好，如圖8所示，RCLRT27的中心位置誤差最低，在發(fā)生遮擋或形變或背景雜亂時(shí)變化較小.為進(jìn)一步比較，列出平均中心位置誤差，見表4.可以看出，RCLRT27平均中心位置誤差均是最小的，RCLRT27更加突出跟蹤目標(biāo)，受干擾因素的影響較小，提高了目標(biāo)跟蹤精度.

圖8 中心位置誤差跟蹤結(jié)果

表4 平均中心位置誤差對比表

2)重疊率

(19)

圖9 重疊率跟蹤結(jié)果圖

表5 平均重疊率對比表

5 結(jié) 論

本文提出通道可靠局部秩變換的目標(biāo)跟蹤算法，通過經(jīng)驗(yàn)選擇的特征通道2和特征通道7進(jìn)行融合得到RCLRT27，更加準(zhǔn)確的表征目標(biāo)，突出目標(biāo)在響應(yīng)圖中的位置，提升了目標(biāo)跟蹤精確度和成功率.實(shí)驗(yàn)結(jié)果表明，RCLRT27在目標(biāo)出現(xiàn)遮擋、快速旋轉(zhuǎn)、背景雜亂時(shí)，定位精度都有提高；在短暫遮擋后重新出現(xiàn)時(shí)，跟蹤器也能精準(zhǔn)定位目標(biāo).本文算法只對目標(biāo)進(jìn)行了位置估計(jì)，未做尺度估計(jì)，后續(xù)工作將引入尺度估計(jì)，考慮將本文的LRT特征與其他手工特征或者深度特征進(jìn)行融合來進(jìn)一步提高目標(biāo)的跟蹤精確度.