劉霖楓,孔繁鏘,嚴小樂,沈 秋

(南京航空航天大學(xué) 航天學(xué)院,南京 210016)

0 概述

視覺目標跟蹤廣泛應(yīng)用于視頻監(jiān)控、機器人實時定位及無人駕駛等領(lǐng)域。相關(guān)濾波跟蹤算法將跟蹤問題看作是目標與背景的分類問題,并根據(jù)相關(guān)濾波器對兩者產(chǎn)生的不同響應(yīng)進行分類。跟蹤算法的性能與諸多因素有關(guān),但文獻[1]發(fā)現(xiàn),特征提取是影響整個跟蹤算法性能的關(guān)鍵步驟,也是跟蹤算法研究中的熱門方向之一。

迄今為止,相關(guān)濾波跟蹤算法中使用的特征主要包括灰度特征[2]、形狀特征[3-5]、顏色特征[6-7]和紋理特征[8]。文獻[2]提出最小化平方誤差(Minimum Output Sum of Squared Error,MOSSE)算法,以圖像灰度為特征,使用最小化平方誤差準則在線訓(xùn)練目標模板,從而將相關(guān)濾波器運用到在線跟蹤中。文獻[6]在顏色名跟蹤(Color Name Tracker,CNT)算法中使用了顏色名(Color Name,CN)[9]特征,在判別式尺度空間跟蹤(Discriminative Scale Space Tracker,DSST)算法[4]中使用了描述目標形狀與輪廓的改進梯度方向直方圖特征(Felzenszwalb’s Histogram of Oriented Gradient,FHOG)[10]與灰度特征。文獻[5]提出的核化相關(guān)濾波(Kernalized Correlation Filtering,KCF)算法使用了完整的FHOG特征,并用核化嶺回歸(Kernel Ridge Regression)模型,進一步提高了相關(guān)濾波跟蹤算法的實時性及魯棒性。

盡管相關(guān)濾波跟蹤算法中對特征提取方法的研究已經(jīng)積累了豐富的成果,但多數(shù)是出于提升算法跟蹤性能的目的,分散地進行特征優(yōu)化或多特征融合,其實驗分析也多是對改進前后算法性能的比較。而實際上各種特征因不同的特點,所適用的場景也各不相同,如:灰度特征適合低分辨率場景,而形狀特征則在目標形變場景下表現(xiàn)更突出。目前系統(tǒng)分析這些不同類型特征各自優(yōu)勢和劣勢的研究較少。本文通過理論推導(dǎo)分析各類特征的描述能力,比較其在不同場景下的性能表現(xiàn),并給出各特征的適用條件和互補條件,從而為特征選擇及特征融合提供理論和實驗依據(jù)。

1 KCF算法與核函數(shù)

KCF算法[5]完善了相關(guān)濾波算法的基本框架,取得了很好的跟蹤效果。近年來流行的相關(guān)濾波跟蹤算法[7,11]均以KCF為基礎(chǔ),因此本文的實驗使用帶有尺度預(yù)測的改進KCF算法。KCF算法使用核化的嶺回歸方法學(xué)習(xí)一個用于分類的相關(guān)濾波器,通過循環(huán)矩陣的方式實現(xiàn)密集采樣,并在頻域加速計算，這使得KCF算法擁有良好準確性、魯棒性和實時性。

核化的嶺回歸方法采用正則化最小平方誤差(Regularized Least Square,RLS)的原則訓(xùn)練分類器,即通過樣本訓(xùn)練出濾波器模板ω,使得濾波器響應(yīng)與對應(yīng)的樣本標簽y之間的平方誤差最小:

(1)

其中,xi是樣本特征向量x的第i維分量,f(ω,x)=ωΤx是x的線性映射,yi是理想高斯分布,λ為正則化參數(shù)。

為增加非線性分類能力,核函數(shù)的方法被引入到模型中。在核函數(shù)方法中,樣本的特征向量x被φ(·)映射到高維Hilbert空間中,從而使目標函數(shù)式(1)中:

(2)

高斯核函數(shù)可以表示為:

(3)

由式(3)進行泰勒展開可以發(fā)現(xiàn),高斯核函數(shù)能夠?qū)⒃卣饔成涞綗o限維特征空間,在此空間進行RLS分類能夠很好地提升算法的非線性分類能力。而線性核函數(shù)則不進行高維映射,僅相當(dāng)于原特征空間的內(nèi)積運算:

k(x,z)=xTz

(4)

根據(jù)文獻[12]求解線性核函數(shù)假設(shè)下的濾波器模板ω后,可以得到當(dāng)前幀的相關(guān)濾波響應(yīng):

(5)

其中,x是模板的目標特征,z為從當(dāng)前幀提取得到的特征,符號^表示變量的頻域形式。計算得到相關(guān)響應(yīng)的最大值所在位置即為當(dāng)前幀目標位置。

從式(5)中可以看到,目標的位置預(yù)測完全由當(dāng)前幀提取得到的特征z與濾波器的相關(guān)響應(yīng)決定。即在模板更新策略不變時,線性核作用下的跟蹤表現(xiàn)可以直觀反映特征的描述能力并作為其評價標準。因此,本文實驗采用線性核函數(shù)進行分析和特征比較。

2 跟蹤算法中的特征

目前,在視覺目標跟蹤算法中使用的特征主要有：灰度特征,形狀特征,紋理特征和顏色特征。

灰度特征直接使用圖像的灰度值對目標進行描述，因其提取簡單且特征維度僅有一維,被廣泛地用于早期的單通道相關(guān)濾波跟蹤算法中。為進一步簡化計算、提高算法實時性,在算法實現(xiàn)中使用歸一化的灰度特征,其提取效果見圖1(b)。

形狀特征通過提取圖像中的邊緣信息,產(chǎn)生目標外部輪廓及內(nèi)部邊緣的形狀描述子對目標進行描述,不僅可區(qū)分目標與背景,還可以區(qū)分相似目標。文獻[13]提出梯度方向直方圖特征(Histogram of Oriented Gradient,HOG),由于其對目標形狀有較好的描述能力,被廣泛地用于視覺目標跟蹤算法中。為了提高HOG計算的速度,文獻[10]使用主成分分析的方法對其進行了降維處理,提出了FHOG特征。FHOG特征的可視化結(jié)果見圖1(c)。

紋理特征通過描述圖像中顏色與光強的空間分布,產(chǎn)生目標紋理的描述子,從而區(qū)分具有不同紋理的目標。在諸多的紋理特征中,文獻[14]提出的局部二值模式(Local Binary Pattern,LBP)有計算量小、對噪聲不敏感、對灰度和旋轉(zhuǎn)具有不變性等優(yōu)點,被廣泛用于圖像紋理特征的提取。而LBP“等價模式”[15]的提出彌補了原始LBP特征維度較高的不足,大大減少了描述子種類,使得LBP特征的提取與計算實時性更強,能更好地應(yīng)用于跟蹤算法中,其特征提取結(jié)果見圖1(d)。

顏色特征是一種直觀、易提取的圖像特征,符合人類視覺的直觀感受。近年來,CN特征取得了很好的表現(xiàn),因此被廣泛地用于跟蹤算法中。CN特征將圖像中的顏色信息投影到11種基礎(chǔ)顏色上,并將歸一化的各顏色分量作為目標的顏色特征描述子。相比于其他顏色特征,CN特征維數(shù)低,計算快,符合人眼對顏色細節(jié)不敏感的特點,對細微的顏色變化有較好的魯棒性,其特征提取結(jié)果如圖1(e)所示。

圖1 視覺目標跟蹤中常用的4類特征提取結(jié)果

上述特征分別從不同角度提取圖像信息、產(chǎn)生特征描述子,因此在復(fù)雜場景下的適用性也有所差異。例如:光照變化時,灰度特征和顏色特征所受到影響較大;目標邊緣模糊時,形狀特征的描述能力下降;非自然圖像中,紋理信息不足,不宜使用紋理特征。為彌補單一特征描述能力的不足,文獻[4,7]相關(guān)濾波算法中采用了融合特征,并取得較好的跟蹤表現(xiàn)。綜上，本文充分發(fā)揮各個特征的優(yōu)勢,對跟蹤性能進行研究,但如何合理地選擇特征,仍然缺少理論和實驗依據(jù)。

3 特征的分析對比

本文通過實驗,根據(jù)線性核作用下各類特征的跟蹤表現(xiàn),詳細分析各類特征在不同場景下的目標描述能力及影響目標描述能力的原因,并進一步探討灰度特征、形狀特征、紋理特征、顏色特征間的互補性。

3.1 評價標準及評價指標

為準確而全面地評價跟蹤表現(xiàn),本文分別使用OTB(Object Tracking Benchmark)[16]和VOT(Visual Object Tracking)[17]2種評價標準進行量化評價,并在2種評價結(jié)果沖突時使用主觀跟蹤表現(xiàn)加以補充。

OTB標準使用位置精度(Distance Precision,DP)曲線和重疊精度(Overlap Precision,OP)曲線評價跟蹤表現(xiàn),兩者分別刻畫了DP、OP小于不同閾值時的跟蹤成功率。此外,OTB標準將跟蹤序列細致地劃分為11種具有挑戰(zhàn)性的場景,能充分反映不同場景中的跟蹤表現(xiàn)。本文使用了OTB100[18]和TempleColor128[19]2個標準跟蹤數(shù)據(jù)集中共計160個不同的彩色序列進行實驗。OTB標準的場景劃分及其在數(shù)據(jù)集中對應(yīng)的序列數(shù)如表1所示。

表1 OTB標準的場景分類

VOT標準為減少評價過程中的偏差,在算法跟蹤失敗后,重置跟蹤框,以避免當(dāng)前失敗對后續(xù)測試的影響。根據(jù)算法的平均OP與失敗次數(shù),VOT標準使用精度和魯棒性分級(Accuracy-robustness rank,AR-rank)對所有參評算法給出相對性比較,并用平均期望重疊度(Expected Average Overlap,EAO)評價算法實際跟蹤表現(xiàn)。但VOT標準的場景僅劃分為遮擋、光照變化、運動變化、尺度變化和相機運動5類場景,無法多方面地對比各類特征的適用場景。

3.2 特征的描述能力分析

通過2種評價標準對灰度特征Gray、形狀特征FHOG、紋理特征LBP以及顏色特征CN在不同場景中跟蹤表現(xiàn)的評價,可以對這幾類特征的描述能力做詳細的分析。

表2給出了各類特征在OTB標準中不同類別場景下的跟蹤表現(xiàn),其中，DP值采用20像素誤差下的成功率,OP值采用50%重疊度時的成功率。表2中加粗與下劃線標注表現(xiàn)最優(yōu)特征,單一下劃線表示次優(yōu)特征。

表2 4類特征在彩色序列集下的跟蹤結(jié)果 %

由表2可知,灰度特征均表現(xiàn)較差,FHOG特征除運動模糊場景外,均有較好表現(xiàn),LBP特征在復(fù)雜背景和運動模糊中表現(xiàn)較優(yōu),但平均表現(xiàn)略差于FHOG與CN特征,CN特征僅在光照變化時表現(xiàn)較差。

在VOT標準中，4類特征在不同類別場景下的跟蹤表現(xiàn)如圖2所示。

圖2 4類特征在不同場景中的平均AR-rank及EAO

從圖2(a)中可以看出,VOT標準中灰度特征的精度和魯棒性較差,FHOG特征具有最佳的跟蹤精度,CN特征則有最優(yōu)的魯棒性,LBP特征的魯棒性與FHOG相近,但精度略差。而在圖2(b)中,VOT標準在光照變化與遮擋場景中的評價與OTB標準互相矛盾,因此圖3采用主觀跟蹤結(jié)果。

如圖3(a)所示,CN特征與灰度特征對光照變化較為敏感,跟蹤表現(xiàn)較差,而在圖3(b)中,FHOG與CN特征在完全遮擋的場景中的跟蹤表現(xiàn)優(yōu)于LBP與灰度特征。

圖3 4類特征在光照變化與遮擋場景中的跟蹤表現(xiàn)

上述結(jié)果表明:

1)在具有挑戰(zhàn)性的復(fù)雜序列中,灰度特征均表現(xiàn)不佳,描述能力較弱,不宜單獨使用。

2)FHOG特征在大多數(shù)場景中均有較好的目標描述能力,并在外觀形變、遮擋場景中表現(xiàn)突出,此時目標的輪廓特征變化較為平緩,且存在只有部分輪廓發(fā)生變化的情況,這使得FHOG特征能夠很好地描述目標。但在運動模糊時,目標輪廓特征和內(nèi)部邊緣細節(jié)都被弱化,導(dǎo)致FHOG特征的目標描述能力不佳。

3)LBP特征平均表現(xiàn)略差于FHOG與CN特征,但在復(fù)雜背景和運動模糊場景中表現(xiàn)更具優(yōu)勢,雖然此時目標的紋理細節(jié)被破壞,但其整體的紋理結(jié)構(gòu)變化不大,使得LBP在此類場景下具有更強的魯棒性。但在平面外旋轉(zhuǎn)和遮擋場景中,因其包含了目標內(nèi)部所有的紋理變化,相比于形狀和顏色特征,所受到的影響更大,所以表現(xiàn)略差于FHOG與CN特征。

4)CN特征在彩色序列的大多數(shù)場景中表現(xiàn)優(yōu)秀,尤其在低分辨率時,基于直方圖統(tǒng)計的FHOG和LBP特征不能很好地描述目標,但CN特征仍表現(xiàn)較好。此外由于目標遮擋前后顏色變化一般較小,因此CN特征在遮擋時仍有良好地描述目標能力。但CN特征對光照變化較為敏感,且在灰度序列中無法使用,一定程度上限制了其跟蹤表現(xiàn)。

5)在超出視野場景中,由于KCF算法缺乏相應(yīng)的模型更新及重檢測機制,使得這4類特征都無法取得較好的跟蹤表現(xiàn)。

3.3 特征的互補性分析

通過上述實驗得出,形狀特征FHOG、紋理特征LBP以及顏色特征CN分別從不同角度構(gòu)建目標的特征描述子,在復(fù)雜的復(fù)合場景中能夠互相補充,從而提升對目標的描述能力。為對各類特征在不同場景中的互補性進行分析,本文采用特征向量串聯(lián)的方式進行特征融合,融合所得的復(fù)合特征在各類場景下的平均OP如圖4所示。其中,OP值采用50%重疊度時的成功率。

圖4 復(fù)合特征在不同場景中的平均OP分布

各復(fù)合特征在不同場景中的平均OP分布結(jié)果表明:

1)FHOG特征在外觀形變和遮擋場景中表現(xiàn)突出,而LBP特征則在復(fù)雜背景、運動模糊場景中具有優(yōu)勢,兩者在這4類場景中能夠很好的互相補充。

2)LBP特征擁有較強的光照不變性,可以彌補CN特征對光照敏感的不足,兩者融合亦可提高外觀形變與遮擋場景中的魯棒性,此外由于在運動模糊及相機運動場景中的出色表現(xiàn),兩者構(gòu)成的融合特征在劇烈運動類場景中有很好適應(yīng)性。

3)FHOG特征同樣能夠彌補顏色特征CN特征對光照敏感的不足,而CN特征的加入能夠改善FHOG特征在運動模糊場景中的表現(xiàn),兩者融合能夠在精度與魯棒性上優(yōu)勢互補,且在遮擋和快速運動場景中具有很好的魯棒性。

4)3類特征的組合從不同角度完善了對目標外觀的描述,從而在目標旋轉(zhuǎn)及目標超出視野的場景中均取得良好的表現(xiàn)。

雖然各類特征能夠互相補充,但在不同場景中各類特征的互補性仍有所差異,因此融合特征的特征選擇不能盲目選取不同種類的特征,亦要結(jié)合實際場景,選擇互補性更佳的特征,如:文獻[20-21]采用了各場景中互補性最佳的形狀和顏色特征;文獻[8,22]采用自適應(yīng)融合了形狀特征、紋理特征與顏色特征;文獻[23]將FHOG、CN與灰度特征融合,均取得了良好的跟蹤表現(xiàn)。

此外,由于灰度特征在這些具有挑戰(zhàn)性的序列上均表現(xiàn)不佳,因此需要進一步的實驗分析來對上述3類特征與灰度特征的互補性做出評價。本文實驗使用串行融合方式,分別在FHOG、LBP和CN特征后串聯(lián)一維歸一化灰度特征,構(gòu)成FHOG_Gray、LBP_Gray和CN_Gray 3種復(fù)合特征,以探討各類特征與灰度特征間的互補性。

表3和圖5給出了OTB標準下各特征與對應(yīng)復(fù)合特征的跟蹤表現(xiàn)對比。其中,表3加粗表示較優(yōu)的特征,圖5(a)中括號數(shù)據(jù)表示平均位置精度，圖5(b)中括號數(shù)據(jù)表示平均重疊精度。實驗結(jié)果表明:串聯(lián)了灰度特征的FHOG_Gray特征在快速運動、運動模糊、光照變化與低分辨率場景中優(yōu)于FHOG特征,而在復(fù)雜背景、外觀形變及旋轉(zhuǎn)場景中表現(xiàn)不佳;LBP_Gray特征在所有場景中都優(yōu)于LBP特征,體現(xiàn)出良好的互補性;CN_Gray特征則只在快速運動、運動模糊與光照變化場景中優(yōu)于CN特征,其余場景未能取得良好的表現(xiàn)。

表3 OTB標準中各特征與其對應(yīng)復(fù)合特征的20像素誤差成功率 %

圖5 OTB標準中各特征及其復(fù)合特征的平均位置精度與平均重疊精度曲線

OTB標準下各特征與對應(yīng)復(fù)合特征的跟蹤表現(xiàn)對比表明,灰度變化趨勢構(gòu)成描述子的形狀特征FHOG,灰度間關(guān)系構(gòu)建描述子的紋理特征LBP與灰度特征具有較好的互補性,而通過圖像RGB 3個子層的分量構(gòu)建描述子的顏色特征CN則與灰度特征間互補性不佳。

4 結(jié)束語

本文描述相關(guān)濾波跟蹤算法中的特征提取研究成果,并通過實驗對灰度特征、形狀特征、紋理特征和顏色特征的適用性和互補性進行評價。實驗結(jié)果表明,形狀特征在目標形變和遮擋場景中對目標描述能力較強,紋理特征更適用于運動模糊和復(fù)雜背景場景,顏色特征具有良好的魯棒性,且在旋轉(zhuǎn)、遮擋和低分辨率時表現(xiàn)優(yōu)秀,在復(fù)合場景中,三者有較好的互補性。此外,灰度特征雖不適用于復(fù)雜場景,但與形狀特征有很好的互補性。下一步將研究在復(fù)雜的復(fù)合場景中,綜合考慮各類特征的適用性及互補性,選擇互補性較優(yōu)的特征組合進行特征融合,從而改善相關(guān)濾波跟蹤算法的跟蹤性能。