廖加文,齊春,曹劍中,黃繼江

(1.西安交通大學電子與信息工程學院,710049,西安;2.中國科學院西安光學精密機械研究所,710119,西安;3.中國科學院大學,100049,北京)

無模型目標跟蹤是指在給定初始位置和尺寸的情況下,跟蹤算法能夠持續(xù)定位序列中的任意跟蹤目標。這類算法由于不需要預先采集大量訓練樣本以及對跟蹤目標的普適性,近年來獲得了很大的關注。跟蹤的主要問題是目標外觀的變化,例如遮擋、形變、出視場等,會對跟蹤算法的性能有很大影響。

當目標出現(xiàn)嚴重遮擋或者顯著形變時,算法的預測結果將會變得不太可靠,同時濾波器模型也將會被污染。因此,跟蹤結果的可靠性需要進行驗證,因為它會影響到后續(xù)的模型更新。一些算法通過分塊來提高濾波器模型對于形變和遮擋的魯棒性[1-2],有些算法著力解決跟蹤過程中的特征魯棒表達[3-4]或者是尺度變化[5],有些算法通過緩存以往模板解決其中的遮擋問題[6],當然也有一些算法通過充分利用背景信息以訓練一個更加魯棒的跟蹤算法[7-8],但是由于模型更新所引入的問題仍然存在。

跟蹤的另一個問題是當遮擋、劇烈形變甚至出視場出現(xiàn)時,如何有效的矯正不可靠的預測結果,這就需要一個有效的重新檢測模型。然而,一些長時跟蹤算法[9]僅僅避免了濾波器模型污染,而當目標丟失時這些算法卻無法重新檢測目標。有些算法引入檢測模塊,在判斷跟蹤丟失時通過撒粒子隨機搜索的方式檢測目標[10],然而,這種方式有較大的盲目性,可能無法得到較優(yōu)的結果。

為解決上述問題,本文提出一種結合自適應特征選擇和蕨類分類器的相關濾波跟蹤(DRDCF)算法。為了抵御形變以及局部遮擋的影響,首先,對目標特征進行自適應選擇;其次,采用保守更新和進取更新兩種更新策略訓練兩個濾波器模型,進取型濾波器采用固定插值因子在每一幀對模型進行更新,能夠適應跟蹤目標的動態(tài)變化,保守型濾波器則只有滿足一定準則才進行濾波器更新,能夠較穩(wěn)定的保持跟蹤目標的特性;最后,引入隨機蕨類分類器作為檢測器,當需要啟動檢測器時,由檢測器在固定的區(qū)域采用固定大小的矩形框以滑窗形式檢測搜索區(qū)域。實驗結果表明,本文DRDCF算法可以有效解決目標突變所造成的模型污染以及跟蹤失敗問題。

1 核相關濾波架構

(1)

(2)

對于下一幀目標位置的預測,首先截取預測位置周圍的一個圖像塊,然后提取特征層St,最后對特征層在頻域進行濾波得到頻域的響應圖譜

(3)

在不同位置的響應值可以通過以下離散傅里葉逆變換獲得

yt=f-1(Yt)

(4)

然后,尋找最大響應值位置,即可以得到下一幀中目標的偏移量預測值。

(5)

通過尋找式(5)的傅里葉逆變換ys,t的最大值,可以得到預測尺度值。

2 目標動態(tài)特征表示

(a)標定的籃球運動員位置 (b)標定的男孩頭部位置

(c)原始各特征層預測的籃球運動員位置 (d)原始各特征層預測的男孩頭部位置

(e)自適應特征選擇處理后各層預測的籃球運動員位置 (f)自適應特征選擇處理后各層預測的男孩頭部位置圖1 自適應特征選擇對跟蹤目標位置預測的處理效果

不同的特征表達從不同視角反映了目標的特性,比如,方向梯度直方圖(HOG)特征[12]能夠比較好地刻畫跟蹤目標的紋理信息,而顏色名(CN)特征[13]則能夠較好地反映跟蹤目標的顏色信息。常規(guī)上,通過這些互補的特征進行組合表達,能夠較魯棒地表示跟蹤目標,但是由于跟蹤目標類型各不相同,即使同一個目標,隨著跟蹤的持續(xù),目標會呈現(xiàn)出不同的特性。比如,圖1a的跟蹤目標——籃球運動員隨著跟蹤的持續(xù),可能會出現(xiàn)被周邊的其他白色服裝的運動員所遮擋的情況,如果只是觀察CN統(tǒng)計的顏色特征,有些層就會出現(xiàn)非常大的變化,而基于CN特征所預測的跟蹤位置會嚴重偏離真實的跟蹤目標,這樣對于多特征組合表達的預測形式,此時的部分顏色特征對跟蹤算法的性能沒有提升作用,反而降低了性能。圖1演示了自適應特征選擇對于跟蹤目標位置的預測效果,可以直觀地發(fā)現(xiàn)經(jīng)過自適應特征選擇處理后,不同特征層對于跟蹤目標的預測位置較為準確,那些預測誤差較大的特征層被比較好的過濾掉。通過自適應特征選擇模塊保留預測精度較高的特征表達層,擯棄掉預測誤差較大的特征層,能夠更加精確地預測跟蹤目標的位置,提高跟蹤性能。

在信號處理中,通常認為信號具有較大的方差,而噪聲具有較小的方差。對于跟蹤來說,大部分特征層能夠較準確地預測跟蹤目標的位置,而少部分特征層會出現(xiàn)較大誤差,可以認為原始特征表達中預測精度較高的特征層為信號,而預測誤差較大的特征層為噪聲。通過降維擯棄方差較小的特征層,最好的d維特征是將j維樣本點轉換為d維后,每一維上的樣本方差都很大。考慮到目標特性的連續(xù)性,本文充分利用之前幀的信息,這里采用線性插值策略以得到比較穩(wěn)定連續(xù)的原始特征表達Ot,即

Ot=(1-θ)Ot-1+θPt

(6)

式中:Pt為跟蹤目標在第t幀中直接提取的原始特征表達;Ot-1表示在第t-1幀時的穩(wěn)定原始特征表達;θ∈[0,1]為固定插值因子。利用特征表達Ot來生成投影矩陣Ωt,通過投影矩陣,可以把穩(wěn)定原始特征表達從高維空間映射到相對低維子空間,排除掉部分預測誤差較大的特征層。通過最小化目標特征表達Ot的重建誤差ε,可以得到投影矩陣

(7)

式中:α表示對特征表達層每個空間位置進行遍歷操作,此時每個空間位置Ot(α)∈Rj×1;I表示單位矩陣。對自相關矩陣Ct進行特征分解

(8)

通過選擇最大d個特征值對應的特征向量即可得到該投影矩陣Ωt。然后,將穩(wěn)定原始特征特征層Ot經(jīng)過投影矩陣Ωt進行映射,得到的前d個最大的特征值對應的特征向量就是最佳的d維新特征,而且這d維新特征之間正交。由于在跟蹤過程中,穩(wěn)定原始特征表達以插值形式固定引入每一幀的新信息,這樣隨著跟蹤目標的變化,投影矩陣也在動態(tài)變化,因而動態(tài)地提取不同的特征表達層可以更魯棒地表示跟蹤目標。

3 跟蹤目標突變判別及檢測

首先介紹保守更新的濾波器?！蔙M×N×i,它通過對樣本進行矢量化然后圓周移位得到循環(huán)矩陣,然后回歸到一個高斯軟標簽,最終得到系數(shù)矩陣即為濾波器參數(shù)。該濾波器判斷當前預測位置圖像塊的最大響應值γmax∈R,只有當響應值大于設定閾值η∈R時,才把當前圖像塊作為訓練樣本進行保守濾波器模型更新,否則濾波器模型保持不變更新后的濾波器表示如下

(9)

式中:Γnew為引入當前樣本信息做出更新后的濾波器;Γold為沒有引入當前樣本信息的濾波器;Ht表示由當前幀學習到的濾波器參數(shù)。這樣可以更加穩(wěn)定的保持跟蹤目標的信息,不受突變、遮擋等劇烈形變的影響。保守更新濾波器可以用來作為當前跟蹤位置狀態(tài)的衡量標準。

(10)

gt=(ζt-χt-1)/χt

(11)

(a)進取型濾波器預測位置 (b)檢測器啟動搜索圖2 目標丟失后檢測器的搜索效果

式中:?∈R為判斷發(fā)生突變的閾值。如果發(fā)生突變,則啟動目標檢測器,對突變位置鄰近區(qū)域進行跟蹤目標的檢測。目標(玩偶)丟失后檢測器重新找回目標的效果如圖2所示。由圖2可見:經(jīng)過一段時間的嚴重遮擋后,圖2a中黑框為進取型濾波器對于跟蹤目標位置的預測,玩偶為跟蹤目標,由于模型更新,該濾波器已經(jīng)學習到背景信息導致預測位置出現(xiàn)錯誤;圖2b為檢測器以滑窗形式搜索周圍區(qū)域,覆蓋了目標重新出現(xiàn)后的區(qū)域,丟失的目標能夠重新被檢測出來,從而實現(xiàn)穩(wěn)定的跟蹤。檢測器采用的是隨機蕨類分類器,該分類器在第一幀進行分類器初始化,為了保持該分類器對于跟蹤目標平滑變化的適應性,分類器進行保守更新,只有當響應值大于設定閾值時才進行分類器的更新。檢測器在預設檢測區(qū)域進行滑窗掃描搜索,選擇分值最大的圖像位置為檢測器預測位置。最終,跟蹤目標位置的確定仍然需要保守型濾波器對預測位置圖像塊進行打分,通過對檢測器預測位置與進取型濾波器預測位置所截取的圖像塊的分值大小進行跟蹤位置確定,確定法則如下式

(12)

當突變發(fā)生后,需要進行多次檢測,以解決遮擋以及劇烈形變帶來的跟蹤丟失問題。當候選目標區(qū)域打分值大于進取型濾波器最大響應值的δ倍時,認定該候選目標區(qū)域為最終目標,放棄后續(xù)的檢測流程,否則就持續(xù)檢測直到達到最大檢測次數(shù)μ∈R。檢測采用每隔5幀進行一次,用于提高跟蹤算法的運算速率,因為對于常規(guī)視頻,5幀之間的時間間隔比較小,因而目標的移動區(qū)域不會太大。

4 實驗結果與分析

為了驗證本文DRDCF算法的性能,在OTB-2015[14]以及Temple Color[15]數(shù)據(jù)集上進行了綜合實驗,從精度和覆蓋率兩個方面進行性能評估。運行環(huán)境為MATLAB2017,硬件配置為3.6-GHz Intel I7-7700 CPU和8 GB RAM的標準計算機。實驗結果表明,本文算法實現(xiàn)了高于10幀/s的速率。

(1)特征表達。本文采用HOG特征、CN特征以及直方圖特征組成組合特征,其中,HOG特征包括對灰度圖像提取8維直方圖信息以及對灰度圖像進行非參秩變換[16]后提取8維直方圖信息,這兩個灰度直方圖信息提取直接采用的是piotr工具箱中的函數(shù),其中HOG特征為31層,CN為10層,區(qū)域直方圖特征16層,彩色圖像一共57層特征,黑白圖像不提取CN特征,一共47層特征。

(2)參數(shù)設置。保守濾波器以及蕨類分類器的更新閾值設為η=0.4,蕨類分類器的搜索范圍為相關濾波器搜索尺寸的1.2倍,相關濾波器的參數(shù)設置與文獻[17]相同。經(jīng)過自適應特征選擇模塊處理后的跟蹤目標的特征層數(shù)選擇,如果是彩色目標i=30,而如果是灰度跟蹤目標i=27。判斷跟蹤目標發(fā)生突變的閾值設為?=-0.13,檢測到突變后的最大目標檢測次數(shù)設為μ=9。本文所設的參數(shù)在整個實驗過程中保持不變。

4.1 與前沿跟蹤算法的效果對比

將本文提出的DRDCF算法與4種前沿跟蹤算法CSR-DCF[18]、Staple[19]、LCT[20]及fDSST[17]算法進行了總體性能比較。圖3為5種算法在數(shù)據(jù)集OTB-2015上的精度與覆蓋率曲線,圖例按照性能由好到差順序排列。本文提出的算法取得了最好的效果,在跟蹤精度以及覆蓋率兩項指標上分別達到了81.2%和61.1%。相較于CSR-DCF(CVPR-17)算法,在精度與覆蓋兩項指標上分別提升了2.78%和4.26%。

4.2 基于屬性的性能對比

驗證本文跟蹤算法對不同類型挑戰(zhàn)的適應性。實驗結果表明,在覆蓋率指標上,本文算法在OTB2015標注的11種屬性里有9項取得了最好效果,這9項屬性分別是遮擋、出視場、形變、出平面旋轉、亮度變化、尺度變化、運動模糊、平面內旋轉以及背景干擾;在精度指標上,有6項取得了最好效果,這6項屬性分別是遮擋、出視場、形變、運動模糊、出平面旋轉和尺度變化。采用5種算法對6種屬性的跟蹤性能進行對比,結果如表1所示。由表1和圖3都可以看出,本文提出的DRDCF算法在精度以及覆蓋率方面都取得了最好的效果,說明本文算法在應對目標挑戰(zhàn)性變化方面具有出色的效果。

(a)5種算法的精度曲線

(b)5種算法的覆蓋率曲線圖3 OTB2015數(shù)據(jù)集上5種跟蹤算法的跟蹤效果

4.3 跟蹤算法模型對比分析

該部分驗證進取型濾波器對跟蹤算法性能的影響。對本文提出的DRDCF算法進行了調整,排除了進取型濾波器,形成一種新的算法,命名為DRDCF-Cons。圖4展示了本文DRDCF和DRDCF-Cons算法在OTB-2015數(shù)據(jù)集上的精度和覆蓋率兩項指標對比,可以發(fā)現(xiàn),去除進取型濾波器后,DRDCF-Cons算法在精度和覆蓋率兩項指標上均有較大的下降。由于保守濾波器以及檢測器均采用保守更新,傾向于保持目標特性的穩(wěn)定,導致跟蹤算法對于目標的動態(tài)變化適應性較差,DRDCF算法通過進取型濾波器積極適應目標的動態(tài)變化,保守型濾波器和檢測器都能夠保持目標特性的穩(wěn)定。通過第3節(jié)介紹的融合準則可知,DRDCF算法既能夠保持對目標的動態(tài)適應,又能保持目標的穩(wěn)定特性,從而達到更好的跟蹤效果。

表1 5種算法的跟蹤性能對比

注：黑體數(shù)據(jù)為最高數(shù)值。

(a)精度曲線 (b)覆蓋率曲線圖4 OTB2015數(shù)據(jù)集上兩種算法的精度與覆蓋率曲線

4.4 Temple Color數(shù)據(jù)集性能

在Temple Color數(shù)據(jù)集上對本文算法進行驗證,與4種前沿濾波器CSR-DCF[18]、RPT[19]、LCT[20]及fDSST[17]算法進行了總體性能比較,實驗結果如圖5所示。為了公平起見,所有算法均選擇RGB顏色特征。由圖5可見:具有檢測模塊的長時跟蹤LCT算法在覆蓋率和精度指標上分別達到了43.32%和60.68%,而本文提出的算法在兩項指標上達到了48.65%和64.97%,相較于LCT算法在兩項指標上分別提升了12.3%和7.0%;本文算法在Temple Color數(shù)據(jù)集上取得了接近CSR-DCF算法的效果;本文算法的跟蹤效果顯著優(yōu)于其他跟蹤算法。

(a)精度曲線

(b)覆蓋率曲線圖5 TempleColor數(shù)據(jù)集上不同算法的跟蹤效果

4.5 跟蹤算法定性分析

(a)Girl2遮擋前 (b)Girl2遮擋中 (c)Girl2遮擋后圖6 3種算法在Girl2序列中的跟蹤結果對比

(a)box遮擋前 (b)box出遮擋 (c)box尺度變化圖7 3種算法在Box序列中的跟蹤結果對比

(a)Dragonbaby (b)旋轉 (c)出平面旋轉圖8 3種算法在DragonBaby序列中的跟蹤結果對比

(a)Sylvester旋轉(b)旋轉+光照變化 (c)旋轉圖9 3種算法在Sylvester序列中的跟蹤結果對比

將本文算法與其他2種跟蹤算法CSR-DCF[18]以及LCT[20]進行性能對比,圖6～圖9顯示了3種算法在4個有較大目標突變場景的跟蹤效果,為了便于觀察,本文算法用黑色矩形框,CSR-DCF用長短線白色虛框,LCT用點狀白色虛框。由圖6～圖9可見:Girl2以及Box序列中,本文算法能夠在目標重新出現(xiàn)后找到目標,說明檢測器對于這些異常情況處理很有必要;在Dragonbaby序列中目標出現(xiàn)平面旋轉、遮擋等情況,本文算法能夠比較準確地跟蹤目標;在Sylvester序列目標呈現(xiàn)出平面旋轉、光照變化,在目標形變時,受益于檢測模塊;本文算法和LCT均能夠跟蹤目標,但是當目標出現(xiàn)大的旋轉變化時,只有本文算法能夠穩(wěn)定地跟蹤目標;相較于對比的前沿跟蹤算法,本文算法在應對遮擋和形變等突變場景時,能夠較好地保持對目標的跟蹤。

5 總 結

(1)本文提出的跟蹤算法有效解決了目標外觀突變造成的跟蹤失敗,通過采用自適應特征選擇,根據(jù)目標特性選擇相應的特征分量,能夠更魯棒地表達目標特征。

(2)采用進取型和保守型兩種濾波器模型更新策略,進取型濾波器用于實現(xiàn)對下一幀目標位置的預測,保守型濾波器用于對跟蹤模塊以及檢測器產(chǎn)生的預測位置進行可靠性計算。

(3)當進取型濾波器預測位置不可靠時,檢測器產(chǎn)生一系列候選塊通過選擇機制確定最優(yōu)預測位置。本文提出的算法在OTB-2015以及Temple Color數(shù)據(jù)集上進行了綜合驗證,實驗表明,本文算法能夠有效減輕目標突變造成的跟蹤丟失,在精度以及覆蓋率兩項指標上達到了前沿算法的效果。