STC目標跟蹤算法及改進

代順鋒++秦曉飛

摘要：

針對傳統(tǒng)的STC目標跟蹤算法在剛性形變、多尺度自適應跟蹤效果不穩(wěn)定問題，提出了一種改進的STC目標跟蹤算法。結合時空上下文信息特征，利用PCA自適應顏色降維特征建立外觀模型，獲得先驗模型；在頻域進行在線學習，建立上下文模型；計算置信圖，找到響應分數(shù)最大值，預測下一幀位置。為驗證算法有效性，在Benchmark庫提供的數(shù)據(jù)集中進行算法測試和分析，結果證明，其在剛性形變、快速運動、遮擋、彩色圖像跟蹤中有較好的魯棒性。

關鍵詞：STC；目標跟蹤；顏色特征；顏色融合；降維

DOIDOI：10.11907/rjdk.171542

中圖分類號：TP312文獻標識碼：A文章編號：16727800（2017）010005103

0引言

目標跟蹤主要是為了估計目標在圖像中的序列位置，是計算機視覺中最具挑戰(zhàn)性的問題之一。視覺目標跟蹤在許多應用中起著至關重要的作用，特別是在人機交互、視頻監(jiān)控和機器人技術方面。影響目標跟蹤成功的因素很多，主要有光照變化、局部遮擋、景物模糊、物體剛性形變等。本文研究基于STC算法的改進目標跟蹤算法。雖然視覺跟蹤技術取得了重大進展，但使用顏色信息通常僅限于簡單的顏色空間變換。與視覺跟蹤相反，復雜的顏色特征已經(jīng)顯示出能夠為物體識別和檢測提供有效信息[1]。在彩色成像方面已經(jīng)對這些因素的魯棒性進行了研究，并成功應用于圖像分類和動作識別[24]。本文僅評估可視對象跟蹤任務的顏色轉換。

目前處理目標跟蹤算法的主要方法有兩種，即生成方法和判別方法[5]。生成方法基于模板或子空間模型解決問題搜索與目標模型最相似的區(qū)域；判別方法旨在將跟蹤作為二進制分類問題來區(qū)分目標與背景。與生成方法不同，判別方法使用目標和背景信息找到用于區(qū)分目標對象與背景的決策邊界，其樣本補丁在線訓練判別式分類器。文獻[6]對線上跟蹤算法進行了綜合評估。

1時空上下文算法（STC）

跟蹤問題是指通過計算估計的置信圖表示對象的可能位置：

m（x）=P（xo）（1）

其中x∈R2是對象位置，o表示場景中存在的對象。使用先驗概率P（o）簡單表示目標位置P（o|x）為后驗概率。使用空間上下文信息估計圖顯示其圖形模型表征。圖中目標位置x（即被跟蹤對象中心的坐標）是可以跟蹤的。上下文特征集定義為Xc={c（z）=（I（z），z）z∈Ωc（x）}，其中I（z）表示位置z處的圖像強度Ωc（x）是位置x鄰域目標對象大小的兩倍。通過邊緣聯(lián)合概率P（x，c（z）o）可以計算公式（1）中的目標位置似然函數(shù)：

m（x）=P（xo）=∑c（z）∈XcP（x，c（z）o）=

∑c（z）∈XcP（xc（z），o）P（c（z）o）（2）

其中條件概率P（xc（z），o）模擬了空間關系對象位置，其上下文信息有助于解決歧義退化的圖像測量問題，且P（c（z）o）是上下文先驗概率，模擬局部上下文的外觀模型，主要任務是學習P（xc（z），o），彌補了對象位置與空間上下文位置的差距。

1.1空間上下文模型

條件概率函數(shù)P（xc（z），o）定義為：

P（xc（z），o）=hsc（x-z）（3）

其中hsc（x-z）是對象位置x與其局部上下文位置z之間的距離函數(shù)，表示編碼對象與其空間上下文之間的空間關系。需注意的是，hsc（x-z）不是徑向對稱的函數(shù)（即hsc（x-z）≠hsc（x-z），并需考慮到目標和局部上下文之間的不同關系，有助于解決相似物體在相近位置附近的歧義。然而，在所提出的方法中，雙眼位置在與位置z相似的距離處，與z的相對位置是不同的，導致不同的空間關系，即hsc（xl-z）≠hsc（xr-z）。 也即是說，非徑向對稱函數(shù)有助于解決模糊度問題。

1.2上下文模型

式（2）中，上下文先驗概率與簡單模型上下文外觀有關：

P（c（z）o）=I（z）ωσ（z-x）（4）

其中I（·）是表示上下文模型的圖像強度，是高斯加權函數(shù)，定義為：

ωσ（z-x）=ae-z-x2σ2（5）

其中a為將式（4）中P（c（z）o）限制在0～1的歸一化常數(shù)，滿足概率的定義，σ是一個比例參數(shù)。它模擬了注意力集中在需要詳細分析的某些圖像區(qū)域的生物視覺系統(tǒng)的關注焦點。越接近上下文位置，z越接近當前跟蹤目標位置x，更重要的是它在即將到來的幀中預測對象位置，需設置更大權重。與使用空間加權函數(shù)來表示不同位置上下文重要性的算法不同，該模型越靠近對象中心位置，上下文位置被抽樣的越多。

1.3置信圖

對象位置的置信度圖被建模為：

m（x）=P（xo）=be-x-xαβ（6）

其中b是歸一化常數(shù)，σ是一個縮放參數(shù)，β是一個形狀參數(shù)。式（6）中的置信度圖m（x）考慮了能夠有效處理位置模糊問題目標位置的先驗信息。目標位置模糊問題經(jīng)常發(fā)生在視覺跟蹤中，會影響跟蹤效果。

1.4快速學習上下文模型

由式（3）、（4）、（6），可得：

m（x）=be-x-xαβ=

∑z∈Ωc（x）hsc（x-z）I（z）ωσ（z-x）=hsc（x）（I（x）ωσ（x-x））（7）

其中表示卷積運算。式（7）可以轉換到快速傅里葉的頻域變換（FFT）算法卷積：

F（be-x-xαβ）=F（hsc（x））⊙F（I（x）ωσ（x-x））（8）

其中F表示FFT函數(shù)，⊙是元素點積。

2改進的STC算法

STC目標跟蹤算法使用目標局部信息和目標周圍的上下文信息，使用灰度值特征進行目標表征。本文使用簡單的空間上下文模型和時空上下文更新的策略。在目標快速運動、姿態(tài)變換和背景模糊等復雜情況下，目標表征外觀發(fā)生較大變化，導致更新失敗。STC算法不能及時更新目標尺度，在線學習方法容易產(chǎn)生誤差，使得跟蹤效果變差，甚至跟蹤失敗。針對該問題，本文提出了一種基于融合顏色信息時空上下文的實時目標跟蹤算法。該算法首先使用灰度特征和自適應降維顏色特征建立目標模型，通過學習時空上下文模型，求得目標位置和實際位置的差值，預測出下一幀位置。endprint

為了能夠更好地處理目標表征外觀的變化，本文引用顏色特征進行目標表征，通過降維進行處理。采用Danelljian等提出的基于自適應顏色屬性的實時視覺跟蹤，將原本RGB 3通道的圖形轉化到11通道。每個單通道分別進行處理，將這些單通道的處理結果進行融合。由于多通道運算量較大，使用PCA降維方法進行處理。從11個通道中選取2個主要通道進行處理，提升跟蹤精確度。使用自適應維數(shù)方式保存有用信息，與此同時減少顏色屬性數(shù)量，從而顯著提高運算速度。通過最小化損失函數(shù)的形式找到一個合適的維度降低圖來滿足當前幀，采用加權函數(shù)描繪最小損失函數(shù)：

ηpt=αpηpd+∑p-1j=1αjηjs（9）

ηpd表示當前幀的數(shù)據(jù)項，ηjn表示第j幀平滑數(shù)據(jù)項。每一項數(shù)據(jù)都有權重函數(shù)控制α1，…，αp。從目標周圍上下文模型圖像塊中提取出降維顏色特征塊xp，通過降維技術從11維降到10維，然后在10維的標準正交基找到顏色塊xc。通過降維技術把D1×D2通過正交列向量映射位矩陣Bp。該矩陣通過公式p（m，n）=BTpx∧（m，n），m，n來計算新的D2維特征圖p。數(shù)據(jù)項由當前外觀的重構誤差表示：

ηpd=1MN∑m，n‖p（m，n）-BpBTpx∧（m，n）‖2（10）

對上式最小化就是對當前幀執(zhí)行主成分進行分析（PCA），然而僅僅通過上式不能更新映射矩陣，需要將時空上下文模型進行更新。

將公式（1）轉換到頻域，得到上下文模型。然后進行傅里葉變換，可以得到上下文模型的傅里葉變換：

Hstct=MFt-FtF-t=CtDt（11）

其中Ft-是Ft的共軛復數(shù)，M是置信圖的傅里葉變換。

在跟蹤過程中，目標容易受到外界環(huán)境和自身影響，因此需要及時更新模板。為提高魯棒性，使用空間上下文模型進行更新。

Ct+1=（1-ρ）Ct+ρMFt+1-（12）

Dt+1=（1-ρ）Dt+ρFt+1Ft+1-（13）

使用t+1幀的上下文先驗模型和t幀的時空上下文模型計算置信圖：

mt+1（x）=F-1（CtFt+1Dt）（14）

取t+1幀中的最大置信圖mt+1（x）即可得到t+1幀的目標位置。

3實驗結果及分析

實驗平臺為MATLABR2016a，實驗配置Intel Core i52450M CPU，主頻2.3GHz ，4G內(nèi)存，操作系統(tǒng)Microsoft Windows 10電腦。為了驗證算法的有效性，選取OTB13上的視頻序列進行測試。將本文提出的算法與其它29個算法進行比較，其中包括STC算法。實驗測試序列選取Tiger1、David2、David3測試序列。這些測試序列具有剛性形變、快速運動和彩色圖等特性。紅色實框表示改進的STC算法即CSTC算法，黃色實框表示STC算法，黑色實框表示KCF算法。實驗測試結果見圖1-圖3。

從soccer序列中可以看出，#95發(fā)生快速運動，由于STC和KCF只選取了灰度特征值進行判斷，但是CSTC算法選取顏色特征融合降維算法，可以看出此時跟蹤效果良好。在#129序列中可以看到，經(jīng)歷長時間跟蹤，此時STC和KCF不能修正誤差，導致長時跟蹤失敗。同時測試Tiger1和David3序列，實驗結果驗證了算法的有效性。

4結語

本文針對STC灰度特征改進算法，提出了一種融合顏色特征和降維算法的改進算法，在剛性形變、快速運動、遮擋、彩色圖等測試序列中顯示出良好的適應性。選取OTB13視頻序列進行測試，結果表明，改進算法在處理上述問題時具有良好的跟蹤效果，驗證了算法的有效性。

參考文獻參考文獻：

[1]K ZHANG， L ZHANG， M YANG. Realtime compressive racking[C]. European Conference on Computer Vision，2012：864877.

[2]X JIA， H LU， MH YANG. Visual tracking via adaptive tructural local sparse appearance model[C]. IEEE Conference on Computer Vision & Pattern Recognition，2012：18221829.

[3]L SEVILLALARA， E G LEARNEDMILLER. Distribution fields for tracking[J]. Computer Vision & Pattern Recognition，2012，157（10）：19101917.

[4]ZHANG K， ZHANG L， YANG MH. Realtime compressive tracking[C]. European Conference on Computer Vision，2012：864877.

[5]AHUJA N. Robust visual tracking via multitask sparse learning[C]. In CVPR，2012：20422049.

[6]Y WU， J LIM， M H YANG.Online object tracking： benchmark[C]. In CVPR，2013.

責任編輯（責任編輯：黃健）endprint