基于博弈論的顏色與運(yùn)動(dòng)特征融合跟蹤

金澤芬芬,,,

(空軍工程大學(xué) 信息與導(dǎo)航學(xué)院,西安 710077)

0 概述

在計(jì)算機(jī)視覺領(lǐng)域中,在長(zhǎng)視頻流中跟蹤機(jī)動(dòng)目標(biāo)是一項(xiàng)具有挑戰(zhàn)性的任務(wù)[1]。視覺跟蹤技術(shù)主要包括視頻監(jiān)控[2]、人機(jī)交互[3]和機(jī)器人學(xué)[4]等。許多學(xué)者圍繞視覺跟蹤技術(shù)開展了研究工作,近幾年在該領(lǐng)域的理論研究也取得了很大的進(jìn)展。但在實(shí)際應(yīng)用中,仍面臨著許多挑戰(zhàn)。在跟蹤過(guò)程中,目標(biāo)本身存在尺度、旋轉(zhuǎn)、姿態(tài)等復(fù)雜的運(yùn)動(dòng)情況,此外還有復(fù)雜背景環(huán)境、遮擋、光照變化等干擾的嚴(yán)重影響,容易導(dǎo)致在目標(biāo)跟蹤過(guò)程中出現(xiàn)目標(biāo)丟失和誤跟蹤的情況,影響跟蹤結(jié)果的精度和穩(wěn)定性。

面對(duì)復(fù)雜的跟蹤情況,采用單一特征的跟蹤算法往往缺乏魯棒性。研究結(jié)果表明,基于多特征融合的跟蹤算法能夠改善目標(biāo)的檢測(cè)與跟蹤效果,不同特征各有適應(yīng)較好的場(chǎng)景。如顏色特征對(duì)旋轉(zhuǎn)和縮放不敏感、邊緣特征對(duì)光照不敏感、LBP特征具有較好的旋轉(zhuǎn)不變性和灰度不變性等。多特征融合的跟蹤算法主要考慮特征各自的優(yōu)缺點(diǎn),通過(guò)融合具有互補(bǔ)性的特征來(lái)表示目標(biāo),以提高目標(biāo)模型對(duì)場(chǎng)景的適應(yīng)性問(wèn)題[5-8]。而融合的過(guò)程一般是在跟蹤中動(dòng)態(tài)地調(diào)整不同特征的權(quán)值以適應(yīng)環(huán)境的變化[9-12]。文獻(xiàn)[5]結(jié)合了交互式多模和粒子濾波器來(lái)融合CBWH、CLTP和HOG特征。文獻(xiàn)[8]提出了一種基于像素、紋理和邊緣的多特征關(guān)聯(lián)稀疏表達(dá)的跟蹤算法,并使用方差比度量來(lái)自適應(yīng)地調(diào)整不同特征的權(quán)重。文獻(xiàn)[11]通過(guò)評(píng)估目標(biāo)狀態(tài)和背景狀態(tài)之間的不相似性,并最小化加權(quán)熵來(lái)尋找最優(yōu)特征組合,從而融合多個(gè)特征。這些算法使用不同的方法來(lái)融合多個(gè)特征,有效地提高了不同程度的跟蹤性能。 但是,它們會(huì)在融合過(guò)程中增加不可忽視的計(jì)算開支,影響跟蹤速度。此外,這些算法對(duì)于特征的加權(quán)主要依賴于對(duì)目標(biāo)與背景區(qū)分度的判斷,當(dāng)區(qū)分度較低或判斷不準(zhǔn)確時(shí),會(huì)較大地影響算法的精度。

在目標(biāo)跟蹤中,顏色是一種重要的視覺特征,通常表示為直方圖分布的形式,它對(duì)目標(biāo)旋轉(zhuǎn)、非剛體變換及遮擋都比較魯棒,因此被廣泛地應(yīng)用在視覺目標(biāo)跟蹤中。而在運(yùn)動(dòng)特征中的光流場(chǎng),不僅包括運(yùn)動(dòng)信息,還包含了圖像區(qū)域的三維結(jié)構(gòu)信息,在視覺運(yùn)動(dòng)的研究中非常重要。

因此,本文采用顏色特征和光流法表示的運(yùn)動(dòng)特征,提出一種在均值遷移(Mean Shift,MS)框架下融合兩特征的跟蹤方法。該方法將2種特征視為2個(gè)博弈者,通過(guò)博弈尋找均衡點(diǎn)完成目標(biāo)跟蹤。

1 MS跟蹤原理

MS算法是目標(biāo)跟蹤領(lǐng)域中的一個(gè)重要算法。該算法是一種非參數(shù)的密度估計(jì)算法,能夠快速地通過(guò)迭代在概率密度函數(shù)的局部最大值處收斂[13]。其跟蹤思路是首先選取目標(biāo)的所在區(qū)域,并計(jì)算其參考特征直方圖模型。

在后續(xù)的圖像序列中,以上一幀目標(biāo)所在的位置為初始位置y,計(jì)算目標(biāo)跟蹤窗口所在圖像區(qū)域的特征直方圖:

將該直方圖與參考直方圖用Bhattacharyya系數(shù)來(lái)進(jìn)行測(cè)量,表示如下:

其中,m表示直方圖位數(shù),其余參數(shù)與式(3)一致。為尋找使Bhattacharyya系數(shù)最大的中心位置,對(duì)式(5)在p(y0)處泰勒展開,得:

則選取目標(biāo)中心位置為:

其中,g(·)為k(·)函數(shù)的導(dǎo)數(shù)。通過(guò)重復(fù)上述步驟,能夠?qū)崿F(xiàn)目標(biāo)跟蹤。

2 目標(biāo)特征提取

視覺跟蹤中的目標(biāo)特征提取是在表征圖像信息的同時(shí)降低信息尺度的過(guò)程[14]。由于傳統(tǒng)MS跟蹤方法用矩形或橢圓形選定目標(biāo)區(qū)域,在計(jì)算目標(biāo)的顏色直方圖分布時(shí)會(huì)將部分相鄰背景的像素統(tǒng)計(jì)為目標(biāo)像素,這種誤差容易導(dǎo)致MS跟蹤方法無(wú)法對(duì)目標(biāo)準(zhǔn)確跟蹤或跟蹤失敗。而運(yùn)動(dòng)特征能夠很好地彌補(bǔ)原始MS算法中這種用單一的顏色特征來(lái)描述跟蹤目標(biāo)的缺陷。因此,采用這2個(gè)特征進(jìn)行目標(biāo)表示?？紤]到傳統(tǒng)MS跟蹤方法中采用顏色直方圖來(lái)表征目標(biāo),故在本文中,采用顏色直方圖作為顏色特征,并通過(guò)光流場(chǎng)的計(jì)算來(lái)構(gòu)造光流直方圖作為運(yùn)動(dòng)特征。

2.1 改進(jìn)巴氏指標(biāo)的顏色直方圖

在顏色直方圖匹配問(wèn)題上,本文采用改進(jìn)的巴氏指標(biāo)作為相似性度量的方法,該方法能夠抑制背景干擾,從而提升算法的跟蹤性能[15]。具體方法如下:

對(duì)目標(biāo)區(qū)域進(jìn)行延伸,選取面積1.44倍于目標(biāo)區(qū)域的范圍為背景區(qū)域(則背景區(qū)域的長(zhǎng)和寬都是1.2倍于目標(biāo)區(qū)域),計(jì)算目標(biāo)區(qū)域的顏色直方圖HO(v)和背景顏色直方圖HQ(v),則定義顏色區(qū)間v(設(shè)置顏色區(qū)間為16,故v為0～15的整數(shù))的置信度為[15]:

將其引入式(6),得到新的像素點(diǎn)權(quán)值公式:

如此所得到的結(jié)果抑制了背景對(duì)目標(biāo)的影響。這種方法通過(guò)對(duì)背景中的像素進(jìn)行直方圖計(jì)算,并用所得到的結(jié)果作為目標(biāo)直方圖各個(gè)區(qū)間的權(quán)值,減小在背景中出現(xiàn)較多的顏色區(qū)間的權(quán)值,從而達(dá)到抑制目標(biāo)區(qū)域中背景像素作用的目的。這種方法使算法不容易被與目標(biāo)周圍背景顏色相近的物體影響。

2.2 光流直方圖

MS跟蹤算法根據(jù)顏色直方圖對(duì)目標(biāo)建模,用Bhattaharry系數(shù)作為相似性度量來(lái)確定運(yùn)動(dòng)目標(biāo)在下一幀中的位置,從而實(shí)現(xiàn)目標(biāo)的跟蹤。類似地,可以提取目標(biāo)的光流直方圖來(lái)描述運(yùn)動(dòng)特征。

本文采取的光流計(jì)算方法是在Horn-Schunck[16]算法的基礎(chǔ)上通過(guò)一種由粗到精(Coarse-to-Fine)[17]的方法,得到2幅圖像之間點(diǎn)對(duì)點(diǎn)的對(duì)應(yīng)關(guān)系,從而描述目標(biāo)的運(yùn)動(dòng)場(chǎng)。每個(gè)像素點(diǎn)的光流由水平方向和豎直方向上的分量所組成的向量表示,即點(diǎn)i的光流表示為(xi,yi)。將計(jì)算得出的光流映射到16個(gè)區(qū)間,如圖1和圖2所示。圖1中的0～15對(duì)應(yīng)x或y軸分量上光流的幅度大小。例如,點(diǎn)i對(duì)應(yīng)光流矢量的x軸分量xi的映射結(jié)果為(8×xi/xmax+7)(最大幅值對(duì)應(yīng)方向?yàn)檎龝r(shí))或(8×xi/xmax+8)(最大幅值對(duì)應(yīng)方向?yàn)樨?fù)時(shí)),其中xmax為該幀圖像所計(jì)算出的光流最大幅值。圖2中淺色的區(qū)域代表x軸方向的光流,深色區(qū)域代表y軸方向的光流。如此得到光流直方圖,并在后續(xù)的直方圖比較中采用巴氏系數(shù)作為直方圖相似性度量。

圖1 光流映射方式

圖2 光流映射直方圖

目標(biāo)的運(yùn)動(dòng)特征模型,即初始幀和第二幀的目標(biāo)區(qū)域所計(jì)算得的光流直方圖為:

其中,式(11)中各參數(shù)含義與式(1)一致。

由于在目標(biāo)運(yùn)動(dòng)的過(guò)程中,光流會(huì)持續(xù)變化,因此光流模板必須不斷更新。考慮到光流在短時(shí)間內(nèi)不會(huì)發(fā)生劇烈變化,本文應(yīng)用在過(guò)去一段時(shí)間內(nèi)的光流信息,采用以下公式進(jìn)行模板的更新:

qt=((1-α)qt-1+αpt)

(12)

其中,qt和pt分別是第t幀的參考直方圖和當(dāng)前幀直方圖,qt-1為第t-1幀的參考直方圖,α為模型更新率。在本文實(shí)驗(yàn)中,通過(guò)大量測(cè)試,選定α取值為0.1。

光流直方圖利用了運(yùn)動(dòng)目標(biāo)的方向信息,配合模型更新,能夠更準(zhǔn)確地掌握目標(biāo)的運(yùn)動(dòng)變化,從而達(dá)到提升算法精度的目的。

3 基于博弈論的融合策略

不同特征在面對(duì)不同環(huán)境時(shí),往往有各自的優(yōu)缺點(diǎn)。因此,融合策略能否針對(duì)跟蹤場(chǎng)景的動(dòng)態(tài)變化更好地表示目標(biāo)至關(guān)重要。本文算法采用博弈論的思想進(jìn)行特征融合,使不同特征在跟蹤中動(dòng)態(tài)地達(dá)到最佳平衡,以提高特征表示的魯棒性。

博弈論主要用于在多個(gè)決策主體之間存在利益關(guān)聯(lián)或沖突時(shí),根據(jù)自身能力和所掌握的信息,做出有利于自己或群體的決策[18]。博弈論中的均衡是一種策略組合,使得每個(gè)參與者都得到令自己滿意的決策結(jié)果。 常見的均衡主要包括上策均衡、納什均衡、防共謀均衡、顫抖手均衡、完美貝葉斯均衡等等。其中,納什均衡在博弈論中應(yīng)用最廣泛。納什均衡的特點(diǎn)是,每個(gè)參與者的策略都是對(duì)其他參與者的最優(yōu)反應(yīng)。這一特性最符合本文所期望的博弈結(jié)果,故在本文的博弈中采用納什均衡。

文獻(xiàn)[19]提出的基于博弈論的跟蹤算法采用了顏色特征和幀差法表示的運(yùn)動(dòng)特征進(jìn)行融合跟蹤,取得了一定的效果。但幀差法對(duì)環(huán)境噪聲十分敏感,對(duì)顏色一致的運(yùn)動(dòng)目標(biāo)在提取時(shí)容易出現(xiàn)目標(biāo)內(nèi)部的空洞,導(dǎo)致提取的目標(biāo)不完整。因此,本文在文獻(xiàn)[19]的基礎(chǔ)上,提出改進(jìn)算法。主要的改進(jìn)內(nèi)容有以下3點(diǎn):

1)區(qū)別于文獻(xiàn)[19]所采用的顏色特征,本文采用改進(jìn)的巴氏系數(shù)進(jìn)行顏色特征的匹配。

2)相較于幀差法,采用運(yùn)動(dòng)信息更完整更豐富的光流法作為運(yùn)動(dòng)特征。

3)考慮到運(yùn)動(dòng)特征不斷變化的特性,對(duì)運(yùn)動(dòng)特征進(jìn)行了模型更新。此外,區(qū)別于文獻(xiàn)[19]所采用的融合方式,在納什均衡的基礎(chǔ)上,尋求博弈的輕微利他均衡[20],使每一個(gè)參與者的收益都能夠受到其他參與者的決策影響,從而實(shí)現(xiàn)決策信息的交互。由于這種影響是輕微的,因此能夠避免影響過(guò)度導(dǎo)致某一特征被始終抑制的情況。

式(13)是依賴于ε的博弈中參與者i的收益函數(shù),除了自身收益fi(x)之外,還對(duì)其他n-1個(gè)參與者的收益有所考慮,因?yàn)棣乓话爿^小,作用輕微,所以稱為輕微利他均衡。

從式(13)中可以看出,本文提出的融合框架不受特征數(shù)目的限制,只需要調(diào)整參與者集合N={1,2,…,n},并給出對(duì)應(yīng)的ε,就能夠改變?nèi)诤系奶卣骷疤卣鲾?shù)量。

本文采取的博弈框架中特征數(shù)目為2個(gè),記參與者集合為N={1,2},f1和f2為2個(gè)參與者的收益函數(shù),Y1和Y2為2個(gè)參與者的行動(dòng)空間。其中,顏色特征和運(yùn)動(dòng)特征為兩參與者,圖像中的像素點(diǎn)位置視為參與者的行動(dòng)空間。定義參與者的初始收益函數(shù)如下:

其中,ρ(qc,pc(y1))和ρ(qm,pm(y2))分別為顏色特征和運(yùn)動(dòng)特征的Bhattacharyya系數(shù)。

為達(dá)到博弈過(guò)程中信息交互的目的,根據(jù)式(13)引入輕微利他均衡,定義新的收益函數(shù)為:

其中,ρ(qc,pc(y1))和ρ(qm,pm(y2))的含義同式(14)。

由于不同場(chǎng)景下特征的可靠性不同,因此通過(guò)參考特征的可信度來(lái)設(shè)定參數(shù)ε的取值。在實(shí)驗(yàn)過(guò)程中觀察發(fā)現(xiàn),當(dāng)光流特征匹配的相似度大于0.9時(shí),跟蹤結(jié)果較為準(zhǔn)確,否則容易出現(xiàn)誤跟蹤的情況;另外,當(dāng)顏色特征匹配的相似度大于0.85時(shí),跟蹤結(jié)果較為準(zhǔn)確,否則會(huì)出現(xiàn)跟蹤框漂移的情況。因此,分別將0.9和0.85作為光流特征和顏色特征可信度的閾值。當(dāng)特征匹配的相似度大于閾值時(shí),對(duì)其對(duì)應(yīng)的ε取較大的值,否則,取較小的值,以此動(dòng)態(tài)地調(diào)整該特征在跟蹤過(guò)程中的作用。

為確定不同情況下ε的取值,本文進(jìn)行大量實(shí)驗(yàn)測(cè)試。為避免出現(xiàn)信息交互的過(guò)程中,某一特征的影響過(guò)大而導(dǎo)致另一特征始終被抑制的情況,采用的是輕微利他均衡。因此,在對(duì)照實(shí)驗(yàn)中,對(duì)ε的取值范圍為0.1～0.3。

實(shí)驗(yàn)結(jié)果如表1所示。其中,ε1L表示當(dāng)光流特征的可信度小于閾值時(shí)參數(shù)ε1的取值,ε1H表示該可信度大于或等于閾值時(shí)ε1的取值。同理,ε2L表示當(dāng)顏色特征的可信度小于閾值時(shí)參數(shù)ε2的取值,ε2H表示該可信度大于或等于閾值時(shí)ε2的取值。表1數(shù)值為此取值下,綜合所有視頻的跟蹤結(jié)果得到的精度值(文獻(xiàn)[21]中定義)。

表1 參數(shù)ε取值變化對(duì)比

根據(jù)表1的結(jié)果比較,選取使得精度值最高的情況,對(duì)參數(shù)ε的取值規(guī)則設(shè)定如下:

1)ρ(qm,pm(y2))≥0.9時(shí),ε1取0.2,否則,取0.1。

2)ρ(qc,pc(y1))≥0.85時(shí),ε2取0.2,否則,取0.1。

4 本文算法流程

基于兩特征博弈的跟蹤算法框架如圖3所示,具體跟蹤流程如下:

步驟1讀入連續(xù)兩幀圖像和前一幀圖像中目標(biāo)的初始位置y0。

步驟2根據(jù)初始位置,分別計(jì)算顏色直方圖ρc(y0)和光流直方圖ρm(y0)。

步驟5分別將y1、y2代入式(5)分別計(jì)算相似度,輸出相似度較大的位置作為y;并將y→y0返回步驟2。

5 實(shí)驗(yàn)結(jié)果與分析

為對(duì)跟蹤結(jié)果進(jìn)行定量分析,引入精度和成功率[21]作為評(píng)價(jià)指標(biāo)來(lái)對(duì)算法進(jìn)行對(duì)比分析。其中跟蹤精度由跟蹤結(jié)果的平均中心位置誤差得出,而成功率的大小取決于跟蹤結(jié)果對(duì)目標(biāo)真實(shí)位置的覆蓋率。

由于算法限制,無(wú)法對(duì)灰度視頻進(jìn)行目標(biāo)跟蹤,因此將文獻(xiàn)[21]提供的50組視頻中的15組灰度視頻去除,對(duì)剩余的35組彩色視頻進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如圖4所示。其中,算法名稱后的中括號(hào)中分別給出成功率值和精度值。部分跟蹤視頻結(jié)果比較如表2所示,其中,括號(hào)前的數(shù)字表示覆蓋率為0.5時(shí)的成功率,括號(hào)內(nèi)的數(shù)字表示平均中心誤差(像素),粗體數(shù)據(jù)為每個(gè)圖像序列對(duì)應(yīng)的最優(yōu)算法結(jié)果,斜體數(shù)據(jù)為次優(yōu)算法結(jié)果。

圖4 成功率與精度曲線對(duì)比

表2 部分跟蹤視頻結(jié)果比較

相比于對(duì)比算法,本文算法的成功率始終保持在較高水平,平均中心誤差保持在較低水平,成功率AUC值和精度值均為最高。表2的MountainBike視頻和Woman視頻,由于場(chǎng)景變化較為單一,且目標(biāo)未出現(xiàn)明顯姿態(tài)變化,本文算法的跟蹤結(jié)果相較對(duì)比算法而言準(zhǔn)確度稍遜。在其他視頻中,本文算法的結(jié)果均為最優(yōu)。在面對(duì)較為復(fù)雜的場(chǎng)景和目標(biāo)變化時(shí),本文算法具有更為明顯的優(yōu)勢(shì)。通過(guò)對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行統(tǒng)計(jì)分析能夠看出,相較于與乘性融合和加性融合算法,本文算法的融合策略的跟蹤精度更高;相較于單一特征的算法,跟蹤性能具有明顯的提升。

從跟蹤速度上看,本文算法在實(shí)驗(yàn)平臺(tái)上對(duì)35組視頻的跟蹤運(yùn)行時(shí)間為平均2 frame/s,實(shí)時(shí)性良好。

6 結(jié)束語(yǔ)

為使不同特征在融合過(guò)程中能夠適應(yīng)場(chǎng)景的變化,充分發(fā)揮各自優(yōu)勢(shì),本文提出一種顏色和運(yùn)動(dòng)特征博弈融合的跟蹤算法。通過(guò)采用改進(jìn)巴氏指標(biāo)的顏色直方圖和光流直方圖進(jìn)行博弈,并在MS的迭代下尋找使收益函數(shù)最大的目標(biāo)中心位置,實(shí)現(xiàn)準(zhǔn)確的目標(biāo)跟蹤。在本文的跟蹤過(guò)程中,顏色特征和運(yùn)動(dòng)特征分別描述了目標(biāo)的外觀信息和局部運(yùn)動(dòng)信息,并通過(guò)信息交互提升了算法的跟蹤性能。本文通過(guò)對(duì)35組實(shí)驗(yàn)進(jìn)行定量分析和定性分析,結(jié)果驗(yàn)證了本文算法的有效性。在后續(xù)的工作中,將進(jìn)一步研究更多魯棒特征的組合,以期得到魯棒性效果更好的特征跟蹤方法。