一種綜合運(yùn)動(dòng)檢測(cè)和視覺跟蹤的智能監(jiān)控系統(tǒng)

鄧志輝，路林吉

0 引言

在過去幾年中，特別是由于以安全為目的的智能監(jiān)控日益重要，智能監(jiān)控已成為在計(jì)算機(jī)視覺領(lǐng)域最活躍的研究課題之一。智能監(jiān)控是一個(gè)總體框架，包含了多個(gè)不同的計(jì)算機(jī)視覺任務(wù)-是從圖像序列檢測(cè)、跟蹤、分類感興趣的對(duì)象，并接下來理解和描述這些對(duì)象的行為。設(shè)計(jì)智能視覺監(jiān)控系統(tǒng)的最終目標(biāo)，是取代現(xiàn)有的被動(dòng)監(jiān)測(cè)，消除或者至少盡量減少人們監(jiān)測(cè)和分析可視化數(shù)據(jù)的需求。

由于這些原因，目前已經(jīng)存在許多智能視覺監(jiān)控系統(tǒng)，Hu等[1]給出了較好的綜述。實(shí)時(shí)監(jiān)控系統(tǒng)W4[2]使用一個(gè)單目灰度或紅外攝像機(jī)檢測(cè)、跟蹤和監(jiān)視多個(gè)人在戶外場(chǎng)景的活動(dòng)。它結(jié)合形狀分析和跟蹤技術(shù)來定位人體及其部位，同時(shí)創(chuàng)建了目標(biāo)的外觀模型，這樣即使在相互遮擋下也可以準(zhǔn)確跟蹤。Wren等開發(fā)的Pfinder系統(tǒng)[3]通過建立單個(gè)未遮擋人體的三維模型，采用一個(gè)固定攝像頭對(duì)實(shí)現(xiàn)室內(nèi)人員行為的實(shí)時(shí)監(jiān)視與判定。1997年，美國國防部高級(jí)研究項(xiàng)目署（Defense advanced research projects agency, DARPA）設(shè)立了以卡內(nèi)基梅隆大學(xué)為首，麻省理工學(xué)院等高校參與的視覺監(jiān)控項(xiàng)目VSAM(Visual surveillance and monitoring)[4]，該系統(tǒng)采用攝像機(jī)傳感器網(wǎng)絡(luò)，能在大范圍場(chǎng)景中檢測(cè)、跟蹤移動(dòng)物體，然后使用形狀和顏色分析將目標(biāo)進(jìn)行分類。MIT的監(jiān)控系統(tǒng)[5]首先使用分布式傳感器設(shè)備觀測(cè)一個(gè)站點(diǎn)中移動(dòng)的對(duì)象，然后使用這些觀測(cè)分類場(chǎng)景中的行為模式，然后用于檢測(cè)異常活動(dòng)。

本文設(shè)計(jì)了一種綜合的智能視覺監(jiān)控系統(tǒng)，通過一個(gè)固定的普通彩色攝像頭來監(jiān)控戶外或者室內(nèi)場(chǎng)景。我們的系統(tǒng)如圖1所示，由運(yùn)動(dòng)檢測(cè)模塊、團(tuán)塊檢測(cè)模塊、跟蹤模塊和軌跡產(chǎn)生模塊4部分組成：

1）運(yùn)動(dòng)檢測(cè)模塊：檢測(cè)運(yùn)動(dòng)物體，將每個(gè)像素點(diǎn)分類為前景或者背景。

2）團(tuán)塊檢測(cè)模塊：利用運(yùn)動(dòng)檢測(cè)模塊的結(jié)果將運(yùn)動(dòng)物體分割成獨(dú)立的團(tuán)塊，并將這些團(tuán)塊加入到跟蹤團(tuán)塊鏈表中。

3）跟蹤模塊: 由團(tuán)塊檢測(cè)模塊初始化單團(tuán)塊跟蹤器，而多物體跟蹤器負(fù)責(zé)跟蹤跟蹤團(tuán)塊鏈表中每個(gè)團(tuán)塊。

4）軌跡產(chǎn)生模塊: 收集所有團(tuán)塊的信息，當(dāng)目標(biāo)消失時(shí)保存團(tuán)塊軌跡信息。

圖1 智能監(jiān)控系統(tǒng)處理流程

本文其余部分安排如下：第1節(jié)描述了運(yùn)動(dòng)檢測(cè)算法。第2節(jié)對(duì)團(tuán)塊檢測(cè)模塊進(jìn)行了探討。第3節(jié)詳細(xì)介紹了多物體跟蹤算法。第4節(jié)給出了實(shí)驗(yàn)結(jié)果。最后在第5節(jié)進(jìn)行了總結(jié)。

1 對(duì)運(yùn)動(dòng)物體的檢測(cè)

檢測(cè)運(yùn)動(dòng)物體是典型視覺監(jiān)控系統(tǒng)的第一階段。對(duì)運(yùn)動(dòng)物體檢測(cè)的目的從給定圖像中區(qū)分出與運(yùn)動(dòng)物體相關(guān)的圖像區(qū)域來。該階段的準(zhǔn)確性將極大地影響后續(xù)階段處理的準(zhǔn)確性和性能。

任何運(yùn)動(dòng)物體的檢測(cè)方法都可以用到這一部分。但是，考慮到戶外環(huán)境比較復(fù)雜，比如晃動(dòng)的樹枝、閃光的水面、光照的變化等，本文采用了Li等提出的基于顏色空間模型的閾值化背景減法[6]。它是一種非參數(shù)估計(jì)背景模型方法，由變化檢測(cè)、變化分類、前景目標(biāo)分割和背景學(xué)習(xí)與維護(hù)組成，算法的框圖如圖2所示，從左到右的白色框代表了前3個(gè)步驟，灰色框表示自適應(yīng)背景建模。該算法首先使用簡單的背景差分圖像和幀差分圖像過濾掉視頻流中沒有變化的像素點(diǎn)，再根據(jù)幀間變化把檢測(cè)到的變化分類為靜止的和移動(dòng)的物體。然后，基于學(xué)習(xí)得到的顏色和顏色共生特征統(tǒng)計(jì)，根據(jù)貝葉斯分類規(guī)則將靜止物體或移動(dòng)物體分類為背景或前景。接著，前景目標(biāo)被分割出來。最后，更新背景模型。該算法在處理復(fù)雜場(chǎng)景時(shí)具有良好的性能，可以處理緩慢和突然的背景變化，靜態(tài)的和運(yùn)動(dòng)的物體等。算法詳見[6]，效果如圖3。

圖2 運(yùn)動(dòng)物體檢測(cè)模塊算法框圖

圖3 運(yùn)動(dòng)物體檢測(cè)結(jié)果

2 團(tuán)塊檢測(cè)模塊

團(tuán)塊檢測(cè)模塊可以被視為是運(yùn)動(dòng)檢測(cè)模塊和跟蹤模塊的銜接。它包括從團(tuán)塊檢測(cè)模塊輸出的二進(jìn)制圖像中分割移動(dòng)領(lǐng)域?yàn)椴幌嘟坏膱F(tuán)塊，消除任何小的或孤立的噪音，以及計(jì)算團(tuán)塊信息（如邊界框，ID，大小，速度等），將團(tuán)塊添加到跟蹤團(tuán)塊鏈表，并傳遞鏈表給跟蹤模塊。

本文采用了如下連通域標(biāo)記算法，首先，我們執(zhí)行形態(tài)學(xué)開和關(guān)操作，在這里，我們需要確定形態(tài)學(xué)操作的迭代次數(shù)。越多的迭代次數(shù)，會(huì)有越多的腐蝕。侵蝕在消除了較大斑點(diǎn)狀噪聲的同時(shí)也腐蝕掉了較大的邊界區(qū)域?，F(xiàn)在的噪音已經(jīng)刪除，我們尋找所有的輪廓。下一步，我們拋棄面積過小的團(tuán)塊，對(duì)剩下的團(tuán)塊繪制包圍其輪廓的最小矩形框。最后，我們可以有選擇地收集團(tuán)塊信息（中心、大小、速度、位置等）。這些團(tuán)塊被添加進(jìn)跟蹤鏈表中，傳遞給跟蹤模塊。

3 跟蹤模塊

跟蹤模塊負(fù)責(zé)估算每個(gè)團(tuán)塊在新視頻幀中的位置和大小。這個(gè)模塊需確保即使運(yùn)動(dòng)檢測(cè)模塊由于物體遮擋或停止運(yùn)動(dòng)而無法檢測(cè)到的情況下，可以跟蹤對(duì)象。

多物體跟蹤可以被視為一個(gè)估計(jì)過程中，其目的是從按順序到達(dá)觀圖像幀的帶噪聲的觀測(cè)集yt=(y1…yt)中估計(jì)出未知的運(yùn)動(dòng)狀態(tài)xt。Vermaak等[7]根Bayesian最優(yōu)估計(jì)理論提出了一個(gè)單視點(diǎn)多目標(biāo)跟蹤框架：

預(yù)測(cè)：

其中，

更新：

其中，

3.1 單對(duì)象跟蹤器

如上所述，目標(biāo)跟蹤問題可以轉(zhuǎn)換為估計(jì)問題，即在貝葉斯（Bayesian）理論框架下，已知目標(biāo)狀態(tài)的先驗(yàn)概率，在獲得新的量測(cè)后不斷求解目標(biāo)狀態(tài)的最大后驗(yàn)概率的過程。粒子濾波作為一種序貫蒙特卡羅的方法（Sequential monte carlo methods,SMC）[8]， 既不受限于線性系統(tǒng)也不要求噪聲是服從高斯分布的，目前引起了廣泛關(guān)注。它是基于對(duì)樣本集傳播的一種遞推貝葉斯濾波器，同時(shí)保持多重假設(shè)以及使用隨機(jī)動(dòng)態(tài)模型來預(yù)測(cè)目標(biāo)的位置，因此，跟蹤效果很好。

目標(biāo)跟蹤系統(tǒng)狀態(tài)通常有：目標(biāo)位置、目標(biāo)尺度以及變化率等元素組成。本文將目標(biāo)區(qū)域表示為用一矩形框包圍的團(tuán)快，那么可以把單個(gè)對(duì)象狀態(tài)描述為：

其中，x,y是團(tuán)塊矩形框的中心位置，sw,sh分別是團(tuán)塊矩形框的寬和高，從該團(tuán)塊狀態(tài)矢量可以算出團(tuán)塊的速度x’t, y’t和矩形框的尺度變化率s’。

選用二階自回歸過程（second-order auto-regressive process）作為系統(tǒng)的動(dòng)態(tài)模型：

為了有效地區(qū)分跟蹤目標(biāo)和其他目標(biāo)，必須選擇合適的視覺特征來描述目標(biāo)，顏色特征[9]是一個(gè)被廣泛采用的特征，因?yàn)轭伾卣骱苓m合描述變形目標(biāo)，更重要的是它對(duì)于平面旋轉(zhuǎn)、非剛體和部分遮擋很穩(wěn)定。

與[9]類似，本文也采用基于Hue-Saturation-Value（HSV）空間的顏色直方圖模型。因?yàn)镠SV顏色空間將亮度信息與色彩信息解耦了，使得顏色直方圖模型對(duì)于光照的變化不敏感。首先把圖像從RGB顏色空間轉(zhuǎn)換成用HSV顏色空間，并分別量化為Nh,Ns,Nv。把顏色直方圖的管腳設(shè)為個(gè)N=Nh,Ns,+Nv。b(u)∈{1,···,N}表示圖像的像素點(diǎn)（u）的顏色矢量yt(u)到直方圖管腳的映射。把顏色直方圖表示為h={h1,h2,···,hN}。

對(duì)于一狀態(tài)矢量xt，假如有一個(gè)檢出框Rt(xt)={d,stW}，d是檢出框的質(zhì)心，W是檢出窗口的最小尺寸，St是在第t幀的這個(gè)檢出框相對(duì)于最小檢測(cè)窗口的尺度。R(d)在第t幀的顏色分布的核密度qt(x)={qt(n;x) }n=1··N按下式計(jì)算，

其中，δ是Kronecjer delta函數(shù)，K是歸一化因子以確保；height是檢出框的高，width是檢出框的寬，a用來對(duì)檢出框進(jìn)行歸一化處理以適應(yīng)檢出框的不同尺寸；w是一個(gè)權(quán)重函數(shù)，用來增強(qiáng)顏色直方圖的健壯性以減輕檢出框的邊緣像素屬于背景或被遮擋的情況。檢出框中的像素離檢出框的質(zhì)心越遠(yuǎn)，則分配給這個(gè)像素的權(quán)重越小，權(quán)重的計(jì)算公式如下：

其中，r是該像素點(diǎn)到檢出框質(zhì)心的距離。

同樣地，可以初始時(shí)刻t0計(jì)算參考顏色分布模型q*={q*(n)}n=1··N，這些參考顏色分布模型由團(tuán)塊檢測(cè)模塊的結(jié)果自動(dòng)地初始化。

接下來選用 Bhattacharyya系數(shù)來度量參考顏色直方圖和參考顏色直方圖之間的相似性：

基于此 Bhattacharyya距離，我們可以計(jì)算觀測(cè)模型的似然率p(yt|xt)[9]：

在經(jīng)典的基于顏色特征的粒子濾波算法中采用了重采樣來消除粒子退化的影響，然而帶來了粒子貧乏的不良后果，降低了跟蹤性能。為了使得粒子具有多樣性，本文采用Markov Chain Monte Carlo(MCMC)[10]來進(jìn)行粒子重采樣。MCMC方法是使用馬爾可夫鏈的蒙特卡羅積分。其基本思路是，如果粒子服從后驗(yàn)概率p(0:t|y1:t)，那么實(shí)施核為K(x0:t|0:t)的 馬 爾 科 夫 鏈 變 換 之 后 ， 在 保 證的前提下，仍然可以得到一組滿足既定后驗(yàn)概率分布的粒子群，而且這組新的粒子群可能移動(dòng)到了狀態(tài)空間中更為有利的位置。實(shí)現(xiàn)MCMC重要性采樣主要有兩種方法：MH(Metropolis Hastings)采樣方法和Gibbs采樣方法。本文采用MH算法[11]產(chǎn)生各態(tài)歷經(jīng)的平穩(wěn)有限分布的馬爾可夫過程。

3.2 基于全局最近鄰法的數(shù)據(jù)關(guān)聯(lián)

在多目標(biāo)跟蹤中并不是所有的觀測(cè)值都反映了被跟蹤目標(biāo)的信息，部分觀測(cè)值反映了目標(biāo)信息，部分觀測(cè)值并不包含目標(biāo)信息而是包含了背景、噪聲、虛假目標(biāo)等干擾信息。數(shù)據(jù)關(guān)聯(lián)即匹配，就是要確定哪些觀測(cè)值反映了目標(biāo)信息，并確定真實(shí)的觀測(cè)值與存在狀態(tài)的對(duì)應(yīng)關(guān)系。

目前，多目標(biāo)跟蹤領(lǐng)域存在許許多多數(shù)據(jù)關(guān)聯(lián)的方法，從相對(duì)簡單的最近鄰法到非常復(fù)雜的多假設(shè)跟蹤（MHT）。多目標(biāo)跟蹤系統(tǒng)通常多采用簡單的方法，但這些方法的性能在復(fù)雜環(huán)境會(huì)下降。相當(dāng)復(fù)雜的多假設(shè)跟蹤雖然性能有所改善，但難以實(shí)現(xiàn)，且在復(fù)雜環(huán)境中需要維護(hù)大量的假設(shè)，進(jìn)而需要消耗大量的計(jì)算機(jī)資源。全局最近鄰法（Global Nearest Neighbor）[12]通過尋找一次掃描中最大可能的假設(shè)，能夠獲得比較好的數(shù)據(jù)關(guān)聯(lián)性能。

我們假設(shè)在一個(gè)新觀測(cè)值或一系列新觀測(cè)值被收到時(shí)已經(jīng)存在n條目標(biāo)軌跡。這些觀測(cè)值用于更新現(xiàn)有的目標(biāo)軌跡，或者初始化新的目標(biāo)軌跡。假設(shè)在時(shí)刻點(diǎn)t，收到m個(gè)觀測(cè)值。在復(fù)雜環(huán)境中，m不一定等于n，而且也難以分辨測(cè)量值是來自于目標(biāo)還是噪聲等。有效的觀測(cè)值則應(yīng)是處于已存在目標(biāo)關(guān)聯(lián)門內(nèi)部或者邊界。數(shù)學(xué)上，關(guān)聯(lián)門可由式（13）給出：

其中，d=(x,y,H,W)，x,y是團(tuán)塊的位置信息，H,W是團(tuán)塊的形狀信息，di表示第i個(gè)已知的目標(biāo)狀態(tài)，dj表示第j個(gè)觀測(cè)值，a是一個(gè)用來調(diào)節(jié)團(tuán)塊位置和大小重要性的常數(shù)因子，G是門限值，可以有M自由度的$X2M分布獲得。門限值（G）的選擇要確保正確的測(cè)量將以在于指定的概率落在關(guān)聯(lián)門內(nèi)。

經(jīng)式（13）的有效性驗(yàn)證后，可以將數(shù)據(jù)關(guān)聯(lián)視為一個(gè)最大匹配問題，按式（14）構(gòu)造代價(jià)矩陣（C）：

其中，代價(jià)矩陣C的元素滿足：

求最大匹配的一種顯而易見的算法是：先找出全部匹配，然后保留匹配數(shù)最多的。但是這個(gè)算法的時(shí)間復(fù)雜度為邊數(shù)的指數(shù)級(jí)函數(shù)。因此，本文采用擴(kuò)展 Munkres算法[13]解決上述的二值分配問題。如果觀測(cè)值未找到匹配的目標(biāo)，我們認(rèn)為出現(xiàn)了新的目標(biāo)，于是初始化一個(gè)新的單對(duì)象跟蹤器；如果目標(biāo)找不到匹配的觀測(cè)值，則相應(yīng)增加其丟失次數(shù)，當(dāng)連續(xù)丟失次數(shù)超過一定幀數(shù)時(shí)，認(rèn)為該目標(biāo)消失了，于是刪除該目標(biāo)的單對(duì)象跟蹤器。

4 實(shí)驗(yàn)結(jié)果

在Visual Studio 2005結(jié)合OpenCV、STL和DirectShow搭建了一個(gè)實(shí)驗(yàn)平臺(tái)。為驗(yàn)證系統(tǒng)的穩(wěn)定性以及有效性，實(shí)驗(yàn)數(shù)據(jù)選自SCEPTER。該系統(tǒng)在Pentium 4，2.0GHz計(jì)算機(jī)上，對(duì)于跟蹤分辨率為320×240的序列圖像，實(shí)現(xiàn)了25f/s的處理速度。

實(shí)驗(yàn)結(jié)果如圖4所示，圖中彩色框表示各個(gè)不同的跟蹤目標(biāo)，框后面的線記錄了該目標(biāo)的運(yùn)動(dòng)軌跡。通過實(shí)驗(yàn)結(jié)果可以看出,即便在遮擋或有新目標(biāo)出現(xiàn)的情況下, 仍能成功地檢測(cè)和跟蹤場(chǎng)景中的運(yùn)動(dòng)目標(biāo)。

圖4 智能監(jiān)控系統(tǒng)實(shí)驗(yàn)結(jié)果

5 結(jié)論

智能監(jiān)控是一個(gè)具有挑戰(zhàn)性的研究領(lǐng)域，既有理論研究意義，也有很強(qiáng)的實(shí)用價(jià)值。但由于使用背景、具體環(huán)境等因素的復(fù)雜性，目前仍需依賴人工進(jìn)行不問斷分析，還未能找到“通用”的解決算法。本文主要針對(duì)室監(jiān)控這—特定背景環(huán)境，對(duì)運(yùn)動(dòng)目標(biāo)的跟蹤監(jiān)控進(jìn)行了研究，提出了利用基于顏色空間模型的閾值化背景減法提取出運(yùn)動(dòng)目標(biāo)，并結(jié)合基于MCMC的顏色粒子濾波器和全局最近鄰法對(duì)多個(gè)目標(biāo)進(jìn)行跟蹤的方法，并沒計(jì)搭建了測(cè)試平臺(tái)。實(shí)驗(yàn)表明，該平臺(tái)可以有效地檢測(cè)并跟蹤室內(nèi)運(yùn)動(dòng)目標(biāo)，實(shí)現(xiàn)了部分分析任務(wù)的自動(dòng)處理。運(yùn)動(dòng)物體分類和識(shí)別、行為識(shí)別將是下一步研究的重點(diǎn)。

[1]Hu W, Tan T, Wang L, and Maybank S. A survey on visual surveillance of object motion and behaviors. IEEE Transactions onSystems, Man and Cybernetics,34:334-352, 2004.

[2]D Harwood I. Haritaoglu and Davis L S. W4: Real-time surveillance of people and their activities. IEEE Transactions on Pattern Analysis and Machine Intelligence,22(8):809-830, 2000.

[3]T Darrell C,Wren R,Azarbayejani A, and Pentland A P.Pfinder:Real-time tracking of the human body.IEEE Transactions on Pattern Analysis and Machine Intelligence,19:780-785,1997.

[4]T Kanade H, Fujiyoshi D,Duggins Y,Tsin D,Tolliver N,Enomoto O,Hasegawa P,Burt R,Collins T,Lipton A J,and Wixson L.A system for video surveillance and monitoring.Technical Report CMU-RI-TR-00-12, Robotics Institute,Pittsburgh, PA, May 2000.

[5]Romano R W, Grimson E L, Stauffer C,and Lee L.Using adaptive tracking to classify and monitor activities in a site.In CVPR ’98: Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition,page 22, Washington, DC, USA, 1998. IEEE Computer Society.

[6]H I Y,Gu L Li, Huang W,and Qi T. Foreground object detection from videos containing complex background. In MULTIMEDIA ’03: Proceedings of the eleventh ACM international conference on Multimedia, pages 2-10, New York, NY, USA, 2003. ACM.

[7]Doucet A J. Vermaak and Perez P. Maintaining multimodality through mixture tracking. In Computer Vision, 2003. Proceedings.Ninth IEEE International Conference on, volume 2, pages 1110–1116, Oct. 2003.

[8]N Gordon M ,Arulampalam S, Maskell S,and T Clapp. A tutorial on particle filters for on-line nonlinear/nongaussian bayesian tracking. IEEE Transactions on Signal Processing, 50:174-188, 2001.

[9]J Vermaak,P Pé rez, Hue C,and Gangnet M. Color-based probabilistic tracking. In ECCV ’02: Proceedings of the 7th European Conference on Computer Vision-Part I,pages 661-675, London, UK, 2002. Springer-Verlag.

[10]Liu J S,and Chen R. Sequential monte carlo methods for dynamic systems. Journal of the American Statistical Association, 93:1032-1044,1998.

[11]Zhai Y,and Yeary M. Implementing particle filters with metropolis-hastings algorithms. In Region 5 Conference:Annual Technical and Leadership Workshop, 2004, pages 149-152, April 2004.

[12]A Udvarev,Konstantinova P,and Semerdjiev T.A study of a target tracking algorithm using global nearest neighbor approach.In CompSysTech’03:Proceedings of the 4th international conference conference on Computer systems and technologies, pages 290-295, New York, NY, USA,2003. ACM.

[13]Bourgeois F and Lassalle C J.An extension of the munkres algorithm for the assignment problem to rectangular matrices.Commun.ACM,14(12):802-804,1971.