陳春雨，邵 宇，趙春暉

(哈爾濱工程大學(xué) 信息與通信工程學(xué)院，哈爾濱 150001)

視頻監(jiān)控中的人群逃離行為檢測(cè)與定位

陳春雨，邵 宇，趙春暉

(哈爾濱工程大學(xué) 信息與通信工程學(xué)院，哈爾濱 150001)

對(duì)視頻監(jiān)控系統(tǒng)中的人群異常逃離行為檢測(cè)和定位的問(wèn)題進(jìn)行研究。提出一種不僅能檢測(cè)出異常事件，而且能夠識(shí)別異常的可能位置的新算法。人們通常本能地逃離異?；蛘呶ｋU(xiǎn)發(fā)生的地點(diǎn)?；谶@個(gè)理論，提出了一種新的檢測(cè)發(fā)散中心的算法：發(fā)散中心暗示異常發(fā)生的可能位置。首先建立正常和異常的人群運(yùn)動(dòng)模型。通過(guò)光流場(chǎng)來(lái)計(jì)算出運(yùn)動(dòng)矢量的位置和方向，并獲得矢量的交點(diǎn)。然后使用KNN最鄰近搜索法獲得交點(diǎn)集的密集區(qū)域即發(fā)散中心。最后，通過(guò)判斷運(yùn)動(dòng)速度、能量和發(fā)散中心識(shí)別逃離行為。對(duì)多個(gè)視頻數(shù)據(jù)進(jìn)行實(shí)驗(yàn)測(cè)試，結(jié)果驗(yàn)證了所提方法是有效的。

人群逃離;異常行為;能量;定位

0 引 言

近幾年來(lái)，在公共場(chǎng)所中頻繁地發(fā)生人群異常事件。所以，人群異常事件的檢測(cè)已經(jīng)在許多國(guó)家成為研究的熱點(diǎn)。及時(shí)檢測(cè)人群異常意味著有更多的時(shí)間來(lái)疏散人群并減少這些事件的影響。盡管這個(gè)領(lǐng)域已經(jīng)做了很多的研究，但是這仍然具有挑戰(zhàn)。異常檢測(cè)之所以非常困難，是因?yàn)閷?duì)于異常還沒(méi)有一個(gè)統(tǒng)一的概念。對(duì)于異常檢測(cè)通常有很多的限制條件，比如不連續(xù)、稀疏和罕見(jiàn)。異常被定義為區(qū)別于預(yù)期的，不同尋常的或者不規(guī)律的[1-2]。本文中異常被定義為偏離正常的情況。正常情況下，人們通常在街上不受周圍人的影響自由的行走。然后當(dāng)異常發(fā)生時(shí)，例如，火災(zāi)、爆炸等，人群通常由于本能反應(yīng)逃離這個(gè)危險(xiǎn)的地方。由于恐慌所引起的人群擁擠和踩踏事件通常導(dǎo)致意外的死亡[3]。因此，研究恐慌行為和預(yù)測(cè)異常事件的發(fā)生已經(jīng)引起研究者廣泛的關(guān)注。文章提出了一種新的方法來(lái)檢測(cè)并定位人群逃離事件。

研究者已經(jīng)提出了很多在監(jiān)控視頻中識(shí)別異常人群行為的方法，例如文獻(xiàn)[5-7]。文獻(xiàn)[8]總結(jié)了過(guò)去10 a檢測(cè)異常行為的方法，討論了這些方法的優(yōu)缺點(diǎn)。并闡述了異常檢測(cè)可能存在的挑戰(zhàn)，未來(lái)研究的熱點(diǎn)和影響算法成功的因素。這些方法主要基于光流的分析，時(shí)空特征[9]和動(dòng)態(tài)紋理[10]。但是這些方法都只適用于含有幾個(gè)對(duì)象的低密度的場(chǎng)景，而且大多研究者都關(guān)注識(shí)別和追蹤人群中的個(gè)體異常行為[11-12]。本文同樣基于光流法，提出一種新的檢測(cè)定位人群異常行為的方法。這里認(rèn)為人群是一個(gè)單獨(dú)的實(shí)體然后研究這個(gè)實(shí)體的行為。

當(dāng)異常發(fā)生時(shí)人們會(huì)本能的逃離危險(xiǎn)的地方，筆者認(rèn)為人群逃離行為預(yù)示著異常事件的發(fā)生?；谶@個(gè)推理，本文構(gòu)建一種新的建模人群逃離行為的框架并證明有效性。本文的主要貢獻(xiàn)在于：①采用規(guī)則網(wǎng)格劃分光流場(chǎng);②光流能量和發(fā)散中心的概念被引入來(lái)增加異常的特征，而且發(fā)散中心直接用于建模正常和異常行為。

1 基于光流能量的異常檢測(cè)算法

本文提出的人群逃離事件檢測(cè)方法，首先使用光流場(chǎng)表示視頻序列，使用規(guī)則網(wǎng)格劃分光流場(chǎng)為補(bǔ)丁塊的集合。然后提取前景和特征并計(jì)算相關(guān)的信息為檢測(cè)階段做準(zhǔn)備。最后，通過(guò)光流能量和發(fā)散中心來(lái)識(shí)別異常行為。

1.1 特征提取

特征提取是異常檢測(cè)的基礎(chǔ)，提取出的特征需要用來(lái)表征人群行為。光流法可很好地描述異常行為的特征。在不同的環(huán)境中人群表現(xiàn)不同的行為使得人群有不同的光流能量特征。本文中，應(yīng)用Horn-Schunck光流法，該方法假設(shè)在整個(gè)圖像上光流變化是平滑的[13]。

異常行為只發(fā)生在運(yùn)動(dòng)的區(qū)域中，因此前景提取也是必須的。本文應(yīng)用聚類方法進(jìn)行前景提取。然后將整個(gè)光流場(chǎng)進(jìn)行劃分成補(bǔ)丁塊的集合。補(bǔ)丁塊中幅度大運(yùn)閾值ε的屬于前景。劃分光流場(chǎng)的目的是減少計(jì)算量，克服復(fù)雜度高的缺點(diǎn)。正常情況下，短時(shí)間內(nèi)人群通常在某一區(qū)域或者在一個(gè)小范圍內(nèi)運(yùn)動(dòng)。然而發(fā)生逃離時(shí)，人群迅速的逃離這個(gè)區(qū)域，導(dǎo)致運(yùn)動(dòng)矢量的幅度、方向和位置都發(fā)生很大變化。運(yùn)動(dòng)速度由于恐慌會(huì)變的很大，運(yùn)動(dòng)方向也會(huì)迅速改變。此外，運(yùn)動(dòng)方向矢量對(duì)于異常的定位是非常重要的信息。因此，在該模型中需要提取幅度、方向和位置特征。

1.2 基于光流能量的異常檢測(cè)

通過(guò)計(jì)算加權(quán)的光流能量來(lái)分析異常行為的程度。異常行為通常具有運(yùn)動(dòng)幅度大、速度快和方向復(fù)雜等特征。正常情況下，運(yùn)動(dòng)幅度不大，運(yùn)動(dòng)方向幾乎不變導(dǎo)致運(yùn)動(dòng)的能力較低。而在異常情況下，由于運(yùn)動(dòng)方向混亂、運(yùn)動(dòng)速度大，運(yùn)動(dòng)的能量必然大于正常情況。因此應(yīng)用光流能量來(lái)反應(yīng)行為的特征。按照下式提取第n幀光流的能量：

(1)

式中E(n)表示運(yùn)動(dòng)的光流能量；vi,j(n) 是第n幀圖像像素的速度；wi,j(n)是光流能量的權(quán)值；W表示運(yùn)動(dòng)區(qū)域的寬度；H表示運(yùn)動(dòng)區(qū)域的高度。

每個(gè)像素的速度按下式計(jì)算：

(2)

式中ui,j和vi,j分別是運(yùn)動(dòng)對(duì)象水平和垂直速度分量。運(yùn)動(dòng)方向和水平方向的夾角表示為：

(3)

光流不僅包括瞬時(shí)運(yùn)動(dòng)速度，而且包括每個(gè)像素的運(yùn)動(dòng)方向。速度的幅值反映了運(yùn)動(dòng)的強(qiáng)度，運(yùn)動(dòng)方向與水平方向的夾角反映了矢量運(yùn)動(dòng)的方向。在沒(méi)有異常發(fā)生時(shí)，像素運(yùn)動(dòng)方向不會(huì)發(fā)生很多的變化。相反，異常行為的運(yùn)動(dòng)方向是雜亂無(wú)章的，運(yùn)動(dòng)幅度較大，變化劇烈。與光流特征結(jié)合，這反映了像素的速度差異和方向不同的差異性。因此，為了更好地區(qū)分正常和異常行為，采用加權(quán)的光流能量方法代替僅僅利用光流速度信息的非加權(quán)的光流能量算法。

基于以上討論，光流能量的權(quán)值定義如下：

(4)

其中∠AngCurrent表示當(dāng)前像素與水平方向的夾角， ΔAng=|∠AngCurrent-∠AngAvg|。 ∠AngMax表示具有最大速度像素點(diǎn)與水平方向的夾角。ΔAngMax=|∠AngCurrent-∠AngMax|。運(yùn)動(dòng)目標(biāo)矢量與水平方向的夾角為：

(5)

其中Sum(P)表示前景中所有像素的總和。α用于調(diào)整光流能量權(quán)值的大小。

1.3 異常的定位

有很多研究者對(duì)視頻中的人群異常行為發(fā)生位置進(jìn)行了研究，但是大多數(shù)的研究只是研究個(gè)體異常發(fā)生的位置[14]。然而，人群異常行為引起的結(jié)果更為嚴(yán)重。因此，當(dāng)異常發(fā)生時(shí)，識(shí)別人群異常行為發(fā)生的位置對(duì)于及時(shí)采取措施更為重要。對(duì)于人群異常事件發(fā)生位置的檢測(cè)，文獻(xiàn)[15]應(yīng)用馬爾科夫鏈蒙特卡洛方法來(lái)解決這個(gè)問(wèn)題。

本文考慮人群異常事件發(fā)生位置的檢測(cè)問(wèn)題。文中發(fā)散中心的概念來(lái)源于文獻(xiàn)[15]的啟發(fā)。提出一種全新的方法來(lái)確定發(fā)散中心的位置，即異常可能發(fā)生的位置。

1.3.1 KNN最鄰近搜索法

為了確定人群異常行為可能發(fā)生的位置，采用基于KNN最鄰近搜索法來(lái)確定發(fā)散中心的算法描述如下。其核心是將異常的定位問(wèn)題表示為交點(diǎn)的問(wèn)題。下面闡釋交點(diǎn)問(wèn)題。

完成光流場(chǎng)的計(jì)算后，可以獲得速度矢量

首先，對(duì)于每一幀視頻進(jìn)行上述的加權(quán)光流能量計(jì)算。若加權(quán)光流能量大于閾值，則去獲得當(dāng)前幀的光流矢量，根據(jù)速度矢量V=(u,v)的坐標(biāo)和方向可獲得直線集。一旦求解出直線方程，參數(shù)K，b便可確定(僅考慮直線斜率存在的情況)。

直線的參數(shù)計(jì)算公式如下：

bl=i-klj

(6)

然后，求解交點(diǎn)集合P={p1,p2,…ps}。交點(diǎn)集中的任意一點(diǎn)p1=(x1,y1)都是通過(guò)兩條不同的直線相交獲得的。求解交點(diǎn)的方法就是對(duì)二元方程進(jìn)行求解。公式如下：

(7)

其次，采用野點(diǎn)去除方法來(lái)去除交點(diǎn)集合中的野點(diǎn)。此步驟可減少不利因素,也可減少后續(xù)算法的計(jì)算量(詳細(xì)的算法見(jiàn)下文圖解法)。

最后，確定發(fā)散中心。采用KNN最鄰近搜索方法(K-Nearest Neighborhood Search)來(lái)搜索第k個(gè)最近的點(diǎn)集。如果第一個(gè)k最鄰近點(diǎn)集小于一個(gè)預(yù)設(shè)的閾值，這個(gè)k最鄰近點(diǎn)集就是交點(diǎn)的密集區(qū)域，也就是說(shuō)所謂的密集區(qū)域的物理中心就是發(fā)散中心。

1.3.2 圖解法

圖解法的目的是為了除去野點(diǎn)。在這個(gè)算法中，閾值的選擇對(duì)于結(jié)果的影響非常大。算法的原理圖見(jiàn)圖1。

圖1 圖解法-圖解法的原理圖Fig.1 Graphical Method- Schematic diagram of graphical method

算法的主要步驟如下：

1)輸入交點(diǎn)集合P={p1,p2,…ps}。

2)設(shè)置搜索窗。搜索窗的范圍根據(jù)交點(diǎn)坐標(biāo)的最大值和最小值來(lái)確定。

3)設(shè)置一個(gè)滑動(dòng)搜索窗。滑動(dòng)搜索窗的尺寸設(shè)置為B。B的大小和視野范圍與運(yùn)動(dòng)目標(biāo)的密集程度有關(guān)，本文根據(jù)經(jīng)驗(yàn)設(shè)定，使用這個(gè)小的滑動(dòng)窗對(duì)整個(gè)搜索窗進(jìn)行搜索，計(jì)算每個(gè)滑動(dòng)窗中的交點(diǎn)數(shù)量。交點(diǎn)數(shù)量大于預(yù)設(shè)閾值的保留相應(yīng)窗中的交點(diǎn)。否則丟棄相應(yīng)窗中的交點(diǎn)(搜索窗大小和預(yù)設(shè)交點(diǎn)的數(shù)量的閾值是根據(jù)實(shí)驗(yàn)的經(jīng)驗(yàn)確定的)。

2 實(shí)驗(yàn)結(jié)果

使用合成數(shù)據(jù)和真實(shí)的數(shù)據(jù)來(lái)測(cè)試所提的算法。真實(shí)的數(shù)據(jù)來(lái)源于公共視頻庫(kù)：UMN數(shù)據(jù)集-被廣泛的用于評(píng)估系統(tǒng)的性能。首先，在UMN數(shù)據(jù)集上展示基于能量的光流法的結(jié)果。然后在合成數(shù)據(jù)和真實(shí)矢量場(chǎng)中展示了確定發(fā)散中心位置算法的結(jié)果。

所提方法中的大部分參數(shù)都設(shè)定為固定值。視頻幀大小為240×320像素。采用光流法計(jì)算矢量場(chǎng)。補(bǔ)丁塊的大小設(shè)為24×24，因此整個(gè)視頻幀被分為10×14大小的區(qū)域集。補(bǔ)丁塊的大小依賴于攝像頭的遠(yuǎn)近和獲得視頻的清晰度。每個(gè)補(bǔ)丁塊中所有運(yùn)動(dòng)矢量用來(lái)描述相應(yīng)塊的運(yùn)動(dòng)模式。然后在訓(xùn)練集中選取10%的場(chǎng)矢量應(yīng)用K-mean算法(k=2)來(lái)獲得一個(gè)合適的參數(shù)ε值。對(duì)于其他參數(shù)，方向的數(shù)量J設(shè)置為8。

2.1 能量檢測(cè)結(jié)果

UMN數(shù)據(jù)集有3個(gè)拍攝場(chǎng)景，包括室內(nèi)和室外。數(shù)據(jù)集含有11個(gè)不同的關(guān)于逃離行為的場(chǎng)景。每個(gè)視頻描述一群人自由的行走或者呆在大廳里，然后迅速的離開(kāi)視野范圍。一些視頻幀和相應(yīng)的檢測(cè)結(jié)果見(jiàn)圖2。它展示了3個(gè)不同場(chǎng)景的結(jié)果和每個(gè)場(chǎng)景中對(duì)應(yīng)的發(fā)生逃離行為的異常視頻幀。

圖2 左列：正常事件的視頻幀。中間列：相應(yīng)的異常視頻幀。右列：能量檢測(cè)結(jié)果Fig.2 Left column: some sample from the normal events. Centre column: some sample from the abnormal events. Right column: The results of energy detection

圖2可見(jiàn)曲線的波峰。由圖2(a)中光流能量曲線在第485幀開(kāi)始增加，即視頻在此幀人群開(kāi)始逃離。能量曲線在526幀達(dá)到峰值。在580幀之后，隨著人群離開(kāi)視野，曲線開(kāi)始下降。圖2(b)和圖2(c)曲線的趨勢(shì)和圖2(a)相似。

有一點(diǎn)需要注意：矢量的歸一化。本文定義歸一化光流能量為：

(8)

歸一化的光流能量反映了前景中光流能量的強(qiáng)度，而且它與前景的范圍無(wú)關(guān)。

如圖2所示，所提方法成功檢測(cè)了異常的趨勢(shì)。這為檢測(cè)異常發(fā)生的位置奠定了基礎(chǔ)。然而，為了得到一個(gè)精確的輸出，必須選擇合適的閾值。

2.2 發(fā)散中心檢測(cè)

使用合成矢量場(chǎng)來(lái)確定發(fā)散中心的位置。在理想場(chǎng)景中，所提的方法可精確地檢測(cè)出異常事件的發(fā)生位置。仿真的關(guān)鍵問(wèn)題就是交點(diǎn)的問(wèn)題。所提方法在理想矢量場(chǎng)中檢測(cè)發(fā)散中心的結(jié)果見(jiàn)圖3。

圖3 在合成矢量場(chǎng)中檢測(cè)發(fā)散中心的結(jié)果Fig.3 Results of divergent center detected in synthetic vector

在人群場(chǎng)景中，移動(dòng)個(gè)體受周圍人影響使得他們具有相似的運(yùn)動(dòng)速度。當(dāng)危險(xiǎn)發(fā)生時(shí)個(gè)體的運(yùn)動(dòng)方向不可能滿足理想的沿著直線逃跑。因此，假設(shè)一組服從高斯分布的方向噪聲來(lái)干擾理想的矢量場(chǎng)，測(cè)試所提算法的魯棒性。

在真實(shí)的場(chǎng)景中，運(yùn)動(dòng)對(duì)象的方向變化不大。方向變化的參數(shù)設(shè)置為5°，也就是生成的隨機(jī)噪聲的方差是tan 5°，均值mu為0。生成1 000組隨機(jī)的數(shù)據(jù)服從正態(tài)分布,統(tǒng)計(jì)方向變化對(duì)結(jié)果的影響。實(shí)驗(yàn)結(jié)果表明，誤差變化的范圍不大且誤差的均值是0.094 4。說(shuō)明該算法是魯棒的。

當(dāng)使用光流能量表征光流場(chǎng)后，應(yīng)用檢測(cè)發(fā)散中心的算法。6個(gè)代表性的情況，檢測(cè)發(fā)散中心的結(jié)果疊加在視頻幀上見(jiàn)圖4。

圖4 不同場(chǎng)景中的發(fā)散中心Fig.4 Divergent centers in different scenarios

3 結(jié) 論

當(dāng)危險(xiǎn)發(fā)生時(shí)，人們本能的逃離危險(xiǎn)，因此認(rèn)為人群逃離行為是異常事件發(fā)生的指標(biāo)。本文提出一種檢測(cè)異常行為的方法。該方法探究逃離與非逃離行為間的變化和逃離行為與可能發(fā)生逃離行為的位置間的關(guān)系。當(dāng)發(fā)生逃離行為時(shí)，該方法可以估計(jì)出發(fā)散中心的位置。通過(guò)合成數(shù)據(jù)和UMN數(shù)據(jù)集證實(shí)了方法的有效性。

所提方法是基于光流場(chǎng)，由于視頻質(zhì)量低，導(dǎo)致光流場(chǎng)不穩(wěn)定。因此采用規(guī)則網(wǎng)格來(lái)劃分光流場(chǎng)來(lái)減少噪聲的影響。然后獲得比如方向、速度和位置特征。最后，基于光流能量的方法檢測(cè)是否有異常出現(xiàn)在場(chǎng)景中，并根據(jù)所提的發(fā)散中心的算法確定可能發(fā)生異常的位置。本文將來(lái)的工作希望能處理視頻中存在多個(gè)發(fā)散中心的情況。

[1]Cong Y, Yuan J, Liu J. Sparse reconstruction cost for abnormal event detection[J]. In IEEE Conference on Computer Vision Pattern Recognition, 2011:3 449-3 456.

[2]Zhong H, Shi J, Visontai M. Detecting unusual activity in video[J]. In Proc. 2004 IEEE Comput. Vis. Pattern Recog., 2004, 2: II-819-826.

[3]Helbing D, Farkas I, Vicsek T. Simulating dynamical features of escape panic[J]. Nature, 2000,407(6 803):487-490.

[4]Junior J C S J, Musse S R, Jung C R. Crowd analysis using computer vision techniques: A survey[J]. IEEE Signal Process. Lett., 2010,27(5):66-77.

[5]Mehran R, Oyama A, Shah M. Abnormal crowd behavior detection using social force model[J]. in Proc. IEEE Conf. Comput. Vision Pattern Recognit., 2009:935-942.

[6]Kratz L, Nishino K. Anomaly detection in extremely crowded scenes using spatio-temporal motion pattern models[J]. in Proc. IEEE Conf. Comput. Vision Pattern Recognit., 2009:1 446-1 453.

[7]Lin S F, Chen J Y, Chao H X. Estimation of number of people in crowded scenes using perspective transformation[J], IEEE Trans.Systems, Man, Cybern. A, 2001，31(6):645-654.

[8]Popoola O P, Wang K. Video-Based Abnormal Human Behavior Recognition—A Review[J]. IEEE Trans. Syst. Man Cybern Part C 2012,(42):865-878.

[9]Liu X, Lin L, Yan S, et al. Integrating spatio-temporal context with multiview representation for object recognition in visual surveillance[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2011,21(4):393-407.

[10]Chan A,Vasconcelos N. Modeling, clustering, and segmenting video with mixtures of dynamic textures[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008,30(5):909-926.

[11]Ryan D, Denman S, Fookes C, et al. Textures of optical flow for real-time anomaly detection in crowds[J]. In IEEE International Conference on Advanced Video and Signal-Based Surveillance, 2011:230-235.

[12]Seidenari L, Bertini M, Del Bimbo A. Dense spatio-temporal features for non-parametric anomaly detection and localization[C]// In: Proc. of ACM Workshop on Analysis and Retrieval of Tracked Events and Motion in Imagery Streams (ARTEMIS), 2010: 27-32.

[13]Zach C, Pock T, Bischof H. A Dualitu Based Approach for Realtime TV-L1 Optical Flow[C]// In: 29th DAGM Symposium on Pattern Recognition, Heidelberg, Germany,2007:214-223.

[14]Wu S, Wong H S, Yu Z W. A Bayesian Model for Crowd Escape Behavior Detection[J]. IEEE transactions on circuits and systems for video technology, 2014,24(1):85-98.

[15]Li W X, Mahadevan V, Vasconcelos N. Anomaly detection and localization in crowed scenes[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2014,36(1):18-32.

Crowed escape anomalous behavior detection and localization in video surveillance

CHEN Chun-Yu, SHAO Yu,ZHAO Chun-Hui

(College of Information and Communication Engineering, Harbin Engineering University,150001, China)

In order to study the problem of detection and localization of crowd escape anomalous behavior in video surveillance systems, a new scheme was proposed which can not only detect the abnormal events, but also detect the possible location of abnormal events. People usually instinctively escape from a place where abnormal or dangerous events occur. Based on this inference, a novel algorithm of detecting the divergent center was proposed: the divergent center indicates possible place where abnormal events occur. Firstly, the model of crowd motion in both the normal and abnormal situations had been made. Intersections of vector were obtained through solving the straight line equation sets, where the straight line Equation sets were determined by the location and direction of motion vector which were calculated by the optical flow. Then the dense regions of intersection sets, i.e., the divergent center, were obtained by using KNN. Escape detection was finally judged according to the speed and energy of motion and the divergent center. Experiments on several datasets showed that the proposed method is valid on crowd escape behavior detection.

crowd escape; anomalous behavior;energy; localization

10.13524/j.2095-008x.2015.02.032

2014-08-29;

2015-01-14

http://www.cnki.net/kcms/detail/23.1566.T.20150325.1306.001.html

國(guó)家自然科學(xué)基金資助項(xiàng)目( 61175126)；中央高?；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)資金項(xiàng)目( HEUCFZ1209)；教育部博士點(diǎn)基金項(xiàng)目(20112304110009)

陳春雨(1974-)， 男，黑龍江哈爾濱人，副教授，博士，研究方向：圖像處理、智能信號(hào)處理， E-mail: springrain@hrbeu.edu.cn。

TP391.41

A

2095-008X(2015)02-0068-06