陸云飛，陳臨強(qiáng)

(杭州電子科技大學(xué)計(jì)算機(jī)學(xué)院，浙江 杭州 310018)

摘要：實(shí)現(xiàn)了一種實(shí)時(shí)視頻監(jiān)控中行人的異常軌跡檢測(cè)方法。提取出行人軌跡的位置、速度及加速度等特征，利用自組織神經(jīng)網(wǎng)絡(luò)對(duì)正常軌跡進(jìn)行訓(xùn)練學(xué)習(xí)，得到正常軌跡點(diǎn)的一般特征并用優(yōu)勝神經(jīng)元表示。通過比較正常軌跡點(diǎn)與待檢測(cè)軌跡點(diǎn)的響應(yīng)函數(shù)值來判斷異常。實(shí)驗(yàn)結(jié)果表明該方法能較好地反映軌跡特征，具有較高的異常軌跡識(shí)別率，可以實(shí)時(shí)監(jiān)測(cè)行為異常。

關(guān)鍵詞：異常軌跡；視頻監(jiān)控；自組織網(wǎng)絡(luò)；訓(xùn)練學(xué)習(xí)

DOI: 10.13954/j.cnki.hdu.2015.02.012

基于SOM的行人異常軌跡檢測(cè)

陸云飛，陳臨強(qiáng)

(杭州電子科技大學(xué)計(jì)算機(jī)學(xué)院，浙江 杭州 310018)

摘要：實(shí)現(xiàn)了一種實(shí)時(shí)視頻監(jiān)控中行人的異常軌跡檢測(cè)方法。提取出行人軌跡的位置、速度及加速度等特征，利用自組織神經(jīng)網(wǎng)絡(luò)對(duì)正常軌跡進(jìn)行訓(xùn)練學(xué)習(xí)，得到正常軌跡點(diǎn)的一般特征并用優(yōu)勝神經(jīng)元表示。通過比較正常軌跡點(diǎn)與待檢測(cè)軌跡點(diǎn)的響應(yīng)函數(shù)值來判斷異常。實(shí)驗(yàn)結(jié)果表明該方法能較好地反映軌跡特征，具有較高的異常軌跡識(shí)別率，可以實(shí)時(shí)監(jiān)測(cè)行為異常。

關(guān)鍵詞：異常軌跡；視頻監(jiān)控；自組織網(wǎng)絡(luò)；訓(xùn)練學(xué)習(xí)

DOI:10.13954/j.cnki.hdu.2015.02.012

收稿日期：2014-07-28

通信作者：

作者簡(jiǎn)介：陸云飛(1990-)，男，安徽合肥人，在讀研究生，圖形圖像處理.陳臨強(qiáng)教授，E-mail: clq@hdu.edu.cn．

中圖分類號(hào)：TP391.41

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1001-9146(2015)02-0045-05

Abstract:This paper implements a real-time video monitoring method to detect abnormal trajectory of pedestrians. Some characteristics like position， velocity， and acceleration of trajectories were extracted， then we use self-organizing neural network to train on the normal trajectory of pedestrians. Finally， we get the general characteristics of the normal trajectory points and expressed by the winning neuron which generated in the self-learning process of self-organizing neural network. Determine abnormalities by comparing the response function values of the normal track points and the track points to be detected. The experimental results show that this method can reflect the characteristics of the trajectory better， with a high rate of abnormal trajectory recognition， and can monitor abnormal behavior in real-time．

0引言

隨著視頻監(jiān)控技術(shù)的發(fā)展，監(jiān)控視頻數(shù)據(jù)變得日益龐大，這就使得人為分析視頻需耗費(fèi)大量資源且越來越不可行，智能化的自動(dòng)視頻分析方法顯得尤為重要。同時(shí)，攝像設(shè)備提供了大量的運(yùn)動(dòng)對(duì)象的軌跡信息，軌跡信息較好地描述了運(yùn)動(dòng)物體的各項(xiàng)特征，優(yōu)秀的運(yùn)動(dòng)目標(biāo)檢測(cè)及跟蹤方法的提出使得軌跡信息的提取更為可靠。近年來，通過軌跡信息來判斷異常行為的研究逐漸被重視起來。文獻(xiàn)[1]提出了一種軌跡的稀疏重構(gòu)分析(sparse reconstruction analysis， SRA)方法，文中用三次B樣條曲線擬合來表示軌跡，用正常軌跡的控制點(diǎn)特征構(gòu)建字典集，對(duì)于測(cè)試軌跡，根據(jù)SRA方法計(jì)算其特征向量與字典集之間的系數(shù)矩陣，以此來判斷其是否為異常軌跡。文獻(xiàn)[2]同樣對(duì)軌跡進(jìn)行樣條曲線擬合表示，采用半監(jiān)督的方法對(duì)正常軌跡進(jìn)行學(xué)習(xí)，并用混合高斯模型對(duì)軌跡建模，利用Gumbel分布判斷軌跡是否異常，若正常更新模型，否則不更新。文獻(xiàn)[3]利用自組織網(wǎng)絡(luò)對(duì)正常軌跡進(jìn)行學(xué)習(xí)，學(xué)習(xí)結(jié)果用于軌跡的分類。大部分基于軌跡的異常檢測(cè)方法都對(duì)整條軌跡進(jìn)行學(xué)習(xí)提取特征，且往往計(jì)算復(fù)雜，不能到達(dá)實(shí)時(shí)監(jiān)測(cè)異常的目標(biāo)。本文在文獻(xiàn)[3]的基礎(chǔ)上提出了將速度、行走長(zhǎng)度異常增長(zhǎng)等信息帶入自組織網(wǎng)絡(luò)學(xué)習(xí)的方法，可以更好地反映物體的運(yùn)動(dòng)特征，同時(shí)采用帶權(quán)重的距離函數(shù)強(qiáng)調(diào)加速度和行走長(zhǎng)度異常增長(zhǎng)變化。

1方法概述

基于視頻的異常軌跡監(jiān)測(cè)首先要完成軌跡的提取。首先利用混合高斯背景模型完成前景提取，然后對(duì)前景目標(biāo)進(jìn)行跟蹤提取出運(yùn)動(dòng)目標(biāo)的軌跡。本文利用文獻(xiàn)[4]提出的多目標(biāo)跟蹤方法進(jìn)行行人跟蹤。得出軌跡的時(shí)間序列后，很多異常檢測(cè)的方法都是提取出完整軌跡后對(duì)整體軌跡進(jìn)行學(xué)習(xí)來判斷新的軌跡是否異常，但是這樣往往不能夠?qū)崟r(shí)的監(jiān)測(cè)異常，且需要對(duì)長(zhǎng)短不一的軌跡時(shí)間序列做一系列復(fù)雜處理使其能夠進(jìn)行訓(xùn)練等過程。本文在需要實(shí)時(shí)監(jiān)測(cè)這一思想的指引下，避開以上問題，提取軌跡中單個(gè)軌跡點(diǎn)的瞬時(shí)特征加以利用。主要包括速度和行走軌跡異常增長(zhǎng)長(zhǎng)度等特征，可以很好的反映行人是否出現(xiàn)突然加速，S形路線，來回踱步等異常事件。隨后，提取出每個(gè)軌跡點(diǎn)的特征組成固定長(zhǎng)度的特征向量，再將特征向量運(yùn)用自組織映射(Self Organizing Map， SOM)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練學(xué)習(xí)，得出正常軌跡點(diǎn)的一般特征。最終，通過將待檢測(cè)軌跡點(diǎn)與正常軌跡點(diǎn)特征比較來判斷異常，進(jìn)而確定異常軌跡。系統(tǒng)工作流程如圖1所示。

圖1　基于視頻異常軌跡監(jiān)測(cè)流程圖

2特征量提取

運(yùn)動(dòng)軌跡通常被看成是一組時(shí)間序列，其表示方法很多。文獻(xiàn)[5]提出的SAX方法將時(shí)間序列表示成由一個(gè)字符集中的字符組成的字符序列，通過對(duì)字符序列的操作代表時(shí)間序列的相關(guān)運(yùn)算。還有一種做法通過把軌跡曲線進(jìn)行B樣條擬合，通過控制點(diǎn)來表示軌跡。這些方法都要事先得到完整軌跡。實(shí)時(shí)監(jiān)測(cè)中不能等到完整軌跡產(chǎn)生后再判斷異常，在軌跡的生成過程中就要對(duì)軌跡進(jìn)行檢查，本文通過提取出每個(gè)軌跡點(diǎn)的位置、即時(shí)速度等信息組成固定長(zhǎng)度的特征向量，為訓(xùn)練過程提供數(shù)據(jù)。特征向量包含目標(biāo)的位置信息(x，y)，用差分(dx，dy)表示目標(biāo)的即時(shí)速度信息。為了檢測(cè)出行人的突然加速異常行為，引入二次差分(|d2x|，|d2y|)來表示速度變化特征。

dx=xt-xt-1

(1)

d2x=xt-2xt-1+xt-2

(2)

若運(yùn)動(dòng)目標(biāo)有異常軌跡，例如徘徊、來回踱步等，其軌跡總長(zhǎng)度必定會(huì)出現(xiàn)異常。行人的行走方向在同一場(chǎng)景中一般是固定的，也就是說視頻圖像中檢測(cè)到的軌跡點(diǎn)，其x軸坐標(biāo)和y軸坐標(biāo)的變化一般是單調(diào)的。如若行人軌跡點(diǎn)的x坐標(biāo)或y坐標(biāo)時(shí)而增大時(shí)而減小，則往往這部分軌跡會(huì)是異常的。以x軸坐標(biāo)為例，當(dāng)多數(shù)的軌跡點(diǎn)坐標(biāo)是增加的，即dx≥0，就認(rèn)為少數(shù)的dx<0的軌跡點(diǎn)是可能存在異常的，將這部分異常的dx累加起來表示軌跡在x軸方向的異常增長(zhǎng)部分，反之亦然。本文用(sumabndx，sumabndy)表示軌跡的異常增長(zhǎng)部分，其計(jì)算公式為：

(3)

組成特征向量：

F=[x，y，dx，dy，sumabndx，sumabndy，|d2x|，|d2y|]

(4)

3SOM訓(xùn)練與異常檢測(cè)

3.1　SOM訓(xùn)練

在眾多神經(jīng)網(wǎng)絡(luò)構(gòu)造方法中，利用SOM的神經(jīng)網(wǎng)絡(luò)因?yàn)槠渥越M織、自學(xué)習(xí)等特性受到廣泛關(guān)注。SOM網(wǎng)絡(luò)通過無導(dǎo)師學(xué)習(xí)使神經(jīng)元依照樣本的分布特征收斂，最終得到訓(xùn)練目標(biāo)的分布特征，其基本思想是網(wǎng)絡(luò)競(jìng)爭(zhēng)層中各個(gè)神經(jīng)元競(jìng)爭(zhēng)對(duì)輸入向量的響應(yīng)機(jī)會(huì)，將優(yōu)勝者及相關(guān)神經(jīng)元的權(quán)值調(diào)整到優(yōu)勢(shì)位置，使其在下次競(jìng)爭(zhēng)中更容易獲勝，訓(xùn)練完成后，獲勝神經(jīng)元的最終狀態(tài)就代表目標(biāo)的分布特征。SOM神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)示意如圖2所示。

圖2　SOM神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖

輸出層中每個(gè)神經(jīng)元有一個(gè)權(quán)值向量，輸入向量進(jìn)入時(shí)，各個(gè)神經(jīng)元競(jìng)爭(zhēng)響應(yīng)機(jī)會(huì)。實(shí)際過程中通過選擇距離輸入向量最近的神經(jīng)元為優(yōu)勝，更新優(yōu)勝神經(jīng)元及其鄰域內(nèi)神經(jīng)元的權(quán)值向量。本文采用一個(gè)二維隨機(jī)的SOM拓?fù)浣Y(jié)構(gòu)。為了防止更新過程中局部收斂的情況，一開始設(shè)置更新范圍較大，隨著時(shí)間的推移逐漸縮小。其距離函數(shù)是一個(gè)隨時(shí)間變化的函數(shù)Nc(t)。同時(shí)，隨著訓(xùn)練過程的推進(jìn)神經(jīng)元權(quán)值向量的更新率αt(t)也隨時(shí)間變化而減小。假設(shè)輸入樣本向量為x=[x1，x2，…，xn]T，各神經(jīng)元的權(quán)值向量為mi=[mi1，mi2，…，min]T，距離x最近的優(yōu)勝神經(jīng)元為mc，則權(quán)值向量更新公式如下：

(5)

算法流程如下：

1)初始化各神經(jīng)元的權(quán)值向量mi=[mi1，mi2，…，min]T，i=1，2，…，M，M為神經(jīng)元個(gè)數(shù)，采用隨機(jī)賦值為(-1，1)之間的策略，設(shè)定權(quán)值向量更新率取值范圍[αmin，αmax]，初始化權(quán)值向量更新率αt(0)=αmax，確定鄰域半徑初始值rmax；

3)更新優(yōu)勝神經(jīng)元及其鄰域內(nèi)神經(jīng)元的權(quán)值向量，計(jì)算公式如式(5)；

5)判斷是否學(xué)習(xí)完，是轉(zhuǎn)步驟2，否結(jié)束。

3.2　異常判斷

監(jiān)控過程中，對(duì)于行進(jìn)過程中的每個(gè)軌跡點(diǎn)，提取其特征向量帶入SOM中計(jì)算得到對(duì)其響應(yīng)最強(qiáng)烈的優(yōu)勝神經(jīng)元。計(jì)算待檢測(cè)的特征點(diǎn)與優(yōu)勝特征點(diǎn)的歐式距離。若距離超過指定閾值則認(rèn)為此軌跡點(diǎn)為異常的，閾值的設(shè)定采用自適應(yīng)的方式。在訓(xùn)練結(jié)束時(shí)可以得到與每個(gè)優(yōu)勝神經(jīng)元間距離最大的樣本向量及對(duì)應(yīng)的歐式距離，將這個(gè)距離設(shè)定為閾值。為了提高對(duì)徘徊、來回踱步等異常行為的靈敏度。檢測(cè)異常時(shí)，采用帶權(quán)重的距離計(jì)算，強(qiáng)調(diào)(sumabndx，sumabndy，|d2x|，|d2y|)的變化，假設(shè)權(quán)重向量為w=[w1，w2，…，wn]，輸入向量為xj，計(jì)算距離d=|w(xj-mc)|。

對(duì)每個(gè)軌跡點(diǎn)帶入計(jì)算，若超出閾值則認(rèn)為是異常軌跡點(diǎn)，若同一條軌跡中異常軌跡點(diǎn)個(gè)數(shù)超過5個(gè)就認(rèn)為該軌跡為異常。

4實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文方法的有效性，對(duì)一露天停車道路上拍攝的視頻進(jìn)行測(cè)試，視頻圖像大小為320×240(每像素24位)。訓(xùn)練數(shù)據(jù)采用300個(gè)正常軌跡。測(cè)試數(shù)據(jù)采用30條正常軌跡和20條異常軌跡。SOM中輸出層神經(jīng)元過少不能很好的表示一般軌跡點(diǎn)特征，過多又會(huì)顯著增加訓(xùn)練和檢測(cè)異常的時(shí)間，同時(shí)也要考慮視頻圖像的縱橫比。本文通過對(duì)比實(shí)驗(yàn)，最終設(shè)定輸出層包含12×16的輸出單元，初始值αmin=0.05，αmax=0.2，rmax=10，w=[1，1，1，1，1.1，1.1，1.1，1.1]，測(cè)試效果如圖3所示。×表示異常軌跡點(diǎn)。

圖3　測(cè)試效果圖

由圖3可以看出，由于跟蹤過程中噪聲的影響軌跡點(diǎn)會(huì)有跳變現(xiàn)象，但是不影響異常軌跡點(diǎn)的檢測(cè)。由圖3(a)和圖3(b)可以看出對(duì)正常軌跡有很好的通過率。同時(shí)對(duì)于異常軌跡具有較高的識(shí)別率。圖3(c)和圖3(d)中行人的異常徘徊必定會(huì)造成不必要的行走距離，本文充分利用了這一性質(zhì)。測(cè)試結(jié)果表明算法檢測(cè)異常的準(zhǔn)確率能達(dá)到85%以上。該方法有效檢測(cè)出場(chǎng)景中的異常軌跡。即使是充分訓(xùn)練的區(qū)域仍能夠?qū)Ξ惓｜c(diǎn)保持較高的檢測(cè)率。同時(shí)，由于訓(xùn)練出特征分布后，對(duì)軌跡點(diǎn)的異常檢測(cè)只需要和這若干個(gè)特征點(diǎn)進(jìn)行比較計(jì)算，所用時(shí)間幾乎可以忽略，完全可以達(dá)到實(shí)時(shí)要求。

5結(jié)束語

本文從軌跡中提取出軌跡點(diǎn)的特征表示，并通過SOM訓(xùn)練得到場(chǎng)景中正常軌跡的特征點(diǎn)的拓?fù)浣Y(jié)構(gòu)和分布特征，進(jìn)而檢測(cè)異常軌跡。綜合考慮了異常軌跡的速度和長(zhǎng)度等特征。通過實(shí)驗(yàn)可以看出，本文方法對(duì)異常軌跡檢測(cè)有較高的準(zhǔn)確率。同時(shí)，基于訓(xùn)練的方法可以適用于不同場(chǎng)景，具有一定的魯棒性。

參考文獻(xiàn)

[1]Li C， Han Z， Ye Q， et al. Visual abnormal behavior detection based on trajectory sparse reconstruction analysis[J]. Neuro computing，2013，119:94-100．

[2]Sillito R R， Fisher R B. Semi-supervised Learning for Anomalous Trajectory Detection[C]//BMVC. 2008: 1 035-1 044．

[3]Owens J， Hunter A. Application of the self-organising map to trajectory classification[C]//Visual Surveillance， 2000. Proceedings. Third IEEE International Workshop on. IEEE， 2000: 77-83．

[4]Yang T， Pan Q， Li J， et al. Real-time multiple objects tracking with occlusion handling in dynamic scenes[C]//Computer Vision and Pattern Recognition， 2005. CVPR 2005. IEEE Computer Society Conference on. IEEE，2005:20-26.

[5]Lin J， Keogh E， Lonardi S， et al. A symbolic representation of time series， with implications for streaming algorithms[C]//Proceedings of the 8th ACM SIGMOD workshop on Research issues in data mining and knowledge discovery. ACM，2003:2-11．

Abnormal Trajectory Detection of Pedestrian Based on SOM

Lu Yunfei， Chen Linqiang

(SchoolofComputer，HangzhouDianziUniversity，HangzhouZhejiang310018，China)

Key words: abnormal trajectory; video surveillance; self organizing map; training and learning