王燕妮++李軍+田思敏

摘 要： 針對(duì)傳統(tǒng)智能視頻監(jiān)控系統(tǒng)不能及時(shí)準(zhǔn)確地發(fā)現(xiàn)危險(xiǎn)或者發(fā)現(xiàn)危險(xiǎn)不能及時(shí)報(bào)警的問題，提出一種基于模糊迭代自組織數(shù)據(jù)分析聚類結(jié)合直方圖熵值算法的異常行為智能檢測方法。該方法通過模糊迭代自組織數(shù)據(jù)分析聚類方法獲取視頻關(guān)鍵幀，根據(jù)分類結(jié)果采用直方圖熵值法對(duì)異常行為進(jìn)行判斷。實(shí)驗(yàn)結(jié)果表明，所提算法可以對(duì)具有復(fù)雜背景的監(jiān)控區(qū)域有效地實(shí)現(xiàn)人體的檢測，并且能準(zhǔn)確地識(shí)別出人體異常的動(dòng)態(tài)行為，有效地減少了住宅小區(qū)和養(yǎng)老院的安全隱患。

關(guān)鍵詞： 迭代自組織分析聚類； 關(guān)鍵幀； 直方圖熵值； 異常行為

中圖分類號(hào)： TN911.23?34 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2017）12?0120?04

Abstract： Since the traditional intelligent video surveillance system can′t discover the danger accurately and send the alarm timely， an abnormal behavior intelligent detection method combining fuzzy iterative self?organizing data analysis （ISODATA） clustering algorithm with histogram entropy method is proposed. The key frame of video is acquired with fuzzy ISODATA clustering method. According to the classification result， the histogram entropy method is adopted to judge the abnormal behavior. The experimental results show that the proposed algorithm can detect the human body in the monitoring area with complex background effectively， identify the abnormal dynamic behavior of the human body accurately， and reduce the safe hidden trouble in residential district and nursing home effectively.

Keywords： ISODATA clustering； key frame； histogram entropy； abnormal behavior

住宅小區(qū)和養(yǎng)老院是人口比較密集的區(qū)域，那么保證區(qū)域的安全性就很重要?，F(xiàn)階段智能視頻目標(biāo)識(shí)別算法大多采用SVM[1]或者隱馬爾科夫模型[2]算法，兩種算法可以達(dá)到一般實(shí)時(shí)性要求，但很多情況下還是出現(xiàn)遺漏或者誤撿，使得識(shí)別準(zhǔn)確率不高，不能及時(shí)阻止危險(xiǎn)行為的發(fā)生或者發(fā)生危險(xiǎn)行為不能及時(shí)地提醒相關(guān)人員。因此，本文提出一種新的智能視頻監(jiān)控[3]系統(tǒng)，可對(duì)異常行為進(jìn)行實(shí)時(shí)監(jiān)控并及時(shí)報(bào)警，有效地降低誤檢和漏檢概率，減少大量的人力，保障社會(huì)秩序的穩(wěn)定。

目前許多研究使用基于統(tǒng)計(jì)學(xué)習(xí)算法對(duì)人體運(yùn)動(dòng)行為進(jìn)行分類，需要對(duì)大量樣本標(biāo)注，且需建立復(fù)雜的操作模型。Ballan等定義一種新的局部描述子[4]，用圖像梯度和光流分別進(jìn)行建模來表示區(qū)域興趣點(diǎn)的人體外觀和動(dòng)態(tài)信息，用半徑聚類方法來生成視覺碼本，使用投票統(tǒng)計(jì)方法來分類人體行為。文獻(xiàn)[5]提出一個(gè)新的時(shí)空背景的興趣點(diǎn)分布特征對(duì)人體行為分類。文獻(xiàn)[6]研究如何從少數(shù)的視頻幀中分類人體的行為，并取得很好的分類效果。文獻(xiàn)[7]利用人體行為的關(guān)鍵姿態(tài)建立HMM模型，訓(xùn)練動(dòng)態(tài)信息。本文分析基于視頻人體行為的特點(diǎn)，從當(dāng)前需要解決的影響人體行為識(shí)別發(fā)展的幾個(gè)關(guān)鍵技術(shù)出發(fā)，提出一種基于模糊ISODATA聚類[8]結(jié)合直方圖熵值的異常行為檢測算法。

1 人體目標(biāo)提取和分類

1.1 混合高斯模型的運(yùn)動(dòng)目標(biāo)提取

背景減除法首先是分析采集到的視頻圖像在時(shí)間軸上的關(guān)系序列，利用視頻圖像的關(guān)系序列分析場景的變化模式，從而建立監(jiān)控場景的數(shù)字模型，最后通過當(dāng)前輸入的視頻圖像與場景背景的數(shù)字模型的對(duì)比，結(jié)合實(shí)踐差分運(yùn)算、二值化運(yùn)算和形態(tài)學(xué)處理方法，采用閾值化技術(shù)實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)的提取。

室外場景的背景構(gòu)建受天氣狀況、監(jiān)控環(huán)境光照亮度和攝像機(jī)的自身運(yùn)動(dòng)影響會(huì)發(fā)生相應(yīng)的變化，因此本文采用混合高斯分布模型[9]對(duì)視頻進(jìn)行目標(biāo)檢測。其不僅具有很好的抗噪性，而且對(duì)動(dòng)態(tài)場景有很好的適應(yīng)性?；旌细咚鼓Ｐ偷倪\(yùn)算框圖如圖1所示。

1.2 關(guān)鍵幀提取和分類

使用傳統(tǒng)的視頻采集方法難以解決視頻數(shù)量成幾何級(jí)數(shù)增長對(duì)視頻分析和理解造成極大困難問題，因此需要尋求有效的視頻采集方法將有用的視頻數(shù)量從海量的視頻中查詢出來，其中基于關(guān)鍵幀[10]的視頻分析方法是非常有效的途徑之一。

為了提高基于視頻的人體行為分類效率，本節(jié)采用ISODATA聚類方法提取視頻中的關(guān)鍵幀。

視頻關(guān)鍵幀的數(shù)目需要根據(jù)內(nèi)容的變化程度來確定，通常內(nèi)容變化較大的視頻需要的關(guān)鍵幀數(shù)也較多。相對(duì)簡單的人體行為可以通過視頻序列中的幾個(gè)關(guān)鍵幀實(shí)現(xiàn)人體行為的分類與識(shí)別。人體輪廓信息的最小矩形高寬比會(huì)隨著時(shí)間周期性變化，因此，在一個(gè)周期內(nèi)，高寬比函數(shù)的極值點(diǎn)對(duì)應(yīng)的幀可近似看作為關(guān)鍵幀。對(duì)于躺下、摔倒等非周期的人體行為，因?yàn)檫\(yùn)動(dòng)姿態(tài)本身原因或者噪音干擾，使相鄰的數(shù)幀內(nèi)出現(xiàn)多個(gè)小的極值，為了獲得更準(zhǔn)確的關(guān)鍵幀，需要利用有效的聚類算法進(jìn)行處理。

根據(jù)人體目標(biāo)二值圖像計(jì)算輪廓高寬比如下：

式中：H（t）為人體外接矩形的高度；W（t）為人體外接矩形的寬度；R為高度與寬度的比值。人體行為的高寬比與關(guān)鍵幀關(guān)系具體如圖2所示。本文中主要針對(duì)周期性較強(qiáng)的人體行為提取關(guān)鍵幀，因此可以利用人體行為高寬比以及相應(yīng)的不變矩[11]作為特征，通過聚類方法獲取視頻關(guān)鍵幀。為了獲取人體行為視頻的關(guān)鍵幀，采用ISODATA聚類算法。因?yàn)镮SODATA算法屬于無監(jiān)督分類算法[12]，是K均值算法[13]的一種改進(jìn)，不需要先驗(yàn)知識(shí)，由迭代運(yùn)算來確定聚類中心。

普通ISODATA聚類方法的初始聚類中心大多數(shù)都是任意選取的，使聚類結(jié)果具有很大的偶然性和聚類時(shí)間的不確定性。通過事先設(shè)定若干迭代參數(shù)，再隨機(jī)選擇或設(shè)定初始聚類中心和聚類數(shù)，用相似度準(zhǔn)則[14]實(shí)現(xiàn)自動(dòng) “分裂”及“合并”，達(dá)到預(yù)期的聚類效果。因此，本文采用模糊ISODATA聚類方法，因其能夠自動(dòng)確定聚類數(shù)目和初始聚類中心，避免了初始聚類中心選擇的隨機(jī)性和盲目性。

1.3 模糊ISODATA聚類算法一般步驟

1.4 關(guān)鍵幀提取實(shí)驗(yàn)結(jié)果

采用模糊ISODATA聚類方法來獲取視頻的關(guān)鍵幀，其中實(shí)驗(yàn)中的兩種行為的關(guān)鍵幀數(shù)量見表1。

2 異常行為檢測分析

本文采用直方圖熵值來作為人體不同行為的判別總特征，完成異常行為的分析[15?16]。直方圖發(fā)生扭轉(zhuǎn)、平移時(shí)不會(huì)改變行為特征的基本特性，比較好地反映出人體運(yùn)動(dòng)變化[17?18]。本文將行人的運(yùn)動(dòng)方向作為行為特征，將直方圖按照分類好的特征的取值范圍劃分為固定個(gè)數(shù)、大小相同的區(qū)間，再將提取到的個(gè)體行為特征投影到與之對(duì)應(yīng)的直方圖區(qū)間中。根據(jù)文獻(xiàn)[19]原理，人體行為發(fā)生異常時(shí)，人體運(yùn)動(dòng)方向變化、運(yùn)動(dòng)幅度差別較大，可推出其所對(duì)應(yīng)的直方圖的分布很均勻；相反，人體正常行走時(shí)，行人在一定時(shí)間內(nèi)運(yùn)動(dòng)方向大致類似、運(yùn)動(dòng)幅度差別不大，其直方圖特征會(huì)集中分布到某個(gè)區(qū)間上，因此根據(jù)兩者的直方圖特征可迅速直觀地判斷出人體的異常行為。直方圖模型為：

3 實(shí)驗(yàn)結(jié)果及分析

文中對(duì)摔倒和奔跑兩種異常行為進(jìn)行檢測。一個(gè)異常行為持續(xù)的時(shí)間一般為1～2 s，對(duì)人體運(yùn)動(dòng)視頻進(jìn)行ISODATA聚類，分別獲取兩種行為的關(guān)鍵幀數(shù)。實(shí)驗(yàn)數(shù)據(jù)見表1。視頻幀率為25 f/s，分辨率為320×240。針對(duì)三種異常行為做了大量測試，包括正常行為以及異常行為的幾種常見情況。

（1） 為了更加直觀清晰地觀察正常和異常情況下所提取的直方圖特征熵值的區(qū)別，繪制出不同行為的特征直方圖，如圖3所示。

圖3（a）～圖3（c）為一個(gè)場景內(nèi)正常行走、摔倒和奔跑的三種行為，圖3（d）～圖3（f）為對(duì)應(yīng)場景圖像中提取出來的特征直方圖。圖3（a）中行人正常行走，速度和方向在一定時(shí)間內(nèi)變化不大，相對(duì)應(yīng)的特征直方圖分布就集中在一個(gè)區(qū)域。圖3（b）和圖3（c）是發(fā)生異常行為，因?yàn)槿梭w的速度和方向都會(huì)發(fā)生不同程度的變化，且雜亂無章，所以導(dǎo)致特征直方圖在各個(gè)區(qū)間上的分布相對(duì)比較的均勻。由實(shí)驗(yàn)可知，本文所述方法提取出的特征直方圖能夠在不同場景、不同光照的視頻中明顯區(qū)分出正常和異常行為。

（2） 為了更加清晰地觀察正常和異常情況下提取的直方圖熵值變化，繪制了一段視頻中直方圖熵值變化曲線，如圖4所示。

圖4為一段視頻的直方圖熵值變化曲線，該視頻共690幀，第618幀之后發(fā)生異常事件。其中，黑色表示檢測的結(jié)果是正常行為，紅色表示檢測的結(jié)果是異常行為。從圖4可看出，隨著行為從正常到異常發(fā)生變化，人體行為越來越不規(guī)則，熵值呈上漲之勢(shì)。在600幀后，人體離開攝像頭，基于模糊聚類方法的直方圖熵值識(shí)別法，能夠準(zhǔn)確地識(shí)別出異常行為發(fā)生的時(shí)間。

（3） 為了反映閾值T的變化對(duì)識(shí)別效果的影響，對(duì)不同閾值下的識(shí)別結(jié)果做了比較，如表2所示。

表2 異常行為識(shí)別效果

表2為隨著熵值閾值T取值的變化，基于模糊ISODATA的異常行為識(shí)別算法的檢測結(jié)果。表2中，p代表識(shí)別出異常行為的概率，e表示正常行為誤撿為異常行為的概率。由表2可知，正確識(shí)別率隨著閾值T的增加，先提升后下降，當(dāng)T取值0.8時(shí)識(shí)別率最高，為97.86%。而誤撿率隨著閾值T的不斷增加卻變得越來越小，直至降為0。

（4） 為了比較本文方法和SVM[11]算法繪制出AUC異常行為 曲線圖如圖5所示。圖5為本文算法和SVM算法對(duì)異常行為識(shí)別效果的AUC（Area Under roc Curve）曲線圖，可以看出，SVM算法的識(shí)別效果較低，AUC為0.87。而本文算法之別率較高，AUC接近1。因此，基于模糊ISODATA聚類的直方圖熵值識(shí)別算法的效率比SVM更高。

4 結(jié) 語

針對(duì)經(jīng)典智能視頻人體異常行為識(shí)別算法識(shí)別率不高和算法局限性，提出一種模糊ISODATA結(jié)合HOG熵值算法的人體異常行為識(shí)別方法。通過多次實(shí)際實(shí)驗(yàn)，有效地解決了非線性運(yùn)動(dòng)的誤跟和丟跟現(xiàn)象，對(duì)拍攝場景目標(biāo)發(fā)生異常行為有較高的識(shí)別率，滿足實(shí)時(shí)性要求。

參考文獻(xiàn)

[1] TAX D M J， DUIN R P W. Data domain description by support vectors [C]// Proceedings of 1999 European Symposium on Artificial Neural Networks. Brussels： [s.n.]， 1999： 251?256.

[2] 朱旭東，劉志鏡.基于主題隱馬爾科夫模型的人體異常行為識(shí)別[J].計(jì)算機(jī)科學(xué)，2012，39（3）：251?255.

[3] MOON H M， CHAE S H， MOON D， et al. Intelligent video surveillance system using two?factor human information [J]. Telecommunication systems， 2013， 52（4）： 2249?2257.

[4] BALLAN L， BERTINI M， BIMBO A D， et al. Effective codebooks for human action representation and classification in unconstrained videos [J]. IEEE transactions on multimedia， 2012， 14（4）： 1234?1245.

[5] WU X， XU D， DUAN L， et al. Action recognition using context and appearance distribution features [C]// Proceedings of 2011 IEEE Conference on Computer Vision and Pattern Recognition. Rhode Island： IEEE， 2011： 489?496.

[6] SCHINDLER K， VAN GOOL L. Action snippets： how many frames does human action recognition require [C]// Proceedings of 2008 IEEE Conference on Computer Vision and Pattern Recognition. Anchorage： IEEE， 2008： 1?8.

[7] FENG X L， PERONA P. Human action recognition by sequence of move let code?words [C]// Proceedings of 2002 IEEE International Symposium on 3D Data Processing Visualization and Transmission. Padova： IEEE， 2002： 717?721.

[8] RAVI T V， GOWDA K C. An ISODATA clustering procedure for symbolic objects using a distributed genetic algorithm [J]. Pattern recognition letters， 1999， 20（7）： 659?666

[9] 黃鑫娟，周潔敏，劉伯揚(yáng).自適應(yīng)混合高斯背景模型的運(yùn)動(dòng)目標(biāo)檢測方法[J].計(jì)算機(jī)應(yīng)用，2010，30（1）：71?74.

[10] 瞿中，高騰飛，張慶慶.一種改進(jìn)的視頻關(guān)鍵幀提取算法研究[J].計(jì)算機(jī)科學(xué)，2012，39（8）：300?303.

[11] 傅明，易昂，唐賢瑛，等.一種基于不變距和PNN分類網(wǎng)絡(luò)的圖形識(shí)別方法[J].交通科學(xué)與工程，2003，19（1）：11?14.

[12] 李全棟，陳樹越，張微.一種改進(jìn)的無監(jiān)督聚類的關(guān)鍵幀提取算法[J].應(yīng)用光學(xué)，2010，31（5）：741?744.

[13] 任江濤，施瀟瀟，孫婧昊，等.一種改進(jìn)的基于特征賦權(quán)的K均值聚類算法[J].計(jì)算機(jī)科學(xué)，2006，33（7）：186?187.

[14] 高山，祖辰，張道強(qiáng).一種基于約束的中垂面相似度準(zhǔn)則[J].計(jì)算機(jī)研究與發(fā)展，2012，49（11）：2283?2288.

[15] 徐火希.基于改進(jìn)Mean Shift的運(yùn)動(dòng)目標(biāo)跟蹤算法[J].兵器裝備工程學(xué)報(bào)，2016，37（2）：127?130.

[16] 寧倩慧，張艷兵，劉莉，等.擴(kuò)展卡爾曼濾波的目標(biāo)跟蹤優(yōu)化算法[J].探測與控制學(xué)報(bào)，2016，38（1）：90?94.

[17] 程遠(yuǎn)，李亞聰.基于相關(guān)和卡爾曼濾波的組合跟蹤算法[J].探測與控制學(xué)報(bào)，2014，36（6）：63?66.

[18] 郝平.基于機(jī)器視覺的快速動(dòng)態(tài)檢測研究與應(yīng)用[J].兵器裝備工程學(xué)報(bào)，2016，37（2）：131?134.

[19] 周潔.智能視頻監(jiān)控中人群異常行為的檢測與分析[D].寧波大學(xué)，2015.