電梯內(nèi)基于稠密光流的異常行為檢測(cè)算法

張輝超 李江天 谷科 朱雪梅 樓丹

摘要：電梯內(nèi)異常行為的檢測(cè)已成為電梯安全檢測(cè)一重點(diǎn)，特別是電梯內(nèi)人員打架、摔倒等異常行為的檢測(cè)具有極大的應(yīng)用需求。本文采用一種改進(jìn)的稠密光流算法來實(shí)現(xiàn)對(duì)電梯轎廂異常行為的檢測(cè)。

關(guān)鍵詞：視頻檢測(cè);異常行為檢測(cè);稠密光流

中圖分類號(hào)：TP391.41 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2020）02-0095-01

0 引言

隨著新科技的發(fā)展，建筑水平的不斷提高，為了給乘客提供良好的乘梯環(huán)境，在絕大多數(shù)的賓館、酒店、地鐵、火車站、高鐵站、高層住宅小區(qū)的電梯內(nèi)安裝了攝像頭并對(duì)其進(jìn)行實(shí)時(shí)監(jiān)控。這時(shí)電梯就很好的解決了人類生活上的便捷。但是，其安全隱患問題也日顯突出，電梯轎廂本身是個(gè)狹小的空間，犯罪嫌疑人很好在里面實(shí)施犯罪行為。電梯本身就是個(gè)狹小的空間，當(dāng)發(fā)生異常行為，人力是無法對(duì)異常情況進(jìn)行快速反饋的，這就導(dǎo)致了極高的漏檢率和誤檢率[1-2]。

現(xiàn)在的電梯系統(tǒng)存在著很多的不足之處：（1）現(xiàn)在的電梯系統(tǒng)功能單一，只能進(jìn)行簡(jiǎn)單的監(jiān)控、存儲(chǔ)、查看視頻的功能，并沒有對(duì)電梯內(nèi)發(fā)生的事件進(jìn)行分析和處理。如果電梯內(nèi)發(fā)生異常行為，沒有及時(shí)報(bào)警的功能。（2）一個(gè)完整的監(jiān)控網(wǎng)絡(luò)下通常有很多的監(jiān)控畫面，異常行為比正常行為發(fā)生的概率相對(duì)要低一點(diǎn)，人眼終究會(huì)產(chǎn)生疲勞的，不可能達(dá)到時(shí)刻監(jiān)視著畫面。這就導(dǎo)致了極高的漏檢率和誤檢率。（3）現(xiàn)在傳統(tǒng)的電梯監(jiān)控系統(tǒng)一般都是發(fā)生事件后幾天甚至幾周之后才能處理，因?yàn)楸O(jiān)控?cái)?shù)據(jù)過于龐大，人力篩選信息困難，甚至有可能漏選信息。

1 現(xiàn)有的算法研究

1.1 模板匹配法

模板匹配是一種最原始、最基本的模式識(shí)別方法，研究某一特定對(duì)象物的圖案位于圖像在什么地方，進(jìn)而識(shí)別對(duì)象物。模板匹配廣泛應(yīng)用于計(jì)算機(jī)視覺，圖像處理領(lǐng)域。模板匹配包括模板建立階段，訓(xùn)練階段，行為判斷階段。在模板建立階段把圖像序列轉(zhuǎn)換成一組靜態(tài)的特征模板，存儲(chǔ)組成數(shù)據(jù)庫。在訓(xùn)練階段把這些圖像序列進(jìn)行訓(xùn)練，最后存儲(chǔ)成一個(gè)模板。在行為判斷階段就是把提取輸入圖像序列的特征與訓(xùn)練階段存儲(chǔ)的模板進(jìn)行對(duì)比，把與當(dāng)前行為相似度最高的模板的類別作為行為識(shí)別的結(jié)果。模板匹配法優(yōu)點(diǎn)是操作和實(shí)現(xiàn)起來簡(jiǎn)單，計(jì)算難度較低，但是它沒有考慮到運(yùn)動(dòng)序列的動(dòng)態(tài)特性，有可能會(huì)出現(xiàn)誤差。

1.2 狀態(tài)空間法

狀態(tài)空間法是一種用于解答空間的問題表示和問題求解的方法。狀態(tài)空間法把圖像序列中人體行為拆分成不同的靜態(tài)行為和運(yùn)動(dòng)狀態(tài)，其中每個(gè)靜態(tài)行為或運(yùn)動(dòng)狀態(tài)作為一個(gè)節(jié)點(diǎn)，這些狀態(tài)節(jié)點(diǎn)之間要求設(shè)定概率并且聯(lián)系起來。任何這些動(dòng)作序列都認(rèn)為是在靜態(tài)動(dòng)作不同狀態(tài)節(jié)點(diǎn)之間的一次遍歷，計(jì)算遍歷過程中的聯(lián)合概率，把出現(xiàn)的概率值最大的聯(lián)合作為行為分類的標(biāo)準(zhǔn)。由于狀態(tài)空間法需要擴(kuò)展出很多的節(jié)點(diǎn)，很容易出現(xiàn)“組合爆炸”，所以說狀態(tài)空間法適用于比較簡(jiǎn)單的問題。其中最常見的應(yīng)用是隱馬爾可夫模型[3-4]和動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)。

2 基于光流場(chǎng)的檢測(cè)基礎(chǔ)

2.1 稠密光流與稀疏光流

在一個(gè)空間中，通常用運(yùn)動(dòng)場(chǎng)來描述物體的運(yùn)動(dòng)，而在一個(gè)圖像平面上，物體的運(yùn)動(dòng)往往是通過圖像序列中彼此間的圖像灰度分布的不同來體現(xiàn)的，在空間中的運(yùn)動(dòng)場(chǎng)就可以轉(zhuǎn)移到圖像平面上進(jìn)而產(chǎn)生光流場(chǎng)。

其中光流分為稠密光流和稀疏光流。稠密光流是一種針對(duì)圖像平面中指定的某一片區(qū)域或整個(gè)圖像進(jìn)行逐點(diǎn)匹配的圖像配準(zhǔn)方法，它主要計(jì)算圖像上特征點(diǎn)的偏移量，進(jìn)而形成一個(gè)稠密的光流場(chǎng)。然后，通過這個(gè)稠密的光流場(chǎng)，就可以進(jìn)行圖像的匹配。稀疏光流與稠密光流原理相反，它主要是對(duì)圖像平面上稀疏的點(diǎn)進(jìn)行圖像配準(zhǔn)方法。稀疏光流往往需要指定一組點(diǎn)進(jìn)行跟蹤，并且這組點(diǎn)必須具有某種突出的特性，例如Harris角點(diǎn)等，那么跟蹤配準(zhǔn)就會(huì)變得既穩(wěn)定又可靠。使用稀疏光流法跟蹤的計(jì)算要比稠密光流法跟蹤小得多，但需要標(biāo)記角點(diǎn)。

2.2 稠密光流具體計(jì)算過程

假設(shè)圖像上一個(gè)像素點(diǎn)（x，y），它在時(shí)刻t的亮度為 I（x，y，t），用u（x，y）和v（x，y）表示該點(diǎn)光流在水平和垂直方向上的速度分量。

μ=? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （2-1）

v=? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（2-2）

在經(jīng)過時(shí)間間隔Δt之后，該點(diǎn)的對(duì)應(yīng)點(diǎn)的亮度變?yōu)椋?/p>

I（x+Δx，y+Δy，t+Δt）

在運(yùn)動(dòng)微小的前提下，利用泰勒公式展開：

I（x+Δx，y+Δy，t+Δt）=I（x，y，t）+Δx+Δy+Δt+ constant? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（2-3）

當(dāng)Δt足夠小，趨近于0時(shí)：

-=+=μ+v? ? ? ? ? ? ? ? ? （2-4）

-It=Ixμ+Iyv? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（2-5）

-It=[IxIy][]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （2-6）

3 基于稠密光流的電梯異常檢測(cè)

3.1 算法過程

算法過程為：第一步：考慮到電梯轎廂內(nèi)攝像頭不移動(dòng)，拍攝圖像固定，會(huì)拍攝到較大面積背景圖像，會(huì)增加冗余計(jì)算量的問題，首先選取視頻中第N幀及N+1幀圖像中的感興趣區(qū)域（ROI），這樣可以大大減小后續(xù)計(jì)算時(shí)間。第二步：計(jì)算單獨(dú)幀圖像的光流圖，得到圖像中每個(gè)像素點(diǎn)的光流值。第三步：根據(jù)光流圖計(jì)算此幀圖像的“動(dòng)能”，公式如公式（3-1），并計(jì)算此幀圖像“動(dòng)能之和”。此處可通過設(shè)置閾值去掉“動(dòng)能”較小的像素點(diǎn)，簡(jiǎn)化計(jì)算。

E=mv2=（x2+y2）*arctan（）? ? ? ? ? ? ? ? ? ? ? ?（3-1）

3.2 仿真結(jié)果

測(cè)試視頻中15-72幀為發(fā)生異常的幀（電梯內(nèi)打架）。本算法設(shè)定為每10幀中有6幀及其以上為異常行為判定為有異常并實(shí)時(shí)報(bào)警。測(cè)試結(jié)果可從第15-75幀連續(xù)發(fā)出警報(bào)，可以看出，本算法可以很好的實(shí)現(xiàn)電梯內(nèi)對(duì)異常行為的檢測(cè)。

4 結(jié)語

本文采用一種改進(jìn)的稠密光流的方法來實(shí)現(xiàn)對(duì)電梯轎廂異常行為的檢測(cè)。首先是把前景目標(biāo)看成一個(gè)整體，然后建立一個(gè)基于角點(diǎn)動(dòng)能的異常行為檢測(cè)模型，并且通過這個(gè)模型，求出整個(gè)視頻中的每一幀圖像的整體動(dòng)能值，然后與設(shè)置的閾值進(jìn)行對(duì)比，如果大于設(shè)定的閾值，則我們就可以認(rèn)為在電梯轎廂內(nèi)發(fā)生了異常行為。最后，系統(tǒng)就會(huì)自動(dòng)實(shí)時(shí)的發(fā)出報(bào)警信號(hào)。

參考文獻(xiàn)

[1] 朱玉杰.電梯轎廂內(nèi)乘客異常行為檢測(cè)[D].合肥：中國(guó)科學(xué)技術(shù)大學(xué)，2017.

[2] 靳海燕.基于視頻分析的電梯轎廂內(nèi)異常行為檢測(cè)研究[D].重慶：重慶大學(xué)，2012.

[3] Bobick A F，Davis J W.The recognition of human movement using temporal templates[J].IEEE Transactions on pattern analysis and machine intelligence，2001，23（3）：257-267.

[4] Ahmad M，Lee S W.Human action recognition using shape and clg-motion flow from multi-view image sequences[J].Pattern Recognition，2008，41（7）：2237-2252.

Anomaly Detection Algorithm Based on Dense Optical Flow in Elevator

ZHANG Hui-chao，LI Jiang-tian，GU Ke，ZHU Xue-mei，LOU Dan

（Zhonghuan Information College Tianjin University of? Technology， Tianjin? 300380）

Abstract：The detection of abnormal behavior in elevator has become a key point of elevator safety detection， especially the detection of abnormal behavior such as fighting and falling of personnel in elevator has great application demand. In this paper， an improved dense optical flow algorithm is used to detect the abnormal behavior of elevator car.

Key words：video detection; abnormal behavior detection; dense optical flow