羅東華，區(qū)炳煜

（廣東方緯科技有限公司，廣州 510006）

基于背景光流分析的視頻場(chǎng)景變動(dòng)檢測(cè)方法

羅東華，區(qū)炳煜

（廣東方緯科技有限公司，廣州 510006）

視頻場(chǎng)景變動(dòng)檢測(cè)是監(jiān)控視頻智能分析的基礎(chǔ)，光流法是常用方法之一，但現(xiàn)有方法容易由于前景目標(biāo)的運(yùn)動(dòng)而誤檢。針對(duì)該問(wèn)題，提出一種基于背景光流分析的視頻場(chǎng)景變動(dòng)檢測(cè)方法。該方法首先將圖像劃分為背景和前景目標(biāo)兩部分，然后通過(guò)計(jì)算背景部分光流的像素占比以及分析其分布的均勻性來(lái)判斷視頻場(chǎng)景是否發(fā)生變動(dòng)。實(shí)驗(yàn)結(jié)果表明，該方法簡(jiǎn)單實(shí)用，在實(shí)現(xiàn)對(duì)視頻場(chǎng)景變動(dòng)檢測(cè)的同時(shí)能夠避免前景運(yùn)動(dòng)目標(biāo)導(dǎo)致的誤檢。

視頻場(chǎng)景變動(dòng)；背景建模；光流法

0 引言

當(dāng)今，城市不斷快速發(fā)展，交通道路基礎(chǔ)設(shè)施不斷發(fā)展和完善，我國(guó)安裝了大量監(jiān)控?cái)z像機(jī)，為治安和交通管理提供了大量的監(jiān)控視頻資源，但是目前公安和交通管理部門(mén)通常采用的監(jiān)控方式是人工巡檢和監(jiān)視，需要耗費(fèi)大量的人力，還會(huì)由于人會(huì)的視覺(jué)疲勞而降低工作效率，同時(shí)監(jiān)控視頻資源也得不到有效的利用。隨著科技的發(fā)展，視頻智能分析技術(shù)廣泛應(yīng)用于各個(gè)領(lǐng)域中，例如平安城市、智能交通、工業(yè)自動(dòng)化等。然而，視頻智能分析技術(shù)的應(yīng)用對(duì)象通常是專(zhuān)用視頻，即視頻的場(chǎng)景必須是固定的；監(jiān)控視頻經(jīng)常會(huì)由于人工操作而發(fā)生視頻場(chǎng)景變動(dòng)，無(wú)法滿(mǎn)足要求。因此，如果要將智能視頻分析技術(shù)應(yīng)用于監(jiān)控視頻，提高監(jiān)控視頻的資源利用率，必須首先解決視頻場(chǎng)景的變動(dòng)檢測(cè)問(wèn)題。

對(duì)視頻圖像光流場(chǎng)進(jìn)行分析是檢測(cè)攝像機(jī)運(yùn)動(dòng)即視頻場(chǎng)景變動(dòng)的常用方法，包括：①利用支持向量機(jī)對(duì)攝像機(jī)運(yùn)動(dòng)分類(lèi)[1]；②基于運(yùn)動(dòng)矢量的攝像機(jī)運(yùn)動(dòng)定性分類(lèi)[2]；③利用運(yùn)動(dòng)模型估計(jì)方法[3-4]；④迭代最小二乘法檢測(cè)攝像機(jī)運(yùn)動(dòng)[5]。⑤基于光流方向統(tǒng)計(jì)檢測(cè)攝像機(jī)運(yùn)動(dòng)[6]；但是以上方法都具有一個(gè)局限性：當(dāng)視頻場(chǎng)景中存在前景運(yùn)動(dòng)物體時(shí)，對(duì)視頻場(chǎng)景變動(dòng)的檢測(cè)容易產(chǎn)生誤檢。因此，本文對(duì)該問(wèn)題進(jìn)行了研究，提出了一種基于背景光流分析的視頻場(chǎng)景變動(dòng)檢測(cè)方法。

1 算法分析

1.1 基本思想

當(dāng)視頻場(chǎng)景發(fā)生變動(dòng)時(shí)，圖像背景區(qū)域會(huì)產(chǎn)生一定數(shù)量的有效光流，而且這些有效光流在背景區(qū)域中是均勻分布的。因此，本算法的基本思想就是判斷當(dāng)前視頻圖像是否滿(mǎn)足這兩個(gè)特征，如果同時(shí)滿(mǎn)足則認(rèn)為視頻場(chǎng)景發(fā)生了變動(dòng)，否則認(rèn)為視頻場(chǎng)景沒(méi)有發(fā)生變動(dòng)。算法的主要流程圖如圖1所示。

1.2 光流檢測(cè)

光流是指圖像亮度模式的表觀運(yùn)動(dòng)，是實(shí)際運(yùn)動(dòng)場(chǎng)的一種近似，通過(guò)光流計(jì)算，可以獲取對(duì)象的運(yùn)動(dòng)信息。目前圖像處理中常用的光流計(jì)算方法有Horn、Lucas和Nagel等。由于本文處理的是實(shí)時(shí)監(jiān)控視頻，因此選擇實(shí)時(shí)性和精度均較高的Lucas-Kanade金字塔算法對(duì)圖像光流進(jìn)行計(jì)算和檢測(cè)。該算法可以分為兩步：第一，將視頻序列中待插值的前后兩幀圖像I，J分別表示成具有LM層的金字塔結(jié)構(gòu){IL}L=0，1，…，LM及{JL}L=0，1，…，LM；第二，在I，J的金字塔各個(gè)對(duì)應(yīng)層上依次進(jìn)行LK光流迭代計(jì)算，最終在最底層I0，J0上得到運(yùn)動(dòng)矢量，即光流。

圖1 算法流程圖

1.3 背景標(biāo)記

為了對(duì)背景區(qū)域的光流進(jìn)行分析，首先必須標(biāo)記背景：對(duì)連續(xù)的250幀視頻圖像進(jìn)行光流檢測(cè)，把光流強(qiáng)度大于設(shè)定閾值的光流視為前景目標(biāo)產(chǎn)生的光流，并對(duì)光流位置進(jìn)行標(biāo)記和累計(jì)，250幀之后對(duì)圖像進(jìn)行取反操作，就可得到標(biāo)記后的背景，如圖2a中的白色區(qū)域所示。圖2b為標(biāo)記后的背景在原圖像中的位置。背景標(biāo)記的流程如圖3所示。

圖3 背景標(biāo)記流程圖

1.4 背景有效光流占比計(jì)算

當(dāng)視頻場(chǎng)景不變的時(shí)候，圖像背景部分產(chǎn)生的光流很少，見(jiàn)圖4a；相反，當(dāng)視頻場(chǎng)景發(fā)生變動(dòng)時(shí)，圖像背景部分就會(huì)產(chǎn)生較多的光流，見(jiàn)圖4b。因此，可以統(tǒng)計(jì)圖像背景部分的有效光流數(shù)量，并計(jì)算其占背景部分總像素?cái)?shù)量的比例p，根據(jù)該比例是否超過(guò)設(shè)定閾值T1來(lái)判斷當(dāng)前視頻場(chǎng)景是否可能發(fā)生了變動(dòng)。

圖4 視頻場(chǎng)景不變與變動(dòng)時(shí)的光流場(chǎng)對(duì)比

1.5 背景有效光流分布均勻性判斷

圖5 場(chǎng)景不變與變動(dòng)時(shí)的光流平均質(zhì)心對(duì)比

圖6 部分實(shí)驗(yàn)過(guò)程截圖

當(dāng)視頻場(chǎng)景不變的時(shí)候，圖像背景部分產(chǎn)生的光流通常只集中在一兩個(gè)地方，分布很不均勻，見(jiàn)圖4a；相反，當(dāng)視頻場(chǎng)景發(fā)生變動(dòng)時(shí)，圖像背景部分產(chǎn)生的光流是比較均勻地分布在背景區(qū)域中的，見(jiàn)圖4b。因此，可以根據(jù)背景區(qū)域光流的分布是否均勻來(lái)判斷當(dāng)前視頻場(chǎng)景是否可能發(fā)生了變動(dòng)。具體做法如下：首先，計(jì)算得到背景區(qū)域所有像素的平均質(zhì)心A（x0，y0）（如圖5a中的綠色點(diǎn)所示）；然后，計(jì)算得到背景區(qū)域所有具有有效光流像素的平均質(zhì)心B（x1，y1）（如圖5b和圖5c中的藍(lán)色點(diǎn)所示）；最后，計(jì)算A和B兩點(diǎn)之間的距離d，若d小于閾值T2則認(rèn)為光流是均勻分布的，視頻場(chǎng)景可能發(fā)生了變動(dòng)，反之，則認(rèn)為光流分布不均勻，視頻場(chǎng)景沒(méi)有發(fā)生變動(dòng)。

2 實(shí)驗(yàn)結(jié)果

為了證明該方法的有效性，選取了一段26分鐘的道路監(jiān)控視頻進(jìn)行實(shí)驗(yàn)，部分實(shí)驗(yàn)過(guò)程截圖如圖6所示。其中，圖6a、圖6a、圖6a為三次場(chǎng)景不變時(shí)的視頻截圖，圖6d、圖6e、圖6f為三次場(chǎng)景變動(dòng)時(shí)的視頻截圖；截圖中的綠色點(diǎn)為背景平均質(zhì)心點(diǎn)，藍(lán)色點(diǎn)為光流平均質(zhì)心點(diǎn)。

圖6對(duì)應(yīng)的實(shí)驗(yàn)結(jié)果如表1所示。

表1中，p為背景中光流數(shù)量與背景部分總像素?cái)?shù)量的比值，d為背景光流平均質(zhì)心與背景平均質(zhì)心之間的距離，T1和T2為設(shè)定的經(jīng)驗(yàn)閾值。

表1 圖6對(duì)應(yīng)的實(shí)驗(yàn)結(jié)果

從表中可以看出，圖片a、b、c的背景光流數(shù)量與背景總像素?cái)?shù)量比值p均小于閾值T1（5%），而背景光流平均質(zhì)心與背景平均質(zhì)心之間的距離d均大于閾值T2（200），因而判別結(jié)果均為視頻場(chǎng)景不變，與圖片實(shí)際情況一致；圖片d、e、f的背景光流數(shù)量與背景總像素?cái)?shù)量比值p均大于閾值T1（5%），而背景光流平均質(zhì)心與背景平均質(zhì)心之間的距離d均小于閾值T2（200），因而判別結(jié)果均為視頻場(chǎng)景變動(dòng)，也與圖片實(shí)際情況一致。

3 結(jié)語(yǔ)

視頻場(chǎng)景變動(dòng)檢測(cè)是監(jiān)控視頻智能分析的基礎(chǔ)。本文提出了一種基于背景建模及光流特征分析的視頻場(chǎng)景變動(dòng)檢測(cè)方法，實(shí)驗(yàn)結(jié)果證明，該方法簡(jiǎn)單有效，同時(shí)可以避免由于存在前景運(yùn)動(dòng)目標(biāo)而導(dǎo)致的漏檢或誤檢問(wèn)題。

[1]耿玉亮，須德.一種魯棒的攝像機(jī)運(yùn)動(dòng)分類(lèi)算法[J].電子學(xué)報(bào)，2006，34（7）：1342-1376.

[2]朱興全，羅迒哉，薛向陽(yáng)，吳立德.基于運(yùn)動(dòng)矢量的攝像機(jī)運(yùn)動(dòng)定性分類(lèi)方法[J].計(jì)算機(jī)研究與發(fā)展，2001，8（4）：495-501.

[3]趙亞湘，劉少?gòu)?qiáng)，樊曉平.結(jié)合運(yùn)動(dòng)矢量和像素遞歸的全局運(yùn)動(dòng)估計(jì)方法[J].中國(guó)圖象圖形學(xué)報(bào)，2012，17（2）：191-196.

[4]Nikitidis S，Zafeiriou S，Pitas I.Camera Motion Estimation Using a Novel Online Vector Field Model in Particle Filters[J].IEEE Transactions on Circuits and Systems for Video Technology，2008，18（8）：1028-1039.

[5]許淑平.視像中的攝像機(jī)運(yùn)動(dòng)檢測(cè)[J].計(jì)算機(jī)技術(shù)與發(fā)展，2007，17（7）：1-3.

[6]趙力萱，羅東華，趙建華，彭金偉，何驥.基于光流信息的監(jiān)控視頻場(chǎng)景變動(dòng)檢測(cè)與判別[J].廣東公安科技，2013，21（4）：38-41.

[7]M.Hu.Visual Pattern Recognition by Moment Invariants.IRE Transactions on Information Theory 8（1962）：179-187.

Video Scene Change Detection Based on Background Optical Flow Analysis

LUO Dong-hua，OU Bing-yu

（Guangdong Fundway Technology Co.，Ltd.，Guangzhou510006）

Optical flow method is one of the commonly used methods for video scene change detection，which is the basis of intelligent analysis of surveillance video.However，the existing optical flow methods are easy to cause false detection due to the movement of foreground objects.Aiming at this problem，proposes a method of video scene change detection based on background optical flow analysis.Firstly,the image is divided into two parts:background and foreground,and then the video scene change is judged by calculating the proportion of the pixels with optical flows in the background and analyzing the distribution uniformity of the background optical flows.The experimental results show that the method is simple and practical,and it can detect video scene change without false detection caused by the moving of foreground objects.

Video Scene Change;Background Modeling;Optical Flow Method

1007-1423（2017）11-0070-04

10.3969/j.issn.1007-1423.2017.11.014

羅東華（1979-），男，廣東湛江人，博士，研究方向?yàn)橐曨l交通流信息采集

2017-02-09

2017-04-06

廣東省科技計(jì)劃項(xiàng)目（No.2013B090200020）、廣東省科技計(jì)劃項(xiàng)目（No.2015B010110005）

區(qū)炳煜（1990-），男，廣東廣州人，碩士，工程師，研究方向?yàn)橐曨l交通流信息采集