基于運動軌跡分析的監(jiān)控視頻關(guān)鍵幀提取

張云佐

(石家莊鐵道大學(xué) 信息科學(xué)與技術(shù)學(xué)院，河北 石家莊 050043)

?

基于運動軌跡分析的監(jiān)控視頻關(guān)鍵幀提取

張云佐

(石家莊鐵道大學(xué) 信息科學(xué)與技術(shù)學(xué)院，河北 石家莊 050043)

當前，從海量監(jiān)控視頻中高效、準確地提取關(guān)鍵幀是一項極具挑戰(zhàn)性的課題，為此提出了一種基于運動軌跡分析的監(jiān)控視頻關(guān)鍵幀提取方法。給出了該方法的實現(xiàn)過程，并進行了實驗與分析。結(jié)果表明,所提出的方法在關(guān)鍵幀提取準確性上優(yōu)于當前的主流方法。

尺度變化；方向變化；時空切片；運動軌跡；關(guān)鍵幀提取

隨著監(jiān)控視頻數(shù)據(jù)的爆炸式增長，快速、準確地分析和瀏覽視頻已經(jīng)成為一個迫切需要解決的難題。關(guān)鍵幀提取作為一種解決方案越來越受到人們的關(guān)注[1-3]。關(guān)鍵幀是一種經(jīng)典、高效的視頻濃縮形式，用關(guān)鍵幀代替原視頻可以大大降低數(shù)據(jù)量，同時也便于檢索和瀏覽視頻。由于視頻數(shù)據(jù)的多樣性和復(fù)雜性，以及關(guān)鍵幀的視覺主觀性，目前復(fù)雜場景下的關(guān)鍵幀提取仍然是一項極具挑戰(zhàn)性的課題。

評價關(guān)鍵幀主要看其能否全面、準確地再現(xiàn)原視頻的主要事件，在保證全面提取的情況下，盡量降低冗余。廣泛應(yīng)用的關(guān)鍵幀提取算法多是基于視頻底層特征分析的[2-5]，以單幀或少量幀的特征變化為標準提取關(guān)鍵幀。由于缺乏完整時間維的特征分析，難以從整體上把握關(guān)鍵幀的數(shù)量及位置，并且容易受到場景變化、目標姿態(tài)變化、目標遮擋等干擾造成重要特征漏檢，進而導(dǎo)致真正的關(guān)鍵幀沒有被提取到。提取結(jié)果與視頻的真實語義之間存在差異[5-6]，不能全面、準確地反映視頻的真實語義，也就是說，關(guān)鍵幀提取結(jié)果不符合人眼視覺感知。

人眼視覺總是傾向于關(guān)注運動的目標，運動狀態(tài)改變比運動本身更具視覺吸引力[7]。因為相比于只包含勻速運動狀態(tài)目標的視頻幀，包含目標運動狀態(tài)改變(比如：啟動、停止、伸手、彎腰等)的視頻幀能夠提供更多的有用信息。因此，本文定義包含目標運動狀態(tài)改變的視頻幀為關(guān)鍵幀，相應(yīng)地提出了一種基于運動軌跡分析的關(guān)鍵幀提取方法。

1　時空切片

時空切片[8]是一種高效的視頻時空分析方法，具有計算量低、抗干擾能力強等優(yōu)點。它只提取圖像空間的部分行、列，保留了完整的視頻時間維信息，而空間維信息的匱乏可以通過多個切片的信息融合來減緩。在長時間維的歷史信息輔助下提取關(guān)鍵幀，可以有效地避免干擾。時空切片通常包括3種：水平切片、垂直切片和對角線切片，如圖1所示。

圖1　不同方向的視頻時空切片

不同方向的時空切片反映的目標運動信息不同。對角線切片反映的是目標在斜向運動時的信息。垂直切片反映的是視頻垂直區(qū)域的像素灰度變化趨勢，主要應(yīng)用于目標個數(shù)統(tǒng)計、瞬時速度估計以及高度測量等。水平切片包含最為豐富的目標信息和場景變化信息，其紋理表征著目標的運動軌跡。

本文中的視頻時空切片是水平切片，通過分析時空切片紋理，可以得到目標的運動狀態(tài)。靜止目標的水平坐標固定不變，像素灰度隨時間的分布保持一致，切片紋理表現(xiàn)為具有恒定寬度的水平條紋。運動目標的顏色與背景不同，其運動會導(dǎo)致時空切片的灰度變化，產(chǎn)生有別于水平條紋的切片紋理，所產(chǎn)生的紋理變化表征著目標的運動狀態(tài)改變。

2　基于運動軌跡分析的關(guān)鍵幀提取

本文中，關(guān)鍵幀定義為包含目標運動狀態(tài)改變(局部改變和全局改變)的視頻幀。傳統(tǒng)的軌跡分析方法[9]能夠?qū)崿F(xiàn)運動狀態(tài)改變的檢測，但通常計算復(fù)雜度高、消耗時間長。目標運動狀態(tài)的局部改變和全局改變可以分別由時空運動軌跡的尺度和方向準確地反映出來，因此，本文基于時空切片對運動軌跡的尺度和方向進行分析，提出了一種關(guān)鍵幀提取方法。該方法將時空切片運動軌跡(MotionTrajectoryonSpatiotemporalSlice，MTSS)的尺度和方向發(fā)生改變的幀提取為關(guān)鍵幀。

視頻V(x,y,t)的水平切片Sk可以表示為

(1)

從式(1)可以推出，靜止目標的時空運動軌跡呈現(xiàn)水平條紋，運動目標的時空運動軌跡呈現(xiàn)彎曲。因此，Sk上的MTSS可以表示為

(2)

通常，單一時空切片上的MTSS并不完整，融合多個時空切片可以提高MTSS的完整度。文獻[6]給出了一種提取固定數(shù)目時空切片(記作Nus)的方法。但是難以選取合適的Nus，因為它與算法計算量以及MTSS完整度密切相關(guān)。Nus越大，MTSS越完整，但計算量也會隨之增加，致使文獻[6]中的方法幾乎不可能同時做到計算高效和MTSS的完整提取。再者，大多數(shù)監(jiān)控視頻中，運動目標稀疏地分散到冗長的視頻流中，存在著大量的靜止片段?；谶@種考慮，本文提出了粗略、精細相結(jié)合的切片提取策略，粗略提取用于確定視頻運動片段，精細提取用于獲取完整的MTSS。

在粗略提取中，提取少量的時空切片(記作Nss)來確定視頻運動片段。MTSS表征著運動目標的存在，MTSS的像素數(shù)目(記作Nm)表征著運動目標的相對顯著性。基于式(2)，第Fi幀的Nm可由下式計算得到

(3)

式中

(4)

根據(jù)式(3)，Nss時空切片上的Nm可以表示為

Nm=Nm(1)∪Nm(2)∪…∪Nm(Nss)

(5)

那么，Nm≥τ(τ用于量度目標運動的充分性)的視頻片段為運動片段，運動具有連續(xù)性，孤立的運動幀將被視為干擾而去除[10]。

精細提取只在運動片段中進行，提取較多的時空切片(記作Nls)，以期獲取完整的MTSS

MTSS=MTSS(1)∪MTSS(2)∪…∪MTSS(Nls)

(6)

通常，Nls比Nss大很多，所以上式的MTSS被視作完整MTSS。

MTSS隨著目標運動狀態(tài)的改變而改變。MTSS的空域尺度變化反映了目標運動狀態(tài)的局部改變，其時域方向變化反映了目標運動狀態(tài)的全局改變。因此目標運動狀態(tài)的局部和全局改變可以由MTSS的尺度曲線拐點(記作Is)和方向曲線拐點(記作Id)分別充分捕捉到。

為了簡單起見，Id表示為

(7)

式中：θ表示MTSS偏離原軌跡的角度，滿足θ∈(-π/2,π/2)。

Is表示為

(8)

式中：w0和w分別表示MTSS的原始尺度和尺度變化。

MTSS的尺度和方向拐點(記作Is,d)可由下式得到

Is,d=Is+Id

(9)

Is,d曲線峰值對應(yīng)于視頻的關(guān)鍵幀。

所提出的關(guān)鍵幀提取方法的基本架構(gòu)如圖2所示。

圖2　關(guān)鍵幀提取方法的基本架構(gòu)

如圖2所示，首先采用粗略、精細提取相結(jié)合的時空切片提取策略來獲取MTSS；其次檢測MTSS的時域方向拐點Id和空域尺度拐點Is；然后根據(jù)檢測到的MTSS的尺度和方向拐點Is,d進行關(guān)鍵幀提??；最后輸出視頻關(guān)鍵幀。

實際應(yīng)用中，如果需要提取的關(guān)鍵幀數(shù)目K是給定的，并且不等于Is,d曲線的峰值數(shù)目M，可以采用如下步驟處理：

1)如果M>K，提取具有較高Is,d值的K幀作為關(guān)鍵幀；

3　實驗與分析

為了驗證本文所提出的關(guān)鍵幀提取方法的性能，將其與當前的主流方法[6]進行了對比。對比實驗在4段不同類型的監(jiān)控視頻上進行，分別為：

1)Jogging_on_the_playground1；

2)Hall_cif1；

3)Garden corner；

4)omputer room。

視頻1)包括目標運動狀態(tài)的全局改變，另外3段視頻則具有明顯的目標運動狀態(tài)局部改變。實驗參數(shù)設(shè)置為：Nss=6,Nls=72，Nus=36。 實驗在通用型個人計算機上完成，基本配置為：Intel Core 2.3 GHz CPU和4 Gbyte內(nèi)存。

在準確性評價方面，采用了鏡頭重構(gòu)度[12](Shot Reconstruction Degree，SRD)評估準則。SRD值越高，表明所提取的關(guān)鍵幀捕捉視頻內(nèi)容改變(即目標運動狀態(tài)改變)越準確。兩種方法在視頻1)的SRD評估結(jié)果非常相似。但在其他3段監(jiān)控視頻上，具有明顯的不同，當提取的關(guān)鍵幀比率從1%變化到7%時，平均SRD值如圖3所示。

圖3　平均SRD的比較

從圖3可以看出，本文所提出的方法在SRD性能上具有明顯的優(yōu)勢。具體地，在關(guān)鍵幀比率小于3%時，兩種方法的SRD性能相當；在關(guān)鍵幀比率大于等于3%時，本文所提出的方法的SRD性能明顯優(yōu)于對比方法，高達1.2 dB。原因在于，本文所提出的方法充分利用了目標運動狀態(tài)的全局和局部改變，而文獻[6]中的方法只關(guān)注目標運動狀態(tài)的全局改變。

4　結(jié)論

本文提出了一種基于運動軌跡分析的關(guān)鍵幀提取方法。該方法利用時空切片分析目標的運動軌跡，在MTSS的尺度和方向拐點處提取關(guān)鍵幀，所提取的關(guān)鍵幀既反映了目標運動狀態(tài)的局部改變，又反映了目標運動狀態(tài)的全局改變。為了高效獲取完整的MTSS，提出了一種粗略和精細相結(jié)合的時空切片提取策略。實驗結(jié)果表明，本文所提出的方法比當前主流方法具有更高的準確性。下一步將擴展所提出的方法來集成目標行為分析。

[1]潘磊，束鑫， 程科. 基于壓縮傳感和EMD 距離的視頻鏡頭關(guān)鍵幀提取[J].電視技術(shù)，2015，39(17)： 5-8.

[2] Satyam S，Edward J D. Video-based real-time surveillance of vehicles[J]. J. Electron imaging，2013， 22(4)：451-459.

[3] 羅森林，馬舒潔，梁靜，等. 基于子鏡頭聚類方法的關(guān)鍵幀提取技術(shù)[J]. 北京理工大學(xué)學(xué)報，2011，31(3)： 348-352.

[4] SAYKOL E. Key frame labeling technique for surveillance event classification[J]. Optical engineering，2010，49(11)：492-496.

[5] AVILA S E.VSUMM： a mechanism designed to produce static video summaries and a novel evaluation method[J]. Pattern recognition letters，2010，32(1)：56-68.

[6] ZHANG Y Z，TAO R，ZHANG F. Key frame extraction based on spatiotemporal motion trajectory[J]. Optical engineering，2015，54(5)：2-5.

[7] MA Y Z， CHANG Y L，YUAN H. Key-frame extraction based on motion acceleration[J]. Optical engineering，2008，47(9)：5-9.

[8] NGO C W，PONG T C，ZHANG H J. Motion analysis and segmentation through spatiotemporal slices processing[J]. IEEE transaction on image processing，2003，12(3)：341-355.

[9] 李明之，馬志強，單勇，等. 基于軌跡分析的交通目標異常行為識別[J].電視技術(shù)，2012，36(1)： 106-112.

[10] PARK M G，YOON K J. Optimal key-frame selection for video-based structure-from-motion[J]. Electronics letters，2011，47(25)： 1367-1369.

[11] SHIO M，YANAGISAWA M，TOGAWA N. Linear and bi-linear interpolation circuits using selector logics and their evaluations[C]//Proceedings of IEEE Int. Symp. On Circuits and Systems. Melbourne：IEEE，2014： 1436-1439.

[12] LIU T Y. Shot reconstruction degree：a novel criterion for key frame selection[J]. Pattern recognition letters，2004，25(1)：1451-1457.

張云佐(1984— )，博士，主要研究方向為圖像、視頻處理，雷達信號處理。

責(zé)任編輯：閆雯雯

Surveillancevideokeyframeextractionbasedonmotiontrajectoryanalysis

ZHANGYunzuo

(School of Information Science and Technology， Shijiazhuang Tiedao University， Shijiazhuang 050043，China)

Currently，efficientandaccuratekeyframeextractionformassivevideosremainsachallenge，especiallyinsurveillanceapplications.Motivatedbythisobservation，amethodforsurveillancevideokeyframeextractionbasedonmotiontrajectoryanalysisisproposed.Theimplementoftheproposedmethodisgiven，andtheperformancesarecomparedwiththestate-of-the-artmethod.Experimentalresultshavedemonstratedthattheproposedmethodoutperformsexistingstate-of-the-artmethodintermsofaccuracyforkeyframeextraction.

scalechange；directionchange；spatiotemporalslice；motiontrajectory；keyframeextraction

TN919.8；TP391.4

ADOI：10.16280/j.videoe.2016.08.023

2015-11-27

文獻引用格式：張云佐. 基于運動軌跡分析的監(jiān)控視頻關(guān)鍵幀提取[J].電視技術(shù)，2016，40(8)：118-121.

ZHANGYZ.Surveillancevideokeyframeextractionbasedonmotiontrajectoryanalysis[J].Videoengineering，2016，40(8)：118-121.