史東承, 馮占君(長(zhǎng)春工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院, 長(zhǎng)春 130012)

?

視頻中人體行為分析

史東承, 馮占君
(長(zhǎng)春工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院, 長(zhǎng)春 130012)

為實(shí)現(xiàn)機(jī)器視覺(jué)代替人眼觀察、 認(rèn)知世界以及減少背景和噪聲對(duì)視頻中人體特征提取的影響, 以提高識(shí)別效果, 在研究人體動(dòng)作表征與識(shí)別的基礎(chǔ)上, 充分考慮局部和全局特征的優(yōu)缺點(diǎn), 提出了基于局部時(shí)空興趣點(diǎn)和全局累積邊緣圖像特征相結(jié)合的人體行為分析方法。首先, 從視頻序列中提取局部時(shí)空興趣點(diǎn)和全局累積邊緣圖像特征； 然后用加權(quán)字典向量法將兩者有機(jī)地結(jié)合在一起; 最后利用最近距離法進(jìn)行人體行為分析和識(shí)別。該方法可有效獲得人體時(shí)空特征、 人體邊緣輪廓、 人的運(yùn)動(dòng)趨勢(shì)和強(qiáng)烈程度。實(shí)驗(yàn)結(jié)果表明, 該方法快速, 相比其他算法識(shí)別率大致提高了2%～5%。

時(shí)空興趣點(diǎn); 累積邊緣圖像; 行為分析

0 引 言

視頻中人體行為分析就是在非人為的干預(yù)下, 綜合利用機(jī)器視覺(jué)、 模式識(shí)別、 圖像處理、 人工智能等多學(xué)科的知識(shí)和技術(shù)對(duì)視頻中人體行為進(jìn)行分析, 實(shí)現(xiàn)場(chǎng)景中人體定位和跟蹤, 并在此基礎(chǔ)上分析和判斷人體行為。人體行為分析在智能視頻監(jiān)控、 高級(jí)人機(jī)交互、 視頻會(huì)議以及醫(yī)療診斷等方面有著廣泛的應(yīng)用前景和巨大的商業(yè)價(jià)值。

近年來(lái), 對(duì)視頻中人體行為的分析, 人們提出了許多方法, 并取得了良好效果。Bobick等[1]提出運(yùn)動(dòng)歷史圖(MHI： Motion History Image), 該方法充分利用了信息資源, 快速高效, 但沒(méi)有解決目標(biāo)跟蹤問(wèn)題, 且對(duì)戶外場(chǎng)景的噪聲干擾敏感。Efros等[2]提出一種基于光流法的時(shí)空運(yùn)動(dòng)描述子, 他將光流場(chǎng)進(jìn)行了拓展, 該方法獲得更詳細(xì)的運(yùn)動(dòng)方向信息。Yilmaz等[3]提出時(shí)空體積(STV： Spatio-Temporal Volumes)方法, 該方法依賴于每幀圖像中人體區(qū)域的準(zhǔn)確提取, 但僅局限于若干種簡(jiǎn)單的單人行為, 不易擴(kuò)展到多人間的復(fù)雜行為。Ahmad等[4]提出局部-全局光流(CLGOF： Combine Local-Global Optic Flow)法描述人體行為。Gorelick等[5]提出時(shí)空形狀(STS： Space-Time Shape), 該方法由運(yùn)動(dòng)圖像序列構(gòu)建時(shí)空輪廓圖, 通過(guò)求解泊松方程提取輪廓圖的外形結(jié)構(gòu)及運(yùn)動(dòng)方向特征, 該行為表征方法對(duì)目標(biāo)的部分遮擋、 尺度縮放及視角的變化都有一定的魯棒性。文獻(xiàn)[6]采用3D模型法解決視覺(jué)變化的問(wèn)題, 文獻(xiàn)[7]對(duì)彩色直方圖和姿態(tài)特征等進(jìn)行了改進(jìn), 可以更好地獲得目標(biāo)連續(xù)的位置、 速度、 顏色和姿態(tài)等信息, 文獻(xiàn)[8]提出耦合的基于觀測(cè)向量分解的隱馬爾科夫模型用于多人交互和遮擋問(wèn)題, 文獻(xiàn)[9]采用了幾種特征相結(jié)合的方法對(duì)人體行為進(jìn)行分析。

近年來(lái), 時(shí)空興趣點(diǎn)(STPI： Space-Time Points of Interest)也廣泛應(yīng)用于人體行為分析中。Dollar等[10]提出了基于Gabor濾波器的局部時(shí)空興趣點(diǎn)算法, 并利用基于Cuboids的特征描述子。文獻(xiàn)[11]將時(shí)空興趣點(diǎn)用于兩人交互中, 文獻(xiàn)[12,13]采用了改進(jìn)的時(shí)空興趣點(diǎn)方法。

全局和局部特征都是通過(guò)提取感興趣的區(qū)域表征人體行為。作為人體行為特征描述算子之一, 方向梯度直方圖(HOG：Histogram of Oriented Gradient)首次用于人體行為檢測(cè)[14], 隨后是光流方向直方圖[15], 后來(lái)在HOG基礎(chǔ)上加入多尺度的思想, 得到方向梯度直方圖金字塔, 目前已經(jīng)應(yīng)用在人體行為識(shí)別中。上述人體行為識(shí)別算法測(cè)試環(huán)境都是在單一環(huán)境下得到的, 并未應(yīng)用到復(fù)雜的環(huán)境中, 而且面臨光照、 人穿衣顏色和背景顏色相似度、 噪聲等影響。基于上述問(wèn)題, 筆者提出基于局部時(shí)空興趣點(diǎn)和全局累積邊緣圖像特征描述子, 并用加權(quán)字典向量法將兩者有機(jī)結(jié)合在一起, 該方法有效提高了視頻中人體行為分析的識(shí)別率。

1 動(dòng)作表示

1.1 時(shí)空興趣點(diǎn)

時(shí)空興趣點(diǎn)就是從視頻中尋找出感興趣且能代表視頻中人體動(dòng)作發(fā)生的時(shí)空事件?；诟咚篂V波器和Gabor濾波器結(jié)合的局部時(shí)空興趣點(diǎn)檢測(cè)算法如下。

1) 對(duì)圖像序列在空間域上進(jìn)行高斯濾波, 然后在時(shí)間域上進(jìn)行一維的Gabor濾波。

設(shè)視頻序列為f,f中每幀二維圖像的像素點(diǎn)亮度映射為f′:R2→R。利用高斯函數(shù)將g中的每幀圖像轉(zhuǎn)換到高斯空間, 得g:R2×R→R。如

2) 對(duì)經(jīng)過(guò)高斯平滑的視頻序列f：R2×R→R, 沿f的時(shí)間軸方向, 對(duì)每列元素進(jìn)行選定窗口的一維Gabor濾波

其中hev(t,τ,ω)=-cos(2πtω)e-t2/τ2,hod(t,τ,ω)=-sin(2πtω)e-t2/τ2。τ2為濾波器在時(shí)間域上的尺度,ω為Gabor濾波器窗口大小,T為像素點(diǎn)強(qiáng)度。計(jì)算f中每點(diǎn)的R值, 根據(jù)設(shè)定窗口的大小對(duì)T進(jìn)行極大值濾波, 檢測(cè)出局部時(shí)空興趣點(diǎn)的位置。

三維空間中點(diǎn)(x,y,t)的梯度矢量由梯度幅值m3D及兩個(gè)方向的梯度夾角θ和σ組成, 定義如下

其中l(wèi)x,ly,lt分別可在x,y,t方向上通過(guò)差值運(yùn)算得到, 例如

lx=l(x+1,y,t)-l(x-1,y,t),ly=l(x,y+1,t)-l(x,y-1,t),lt=l(x,y,t+1)-l(x,y,t-1)

圖1 3D-SIFT描述符Fig.1 3D-SIFT Descriptor

在準(zhǔn)確提取視頻中興趣點(diǎn)的基礎(chǔ)上, 抽取以興趣點(diǎn)為中心的時(shí)空立方體, 將立方體劃分為8個(gè)4×4×4的單元立方體(CU： Unit Cube), 統(tǒng)計(jì)每個(gè)CU的梯度直方圖, 然后將所有CU的直方圖聯(lián)合起來(lái), 構(gòu)成該興趣點(diǎn)的3D-SIFT[16]描述符(見(jiàn)圖1)。

計(jì)算CU的梯度直方圖, 由于立方體像素點(diǎn)的梯度矢量由(m3D,θ,σ)構(gòu)成, 其中梯度方向包含了兩個(gè)夾角θ和σ。將θ和σ的值按大小相等劃分為若干個(gè)值的子區(qū)間。再定義一個(gè)變量φ,φ表示球面以水平方向和垂直方向而劃分的子區(qū)間面積。 由于球面的特性, 所以劃分的每個(gè)子區(qū)間面積不同, 且越靠近邊界的子區(qū)間, 其面積越小。因此, 必須對(duì)其進(jìn)行歸一化處理,φ的計(jì)算公式如下

CU的梯度直方圖計(jì)算如式

其中d(x,y,t)=-((x-x′)2+(y-y′)2+(t-t′)2)/(2α2)。iθ和iσ為特定角度θ和σ的子區(qū)間,α為尺度空間因子, (x,y,t)表示感興趣點(diǎn)的坐標(biāo), (x′,y′,t′)表示該像素點(diǎn)在梯度直方圖中的坐標(biāo),m3D(x′,y′,t′)為該像素點(diǎn)的灰度梯度幅值。

1.2 累計(jì)邊緣圖像

邊緣檢測(cè)的目的是表示一幅圖像的邊緣信息, 因?yàn)檫吘増D像能反映運(yùn)動(dòng)目標(biāo)的邊緣輪廓信息, 而輪廓形狀是人們區(qū)別物體的重要因素之一。累積邊緣圖像就是把視頻分為圖像幀序列, 并提取每幀的邊緣特征, 然后將每幀圖像的灰度邊緣特征累積到一幅圖像中, 形成邊緣圖像幀序列。該方法的基本思想與經(jīng)典的MHI(Motion History Image)很像, 但它獲得的信息比MHI更豐富, 且能更好地表示人體行為。

設(shè)M(x,y)表示視頻經(jīng)過(guò)形態(tài)梯度操作處理后的某一幀圖像；N(x,y)是M(x,y)經(jīng)過(guò)Sobel算子得到的二值邊緣圖像；F(x,y)是M(x,y)與N(x,y)在每個(gè)像素點(diǎn)上相乘得到的邊緣灰度圖像, 大小與M(x,y)相同。又設(shè)H(x,y,t)為t時(shí)刻的灰度邊緣特征累積圖像, 則

以下為累積邊緣圖像(AEI： Accumulated Edge Image) 的計(jì)算步驟：

步驟1 初始化H(x,y,t), 所有像素初始化為0, 時(shí)間t為0；

步驟2 在視頻中第1幀形態(tài)梯度圖像M(x,y)上使用Sobel算子檢測(cè)得到邊緣圖像N(x,y)；

步驟3M(x,y)和N(x,y)相乘得F(x,y)；

步驟4F(x,y)與前幀得到的H(x,y,t-1)在每個(gè)像素點(diǎn)上進(jìn)行比較, 取灰度值大的像素點(diǎn)的灰度值為H(x,y,t)的新值；

步驟5 返回至步驟2, 直到視頻的最后一幀。

累積邊緣圖像不是將每幀二值圖像累積到一幅圖像中, 而是將灰度邊緣圖像累積到一幅圖像中。

2 動(dòng)作分類(lèi)

在訓(xùn)練視頻構(gòu)成的CU中, 隨機(jī)選擇一些CU, 采用K均值算法, 形成一個(gè)時(shí)空興趣點(diǎn)代碼字典。每個(gè)CU對(duì)應(yīng)一個(gè)與其距離最近的代碼, 稱為時(shí)空興趣點(diǎn)單詞。給定一個(gè)時(shí)空興趣點(diǎn)代碼字典U=(u1,u2,…,um)以及一個(gè)時(shí)空興趣點(diǎn)單詞序列, 將該序列在代碼字典U上的直方圖定義為時(shí)空興趣點(diǎn)字典(DSTPI： Dictionary of Space-Time Points of Interest)向量, 記為

其中元素(ui,pi)表示代碼u在時(shí)空興趣點(diǎn)單詞序列中出現(xiàn)的次數(shù)為pi。同理, 得到累積邊緣圖像代碼字典V=(v1,v2,…,vn)和累積邊緣圖像字典(DAEI： Dictionary of Accumulated Edge Image)向量

其中qi為累積邊緣圖像單詞在序列中出現(xiàn)的次數(shù)。

任意視頻序列f, 其時(shí)空興趣點(diǎn)字典向量和累積邊緣字典向量分別為式(5)和式(6), 則視頻序列f的加權(quán)字典向量定義為

((u1,λp1),…,(um,λpm),(v1,(1-λ)q1),…,(vn,(1-λ)qn))

其中λ=w(∑i=[1 ∶m]pi/∑i=[1 ∶n]qi)。

權(quán)重曲線w(x)為雙曲正切函數(shù)

其中自變量x為視頻序列f對(duì)應(yīng)時(shí)空興趣點(diǎn)單詞數(shù)量與累積邊緣圖像單詞數(shù)量之比。

其中Y=[y1,y2,…,yn,c],Jj=[γj1,γj2,…,γjn,c],c={c1,c2,…,cj}表示類(lèi)別。

3 測(cè)試實(shí)驗(yàn)結(jié)果和分析

為了測(cè)試筆者算法的分類(lèi)效果, 使用瑞典皇家理工學(xué)院機(jī)器視覺(jué)實(shí)驗(yàn)室的KTH視頻數(shù)據(jù)庫(kù)、 以色列Weizmann研究所的Weizmann視頻數(shù)據(jù)庫(kù)和某大學(xué)圖像實(shí)驗(yàn)室小組錄制的視頻(CCUT-VDB)。KTH視頻數(shù)據(jù)庫(kù)包含6種動(dòng)作： 走(walking)、 慢跑(jogging)、 跑(running)、 拳擊(boxing)、 雙手揮臂(handwaving)和拍手(handclapping), 它由25個(gè)表演者分別在4種不同的環(huán)境(室外、 室內(nèi), 室外放大, 室外且穿不同顏色的衣服)下完成。包含599段視頻, 每段視頻分辨率為160×120, 幀速率為25幀/s, 每段視頻大約是4 s。Weizmann視頻數(shù)據(jù)庫(kù)包含10種動(dòng)作： 走(walk)、 跑(run)、 跳(jump)、 側(cè)移(side)、 彎腰(bend)、 原地跳(pjump)、 jack、 skip、 單揮臂(wave1)和雙揮臂(wave2), 每種動(dòng)作由10個(gè)人完成, 背景和視角均不變。包含90段視頻, 每段視頻分辨率為180×144。幀速率為50幀/s, 每段視頻大約是4 s。某大學(xué)圖像實(shí)驗(yàn)室小組自己錄制的動(dòng)作視頻數(shù)據(jù)庫(kù)由4個(gè)人完成6種典型的動(dòng)作, 其中包括在相同背景下多個(gè)動(dòng)作。圖2為KTH和Weizmann視頻數(shù)據(jù)庫(kù)樣本圖像, 圖3為某大學(xué)實(shí)驗(yàn)室視頻數(shù)據(jù)庫(kù)樣本圖像CCUT-VDB。

圖2 KTH和Weizmann視頻數(shù)據(jù)庫(kù)Fig.2 KTH and Weizmann video database

圖3 實(shí)驗(yàn)室視頻數(shù)據(jù)CCUT-VDBFig.3 CCUT-VDB video data in the lab

對(duì)于時(shí)空興趣點(diǎn)的檢測(cè), 選用Dollar推薦的參數(shù)：σ=2,τ=4,ω=4/τ。在上面參數(shù)值條件下對(duì)KTH、 Weiznman視頻數(shù)據(jù)庫(kù)檢測(cè)結(jié)果如圖4所示, 實(shí)驗(yàn)室視頻數(shù)據(jù)庫(kù)檢測(cè)結(jié)果如圖5所示。

圖4 KTH和Weiznman視頻數(shù)據(jù)興趣點(diǎn)檢測(cè)Fig.4 KTH and Weiznman video detection of interest points data

圖5 實(shí)驗(yàn)室視頻數(shù)據(jù)CCUT-VDB興趣點(diǎn)檢測(cè)Fig.5 CCUT-VDB interest point detection

邊緣圖像能反映人的邊緣輪廓信息, 而累積邊緣圖像可以反映人運(yùn)動(dòng)趨勢(shì)及強(qiáng)烈程度。實(shí)驗(yàn)中首先把視頻序列f分解為圖像幀序列, 提取每幀圖像邊緣特征, 經(jīng)過(guò)計(jì)算得到每幀圖像的灰度邊緣特征, 然后將得到的每幀灰度邊緣圖像累積到一幅圖像中, 得到累積邊緣圖像(見(jiàn)圖6)。

圖6 累積邊緣圖像Fig.6 Accumulated edge image

在得到上述兩種結(jié)果圖后, 采用加權(quán)字典向量法將DSTPI(Dictionary of Space-Time Points of Interest)和DAEI(Dictionary of Accumulated Edge Image)特征有機(jī)的結(jié)合起來(lái), 并訓(xùn)練部分視頻作為樣本, 然后采用最小距離法對(duì)其進(jìn)行分類(lèi)。表1是傳統(tǒng)經(jīng)典檢測(cè)算法得到的結(jié)果和采用筆者的STPI-AEI檢測(cè)算法得到的分類(lèi)結(jié)果對(duì)比, 表2是前人的算法和筆者檢測(cè)算法的平均識(shí)別率。通過(guò)檢測(cè)結(jié)果得出, 對(duì)于相同的行為, 筆者檢測(cè)算法對(duì)人行為的識(shí)別率明顯優(yōu)于傳統(tǒng)經(jīng)典檢測(cè)算法。

表1 傳統(tǒng)經(jīng)典方法識(shí)別結(jié)果和筆者方法得到的識(shí)別結(jié)果對(duì)比

與傳統(tǒng)方法相比, 筆者方法在相同環(huán)境和相同動(dòng)作下的識(shí)別率有明顯提高?？煽闯觯?筆者方法某些動(dòng)作的識(shí)別率為100%, 而其他一些相近的動(dòng)作間還有較大的識(shí)別誤差。識(shí)別率為100%的這些動(dòng)作發(fā)生在相同的區(qū)域, 且對(duì)人體輪廓和運(yùn)動(dòng)趨勢(shì)有要求而對(duì)運(yùn)動(dòng)強(qiáng)烈程度要求不高。其他一些動(dòng)作是人體的四肢運(yùn)動(dòng), 對(duì)人體的運(yùn)動(dòng)強(qiáng)烈程度要求較高, 由此看出, 筆者算法在檢測(cè)運(yùn)動(dòng)強(qiáng)烈程度方面雖有提高但還有所欠缺。

表2給出了KTH和Weizmann數(shù)據(jù)庫(kù)上其他經(jīng)典方法和筆者方法的識(shí)別率比較結(jié)果, 由表2中數(shù)據(jù)可以得出， 筆者方法的識(shí)別率有明顯提高。

表2 不同方法的檢測(cè)平均識(shí)別率

4 結(jié) 語(yǔ)

筆者提出了基于局部時(shí)空興趣點(diǎn)和全局累積邊緣圖像特征描述方法, 并用加權(quán)字典向量法將兩者有機(jī)結(jié)合在一起。集合了全局特征和局部特征的優(yōu)缺點(diǎn), 克服了現(xiàn)實(shí)中的部分缺點(diǎn), 如： 背景、 光照、 噪聲和遮擋等影響。提出的方法不僅可以處理提供的視頻數(shù)據(jù)庫(kù), 還可以處理網(wǎng)絡(luò)上的視頻數(shù)據(jù), 都具有良好效果。該方法不僅識(shí)別率高, 且加強(qiáng)了對(duì)運(yùn)動(dòng)強(qiáng)烈程度的檢測(cè), 提高了相似動(dòng)作的識(shí)別率。

[1]BOBICK A F, DAVIS J W. The Recognition If Human Movement Using Temporal Templates [J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2001, 23(3): 257-267.

[2]EFROS A A, BERG A C, MORI G, et al. Recognition Action at a Distance [C]∥Proc of the 9th IEEE Int’l Conf on Computer Vision. Washington: IEEE Computer Society, 2003: 726.

[3]YILMAZ A, SHAH M. Action Sketch: A Novel Action Representation [C]∥Proc of the 2005 IEEE Computer Society Conf on Computer Vision and Patter Recognition. Washington: IEEE Computer Society, 2005: 984-989.

[4]AHMAD M, LEE S. Human Action Recognition Using and CLG-Motion Flow from Multi-View Image Sequences [J]. Pattern Recognition, 2008, 41(7): 2237-2252.

[5]GORELICK L, BLANK M, SHECHTMAN E, et al. Action as Space-Time Shapes [J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2007, 29(12): 2247-2253.

[6]谷軍霞, 丁曉青, 王生進(jìn). 基于人體行為3D模型的2D行為識(shí)別 [J]. 自動(dòng)化學(xué)報(bào), 2010, 36(1)： 46-53. GU Junxia, DING Xiaoqing, WANG Shengjin. Human 3D Model-Based 2D Action Recognition [J]. Acta Automatica Sinca, 2010, 36(1): 46-53.

[7]張德才. 視頻流中多人體跟蹤算法研究 [D].長(zhǎng)春： 吉林大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院, 2011. ZHANG Decai. Multiple Human Studies Video Stream Tracking [D]. Changchun: College of Computer Science and Technology, Jilin University, 2011.

[8]郭萍. 基于視頻的人體行為分析 [D]. 北京： 北京交通大學(xué)交通運(yùn)輸學(xué)院, 2012. GUO Ping. Analysis of Human Action Based on Video [D]. Beijing: College of Transportation Institute, Beijin Jiaotong University, 2012.

[9]李佳. 基于視頻的室內(nèi)人體簡(jiǎn)單行為分析 [D]. 西安： 西安電子科技大學(xué)電子工程學(xué)院, 2013. LI Jia. Analysis of Video Based Indoor Simple Human Action [D]. Xi’an: College of Electronic Engineering, Xi’an University of Electronic Science and Technology, 2013.

[10]DOLLAR P, RABAUD V, COTTRELL G, et al. Behavior Recognition via Sparse Spatio-Teporal Features [C]∥Visual Surveillance and Performance Evaluation of Tracking and Surveillange. USA: IEEE, 2005: 65-72.

[11]韓磊, 李君峰, 賈云得. 基于時(shí)空單詞的兩人交互行為識(shí)別方法 [J]. 計(jì)算機(jī)學(xué)報(bào), 2010, 33(4)： 776-784. HAN Lei, LI Junfeng, JIA Yunde. Human Interaction Recognition Using Spatio-Temporal Words [J]. Chinese Journal of Computer, 2010, 33(4): 776-784.

[12]劉長(zhǎng)紅, 陳勇, 王明文. 雜亂背景和攝像機(jī)移動(dòng)下的時(shí)空興趣點(diǎn)檢測(cè) [J]. 中國(guó)圖像圖形學(xué)報(bào), 2013, 18(8): 982-989. LIU Changhong, CHEN Yong, WANG Mingwen. Under the Clutter Background and Camera Movement of Space-Time Interest Point Detection [J]. China Journal of Image and Graphics, 2013, 18(8): 982-989.

[13]付朝霞, 王黎明. 基于時(shí)空興趣點(diǎn)的人體行為識(shí)別 [J]. 微電子學(xué)與計(jì)算機(jī), 2013(8): 28-30. FU Zhaoxia, WANG Liming. Human Action Recognition Based on Space-Time [J]. Microelectronics and Computer, 2013(8): 28-30.

[14]DALAL N, TRIGGS B, SCHMID C. Histograms of Oriented Gradients for Human Detection [C]∥Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Diego, USA: IEEE, 2005: 886-893.

[15]YUAN Junsong, LIU Zicheng, WU Ying. Discriminative Video Pattern Search for Efficient Action Detection [J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2011, 33(9): 1728-1743.

[16]SHAO L, MATTIVI R. Feature Detector and Descriptor Evaluation in Human Action Recognition [C]∥Proceedings of the ACM International Conference on Image and Video Retrieval. [S.l.]: ACM, 2010: 477-484.

(責(zé)任編輯： 劉俏亮)

Analysis of Human Action in Video

SHI Dongcheng, FENG Zhanjun
(College of Computer Science and Engineering, Changchun University of Technology, Changchun 130012, China)

In order to solve machine vision reduce the effects of background and noise on the video feature extraction, and to improve recognition results. We propose a human action analysis method by combining the local space-time interest points and global accumulated edge image feature based on the study of human action representation and the full consideration of the advantages and disadvantage of the local and global features. First, local space-time points of interest and global accumulated edge image feature are extracted from the video sequences. Then we use the weighted dictionary to combine them together organically, finally we use the minimums distance method for human action analysis and identification. This method can effectively obtain the spatial characteristics of human, human edge contour and the human movement trends and intensity, the experimental show that our method is faster and gains a higher recognition accuracy generally inceased by 2% to 5%.

space-time point of interest; accumulated edge image; action analysis

1671-5896(2014)05-0521-07

2013-11-02

國(guó)家自然科學(xué)基金資助項(xiàng)目(11071026)

史東承(1959— ), 男, 長(zhǎng)春人, 長(zhǎng)春工業(yè)大學(xué)教授, 碩士生導(dǎo)師, 主要從事圖像與視頻通信、 視頻分析、 基于內(nèi)容的媒體分析與檢索、 數(shù)字媒體內(nèi)容理解、 智能視頻監(jiān)控系統(tǒng)、 視覺(jué)計(jì)算、 圖像處理與模式識(shí)別研究, (Tel)86-18686485278(E-mail)dcshi@mail.ccut.edu.cn。

TP391; TG156

： A