王向東， 張麗紅

(山西大學(xué) 物理電子工程學(xué)院， 山西 太原 030006)

基于動(dòng)靜態(tài)特征結(jié)合的改進(jìn)模糊支持向量機(jī)行為識(shí)別

王向東， 張麗紅

(山西大學(xué) 物理電子工程學(xué)院， 山西 太原 030006)

為了進(jìn)一步提高行為識(shí)別的準(zhǔn)確率， 將視頻中行為的動(dòng)態(tài)特征和靜態(tài)特征結(jié)合起來,應(yīng)用一種改進(jìn)的模糊支持向量機(jī)(FSVM)方法進(jìn)行識(shí)別， 該方法中采用一種新的隸屬度確定方法， 考慮了樣本與類中心的距離以及樣本與樣本之間的緊密度關(guān)系； 同時(shí)對(duì)支持向量機(jī)中靠近支持向量的難以識(shí)別的樣本使用K近鄰法識(shí)別. 在KTH圖像數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)， 將支持向量機(jī)與改進(jìn)的模糊支持向量機(jī)兩種識(shí)別方法進(jìn)行比較， 改進(jìn)的模糊支持向量機(jī)在各類行為識(shí)別上取得了較高的識(shí)別率.

動(dòng)態(tài)特征； 靜態(tài)特征； 模糊支持向量機(jī)； K近鄰法； 行為識(shí)別

0 引 言

近年來， 人體行為識(shí)別已成為圖像處理、 模式識(shí)別中的研究熱點(diǎn). 它在虛擬現(xiàn)實(shí)、 圖像檢索、 視頻檢索、 視頻監(jiān)控等領(lǐng)域具有廣泛的應(yīng)用價(jià)值. 但是， 由于真實(shí)環(huán)境的復(fù)雜性， 行為序列的非剛性等特點(diǎn)使得人體行為識(shí)別成為一個(gè)具有挑戰(zhàn)性的研究領(lǐng)域. 目前主要有兩種行為識(shí)別的方法[1]： 基于模板匹配的方法和狀態(tài)空間法. 第一種方法首先將圖像序列轉(zhuǎn)換為一組靜態(tài)模式， 提取特征后與提前存儲(chǔ)的特征進(jìn)行比較. 其優(yōu)點(diǎn)是實(shí)現(xiàn)簡(jiǎn)單、 計(jì)算量小， 缺點(diǎn)是識(shí)別率低； 第二種方法首先定義每個(gè)靜態(tài)姿勢(shì)作為一個(gè)運(yùn)動(dòng)狀態(tài)， 所有這些狀態(tài)之間通過概率聯(lián)系起來. 任何運(yùn)動(dòng)序列都可以看成是這些靜態(tài)姿勢(shì)的不同狀態(tài)之間的一次遍歷過程， 然后在這些遍歷期間計(jì)算它們的聯(lián)合概率， 并且將最大值作為分類行為的標(biāo)準(zhǔn). 其優(yōu)點(diǎn)是識(shí)別率高、 但計(jì)算量大， 不能夠?qū)σ曨l監(jiān)控中的異常行為進(jìn)行實(shí)時(shí)識(shí)別.

模板匹配行為識(shí)別的關(guān)鍵步驟為： ① 進(jìn)行特征提??； ② 進(jìn)行特征識(shí)別[2]. 行為識(shí)別其實(shí)也就是特征的識(shí)別. Hu矩[3]特征對(duì)形狀的描述比較充分， 但它只描述了圖像的靜態(tài)信息， 沒有涉及圖像的動(dòng)態(tài)信息， 導(dǎo)致對(duì)圖像的描述不夠充分. 本文在此基礎(chǔ)上又加了圖像的動(dòng)態(tài)信息速度[4]和外接矩形長(zhǎng)寬比及變化率， 將靜態(tài)信息與動(dòng)態(tài)信息結(jié)合起來， 比較充分地描述了行為的特征.

模糊支持向量機(jī)是目前具有較高泛化能力的行為識(shí)別方法， 能夠在較短的時(shí)間內(nèi)識(shí)別行為. 本文以KTH數(shù)據(jù)集建立模糊支持向量機(jī)的識(shí)別模型， 最后在改進(jìn)的模糊支持向量機(jī)上進(jìn)行測(cè)試， 獲得了較高的識(shí)別率.

1 靜態(tài)和動(dòng)態(tài)特征的提取

1.1 Hu矩

Hu矩是Hu在1962年提出的， 主要利用二階和三階歸一化中心矩構(gòu)造了7個(gè)Hu不變矩. 這7個(gè)幾何不變矩滿足旋轉(zhuǎn)、 平移和伸縮不變性， 主要描述圖像的形狀特征， 從而進(jìn)行圖像識(shí)別. 對(duì)于一幅數(shù)字圖像， 離散的Hu矩和對(duì)應(yīng)的中心矩為[5]

p,q為0,1,2…， 并且是整數(shù).

對(duì)應(yīng)的歸一化的中心距被定義為

從三階矩和二階矩， 我們可以推出7個(gè)不變矩.

φ5=(η30-3η12)(η30+η12)[(η30+η12)2-3(η21+η03)2]+

φ7=(3η21+η03)(η30+η12)[(η30+η12)2-3(η31+η03)2]+

(3η12-η30)(η21+η03)[3(η30+η12)-(η21+η03)2].

(11)

因?yàn)镠u矩的變化范圍比較大， 為了分類的準(zhǔn)確性， 對(duì)數(shù)據(jù)進(jìn)行壓縮， 實(shí)際的計(jì)算公式如下

l=|log|φk||

1.2 質(zhì)心速度

由式(3)得第m幀的質(zhì)心位置為(xm,ym)， 則可以計(jì)算出每隔2幀的質(zhì)心位移[6]

幀率為25 f/s， 則每2幀之間的時(shí)間T為1/25 s， 由此可以計(jì)算出兩幀之間的速度

為了計(jì)算的準(zhǔn)確性， 減少誤差. 可以再計(jì)算出第m+1幀和第m+2幀之間的速度Vm+1， 然后求平均值， 作為質(zhì)心的速度. 最終得到質(zhì)心的速度

1.3 外接矩形長(zhǎng)寬比及變化率

外接矩形長(zhǎng)寬比P定義為

式中：L,W指行為動(dòng)作的最小外界矩形的長(zhǎng)和寬. 變化率通過連續(xù)兩幀的外接矩形的長(zhǎng)寬比計(jì)算得到. 設(shè)連續(xù)兩幀的長(zhǎng)寬比分別為pf和pc， 則變化率定義為

2 改進(jìn)的模糊支持向量機(jī)

2.1 基于距離和密度的隸屬度函數(shù)

2.1.1 基于距離的隸屬度函數(shù)

圖 1 新的隸屬度設(shè)計(jì)方法Fig.1 A new design of member degree

模糊支持向量機(jī)的關(guān)鍵問題是隸屬度的確定， 一般的基于類中心的隸屬度使訓(xùn)練樣本的隸屬度隨樣本到類中心距離的增大而減小. 這是為了給邊緣處的噪聲點(diǎn)賦予小的隸屬度. 但是由于最優(yōu)超平面一般由訓(xùn)練樣本的支持向量決定， 而支持向量一般離類中心較遠(yuǎn)， 這樣使得支持向量的隸屬度較小， 從而降低了支持向量的作用， 導(dǎo)致所求決策函數(shù)不太準(zhǔn)確. 本文在此基礎(chǔ)上提出了一種新的隸屬度函數(shù)確定方法. 如圖 1 所示， 首先以各類樣本的平均值為圓心， 以樣本到均值最遠(yuǎn)的距離作為半徑， 畫兩個(gè)如圖的實(shí)線圓， 然后根據(jù)樣本的分散情況， 以閾值為半徑畫兩個(gè)虛線圓， 該方法使從圓心到虛線圓方向樣本的隸屬度越來越大. 在虛線圓與實(shí)線圓之間的樣本點(diǎn)被認(rèn)為是噪聲點(diǎn)， 被賦予較小的隸屬度.

具體隸屬度函數(shù)定義為[7]：r表示閾值半徑；di表示樣本到中心的距離；θ為虛線圓與實(shí)線圓之間的隸屬度， 是一個(gè)很小的數(shù), 取0.01；σ也是一個(gè)很小的正數(shù)， 以保證隸屬度小于1.

2.1.2 基于距離和樣本密度的隸屬度函數(shù)

模糊支持向量機(jī)的核心思想是隸屬度的確定， 傳統(tǒng)確定隸屬度的方法， 大都是基于樣本到類中心的距離來確定， 這樣對(duì)樣本和帶有噪聲點(diǎn)的樣本同等看待， 導(dǎo)致結(jié)果的差錯(cuò)性. 針對(duì)這種情況， 本文同時(shí)提出了基于樣本密度的隸屬度確定方法， 綜合樣本與類中心的距離和樣本與其他樣本之間的關(guān)系來確定. 由上分析可知， 基于距離和密度的隸屬度計(jì)算由兩部分構(gòu)成[8]

2.2 改進(jìn)的模糊支持向量機(jī)算法

常規(guī)的支持向量機(jī)的訓(xùn)練樣本只含有樣本的特征與類別標(biāo)簽， 而模糊支持向量機(jī)的樣本增加了隸屬度一項(xiàng). 使用2.1.2提出的計(jì)算隸屬度的方法， 算出每個(gè)樣本的隸屬度. 從而得到模糊支持向量機(jī)的訓(xùn)練樣本為

s={(x1,y1,y(x1)),(x2,y2,y(x2))…(xm,ym,y(xm))}.

(21)

由于y(xi)表征了樣本屬于某類的可靠程度， ξi為分類誤差項(xiàng). 則y(xi)ξi可以看作是帶權(quán)的誤差項(xiàng). 然后采用徑向基核函數(shù)， 并且初始化懲罰函數(shù)C. 由文獻(xiàn)[8]可知最優(yōu)分類面為下列函數(shù)的最優(yōu)解

約束條件為

yi[(w·zi)+b]-1+ξi≥0,i=1,2,…,m,

相應(yīng)的最優(yōu)分類面的判別函數(shù)為

k(xi,x)為核函數(shù)， 本文采用徑向基核函數(shù).

2.3 k-近鄰法

支持向量機(jī)分類不足的一個(gè)原因是對(duì)靠近最優(yōu)分類面的樣本點(diǎn)不能正確分類， 針對(duì)這種情況， 對(duì)于那些靠近最優(yōu)分類面的樣本點(diǎn)， 采用k-近鄰法進(jìn)行分類. k-近鄰法的核心思想為： 如果一個(gè)樣本與k個(gè)最相近的樣本中的多數(shù)屬于某一個(gè)類別， 則該樣本被判為該類別， 定義式為[9]

則k-近鄰法的判別規(guī)則為

式中： n為行為識(shí)別的總類別數(shù)； x為待識(shí)別的行為.

3 實(shí)驗(yàn)結(jié)果

3.1 支持向量機(jī)算法

在安裝了LIBSVM的Matlab2013b平臺(tái)下實(shí)驗(yàn)， 先用傳統(tǒng)的支持向量機(jī)進(jìn)行建模仿真[10]， 采用KTH圖像數(shù)據(jù)庫對(duì)其算法進(jìn)行驗(yàn)證. 該數(shù)據(jù)庫包括6類行為： 步行、 慢跑、 跑、 拳擊、 雙手揮舞、 鼓掌， 是由25個(gè)不同的人執(zhí)行的， 分別在4個(gè)場(chǎng)景下， 一共有299段視頻. 分別從6種行為的視頻里各自連續(xù)抽取500幀圖片. 提取Hu矩、 速度、 外接矩形長(zhǎng)寬比及變化率特征， 每種行為有500組特征向量， 200組用來訓(xùn)練， 300組用來測(cè)試. 每?jī)深愋袨橹g訓(xùn)練一個(gè)分類器. 一共訓(xùn)練出15個(gè)分類器. 然后進(jìn)行測(cè)試， 測(cè)試結(jié)果如表 1 所示.

表 1 6種行為的識(shí)別率

3.2 本文改進(jìn)的算法

采用本文的算法， 結(jié)合k-近鄰法與模糊支持向量機(jī)各自的優(yōu)勢(shì)， 既克服了k-近鄰法計(jì)算量大的缺點(diǎn)， 又克服了模糊支持向量機(jī)對(duì)于靠近支持向量的樣本的難以識(shí)別的缺點(diǎn). 大大增加了識(shí)別率. 具體行為識(shí)別步驟為：

1) 采用KTH圖像數(shù)據(jù)庫中6種行為， 在6種行為各自的視頻里， 連續(xù)抽取每種行為的500幀圖片， 經(jīng)過預(yù)處理后， 提取Hu矩、 速度、 外接矩形長(zhǎng)寬比及變化率特征；

2) 將上述6種行為的200組訓(xùn)練樣本輸入到本文提出的改進(jìn)了的模糊支持向量機(jī)中進(jìn)行學(xué)習(xí)訓(xùn)練， 訓(xùn)練出最優(yōu)參數(shù)， 并且確定支持向量集合；

4) 設(shè)置一個(gè)閾值T， 如果|f(x)|≥T, 則用本文提出的改進(jìn)的模糊支持向量機(jī)進(jìn)行行為識(shí)別； 如果|f(x)|

圖 2 兩種算法的識(shí)別率比較Fig.2 Comparison of two algorithms

4 結(jié) 論

本文基于改進(jìn)的模糊支持向量機(jī)的行為識(shí)別， 將行為的動(dòng)態(tài)特征和靜態(tài)特征結(jié)合起來， 比較全面地描述了行為的特征. 同時(shí)對(duì)模糊支持向量機(jī)中模糊隸屬度提出了改進(jìn)， 不僅考慮了樣本與類中心的距離， 還考慮了樣本與樣本之間的關(guān)系. 并且對(duì)于支持向量機(jī)中支持向量附近難以識(shí)別的樣本點(diǎn)使用k-近鄰法， 提高了識(shí)別率.

[1] 徐光祐， 曹媛媛. 動(dòng)作識(shí)別與行為理解綜述[J]. 中國圖像圖形學(xué)報(bào)， 2009， 14(2)： 189-195. Xu Guangyou， Cao Yuanyuan. Action recognition and activity understanding： a review[J]. Journal of Image and Graphics， 2009， 14 (2)： 189-195. (in Chinese)

[2] 高曙明. 自動(dòng)特征識(shí)別技術(shù)綜述[J]. 計(jì)算機(jī)學(xué)報(bào)， 1998， 21(3)： 281-288. Gao Shuming. A survey of automatic feature recognition[J]. Chinese journal of computers， 1998， 21(3)： 281-288. (in Chinese)

[3] Hu M K．Visual pattern recognition by moment inva-ants[J]. IEEE Transactions on information 1'heory， 2006， 8(2)： 179-187.

[4] 黃先鋒， 張彤， 莫建文， 等. 基于運(yùn)動(dòng)與外形特征的人體行為識(shí)別[J]. 計(jì)算機(jī)工程， 2010， 36(5)： 193-195. Huang Xianfeng， Zhang Tong， Mo Jianwen, et al. Human behavior recognition based on characteristics of movement and shape[J]. Computer enginering， 2010， 36(5)： 193-195. (in Chinese)

[5] 楊舒， 王玉德. 基于contourlet變換和Hu不變矩的圖像檢索算法[J]. 紅外與激光工程， 2014(1)： 306-310. Yang Shu， Wang Yude. Image retrieval algorithm based on contourlet transform and Hu invariant moments[J]. Infrared and laser engineering ， 2014(1)： 306-310. (in Chinese)

[6] 韓駿浩， 趙懷勛. 基于外形特征與運(yùn)動(dòng)特征的人體行為提取方法[J]. 電子科技， 2014， 27(10)： 6-9 Han Junhao， Zhao Huaixun. Human behaviour extraction method based on shape features and movement features[J]. Electronic Science and Technology， 2014， 27(10)： 6-9. (in Chinese)

[7] Bertozzi M， Broggi A， Grisleri P, et al. A tool for vision based pedestrian detection performance evaluation[C]. Intelligent Vehicles Symposium， 2004 IEEE. 2004： 784-789.

[8] 張翔， 肖小玲， 徐光祐， 等. 模糊支持向量機(jī)中隸屬度的確定與分析[J]. 中國圖象圖形學(xué)報(bào)， 2006， 11(8)： 1188-1192. Zhang Xiang， Xiao Xiaoling， Xu Guangyou, et al. Determination and analysis of fuzzy membership for SVM[J]. Journal of image and graphics， 2006， 11(8)： 1188-1192. (in Chinese)

[9] 陳澤恩. 基于k近鄰和最小二乘支持向量機(jī)的Android 惡意行為識(shí)別[J]. 吉林大學(xué)學(xué)報(bào)(理學(xué)版)， 2015(4)： 720-724. Chen Zeen. Identification of Android malicious behaviors based onknearest neighbor algorithm and least squares support vector machine[J]. Journal of Jilin University(Science Edition) ， 2015(4)： 720-724. (in Chinese)

[10] 丁世飛， 齊丙娟， 譚紅艷， 等. 支持向量機(jī)理論與算法研究綜述[J]. 電子科技大學(xué)學(xué)報(bào)， 2011， 40(1)： 1-10. Ding Shifei， Qi Bingjuan， Tan Hongyan, et al. An overview on theory and algorithm of support vector machines[J]. Journal of University of Electronic Science and Technology of China， 2011， 40(1)： 1-10. (in Chinese)

Behavior Recognition Based on Improved FSVM Employing Dynamic and Static Characteristics

WANG Xiangdong， ZHANG Lihong

(College of Physics and Electronic Engineering， Shanxi University ， Taiyuan 030006， China)

In order to improve the accuracy in behavior recognition, we dynamic and static characteristics of behavior in video were extracted dynamic and static characteristics of behavior in video, and an improved recognition algorithm of fuzzy support vector machine (FSVM) were proposed, while using a new method for the determination of membership degree, considering the distance between samples and the center of the class, also taking the relation of the sample tightness into account. And for the samples near the support vectors that are difficult to identify, the K neighbor method of identification is employed . Experiments on KTH image data sets are performed, and the results using the support vector machine and improved fuzzy support vector machine are compared, the latter method has a higher recognition rate.

dynamic characteristic; static characteristic; FSVM; K neighbor; behavior recognition

1671-7449(2017)02-0125-06

2016-12-25

山西省科技攻關(guān)計(jì)劃(工業(yè))資助項(xiàng)目(2015031003-1)

王向東(1992-)， 男， 碩士， 主要從事圖像處理、 模式識(shí)別研究.

TP18

A

10.3969/j.issn.1671-7449.2017.02.006