王燁
摘要:步態(tài)識(shí)別是采集人體步行的方式從而實(shí)現(xiàn)身份的識(shí)別,而步態(tài)作為生物特征信息識(shí)別技術(shù)也受到越來(lái)越多的關(guān)注,其自身的三大優(yōu)勢(shì)主要包括其非侵犯性、難以隱藏特性以及遠(yuǎn)距離識(shí)別的特征。本文提出了一種基于小波分析的有效的步態(tài)特征提取算法,進(jìn)行特征的輪廓提取,提取圖像輪廓信息中的多維列向量數(shù)據(jù),得到較好的識(shí)別效果。
1 引言
人體運(yùn)動(dòng)行為分析是一個(gè)包含了對(duì)人的圖像序列的檢測(cè)、跟蹤、分類(lèi)及理解的研究方向,且綜合了很多學(xué)科的知識(shí),例如圖像識(shí)別處理、故障診斷與模態(tài)識(shí)別、人工智能算法以及計(jì)算機(jī)視覺(jué)等等。因此,隨著這些領(lǐng)域的發(fā)展,人體運(yùn)動(dòng)行為分析也在近數(shù)十年間不斷取得突破。人體運(yùn)動(dòng)行為分析有以下幾個(gè)主要的應(yīng)用領(lǐng)域:在智能監(jiān)控系統(tǒng)中,通過(guò)對(duì)步態(tài)分析、人臉識(shí)別等方法可以使整個(gè)系統(tǒng)完成自主分析,該方法主要依靠攝像頭捕捉前端信息,從而為后端的評(píng)判做數(shù)據(jù)預(yù)處理,目前已應(yīng)用在盜竊等危險(xiǎn)情況下的自主預(yù)警,如銀行領(lǐng)域等;其次是智能用戶(hù)接口,機(jī)器人通過(guò)前端的傳感器采集外界信息,從而自動(dòng)感知人的信息,并自動(dòng)獲取和上傳人體的視覺(jué)信息,如手勢(shì)、面部表情等,從而為人機(jī)交互界面更新提供數(shù)據(jù)支撐;運(yùn)動(dòng)分析領(lǐng)域,通過(guò)提取傳感器采集的關(guān)鍵點(diǎn)信息,從而為訓(xùn)練指導(dǎo)提供依據(jù),如體操、田徑訓(xùn)練、舞蹈等。
在計(jì)算機(jī)視覺(jué)基于人體各種運(yùn)動(dòng)分析之中,步態(tài)分析具有重要價(jià)值。步態(tài)分析領(lǐng)域隸屬于生物識(shí)別技術(shù),而其下又包含一主要領(lǐng)域——步態(tài)識(shí)別——一個(gè)通過(guò)人們走路姿勢(shì)對(duì)人們進(jìn)行身份識(shí)別的技術(shù),相較于指紋、臉像識(shí)別等,步態(tài)識(shí)別具有能夠在遠(yuǎn)距離進(jìn)行識(shí)別、與被測(cè)對(duì)象無(wú)需接觸,對(duì)影像的分辨率要求不高、待測(cè)對(duì)象很難偽裝等的特點(diǎn),因而被廣泛應(yīng)用于遠(yuǎn)距離監(jiān)控系統(tǒng)、動(dòng)畫(huà)制作、人機(jī)交互等領(lǐng)域。它的步態(tài)特征的提取與描述的基本流程是:圖像預(yù)處理、場(chǎng)景建模、輪廓提取、基于輪廓的特征信號(hào)描述、輪廓特征信號(hào)處理。而它的識(shí)別又主要包含相似性評(píng)估和分類(lèi)器選擇。
步態(tài)識(shí)別的特征提取決定了識(shí)別的存活率,對(duì)于步態(tài)識(shí)別特征參數(shù)的提取可以分為兩類(lèi)方法:基于模型的步態(tài)識(shí)別,基于統(tǒng)計(jì)特性的步態(tài)識(shí)別。對(duì)于基于模型的步態(tài)識(shí)別方法主要分為三步:首先建立先驗(yàn)?zāi)P?、其次匹配圖像的序列和模型、得出參數(shù)比較結(jié)果即識(shí)別結(jié)果。目前的模型主要有:橢圓模型、人字形模型和鐘擺模型。但是由于基于模型的方法計(jì)算量大,因而計(jì)算速度慢,而缺乏實(shí)時(shí)性。這里主要介紹基于統(tǒng)計(jì)特性的特征參數(shù)提取方法。和傳統(tǒng)的模型法相比而言,其優(yōu)點(diǎn)在于它不需要建立模型,而只需要通過(guò)對(duì)研究的對(duì)象的一些假設(shè),依據(jù)圖像序列中目標(biāo)函數(shù)在時(shí)間空間狀態(tài)下移動(dòng)的多類(lèi)統(tǒng)計(jì)值,從而得到步態(tài)中蘊(yùn)含的特征參數(shù)。已知主要應(yīng)用有:文獻(xiàn)【1】依據(jù)光流圖像來(lái)獲取頻率以及相位特征從而識(shí)別個(gè)人;文獻(xiàn)【2】采取的是以步行人的輪廓寬度特征進(jìn)行識(shí)別。由于基于統(tǒng)計(jì)特性計(jì)算量小,因而更具有實(shí)時(shí)性而被更廣泛地應(yīng)用于實(shí)際。
除了步態(tài)特征提取,特征匹配是步態(tài)識(shí)別的另一關(guān)鍵點(diǎn)。步態(tài)輪廓特征匹配分為靜態(tài)匹配和動(dòng)態(tài)匹配。輪廓靜態(tài)幀特征匹配關(guān)注單幀圖像形狀特點(diǎn),文獻(xiàn)【3】直接對(duì)輪廓外形之間的互相關(guān)的統(tǒng)計(jì)量進(jìn)行比較,文獻(xiàn)【4-7】則依據(jù)輪廓解卷繞把邊緣的信息編碼為一維的形式。但由于靜態(tài)特征不含時(shí)域信息,且由于細(xì)節(jié)捕捉能力差導(dǎo)致區(qū)分局部的不相似度困難,因而正確分類(lèi)率不高。相較之下,輪廓?jiǎng)討B(tài)特征匹配則關(guān)注各幀圖像之間的關(guān)系,并建立基于完整周期序列特征的模型,文獻(xiàn)【8】對(duì)整個(gè)序列輪廓邊緣進(jìn)行離散傅里葉變換取得序列時(shí)變傅里葉的描述量,但由于提取特征信息損失大而精度低;文獻(xiàn)【9-10】構(gòu)造視頻鎖相環(huán)的同步相圖來(lái)識(shí)別個(gè)人特征,然后比較序列相似度,但計(jì)算量大;還有一種方法是主元分析,以圖尋找最優(yōu)主元的線性組合重建原有樣本,并最小化重建后樣本與原樣本誤差。
例如使用OpenPose對(duì)人的軀干、四肢甚至手指進(jìn)行跟蹤,并進(jìn)行姿勢(shì)估計(jì),單人多人皆適用,具有較好魯棒性。而基于此的OpenMMD則可將真人視頻轉(zhuǎn)化為3D模型動(dòng)畫(huà),具有良好娛樂(lè)性及發(fā)展前景。
2 研究方法
隨著攝影與膠片技術(shù)的發(fā)展,相機(jī)能夠捕捉、揭示與動(dòng)物主要是人類(lèi)運(yùn)動(dòng)的細(xì)節(jié)序列圖像,而這些并不能被人類(lèi)裸眼觀測(cè)到。因此,本文將利用攝像頭在街頭補(bǔ)貨視頻(圖2),通過(guò)對(duì)單個(gè)行人行走過(guò)程中的每一幀圖片進(jìn)行分析,得到相應(yīng)的步態(tài)數(shù)據(jù)(圖3)。
基于小波分析的步態(tài)特征識(shí)別模型,在特征識(shí)別的階段,首先針對(duì)人體的靜態(tài)特性獲取低緯步態(tài)下的人體運(yùn)動(dòng)步態(tài)特征向量序列,將該靜態(tài)向量序列作為整個(gè)算法識(shí)別的基準(zhǔn)信息,最終給出分類(lèi)結(jié)果,方法流程如圖1所示。
首先采集步態(tài)輪廓下3個(gè)方向的投影進(jìn)而進(jìn)行步態(tài)輪廓特征參數(shù)的掃描,采用實(shí)驗(yàn)驗(yàn)證的方法從而驗(yàn)證步態(tài)特征提取提取的有效性;然后運(yùn)用離散正交小波函數(shù)變換從而實(shí)現(xiàn)對(duì)時(shí)變的步態(tài)特征序列的行列數(shù)據(jù)維數(shù)約簡(jiǎn),從而在一定程度上降低計(jì)算的緯度,同時(shí)抑制步態(tài)輪廓二值化和投影數(shù)據(jù)提取中產(chǎn)生的噪聲;此外為獲得優(yōu)于傳統(tǒng)步態(tài)識(shí)別中廣泛采用的歐式距離度量分類(lèi)法的分類(lèi)性能,本文運(yùn)用支持向量機(jī)訓(xùn)練和應(yīng)用步態(tài)分類(lèi)器進(jìn)行分類(lèi)。
需要指出的是,此處我們使用“步態(tài)能量”這一概念來(lái)定義某一幀動(dòng)畫(huà)中人的行為特征。為定義這一物理量,我們首先需要識(shí)別人的輪廓(或背景輪廓),由于人是運(yùn)動(dòng)的,因此該輪廓可由相鄰兩幅圖中像素變化的點(diǎn)來(lái)識(shí)別。數(shù)學(xué)上即計(jì)算兩幅相鄰圖像對(duì)應(yīng)點(diǎn)像素的差值,如差值為0即為背景。進(jìn)一步,將背景像素定義為“全黑”(RGB:0,0,0),將行人輪廓以?xún)?nèi)區(qū)域定義為“全白”(RGB:255,255,255)(圖4)。那么,“步態(tài)能量”就可定義如下,
式中,分別表示圖像的像素編碼,
為像素。在t時(shí)間段內(nèi),步態(tài)能量隨時(shí)間變化的相關(guān)關(guān)系。
特征向量集構(gòu)成如下:
(1)對(duì)二值輪廓圖進(jìn)行水平投影掃描來(lái)獲得規(guī)整列向量I1(維數(shù):148*1);
(2)對(duì)二值輪廓圖進(jìn)行垂直投影掃描來(lái)獲得規(guī)整列向量I2(維數(shù):88*1);
(3)對(duì)二值輪廓圖進(jìn)行斜向投影掃描來(lái)獲得規(guī)整列向量I3(維數(shù):172*1);
(4)將向量I1、I2、I3順序級(jí)聯(lián),合并構(gòu)成規(guī)整列向量I(維數(shù):408*1)。
3 結(jié)論分析
將相鄰兩點(diǎn)間的時(shí)間(圖中橫坐標(biāo)為幀標(biāo)號(hào))定義為步態(tài)的半個(gè)周期,那么由此就可以近似得到某一時(shí)刻對(duì)應(yīng)的頻率。結(jié)果顯示小波分析的第二分階層已經(jīng)可以較為近似地反映出步態(tài)的運(yùn)動(dòng)頻率。
通過(guò)對(duì)不同人群進(jìn)行步態(tài)分析得到相應(yīng)的步態(tài)數(shù)據(jù),我們可以建立相應(yīng)的運(yùn)動(dòng)數(shù)據(jù)庫(kù)。如在體育競(jìng)技方面,通過(guò)對(duì)頂級(jí)田徑運(yùn)動(dòng)員賽跑各個(gè)階段的步伐頻率分析,來(lái)指導(dǎo)和訓(xùn)練學(xué)員進(jìn)行科學(xué)的階段性訓(xùn)練;通過(guò)對(duì)肢體手術(shù)后康復(fù)人員臂力訓(xùn)練的運(yùn)動(dòng)頻率進(jìn)行分析,得到相應(yīng)肌群恢復(fù)與訓(xùn)練強(qiáng)度之間的關(guān)系,從而建立更有針對(duì)性的個(gè)性恢復(fù)計(jì)劃;再如,通過(guò)手機(jī)等移動(dòng)終端收集人的手指運(yùn)動(dòng)信號(hào),來(lái)設(shè)計(jì)不同頻率的指令,從而實(shí)現(xiàn)更少的鍵盤(pán)操作,增強(qiáng)用戶(hù)體驗(yàn)的便捷性和趣味性??傊?,對(duì)人體運(yùn)動(dòng)行為的實(shí)時(shí)模擬和分析將是未來(lái)人工智能的一大趨勢(shì),也是發(fā)展穿戴式智能設(shè)備的一個(gè)重要功能。在這類(lèi)應(yīng)用中,小波分析由于其對(duì)時(shí)間和頻率的雙重刻畫(huà),更加凸顯了其數(shù)學(xué)應(yīng)用的地位。
參考文獻(xiàn)
[1] Barclay C D,Cutting J E,Kozlowski L T. Temporal and spatial factors in gait perception that influence gender recognition[J]. Perception & psychophysics,1978,23(2):145-152.
[2] Fink,Bernhard,et al.?Female Perceptions of Male Body Movements.?Evolutionary Perspectives on Human Sexual Psychology and Behavior. Springer New York,2014.
[3] Giudice,Nicholas A.,et al. "Spatial learning and navigation using a virtual verbal display."?ACM Transactions on Applied Perception7.1(2010):1-22.
[4] 王鵬峰,and 程銘. "小波特征和協(xié)同表示的步態(tài)識(shí)別研究."?中國(guó)計(jì)量大學(xué)學(xué)報(bào)?3(2017).
[5] 涂斌斌,et al. "一種使用自適應(yīng)小波去噪和SIFT描述符的步態(tài)識(shí)別研究."?小型微型計(jì)算機(jī)系統(tǒng)?v.39.06(2018):254-258.
[6] 王竣,and 王修暉. "特征融合的多視角步態(tài)識(shí)別研究."?中國(guó)計(jì)量大學(xué)學(xué)報(bào)?2(2017).
[7] 馬華兵.?基于機(jī)器學(xué)習(xí)和多視角信息融合的步態(tài)識(shí)別系統(tǒng)的研究. Diss. 西安理工大學(xué),2008.
[8] 趙草原.?機(jī)器學(xué)習(xí)在可穿戴人體外骨骼系統(tǒng)步態(tài)識(shí)別中的應(yīng)用研究. Diss. 電子科技大學(xué).
[9] 姚健,and 張乾勇. "人體步態(tài)數(shù)據(jù)測(cè)量系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)."?電子測(cè)量技術(shù)?08(2017):189-193.
[10] 高云園,et al. "基于多源信息融合的膝上假肢步態(tài)識(shí)別方法."?儀器儀表學(xué)報(bào)?31.12(2010):2682-2688.