基于改進(jìn)時空步態(tài)圖的步態(tài)識別

蔣敏蘭，吳 穎，陳昊然

(浙江師范大學(xué) 物理與電子信息工程學(xué)院，浙江 金華 321001)

0 引言

步態(tài)識別是根據(jù)不同個體間的步態(tài)差異進(jìn)行身份識別的技術(shù)，可實現(xiàn)遠(yuǎn)距離、隱蔽的身份識別，在智能視頻監(jiān)控領(lǐng)域應(yīng)用廣泛[1]。步態(tài)識別的性能主要取決于步態(tài)特征的提取和分類器的選擇，所以在研究步態(tài)特征時，如何最大化提取行人步態(tài)運動中的動態(tài)特征和靜態(tài)特征，是提高步態(tài)識別準(zhǔn)確率的關(guān)鍵。

目前，已有的步態(tài)識別方法分為基于模型和基于圖像兩種[1]?；谀Ｐ偷牟綉B(tài)識別方法[2-9]主要根據(jù)人體結(jié)構(gòu)對下肢步態(tài)運動進(jìn)行建模。這類方法直接使用人體靜態(tài)或關(guān)節(jié)點動態(tài)變化參數(shù)作為步態(tài)特征，在一定程度上能處理遮擋和噪聲。該方法首先要準(zhǔn)確定位人體關(guān)節(jié)點的位置，以關(guān)節(jié)點間的規(guī)律變化作為區(qū)分身份的重要特征。而僅依賴步態(tài)輪廓圖的關(guān)節(jié)點定位容易受到圖像噪聲影響，且建模過程時間長、復(fù)雜，很難抽取出步態(tài)運動的本質(zhì)。基于圖像的步態(tài)識別方法[10-19]，主要對人體步態(tài)圖像的二值化輪廓、外形原始圖像等進(jìn)行特征提取從而進(jìn)行身份識別。但基于圖像的步態(tài)識別方法忽略了步態(tài)運動中身體各關(guān)節(jié)點規(guī)律變化的特征，當(dāng)改變視角導(dǎo)致步態(tài)輪廓發(fā)生一定程度的形變時，能直接影響步態(tài)識別精度。顯然基于圖像的步態(tài)識別方法在簡單條件下識別精度較高且計算簡單，而在視角或攜帶物品發(fā)生改變等復(fù)雜環(huán)境下魯棒性還不夠。

基于圖像的步態(tài)識別方法在一定條件下識別精度高、計算高效，在一定程度上優(yōu)于基于模型的方法。但是在解決遮擋、跨視角等復(fù)雜環(huán)境下，基于模型的步態(tài)識別方法有著明顯的優(yōu)勢。所以，針對基于圖像步態(tài)識別復(fù)雜環(huán)境下準(zhǔn)確率低，而基于模型步態(tài)識別平均準(zhǔn)確率低、效率不高的問題，本文將基于模型和圖像的步態(tài)識別方法結(jié)合起來，提出一種改進(jìn)時空步態(tài)圖及特征融合策略，結(jié)合機(jī)器學(xué)習(xí)算法進(jìn)行步態(tài)識別研究。

1 關(guān)節(jié)點定位及動態(tài)特征

基于模型的步態(tài)識別方法是最早應(yīng)用在步態(tài)識別上的方法之一，通過分析人體結(jié)構(gòu)及步態(tài)運動中姿態(tài)的周期性變化，將人體各部分簡單地分成軀干、四肢、頭等幾部分，如五連桿步態(tài)模型。近年來大量學(xué)者不斷優(yōu)化關(guān)節(jié)定位算法，提高在步態(tài)輪廓圖上關(guān)節(jié)點定位精度。在此基礎(chǔ)上若對整個步態(tài)輪廓圖建模，提取全身主要關(guān)節(jié)點作為步態(tài)特征顯然效率低下，且未區(qū)分最具表征性步態(tài)特征。而步態(tài)運動主要活動區(qū)域在下肢，因此，本文僅對下肢簡單建模，抽取下肢主要關(guān)節(jié)點作為主要步態(tài)特征。通過優(yōu)化基于模型的步態(tài)特征，以解決下肢動態(tài)特征維度不足的問題。

1.1 下肢關(guān)節(jié)定位

假設(shè)人體高度為H，根據(jù)人體解剖學(xué)原理，髖關(guān)節(jié)的縱坐標(biāo)為從頭頂往下0.47H的高度，記為y0。在0.47H處橫向掃描得到人體輪廓寬度L，則髖關(guān)節(jié)的橫坐標(biāo)為L/2，記為x0，即髖關(guān)節(jié)坐標(biāo)為(x0，y0)。

膝關(guān)節(jié)點：人行走過程中，大腿上半部分可以看作圍繞髖關(guān)節(jié)點做前后鐘擺運動[16]。因此，根據(jù)膝關(guān)節(jié)運動軌跡，圓心為髖關(guān)節(jié)坐標(biāo);半徑為大腿上半部分長l1，其長度為0.245H。由以下公式計算膝關(guān)節(jié)橫、縱坐標(biāo)[16]：

(1)

(2)

其中，(x1,y1)、(x2,y2)分別為左右膝關(guān)節(jié)的橫、縱坐標(biāo)，θ1、θ2為髖關(guān)節(jié)、左右膝關(guān)節(jié)間直線段與豎直方向的夾角，l1為大腿上半部分長度。膝關(guān)節(jié)定位如圖1(a)所示，以髖關(guān)節(jié)(x0，y0)為圓心，從左往右做向下半圓掃描，當(dāng)?shù)谝淮闻龅较袼攸c為大于100可標(biāo)記為左腳膝關(guān)節(jié)外邊緣，第二次碰到大于100可標(biāo)記為左腳膝關(guān)節(jié)內(nèi)邊緣，取內(nèi)外兩坐標(biāo)的平均值，即可得到左膝關(guān)節(jié)坐標(biāo)。同理可得到右膝關(guān)節(jié)坐標(biāo)。為了便于區(qū)分，將左膝關(guān)節(jié)坐標(biāo)標(biāo)記為(x1,y1)，右膝關(guān)節(jié)坐標(biāo)標(biāo)記為(x2,y2)。

踝關(guān)節(jié)點：與膝關(guān)節(jié)定位原理相同，人體行走時，小腿以膝關(guān)節(jié)為軸心、小腿長(0.246H)為半徑做圓周擺運動。以此確定踝關(guān)節(jié)坐標(biāo)。同樣踝關(guān)節(jié)也分為左右關(guān)節(jié)。采取以左膝關(guān)節(jié)(x1，y1)為圓心，從左往右做向下半圓掃描，當(dāng)?shù)谝淮闻龅较袼攸c為大于100可標(biāo)記為左腳踝關(guān)節(jié)外邊緣，第二次碰到大于100可標(biāo)記為左腳內(nèi)邊緣，取內(nèi)外兩坐標(biāo)的平均值，即可得到左踝關(guān)節(jié)坐標(biāo)。同理可得到右踝關(guān)節(jié)坐標(biāo)。為了便于區(qū)分，將左踝關(guān)節(jié)坐標(biāo)標(biāo)記為(x3,y3)，右踝關(guān)節(jié)坐標(biāo)標(biāo)記為(x4，y4)，可采用畫圓弧的方法定位踝關(guān)節(jié)。

(3)

(4)

公式(3)為左踝關(guān)節(jié)的表達(dá)式，(x1,y1)為左膝關(guān)節(jié)的橫、縱坐標(biāo)，θ3為左膝關(guān)節(jié)、左踝關(guān)節(jié)間直線段與豎直方向的夾角，l2為小腿長度。同理公式(4)中，(x2，y2)為右膝關(guān)節(jié)的橫、縱坐標(biāo)，θ4為右膝關(guān)節(jié)、右踝關(guān)節(jié)間直線段與豎直方向的夾角，l2為小腿長度。踝關(guān)節(jié)定位如圖1(b)所示。

1.2 動態(tài)特征

如圖1(c)所示，獲得關(guān)節(jié)點信息后，文獻(xiàn)[13-15]中分別提取關(guān)節(jié)點間四個角度θ1，θ2，θ3，θ4作為步態(tài)運動中的動態(tài)特征。

(5)

圖1 下肢關(guān)節(jié)定位示意圖

因每個人的身高差異且行走習(xí)慣等不同，導(dǎo)致人在步態(tài)運動中，不同的人步幅的差異相比于其他關(guān)節(jié)點間角度的變化更為明顯，而髖關(guān)節(jié)與左右踝關(guān)節(jié)間的角度能直接反映出步幅狀態(tài)。具體如圖2所示，不同行人A，B，C在一段序列上的步幅特征有著明顯的差異(為了效果更加明顯取的步態(tài)序列更長)，故本文在動態(tài)特征θ1，θ2，θ3，θ4的基礎(chǔ)上加入髖關(guān)節(jié)與左右踝關(guān)節(jié)的角度θ5，以構(gòu)成一個新的動態(tài)特征集：S= [θ1，θ2，θ3，θ4，θ5]。其中，

(6)

圖2 不同行人的步幅特征

2 改進(jìn)時空步態(tài)圖

2.1 步態(tài)模板

不同于人臉、指紋等其他生物識別特征，人的步態(tài)運動特征可以看成身體上各個部分規(guī)律運動的集合。所以不能以單張步態(tài)輪廓圖作為識別的樣本。因此，文獻(xiàn)[8]首次提出可以用一個綜合步態(tài)模板GEI來代表一段步態(tài)序列，GEI通過將周期內(nèi)的步態(tài)輪廓圖平均疊加所得，合成效果如圖3(a)所示。GEI不僅能減少步態(tài)輪廓噪聲帶來的影響，還保留了原人體靜態(tài)特征且計算高效，取得了不錯的效果。CGI則借鑒GEI的思想，首次將時序信息以偽色彩的形式加入步態(tài)模板，合成效果如圖3(b)所示，與GEI相比取得了更好的效果。通過對比效果圖3(a)、圖3(b)，GEI與CGI均依賴于步態(tài)輪廓，對于視角、攜帶物引起的輪廓形變?nèi)匀蛔R別精度不高，而基于模型的關(guān)節(jié)動態(tài)特征能有效克服遮擋、跨視角的影響。因此，有必要引入人體建模的思想，將時序特征和下肢關(guān)節(jié)點動態(tài)特征結(jié)合起來，在步態(tài)模板增加時序信息的同時，能突出下肢關(guān)節(jié)點間的規(guī)律變化。那么由此所合成的步態(tài)模板是否更具魯棒性，本文從這點出發(fā)，對改進(jìn)時空步態(tài)模板展開研究。

2.2 改進(jìn)時空步態(tài)圖

基于GEI和CGI兩類步態(tài)模板的局限性，本文希望以偽色彩突出步態(tài)模板時序信息的基礎(chǔ)上，引入下肢關(guān)節(jié)點動態(tài)特征。延續(xù)文獻(xiàn)[11]中利用偽色彩描述時序的思想，提出一種改進(jìn)時空步態(tài)圖，將時序信息以彩色線條的形式加在關(guān)節(jié)點間，在加入時序信息的基礎(chǔ)上，更加突出關(guān)節(jié)點在步態(tài)運動過程中的規(guī)律變化。具體做法為：將通過建模獲得的下肢關(guān)節(jié)點定位信息，并把髖關(guān)節(jié)和左、右膝、踝關(guān)節(jié)的距離連線，通過偽色彩編碼技術(shù)，將關(guān)節(jié)間連線編碼畫成不同顏色，以獲得關(guān)節(jié)間包含時空信息的改進(jìn)時空步態(tài)圖。偽色彩映射公式如式(7)所示：

(7)

其中，Rkt,Gkt,Bkt分別為單幀步態(tài)圖中的紅、綠、藍(lán)三個顏色分量，kt= (Wt-Wmin)/(Wmax-Wmin)，Wi表示兩條腿分開的程度，Wmax、Wmin表示一個周期內(nèi)兩條腿分開的最大距離和最小距離,I為像素的最大值255。編碼后的第t幀圖像Ct(x,y)可以表示為：

(8)

其中,L為髖關(guān)節(jié)與膝、踝關(guān)節(jié)間的連線，改進(jìn)時空步態(tài)圖ICGI(x,y)可定義為：

(9)

其中，ICGI(x,y)為改進(jìn)后周期內(nèi)時空步態(tài)圖，N為一個周期內(nèi)輪廓圖片的數(shù)量，Ct(x,y)表示t時刻編碼后的步態(tài)輪廓圖。合成ICGI的整個過程如圖3(a)所示。為了區(qū)別與步態(tài)能量圖(GEI)、時空步態(tài)圖(CGI)的不同，本文列出了GEI與CGI的合成過程，如圖3(b)、3(c)所示。

圖3 步態(tài)模板合成圖

3 基于改進(jìn)時空步態(tài)圖的步態(tài)識別

3.1 特征融合

改進(jìn)時空步態(tài)圖在加入時序信息的基礎(chǔ)上，引入了關(guān)節(jié)點動態(tài)特征，由此獲得的步態(tài)模板顯然包含更豐富的動態(tài)特征。而通過基于圖像特征提取方法，僅是對改進(jìn)后步態(tài)模板輪廓、邊緣、偽色彩線條等特征進(jìn)行提取，較原步態(tài)模板增加了一定的時序特征、動態(tài)特征，一定程度上提高了步態(tài)識別平均精度。但單純依靠圖像特征提取算法顯然無法完全理解加入的動態(tài)特征，故有必要融合基于模型提取到的下肢動態(tài)特征，構(gòu)建一個更加豐富且有效的特征集，來提高各種環(huán)境下步態(tài)識別的平均精度。

3.2 分類器

k近鄰法(KNN)是一種簡單高效的分類算法，其基本思想是：所給定一個測試樣本在特征空間上K個最接近的樣本中的大多數(shù)屬于某一個類別，則該樣本被劃分為這一類別?；诟倪M(jìn)時空步態(tài)圖特征融合模型和KNN的步態(tài)識別分類的步驟如下：

(1)將實驗數(shù)據(jù)集劃分為兩類：訓(xùn)練數(shù)據(jù)集、測試數(shù)據(jù)集。

(2)讀取訓(xùn)練、測試數(shù)據(jù)集，分別提取兩類數(shù)據(jù)集中的樣本(圖像尺寸為M×N×3，則轉(zhuǎn)化成三個M×N矩陣分別提取特征降維處理)，同時取出關(guān)節(jié)點間的動態(tài)特征集S，將RGB三通道處理后的子特征集V1、V2、V3與S級聯(lián)形成一個綜合特征集，以行的形式存入特征矩陣中。遍歷處理所有訓(xùn)練集。

(3)設(shè)置K值(低于測試數(shù)據(jù)集某類樣本數(shù))。

(4)讀取測試數(shù)據(jù)集合，重復(fù)步驟(2)，遍歷測試集合，并存入測試特征矩陣中。

(5)遍歷訓(xùn)練特征矩陣和測試特征矩陣，計算出與測試特征矩陣中每一個樣本相似的K個訓(xùn)練特征樣本，其中K個樣本中標(biāo)簽的多數(shù)類，即為該測試樣本的類別。

(6)統(tǒng)計完測試集中每類樣本的標(biāo)簽，與原標(biāo)簽進(jìn)行對比，遍歷每個測試樣本統(tǒng)計正確率。

4 實驗

本次實驗數(shù)據(jù)集采用中科院自動化所公開的大型步態(tài)數(shù)據(jù)庫CASIA-B。該數(shù)據(jù)庫包含 124人(男93人，女31人)，每人11個視角(0°,18°,36°,54°,72°，90°，108°，126°，144°，162°，180°)，每個視角下有 3種行走狀態(tài)(正常狀態(tài)、大衣狀態(tài)、背包狀態(tài))。

(1)基于改進(jìn)時空步態(tài)圖對比實驗

為了驗證所提改進(jìn)步態(tài)模板的有效性，將步態(tài)模板直接結(jié)合KNN，對比改進(jìn)步態(tài)模板前后的識別效果。在正常狀態(tài)36°～144°視角不變情況下進(jìn)行步態(tài)識別對比實驗。實驗結(jié)果如圖4所示，表明改進(jìn)時空步態(tài)圖能有效提高步態(tài)識別精度。

(2)特征融合后步態(tài)識別對比實驗

為了驗證融合特征后在復(fù)雜環(huán)境下步態(tài)識別的有效性，實驗分別設(shè)置正常狀態(tài)、大衣狀態(tài)、背包狀態(tài)下訓(xùn)練集36°～144°視角下步態(tài)序列(不包含測試視角)，測試集為36°～144°視角下步態(tài)序列。同時加入了文獻(xiàn)[15]實驗數(shù)據(jù)進(jìn)行對比。實驗結(jié)果如圖5～圖7所示，表明所提方法能有效提高視角發(fā)生變化時的步態(tài)識別精度。

圖4 改進(jìn)步態(tài)模板對比實驗

圖5 特征融合后正常狀態(tài)對比實驗

圖6 特征融合后背包狀態(tài)對比實驗

圖7 特征融合后大衣狀態(tài)對比實驗

5 結(jié)論

本文針對基于圖像步態(tài)識別中時空步態(tài)圖(CGI)、步態(tài)能量圖(GEI)的不足，結(jié)合步態(tài)過程中下肢關(guān)節(jié)點間規(guī)律運動的現(xiàn)象，提出一種改進(jìn)時空步態(tài)圖(Improved Chrono Gait Energy Image，ICGI)。將偽色彩映射到下肢關(guān)節(jié)間，在原有加入時序信息的基礎(chǔ)上，引入關(guān)節(jié)點間動態(tài)特征，最大限度地保留步態(tài)模板內(nèi)部動態(tài)信息。通過在CASIA-B數(shù)據(jù)集上的對比實驗，表明基于ICGI的步態(tài)識別相比CGI、GEI精度更高。同時結(jié)合基于模型和基于圖像步態(tài)識別的優(yōu)勢，提出一種特征融合策略。將關(guān)節(jié)間動態(tài)特征和基于ICGI步態(tài)圖特征融合，結(jié)合KNN算法建立步態(tài)識別模型。實驗表明，特征融合后的識別模型能有效提高跨視角步態(tài)識別精度。