一種基于CNN算法的步態(tài)識(shí)別模型研究

張亦鳴 王秋軼 吳梓睿 李文琳 朱鵬宇 丁浩

摘要：為解決傳統(tǒng)步態(tài)識(shí)別模型訓(xùn)練時(shí)間長、識(shí)別準(zhǔn)確率低等問題，文章構(gòu)建了能夠進(jìn)行深度學(xué)習(xí)的行走時(shí)步態(tài)特征數(shù)據(jù)庫，通過對所選取特征的特定性、關(guān)聯(lián)性和穩(wěn)定性的研究，建立步態(tài)特征矩陣，利用Tensorflow設(shè)計(jì)CNN算法進(jìn)行深度學(xué)習(xí)，使其能夠自動(dòng)實(shí)現(xiàn)基于行走時(shí)步態(tài)特征的個(gè)人識(shí)別。在27名實(shí)驗(yàn)者情況下，該模型的識(shí)別準(zhǔn)確率可達(dá)99%以上，且訓(xùn)練時(shí)間較短，優(yōu)于目前已發(fā)表的其他模型，對構(gòu)建更大數(shù)據(jù)庫的識(shí)別系統(tǒng)具有啟發(fā)意義。

關(guān)鍵詞：步態(tài)識(shí)別；CNN算法；深度學(xué)習(xí)

中圖分類號(hào)：TP183? 文獻(xiàn)標(biāo)志碼：A

0 引言

隨著時(shí)代和科學(xué)技術(shù)的發(fā)展，出現(xiàn)越來越多的身份識(shí)別技術(shù)，如肖軍［1］、張震［2］、姚越武［3］等在人臉識(shí)別、虹膜識(shí)別和指紋等的研究成果獲得廣泛應(yīng)用。步態(tài)識(shí)別技術(shù)作為生物識(shí)別的新興技術(shù)［4-6］，雖然近年來獲得關(guān)注和發(fā)展，但由于特征穩(wěn)定性不及前文所述的特征，神經(jīng)網(wǎng)絡(luò)的計(jì)算較為復(fù)雜等原因，尚未得到普及。

筆者通過查閱文獻(xiàn)等方式，發(fā)現(xiàn)當(dāng)前步態(tài)識(shí)別技術(shù)主要存在如下局限性：（1）尚無法實(shí)現(xiàn)個(gè)體的識(shí)別，只能實(shí)現(xiàn)對某些特定特征的種類識(shí)別。（2）直接利用原始坐標(biāo)數(shù)據(jù)進(jìn)行訓(xùn)練，計(jì)算量較大，且容易受到人所在的絕對位置的影響。

為減小計(jì)算量的同時(shí)保證識(shí)別的準(zhǔn)確性，本實(shí)驗(yàn)構(gòu)建了能夠進(jìn)行深度學(xué)習(xí)的行走步態(tài)特征數(shù)據(jù)庫，在訓(xùn)練前提取步態(tài)特征矩陣，并對其特定性、穩(wěn)定性和相互關(guān)聯(lián)程度進(jìn)行了論證，在減小后續(xù)訓(xùn)練計(jì)算量的同時(shí)實(shí)現(xiàn)了信息的挖掘，避免了人每次所在絕對位置的不同帶來的誤差。利用CNN算法進(jìn)行深度學(xué)習(xí)訓(xùn)練，以期得到較優(yōu)的訓(xùn)練結(jié)果，為構(gòu)建更大規(guī)模個(gè)體身份識(shí)別數(shù)據(jù)庫和計(jì)算方法提供相關(guān)技術(shù)支持。

1 數(shù)據(jù)采集

本實(shí)驗(yàn)采集了27名實(shí)驗(yàn)者，均健康狀況良好，無明顯不良行走習(xí)慣。本實(shí)驗(yàn)使用英國 Vicon三維運(yùn)動(dòng)捕捉系統(tǒng)。系統(tǒng)以主動(dòng)紅外捕捉的方式獲取Marker點(diǎn)坐標(biāo)。精確度和分辨率可以滿足實(shí)驗(yàn)要求［7］。采集過程如下：

（1）定義原點(diǎn)并校準(zhǔn)XYZ軸。其中，X軸方向?yàn)榭臻g前后方向，Y軸方向?yàn)榭臻g左右方向，Z軸為空間上下方向［8］。

（2）實(shí)驗(yàn)者佩戴Marker點(diǎn)設(shè)備，佩戴部位如圖1所示。右足：第五趾前端（Marker 1）和足跟外側(cè)最突處（Marker 2）；左足：兩個(gè)第五趾前端（Marker 3）和足跟外側(cè)最突處（Marker 4）。下肢共16個(gè)Marker點(diǎn)，分別為：左小腿佩戴儀（Marker 5，6，9，10），右小腿佩戴儀（Marker 7，8，11，12），左大腿佩戴儀（Marker13，14，17，18），右大腿佩戴儀（Marker 15，16，19，20）。左右手臂共6個(gè)Marker點(diǎn)，分別為左右手臂肱骨大結(jié)節(jié)處，左右手臂肘關(guān)節(jié)鷹嘴處，左右手臂橈骨遠(yuǎn)端

骨骺（左臂Marker點(diǎn)依次為Marker 25，23，21，右臂Marker點(diǎn)依次為Marker 26，24，22）。腰部佩戴儀4個(gè)Marker點(diǎn)（Marker 27，28，29，30）。

（1） 實(shí)驗(yàn)者沿X軸正方向自然行走，系統(tǒng)以100 Hz/s的頻率采集各個(gè)Marker點(diǎn)的三維坐標(biāo)。

（2） 多次采集，每名實(shí)驗(yàn)者采集20次。

2 步態(tài)特征模型建立

2.1 周期截取

數(shù)據(jù)采集時(shí)以一個(gè)復(fù)步為周期。考慮到人的單次普通步行過程可以分為起足、碾足、落足3個(gè)階段，故每個(gè)周期步的計(jì)時(shí)從左腳起足即足根部離開地面開始，到左腳第二次完成落足即足尖落至地面結(jié)束。繪制左足第五趾骨高度和左足足跟高度隨時(shí)間變化的圖像。通過最小峰值間隔MRD、峰值兩側(cè)最小相對高度MRH識(shí)別出所有峰，定義識(shí)別出的第一個(gè)峰時(shí)間為T1，最后一個(gè)峰對應(yīng)的為T2，從而定義一個(gè)模型周期T。計(jì)算方式如下：

offset=［200-T1+T2］/2（1）

T=（T2+offset）-（T1-offset）（2）

式（2）中，（T1-offset）為周期起始幀，（T2+offset）為周期結(jié)束幀。本實(shí)驗(yàn)中MRD=35，MRH=8。

2.2 特征選取

為了表述方便，本文以Ni表示編號(hào)為i的Marker點(diǎn)，以Xi、Yi、Zi分別表示編號(hào)為i的Marker點(diǎn)的X、Y、Z軸坐標(biāo)。利用空間幾何的方法對如下特征進(jìn)行計(jì)算：

t時(shí)刻左右肘關(guān)節(jié)角度為αt1和αt2，使用大臂和小臂的夾角來表示，以右臂為例其計(jì)算方法為：

αt1=arccosN23N21·N23N25N23N21×N23N25（3）

αt2的計(jì)算與之類似。

t時(shí)刻左右大臂相對于在XZ平面上相對于Z軸的擺動(dòng)角度為βt1和βt2，以右臂為例其計(jì)算方法為：

βt1=arctanY23-Y25X23-X25（4）

βt2的計(jì)算與之類似。

t時(shí)刻左右膝關(guān)節(jié)在XZ平面投影的角度為γt1和γt2，反映了膝關(guān)節(jié)在前后方向上的角度變化；在YZ平面投影的角度δt1和δt2反映了是否存在X形腿、O形腿。設(shè)Marker 17，18、Marker 13，14、Marker 9，10、Marker 5，6的中點(diǎn)依次為點(diǎn)A、B、C、D，則其計(jì)算方法為：

γt1=arccos（XA-XB）×（XD-XC）+（ZA-ZB）×（ZD-ZC）（（XA-XB）2+（（ZA-ZB）2×（（XD-XC）2+（（ZD-ZC）2（5）

δt1=arccos（YA-YB）×（YD-YC）+（ZA-ZB）×（ZD-ZC）（（YA-YB）2+（（ZA-ZB）2×（（YD-YC）2+（（ZD-ZC）2（6）

γt2、δt2的計(jì)算方式與之類似。

t時(shí)刻左右踝關(guān)節(jié)角度為εt1和εt2，其計(jì)算方法為：

εt1=arccosN3N1·DCN3N1×DC（7）

εt2的計(jì)算方式與之類似。

t時(shí)刻肩部兩端的連線擺動(dòng)與Y軸形成的角度為θt，計(jì)算方法為：

θt=arctanY26-Y25X26-X25（8）

t時(shí)刻腰部擺動(dòng)與Y軸形成的角度為t，設(shè)Marker 27，29、Marker 28，30的中點(diǎn)分別為I、J，其計(jì)算方法為：

t=arctanYJ-YIXJ-XI（9）

t時(shí)刻雙足夾角為μt，反映了人行走時(shí)雙腳外展、直行或內(nèi)收的情況，其計(jì)算方法為：

μt=arccosN23N21·N23N25N23N21×N23N25（10）

t時(shí)刻左右手腕部與腰部中點(diǎn)Y坐標(biāo)的差值為dt1和dt2，反映了手臂內(nèi)擺程度的變化。設(shè)Marker27，28的中點(diǎn)為K，則其計(jì)算方法為：

dt1=Y21-YK（11）

dt2的計(jì)算方式與之類似。

t時(shí)刻左右足跟與腰部中點(diǎn)Y坐標(biāo)的差值為dt3和dt4，反映了行走時(shí)步寬的情況。其計(jì)算方法為：

dt3=Y3-YK（12）

dt4的計(jì)算方式與之類似。

每次采集的數(shù)據(jù)經(jīng)過如上模型計(jì)算后得到步態(tài)特征矩陣Aji（i表示實(shí)驗(yàn)對象編號(hào)，j表示該實(shí)驗(yàn)對象的測量次數(shù)）。

2.3 對所選特征的考察與論證

特定性：將2.2節(jié)得到的步態(tài)特征矩陣以實(shí)驗(yàn)者為單位進(jìn)行合并，分別檢驗(yàn)每個(gè)特征在不同實(shí)驗(yàn)者之間是否具有顯著差異性。以特征為單位分別進(jìn)行方差齊性檢驗(yàn)后，用不假定等方差中的塔姆黑尼檢驗(yàn)。顯著性結(jié)果為0.05時(shí)，各個(gè)特征在不同個(gè)體之間具有顯著性差異的組數(shù)占總組數(shù)的比例均在90%左右，表明可以以此為依據(jù)區(qū)別個(gè)體。

關(guān)聯(lián)性：利用偏相關(guān)分析研究特征之間相互影響的程度，并將相關(guān)性系數(shù)作為考察指標(biāo)。檢驗(yàn)結(jié)果表明，相關(guān)系數(shù)普遍分布在［-0.2，+0.2］之間，說明特征之間相互關(guān)聯(lián)的程度較低，各個(gè)特征之間具有較強(qiáng)的獨(dú)立性，它們的相互組合是有意義的。

穩(wěn)定性：利用成對樣本T檢驗(yàn)考察特征在同一個(gè)體的穩(wěn)定性，并以顯著性水平0.05作為評(píng)判依據(jù)。結(jié)果表明，各個(gè)特征穩(wěn)定性在55%～70%左右?？紤]到實(shí)驗(yàn)者在各次采集中所穿著的衣物、鞋子以及身體狀態(tài)不同，符合現(xiàn)實(shí)中步態(tài)識(shí)別的客觀要求，故可以認(rèn)為特征具有相對穩(wěn)定性。

3 CNN訓(xùn)練模型

對每個(gè)特征矩陣，以列為單位線性歸一化（Min-Max Scaling）。為減少數(shù)據(jù)量偏少的影響，對每個(gè)個(gè)體的特征矩陣進(jìn)行復(fù)制3倍擴(kuò)充數(shù)據(jù)。

本模型結(jié)構(gòu)由3個(gè)“卷積層—池化層”相連，最終由全連接層輸出。

本模型其他主要超參數(shù)介紹如下：學(xué)習(xí)速率為0.01，迭代次數(shù)（Epoch）為50，卷積層使用Relu函數(shù)作為激活函數(shù)，池化層進(jìn)行2×2大小的Maxpooling計(jì)算。全連接層使用Softmax作為激活函數(shù)。為提高模型的泛化能力，設(shè)置神經(jīng)元的隨機(jī)失活率為0.5。損失函數(shù)使用交叉熵函數(shù)，與Softmax聯(lián)合使用，用它來衡量網(wǎng)絡(luò)的輸出與標(biāo)簽的差異，利用這種差異經(jīng)過反向傳播去更新網(wǎng)絡(luò)參數(shù)。

4 實(shí)驗(yàn)結(jié)果與分析

在訓(xùn)練50輪后，loss為0.022 8 ，accuracy為0.993 8 ，val_loss為0.0174 ，val_accuracy為0.993 8，并已經(jīng)收斂。

Macro-F1是一種衡量多標(biāo)簽分類精確度的一種指標(biāo)，是查準(zhǔn)率和精確率的調(diào)和平均數(shù)。經(jīng)過50輪訓(xùn)練后F1_score可以達(dá)到0.991 849，表明模型具有較高的識(shí)別準(zhǔn)確率和可信度。

5 結(jié)語

在27人的樣本下，與現(xiàn)有模型相比，該模型的訓(xùn)練耗時(shí)更短、準(zhǔn)確率更高。由于硬件設(shè)備等原因，目前難以構(gòu)建規(guī)模更大的數(shù)據(jù)庫，尚無法驗(yàn)證提出的步態(tài)識(shí)別模型是否可以實(shí)現(xiàn)大規(guī)模應(yīng)用的要求。但對于小范圍內(nèi)的不同人，已經(jīng)擁有了很高的精度。因此，在將來采集設(shè)備進(jìn)一步發(fā)展，采集數(shù)據(jù)更加方便的情形下，本文可以為構(gòu)建更加高效的模型提供理論依據(jù)。

參考文獻(xiàn)

［1］肖軍.人臉識(shí)別技術(shù)在追逃工作中的應(yīng)用現(xiàn)狀與展望［J］.刑事技術(shù)，2016（2）：137-141.

［2］張震，劉博，李龍.一種多特征提取及融的虹膜識(shí)別方法［J］.鄭州大學(xué)學(xué)報(bào)（工學(xué)版），2017（1）：63-67.

［3］姚越武，丁宏，馬繼雄，等.指紋自動(dòng)識(shí)別系統(tǒng)多種算法互補(bǔ)能力研究［J］.刑事技術(shù)，2017（5）：385-388.

［4］LEES A，VANRENTERGHEM J. The energetics and benefit of an arm swing in submaximal and maximal vertical jump performance［J］.Journal of Sports Sciences，2006（1）：51-57.

［5］王亮，胡衛(wèi)明，譚鐵牛.基于步態(tài)特征的身份識(shí)別［J］.計(jì)算機(jī)學(xué)報(bào)，2003（3）：353-360.

［6］趙黎麗，侯正信.步態(tài)識(shí)別問題的特點(diǎn)及研究現(xiàn)狀［J］.中國圖像圖形報(bào)，2006（2）：151-161.

［7］馬越，丁浩.人行走過程中膝關(guān)節(jié)角度特征研究［J］.刑事技術(shù)，2019（4）：322-326.

［8］王閃閃.GPS單基線姿態(tài)測量系統(tǒng)研究［D］.長春：長春理工大學(xué)，2010.

（編輯 王永超）

Research on a gait recognition model based on CNN algorithm

Zhang? Yiming， Wang? Qiuyi， Wu? Zirui， Li? Wenlin， Zhu? Pengyu， Ding? Hao*

（Jiangsu Police Institute， Nanjing 210000， China）

Abstract：? In order to solve the problems of long training time and low recognition accuracy of traditional gait recognition models， a walking gait feature database capable of deep learning is built. Through the study of the specificity， relevance and stability of the selected features， a gait feature matrix is established. The CNN algorithm designed by Tensorflow is used for deep learning， so that it can automatically realize personal recognition based on walking gait features. In the case of 27 experimenters， the recognition accuracy of the model can reach more than 99%， and the training time is shorter， which is superior to other published models. It is instructive for building a recognition system with a larger database.

Key words： gait recognition; CNN algorithm; deep learning