可穿戴傳感步態(tài)模式深度學(xué)習(xí)融合判別模型①

談巧玲,吳建寧

(福建師范大學(xué) 數(shù)學(xué)與信息學(xué)院,福州 350117)

近年來(lái),基于戶外環(huán)境獲取步態(tài)數(shù)據(jù)構(gòu)建泛化性能優(yōu)越的機(jī)器學(xué)習(xí)步態(tài)分類模型在步態(tài)模式識(shí)別研究領(lǐng)域受到廣泛關(guān)注,對(duì)于預(yù)防老年人跌倒、老年神經(jīng)性功能疾病診療和康復(fù)評(píng)價(jià)、人體身份鑒別等具有重要意義,已成為目前步態(tài)模式識(shí)別相關(guān)研究領(lǐng)域一個(gè)新的研究探索熱點(diǎn)[1,2].近年來(lái),隨著先進(jìn)數(shù)據(jù)采集技術(shù)快速發(fā)展,一些先進(jìn)的數(shù)據(jù)采集技術(shù)(諸如,計(jì)算機(jī)視頻、無(wú)線雷達(dá)、可穿戴傳感器等)相繼被用來(lái)采集戶外環(huán)境中步態(tài)模式數(shù)據(jù).諸如,一些學(xué)者基于計(jì)算機(jī)視頻采集的步態(tài)圖像數(shù)據(jù),探討了不同視角環(huán)境下的戶外人體步態(tài)模式識(shí)別相關(guān)研究[3];另外一些研究學(xué)者基于無(wú)線雷達(dá)裝置獲取的步態(tài)數(shù)據(jù),探討了蘊(yùn)含微多普勒特征信息的戶外環(huán)境步態(tài)模式識(shí)別研究[4];還有一些學(xué)者基于可穿戴傳感器(加速度計(jì)、陀螺儀、磁力計(jì)等)的步態(tài)數(shù)據(jù),探討了戶外環(huán)境下的步態(tài)模式識(shí)別研究[5].研究發(fā)現(xiàn),便宜、便攜的可穿戴傳感器步態(tài)采集技術(shù)具有適應(yīng)不同戶外應(yīng)用場(chǎng)景、蘊(yùn)含較豐富步態(tài)特征信息量等優(yōu)點(diǎn),可較好避免計(jì)算機(jī)視頻技術(shù)因戶外環(huán)境、人體穿戴衣物遮擋丟失有價(jià)值步態(tài)特征信息、無(wú)線雷達(dá)裝置因外界環(huán)境干擾丟失無(wú)線步態(tài)探測(cè)信號(hào)等局限,有助于提升步態(tài)模式識(shí)別效能,在近年來(lái)相關(guān)研究應(yīng)用較為廣泛.

基于可穿戴傳感器數(shù)據(jù)應(yīng)用機(jī)器學(xué)習(xí)算法探尋泛化性能優(yōu)越的步態(tài)模式識(shí)別模型受到相關(guān)研究持續(xù)高度關(guān)注,其基本思想:能夠充分利用機(jī)器學(xué)習(xí)算法優(yōu)越的數(shù)據(jù)學(xué)習(xí)性能從可穿戴傳感器步態(tài)數(shù)據(jù)中獲得更具代表性的步態(tài)特征信息,提高步態(tài)模式識(shí)別性能.早期,一些研究探討了基于傳統(tǒng)機(jī)器學(xué)習(xí)算法(諸如,決策樹(shù)、多層感知神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)、K-近鄰等)量化分析可穿戴傳感器數(shù)據(jù),嘗試構(gòu)建泛化性能優(yōu)越的步態(tài)模式識(shí)別性能[6,7].諸如,Bao 等[8]探討了基于三軸加速度計(jì)步態(tài)數(shù)據(jù),構(gòu)建ID3 決策樹(shù)步態(tài)模式識(shí)別模型鑒別正常行走、慢跑、爬樓梯等3 種步態(tài)模式,平均識(shí)別率僅為79%.Tahafchi 等探討了應(yīng)用KNN 分類算法從帕金森受試者可穿戴傳感數(shù)據(jù)(包含三軸加速度數(shù)據(jù)、陀螺儀數(shù)據(jù)、磁力計(jì)數(shù)據(jù)以及雙通道的非侵入型的肌電掃描儀數(shù)據(jù))中獲取與帕金森凍結(jié)步態(tài)密切相關(guān)的步態(tài)特征信息,步態(tài)模式識(shí)別率根據(jù)參與者對(duì)象分別達(dá)到91.9%、87.1%、80.9%以及79.9%[9];此外,Nickel 等學(xué)者基于可穿戴傳感器加速度步態(tài)數(shù)據(jù),分別探討了基于支持向量機(jī)、隱形馬爾可夫模型、KNN 分類算法構(gòu)建步態(tài)模式識(shí)別模型相關(guān)研究,其中支持向量機(jī)以及隱形馬爾可夫模型的平均錯(cuò)誤率(Equal Error Rate,EER)分別是10.00%和12.63%,KNN 分類算法的一半總錯(cuò)誤率(Half Total Error Rate,HTER)可達(dá)到8.24%[10,11];研究發(fā)現(xiàn),傳統(tǒng)機(jī)器學(xué)習(xí)算法在處理可穿戴傳感器步態(tài)數(shù)據(jù)識(shí)別步態(tài)模式中具有較低計(jì)算復(fù)雜度等優(yōu)點(diǎn),但因其內(nèi)在線性計(jì)算模型架構(gòu)難以獲取隱含于可穿戴傳感器步態(tài)數(shù)據(jù)內(nèi)在結(jié)構(gòu)中更具代表性的步態(tài)特征信息,難以支撐構(gòu)建泛化性能優(yōu)越的步態(tài)模式識(shí)別模型.近年來(lái),隨著深度學(xué)習(xí)等新興機(jī)器學(xué)習(xí)理論的快速發(fā)展以及在圖像處理等領(lǐng)域成功應(yīng)用,一些學(xué)者嘗試探討基于可穿戴傳感器步態(tài)數(shù)據(jù)構(gòu)建深度學(xué)習(xí)步態(tài)模式識(shí)別模型,其基本思路旨在充分利用深度學(xué)習(xí)算法卓越的數(shù)據(jù)學(xué)習(xí)性能從高維可穿戴傳感步態(tài)數(shù)據(jù)中獲取更具代表性步態(tài)特征信息,提高步態(tài)模式識(shí)別性能.諸如,Zou 等[12]基于可穿戴智能手機(jī)采集的加速度數(shù)據(jù)和陀螺儀數(shù)據(jù),探討了構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)相融合步態(tài)模式識(shí)別模型,嘗試獲取可穿戴傳感步態(tài)數(shù)據(jù)內(nèi)在時(shí)空相關(guān)性特征信息,提高步態(tài)模式識(shí)別性能,研究結(jié)果發(fā)現(xiàn)該方法在行人識(shí)別和身份認(rèn)證中準(zhǔn)確率分別高于93.5%和93.7%.此外,Ding 等[13]研究學(xué)者提出了一種基于可穿戴步態(tài)數(shù)據(jù)(在小腿上佩戴慣性測(cè)量單元收集角速度數(shù)據(jù))的長(zhǎng)短時(shí)記憶算法LSTM的步態(tài)模式識(shí)別模型,旨在通過(guò)長(zhǎng)短時(shí)記憶算法獲取隱含于可穿戴步態(tài)數(shù)據(jù)的時(shí)間相關(guān)性步態(tài)特征信息探測(cè)步態(tài)相位,并利用相位標(biāo)記數(shù)據(jù)對(duì)其進(jìn)行訓(xùn)練,實(shí)驗(yàn)結(jié)果表明識(shí)別準(zhǔn)確率可達(dá)91.4%.近年來(lái)的基于深度學(xué)習(xí)的步態(tài)模式識(shí)別相關(guān)研究雖取得了較好的成果和積極進(jìn)展,但仍缺乏準(zhǔn)確獲取隱含于可穿戴步態(tài)數(shù)據(jù)中更具代表性的時(shí)-空相關(guān)性步態(tài)特征信息的技術(shù)手段,嚴(yán)重制約著步態(tài)模式識(shí)別性能.相關(guān)醫(yī)學(xué)研究表明,步態(tài)是人體行走的姿態(tài),與人體神經(jīng)系統(tǒng)、運(yùn)動(dòng)系統(tǒng)、心理認(rèn)知系統(tǒng)等生理因素密切相關(guān),是一個(gè)各生理因素相互作用、相互影響的長(zhǎng)期記憶過(guò)程,而目前研究所采用自循環(huán)神經(jīng)網(wǎng)絡(luò)模型僅具短時(shí)記憶性能,難以獲得步態(tài)過(guò)程中長(zhǎng)期時(shí)間相關(guān)性特征信息.急需探索新的獲取隱含于可穿戴步態(tài)數(shù)據(jù)中更具代表性的時(shí)-空相關(guān)性步態(tài)特征信息的深度學(xué)習(xí)模型.

為此,基于可穿戴傳感器步態(tài)數(shù)據(jù),本文提出一種將卷積神經(jīng)網(wǎng)絡(luò)模型和長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)模型相融合的步態(tài)模式深度學(xué)習(xí)判別新模型,旨在充分利用卷積神經(jīng)網(wǎng)絡(luò)模型優(yōu)越的獲取數(shù)據(jù)局部空間最具代表性特征信息特性和長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)模型優(yōu)越的獲取數(shù)據(jù)內(nèi)在長(zhǎng)期時(shí)間相關(guān)性特征信息特性,準(zhǔn)確獲取隱含于可穿戴步態(tài)數(shù)據(jù)中更具代表性的時(shí)-空相關(guān)性步態(tài)特征信息,提高步態(tài)模式識(shí)別性能.此外,本文選取公開(kāi)的加州大學(xué)歐文分校UCI 數(shù)據(jù)庫(kù)中的HAR 數(shù)據(jù)[14],并與傳統(tǒng)機(jī)器學(xué)習(xí)算法、深度學(xué)習(xí)算法模型比較,驗(yàn)證本文所提模型算法有效性.

1 CNN-LSTM 深度融合學(xué)習(xí)步態(tài)模式判別模型

本文所提CNN-LSTM 深度融合學(xué)習(xí)模型旨在充分利用CNN、LSTM 模型分別獲取數(shù)據(jù)結(jié)構(gòu)內(nèi)在空間、時(shí)間相關(guān)性特征信息的優(yōu)異特性,將二者深度融合從可穿戴傳感步態(tài)數(shù)據(jù)(諸如,加速度、陀螺儀等步態(tài)數(shù)據(jù))獲取更多蘊(yùn)含與步態(tài)變化密切相關(guān)的時(shí)-空相關(guān)性特征信息,提高步態(tài)模式識(shí)別性能.也就是,假設(shè)需識(shí)別步態(tài)模式為數(shù)據(jù)集V={v1,v2,···,vl},其中,l表示待識(shí)別的步態(tài)模式數(shù).假設(shè)可穿戴傳感步態(tài)時(shí)間序列數(shù)據(jù)為:

為了準(zhǔn)確識(shí)別步態(tài)模式,我們需構(gòu)建一個(gè)模型Γ 從每一數(shù)據(jù)段hi中獲取蘊(yùn)含步態(tài)特征信息的向量Yi,也就是,Yi=Γ(D,hi)然后,基于一個(gè)推理方法Ψ 計(jì)算與每個(gè)步態(tài)模式vi相 對(duì)應(yīng)的置信度值集P:P(vi/Yi,β)=Ψ(Yi,β),其中,β表示為一個(gè)基于模型Γ的訓(xùn)練參數(shù)集.那么,通過(guò)計(jì)算下列最大得分值:v*i=argmaxP(v/Yi,β),即可準(zhǔn)確獲得步態(tài)模式v*i,實(shí)現(xiàn)每個(gè)步態(tài)模式vi識(shí)別.研究中,我們構(gòu)建CNN-LSTM 深度融合學(xué)習(xí)模型作為模型 Γ,首先采用CNN 深度學(xué)習(xí)模型從每一數(shù)據(jù)段hi中獲取蘊(yùn)含與步態(tài)模式變化密切相關(guān)的局部空間特征信息,在此基礎(chǔ)上,基于LSTM 深度學(xué)習(xí)模型獲取步態(tài)數(shù)據(jù)局部空間特征的時(shí)間相關(guān)性,獲得更多與步態(tài)模式變化相關(guān)的時(shí)-空特征信息,最大概率獲得到步態(tài)模式v*i,準(zhǔn)確識(shí)別步態(tài)模式vi.

本文所提基于CNN-LSTM 融合深度學(xué)習(xí)步態(tài)模式判別模型框架如圖1所示,由步態(tài)數(shù)據(jù)輸入層、CNNLSTM 融合深度學(xué)習(xí)、全連接層3 部分組成.

圖1 CNN-LSTM 網(wǎng)絡(luò)框架

如圖1,鑒于可穿戴步態(tài)傳感數(shù)據(jù)的時(shí)-空相關(guān)特性,CNN 由3 個(gè)卷積層(CL1、CL2、CL3),一個(gè)池化層(MP1),兩個(gè)dropout 層組成,準(zhǔn)確獲取步態(tài)數(shù)據(jù)內(nèi)在最具代表性的局部空間特征;為準(zhǔn)確獲得步態(tài)數(shù)據(jù)內(nèi)在最具代表性局部空間特征的時(shí)間相關(guān)性,LSTM模型由32 個(gè)cell 組成,為準(zhǔn)確獲得步態(tài)數(shù)據(jù)內(nèi)在最具代表性局部空間特征的時(shí)間相關(guān)性,全連接層由6 個(gè)cell 組成,最大概率識(shí)別步態(tài)模式.

(1)基于CNN 提取步態(tài)數(shù)據(jù)內(nèi)在最具代表性局部空間特征

為有效獲取步態(tài)特征信息,可穿戴傳感步態(tài)時(shí)間序列在t時(shí)刻的數(shù)據(jù)定義為:

其中,BA-XYZ 表示三維人體運(yùn)動(dòng)加速度數(shù)據(jù),GAXYZ 表示三維重力加速度數(shù)據(jù),Gy-XYZ 表示三軸陀螺儀數(shù)據(jù).便于分析,選取t∈{1,···,128},其傳感步態(tài)數(shù)據(jù)輸入序列定義為:

假設(shè)用于獲取最具代表性步態(tài)局部空間特征的CNN 模型共有L卷積層,每層卷積核定義為:Ml×Nl,第l∈{1,···,L}卷 積層提取步態(tài)局部空間特征F(l),其定義為:

其中,f(·)表示激活函數(shù),〈·〉 表示內(nèi)積,b(l)為偏置項(xiàng);w(l)為一維卷積核向量;φ為w(l)的長(zhǎng)度.

鑒于式(3)所定義的可穿戴傳感步態(tài)數(shù)據(jù)所具高維性、非線性、隨機(jī)性等特點(diǎn)和低算法復(fù)雜度,本文構(gòu)建三層一維卷積層,每個(gè)卷積層均有32 個(gè)卷積核,其大小定義為3×3,步長(zhǎng)定義為1,采用良好非線性特性ReLU 函數(shù)[15,16]作為激活函數(shù).根據(jù)式(3),可穿戴傳感步態(tài)輸入數(shù)據(jù)大小定義為128×9,可分別獲得第一層、第二層以及第三層卷積層輸出的步態(tài)局部特征數(shù)據(jù):126×32、124×32和122×32.為有效保持較好學(xué)習(xí)性能避免過(guò)擬合,構(gòu)建一個(gè)Dropout 層.為有效保持卷積層所獲得步態(tài)特征內(nèi)在特性,降低其冗余性信息,利用池化層降低特征維數(shù)且增加其空間不變性[17],定義最大池化技術(shù)的池化層獲取蘊(yùn)含更多最具步態(tài)變化信息的局部空間特征Pj,定義為:

其中,R表示池化窗口大小.

為此,基于式(5)可從可穿戴傳感步態(tài)時(shí)間序列數(shù)據(jù)中得到最具步態(tài)變化信息的局部空間特征,為后續(xù)獲取其時(shí)間相關(guān)性特征奠定基礎(chǔ).我們將此局部步態(tài)特征作為L(zhǎng)STM的輸入提取步態(tài)數(shù)據(jù)長(zhǎng)時(shí)期的依賴特性.

(2)基于LSTM 層提取步態(tài)數(shù)據(jù)局部特征的時(shí)間相關(guān)性

一個(gè)步態(tài)活動(dòng)可考慮為一個(gè)長(zhǎng)序列的時(shí)間序列,通過(guò)建立自回歸模型RNN 可有效提取局部特征的長(zhǎng)期時(shí)間相關(guān)依賴特性.本文鑒于長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)所具良好動(dòng)態(tài)學(xué)習(xí)時(shí)間序列數(shù)據(jù)內(nèi)在時(shí)間相關(guān)性的自回歸網(wǎng)絡(luò)架構(gòu)特性[18],構(gòu)建LSTM 單元cell,包括1 個(gè)記憶單元C和3 個(gè)門函數(shù)(輸入it,遺忘ft,輸出ot),實(shí)時(shí)提取步態(tài)數(shù)據(jù)的內(nèi)在長(zhǎng)期時(shí)間相關(guān)特性信息,具體實(shí)現(xiàn)如下.

假設(shè)用pt表示步態(tài)數(shù)據(jù)樣本在t時(shí)刻通過(guò)CNN 模型處理過(guò)的一維特征圖作為L(zhǎng)STM 神經(jīng)元的輸入項(xiàng),經(jīng)過(guò)LSTM的cell 時(shí)首先由遺忘門丟棄無(wú)用的提取數(shù)據(jù)信息,其輸出為:

其中,σ表示激活函數(shù)Sigmoid,Wf為權(quán)值,bf表示偏置值.接著由輸入門it和候選記憶單元C~t來(lái)確定更新的數(shù)據(jù)信息:

其中,Wi和Wc指的是權(quán)值,bi和bc指的是偏置值.之后由記憶單元Ct表示該LSTM的cell 更新?tīng)顟B(tài):

最后確定LSTM 單元的輸出數(shù)據(jù)信息ht為:

其中,ot是輸出門;ht是當(dāng)前神經(jīng)元在時(shí)間的輸出.具體的推導(dǎo)公式可參考文獻(xiàn)[19].通過(guò)上述記憶單元Ct保留經(jīng)歷過(guò)遺忘和輸入的信息實(shí)現(xiàn)了LSTM 單元有效傳遞時(shí)間間隔較遠(yuǎn)的歷史信息從而獲取數(shù)據(jù)內(nèi)在時(shí)間相關(guān)性特征.本文所提LSTM 層由32 個(gè)cell 組成處理時(shí)序信號(hào)表示為一維特征向量如式(12)所示.

特征向量s進(jìn)入由6 個(gè)cell 組成的全連接層處理,其輸出為:

其中,W為全連接層的權(quán)值矩陣;ε是偏置項(xiàng)向量.我們將全連接層的激活函數(shù)設(shè)置為Softmax 函數(shù),則最終輸出為:

通過(guò)式(14)最大概率識(shí)別步態(tài)模式vi.

從上述分析可知,本文所提CNN-LSTM 模型充分融合CNN和LSTM 兩者獲取步態(tài)時(shí)間序列數(shù)據(jù)內(nèi)在最具代表性的時(shí)間、空間步態(tài)特征的優(yōu)異特性,降低其學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜性和模型較大訓(xùn)練開(kāi)銷,增強(qiáng)融合深度學(xué)習(xí)算法非線性擬合性能,有助于提升本文所提模型步態(tài)分類的精確度和準(zhǔn)確度.

本文所提神經(jīng)網(wǎng)絡(luò)模型采用分類交叉熵?fù)p失函數(shù)最小化訓(xùn)練樣本的分類錯(cuò)誤率,其定義為:

其中,D表示訓(xùn)練集,W表示權(quán)值矩陣,B表示偏置值;N表示訓(xùn)練樣本的數(shù)量,y(i)表示的是第i個(gè)樣本的標(biāo)簽,表示預(yù)測(cè)的標(biāo)簽以及〈·〉表示內(nèi)積.

2 實(shí)驗(yàn)與結(jié)果分析

2.1 實(shí)驗(yàn)數(shù)據(jù)獲取

本文采用的是加州大學(xué)歐文分校(University of California Irvine)提出的用于機(jī)器學(xué)習(xí)的UCI 數(shù)據(jù)庫(kù)中的HAR 數(shù)據(jù)集.該數(shù)據(jù)集收集了30 名年齡在19至48 歲的志愿者的6 種步態(tài)模式:站立、坐著、躺下、行走、在樓上和樓下行走.每個(gè)受試者執(zhí)行兩次實(shí)驗(yàn)方案:第一次實(shí)驗(yàn)將智能手機(jī)(內(nèi)置加速度計(jì)和陀螺儀)佩戴于腰部左側(cè);第二次實(shí)驗(yàn),受驗(yàn)者隨意放置智能手機(jī).要求受驗(yàn)者在實(shí)驗(yàn)室環(huán)境下以自己舒適的步速完成不同步態(tài)行走,便于獲得較真實(shí)行走步態(tài)數(shù)據(jù)集.采樣頻率設(shè)置為50 Hz 采集三軸加速度和角速度步態(tài)行走數(shù)據(jù).

2.2 數(shù)據(jù)預(yù)處理

為有效消除噪聲干擾獲取蘊(yùn)含更多有用步態(tài)數(shù)據(jù),本文采用中值濾波器和三階低通Butter-worth 濾波器(截止頻率設(shè)置為0.3 Hz)對(duì)人體加速度信號(hào)和重力加速度信號(hào)消噪處理.設(shè)置窗口寬度為2.56 s 進(jìn)行滑窗采用數(shù)據(jù),窗口重疊設(shè)置為50%,即每個(gè)窗口有:2.56 s×50 Hz=128 周期,采用快速傅里葉變換獲取17 個(gè)步態(tài)數(shù)據(jù)時(shí)域、頻域步態(tài)特征.為此,文中采用了17 個(gè)度量標(biāo)準(zhǔn)評(píng)估時(shí)域和頻域的特征向量,即總共提取了561 個(gè)特征來(lái)描述每個(gè)活動(dòng)窗口(樣本點(diǎn)),每個(gè)樣本點(diǎn)看作為一種步態(tài)模式,其度量標(biāo)準(zhǔn)如表1所示.

表1 計(jì)算特征向量的度量表

2.3 步態(tài)分類性能評(píng)價(jià)標(biāo)準(zhǔn)選取

為客觀、準(zhǔn)確評(píng)價(jià)本文所提步態(tài)分類模型的泛化性能,本研究選取步態(tài)分類相關(guān)研究常用的分類準(zhǔn)確率、步態(tài)精確率、召回率作為步態(tài)分類性能客觀評(píng)價(jià)指標(biāo).

(1)準(zhǔn)確率(Accuracy):用于客觀評(píng)價(jià)本文所提步態(tài)深度學(xué)習(xí)分類模型的精確度,其定義為:

其中,TP表示正確識(shí)別步態(tài)模式的樣本數(shù);FP表示錯(cuò)誤識(shí)別步態(tài)模式的樣本數(shù);TN表示正確步態(tài)模式錯(cuò)誤識(shí)別為其他步態(tài)模式的樣本數(shù);FN表示步態(tài)模式錯(cuò)誤識(shí)別為正確步態(tài)模式的樣本數(shù).

(2)步態(tài)精確率(Precision):用于客觀評(píng)價(jià)本文所提步態(tài)深度學(xué)習(xí)分類模型“真正”鑒別步態(tài)模式的性能,其定義為

(3)召回率(Recall):用于客觀評(píng)價(jià)本文所提步態(tài)深度學(xué)習(xí)分類模型步態(tài)模式正確識(shí)別的性能,其定義為

2.4 實(shí)驗(yàn)結(jié)果

本文實(shí)驗(yàn)是基于谷歌開(kāi)源的深度學(xué)習(xí)框架Tensorflow 實(shí)現(xiàn),具體的實(shí)驗(yàn)平臺(tái)為CPU(i5),Python3.7,Keras2.3,Tensorflow2.1.選取樣本數(shù)10 299,隨機(jī)選取70%為訓(xùn)練集、30%為測(cè)試集,實(shí)驗(yàn)數(shù)據(jù)分批送入模型訓(xùn)練,批處理塊大小為32 個(gè)數(shù)據(jù)樣本.模型的訓(xùn)練回合數(shù)設(shè)置為30 且采用了自適應(yīng)學(xué)習(xí)率優(yōu)化算法Adam且學(xué)習(xí)率設(shè)置為0.001.

(1)步態(tài)深度學(xué)習(xí)分類模型最優(yōu)結(jié)構(gòu)參數(shù)選取

為準(zhǔn)確優(yōu)化設(shè)計(jì)本文所提步態(tài)深度學(xué)習(xí)分類模型結(jié)構(gòu),提高其性能,本文首先量化評(píng)估所提模型優(yōu)化選取卷積神經(jīng)網(wǎng)絡(luò)部分的卷積層數(shù)和長(zhǎng)短期記憶網(wǎng)絡(luò)中神經(jīng)元數(shù)量.卷積神經(jīng)網(wǎng)絡(luò)卷積層數(shù)選取結(jié)果如圖2所示,從圖2可以看到,當(dāng)卷積層數(shù)從1 增長(zhǎng)到3 時(shí),模型的準(zhǔn)確率逐步增大,當(dāng)卷積層數(shù)為3 時(shí),分類準(zhǔn)確率最大,可達(dá)92.1%,但卷積層數(shù)增至4和5 時(shí),分類準(zhǔn)確率顯著下降,結(jié)果表明,當(dāng)卷積層數(shù)為3 時(shí),本文所提步態(tài)融合深度學(xué)習(xí)分類模型可從可穿戴傳感加速度和陀螺儀步態(tài)數(shù)據(jù)中獲得蘊(yùn)含更多與步態(tài)模式變化密切相關(guān)的步態(tài)特征信息,有效提升模型的分類性能,而卷積層數(shù)增至4和5 時(shí),難以從可穿戴傳感步態(tài)數(shù)據(jù)中獲得一些代表性特征信息,可能丟失一些有用步態(tài)特征信息,降低模型的分類性能.

選取最優(yōu)LSTM 模型的神經(jīng)元數(shù)的結(jié)果如圖3所示,從圖3可以看到,當(dāng)神經(jīng)元數(shù)從16 增至256 過(guò)程中,選取不同神經(jīng)元數(shù)影響模型步態(tài)模式分類性能.當(dāng)神經(jīng)元數(shù)為32 時(shí),分類準(zhǔn)確率最大,可達(dá)92.3%,當(dāng)神經(jīng)元數(shù)從32 增至256 時(shí),分類準(zhǔn)確率顯著下降.結(jié)果表明,神經(jīng)元數(shù)選取32 時(shí),本文所提模型可從可穿戴傳感步態(tài)數(shù)據(jù)空間局部特征獲得更多與步態(tài)變化密切相關(guān)的時(shí)間相關(guān)特征信息,顯著提升本文所提模型步態(tài)分類性能.

圖2 卷積層數(shù)對(duì)分類準(zhǔn)確率的影響

圖3 LSTM 神經(jīng)元數(shù)量對(duì)分類準(zhǔn)確率的影響

(2)CNN-LSTM 模型步態(tài)分類性能評(píng)估結(jié)果

本文所提CNN-LSTM 步態(tài)深度融合學(xué)習(xí)模型基于所取最優(yōu)參數(shù)的分類性能評(píng)價(jià)結(jié)果如表2所示,從表2可以看到,本文所提模型能以較好分類性能鑒別6 種不同步態(tài)模式,平均準(zhǔn)確率可達(dá)91.45%、平均召回率可達(dá)91.53%;比較而言,“躺”步態(tài)模式具有最高準(zhǔn)確率,可達(dá)99%,表明本文所提深度融合學(xué)習(xí)模型能夠有效從可穿戴傳感加速度、陀螺儀步態(tài)數(shù)據(jù)獲取與“躺”步態(tài)模式密切相關(guān)的時(shí)-空步態(tài)特征信息,有效提高其模式鑒別性能.然而,“站立”步態(tài)模式準(zhǔn)確率最低,僅為80.94%,“坐”步態(tài)模式召回率最低,僅為81.06%,這些結(jié)果表明,本文所提模型難以從可穿戴傳感加速度、陀螺儀步態(tài)數(shù)據(jù)獲取與“坐”、“站立”步態(tài)模式密切相關(guān)的時(shí)-空步態(tài)相關(guān)特征信息,這可能由于本文所取步態(tài)數(shù)據(jù)采集過(guò)程可穿戴單傳感步態(tài)采集器佩戴人體解剖部位難以捕獲“坐、站立”步態(tài)模式相關(guān)信息.

另外,基于相同的步態(tài)數(shù)據(jù),本文選取基于傳統(tǒng)機(jī)器學(xué)習(xí)算法(諸如決策樹(shù)、KNN、支持向量機(jī)等)構(gòu)建的步態(tài)分類模型,進(jìn)一步評(píng)價(jià)本文所提模型的優(yōu)越性能,其比較分類性能如表3所示,從表3可以看到,本文所提步態(tài)深度融合學(xué)習(xí)模型的準(zhǔn)確率、精確率、召回率最高,均可達(dá)91.5%;其次,KNN 步態(tài)分類模型準(zhǔn)確率、精確率、召回率均約為90%;支持向量機(jī)準(zhǔn)確率、精確率、召回率均低于90%,而決策樹(shù)步態(tài)分類模型準(zhǔn)確率、精確率、召回率最低,僅為86%,上述結(jié)果表明,本文所提CNN-LSTM 步態(tài)深度融合學(xué)習(xí)模型分類性能明顯優(yōu)于傳統(tǒng)機(jī)器學(xué)習(xí)步態(tài)分類模型性能,其根本原因在于本文所提模型能夠充分利用CNN、LSTM 深度融合學(xué)習(xí)算法所具獲取數(shù)據(jù)最具代表性特征的優(yōu)異特性,有效從可穿戴傳感加速度、陀螺儀步態(tài)數(shù)據(jù)獲取最具代表性的時(shí)-空相關(guān)性步態(tài)特征,顯著提升步態(tài)分類性能,而傳統(tǒng)機(jī)器學(xué)習(xí)步態(tài)分類模型基于線性模型僅可獲取局部空間、時(shí)間步態(tài)特征,難以從可穿戴傳感加速度、陀螺儀時(shí)序步態(tài)數(shù)據(jù)獲取最具代表性的時(shí)-空相關(guān)性步態(tài)特征,影響其分類性能.

表2 6 種步態(tài)模式分類結(jié)果

表3 與傳統(tǒng)機(jī)器學(xué)習(xí)算法步態(tài)分類比較結(jié)果(%)

此外,為進(jìn)一步評(píng)價(jià)本文所提模型的有效性,基于上述相同步態(tài)數(shù)據(jù),將本文所提模型與其他傳統(tǒng)深度學(xué)習(xí)模型(諸如CNN、RNN[20]、LSTM、GRU[21]等模型)進(jìn)行比較,其比較結(jié)果如表4所示.從表4可以看出,本文所提CNN-LSTM 模型步態(tài)分類性能明顯優(yōu)于其他傳統(tǒng)深度學(xué)習(xí)步態(tài)分類性能.就比較而言,RNN網(wǎng)絡(luò)模型步態(tài)分類性能較差,其準(zhǔn)確率、精確率、召回率僅均約為70%,其原因在于RNN 網(wǎng)絡(luò)學(xué)習(xí)模型難以獲取步態(tài)時(shí)間序列內(nèi)在最具空間、時(shí)間相關(guān)性步態(tài)特征信息;CNN、GRU和LSTM 三個(gè)學(xué)習(xí)模型的準(zhǔn)確率、精確率、召回率均約為88%,其步態(tài)分類性能雖優(yōu)于RNN 網(wǎng)絡(luò)學(xué)習(xí)模型步態(tài)分類性能,但明顯低于本文所提CNN-LSTM 融合學(xué)習(xí)模型的步態(tài)分類性能,其根本原因在于:基于傳統(tǒng)CNN 深度學(xué)習(xí)的步態(tài)分類模型僅能獲取步態(tài)時(shí)間序列數(shù)據(jù)內(nèi)在最具代表性的局部空間步態(tài)特征信息;基于傳統(tǒng)LSTM、GRU 深度學(xué)習(xí)的步態(tài)分類模型僅能獲取可穿戴步態(tài)時(shí)間序列數(shù)據(jù)內(nèi)在最具代表性的時(shí)間相關(guān)性步態(tài)特征信息,上述兩種傳統(tǒng)深度學(xué)習(xí)步態(tài)分類模型局限在于難以獲取可穿戴步態(tài)時(shí)間序列數(shù)據(jù)內(nèi)在最具代表性的時(shí)間-空間相關(guān)性步態(tài)特征信息,而本文所提CNN-LSTM 融合深度學(xué)習(xí)步態(tài)分類模型可充分融合CNN、LSTM 各具獲取步態(tài)時(shí)間序列內(nèi)在空間、時(shí)間相關(guān)性特征信息優(yōu)異特性,有效獲取可穿戴步態(tài)時(shí)間序列數(shù)據(jù)內(nèi)在最具代表性的時(shí)間-空間相關(guān)性步態(tài)特征信息,彌補(bǔ)傳統(tǒng)CNN、LSTM深度學(xué)習(xí)模型獲取步態(tài)時(shí)間序列數(shù)據(jù)內(nèi)在最具代表性步態(tài)特征信息的局限,有效提升基于可穿戴步態(tài)傳感數(shù)據(jù)的步態(tài)分類性能.

表4 與同類深度學(xué)習(xí)算法步態(tài)分類比較結(jié)果(%)

3 結(jié)論

本文提出了一種基于可穿戴傳感數(shù)據(jù)的步態(tài)模式深度學(xué)習(xí)融合判別新模型,該模型能夠充分融合卷積神經(jīng)網(wǎng)絡(luò)和長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)模型所具獲取數(shù)據(jù)最具時(shí)空代表性特征的優(yōu)異特性,有效從可穿戴傳感加速度、陀螺儀步態(tài)數(shù)據(jù)獲取最具代表性的時(shí)-空相關(guān)性步態(tài)特征,顯著提升可穿戴步態(tài)模式分類性能,為進(jìn)一步深入開(kāi)展可穿戴多傳感步態(tài)模式深度學(xué)習(xí)分類相關(guān)研究提供可靠借鑒.