基于注意力機(jī)制的耐力訓(xùn)練動(dòng)作識(shí)別方法*

田新壯，孫少明，王君洪

（1.安徽大學(xué)物質(zhì)科學(xué)與信息技術(shù)研究院，安徽 合肥 230601；2.中國(guó)科學(xué)院合肥物質(zhì)科學(xué)研究院，安徽 合肥 230031；3.中科合肥技術(shù)創(chuàng)新工程院，安徽 合肥 230088）

0 引 言

傳統(tǒng)耐力訓(xùn)練方法訓(xùn)練過(guò)程枯燥，同時(shí)對(duì)場(chǎng)地、天氣和訓(xùn)練時(shí)間存在要求。目前市面上有一些諸如Keep 這類的健身軟件，通過(guò)視頻語(yǔ)音引導(dǎo)訓(xùn)練者完成訓(xùn)練動(dòng)作，訓(xùn)練者僅需一部手機(jī)可于家中完成訓(xùn)練，不需要器械，具有訓(xùn)練時(shí)間碎片化的特點(diǎn)。但是需要訓(xùn)練者自覺完成訓(xùn)練，缺少監(jiān)督性。

本文提出一種基于注意力（Attention）機(jī)制與門控循環(huán)單元（gated recurrent unit，GRU）的、面向耐力訓(xùn)練的Attention-GRU動(dòng)作識(shí)別方法。在手機(jī)端上實(shí)現(xiàn)了對(duì)耐力訓(xùn)練動(dòng)作的識(shí)別和監(jiān)督。

1 相關(guān)研究

動(dòng)作識(shí)別作為近年來(lái)的研究熱點(diǎn)之一，目前關(guān)于動(dòng)作識(shí)別的方法主要有兩種，第一種是基于可穿戴設(shè)備或Kinect設(shè)備采集人體動(dòng)作信息。例如曾億山等人［1］基于六軸傳感器實(shí)現(xiàn)對(duì)嬰幼兒爬行動(dòng)作的識(shí)別。楊文璐等人［2］利用Kinect實(shí)時(shí)采集下肢動(dòng)作的骨骼點(diǎn)序列信息實(shí)現(xiàn)對(duì)康復(fù)動(dòng)作的識(shí)別與引導(dǎo)。李浩等人［3］利用Kinect 提取手勢(shì)深度信息，基于支持向量機(jī)（support vector machine，SVM）算法和動(dòng)態(tài)時(shí)間規(guī)整（dynamic time warping，DTW）算法實(shí)現(xiàn)火車駕駛員手勢(shì)識(shí)別。這種方法基于可穿戴設(shè)備或Kinect設(shè)備具有動(dòng)作識(shí)別準(zhǔn)確率高的優(yōu)點(diǎn)，但是對(duì)設(shè)備存在要求。第二種是基于視頻圖像的人體動(dòng)作識(shí)別方法。楊君等人［4］基于OpenPose提出一種圖像動(dòng)作識(shí)別指導(dǎo)系統(tǒng)，實(shí)現(xiàn)人體動(dòng)作識(shí)別。王威等人［5］提出一種基于BlazePose［6］的動(dòng)作識(shí)別算法，采用梯度提升決策樹（gradient boosted decision tree，GBDT）算法實(shí)現(xiàn)對(duì)開合跳、雙臂伸展、深蹲以及跳繩4個(gè)動(dòng)作的識(shí)別，該方法基于手機(jī)端實(shí)現(xiàn)動(dòng)作識(shí)別，具有實(shí)時(shí)性以及便攜性，但存在算法總體識(shí)別準(zhǔn)確率較低，動(dòng)作識(shí)別種類較少的問(wèn)題。

2 耐力訓(xùn)練動(dòng)作識(shí)別方法

本文的耐力訓(xùn)練動(dòng)作識(shí)別方法由輸入層、算法層和輸出層3個(gè)部分組成。其結(jié)構(gòu)如圖1所示。

圖1 耐力訓(xùn)練動(dòng)作識(shí)別方法結(jié)構(gòu)

2.1 移動(dòng)端數(shù)據(jù)采集App

本文通過(guò)自己開發(fā)的數(shù)據(jù)采集App 采集人體骨骼點(diǎn)信息，整體流程如圖2 所示，首先將手機(jī)固定在手機(jī)支架上，距離測(cè)試者約1.8 m，保證攝像頭可以拍攝測(cè)試者全身的視頻信息，視頻輸入至BlazePose 網(wǎng)絡(luò)模型中，模型輸出每一幀視頻圖像的人體骨骼點(diǎn)數(shù)據(jù)，隨后將數(shù)據(jù)存儲(chǔ)至Excel表格中。

圖2 數(shù)據(jù)采集流程

BlazePose［6］是一種可實(shí)時(shí)運(yùn)行于手機(jī)端提取視頻圖像中的人體骨骼點(diǎn)二維坐標(biāo)的輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)。如圖3所示，左側(cè)為該網(wǎng)絡(luò)提取的33個(gè)骨骼點(diǎn)，其中有面部、手部和足部信息，這部分信息在本文動(dòng)作識(shí)別時(shí)作用不大并且會(huì)增加計(jì)算量。因此選取做耐力訓(xùn)練時(shí)變化幅度較大的節(jié)點(diǎn)作為輸出，圖3右側(cè)為本文選取的13個(gè)關(guān)鍵節(jié)點(diǎn)。

圖3 BlazePose提取的人體骨骼點(diǎn)信息

2.2 數(shù)據(jù)預(yù)處理

在原始數(shù)據(jù)采集的過(guò)程中，存在鏡頭抖動(dòng)、光線變化以及網(wǎng)絡(luò)模型自身性能的干擾，會(huì)有噪聲產(chǎn)生。本文使用滑動(dòng)窗口均值濾波算法對(duì)骨骼點(diǎn)數(shù)據(jù)進(jìn)行預(yù)處理，算法過(guò)程如下：如圖4所示，滑動(dòng)窗口S的大小為5，骨骼點(diǎn)數(shù)據(jù)序列長(zhǎng)度為n，對(duì)于時(shí)間t這一時(shí)刻的數(shù)據(jù)在處理后為t-2 至t＋2這一時(shí)間段共計(jì)5幀數(shù)據(jù)的均值。計(jì)算公式如下所示

圖4 滑動(dòng)窗口均值濾波算法

2.3 特征提取

人體動(dòng)作識(shí)別是基于時(shí)間序列的分類問(wèn)題［7］，因此輸入特征需要包含時(shí)間維度上的信息。本文采用滑動(dòng)窗口來(lái)提取時(shí)間維度上的特征，實(shí)驗(yàn)的手機(jī)采樣頻率為（28 ±5）fps左右，因?yàn)閹蚀嬖诓▌?dòng)，將輸出降采樣至20 fps。對(duì)于本文耐力訓(xùn)練動(dòng)作數(shù)據(jù)集來(lái)說(shuō)，最佳窗口為40 幀，最佳步長(zhǎng)為30。

因?yàn)闉V波后13個(gè)關(guān)鍵節(jié)點(diǎn)的位置信息屬于低階特征，無(wú)法充分表達(dá)動(dòng)作信息，所以本文基于圖3中13個(gè)關(guān)鍵節(jié)點(diǎn)構(gòu)建基于靜態(tài)和動(dòng)態(tài)特征的融合特征。

2.3.1 靜態(tài)特征

靜態(tài)特征包含12個(gè)距離特征與10個(gè)角度特征。其中12個(gè)距離特征如表1 所示，因?yàn)楸疚哪Ｐ筒杉臄?shù)據(jù)為2維信息不包括深度信息，為了消除測(cè)試者離攝像頭遠(yuǎn)近所帶來(lái)位置的差異，在計(jì)算距離時(shí)需要除以x，y軸對(duì)應(yīng)的基準(zhǔn)值。以左右臀部x軸的相對(duì)距離為例，其計(jì)算公式如下

表1 靜態(tài)特征

以左肩部與左肘部y軸的相對(duì)距離為例，其計(jì)算公式如下

其中，x軸方向的基準(zhǔn)值為xbase，y軸方向的基準(zhǔn)值為ybase。計(jì)算公式如下所示

本文選取的10個(gè)角度特征如表1 所示。其中，2 個(gè)骨骼點(diǎn)P1（x1，y1），P2（x2，y2）與原點(diǎn)構(gòu)成的夾角θ的計(jì)算公式為

其中，由3個(gè)骨骼點(diǎn)P1（x1，y1），P2（x2，y2）和P3（x3，y3）構(gòu)成的夾角θ的計(jì)算公式為

2.3.2 動(dòng)態(tài)特征

靜態(tài)特征包括了關(guān)節(jié)點(diǎn)的距離特征與角度特征，運(yùn)動(dòng)作為一個(gè)動(dòng)態(tài)的過(guò)程，關(guān)節(jié)角速度信息對(duì)于動(dòng)作識(shí)別也很重要。本文提取了10個(gè)動(dòng)態(tài)特征，是上述提取的10 個(gè)角度對(duì)應(yīng)的角速度特征。在計(jì)算角速度時(shí)，選取當(dāng)前幀j與上一幀j-1 之間角度的差值作為當(dāng)前幀的角速度。角速度ωi的計(jì)算公式為

2.3.3 融合特征

本文共選取了32個(gè)特征，分為12個(gè)距離特征和10 個(gè)角度特征以及10個(gè)角速度特征。距離特征組成的向量D為

角度特征組成的向量φ為

角速度特征組成的向量W為

提取的融合特征組成的向量T為

最終模型輸入的每個(gè)窗口包含40幀數(shù)據(jù)，每幀數(shù)據(jù)包括32個(gè)特征。

2.4 動(dòng)作識(shí)別算法

本文提取的融合特征是骨骼點(diǎn)運(yùn)動(dòng)的距離，角度以及角速度特征的集合。網(wǎng)絡(luò)模型的輸入為窗口大小為40 的一系列時(shí)間序列上的特征，這就要求動(dòng)作識(shí)別模型能夠處理時(shí)序信號(hào)。本文采用Attention-GRU 方法對(duì)骨骼點(diǎn)序列進(jìn)行動(dòng)作識(shí)別。

2.4.1 GRU層

循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）是一種處理時(shí)序信號(hào)常用的神經(jīng)網(wǎng)絡(luò)［8］，RNN處理當(dāng)前數(shù)據(jù)受到之前輸入的數(shù)據(jù)的影響。但RNN無(wú)法處理長(zhǎng)距離依賴，在長(zhǎng)序列訓(xùn)練過(guò)程中性能不佳。LSTM［8］通過(guò)單元狀態(tài)解決了RNN模型不能記憶長(zhǎng)時(shí)間信息的缺點(diǎn)，在處理長(zhǎng)序列具有更佳的性能。

本文采用GRU處理時(shí)序信息，GRU是LSTM的一種變體［9］，其結(jié)構(gòu)如圖5 所示。相比起LSTM 具有3 個(gè)控制門單元，GRU 有2 個(gè)控制門單元，分別是重置門與更新門，GRU通過(guò)重置門與更新門控制單元狀態(tài)，從而克服了RNN的缺點(diǎn)。與LSTM相比GRU 計(jì)算量更小，訓(xùn)練時(shí)間短，同時(shí)兩種模型性能差異不大［10］。

圖5 GRU結(jié)構(gòu)

rt和zt分別為GRU的重置門和更新門，重置門用于控制t-1時(shí)刻狀態(tài)信息需要遺忘多少，更新門則控制有多少t-1時(shí)刻的狀態(tài)信息被傳遞至t時(shí)刻。Wz，Wr，Wh和Uz，Ur，Uh分別為神經(jīng)元t時(shí)刻的輸入權(quán)重矩陣和循環(huán)輸入的權(quán)重矩陣，bz，br，bh為偏置向量。σ為激活函數(shù)Sigmoid，其輸出值范圍為（0，1），其公式為

上述公式中，?為矩陣的Hadamard積。tanh為雙曲正切激活函數(shù)，其輸出值范圍為（-1，1），其公式為

首先，t時(shí)刻重置門和更新門的狀態(tài)由t-1 時(shí)刻的隱含狀態(tài)信息ht-1和t時(shí)刻的輸入xt獲取。然后對(duì)t時(shí)刻的隱含狀態(tài)h′t進(jìn)行計(jì)算，最后計(jì)算t時(shí)刻的隱含層輸出ht。

2.4.2 Attention層與輸出層

本文在動(dòng)作識(shí)別模型中引入Attention 機(jī)制，通過(guò)Attention機(jī)制加強(qiáng)GRU網(wǎng)絡(luò)模型某個(gè)時(shí)間節(jié)點(diǎn)與其他時(shí)間節(jié)點(diǎn)信息時(shí)間的關(guān)聯(lián)性，解決GRU網(wǎng)絡(luò)模型在處理長(zhǎng)時(shí)間序列容易忽略重要時(shí)序信息的不足，使得模型更加關(guān)注時(shí)序輸入中的重要信息。Attention機(jī)制模型結(jié)構(gòu)如圖6所示。

圖6 Attention機(jī)制結(jié)構(gòu)

其中，ht為GRU 網(wǎng)絡(luò)輸出的第t個(gè)特征向量，通過(guò)解碼器得到權(quán)重系數(shù)st相乘累加求得最終的輸出向量y。其中，解碼器使用一層全連接網(wǎng)絡(luò)，激活函數(shù)為SoftMax。?為矩陣的Hadamard積。計(jì)算過(guò)程如下

將Attention機(jī)制層的輸出作為輸出層的輸入，使用一層全連接層進(jìn)行分類，激活函數(shù)為SoftMax，得出最終的動(dòng)作識(shí)別結(jié)果，計(jì)算公式如下

式中W為Attention 機(jī)制層輸出至分類結(jié)果的訓(xùn)練權(quán)重系數(shù)矩陣，b為偏置，pres為動(dòng)作識(shí)別結(jié)果向量。

3 實(shí) 驗(yàn)

本文構(gòu)建了新的耐力訓(xùn)練動(dòng)作數(shù)據(jù)集，對(duì)本文提出的Attention-GRU算法和傳統(tǒng)機(jī)器學(xué)習(xí)算法LSTM、GRU 進(jìn)行對(duì)比實(shí)驗(yàn)，并從準(zhǔn)確率（accuracy，A）、精確率（precision，P）、召回率（recall，R）3個(gè)方面對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行評(píng)估。

3.1 數(shù)據(jù)集構(gòu)建

本文基于耐力訓(xùn)練動(dòng)作構(gòu)建數(shù)據(jù)集。共選取測(cè)試人員20名，其中男性13名，女性7名。20位測(cè)試人員的基本信息如表2所示。

表2 實(shí)驗(yàn)測(cè)試人員基本信息

本文使用移動(dòng)端設(shè)備采集數(shù)據(jù)，設(shè)備型號(hào)為小米10 智能手機(jī)，CPU為高通865，12 GB 運(yùn)行內(nèi)存。將設(shè)備使用手機(jī)支架固定，測(cè)試者站在手機(jī)的正前方，保證測(cè)試者全部身體都能被攝像頭拍攝到。同時(shí)打開錄屏功能，后續(xù)人工對(duì)數(shù)據(jù)集進(jìn)行標(biāo)注。

每一位測(cè)試者執(zhí)行本文制定的8 種耐力訓(xùn)練動(dòng)作，各執(zhí)行1 min，完成一種動(dòng)作后休息5 min，保證動(dòng)作的標(biāo)準(zhǔn)。20位測(cè)試者完成測(cè)試后，每種動(dòng)作共有20 min的骨骼點(diǎn)數(shù)據(jù)，這些數(shù)據(jù)構(gòu)成本文的數(shù)據(jù)集。

3.2 評(píng)估標(biāo)準(zhǔn)

采用10折交叉驗(yàn)證法，將數(shù)據(jù)集劃分為10 份不重合的子數(shù)據(jù)集，每次選取1份子數(shù)據(jù)集作為測(cè)試集，其余9 份為訓(xùn)練集，共進(jìn)行10 次實(shí)驗(yàn)，取平均結(jié)果為最終的實(shí)驗(yàn)結(jié)果。

本文從A，P，R以及混淆矩陣對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行評(píng)估。其中，TP為真正例，TN為真反例，F(xiàn)P為假正例，F(xiàn)N為假反例。公式如下

式（25）中，0≤i，j≤7，n為人工標(biāo)記為i動(dòng)作，模型識(shí)別結(jié)果為j動(dòng)作。

3.3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)設(shè)備配置：Intel?i5-7400 處理器，8 G 內(nèi)存，操作系統(tǒng)為L(zhǎng)inux。編程語(yǔ)言：Python3.8?？蚣埽篢ensorFlow2.4。

首先對(duì)該數(shù)據(jù)集下不同窗口長(zhǎng)度和窗口步長(zhǎng)下3種算法的識(shí)別情況進(jìn)行實(shí)驗(yàn)，結(jié)果如表3，其中Attention-GRU表示本文的算法。這里使用A評(píng)估最優(yōu)的窗口與步長(zhǎng)，本文提出的算法在不同窗口長(zhǎng)度和窗口步長(zhǎng)下均比另外2種算法A高，同時(shí)3種算法在窗口大小為40，步長(zhǎng)為30時(shí)A最高。

表3 窗口大小與步長(zhǎng)實(shí)驗(yàn)結(jié)果

當(dāng)窗口大小為40 幀時(shí)，A最高，因?yàn)楸疚奶崛〉墓趋傈c(diǎn)信息經(jīng)過(guò)降采樣后為20 fps，40 幀為2 s的數(shù)據(jù)。本文數(shù)據(jù)集的動(dòng)作執(zhí)行時(shí)間都在2 s 以內(nèi)，40 幀的窗口大小可以有效地包括整個(gè)動(dòng)作特征。當(dāng)步長(zhǎng)為窗口大小的75%時(shí)相比其為窗口大小的50%時(shí)，能夠更加有效地解決1 個(gè)窗口內(nèi)包含2個(gè)動(dòng)作信息的問(wèn)題，減少包括2 個(gè)動(dòng)作信息的窗口的數(shù)量，從而提高了A。

基于表3，本文選取40 幀的窗口大小和30 的步長(zhǎng)對(duì)3種算法進(jìn)行評(píng)估。識(shí)別結(jié)果如表4 所示，本文提出的方法在A，P，R上均比GRU和LSTM算法要高，這證明通過(guò)融合Attention機(jī)制能夠更加有效地關(guān)注輸入時(shí)重要的時(shí)序信息，從而提高動(dòng)作識(shí)別性能。同時(shí)，因?yàn)镚RU 具有易于訓(xùn)練的優(yōu)點(diǎn)，在數(shù)據(jù)集較小的情況下，通常性能更優(yōu)，因此基于本文構(gòu)建的數(shù)據(jù)集的GRU比LSTM性能更好。

表4 3 種算法的識(shí)別結(jié)果%

為了更詳細(xì)地分析8 種動(dòng)作的識(shí)別結(jié)果，給出3 種算法的混淆矩陣。如圖7 所示。在耐力訓(xùn)練動(dòng)作數(shù)據(jù)集中，混效率最高的動(dòng)作是平板支撐，這是因?yàn)樵搫?dòng)作與靠墻俯臥撐的關(guān)節(jié)角度較為相似。同時(shí)開合跳、雙臂伸展、仰臥起坐和坐位體前屈都取得了100%的識(shí)別率。本文方法在所有動(dòng)作的識(shí)別率上都比GRU高，除了靠墻俯臥撐和平板支撐識(shí)別率比LSTM低外，其他動(dòng)作識(shí)別率也都比LSTM高。

圖7 3 種算法的混淆矩陣

4 結(jié) 論

本文方法利用手機(jī)攝像頭提取人體骨骼點(diǎn)信息，經(jīng)過(guò)特征提取生成融合特征后，通過(guò)Attention-GRU網(wǎng)絡(luò)對(duì)骨骼點(diǎn)特征序列進(jìn)行識(shí)別，輸出動(dòng)作識(shí)別結(jié)果。經(jīng)實(shí)驗(yàn)，針對(duì)8種耐力訓(xùn)練動(dòng)作的動(dòng)作識(shí)別A為99.56%。

本文研究存在無(wú)法實(shí)時(shí)監(jiān)測(cè)訓(xùn)練者動(dòng)作是否標(biāo)準(zhǔn)，無(wú)法識(shí)別由多個(gè)簡(jiǎn)單動(dòng)作組合而成的復(fù)雜動(dòng)作，在以后的研究中需要對(duì)這些進(jìn)行改進(jìn)與提升從而更好地實(shí)現(xiàn)訓(xùn)練監(jiān)督。