萬 益

1 前言

公元前3000年，由梵語學(xué)者和印度醫(yī)師帕坦伽利撰寫的《瑜伽經(jīng)》中發(fā)現(xiàn)了對瑜伽體式動作的描述[3]。這種源自于印度古國的運(yùn)動，因其動作緩慢、優(yōu)雅、講究身心的平衡，近10幾年已成為全世界最流行的健康風(fēng)潮[7]。許多練習(xí)過瑜伽的人都能不同程度地體會到，通過瑜伽呼吸法、體位法、冥想和松弛功的練習(xí)，可達(dá)到舒展筋骨、輕松身心、健美形體、通暢經(jīng)絡(luò)的獨特效果[8]。研究顯示:瑜伽可以減輕焦慮和抑郁，可以改善包括心理和疼痛綜合征、肌肉骨骼和神經(jīng)系統(tǒng)疾病、自身免疫和免疫綜合征等多種癥狀。[4]隨之，這項時尚健身運(yùn)動也開始在各大高校體育選修課中廣泛開展，深受學(xué)生的喜歡。近幾年的教育現(xiàn)代化的變革，開啟了中國大規(guī)模的在線課程平臺—MOOC，即在“互聯(lián)網(wǎng)+”時代，基于移動通信設(shè)備、網(wǎng)絡(luò)學(xué)習(xí)環(huán)境將視頻教學(xué)資源和學(xué)習(xí)活動序列相結(jié)合，將教學(xué)資源面向社會，面向大眾。國內(nèi)在線課程平臺的迅速發(fā)展，將許多高質(zhì)量課程紛紛推上了學(xué)習(xí)平臺[10]。據(jù)中國大學(xué)MOOC平臺的開課統(tǒng)計，關(guān)于瑜伽的課程共有10門次，單期選課人次達(dá)17萬人次。如此龐大的受眾量伴隨不斷激增的需求，也出現(xiàn)了一些弊端，對瑜伽的教學(xué)提出了新的挑戰(zhàn)。一是傳統(tǒng)的授課模式中，老師能直觀地評判學(xué)生的動作，并且實時做出糾正，而線上課程學(xué)生只能通過圖片上傳、視頻上傳等方式等待老師的點評和指導(dǎo)，無法實現(xiàn)即刻的交流和溝通，往往會造成錯誤動作的形成;二是傳統(tǒng)授課模式中，師生比通常為(1∶30)，而在線課程由于受眾廣泛性及較高的師生比(1∶10 000)，在動作的糾正、指導(dǎo)與動作的評價方面增加了授課教師極大的工作量和難度。

隨著人工智能技術(shù)的快速發(fā)展，許多新興前沿技術(shù)在日常生活中大量普及與應(yīng)用，人體姿態(tài)識別、人體動作識別、人體動作檢測等技術(shù)在人體運(yùn)動行為分析、醫(yī)療康復(fù)訓(xùn)練、體育教學(xué)等方面都有廣闊的應(yīng)用前景[9]。在當(dāng)前大學(xué)體育MOOC線上教學(xué)廣泛發(fā)展的情況下，為了科學(xué)評價在線瑜伽教學(xué)中學(xué)生的動作姿態(tài)，筆者提出基于多模態(tài)的瑜伽動作姿態(tài)檢測算法設(shè)計，旨在為體育教學(xué)領(lǐng)域師生提供更為生動的交互方式。

2 瑜伽動作姿態(tài)檢測研究現(xiàn)狀

人體姿態(tài)估計(Human Pose Estimation)是計算機(jī)視覺中的一個重要任務(wù)，也是計算機(jī)理解人類動作、行為必不可少的步驟。近年來，使用深度學(xué)習(xí)進(jìn)行人體姿態(tài)估計的方法陸續(xù)被提出，且達(dá)到了遠(yuǎn)超傳統(tǒng)方法的表現(xiàn)[11]。

瑜伽體式動作相對靜止，且動作對人體骨骼的正位有一定要求，因此在計算機(jī)視覺中，通過對人體骨骼點的檢測能夠?qū)幼鞯恼_性進(jìn)行初步判斷。關(guān)于人體骨骼點檢測，Toshev等人提出了Deep Pose作為早期的人體骨骼關(guān)節(jié)點檢測的算法。他將人體骨骼關(guān)節(jié)點估計問題由原本的圖像處理和模板匹配問題轉(zhuǎn)化為CNN圖像特征提取和關(guān)鍵點坐標(biāo)回歸，并使用了一些回歸準(zhǔn)則來估計被遮擋或者未出現(xiàn)的人體關(guān)節(jié)節(jié)點。但是該方法的魯棒性較差，而且人體的動作復(fù)雜多變，因此該方法應(yīng)用性不強(qiáng)[12]。GRMI是Google提出的多人體態(tài)估計方法。他們首先使用FAST－RCNN做人物檢測，然后將檢測到的人物分割出來，再利用殘差網(wǎng)絡(luò)做高斯HeatMap和坐標(biāo)偏置，最后通過融合高斯HeatMap和坐標(biāo)偏置預(yù)測出關(guān)節(jié)點的精確位置。對于拍攝的瑜伽動作姿態(tài)的彩色圖像雖然信息非常豐富，但是冗余信息也很多，在不同地點、不同光亮強(qiáng)度以及穿不同瑜伽服下拍攝的瑜伽動作對識別模型都有一定的影響。Li等人[1]綜合利用了Kinect提供的深度數(shù)據(jù)、骨架數(shù)據(jù)，通過人體測量學(xué)知識和反向傳播神經(jīng)網(wǎng)絡(luò)，有效提高了姿態(tài)識別的實時性和魯棒性。視覺傳感器采集的視頻、圖像，還可以通過深度學(xué)習(xí)等人工智能的方法對人體肢體、關(guān)節(jié)進(jìn)行識別提取[2]。人體骨骼圖像，可以避免光照變化的影響，也可以免去外部場景、背景環(huán)境等因素的干擾，因此利用骨骼圖像和RGB圖像結(jié)合識別瑜伽動作以及標(biāo)準(zhǔn)從而提高模型的魯棒性。

3 基于多模態(tài)瑜伽姿態(tài)檢測算法設(shè)計

目前，隨著計算機(jī)視覺技術(shù)的不斷發(fā)展，多模態(tài)識別技術(shù)己經(jīng)成為人體姿態(tài)檢測中最常用的方法。筆者基于多模態(tài)思想設(shè)計了瑜伽姿態(tài)動作評分模型。首先利用RGB攝像頭采集瑜伽的姿態(tài)動作圖，即普通的RGB彩色圖像，接著利用骨骼提取模型將RGB圖像轉(zhuǎn)換成骨骼圖像，然后將RGB圖像和骨骼圖像輸入聯(lián)合模型中。聯(lián)合模型將輸出瑜伽動作的類別以及這種動作的評分。具體流程如圖1所示。由于最后要得到瑜伽的動作類別和評分，這屬于多任務(wù)的評分問題，因此筆者設(shè)計聯(lián)合模型，不增加模型的數(shù)量直接得出瑜伽動作的最終類別和得分。

圖1 基于多模態(tài)的瑜伽姿態(tài)動作分類評分流程圖

骨骼提取模型是將普通的RGB人物圖像轉(zhuǎn)換成骨骼姿態(tài)圖像。深度學(xué)習(xí)中的一些方法可以在普通二維攝像頭采集的人物圖像上直接獲取骨骼關(guān)節(jié)點圖像，因此我們可以在不增加任何設(shè)備的條件下，提取到人體的骨骼圖像。骨骼提取模型是基于OpenPose模型設(shè)計得到的。Openpose模型是由美國卡耐基梅隆大學(xué)的研究人員提出的。該模型先將圖片中人物的關(guān)節(jié)點檢測出來，然后將檢測出來的關(guān)節(jié)點進(jìn)行聚類處理，最后將人體的關(guān)節(jié)點連接在一起。利用OpenPose模型提取瑜伽動作的骨骼數(shù)據(jù)流程如圖2所示。首先將輸入圖片經(jīng)過VGG19的前十層卷積操作，生成相應(yīng)的卷積特征圖(F)，然后根據(jù)生成的卷積特征圖送入多階網(wǎng)絡(luò)中用來預(yù)測關(guān)鍵點的熱圖(Heatmap)和描述關(guān)節(jié)點的連接的方向，最后使用二分圖最大權(quán)匹配算法來對關(guān)鍵點進(jìn)行組裝，從而得到人體骨架。

圖2 OpenPose模型的結(jié)構(gòu)流程圖

3．1 骨骼提取模型的設(shè)計

如圖2所示，Openpose模型中多階網(wǎng)絡(luò)在生成人體的關(guān)節(jié)點熱圖后輸出得到St=(S1，S2，…，SJ);在描述關(guān)節(jié)點的連接方向后得到Lt=(L1，L2，…，LC)。其中J是人體關(guān)節(jié)點的數(shù)量;C是關(guān)聯(lián)區(qū)域的數(shù)量。關(guān)聯(lián)區(qū)域是指手臂，腿部等。Sj∈Rw×h，即第j個關(guān)節(jié)點對應(yīng)的熱圖，可以認(rèn)為是概率值;Lc∈Ew×h×2，即第 c個關(guān)聯(lián)區(qū)域?qū)?yīng)的方向。

在預(yù)測關(guān)節(jié)點熱圖時，對于每個人的第j個關(guān)節(jié)點，令其位置為xj∈R2，則真實位置是以xj為中心的二維高斯分布，用表示。第j個關(guān)節(jié)點對應(yīng)的真實位置為，p表示單個位置，即對一個人關(guān)節(jié)點的真實位置按像素點取最大值。在預(yù)測關(guān)節(jié)點的連接的方向時(如圖3所示)，對于第c個關(guān)聯(lián)區(qū)域，也可以理解成連接關(guān)節(jié)點j1和j2的區(qū)域，真實方向用表示。如果位置p在這個關(guān)聯(lián)區(qū)域上，否則為零向量。計算公式如式(1)所示:

圖3 手臂方向預(yù)測圖

這里v實際上是j1指向j2的單位向量。只要p滿足在線段j1j2上或者距離線段j1j2在一個閾值范圍內(nèi)，就認(rèn)為p在該關(guān)聯(lián)區(qū)域上。最后對于某個關(guān)聯(lián)區(qū)域的所有位置，將每個像素點采用平均處理的方式，即。這里nc(p)為p位置處非零向量的個數(shù)，也就是只有非零向量才參與均值計算。

當(dāng)模型得到關(guān)節(jié)點熱圖后，采用非極大值抑制的方式為每個關(guān)節(jié)點部分找出一系列候選點。這些候選點之間互相組合能夠產(chǎn)生大量可能的關(guān)聯(lián)區(qū)域，因此需要定義兩個關(guān)鍵點j1和j2之間組合的權(quán)值。如式(2)所示:

其中，p(u)=(1 － u)dj1+udj2，dj1，dj2分別表示 j1，j2的坐標(biāo)。實際上就是對j1和j2間各點在j1j2上投影的積分。直觀上說，如果線段上各點的方向與線段的方向越一致，E就越大，那么這兩個關(guān)節(jié)點組成一個關(guān)聯(lián)區(qū)域的可能性就越大。因此通過這種方式可以除去沒有的關(guān)聯(lián)區(qū)域。

3．2 多模態(tài)聯(lián)合模型設(shè)計

目前，通過將多個模態(tài)的識別結(jié)果進(jìn)行融合來提高識別率己經(jīng)成為人體姿態(tài)動作檢測中最常用的方法。一般的多模態(tài)融合方法是先分別單獨訓(xùn)練每個模態(tài)的數(shù)據(jù)獲得識別向量，然后將每個模態(tài)的識別向量通過相乘的方式進(jìn)行融合。這種方式準(zhǔn)確率的提升有限，而且耗費大量的時間和資源。在本文中提出一種多模態(tài)聯(lián)合模型，可以同時使用多模態(tài)數(shù)據(jù)，并且模型還可以輸出多種結(jié)果。模型的結(jié)構(gòu)如圖4所示，其中，fc1和fc2表示全連接。

圖4 多模態(tài)聯(lián)合模型結(jié)構(gòu)圖

3．2．1 主干網(wǎng)絡(luò)設(shè)計

瑜伽動作的姿態(tài)多種多樣，不同人做每種動作時標(biāo)準(zhǔn)不一，尤其在網(wǎng)絡(luò)授課提交的作業(yè)中，對教師評分帶來了極大的困難。筆者基于細(xì)粒度瑜伽動作的類別和評分進(jìn)行分類，并利用Xception模型來提取多模態(tài)數(shù)據(jù)的細(xì)粒度特征，并基于Xception網(wǎng)絡(luò)設(shè)計聯(lián)合識別模型，實現(xiàn)多模態(tài)數(shù)據(jù)的輸入以及類別和評分的聯(lián)合輸出。

Xception模型是由谷歌研究院在Inception模型的基礎(chǔ)上改進(jìn)得到的。使用深度可分離卷積增加網(wǎng)絡(luò)寬度，不僅提升了分類的正確率，也增強(qiáng)了網(wǎng)絡(luò)對細(xì)微特征的學(xué)習(xí)能力，提供了Xception模型用在弱監(jiān)督的細(xì)粒度圖像分類的可行性。Xception和Inception的基本思想一樣，都是將一個卷積核分解成一系列相互獨立的操作，即模塊首先通過跨通道相關(guān)性處理，然后通過一組1×1卷積，最后將輸入通道映射到多個小于原始輸入的不同空間。但是Xception模型中通道相關(guān)性和空間相關(guān)性是完全可分的。先進(jìn)行1×1的通道相關(guān)性卷積，后續(xù)接的3×3卷積的個數(shù)與1×1卷積的輸出通道數(shù)相同，如圖5所示。

圖5 Xception的模塊結(jié)構(gòu)

Xception中的深度可分離卷積將傳統(tǒng)的卷積分解為一個深度卷積和一個1×1的卷積。首先對輸入的每個通道分別進(jìn)行深度卷積操作，并將結(jié)果進(jìn)行拼接，然后對拼接后的結(jié)果進(jìn)行1×1卷積操作。在Xception中加入的類似ResNet的殘差連接機(jī)制也顯著加快了Xception的收斂過程并獲得了顯著更高的準(zhǔn)確率。

3．2．2 聯(lián)合模型網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計在檢測瑜伽動作時，筆者使用了RGB數(shù)據(jù)和骨骼數(shù)據(jù)兩種模態(tài)的數(shù)據(jù)。骨骼數(shù)據(jù)是將各個骨骼關(guān)節(jié)點的歐式距離組成矩陣，如式(3)所示。

其中，Jn代表第n個關(guān)節(jié)點的坐標(biāo);‖JnJ1‖代表第n個關(guān)節(jié)點到第一個關(guān)節(jié)點的歐式距離。由于分類時要識別出瑜伽的種類以及瑜伽動作的評分，因此在設(shè)計聯(lián)合模型的數(shù)據(jù)輸入時，需要設(shè)計成多階模式。數(shù)據(jù)輸入的格式如式(4)和式(5)所示:

其中，yn代表瑜伽動作的種類;S1，S2，S3分別代表優(yōu)、良、中。數(shù)據(jù)D有兩個標(biāo)簽，分別是類別標(biāo)簽和評分標(biāo)簽。如圖4所示，最后主干網(wǎng)絡(luò)連接兩個全連接層，分別對應(yīng)類別和評分，這樣就可以利用一個網(wǎng)絡(luò)訓(xùn)練解決兩個分類問題。與其對應(yīng)的模型有兩個損失函數(shù)。由于瑜伽動作的分類和評分都是分類問題，因此都采用交叉熵?fù)p失函數(shù)。由于瑜伽動作的類別間的特征遠(yuǎn)遠(yuǎn)高于類內(nèi)評分之間的特征，因此在制作數(shù)據(jù)集時最好將每個類別內(nèi)中三個評分S1、S2和S3數(shù)量大致保持一致，同時多模態(tài)數(shù)據(jù)中的RGB數(shù)據(jù)和骨骼數(shù)據(jù)是一一對應(yīng)的，因此在S1、S2和S3中的骨骼數(shù)據(jù)和RGB數(shù)據(jù)是相同的。在模型訓(xùn)練時，我們采取了一系列數(shù)據(jù)增強(qiáng)操作，包括:

(1)旋轉(zhuǎn)操作:由于拍攝角度不同，人物圖像可能會發(fā)生不同角度的旋轉(zhuǎn)，因此在網(wǎng)絡(luò)訓(xùn)練中對數(shù)據(jù)隨機(jī)旋轉(zhuǎn)操作。

(2)降噪操作:考慮到大多數(shù)手機(jī)攝像頭都自帶人物美顏功能，因此采集的人物RGB數(shù)據(jù)噪聲較小。對訓(xùn)練數(shù)據(jù)隨機(jī)加入各種降噪處理有利于提高模型的魯棒性。

(3)亮度操作:不同人在拍攝照片時，所在的環(huán)境背景不同，拍攝的照片背景亮度存在很大差異。圖片的亮度同樣也會影響網(wǎng)絡(luò)檢測的準(zhǔn)確率，因此在網(wǎng)絡(luò)訓(xùn)練中對數(shù)據(jù)隨機(jī)加入增加或者降低亮度操作。

(4)模糊操作:由于手機(jī)拍照曝光影響以及抖動的影響，高斯模糊和運(yùn)動模糊會發(fā)生在使用環(huán)境中，因此對訓(xùn)練數(shù)據(jù)隨機(jī)加入運(yùn)動模糊和高斯模糊處理。

在模型使用時，輸入拍攝的RGB數(shù)據(jù)。首先骨骼提取模型會將RGB數(shù)據(jù)轉(zhuǎn)換成骨骼數(shù)據(jù)，然后將兩張圖片輸入到多模態(tài)聯(lián)合模型中。輸出的四個識別結(jié)果，分別是 Ar、As、Sr和 Ss，分別代表RGB數(shù)據(jù)的分類結(jié)果、骨骼數(shù)據(jù)的分類結(jié)果、RGB數(shù)據(jù)的得分結(jié)果和骨骼數(shù)據(jù)的得分結(jié)果。最終的分類結(jié)果和得分結(jié)果計算公式如下:

其中，α代表RGB數(shù)據(jù)權(quán)重系數(shù);β代表骨骼數(shù)據(jù)權(quán)重系數(shù)。根據(jù)不同實驗環(huán)境，可將α和β設(shè)置成不同的數(shù)值。多模態(tài)瑜伽動作分類評分模型只需輸入一些普通的RGB數(shù)據(jù)，直接就能輸出瑜伽動作的類別和評分。

4 實驗分析

在多模態(tài)算法以及瑜伽動作類別和評分判定方法的基礎(chǔ)上，對提出方法的有效性進(jìn)行了對比實驗分析和驗證。實驗中，根據(jù)MOOC的課程安排，采集了400個志愿者的瑜伽動作圖片。目前使用了其中四組動作，每張圖片都帶有動作類別和得分等級標(biāo)簽。需要說明的是，為了消除個體差異，訓(xùn)練集和測試集中的被試者不同。為了方便瑜伽動作評判，并驗證單模型和聯(lián)合模型對瑜伽動作識別和評分的準(zhǔn)確性，特制作了瑜伽動作數(shù)據(jù)集。實驗所用臺式電腦的 CPU型號為 Intel Core i5－4460m，主頻為 3．2GHz，GPU 型號為 GXT 1060，內(nèi)存為16GB，操作系統(tǒng)為Windows 10，Python版本號為3．6，使用 Pytorch框架。

4．1 數(shù)據(jù)集介紹

為了驗證基于多模態(tài)瑜伽姿態(tài)檢測算法的有效性，筆者驗證4種瑜伽姿態(tài)，分別為山式、手杖式、幻椅式和仰臥上升腿式，并對每種動作的評價指標(biāo)進(jìn)行說明。為了使瑜伽姿態(tài)數(shù)據(jù)庫更具有可靠性，本文的數(shù)據(jù)全部來自MOOC和網(wǎng)上教學(xué)的志愿者圖片。選取符合要求的圖片按照不同分類存放在數(shù)據(jù)庫中。評價標(biāo)準(zhǔn)是根據(jù)三位老師評分的均分。采集的數(shù)據(jù)集如表1所示，其中評分是指瑜伽動作的評分等級，分為優(yōu)、良、中三個級別;數(shù)量是指存在數(shù)據(jù)集中圖片的數(shù)目。最后瑜伽姿態(tài)數(shù)據(jù)集中收集到4 800張有效圖片，各個評分下的瑜伽姿態(tài)動作各400張圖片。最后使用這些圖片作為基于多模態(tài)瑜伽姿態(tài)檢測算法的數(shù)據(jù)集。

表1 瑜伽姿態(tài)的數(shù)據(jù)集

對于各組瑜伽動作，按照以下要求分為優(yōu)、良、中三個級別。

(1)山式:動作的優(yōu)秀指標(biāo):雙腳腳掌相靠，垂直向前，膝蓋收緊上提，腹部收緊，尾骨下卷，雙肩向外打開，雙眼平視前方，頭在雙肩的正前方;動作的良好指標(biāo):雙腳腳掌相靠(略微散開)，垂直向前，膝蓋收緊上提，腹部收緊，尾骨下卷，雙肩向外打開，雙眼平視前方，頭在雙肩的正前方;動作的中等指標(biāo):雙腳腳掌相靠(略微散開)，腳掌外八或者內(nèi)八，膝蓋松散無上提，腹部無收緊，尾骨無下卷，雙肩內(nèi)扣，雙眼平視前方，頭沒有在雙肩的正前方。

(2)手杖式:動作的優(yōu)秀指標(biāo):將身體坐在墊子上，讓重心落在坐骨，雙腿向前伸直，雙腳腳尖回勾，腳后跟蹬向遠(yuǎn)方。雙手放臀部兩側(cè)的地面，掌心朝下，十指分開，指尖朝向正前方。收緊股四頭肌并向腹股溝提拉，大腿壓向地面，胸腔向上提，脊柱保持穩(wěn)定，頭、頸、臀保持在一條直線。雙肩放松向下沉，保持均勻的呼吸。動作的良好指標(biāo):是指某些動作不符，例如膝蓋微微彎曲，頭、頸、臀大致保持在一條直線。動作的中等指標(biāo):主要是一些動作不符合規(guī)定，例如膝蓋微微彎曲，脊柱保持不夠穩(wěn)定，頭、頸、臀不能保持在一條直線上。

(3)幻椅式:動作的優(yōu)秀指標(biāo):雙腳腳掌并攏垂直向前，膝蓋在不超過腳尖，臀部后坐，大腿和地面趨于平行。尾骨下卷，后背和頭往天花板方向伸展，背部延伸，雙手手臂上抬伸直，保持和背部相同方向。動作的良好指標(biāo):主要包括大腿和地面沒有平行。尾骨下卷，后背和頭往天花板方向伸展，背部延伸，雙手手臂上抬伸直，保持和背部大致相同方向。動作的中等指標(biāo):雙腳腳掌沒有并攏，膝蓋超過腳尖，臀部向后，大腿和地面沒有平行，尾骨沒有下卷，背部延伸不夠。

(4)仰臥上升腿式:動作的優(yōu)秀標(biāo)準(zhǔn):仰臥姿態(tài)，后背完全貼向地面，雙腿上抬離開地面呈90度，膝蓋伸直，腳掌回勾。動作的良好指標(biāo):仰臥姿態(tài)，后背完全貼向地面，雙腿上抬離開地面呈90度，膝蓋伸直，腳掌沒有回勾。動作的中等指標(biāo):仰臥姿態(tài)，后背不完全貼向地面，雙腿上抬離開地面呈沒有90度，膝蓋沒有伸直，腳掌沒有回勾。

在數(shù)據(jù)集整理完成后，按照dataij={Actioni(Scorej)}標(biāo)準(zhǔn)進(jìn)行分類，其中，Actioni指瑜伽動作i，Scorej指瑜伽動作Actioni得分 j。同時將這批數(shù)據(jù)按照4∶1分為訓(xùn)練集和測試集送入網(wǎng)絡(luò)模型中去訓(xùn)練測試。

4．2 實驗對比

為了驗證多模態(tài)模型的效果，將訓(xùn)練的數(shù)據(jù)集送入骨骼提取模型中，提取出相應(yīng)的骨骼姿態(tài)。此時訓(xùn)練數(shù)據(jù)分為RGB數(shù)據(jù)和骨骼數(shù)據(jù)。將RGB數(shù)據(jù)和骨骼數(shù)據(jù)按照相同比例進(jìn)行數(shù)據(jù)處理，生成多模態(tài)數(shù)據(jù)。與RGB數(shù)據(jù)和骨骼數(shù)據(jù)的數(shù)據(jù)量相同。將這三類數(shù)據(jù)按照相同的方式送入聯(lián)合模型中訓(xùn)練，訓(xùn)練過程中使用相同的數(shù)據(jù)增強(qiáng)方法，相同的學(xué)習(xí)率，相同的訓(xùn)練方式。最后利用訓(xùn)練好的模型分別用測試數(shù)據(jù)驗證。測試的結(jié)果如表2所示。

表2 模型結(jié)果對比

根據(jù)表2數(shù)據(jù)可以觀察到，利用多模態(tài)數(shù)據(jù)和RGB數(shù)據(jù)訓(xùn)練的模型能夠100%的識別瑜伽類別，單獨使用骨骼數(shù)據(jù)在識別瑜伽類別時平均準(zhǔn)確率只有91%。主要是因為有些瑜伽動作需要觀察側(cè)面，身體有遮擋部分，關(guān)節(jié)點檢測算法不能有效地提取全部關(guān)節(jié)點。對于瑜伽姿態(tài)評分，聯(lián)合模型識別的準(zhǔn)確率達(dá)到90．15%，RGB數(shù)據(jù)識別的準(zhǔn)確率只有75．3%，骨骼數(shù)據(jù)識別的準(zhǔn)確率是81．6%。為了更好地對比模型的效果，筆者設(shè)計了瑜伽姿態(tài)檢測的綜合評價指標(biāo)W。W是根據(jù)瑜伽姿態(tài)類別的判定和評分的判定求得。每個模型W的計算公式如下:

其中，n代表瑜伽類別;Ai代表第i類瑜伽姿態(tài)的類別的準(zhǔn)確率;Si代表第i類瑜伽姿態(tài)的得分的準(zhǔn)確率。根據(jù)式(8)和表2求得各個模型的W，如圖6所示。

圖6 綜合指標(biāo)對比

根據(jù)實驗結(jié)果可以看出，如何準(zhǔn)確地判斷出瑜伽動作的評分是我們的主要工作。雖然骨骼數(shù)據(jù)在判斷動作類別時具有較大的優(yōu)勢，但是提取骨骼時，有些關(guān)節(jié)點可能采集不到，因此單獨使用骨骼數(shù)據(jù)最終的識別效果并不能達(dá)到最優(yōu);RGB圖像在區(qū)分動作類別時，具有較大的優(yōu)勢，但是在評價動作得分時，由于受到衣服環(huán)境的干擾，導(dǎo)致不能有效地評價出動作得分;而多模態(tài)數(shù)據(jù)在多模態(tài)聯(lián)合模型中表現(xiàn)出較大的優(yōu)勢，集合了RGB數(shù)據(jù)和骨骼數(shù)據(jù)的優(yōu)勢，同時又利用一個模型完成識別任務(wù)，可以快速準(zhǔn)確地完成瑜伽動作的分類和判分。

5 結(jié)論

人體姿態(tài)識別技術(shù)如果要在瑜伽線上教學(xué)發(fā)揮作用必須保證其準(zhǔn)確性、魯棒性和實時性都達(dá)到較高的水平。筆者在人體姿態(tài)檢測研究的基礎(chǔ)上，根據(jù)不同算法的優(yōu)缺點將算法進(jìn)行融合，使得融合結(jié)果在姿態(tài)識別數(shù)據(jù)集中的表現(xiàn)均優(yōu)于單個算法，并設(shè)計研發(fā)了基于多模態(tài)的瑜伽動作姿態(tài)檢測模型。因此，將該設(shè)計研究運(yùn)用于今后體育線上教學(xué)中具有較大的優(yōu)勢。