使用簡易深度成像設(shè)備的高爾夫揮桿動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)三維重建

呂東岳 黃志蓓 陶冠宏 俞能海 吳健康

?

使用簡易深度成像設(shè)備的高爾夫揮桿動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)三維重建

呂東岳①黃志蓓*②陶冠宏②俞能海①吳健康②

①(中國科學(xué)院電子學(xué)研究所 北京 100190)②(中國科學(xué)院大學(xué) 北京 100049)

基于簡易深度成像設(shè)備的動(dòng)作捕捉系統(tǒng)因其與傳統(tǒng)設(shè)備相比更加廉價(jià)且易于使用而倍受關(guān)注。然而，此類設(shè)備圖像分辨率很低，肢體間互相遮擋，缺乏3維動(dòng)作重建的基本數(shù)據(jù)條件。該文融合人體關(guān)節(jié)點(diǎn)父子關(guān)系與關(guān)節(jié)點(diǎn)在運(yùn)動(dòng)中的多階馬爾可夫性，提出一個(gè)描述人體關(guān)節(jié)點(diǎn)空間關(guān)系與動(dòng)態(tài)特性的動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)(DBN)模型，基于該DBN模型并利用高爾夫揮桿運(yùn)動(dòng)的相似性，構(gòu)建了一種高爾夫揮桿3維重建系統(tǒng)DBN-Motion(DBN-based Motion reconstruction system)，使用簡易深度成像設(shè)備Kinect，有效地解決了肢體遮擋的問題，實(shí)現(xiàn)了高爾夫揮桿動(dòng)作的捕獲和3維重建。實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)能夠在重建精度上媲美商用光學(xué)動(dòng)作捕捉系統(tǒng)。

信號(hào)處理；高爾夫揮桿重建；動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)模型；深度成像設(shè)備

1 引言

近年來，傳統(tǒng)的高爾夫培訓(xùn)方式逐漸被利用動(dòng)作捕捉設(shè)備逐步糾正揮桿動(dòng)作的教學(xué)模式所取代。動(dòng)作捕捉設(shè)備主要分為兩大類[1]：光學(xué)動(dòng)作捕捉設(shè)備[2,3]與可穿戴式微傳感器動(dòng)作捕捉設(shè)備[4,5]。前者需要在被捕捉者的肢體上附著主動(dòng)式或被動(dòng)式的標(biāo)記，通過固定布置在使用者周圍的高速攝像頭捕捉標(biāo)記的位置，通過標(biāo)記的位置得到人體主要關(guān)節(jié)點(diǎn)的位置從而實(shí)現(xiàn)動(dòng)作的捕捉與重建；后者則需要將一系列的微傳感器節(jié)點(diǎn)(每個(gè)節(jié)點(diǎn)包含有加速度與磁傳感器等設(shè)備)附著在使用者肢體上，通過分析傳感器數(shù)據(jù)得到人體主要關(guān)節(jié)點(diǎn)的位置。雖然上述兩類設(shè)備在研究與培訓(xùn)領(lǐng)域取得了較多的成果，但是這并不能掩蓋它們本身所固有的缺陷：光學(xué)動(dòng)作捕捉設(shè)備需要一處固定的環(huán)境，事先架設(shè)并且對(duì)設(shè)備進(jìn)行調(diào)試，而且一旦設(shè)備的位置發(fā)生變化就需要重新調(diào)試；可穿戴式動(dòng)作捕捉設(shè)備雖然對(duì)環(huán)境的適應(yīng)性比光學(xué)設(shè)備強(qiáng)，但是穿戴式傳感器節(jié)點(diǎn)會(huì)令使用者感到不適，影響揮桿時(shí)的發(fā)揮；同時(shí)，兩種設(shè)備的價(jià)格都非常昂貴，系統(tǒng)架構(gòu)十分復(fù)雜。

快速發(fā)展的深度成像技術(shù)為解決上述兩種動(dòng)作捕捉設(shè)備的固有缺陷帶來了希望。已有學(xué)者采用簡易深度成像設(shè)備進(jìn)行3維動(dòng)作的捕捉研究并取得了一定的成果。但是，簡易深度成像設(shè)備的分辨率、幀率以及深度測量的精度還有待提高；同時(shí)，深度成像設(shè)備存在肢體遮擋問題[7]。為了解決上述問題并將簡易深度成像設(shè)備運(yùn)用于高爾夫揮桿研究領(lǐng)域，研究者們提出了一些專門用于高爾夫揮桿運(yùn)動(dòng)的算法。文獻(xiàn)[11,12]提出一種利用深度成像設(shè)備給揮桿者的揮桿進(jìn)行打分與評(píng)級(jí)的算法，在揮桿時(shí)捕捉揮桿者在3維空間中的骨架位置，運(yùn)用序列相關(guān)模型對(duì)揮桿動(dòng)作打分評(píng)級(jí)；文獻(xiàn)[13]利用深度成像設(shè)備捕捉揮桿動(dòng)作并識(shí)別了6種常見的揮桿錯(cuò)誤；文獻(xiàn)[14]嘗試解決遮擋問題，提出了一種基于模板的算法來學(xué)習(xí)與糾正原始深度成像設(shè)備輸出的人體關(guān)節(jié)點(diǎn)信息。上述算法在改進(jìn)深度成像設(shè)備獲取的原始失真揮桿動(dòng)作中做出了一定的貢獻(xiàn)，但是遮擋問題依然未能很好地得到解決。

為了更好地解決遮擋問題，提升深度成像設(shè)備對(duì)高爾夫揮桿捕捉與重建的精度，本文建立了一個(gè)用于描述人體關(guān)節(jié)點(diǎn)空間關(guān)系與動(dòng)態(tài)特性的動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)(Dynamic Bayesian Network,DBN)模型，通過融合人體關(guān)節(jié)點(diǎn)父子關(guān)系，關(guān)節(jié)點(diǎn)在運(yùn)動(dòng)中的多階馬爾可夫性以及人體關(guān)節(jié)點(diǎn)在揮桿運(yùn)動(dòng)中的相似性，該DBN模型改善了低分辨率深度圖像信息下?lián)]桿重建的精度，有效解決了關(guān)節(jié)點(diǎn)之間因?yàn)檫\(yùn)動(dòng)造成的相互遮擋問題；基于該DBN模型構(gòu)建了一種可移動(dòng)、非接觸式的揮桿3維重建系統(tǒng)DBN-Motion(DBN-based Motion reconstruction system)，并將其得到的高爾夫揮桿重建結(jié)果與商用光學(xué)動(dòng)作捕捉系統(tǒng)MAT-T[15]得到的結(jié)果進(jìn)行了對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，DBN- Motion系統(tǒng)能夠得到媲美于MAT-T系統(tǒng)的重建結(jié)果。

本文第2節(jié)介紹DBN-Motion系統(tǒng)的架構(gòu)并詳細(xì)介紹了作為其核心的DBN模型；第3節(jié)為實(shí)驗(yàn)與對(duì)比結(jié)果；第4節(jié)為結(jié)論與展望。

2 系統(tǒng)架構(gòu)與DBN模型

2.1系統(tǒng)架構(gòu)

DBN-Motion系統(tǒng)包含3個(gè)部分：揮桿數(shù)據(jù)獲取、揮桿數(shù)據(jù)處理以及揮桿重建，如圖1所示。作為一種簡易深度成像設(shè)備，Kinect擁有最全面的軟件支持，并且能夠很好地克服傳統(tǒng)動(dòng)作捕捉設(shè)備的缺陷[16]，其對(duì)場地及周邊電磁環(huán)境幾乎沒有任何要求，能夠滿足在任何室內(nèi)環(huán)境中使用，這種優(yōu)勢是本系統(tǒng)可移動(dòng)性的基礎(chǔ)。本系統(tǒng)采用Kinect作為動(dòng)作捕捉設(shè)備，RGBD數(shù)據(jù)(彩色與深度信息)通過OpenNI平臺(tái)[17]轉(zhuǎn)換為揮桿運(yùn)動(dòng)數(shù)據(jù)；系統(tǒng)的第2部分通過DBN模型修正第1部分獲得的原始運(yùn)動(dòng)數(shù)據(jù)；系統(tǒng)的第3部分使用修正后的運(yùn)動(dòng)數(shù)據(jù)在4個(gè)視角下(斜上、正視、側(cè)視與俯視)繪制重建整個(gè)揮桿過程。

圖1 DBN-Motion系統(tǒng)架構(gòu)

2.2 揮桿數(shù)據(jù)處理：DBN模型

2.2.1揮桿過程的相似性 揮桿過程定義為從上桿開始直到跟隨階段的一個(gè)特殊姿勢(雙臂自由揮動(dòng)至大致與地面平行)為止。由于高爾夫揮桿有固定技術(shù)動(dòng)作[18]，所以不同的揮桿者的揮桿過程具有相似性。揮桿過程的相似性體現(xiàn)在兩個(gè)方面：

(1)空間運(yùn)動(dòng)相似性：在不受干擾自由揮桿時(shí)，不同的揮桿者每一次揮桿過程中人體關(guān)節(jié)點(diǎn)的相對(duì)運(yùn)動(dòng)是相似的；

(2)時(shí)間比例相似性：對(duì)不同的揮桿者，揮桿過程的4個(gè)組成部分(持桿、上桿、下桿以及跟隨)在整個(gè)揮桿過程中所占的時(shí)間比例是相似的。

利用上述兩種相似性建模時(shí)，空間運(yùn)動(dòng)相似性體現(xiàn)在對(duì)不同的揮桿者在建模時(shí)可以采用相似的模型結(jié)構(gòu)；時(shí)間比例相似性體現(xiàn)在對(duì)不同揮桿者的不同時(shí)長的揮桿過程進(jìn)行了歸一化，可以采用相似的模型參數(shù)來描述不同揮桿者的運(yùn)動(dòng)，同時(shí)模型參數(shù)的訓(xùn)練也可以采用更加廣泛的數(shù)據(jù)，模型在不同揮桿者之間的魯棒性也更加出色。

2.2.2 DBN模型 本文在人體骨架模型的基礎(chǔ)上，將用來描述人體運(yùn)動(dòng)的15個(gè)關(guān)節(jié)點(diǎn)分為5條互相獨(dú)立的鏈，由此形成的描述人體關(guān)節(jié)點(diǎn)關(guān)系的樹狀結(jié)構(gòu)如圖2所示。通過對(duì)15個(gè)主要關(guān)節(jié)點(diǎn)進(jìn)行建模并獲得位置信息，能夠準(zhǔn)確地將整個(gè)人體的動(dòng)作完整地進(jìn)行重建。在建模過程中，由于5條關(guān)節(jié)點(diǎn)鏈的結(jié)構(gòu)相似，對(duì)其中一條鏈建立的模型表示亦可以應(yīng)用到其他4條鏈上，區(qū)別僅在于模型參數(shù)的不同。

圖2 人體關(guān)節(jié)點(diǎn)樹狀結(jié)構(gòu)

在構(gòu)建模型的過程中，使用下列的5個(gè)符號(hào)來表示模型中的狀態(tài)、觀測等要素：為鏈上的第個(gè)關(guān)節(jié)點(diǎn)在時(shí)刻在其父節(jié)點(diǎn)坐標(biāo)系下的位置(關(guān)節(jié)點(diǎn)的相對(duì)位置)；為鏈上的第個(gè)關(guān)節(jié)點(diǎn)在時(shí)刻在大地坐標(biāo)系下的位置(關(guān)節(jié)點(diǎn)的絕對(duì)位置)；為一條鏈上的第個(gè)關(guān)節(jié)點(diǎn)在時(shí)刻在大地坐標(biāo)系下的位置的觀測值(原始觀測信息)；為用于描述關(guān)節(jié)點(diǎn)動(dòng)態(tài)特性的多階馬爾可夫鏈的階數(shù)；為一條鏈中包含的關(guān)節(jié)點(diǎn)總數(shù)。

描述整條關(guān)節(jié)點(diǎn)鏈中關(guān)節(jié)點(diǎn)運(yùn)動(dòng)的DBN模型如圖3所示。為了不影響模型的可讀性，在描述關(guān)節(jié)點(diǎn)自身動(dòng)態(tài)特性時(shí)只在根節(jié)點(diǎn)處體現(xiàn)了多階馬爾科夫鏈結(jié)構(gòu)。

圖3 DBN模型結(jié)構(gòu)

為了在失真的原始數(shù)據(jù)的基礎(chǔ)上獲得精度比較滿意的正常數(shù)據(jù)，需要尋找能夠讓關(guān)節(jié)點(diǎn)在時(shí)刻的絕對(duì)位置后驗(yàn)概率最大化的的位置。當(dāng)運(yùn)動(dòng)過程持續(xù)時(shí)間為時(shí)，關(guān)節(jié)點(diǎn)鏈中共有個(gè)關(guān)節(jié)點(diǎn)，關(guān)節(jié)點(diǎn)處所有節(jié)點(diǎn)的聯(lián)合概率密度分布可以看成由時(shí)刻關(guān)節(jié)點(diǎn)鏈中第個(gè)關(guān)節(jié)點(diǎn)擴(kuò)充而來：

模型中條件概率密度均假設(shè)服從高斯分布。高斯分布的選擇不僅簡化了參數(shù)訓(xùn)練的復(fù)雜度，而且通過后續(xù)的實(shí)驗(yàn)章節(jié)中與現(xiàn)有的光學(xué)動(dòng)作捕捉系統(tǒng)獲得的結(jié)果進(jìn)行的對(duì)比實(shí)驗(yàn)，從一個(gè)側(cè)面印證了其符合高爾夫揮桿實(shí)際的正確性。

關(guān)節(jié)點(diǎn)的相對(duì)運(yùn)動(dòng)采用的是多階馬爾科夫鏈模型，在確定模型階數(shù)時(shí)使用了文獻(xiàn)[14]中提出的“平均關(guān)節(jié)點(diǎn)誤差和”(mean value of sum of Joint Errors, msJE)作為評(píng)判依據(jù)：

圖4 msJE的變化與動(dòng)態(tài)模型階數(shù)的關(guān)系

3 實(shí)驗(yàn)結(jié)果與討論

3.1 實(shí)驗(yàn)準(zhǔn)備

MAT-T系統(tǒng)對(duì)架設(shè)的環(huán)境有嚴(yán)格的要求，需要將6臺(tái)采樣率為180 Hz的攝像裝置以一定的高度環(huán)繞架設(shè)在揮桿區(qū)域周圍，揮桿者全身佩戴標(biāo)定點(diǎn)，通過攝像裝置捕捉標(biāo)定點(diǎn)在整個(gè)揮桿過程中的變化，從而獲得人體揮桿時(shí)的運(yùn)動(dòng)數(shù)據(jù)；DBN-Motion系統(tǒng)架設(shè)時(shí)，Kinect擺放在距離揮桿者2.5 m左右、離地面1 m左右的位置，保證揮桿者的整個(gè)揮桿動(dòng)作能完整地被其捕捉。

實(shí)驗(yàn)中邀請了5位不同的揮桿者，每人做6次完整的揮桿，兩套系統(tǒng)同時(shí)捕捉揮桿者的動(dòng)作，采用離線處理獲得揮桿運(yùn)動(dòng)數(shù)據(jù)以作比較。在整個(gè)實(shí)驗(yàn)過程中，5位揮桿者的揮桿數(shù)據(jù)輪流作為測試數(shù)據(jù)，學(xué)習(xí)與重建的過程在揮桿者的揮桿數(shù)據(jù)之間輪流進(jìn)行，確保每位揮桿者的每一次揮桿數(shù)據(jù)都有與之對(duì)應(yīng)的重建結(jié)果。實(shí)驗(yàn)中考慮整個(gè)揮桿過程中人體運(yùn)動(dòng)最為劇烈的關(guān)節(jié)點(diǎn)(即雙肩、雙肘與雙手)，具體實(shí)現(xiàn)上，選擇手部關(guān)節(jié)點(diǎn)位置、肩寬與臂長(包括左上臂、左前臂、右上臂與右前臂)等5段肢體長度以及全身關(guān)節(jié)點(diǎn)的差異來進(jìn)行比較。

對(duì)于全身關(guān)節(jié)點(diǎn)位置的差異，除了可以使用式(5)定義的msJE作為對(duì)比標(biāo)準(zhǔn)外，其均值(mean value of msJE, mmsJE)也可以用作對(duì)比標(biāo)準(zhǔn)。

3.2與MAT-T系統(tǒng)的對(duì)比

由于本系統(tǒng)采用的簡易深度成像設(shè)備Kinect的采樣率(30 Hz)與MAT-T系統(tǒng)中的攝像裝置不具有可比性，所以在實(shí)驗(yàn)過程中的對(duì)比均采用對(duì)應(yīng)采樣時(shí)刻的數(shù)據(jù)。圖5展示了兩套系統(tǒng)獲得的其中一位揮桿者手部關(guān)節(jié)點(diǎn)位置的對(duì)比結(jié)果。圖中，,,分別表示3維空間的3個(gè)分量，即大地坐標(biāo)系下的寬、高與深度。

圖5 揮桿者手部關(guān)節(jié)點(diǎn)位置對(duì)比

從圖5的對(duì)比結(jié)果可以看出，DBN-Motion系統(tǒng)的手部關(guān)節(jié)點(diǎn)重建結(jié)果與MAT-T的結(jié)果在大部分揮桿過程中僅有細(xì)微的差異，即使存在明顯差異也基本處于揮桿過程的收尾階段(跟隨階段)，此時(shí)由于擊球動(dòng)作已經(jīng)結(jié)束，揮桿相似性的體現(xiàn)不如前3個(gè)階段。總之，在手部關(guān)節(jié)點(diǎn)位置信息獲取精度上，DBN-Motion系統(tǒng)的重建結(jié)果與MAT-T的結(jié)果之間是具有可比性的。值得注意的是，DBN- Motion系統(tǒng)的重建結(jié)果是基于采用其他揮桿者揮桿數(shù)據(jù)學(xué)習(xí)得到的模型得出的，這也從一個(gè)側(cè)面印證了揮桿運(yùn)動(dòng)中相似性的存在。

兩套系統(tǒng)獲得的5位揮桿者的肢體長度的比較見表1，表中揮桿者的肢體長度均為在整個(gè)揮桿過程中的均值。

表1兩套系統(tǒng)下?lián)]桿者肢體長度比較

與MAT-T的結(jié)果相比，DBN-Motion系統(tǒng)重建的5段肢體段的長度基本上只有細(xì)微的差異，但是在肩寬數(shù)據(jù)中有兩位揮桿者的數(shù)據(jù)差異非常大(大于10%)。在MAT-T系統(tǒng)中，標(biāo)定點(diǎn)在肩部容易產(chǎn)生位移，從而造成肩部關(guān)節(jié)點(diǎn)位置信息產(chǎn)生誤差[19]，直觀上反映即為肩寬不穩(wěn)定。而在實(shí)際的揮桿動(dòng)作中，揮桿者在整個(gè)過程中并不會(huì)做出對(duì)肩寬產(chǎn)生影響的動(dòng)作。為了說明MAT-T系統(tǒng)獲得的肩寬數(shù)據(jù)并不穩(wěn)定，圖6顯示了其中一位揮桿者肩寬數(shù)據(jù)隨時(shí)間變化的比較結(jié)果，為了突出DBN- Motion系統(tǒng)對(duì)原始關(guān)節(jié)點(diǎn)位置輸出的修正效果，原始Kinect估計(jì)得出的肩寬數(shù)據(jù)也一并進(jìn)行了比較。DBN-Motion系統(tǒng)獲得的重建結(jié)果的波動(dòng)性十分微小，MAT-T系統(tǒng)獲得的結(jié)果在肩寬數(shù)據(jù)上的波動(dòng)性大于DBN-Motion系統(tǒng)獲得的重建結(jié)果，據(jù)此可以認(rèn)為產(chǎn)生肩寬數(shù)據(jù)明顯差異的主要原因?yàn)閯?dòng)作捕捉時(shí)標(biāo)定點(diǎn)產(chǎn)生的位移。同時(shí)可以看到，原始Kinect獲得的肩寬數(shù)據(jù)波動(dòng)十分劇烈，說明了DBN- Motion系統(tǒng)對(duì)于原始觀測數(shù)據(jù)的修正能力。

圖6 揮桿者揮桿過程中肩寬數(shù)據(jù)的對(duì)比

通過與現(xiàn)有的光學(xué)動(dòng)作捕捉系統(tǒng)(MAT-T)進(jìn)行比較，本系統(tǒng)的核心，即用于描述全身關(guān)節(jié)點(diǎn)運(yùn)動(dòng)的DBN模型對(duì)深度成像設(shè)備估計(jì)的揮桿修正效果以及對(duì)關(guān)節(jié)點(diǎn)劇烈運(yùn)動(dòng)、遮擋的魯棒性是顯而易見的，使用簡易深度成像設(shè)備對(duì)高爾夫揮桿這一行為進(jìn)行重建是完全可行的。揮桿中運(yùn)動(dòng)最為劇烈的6個(gè)關(guān)節(jié)點(diǎn)的重建結(jié)果兩套系統(tǒng)雖然仍有一定的差異，但已經(jīng)具有可比性，如此的對(duì)比結(jié)果也從一個(gè)側(cè)面印證了之前提出的模型條件概率密度高斯分布假設(shè)的正確性。相對(duì)于原始Kinect深度數(shù)據(jù)直接通過OpenNI平臺(tái)估計(jì)得出的結(jié)果，DBN-Motion系統(tǒng)的輸出精度有了很大的提高。同時(shí)，在DBN模型建模的過程中并未對(duì)任何關(guān)節(jié)點(diǎn)的運(yùn)動(dòng)做出限制，由此不難得出本系統(tǒng)同樣適用于描述其他具有規(guī)律性的運(yùn)動(dòng)行為的結(jié)論。

4 結(jié)束語

本文使用簡易深度成像設(shè)備構(gòu)建了一種與傳統(tǒng)動(dòng)作捕捉設(shè)備不同的可移動(dòng)、非接觸式的高爾夫揮桿重建系統(tǒng)DBN-Motion，其核心是一種能夠用于描述人體全身關(guān)節(jié)點(diǎn)運(yùn)動(dòng)位置信息的DBN模型。實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)能夠有效修正現(xiàn)有的簡易深度成像系統(tǒng)(例如Kinect)獲得的人體關(guān)節(jié)點(diǎn)位置信息；在與光學(xué)動(dòng)作捕捉系統(tǒng)MAT-T獲取的關(guān)節(jié)點(diǎn)位置信息的比較中，在對(duì)應(yīng)采樣時(shí)刻處的重建結(jié)果非常接近，肢體段長度的差異也很小，而且克服了后者肩部寬度容易受手臂扭曲導(dǎo)致的標(biāo)定點(diǎn)移位造成的影響。不僅如此，該系統(tǒng)在建模的過程中并未對(duì)任何關(guān)節(jié)點(diǎn)的運(yùn)動(dòng)做出限制，可以適用于描述其他具有規(guī)律性的運(yùn)動(dòng)行為。

今后隨著技術(shù)的進(jìn)步，DBN-Motion系統(tǒng)在升級(jí)硬件設(shè)備后獲得的重建結(jié)果的幀數(shù)以及精度也會(huì)隨之上升。另外，今后的研究工作還將著眼于更加精細(xì)的人體揮桿運(yùn)動(dòng)描述(例如增加腕部關(guān)節(jié)點(diǎn)與脊柱關(guān)節(jié)點(diǎn)，嘗試獲取完整的桿頭軌跡)與其他規(guī)律性的運(yùn)動(dòng)行為的描述與重建。

參考文獻(xiàn)

[1] Zhou H and Hu H. Human motion tracking for rehabilitationa survey[J]., 2008, 3(1): 1-18.

[2] Noiumkar Sand Tirakoat S. Use of optical motion capture in sports science: a case study of golf swing[C]. 2013 International Conference on Informatics and Creative Multimedia (ICICM), Kuala Lumpur, 2013: 310-313.

[3] Holte M B, Chakraborty B, Gonzalez J,.. A local 3-D motion descriptor for multi-view human action recognition from 4-D spatio-temporal interest points[J].,2012, 6(5): 553-565.

[4] Nam C N K, Kang H J, and Suh Y S. Golf swing motion tracking using inertial sensors and a stereo camera[J]., 2014, 63(4): 943-952.

[5] Chun S, Kang D, Choi H R,.. A sensor-aided self coaching model for uncocking improvement in golf swing[J]., 2014, 72(1): 253-279.

[6] Livingston M A, Sebastian J, Ai Z,.. Performance measurements for the microsoft kinect skeleton[C]. 2012 IEEE Virtual Reality Short Papers and Posters (VRW), Costa Mesa, CA, 2012: 119-120.

[7] Shum H P, Ho E S, Jiang Y,.. Real-time posture reconstruction for Microsoft Kinect[J]., 2013, 43(5): 1357-1369.

[8] Rosado J, Silva F, Santos V,.. Reproduction of human arm movements using kinect-based motion capture data[C]. 2013 IEEE International Conference on Robotics and Biomimetics (ROBIO), Shenzhen, 2013: 885-890.

[9] Xiang C, Hsu H H, Hwang W Y,.. Comparing real-time human motion capture system using inertial sensors with microsoft kinect[C]. 2014 7th International Conference on Ubi-Media Computing and Workshops (UMEDIA), Ulaanbaatar, 2014: 53-58.

[10] Kao W C, Hsu S C, and Huang C L. Human upper-body motion capturing using kinect[C]. 2014 International Conference on Audio, Language and Image Processing (ICALIP), Shanghai, 2014: 245-250.

[11] Zhang L, Hsieh J C, Ting T T,.. A kinect based golf swing score and grade system using GMM and SVM[C]. 2012 5th International Congress on Image and Signal Processing (CISP), Chongqing, 2012: 711-715.

[12] Zhang L, Hsieh J C, and Wang J. A kinect-based golf swing classification system using HMM and Neuro-Fuzzy[C]. 2012 International Conference on Computer Science and Information Processing (CSIP), Xi,an, 2012: 1163-1166.

[13] Lin Y H, Huang S Y, Huang S Y,.. A kinect-based system for golf beginners’ training[J]., 2013, 253(1): 121-129.

[14] Shen W, Deng K, Bai X,.. Exemplar-based human action pose correction and tagging[C]. 2012 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Providence, USA, 2012: 1784-1791.

[15] TaylorMade Performance Lab. Mat-t System[OL].http:// tmpl.taylormadegolf.com/mat-t-system, 2013.8.

[16] Smisek J, Jancosek M, and Pajdla T. 3D with kinect[C]. 2011 IEEE International Conference on Computer Vision Workshops (ICCV Workshops), Barcelona, 2011: 1154-1160.

[17] OpenNI Organization. Introducing OpenNI[OL].http://www. openni.org/images/stories/pdf/OpenNI_UserGuide.pdf.,

2013. 8.

[18] Arvind Dand Bates A. The speckled golfer[C]. The ICST 3rd International Conference on Body Area Networks, Tempe, Arizona, 2008: 1-7.

[19] McGuan S P. Achieving commercial success with biomechanics simulation[C]. 20 International Symposium on Biomechanics in Sports, Cáceres, Spain, 2002: 20, 451-460.

Dynamic Bayesian Network Model Based Golf Swing 3D Reconstruction Using Simple Depth Imaging Device

Lü Dong-yue①Huang Zhi-pei②Tao Guan-hong②Yu Neng-hai①Wu Jian-kang②

① (,,100190,)②(,100049,)

The simple depth imaging device gains more and more attention because of its lower cost and easy- to-use property compared with traditional motion capture systems. However, this kind of devices lack the basic data condition of 3D motion reconstruction due to low resolution, occlusions, and mixing up of body parts. In this paper, a Dynamic Bayesian Network (DBN) model is proposed to describe the spatial and temporal characteristics of human body joints. The model is based on fusion of the parent-child characteristics of joints and multi-order Markov property of joint during motion. A golf swing capture and reconstruction system DBN-Motion (DBN-based Motion reconstruction system), is presented based on the DBN model and the similarity of swing with a simple depth imaging device, Kinect, as capturing device. The proposed system effectively solves the problem of occlusions and mixing up of body parts, and successfully captures and reconstructs golf swing in 3D space. Experimental results prove that the proposed system can achieve comparable reconstruction accuracy to the commercial optical motion caption system.

Signal processing; Golf swing reconstruction; Dynamic Bayesian Network (DBN) model; Depth imaging device

TP391

A

1009-5896(2015)09-2076-06

10.11999/JEIT150165

黃志蓓 zhphuang@gmail.com

2015-01-29收到，2015-05-11改回，2015-06-26網(wǎng)絡(luò)優(yōu)先出版

國家自然科學(xué)基金(61431017)和科技部國際科技合作專項(xiàng)(2012DFG11820)資助課題

呂東岳： 男，1986年生，博士生，研究方向?yàn)樾盘?hào)與信息處理.

黃志蓓： 女，1973年生，副教授，研究方向?yàn)閭鞲芯W(wǎng)絡(luò).

陶冠宏： 男，1986年生，博士生，研究方向?yàn)樾盘?hào)與信息處理.