基于Kinect體感交互技術(shù)的上肢關(guān)節(jié)活動(dòng)度測(cè)量方法

瞿 暢 丁 晨 王君澤* 高 瞻

1(南通大學(xué)機(jī)械工程學(xué)院，南通 226019)2(南通大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，南通 226019)

基于Kinect體感交互技術(shù)的上肢關(guān)節(jié)活動(dòng)度測(cè)量方法

瞿 暢1丁 晨1王君澤1*高 瞻2

1(南通大學(xué)機(jī)械工程學(xué)院，南通 226019)2(南通大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，南通 226019)

體感交互技術(shù)；Kinect；人體上肢；關(guān)節(jié)活動(dòng)度；測(cè)量方法

引言

在康復(fù)醫(yī)學(xué)中，為了確定有無(wú)關(guān)節(jié)活動(dòng)障礙及障礙程度，為給選擇治療方法提供參考，需要進(jìn)行關(guān)節(jié)活動(dòng)度(range of motion，ROM)評(píng)定。關(guān)節(jié)活動(dòng)度評(píng)定，是指運(yùn)用一定的工具測(cè)量特定體位下關(guān)節(jié)的最大活動(dòng)范圍，從而對(duì)關(guān)節(jié)的功能做出判斷。關(guān)節(jié)活動(dòng)度測(cè)量是進(jìn)行關(guān)節(jié)活動(dòng)度評(píng)定的重要手段。

傳統(tǒng)的測(cè)量方法是采用通用量角器、方盤(pán)量角器以及電子量角器等測(cè)量工具進(jìn)行測(cè)量。用傳統(tǒng)測(cè)量工具進(jìn)行關(guān)節(jié)活動(dòng)度測(cè)量必須嚴(yán)格操作，專業(yè)性要求高。且量角器活動(dòng)臂、固定臂和旋轉(zhuǎn)中心放置位置的準(zhǔn)確性，因肢體軟組織的形態(tài)變化而受到不同程度的影響[1]。胡等利用數(shù)碼照相機(jī)拍攝關(guān)節(jié)活動(dòng)姿態(tài)，直接在圖像上度量出關(guān)節(jié)活動(dòng)角度[2]。由于數(shù)碼相機(jī)的存儲(chǔ)卡容量有限，在拍攝一定數(shù)量的照片后需要取出存儲(chǔ)卡將數(shù)據(jù)傳輸?shù)接?jì)算機(jī)，在測(cè)量的實(shí)時(shí)性與便捷性上存在一定問(wèn)題。張等分別基于三維攝像測(cè)量系統(tǒng)[3]和電磁跟蹤系統(tǒng)[4-5]進(jìn)行人體上肢運(yùn)動(dòng)測(cè)量。王等基于激光CCD利用激光三角法原理測(cè)量關(guān)節(jié)活動(dòng)度[6]。無(wú)論是三維攝像測(cè)量系統(tǒng)、電磁跟蹤系統(tǒng)或是激光CCD系統(tǒng)，都需要在軟硬件上進(jìn)行較大的投入。Antonio等通過(guò)使用便攜式傳感器(如加速度傳感器，陀螺測(cè)試儀以及磁力儀)與Kinect傳感器對(duì)人體關(guān)節(jié)運(yùn)動(dòng)角度進(jìn)行測(cè)量，探討了各類(lèi)傳感器在人體測(cè)量中的差異，初步驗(yàn)證了Kinect用于人體關(guān)節(jié)角度測(cè)量的可行性[7]。

本研究提出了一種基于Kinect的上肢活動(dòng)度測(cè)量方法。該方法無(wú)需使用其他設(shè)備，只需通過(guò)Kinect傳感器對(duì)人體上肢各關(guān)節(jié)進(jìn)行位置捕捉，實(shí)時(shí)記錄關(guān)節(jié)節(jié)點(diǎn)數(shù)據(jù)并傳至計(jì)算機(jī)，通過(guò)研究運(yùn)動(dòng)平面檢測(cè)等相關(guān)算法，計(jì)算出相應(yīng)關(guān)節(jié)的活動(dòng)度并反饋測(cè)量結(jié)果，從而自動(dòng)完成測(cè)量。

1 原理與方法

1.1測(cè)量原理

Kinect體感設(shè)備共有3個(gè)攝像頭(見(jiàn)圖1)，中間是RGB彩色攝像頭，左右兩邊分別為紅外線發(fā)射器和紅外線CMOS攝像頭。Kinect搭配了追焦技術(shù)，底座馬達(dá)會(huì)隨著對(duì)焦物體的移動(dòng)而轉(zhuǎn)動(dòng)。Kinect內(nèi)置麥克風(fēng)陣列，用于語(yǔ)音識(shí)別。Kinect主要有3個(gè)功能：3 D影像偵測(cè)、人體骨架追蹤以及音頻處理。Kinect對(duì)用戶進(jìn)行動(dòng)態(tài)捕捉和語(yǔ)音輸入，通過(guò)影像和語(yǔ)音辨識(shí)，轉(zhuǎn)換到骨架追蹤系統(tǒng)，與應(yīng)用程序進(jìn)行交互，從而完成整個(gè)系統(tǒng)的工作目標(biāo)。

圖1 Kinect傳感器Fig.1 Kinect Sensor

測(cè)量時(shí)，Kinect傳感器利用紅外線發(fā)射器發(fā)出的連續(xù)光照射在用戶的被測(cè)量處，通過(guò)紅外線CMOS攝像頭記錄測(cè)量空間的每一個(gè)散斑，結(jié)合這些散斑數(shù)據(jù)，對(duì)測(cè)量空間進(jìn)行編碼。如圖2所示，Kinect傳感器中的感應(yīng)器讀取編碼的光線，由Kinect傳感器中的芯片運(yùn)算進(jìn)行解碼，生成所需的上肢關(guān)節(jié)的彩色圖像數(shù)據(jù)、骨架數(shù)據(jù)和深度圖像數(shù)據(jù)。Kinect傳感器把獲取的上肢關(guān)節(jié)彩色圖像數(shù)據(jù)、骨架數(shù)據(jù)以及深度圖像數(shù)據(jù)，通過(guò)USB接口傳遞給計(jì)算機(jī)的自然用戶界面(natural user interface，NUI)，數(shù)據(jù)庫(kù)中的應(yīng)用程序編程接口(application program interface，API)，程序通過(guò)此接口獲取這些數(shù)據(jù)，并進(jìn)行判定和計(jì)算，及時(shí)反饋出上肢關(guān)節(jié)活動(dòng)度信息。

圖2 測(cè)量原理Fig.2 Principle of measurement

1.2測(cè)量方法

肩部與肘部關(guān)節(jié)活動(dòng)度測(cè)量，包含了肩關(guān)節(jié)屈曲/伸展、肩關(guān)節(jié)內(nèi)收/外展以及肘關(guān)節(jié)屈曲/伸展等科目。Kinect傳感器可以捕捉肩關(guān)節(jié)和肘關(guān)節(jié)的節(jié)點(diǎn)數(shù)據(jù)，調(diào)用NUI的API函數(shù)可以獲取手臂骨架數(shù)據(jù)，由此可以進(jìn)行肩、肘部關(guān)節(jié)活動(dòng)度的測(cè)量。在每個(gè)科目中，用戶根據(jù)提示確定測(cè)量的初始體位，執(zhí)行上肢運(yùn)動(dòng)。當(dāng)執(zhí)行動(dòng)作與測(cè)量要求不符時(shí)，系統(tǒng)報(bào)錯(cuò)并對(duì)用戶進(jìn)行動(dòng)作糾正，幫助用戶更好地完成科目測(cè)量。

1.2.1關(guān)節(jié)角度測(cè)量與計(jì)算

利用Kinect for Windows SDK中NUI的API函數(shù)可獲取骨架節(jié)點(diǎn)數(shù)據(jù)，得到上肢各關(guān)節(jié)的空間坐標(biāo)點(diǎn)。如圖3所示，Pm和Pn是相鄰關(guān)節(jié)的節(jié)點(diǎn)，坐標(biāo)分別為(X(Pm)，Y(Pm)，Z(Pm))和(X(Pn)，Y(Pn)，Z(Pn))。連接點(diǎn)Pm、Pn的矢量A在X、Y和Z方向的分量為AX、AY和AZ。

圖3 關(guān)節(jié)點(diǎn)空間矢量圖Fig.3 Space Vector Diagram of Joints

測(cè)量時(shí)，患者的體位一般是正對(duì)、側(cè)對(duì)或背對(duì)Kinect傳感器，而活動(dòng)度通常是計(jì)算上肢所測(cè)關(guān)節(jié)部位與人體冠狀面(與XOY面平行)、矢狀面(與YOZ面平行)或軸向面(與XOZ面平行)的夾角。根據(jù)空間幾何關(guān)系，可以分別求解出A與XOY、YOZ和XOZ平面的夾角α、β和θ，即A分別與AX+AY、AY+AZ和AX+AZ矢量的夾角

(1)

肩關(guān)節(jié)與肘關(guān)節(jié)、肘關(guān)節(jié)與腕關(guān)節(jié)等相鄰節(jié)點(diǎn)可以視為Pm和Pn節(jié)點(diǎn)，由此可以進(jìn)行人體上肢的關(guān)節(jié)活動(dòng)度測(cè)量。

1.2.2運(yùn)動(dòng)平面檢測(cè)

上肢的關(guān)節(jié)活動(dòng)度測(cè)量科目眾多，不同的科目都有不同的關(guān)節(jié)運(yùn)動(dòng)要求。在相關(guān)科目的測(cè)量過(guò)程中，肢體和關(guān)節(jié)在相應(yīng)的平面內(nèi)運(yùn)動(dòng)，獲得不同的關(guān)節(jié)活動(dòng)角度。因此，需要針對(duì)不同的測(cè)量科目，進(jìn)行相應(yīng)科目的運(yùn)動(dòng)平面檢測(cè)。

例如在進(jìn)行肩關(guān)節(jié)外展/內(nèi)收的活動(dòng)度測(cè)量時(shí)(見(jiàn)圖4)，理想的上肢運(yùn)動(dòng)平面為人體冠狀面(平面1)，其法線方向?yàn)閆軸方向，沿Z軸方向分別設(shè)置前邊界面(平面2)和后邊界面(平面3)，前邊界面和后邊界面均為人體冠狀面的平行面。對(duì)上肢關(guān)節(jié)點(diǎn)的深度值進(jìn)行檢測(cè)，并由人機(jī)交互界面顯示檢測(cè)信息，提示受測(cè)者按規(guī)范要求測(cè)量。Kinect傳感器分別獲取肩關(guān)節(jié)點(diǎn)P0、肘關(guān)節(jié)點(diǎn)P1、腕關(guān)節(jié)點(diǎn)P2和中指指尖節(jié)點(diǎn)P3的深度值Z(P0)、Z(P1)、Z(P2)及Z(P3)，為確保實(shí)際測(cè)量時(shí)被測(cè)者上肢動(dòng)作的準(zhǔn)確程度，同時(shí)又要避免產(chǎn)生明顯的測(cè)量誤差，設(shè)定平面2與平面3距平面1的距離均為L(zhǎng)。當(dāng)Max(Z(P0)，Z(P1)，Z(P2)，Z(P3))- Min(Z(P0)，Z(P1)，Z(P2)，Z(P3))≤L時(shí)，上肢運(yùn)動(dòng)符合規(guī)范，可順利進(jìn)行關(guān)節(jié)活動(dòng)度測(cè)量；當(dāng)Max(Z(P0)，Z(P1)，Z(P2)，Z(P3))-Min(Z(P0)，Z(P1)，Z(P2)，Z(P3))>L時(shí)，上肢運(yùn)動(dòng)偏離規(guī)定范圍，系統(tǒng)報(bào)錯(cuò)并糾正動(dòng)作。為了保證測(cè)量時(shí)上肢執(zhí)行動(dòng)作的精確度，平面2與平面3的距離(2L)應(yīng)不超出人體胸厚的范圍。根據(jù)中國(guó)成年人人體尺寸(GB/T 10000-1988)的人體胸厚尺寸，第一百分位的男性和女性胸厚尺寸為177 mm和159 mm，系統(tǒng)中男性的L值設(shè)定為90 mm，女性的L值設(shè)定為80 mm。

圖4 肩關(guān)節(jié)外展/內(nèi)收科目運(yùn)動(dòng)平面檢測(cè)Fig.4 Motion plane detection of shoulder’s abduction and adduction

1.2.3實(shí)驗(yàn)方法

不同器械、不同方法測(cè)得的關(guān)節(jié)活動(dòng)度值有差異，不宜互相比較[8]。為了驗(yàn)證方法的準(zhǔn)確度，選擇了40位上肢活動(dòng)無(wú)障礙的受測(cè)者進(jìn)行試驗(yàn)。受測(cè)者被隨機(jī)分為5組，分別進(jìn)行肩關(guān)節(jié)外展、肩關(guān)節(jié)內(nèi)收、肩關(guān)節(jié)屈曲、肩關(guān)節(jié)伸展和肘關(guān)節(jié)屈曲這5項(xiàng)肩、肘活動(dòng)度測(cè)量科目實(shí)驗(yàn)。在各科目測(cè)量中，每組8人的測(cè)量結(jié)果取平均值為該測(cè)量組的值，該測(cè)量試驗(yàn)實(shí)為對(duì)本系統(tǒng)精度的檢測(cè)試驗(yàn)。在測(cè)量試驗(yàn)中，設(shè)立目標(biāo)角度。受測(cè)者需按照要求將受測(cè)關(guān)節(jié)部位運(yùn)動(dòng)至相應(yīng)位置，與目標(biāo)角度的刻度線吻合。當(dāng)受測(cè)關(guān)節(jié)與刻度線重合時(shí)，系統(tǒng)會(huì)記錄下那一時(shí)刻計(jì)算得出的角度值，即測(cè)量角度。為了滿足該試驗(yàn)的測(cè)量要求，受測(cè)者需要運(yùn)動(dòng)相應(yīng)的關(guān)節(jié)部位。隨著上肢的運(yùn)動(dòng)，通過(guò)獲取關(guān)節(jié)點(diǎn)數(shù)據(jù)實(shí)時(shí)獲取實(shí)際運(yùn)動(dòng)的角度，與目標(biāo)角度進(jìn)行比較。

1.2.4統(tǒng)計(jì)分析方法

(2)

2 結(jié)果

根據(jù)上述關(guān)節(jié)活動(dòng)度的測(cè)量原理與方法，開(kāi)發(fā)了上肢關(guān)節(jié)活動(dòng)度自動(dòng)測(cè)量系統(tǒng)。圖5為右肩關(guān)節(jié)活動(dòng)度測(cè)量界面，受測(cè)者正對(duì)Kinect傳感器的攝像頭，進(jìn)行右肩關(guān)節(jié)活動(dòng)度測(cè)量(界面顯示的是受測(cè)者的鏡像)。圖5左上方為骨架圖像窗口，顯示系統(tǒng)捕捉的受測(cè)者右臂及其肩關(guān)節(jié)點(diǎn)P0、肘關(guān)節(jié)點(diǎn)P1、腕關(guān)節(jié)點(diǎn)P2、中指指尖節(jié)點(diǎn)P3的位置。圖5右上方為彩色圖像窗口和深度圖像窗口，可以幫助受測(cè)者更好地掌握自身位置與姿態(tài)。圖5左下方為科目選項(xiàng)窗口，受測(cè)者可以在此窗口中自行選擇具體測(cè)量科目。測(cè)量過(guò)程中，受測(cè)者根據(jù)圖5右下方所示的提示與反饋窗口的信息，執(zhí)行符合系統(tǒng)要求的上肢運(yùn)動(dòng)。

圖5所示的受測(cè)者體位，適合于肩關(guān)節(jié)外展/內(nèi)收科目的測(cè)量。由于受測(cè)者的冠狀面平行于XOY平面，此時(shí)右肩關(guān)節(jié)外展活動(dòng)度為連接點(diǎn)P0、P1的矢量與YOZ平面的夾角。若受測(cè)者按照提示與反饋窗口中的提示，變換體位或者重新勾選科目選項(xiàng)窗口中的科目，則可以進(jìn)行其它相應(yīng)科目的測(cè)量，測(cè)量結(jié)果顯示在提示與反饋窗口中。

圖5 右肩關(guān)節(jié)活動(dòng)度測(cè)量界面Fig.5 ROM measuring interface of right shoulder

表1 肩肘關(guān)節(jié)活動(dòng)度各科目測(cè)量結(jié)果

3 討論

關(guān)節(jié)活動(dòng)度測(cè)量臨床上多采用被動(dòng)運(yùn)動(dòng)，但合并評(píng)價(jià)肌力時(shí)則測(cè)量主動(dòng)運(yùn)動(dòng)角度。因此，臨床上以測(cè)量被動(dòng)運(yùn)動(dòng)為主，必要時(shí)再測(cè)主動(dòng)運(yùn)動(dòng)角度。本系統(tǒng)設(shè)置了被動(dòng)測(cè)量和主動(dòng)測(cè)量?jī)蓚€(gè)模塊。由于單個(gè)Kinect傳感器可以一次識(shí)別兩人的運(yùn)動(dòng)，并可對(duì)人物分別進(jìn)行標(biāo)定，所以在被動(dòng)測(cè)量時(shí)可以方便地辨識(shí)受測(cè)者和醫(yī)療人員，滿足被動(dòng)測(cè)量的要求。在主動(dòng)測(cè)量中，只有受測(cè)者一人，僅需簡(jiǎn)單地識(shí)別出受測(cè)者即可。

關(guān)節(jié)活動(dòng)度的傳統(tǒng)測(cè)量中，測(cè)量工具原則上不能與人體受測(cè)部位產(chǎn)生相對(duì)偏移。但由于運(yùn)動(dòng)功能障礙患者在測(cè)量中常以代償運(yùn)動(dòng)來(lái)彌補(bǔ)測(cè)量部位的運(yùn)動(dòng)缺失，這就需要醫(yī)療人員熟悉各關(guān)節(jié)解剖和正?；顒?dòng)范圍，熟練掌握測(cè)量技術(shù)。利用本方法測(cè)量時(shí)，當(dāng)患者關(guān)節(jié)位置因代償產(chǎn)生移動(dòng)，本系統(tǒng)會(huì)自動(dòng)刷新(30幀/s)骨架數(shù)據(jù)，獲取新的位置并進(jìn)行角度計(jì)算，測(cè)量工作對(duì)醫(yī)療人員的專業(yè)技術(shù)水平要求較低，且測(cè)量結(jié)果較為精確可靠。

因?yàn)镵inect SDK目前尚不能捕捉手指關(guān)節(jié)點(diǎn)數(shù)據(jù)，所以本方法目前無(wú)法實(shí)現(xiàn)手指關(guān)節(jié)活動(dòng)度測(cè)量。下一步的工作將重點(diǎn)研究利用Kinect傳感器獲取人體點(diǎn)云數(shù)據(jù)并進(jìn)行處理，實(shí)現(xiàn)人體上肢全部關(guān)節(jié)、所有科目的活動(dòng)度測(cè)量，并通過(guò)點(diǎn)云數(shù)據(jù)獲得更高的測(cè)量精度。

4 結(jié)論

本研究提出了一種利用Kinect體感交互技術(shù)進(jìn)行人體上肢關(guān)節(jié)活動(dòng)度測(cè)量的新方法，用戶通過(guò)Kinect傳感器和體感人機(jī)交互界面進(jìn)行上肢關(guān)節(jié)活動(dòng)度的測(cè)量，系統(tǒng)能實(shí)時(shí)記錄、計(jì)算及反饋關(guān)節(jié)活動(dòng)度信息，并提示糾正用戶的不合理測(cè)量動(dòng)作。該方法的測(cè)量精確度較高，測(cè)量操作簡(jiǎn)便快捷，測(cè)量效率高。該方法使用設(shè)備簡(jiǎn)單，成本低，只需一臺(tái)Kinect傳感器和個(gè)人計(jì)算機(jī)就可滿足要求，具有很好的應(yīng)用前景。

[1] 康宇華.關(guān)節(jié)活動(dòng)范圍研究現(xiàn)狀[J].中國(guó)康復(fù)醫(yī)學(xué)雜志,2001,16(1):57-59.

[2] 胡海滔,李志忠,嚴(yán)京濱,等.關(guān)節(jié)活動(dòng)度的照相測(cè)量方法[J].人類(lèi)工效學(xué),2006,12(2):13-15.

[3] 劉龍.三維攝像測(cè)量系統(tǒng)在人體上肢運(yùn)動(dòng)分析中的應(yīng)用[D].天津:天津科技大學(xué),2003.

[4] 張建國(guó),汪莉.基于電磁跟蹤系統(tǒng)的人體上肢ROM測(cè)量新方法[J].現(xiàn)代制造工程,2006,3:81-84.

[5] 汪莉,張建國(guó).基于電磁跟蹤系統(tǒng)的人體上肢ROM測(cè)量改進(jìn)研究[J].天津科技大學(xué)學(xué)報(bào),2006,21(4):65-67.

[6] 王鑫. 基于激光CCD的人工關(guān)節(jié)測(cè)量系統(tǒng)的研究[D].重慶:重慶大學(xué),2008.

[7] Antonio PLB, Mitsuhiro H, Philippe P. Joint angle estimation in rehabilitation with inertial sensors and its integration with Kinect [C] //Proceedings of 33rd Annual International Conference of the IEEE Engineering in Medicine and-Biology Society (EMBS). Boston: IEEE, 2011:3479-3483.

[8] 成鵬,馬誠(chéng).實(shí)用社區(qū)康復(fù)指南[M].上海:第二軍醫(yī)大學(xué)出版社,2007:41-43.

[9] 李云雁,胡傳榮.試驗(yàn)設(shè)計(jì)與數(shù)據(jù)處理[M].北京:化學(xué)工業(yè)出版社,2008:12-14.

[10] Alana DG, Thiago C, Lucas F,etal. Guidance and movement correction based on therapeutics movements for motor rehabilitation support systems [C] //Virtual and Augmented Reality (SVR). Rio Janiero: IEEE, 2012:191-200.

[11] Gotsis M, Lympouridis V, Turpin D,etal. Mixed reality game prototypes for upper body exercise and rehabilitation [C] //Virtual Reality Short Papers and Posters (VRW). Costa Mesa: IEEE, 2012:181-182.

[12] Tilak D. Evaluation of the Kinect sensor for 3-d kinematic measurement in the workplace [J]. Applied Ergonomics, 2011,43(4):1-5.

AMethodtoMeasuretheRangeofMotionofHumanUpperLimbsBasedonKinectSomatosensoryInteractionTechnology

QU Chang1DING Chen1WANG Jun-Ze1*GAO Zhan2

1(CollegeofMechanicalEngineering,NantongUniversity,Nantong226019,China)2(CollegeofComputerScienceandTechnology,NantongUniversity,Nantong226019,China)

somatosensory interaction technology; Kinect; human upper limbs; range of motion; measurement method

10.3969/j.issn.0258-8021. 2014. 01.003

2013-01-23，錄用日期：2013-12-13

國(guó)家自然科學(xué)基金 (61170171)；南通市科技公共服務(wù)平臺(tái)(DE2010003)；南通大學(xué)研究生科技創(chuàng)新計(jì)劃(YKC12062)

R496

A

0258-8021(2014) 01-0016-06

*通信作者。E-mail: wang.jz@ntu.edu.cn