馬潔

摘? ?要：文章結(jié)合陀螺儀（GYRO）、加速度計（ACC）、彎曲可變電阻三者收集到的手勢動作信息，提出一種融合多傳感器信息的手勢識別方法，以提高訓(xùn)練及識別的速度。首先執(zhí)行運動窗口檢測，然后平滑濾波，將手勢加速信號預(yù)處理為幀，最后構(gòu)建離散隱馬爾可夫模型以實現(xiàn)手勢識別。

關(guān)鍵詞：手勢識別;隱馬爾可夫;多傳感器融合

1? ? 國內(nèi)外研究發(fā)展狀況

手語是一種相對穩(wěn)定的表達系統(tǒng)，由符號、手勢、表情和手勢補充。手勢語言源自象形語言，對應(yīng)人類手勢中的對象或行為。手語是日常生活中常用的交流語言，為了確保日常生活的實用性，本系統(tǒng)主要設(shè)計用于手語。

一般來說，手語識別系統(tǒng)可以通過視覺或數(shù)據(jù)采集手套得到的數(shù)據(jù)來作為輸入。與視覺手勢結(jié)合的人機交互界面正成為計算機與人機交互領(lǐng)域的熱點[1]。然而，對視頻手勢，尤其是復(fù)雜的動態(tài)手勢識別問題的分析和理解仍然亟待解決。

本文的研究對象是具有時空并發(fā)性的手語，其具有時間不確定性和空間不確定性。此外，考慮到每個手指的變化（例如手指的彎曲和伸展、手指之間的距離的變化等），應(yīng)使用數(shù)據(jù)手套作為輸入設(shè)備。

從識別技術(shù)的角度來看，以前的手語識別系統(tǒng)主要使用神經(jīng)網(wǎng)絡(luò)和隱馬爾可夫模型（Hidden Markov Model，HMM）。神經(jīng)網(wǎng)絡(luò)方法由于處理時間序列的能力較弱，目前被廣泛用于靜態(tài)手勢識別。即便是HMM簡單架構(gòu)，也可以很好地描述手語信號的時空變化[2]，因而在動態(tài)手勢識別領(lǐng)域占有重要地位。Liang等[3]、Starner等[4]、Vogler等[5]研究的描述的系統(tǒng)正是融合了HMM的識別技能。然而，針對在連續(xù)HMM中計算狀態(tài)概率密度時需要估計的參數(shù)數(shù)量很大而造成的訓(xùn)練和識別速度慢的問題，提出了一種手勢識別方法，該方法將陀螺儀（Gyroscope，GYRO）、加速度計（Accelerometer，ACC）、彎曲可變電阻三者收集到的手勢動作信息結(jié)合成了多傳感器信息，從而改善了訓(xùn)練效果，識別速度大為提高。

2? ? 系統(tǒng)模型（算法模型）

在連續(xù)手勢序列中，檢測到上一個手勢的終點到下一個手勢的起點之間，手的過渡通常被認為是連續(xù)手勢識別中最重要的困難之一。針對這一問題，本研究采用多流HMMs。HMMs是一種適合非平穩(wěn)隨機序列的學(xué)習(xí)模型，其具有概率統(tǒng)計特征。此模型有3個基本問題要解決：

（1）概率計算問題，一般采用前向（Forward）與后向（Back Forward）算法。

（2）學(xué)習(xí)問題，通常采用Baum-Welch算法，也就是最大期望算法（Expectation-Maximization Algorithm，EM）。

（3）解碼問題，其實現(xiàn)通常與維特比算法有關(guān)。隱馬爾可夫模型λ可以用3個元素表示：λ=（A，B，π）。

其中，A代表狀態(tài)轉(zhuǎn)移概率矩陣，B代表觀察概率矩陣，并且π代表初始狀態(tài)概率向量。HMM的優(yōu)點是算法成熟、效率高且易于訓(xùn)練，具有很強的建模功能，尤其在強大的時間序列方面，比如可以很好地處理單個時間序列特征向量。

本研究提出的方法信號更為復(fù)雜，包含基本的手形和運動軌跡信息，使用多流HMM對手勢進行訓(xùn)練和分類。

假設(shè)表示待識別手勢的觀察序列O由N個觀察數(shù)據(jù)流組成，即：O={On|n=1，2，...，N}。

然后，每個手勢類別模型λ由與N個觀察數(shù)據(jù)流相關(guān)的子模型λn組成，即λ={λn|n=1，2，...，N}。

假設(shè)每個數(shù)據(jù)流彼此獨立，對每個數(shù)據(jù)流進行建模。對于手勢模型λ，觀察序列O，其似然計算如下：

P（O|λ）=P（On|λn）υn? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （1）

以降低計算復(fù)雜度的目的簡化上式，將式（1）轉(zhuǎn)化如下：

lgP（O|λ）=υnlgP（On|λn）? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（2）

其中，υn是每個數(shù)據(jù)流的流權(quán)重，并且滿足υn=1，0≤υn≤1，表示每個數(shù)據(jù)流與最終識別結(jié)果的比例。具有最高可能性的模型類別是未知動態(tài)手勢動作特征序列的識別結(jié)果[6]。

ACC特征提取三軸加速度計可在執(zhí)行動態(tài)手勢時測量3個軸（x，y，z）上的速度變化率。變化率的序列值正是運動軌跡的直接描述。為了減小相同手勢之間的幅度和速度差異的影響，需要對ACC信號進行歸一化和下采樣，以簡化識別過程并降低識別難度。對收集到的ACC信號執(zhí)行以下兩步處理：首先，將活動段3中導(dǎo)聯(lián)ACC信號的幅度絕對值歸一化，將其最大最小比例轉(zhuǎn)換到-1和1之間，以消除對此信號在幅值方面因執(zhí)行動作的速度而造成的影響;其次，對歸一化的數(shù)據(jù)在時間軸上平均采樣N個數(shù)據(jù)點，研究發(fā)現(xiàn)，當(dāng)N=64時，可以獲得良好的結(jié)果。

3? ? 實驗結(jié)果

實驗方案和數(shù)據(jù)收集靜態(tài)手勢僅涉及手指運動，這是使靜態(tài)手指配置和手臂保持在特定位置的靜態(tài)手勢。在執(zhí)行動態(tài)手勢的過程中，手指的構(gòu)造取決于手勢的運動軌跡、手掌的方向以及運動前后的手指構(gòu)造的變化。為了驗證所提方法的有效性，本研究定義了一個包含10個動態(tài)手勢的完整集合。這些手勢由5個平面軌跡、6個靜態(tài)手形和兩個手勢方向組成。動態(tài)手勢的平面軌跡包括簡單的向上（UP）、水平移動（TRS）、支腿（CRK）和彎曲臂（STR）運動以及更復(fù)雜的波形（WAV）運動。用于動態(tài)手勢的靜態(tài)手形包括拳頭形（H）、確定手形（O）、拳頭形（F）、四指手形（S）和食指、大拇指手形（E）和伸拇指手形（T）。手勢方向包括手掌向上（PD）和手掌向下（PD）。

本次試驗需要收集并研究分析30 000個動態(tài)的手勢樣本。將研究對象放置在自然環(huán)境中，讓其自然站立，然后嚴格按照本研究定義的30個手勢在一周的時間里收集5次執(zhí)行數(shù)據(jù)信息。為了驗證多傳感器如何在手勢識別中如何發(fā)揮作用，首先就是要對單個的傳感器進行手勢識別試驗，之后再進行多手勢識別的組合試驗。

設(shè)計實驗以研究3種傳感器信號融合的效果，以證實其在手勢識別中的作用，實驗將受試者分成兩組，一組作為訓(xùn)練樣本，一組作為測試樣本。在實驗中，根據(jù)不同的實驗階段分為不同的測試內(nèi)容，在訓(xùn)練階段隨機從每個訓(xùn)練動作中挑選30個樣本進行模型訓(xùn)練，在測試階段，將剩下的20個樣本用作模式識別試驗。使用交叉驗證的方式來驗證7個數(shù)據(jù)結(jié)果之間的差別。

多傳感器的組合使用能夠極大程度地提高手勢識別的準確性。本研究定義了手勢識別的類型，能夠保障傳感器融合使用以改進系統(tǒng)的推理能力，由此得到的結(jié)果是：多個傳感器獲得的信息傳輸不論是在準確性還是在質(zhì)量的可靠性方面，顯然都超越單個傳感器結(jié)果。另外，通過對不同情況下的數(shù)據(jù)進行標準偏差對比可以發(fā)現(xiàn)：傳感器類型的增加與手勢識別的結(jié)果標準偏差呈現(xiàn)反比趨勢。通過實驗驗證，本研究提出的多種傳感器方法可以極大程度地減少手勢識別的差異結(jié)果，有效消除不同動態(tài)手勢模型所帶來的可分離差異。

4? ? 結(jié)語

本研究設(shè)計并實現(xiàn)了基于加速度傳感器的實時手勢識別方案。可穿戴運動采集模塊使用加速度傳感器收集手勢加速度信號，首先執(zhí)行運動窗口檢測，自動定位可能的手勢運動序列，然后平滑濾波，歸一化處理和信號窗口重采樣以消除手勢運動幅度和速度影響差異。將手勢加速信號預(yù)處理為幀，并提取每個幀的三維平均值作為關(guān)鍵特征，最后構(gòu)建離散隱馬爾可夫模型以實現(xiàn)手勢識別。實驗表明，使用手勢加速處理方案可以自動定位手勢，有效地提高了訓(xùn)練和識別的速度，并且該系統(tǒng)方案適用于可穿戴設(shè)備的實時交互。

[參考文獻]

[1]中國聾人協(xié)會.中國手語[M]北京：北京華夏出版社，1991.

[2]RABINER L R，JUANG B H.An introduction to Hidden Markov models[J].IEEE ASSP Magazine，1986（1）：4-16.

[3]LIANG R，OUHYOUNG M.A sign language recognition system using Hidden Markov model and context sensitive search[C].Hong Kong：Processing of the ACM Symposium on VR Software and Technology，1996.

[4]STARNER T，PENTLAND A.Real-time American sign language recognition from video using hidden Markov models：US，TR2375[P].1996-07-15.

[5]VOGLER C，METAXAS D.A SL recognition based on a coupling between HMMs and 3D motion analysis[J].Intl Confon Computer Vision，1998（1）：363-369.

[6]李云，陳香，張旭，等.基于加速計與表面肌電傳感器信息融合的手語識別方法[J].航天醫(yī)學(xué)與醫(yī)學(xué)工程，2010（6）：419-424.

Design of sign language recognition system based on curved variable resistor

Ma Jie

（School of Physics and Technology， Central China Normal University， Wuhan 430079， China）

Abstract：This article combines gesture motion information monitored by three low-cost sensors including gyroscope（GYRO）， accelerometer（ACC）， and curved variable resistor， and proposes a gesture recognition method for multiple sensor information to improve training and training speed. Firstly， detect the motion window， then smooth filter， preprocess the acceleration signal into frames， and finally construct the discrete Hidden Markov model to realize gesture recognition.

Key words：gesture recognition; Hidden Markov; fusion of multiple sensor