陳雪嬌，繆文南

（華南理工大學(xué)廣州學(xué)院電子信息工程學(xué)院，廣東廣州 510800）

體感娛樂運(yùn)動項(xiàng)目適合不同時期的少年兒童，可開發(fā)智力、鍛煉腦力、促進(jìn)手眼協(xié)調(diào)，促進(jìn)少年兒童的健康成長。另外，當(dāng)今是一個快節(jié)奏的時代，很多人沒有時間、沒有空間運(yùn)動，能夠在有限的時間和空間內(nèi)進(jìn)行各種體感娛樂運(yùn)動，不僅釋放了職場上的壓力，而且鍛煉了身體，遠(yuǎn)離疾病的困擾。而動作識別作為人機(jī)交互的一種重要技術(shù)，一直是模式識別領(lǐng)域的研究熱點(diǎn)之一。在動作識別研究中主要有兩個方向:基于視覺傳感器的動作識別[1-4]和基于可穿戴傳感器的動作識別［5-10］?；诩铀俣葌鞲衅鞯膭幼髯R別技術(shù)屬于后者，由于加速度傳感器具有能耗低、體積小、成本低的特點(diǎn)被廣泛使用［11-13］。例如：各種賽車游戲，用戶通過雙手作出各種組合手勢來操控系統(tǒng)，在智力和體力之間讓用戶獲得無窮樂趣。但現(xiàn)有的手勢識別式設(shè)備，大多數(shù)采用視頻識別雙手手勢方法，通過攝像頭對手部進(jìn)行拍照，然后應(yīng)用圖像識別技術(shù)識別雙手手勢操控游戲，這種攝像頭識別雙手手勢方法雖比較直觀，但數(shù)學(xué)計(jì)算復(fù)雜、識別速度慢且手部空間位置識別范圍有限，識別相對誤差較大[14-16]。針對上述問題，文中設(shè)計(jì)了一種基于雙手手勢識別體感交互系統(tǒng)，通過雙手手勢體感操控交互界面選擇的游戲。設(shè)計(jì)的智能手環(huán)成本低、靈敏度高、操控空間不受限等，能夠迅速得到用戶的青睞和市場推廣。

1 系統(tǒng)總體方案設(shè)計(jì)

系統(tǒng)架構(gòu)由一對數(shù)據(jù)采集模塊（智能手環(huán)）、中繼器、可視化人機(jī)交互界面3 部分組成，如圖1 所示。智能手環(huán)以微控制器為核心，主要包含加速度傳感器、電池管理模塊、無線模塊；中繼器主要功能通過無線模塊接收智能手環(huán)上的信息，然后以串口的方式傳輸給上位機(jī)；可視化人機(jī)交互界面由VB 語言編輯，主要功能是讀取串口數(shù)據(jù)并進(jìn)行判斷和匹配，設(shè)置模擬按鍵和加載相關(guān)的游戲。

圖1 系統(tǒng)架構(gòu)圖

2 系統(tǒng)的硬件設(shè)計(jì)

系統(tǒng)中智能手環(huán)選擇STC12芯片作為微處理器，由nrf24L01 無線模塊、MMA845251 加速度傳感器、LED 指示燈、開關(guān)、電源管理模塊等部分組成。體感手環(huán)固定于手腕上，用于采集手勢動作的加速度信號，其無線模塊和加速度傳感器與STC12LE5A60S2的硬件接線圖如圖2 所示。

圖2 器件與STC12LE5A60S2的接線圖

當(dāng)加速度傳感器感知到手部的三維活動時，獲取的模擬加速度信號被轉(zhuǎn)換為數(shù)字信號，計(jì)算和處理后的數(shù)據(jù)通過無線傳輸模塊傳送到中繼器，然后中繼器通過串口將數(shù)據(jù)以文本形式保存在計(jì)算機(jī)上。利用計(jì)算機(jī)讀取文本數(shù)據(jù)，進(jìn)行傳感器數(shù)據(jù)的特征提取和手勢動作匹配等分析工作，其原理圖如圖3 所示。

圖3 系統(tǒng)硬件原理圖

其中，中繼器主要用于數(shù)據(jù)傳輸，采用了具有較高處理速度的STM32 芯片和nrf24L01 無線模塊，實(shí)現(xiàn)了左右配對和一對多通信數(shù)據(jù)傳輸，及用串口與計(jì)算機(jī)傳輸數(shù)據(jù)。

3 交互系統(tǒng)軟件流程及算法

3.1 智能手環(huán)工作流程設(shè)計(jì)

左右手環(huán)在配對和切換左右手操作時，手環(huán)無線收發(fā)器轉(zhuǎn)化為接收模式，等待中繼器把新的地址碼發(fā)給手環(huán)，手環(huán)微處理器使用E2PROM 存儲器存儲新的地址碼，利用指示燈變化判別手環(huán)的配對是否成功。配對完成后，微處理器讀取加速度的值，通過定時器定時1 min 確定加速度的值是否在改變，當(dāng)判別超過1 min 無操作時，單片機(jī)自動進(jìn)入掉電模式；同時在單片機(jī)掉電模式下，定時器定時喚醒單片機(jī)，判斷手環(huán)的加速度傳感器角度的變化，其工作流程圖如圖4 所示。

圖4 智能手環(huán)工作流程

3.2 智能手環(huán)加速度傳感器算法設(shè)計(jì)

MMA8451Q 三軸加速度傳感器運(yùn)用三軸角度生成器和三軸運(yùn)動數(shù)據(jù)編碼器可采集人體動作數(shù)據(jù)，具體算法是在立體平面內(nèi)對傳感器進(jìn)行受力分析如圖5 所示。

圖5 加速度傳感器三軸受力分析示意圖

首先設(shè)定x軸閾值dx，y軸閾值dy，z軸閾值dz，假設(shè)在Tn（n=0,1,2,…，其中T0為初始時刻）時刻下，采集x軸的輸出電壓變化量為Δxn、y軸的輸出電壓變化量為Δyn，z軸的輸出電壓變化量為Δzn；然后判斷|Δxn|是否小于dx，| Δyn|是否小于dy，和|Δzn|是否小于dz；若都是則繼續(xù)往下執(zhí)行，否則重新采集數(shù)據(jù)；同時根據(jù)三軸角度公式計(jì)算x軸與重力加速度的夾角αn，y軸與重力加速度的夾角βn，和z軸與重力加速度的夾角γn；三軸角度公式為：

其中，g為重力加速度，kx為x軸靈敏度，ky為y軸靈敏度，kz為z軸靈敏度，g、kx、ky和kz均為常量；

上述計(jì)算得出的αn、βn和γn通過濾波公式（2）進(jìn)行濾波。

若αn、βn和γn符合濾波公式（2），則輸出至三軸運(yùn)動數(shù)據(jù)編碼器，并且更新時刻Tn=Tn+1，進(jìn)入下一個三軸角度生成過程；若αn、βn和γn不符合濾波公式，則直接更新時刻Tn=Tn+1，進(jìn)入下一個三軸角度生成過程。

根據(jù)上述處理輸出的αn、βn和γn，使用三軸偏轉(zhuǎn)量生成式（3），并生成三軸偏轉(zhuǎn)量數(shù)據(jù)組合集，對生成的三軸偏轉(zhuǎn)量數(shù)據(jù)組合集分段，如三軸加速度生成器讀到x軸時，進(jìn)行判斷，若-1 ≤Xn＜-0.5，則更新Xn=1；若-0.5 ≤Xn＜0，則更新Xn=2；若0 ≤Xn＜0.5，則更新Xn=3；若0.5 ≤Xn≤1，則更新Xn=4，y軸、z軸數(shù)據(jù)處理流程與x軸數(shù)據(jù)處理流程相同。產(chǎn)生三軸偏轉(zhuǎn)量數(shù)據(jù)組合集后，為保證數(shù)據(jù)處理和數(shù)據(jù)傳輸?shù)乃俣燃拜^高的精度，三軸運(yùn)動數(shù)據(jù)編碼器中，將三軸偏轉(zhuǎn)量數(shù)據(jù)組合集分段建立的坐標(biāo)系按每軸4 分段進(jìn)行坐標(biāo)編碼序號處理，如表1 所示。生成的左右手對應(yīng)的手勢坐標(biāo)編碼序號存儲在微處理器E2PROM 中，并發(fā)送給交互系統(tǒng)與手勢進(jìn)行對比和匹配，進(jìn)而操控游戲。

表1 三軸偏轉(zhuǎn)量數(shù)據(jù)組合序列號

其中，Xn、Yn和Zn是在Tn時刻下x、y、z軸的偏轉(zhuǎn)量，取值范圍為-1～1。

3.3 中繼器程序流程設(shè)計(jì)

中繼器的功能是接收左右手環(huán)運(yùn)動組合序列號并與左右手環(huán)匹配，然后將數(shù)據(jù)上傳給可視化界面終端，具體流程如圖6 所示。無線傳輸模塊nrf24L01利用6 通道特性實(shí)現(xiàn)左右手環(huán)一對多的通信，實(shí)現(xiàn)兩個手環(huán)匹配一個中繼器，在左右手環(huán)配對時通過不同通道的地址碼進(jìn)行區(qū)分。為了終端建立識別左右手手勢動作的識別庫，實(shí)現(xiàn)左右手勢運(yùn)動序列的差異性，如左手手勢運(yùn)動序列范圍為0～63；右手手勢運(yùn)動序列范圍為64～127，將無線收發(fā)器通道1 接收的數(shù)據(jù)發(fā)送給終端，通道2 接收的數(shù)據(jù)加64 再發(fā)送給終端，其中通道0 為公用通道。

圖6 中繼器軟件流程圖

4 可視化界面終端設(shè)計(jì)

可視化界面包含游戲配置主界面和游戲加載界面，其中游戲配置主界面主要有按鍵設(shè)置模塊、串口連接模塊、游戲管理模塊，主要功能是對接收到的左右手手勢運(yùn)動序列進(jìn)行區(qū)分，并進(jìn)行分析和匹配，控制加載的游戲動作達(dá)到娛樂效果，游戲加載界面主要功能是加載或卸載游戲、更改游戲名稱和啟動游戲等[17]。游戲配置主界面程序設(shè)計(jì)主要采用了command按鈕控件、option選擇控件、picturebox 控件、Combo 選項(xiàng)控件和ImageList 控件等，而游戲加載界面程序設(shè)計(jì)采用了command 按鈕控件、text 文本控件、picturebox 控件和list 列表控件等，游戲管理界面如圖7 所示。

圖7 游戲管理界面

5 系統(tǒng)測試

5.1 手環(huán)和中繼器硬件測試

手環(huán)外殼加工由亞克力板六層疊加而成，利用螺絲孔固定，頂層亞克力板預(yù)留兩個按鈕和螺絲開孔，底層亞克力板預(yù)留了4 個表帶開孔和兩個螺絲開孔，手環(huán)和中繼器電路板經(jīng)Altium Designer 電路圖和PCB 設(shè)計(jì)、打樣、焊接、調(diào)試等環(huán)節(jié)，智能手環(huán)和中繼器實(shí)物圖如圖8 所示。

圖8 智能手環(huán)和中繼器實(shí)物圖

5.2 加速度傳感器角度誤差測試

MMA8451Q 加速度傳感器硬件調(diào)試完成后，微處理器與電腦串口相連，打開串口調(diào)試助手窗口，調(diào)試加速度傳感器位置的變化查看調(diào)試助手顯示窗口三維角度的變化，測試10 組實(shí)驗(yàn)數(shù)據(jù)進(jìn)行誤差計(jì)算和分析，測試實(shí)際角度和理論值進(jìn)行誤差比較，保證操控角度準(zhǔn)確操控游戲方向，實(shí)驗(yàn)測試結(jié)果符合預(yù)期，實(shí)驗(yàn)數(shù)據(jù)測試結(jié)果如表2 所示。

表2 加速度傳感器三軸角度實(shí)驗(yàn)測量數(shù)據(jù)

5.3 可視化界面終端測試

可視化界面終端測試主要有串口連接測試、游戲管理界面啟動列表測試和按鍵設(shè)置測試，經(jīng)程序編寫、窗口布局、圖片插入、功能調(diào)試、操作流程調(diào)試等測試，測試效果良好、操作便捷。

5.4 系統(tǒng)聯(lián)調(diào)

該系統(tǒng)選擇win8 操作系統(tǒng)，加載了《咖菲貓跑丁車》游戲，游戲界面如圖9 所示。對智能手環(huán)功能進(jìn)行測試，首先進(jìn)行了手勢體感操作測試，測試結(jié)果如下：用戶左手抬起，右手水平放置時，賽車前進(jìn)；左手放下，右手水平放置時，賽車后退；右手抬起，左手水平放置時，換擋；玩家雙手同時左傾時，賽車左轉(zhuǎn)；雙手同時右傾時，賽車右轉(zhuǎn)；雙手水平放置時，賽車保持原狀態(tài)。然后進(jìn)行手環(huán)配對和切換左右手功能進(jìn)行測試，即在上位機(jī)開啟配對模式后，手環(huán)按下功能鍵，指示燈顏色由紅變藍(lán)，說明配對成功，切換左右手功能正常，反之異常；最后進(jìn)行智能手環(huán)掉電模式測試，即將手環(huán)置于桌面，10 min 后指示燈熄滅，說明自動待機(jī)功能正常，反之異常。

圖9 游戲界面示意圖

6 結(jié)論

文中針對雙手手勢識別及交互系統(tǒng)進(jìn)行了設(shè)計(jì)，提出了系統(tǒng)的整體架構(gòu)，分別對智能手環(huán)、中繼器硬件和外殼進(jìn)行設(shè)計(jì)，重點(diǎn)對智能手環(huán)配對、左右手切換、加速度傳感器算法和編碼、無線模塊數(shù)據(jù)傳送流程展開了研究和設(shè)計(jì)，上位機(jī)實(shí)現(xiàn)了可視化游戲管理、動作分析匹配、游戲加載等功能。實(shí)驗(yàn)測試證明，智能手環(huán)加載的游戲具有低功耗、高靈敏度且識別過程精簡、操作空間不受限等良好特點(diǎn)，操作游戲能使用戶產(chǎn)生親切感和依賴感，大大提高了用戶體驗(yàn)度。