融合手勢識別和終端用戶評估的交互控制①

張 寧, 王衛(wèi)星, 胡寧峰

1(貴州大學(xué) 現(xiàn)代制造技術(shù)教育部重點實驗室, 貴陽 550025)

2(貴州大學(xué) 機(jī)械工程學(xué)院, 貴陽 550025)

人機(jī)交互(human-computer interaction, HCI)是關(guān)于設(shè)計、評價和供人們使用的交互式計算機(jī)系統(tǒng). 在人機(jī)交互的發(fā)展過程中, 經(jīng)歷了從命令行界面交互階段、圖形用戶界面(GUI)交互階段到自然和諧的人機(jī)交互階段. 目前基于穿戴設(shè)備的手勢識別需要用戶佩戴或觸摸設(shè)備以感知人的手勢變化[1,2], 其約束性使得人們對更友好的人機(jī)交互方式提出需求. 隨著人工智能及計算機(jī)技術(shù)的快速發(fā)展, 基于視覺識別的人機(jī)交互是利用計算機(jī)輸入命令形成成像系統(tǒng), 替代人體視覺感知進(jìn)行圖像處理和分析任務(wù). 該技術(shù)對環(huán)境的適應(yīng)性較強(qiáng), 也為手勢識別提供了一個更加自然的人機(jī)交互接口.

手勢是人與人之間最為自然的交流方式, 作為人機(jī)交互的手段具有靈活、直觀的特點. Karam等人[3]通過對手勢交互系統(tǒng)的研究將手勢劃分為了5類: 即指示性手勢、示意性手勢、操作性手勢、信號性手勢和手語性手勢, 讓手勢交互系統(tǒng)的交互手勢有了意義上的歸屬. 雖然手勢識別在技術(shù)和方法上不斷提升, 但在設(shè)計基于手勢識別的交互系統(tǒng)時, 大多數(shù)研究是優(yōu)先考慮實現(xiàn)交互系統(tǒng)的方便性, 即提高手勢識別率而忽略了實際的用戶需求和偏好, 導(dǎo)致最后交互系統(tǒng)可用性較低. 本文研究的目的是從優(yōu)化手勢的膚色分割和手勢識別過程出發(fā), 融合用戶認(rèn)知偏好, 為設(shè)計一個更有效的手勢識別交互系統(tǒng)奠定基礎(chǔ).

1 交互手勢設(shè)計理論

如今, 人機(jī)交互設(shè)計已經(jīng)不僅僅是以完成交互任務(wù)為目的, 而是在這基礎(chǔ)上更多地考慮用戶的交互過程及交互體驗. 婁澤華等人[4]采用自頂向下的方法從用戶、交互過程和交互系統(tǒng)3個方面總結(jié)出了12條手勢設(shè)計原則, 為手勢交互系統(tǒng)中的手勢設(shè)計提供了一個立足點, 并為已設(shè)計的手勢集提供一個綜合評估標(biāo)準(zhǔn).

雖然在現(xiàn)有的研究中總結(jié)出了一系列手勢設(shè)計原則, 但交互設(shè)計師在設(shè)計交互手勢時缺乏系統(tǒng)性, 用戶體驗感較差. 而在交互設(shè)計的早期通過了解用戶的偏好和行為, 可以為設(shè)計者提供更有價值的信息, 可以實現(xiàn)交互系統(tǒng)的有用性和高效性. 因此, 用戶參與式的研究被引入到手勢設(shè)計之中, 減少設(shè)計師與最終用戶的認(rèn)知差距. 在手勢設(shè)計階段, 我們通過用戶參與手勢的引出來建立手勢的共識集. Nacenta等人[5]研究發(fā)現(xiàn)用戶定義的手勢更容易被用戶所記憶. Nielsen等人[6]提出了一種引出和開發(fā)用戶定義手勢的程序, 使用用戶引導(dǎo)的程序?qū)λ芯康氖謩菰O(shè)計和整個交互設(shè)計過程提供了貢獻(xiàn). 根據(jù)手勢設(shè)計的原則, 本文構(gòu)建了8種經(jīng)常使用手勢的交互任務(wù)如表1: 開始、暫停、完成、放大、縮小、上一步、下一步和旋轉(zhuǎn). 這8類交互命令通常應(yīng)用在智能家居環(huán)境、智能機(jī)器人/無人機(jī)操作的移動設(shè)備、車載輔助駕駛?cè)蝿?wù)等領(lǐng)域. 對于每個交互任務(wù), 通過大量的用戶參與進(jìn)行手勢設(shè)計. 最終, 相同的手勢被分為一組, 選擇手勢相同的最大組來建立手勢的共識集, 該方法的流程如圖1所示.

圖1 交互任務(wù)的共識手勢設(shè)計

2 RGB圖像的手勢分割和識別方法

基于計算機(jī)視覺計算的圖像處理在手勢識別過程中有兩個階段: 手勢分割和手勢識別[7]. 目前, 手勢分割是手勢分析的第1步. 對于手勢分割, 主要目標(biāo)是將手部區(qū)域與背景分開. RGB圖像的手勢估計對設(shè)備要求低且成本低廉, 在人機(jī)交互領(lǐng)域得到了廣泛應(yīng)用[8]. 王龍等人[9]提出了一種結(jié)合膚色模型和卷積神經(jīng)網(wǎng)絡(luò)的手勢識別方法. 袁敏等人[10]采用閾值分割模型來提取手勢的膚色, 通過直接選定Cr, Cb的閾值范圍(133≤Cr≤173, 77≤Cb≤127)確定膚色范圍, 這種提取方式簡單快速, 但誤檢率較高. 楊紅玲等人[11]提出一種基于YCrCb顏色空間的膚色分割法, 去除背景后結(jié)合卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行手勢識別, 但大多針對簡單的場景且網(wǎng)絡(luò)運算量較大. 當(dāng)手勢圖像受到交互環(huán)境光干擾時,簡單的膚色分割模型并不能準(zhǔn)確地分割出手勢的區(qū)域.在手勢識別階段, 隨著深度學(xué)習(xí)的不斷發(fā)展, 大多數(shù)目標(biāo)識別網(wǎng)絡(luò), 諸如Fast R-CNN[12]、Faster R-CNN[13]和Mask R-CNN[14]等都是在全卷積神經(jīng)網(wǎng)絡(luò)(FCN)基礎(chǔ)上更新發(fā)展而來的網(wǎng)絡(luò)模型. 由于這些卷積神經(jīng)網(wǎng)絡(luò)在進(jìn)行目標(biāo)檢測時會伴隨著生成大量的候選區(qū)域, 最后對候選區(qū)域進(jìn)行分類和回歸, 計算量較大, 對數(shù)據(jù)集及設(shè)備的要求較高.

為了提高實際手勢交互系統(tǒng), 本文提出了橢圓膚色建模結(jié)合輕量化卷積神經(jīng)網(wǎng)絡(luò)(MobileNet-V2)的方法來識別交互手勢. 以手勢區(qū)域的二值化灰度信息為輸入, 降低原始RGB圖像信號噪聲的同時利用輕量化卷積神經(jīng)網(wǎng)絡(luò)的深度可分離卷積參數(shù)少、計算量小的特點減少手勢識別模型的運算量. 手勢分割和識別框架如圖2所示.

圖2 手勢分割和識別框架圖

2.1 RGB圖像色彩平衡處理

普通相機(jī)采集圖像過程中, 由于成像設(shè)備不具備從變換的環(huán)境光照下維持圖像原本顏色的功能, 導(dǎo)致采集的RGB圖像顏色與真實顏色存在一定程度的色彩偏差, 選擇合適的色彩平衡校正算法將有效避免光照環(huán)境對RGB圖像顏色偏差的影響. 本文選用灰度世界算法(gray world theory, GWT)[9]平衡RGB手勢圖像. GWT算法將R、G、B三個分量對光線平均反射的均值趨于同一灰度值, 從而可以減弱環(huán)境光的影響,達(dá)到RGB圖像色彩的平衡. GWT表達(dá)公式如下:

其中, R、G、B分別為RGB圖像的3個通道, RAVG、GAVG 、B AVG 為R、G、B三通道平均值, K為R、G、B三個通道的增益系數(shù).

2.2 橢圓膚色分割模型

膚色分割是利用顏色空間的轉(zhuǎn)換分離膚色區(qū)域與背景區(qū)域的方法. YCrCb顏色空間是一種正交顏色空間, 可以減小RGB顏色空間中的冗余信息. 由于YCrCb顏色空間可以獨立統(tǒng)計各個顏色成分, 從而用于優(yōu)化彩色信號的傳輸. RGB圖像的膚色信息轉(zhuǎn)化到Y(jié)CrCb顏色空間時, 膚色像素點映射在CrCb的二維空間中近似呈現(xiàn)橢圓分布, 且膚色區(qū)域的色度與亮度成非線性函數(shù)關(guān)系. 因此, 為了使膚色聚類時不受亮度Y的影響, 從RGB顏色空間轉(zhuǎn)換到Y(jié)CrCb顏色空間時去除了高光和陰影部分(即Y的最大值和最小值), 將色度Cr、Cb進(jìn)行非線性變換, 最終建立CrCb的橢圓膚色統(tǒng)計模型. 如果該模型判斷RGB圖像對應(yīng)的每個像素點值在橢圓內(nèi)則為膚色像素點, 否則為非膚色像素點[15].通過橢圓膚色模型分割手勢區(qū)域, 我們得到手勢的二值圖像. 橢圓模型計算公式為式(5)和式(6), 膚色判別公式為式(7).

2.3 手勢輪廓的重建

經(jīng)過上述膚色分割過程得到手勢的二值圖像, 但手勢區(qū)域邊緣可能會存在大小不一的空洞或者是其他非手勢區(qū)域的現(xiàn)象, 這將會影響手勢特征地提取, 因此我們重建手勢膚色區(qū)域. 由于現(xiàn)實中使用相機(jī)采集手勢時, 用戶做出的手勢常常位于身體前方, 且靠近相機(jī)的攝像頭, 因此手勢區(qū)域在整個圖像中占比較大. 首先,采用OpenCV中cv2.findContours函數(shù)查找二值圖像中所有輪廓; 其次, 用lambda表達(dá)式對輪廓區(qū)域面積大小進(jìn)行排序, 以輪廓面積為參數(shù)找到最大輪廓并繪制最大輪廓的外接矩形; 最后, 利用形態(tài)學(xué)的閉運算,設(shè)置結(jié)構(gòu)為3×3的全1矩陣對二值圖像進(jìn)行先膨脹后腐蝕的過程, 將最大輪廓區(qū)域填充為白色, 其余區(qū)域為黑色, 并平滑區(qū)域邊界.

2.4 基于二值化手勢圖像的手勢識別網(wǎng)絡(luò)

在手勢識別階段, 采用輕量級卷積神經(jīng)網(wǎng)絡(luò)MobileNet-V2對分割后的手勢進(jìn)行特征提取和識別,相比于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)在確保正確率的前提下大大減少了模型的參數(shù)和運算量, 可以實現(xiàn)在移動設(shè)備或者嵌入式設(shè)備上運行手勢識別模型. MobileNet-V2網(wǎng)絡(luò)是在MobileNet-V1網(wǎng)絡(luò)的基礎(chǔ)上改進(jìn)的[16]. 它的主要優(yōu)點是可以有效地降低參數(shù)和計算復(fù)雜度. 除了中等深度的可分離結(jié)構(gòu), 它還包括一個擴(kuò)展層(expansion layer)和一個投影層(projection layer). 因此, MobileNet-V2網(wǎng)絡(luò)的整個過程由“投影層→特征提取卷積層→擴(kuò)展層”變?yōu)椤皵U(kuò)展層→特征提取卷積層→投影層”.MobileNet-V2網(wǎng)絡(luò)選擇了Linear Bottleneck代替nonlinearities非線性激活函數(shù)直接輸出, 進(jìn)一步防止提取的特征被ReLU函數(shù)壓縮破壞. MobileNet-V2的網(wǎng)絡(luò)模塊如表2所示.

表2 MobileNet-V2網(wǎng)絡(luò)模塊

表2中, H×W為通道大小, t為通道擴(kuò)張倍數(shù), K為卷積核大小, s為步長. K′表示輸出通道數(shù).

3 實驗設(shè)計

3.1 以用戶為中心的共識手勢調(diào)研

實驗選取了平均年齡在26歲的50名被試(25男,25女)進(jìn)行交互手勢的設(shè)計實驗. 被試的慣用手為右手, 其中35位被試使用過手勢交互系統(tǒng)的相關(guān)經(jīng)驗,另外15位僅僅了解過這方面的知識. 通過向被試口頭描述本實驗的流程及構(gòu)建的8個任務(wù)命令, 讓被試為其設(shè)計1個可執(zhí)行的手勢. 最后我們通過拍攝視頻方式收集50名被試引出的手勢.

對于每個交互任務(wù), 將用戶引出的相同手勢分為一組, 提取相同手勢數(shù)量的最大組為該交互任務(wù)的共識手勢, 最后8類交互任務(wù)得到了8個共識手勢. 在得到共識手勢后, 50名被試還需要對該8類共識手勢進(jìn)行主觀評價進(jìn)一步分析手勢的可用性. 首先, 本文確定了4個手勢的評價指標(biāo)及相關(guān)描述: (1)記憶性: 一個手勢被設(shè)計一段時間后, 用戶再次使用時的記憶率[5];(2)舒適度: 執(zhí)行一個手勢后, 用戶身體上的難易程度感知, 以及是否會產(chǎn)生疲憊感[17]; (3)直觀性: 看到這個命令是否會很容易地想到與之對應(yīng)的手勢[6]; (4)匹配度: 當(dāng)引出一個手勢時, 人們認(rèn)為手勢與交互任務(wù)匹配度的主觀評價[18]. 其次, 進(jìn)行問卷調(diào)查. 問卷包含8個題目, 每個題目有5個選項, 每項采用Likert量表(非常不符合(1分)、不太符合(2分)、不確定(3分)、符合(4分)以及非常符合(5分))收集被試對手勢可用性的主觀評價.

3.2 模型驗證

3.2.1 數(shù)據(jù)采集

本文的實驗數(shù)據(jù)采用500萬像素的微軟LifeCam相機(jī)采集得到, 相機(jī)模擬交互平臺中的攝像頭, 采集面積設(shè)置為[900, 900].實驗數(shù)據(jù)處理采用TensorFlow 1.14.0環(huán)境和OpenCV-Python 3.4.2.16的開發(fā)平臺.

50名(25名男性和25名女性)被試者再次被邀請參加了手勢的采集實驗, 實驗中, 被試者需要執(zhí)行8類共識手勢, 每位被試要求在操作每一種手勢時變換2個不同角度, 每個角度的手勢需采集2張, 共計采集的圖像數(shù)據(jù)800張. 在收集手勢實驗中, 攝像機(jī)被放置在實驗者的正前方150 cm, 與視平線夾角15°位置, 采集過程如圖3所示. 實驗前, 所有被試者被要求抬頭挺胸正視前方, 胳膊放松平放在桌面上. 實驗中, 被試者根據(jù)工作人員對手勢特征的口頭描述做出相應(yīng)的手勢.被試者做每一個手勢時, 手臂需要從桌面抬起60°對準(zhǔn)相機(jī)攝像頭. 然后, 保持手臂不動, 相同的手勢要求以舒適的姿勢變換兩個角度. 每個手勢角度持續(xù)2 s, 變換不同手勢動作操作間隙休息1 min, 以避免肌肉疲勞.身體其他部位盡量保持靜止, 便于相機(jī)能夠準(zhǔn)確采集手部姿勢.

圖3 手勢數(shù)據(jù)采集圖

3.2.2 數(shù)據(jù)處理

大規(guī)模數(shù)據(jù)集是卷積神經(jīng)網(wǎng)絡(luò)成功應(yīng)用的前提[19].在訓(xùn)練模型之前, 需要對手勢數(shù)據(jù)進(jìn)行擴(kuò)增, 以提高網(wǎng)絡(luò)的泛化能力. 擴(kuò)增階段采用了Keras的圖像數(shù)據(jù)生成器策略(image data generator). 圖像生成器對每類訓(xùn)練的手勢圖片適時地進(jìn)行數(shù)據(jù)增強(qiáng)處理, 本文采用了8種數(shù)據(jù)擴(kuò)增處理方法: 分別是旋轉(zhuǎn)變換、翻轉(zhuǎn)變換、隨機(jī)裁剪、偏移變換、隨機(jī)噪聲、調(diào)整對比度變換、USM銳化增強(qiáng)和直方圖均衡化變換.

對50名被試采集的800 (50×8×2)張手勢圖像進(jìn)行數(shù)據(jù)擴(kuò)增得到6 400個手勢圖像. 其中6 000張圖像用于模型的訓(xùn)練, 400張圖像用于模型的測試. 為了保證后期算法模型處理的速度以及不過度影響圖像失真,在手勢圖像從RGB顏色空間轉(zhuǎn)換到Y(jié)CrCb顏色空間時, 將手勢圖像統(tǒng)一歸一化到32×32尺寸大小.

4 結(jié)果與分析

4.1 共識手勢及主觀評價

對50位被試進(jìn)行手勢設(shè)計調(diào)研后, 通過統(tǒng)計相同手勢的分組情況, 得到最大組的手勢即為該任務(wù)命令的共識手勢, 本文構(gòu)建的8個任務(wù)命令的共識手勢分別如表3所示.

表3 交互任務(wù)與共識手勢

在對手勢進(jìn)行主觀評價調(diào)查中我們共發(fā)放50份調(diào)查問卷, 得到有效問卷50份, 調(diào)查統(tǒng)計結(jié)果如圖4所示. 根據(jù)樣本量我們統(tǒng)計了交互手勢的記憶性、舒適度、直觀性及匹配度的平均分, 采用Jarque-Bera檢驗法結(jié)合P值計算對樣本數(shù)據(jù)進(jìn)行正態(tài)性檢驗, 結(jié)果如表4所示.

從圖4中可以看出, 被試者對于手勢4個指標(biāo)符合程度的接受度較好. 從表4中可以更具體的看出: 記憶性指標(biāo)中“開始執(zhí)行”手勢D與“完成”手勢F (P<0.05)呈現(xiàn)出顯著性, 不具有正態(tài)分布特質(zhì), 原因是勝利的手勢與OK的手勢在日常生活中有相似的語義,因此被試者認(rèn)為這兩個手勢不易區(qū)分記憶; 匹配度指標(biāo)中“完成”手勢F呈現(xiàn)出顯著性, 不具有正態(tài)分布特質(zhì), 原因是“開始執(zhí)行”手勢D也可以匹配“完成”命令的交互任務(wù); 舒適度指標(biāo)和直觀性指標(biāo)中所有手勢都沒有呈現(xiàn)出顯著性, 表明被試者對手勢的符合度評價較為一致. 綜合來看, 用戶引出的手勢在實際交互任務(wù)中具有較高的符合度.

圖4 交互手勢的可用性評價

表4 交互手勢主觀評價及P值

4.2 膚色分割與手勢識別結(jié)果

圖5展示了手勢的膚色檢測和分割過程. 經(jīng)過色彩均衡處理和橢圓膚色模型, 原始RGB圖像圖5(a)轉(zhuǎn)換到Y(jié)CrCb顏色空間, 得到二值化圖像圖5(b), 原始圖像中的膚色區(qū)域被很好地提取出來; 通過計算二值化圖像中的所有輪廓的面積, 為最大輪廓繪制矩形框進(jìn)一步定位手勢區(qū)域如圖5(c); 通過形態(tài)學(xué)閉運算處理將最大輪廓填充為白色, 其余區(qū)域填充為黑色, 平滑手勢輪廓后結(jié)果如圖5(d)所示. 圖6展示了本文經(jīng)過處理后的8類共識手勢的二值化手勢圖像.

圖5 手勢膚色分割過程

經(jīng)過膚色分割處理后, 將6 000張手勢圖像輸入到MobileNet-V2網(wǎng)絡(luò)中進(jìn)行訓(xùn)練, 400張手勢數(shù)據(jù)被用于測試. 本文使用0.000 1學(xué)習(xí)率、Adam優(yōu)化器和交叉熵?fù)p失函數(shù)來分析訓(xùn)練集中手勢的準(zhǔn)確性和損失率, 并且采用精確率、召回率、調(diào)和平均數(shù)來表示模型對8種不同手勢的識別性能, 如圖7所示.

圖7 共識手勢識別率

4.3 方法對比結(jié)果

將本文模型與另外4種方法進(jìn)行比較, 第1種是王龍等人[9]提出的CNN結(jié)合膚色模型的方法. 該方法在Marcel-Train標(biāo)準(zhǔn)手勢數(shù)據(jù)庫中對模型進(jìn)行測試,Marcel-Train數(shù)據(jù)庫共有7種不同的手勢, 每種手勢包含了3種不同背景(亮、暗、復(fù)雜背景)下的圖像. 首先利用膚色的高斯模型分割手勢區(qū)域, 然后利用CNN識別手勢. 第2種方法是楊波等人[20]提出的復(fù)雜背景下基于手勢空間分布特征的手勢識別算法HDF. 該方法利用高斯模型的分割手勢的膚色區(qū)域, 綜合手勢特征向量的相似性來識別手勢, 在環(huán)境光相對穩(wěn)定下進(jìn)行了手勢識別實驗. 其次, 我們還增加了單獨MobileNet-V2網(wǎng)絡(luò)和VGG16網(wǎng)絡(luò)的識別率對比. 圖8顯示了上述方法在本文構(gòu)建的8種手勢數(shù)據(jù)集中識別率的比較.從對比結(jié)果看出, 文本的橢圓膚色模型結(jié)合MobileNet-V2網(wǎng)絡(luò)在基于RGB彩色圖像的手勢識別中有較好的識別率和穩(wěn)定性.

圖8 5種方法的識別率曲線

5 結(jié)論

針對基于手勢識別的人機(jī)交互系統(tǒng), 存在用戶對交互手勢容易產(chǎn)生的認(rèn)知偏差導(dǎo)致交互系統(tǒng)的有用性低, 本文的貢獻(xiàn)在于從終端用戶(參與者)出發(fā)引出交互的共識手勢, 根據(jù)記憶性、直觀性、舒適度和匹配度指標(biāo)得到用戶對交互手勢的主觀評價結(jié)果. 并將橢圓膚色分割模型和MobileNet-V2手勢識別網(wǎng)絡(luò)創(chuàng)新性結(jié)合, 優(yōu)化了手勢分割和識別過程. 從結(jié)果看出優(yōu)化后的方法對RGB彩色手勢圖像有較好的分割和識別效果, 在確保識別率的前提下大大減少了網(wǎng)絡(luò)參數(shù)和運算量, 這也為基于RGB手勢識別的交互系統(tǒng)更廣泛地走入人們生活提供技術(shù)和理論基礎(chǔ).

下一步的工作包含兩個方面: (1)本文構(gòu)建的交互任務(wù)較少, 因此, 在未來的工作中將進(jìn)一步擴(kuò)展交互任務(wù)和手勢的類別; (2)使用本文引出的共識手勢來實際開發(fā)交互界面系統(tǒng), 并以實際交互任務(wù)模擬實驗進(jìn)行基于手勢識別的交互控制系統(tǒng)評估.