一種基于特征融合的手勢識別方法

趙倩楠 胡延平

摘 要：手勢識別是人機(jī)交互領(lǐng)域的研究熱點(diǎn)，由于受環(huán)境、角度等因素的影響，采用單一特征無法很好地識別手勢，故文中提出了一種基于指尖和HOG特征結(jié)合的手勢識別方法。通過YCrCb橢圓膚色空間分割出手部區(qū)域，采用串行融合方法將手勢指尖特征和手部HOG特征相結(jié)合，最后將結(jié)合的特征送入支持向量機(jī)進(jìn)行手勢識別。實(shí)驗(yàn)表明，該方法在不同樣本集上均具有較高的識別率。

關(guān)鍵詞：手勢識別;指尖檢測;HOG;支持向量機(jī);YCrCb;特征提取

中圖分類號：TP183;TP391文獻(xiàn)標(biāo)識碼：A文章編號：2095-1302（2020）09-00-04

0 引 言

隨著計(jì)算機(jī)技術(shù)和硬件設(shè)施的發(fā)展，人們對人機(jī)交互的要求日益增加。而視覺技術(shù)和模式識別的進(jìn)步為實(shí)現(xiàn)這一目標(biāo)提供了可能。由于手勢的多樣靈活，手勢識別成為人機(jī)交互[1]的新興熱點(diǎn)?；谝曈X的手勢識別擺脫了數(shù)據(jù)手套[2]等外部設(shè)備的束縛，能夠更為靈活、方便地表達(dá)手勢的含義。

手勢識別主要包括手勢分割、特征提取、手勢識別，其中特征選取直接影響到手勢識別的準(zhǔn)確性。翁漢良等[3]將指尖個(gè)數(shù)和方向作為手勢特征，結(jié)合手部的幾何特征進(jìn)行手勢識別;馮志全等[4]根據(jù)手勢主方向提取特征向量，選取近似樣本，再利用類-Hausdorff距離模板匹配思想，從樣本庫中對比進(jìn)而識別出最終手勢;肖宇[5]采用HOG作為手部特征，并選擇隨機(jī)森林作為分類器進(jìn)行手勢識別;緱新科等[6]提出了一種基于HOG和LBP特征融合方法，并利用支持向量機(jī)（Support Vector Machine，SVM）進(jìn)行分類識別。為了有效提高手勢識別的準(zhǔn)確率，本文提出了一種指尖和HOG特征相結(jié)合的特征矢量，對手部區(qū)域進(jìn)行分割后，提取手部指尖和HOG特征并利用SVM識別，具體流程如圖1所示。

1 手型分割

膚色是手勢分割中最為常用的一種視覺特征。對檢測中定位的區(qū)域進(jìn)行膚色分割，可進(jìn)一步去除多余背景信息，從而分割出感興趣的區(qū)域。

本文采用一種基于橢圓皮膚模型[7-9]的膚色檢測算法，將RGB圖像轉(zhuǎn)化到Y(jié)CrCb色彩空間。YCrCb色彩空間具有與人的視覺感知一致性，對膚色具有較好的聚類性。當(dāng)圖像映射到Y(jié)CrCb空間會發(fā)現(xiàn)膚色在CrCb平面上分布在一個(gè)近似于橢圓的區(qū)域內(nèi)。通過判斷當(dāng)前像素點(diǎn)的Cr，Cb值是否落在膚色分布的橢圓區(qū)域內(nèi)，就可以確定當(dāng)前像素是否屬于膚色，從而將膚色與亮度信息進(jìn)行區(qū)分，有效分割出手勢。為此，先將RGB圖像轉(zhuǎn)換到Y(jié)CrCb。

圖像轉(zhuǎn)換到Y(jié)CrCb空間后，對其在CrCb平面內(nèi)進(jìn)行投影，把采集到的膚色點(diǎn)投影到此平面內(nèi)并進(jìn)行相應(yīng)的非線性變換，進(jìn)而形成統(tǒng)計(jì)橢圓模型。當(dāng)前像素點(diǎn)在橢圓模型內(nèi)時(shí)，即判定為膚色點(diǎn)，反之則為非膚色像素點(diǎn)。通過膚色分割可以將手部區(qū)域從背景中完整分割出來，效果如圖2所示。

2 手勢特征提取及分類

在手勢識別中，手勢特征是手勢分類的重要依據(jù)，特征提取直接影響著手勢識別的準(zhǔn)確性。手勢特征不僅能夠表征不同手勢的特點(diǎn)，還需適應(yīng)環(huán)境、手型等帶來的差異。一般看來，選取的特征越多，手勢的識別率愈加準(zhǔn)確，但特征數(shù)過多會導(dǎo)致識別速度下降，故選取合適的特征描述手勢尤為重要。為了充分描述手勢特點(diǎn)，并減少光照等因素對手勢識別的影響，本文選取指尖作為手勢的局部特征，并提取手部圖像的HOG特征作為手勢的全局特征。

2.1 指尖檢測

指尖是手勢識別的主要特征之一，通過指尖檢測可以精準(zhǔn)獲得手指個(gè)數(shù)、手指所在位置以及對應(yīng)的方向。本文通過重心檢測法提取手勢的指尖個(gè)數(shù)特征，以提高手勢識別的準(zhǔn)確率。

基于重心的指尖檢測算法根據(jù)手部輪廓像素點(diǎn)和重心位置關(guān)系來確定指尖。首先，將手部區(qū)域從背景中分割出來;其次，提取手部輪廓并計(jì)算手勢區(qū)域的重心;再次，計(jì)算手部每個(gè)輪廓像素點(diǎn)和手部重心之間的距離;最后，找到所有距離中可能出現(xiàn)的峰值，設(shè)置合適的閾值檢測出指尖位置。指尖檢測流程如下。

（1）手勢的重心位置計(jì)算：對手部分割后的二值化圖像進(jìn)行輪廓提取，計(jì)算輪廓內(nèi)部點(diǎn)與輪廓像素點(diǎn)的距離，得到手掌的最大內(nèi)切圓，通過對內(nèi)切圓的多次腐蝕提取手部重心。

（2）通過輪廓提取獲得手部圖像輪廓像素點(diǎn)序列，設(shè)輪廓上某個(gè)像素點(diǎn)為Q（xi， yi），計(jì)算該點(diǎn)與重心的距離D：

（3）通過對輪廓上像素點(diǎn)與重心之間距離D的計(jì)算，發(fā)現(xiàn)D出現(xiàn)相應(yīng)的變化并顯示出若干個(gè)較大的峰值，如圖3所示。通過合理設(shè)定閾值可以提取出峰值對應(yīng)的指尖。

通過指尖檢測算法提取出的指尖位置示意如圖4所示。

2.2 HOG特征

HOG特征[9]是一種在計(jì)算機(jī)視覺和圖像處理中用來進(jìn)行物體檢測的特征描述子，其特征描述子由圖像局部區(qū)域邊緣的直方圖統(tǒng)計(jì)構(gòu)成。而HOG特征對物體具有較強(qiáng)的描述能力，且具有良好的光照不變性。故本文選取HOG特征作為手勢的全局特征。

HOG特征的實(shí)現(xiàn)過程是將圖像劃分為多個(gè)細(xì)胞單元，提取各細(xì)胞單元中各像素點(diǎn)的梯度或邊緣的方向直方圖，然后統(tǒng)計(jì)所有直方圖進(jìn)而得到最終的梯度直方圖。HOG特征提取如圖5所示。

HOG特征的提取過程：

（1）圖像歸一化：將RGB圖像轉(zhuǎn)化為灰度化圖像，利用Gamma校正法對輸入圖像進(jìn)行歸一化，降低光照對圖像造成的影響，其校正公式如下：

（3）構(gòu)建單元細(xì)胞直方圖：將圖像劃分為若干個(gè)細(xì)胞單元（cell），本文每個(gè)cell為10×10像素，采用9bin直方圖來統(tǒng)計(jì)10×10個(gè)像素的梯度信息，對cell內(nèi)每個(gè)像素用梯度方向在直方圖中進(jìn)行加權(quán)投影，得到該cell對應(yīng)的9維特征向量。

（4）塊（block）內(nèi)歸一化梯度直方圖并生成HOG特征：把所有cell的特征向量串聯(lián)起來即可得到該block的特征，對每個(gè)block的特征值進(jìn)行歸一化，將梯度強(qiáng)度歸一化后的塊描述符稱為HOG描述符：

為了使特征維數(shù)適合分類器學(xué)習(xí)與識別，本文的blocksize為20×20，cellsize為10×10，采用9bin直方圖通道，故每個(gè)手勢的特征向量維數(shù)為36維。

2.3 特征融合

指尖特征可以刻畫不同手勢的特點(diǎn)，但指尖檢測易受環(huán)境等因素的影響，而HOG卻有較好的抗干擾性，所以本文將提取出的指尖特征和HOG特征進(jìn)行融合，融合后的特征可以從不同角度描述手勢特點(diǎn)，以有效提高手勢識別準(zhǔn)確率。

目前較為常見的特征融合方式主要有串行融合和并行融合。假設(shè)在樣本空間Ω上有兩組特征A，B，對于任意樣本ξ∈Ω，其對應(yīng)的特征向量分別為α∈A，β∈B，串行融合后的特征為：γ=（α， β）;并行融合后的特征為γ=α+iβ，其中i為虛數(shù)單位，若兩種特征維數(shù)不等，則低維特征向量用0補(bǔ)足。

串行融合是將2個(gè)不同的特征直接合并，構(gòu)成1個(gè)新的特征向量。串行融合簡單易行，且運(yùn)算量較小，故本文采用串行融合方式。將計(jì)算出的HOG特征和提取的指尖參數(shù)相結(jié)合可得到描述不同手勢的特征矢量Fi=[fhi， ffi]，其中fhi為第i個(gè)手勢的HOG特征向量，ffi為第i個(gè)手勢的指尖個(gè)數(shù)。手勢識別即將手勢按照特征矢量劃分為不同的類別，每個(gè)手勢被描述為特征矢量Fi。將上述特征送入多分類的支持向量機(jī)中，對定義的不同手勢進(jìn)行分類。

2.4 手勢分類

支持向量機(jī)是一種二分類模型，其以結(jié)構(gòu)風(fēng)險(xiǎn)最小化為基礎(chǔ)，可以有效解決小樣本、高維度、非線性的分類問題。對于非線性分類，SVM利用非線性映射，通過核函數(shù)將輸入樣本映射到高維空間[12]，使得線性不可分問題在高維空間得以解決，進(jìn)而得到最優(yōu)分類超平面。通過核函數(shù)的選用即可得到在高維空間中的分類函數(shù)，解決非線性分類問題。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 實(shí)驗(yàn)前期準(zhǔn)備

本文定義了6種不同的手勢（數(shù)字0～5），如圖6所示。這些圖片分別來自10個(gè)志愿者，每人針對圖6中的每個(gè)手勢從不同角度、環(huán)境采集50張圖像存放到對應(yīng)的樣本集中，共計(jì)3 000張RGB圖像。

將每個(gè)手勢的40張圖像用于分類器訓(xùn)練，剩下的10張用于測試。對不同的手勢設(shè)置相應(yīng)的標(biāo)簽L，如手勢0設(shè)置為L[fist]。將采集的圖像樣本集和其對應(yīng)的標(biāo)簽輸入SVM分類器中進(jìn)行訓(xùn)練。SVM分類器采用LIBSVM開源包，提取樣本所對應(yīng)的特征Fi送入分類器，經(jīng)過訓(xùn)練后，得到SVM分類器保存在XML文件中，用于后續(xù)測試及手勢識別。

3.2 實(shí)驗(yàn)結(jié)果及分析

本文實(shí)驗(yàn)所采用的計(jì)算機(jī)為Intel core i7-9750H CPU，2.60 GHz，8 GB內(nèi)存，采用網(wǎng)絡(luò)攝像頭采集圖像。軟件環(huán)境使用Visual Studio 2015，開源視覺庫選用OpenCV 3.4.0。

實(shí)驗(yàn)選取不同角度、環(huán)境下采集的手勢樣本，采用基于指尖-HOG融合特征對手勢進(jìn)行識別，同時(shí)，為了衡量該方法的性能，分別使用單獨(dú)采用其中一種特制的手勢識別方法對相同樣本進(jìn)行識別，各方法識別率見表1所列。

在訓(xùn)練集和測試集中，本文提出的結(jié)合指尖和HOG特征的識別方法均具有較高的識別率，平均識別率可達(dá)到95.69%，高于單獨(dú)采用HOG特征時(shí)的手勢識別率，也遠(yuǎn)高于基于指尖檢測的平均識別率。單獨(dú)采用指尖特征由于峰值變化及閾值設(shè)定不當(dāng)，會造成誤識別，而本文選取指尖作為手勢的局部特征，同時(shí)結(jié)合HOG描述全局特征，更加全面地描述了手勢特點(diǎn)，將兩種特征結(jié)合進(jìn)行手勢識別可以獲得較高的識別率。

4 結(jié) 語

本文分析了手勢特征提取的現(xiàn)有狀況，針對特征單一和多維特征不利于計(jì)算的問題，提出了融合指尖特征和HOG特征的手勢識別方法。該方法提取手勢的指尖和HOG特征作為不同手勢的特征矢量，描述了手勢局部信息，獲得了手部的全局信息。實(shí)驗(yàn)結(jié)果表明，在不同環(huán)境和不同角度的樣本集中，本文算法具有良好的魯棒性，能夠高精度識別手勢，有效提高手勢識別的正確率。但由于手勢的多樣性特點(diǎn)，對于遮擋引起的不可識別手勢需要進(jìn)一步研究，進(jìn)而增強(qiáng)手勢識別的多樣性。

參考文獻(xiàn)

[1] KAO M C，LI H S. Design and implementation of interaction system between humanoid robot and human hand gesture [C]// Proc. of IEEE SICE Annual Coference，2010：1616-1621.

[2]張志純，楊曉文，況立群，等.基于Virtools和5DT數(shù)據(jù)手套的手勢仿真研究[J].科學(xué)技術(shù)與工程，2015，15（4）：140-144.

[3]翁漢良，戰(zhàn)蔭偉.基于視覺的多特征手勢識別[J].計(jì)算機(jī)工程與科學(xué)，2012，34（2）：123-127.

[4]楊學(xué)文，馮志全，黃忠柱，等.結(jié)合手勢主方向和類-Hausdorff距離的手勢識別[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2016，28（1）：75-81.

[5]肖宇.基于序列圖像的手勢檢測與識別算法研究[D].成都：電子科技大學(xué)，2014.

[6]緱新科，王瑤.基于特征融合的靜態(tài)手勢識別[J].計(jì)算機(jī)與數(shù)字工程，2018，46（7）：1336-1340.

[7] MALCHANOV P，GUPTA S， KIM K，et al.Multi-Sensor system for drivers hand-gesture recoginition [C]// 2015 International Conference on Workshops on Automatic Face and Gesture Recognition. IEEE，2015.

[8] Daniel Mohr，Gabriel Zachmann. Hand pose recognition-overview and current research [Z]. Lecture notes in computer science，2015：108-129.

[9] Harihara Santosh Dadi，Gopala Krishna Mohan Pillutla，Madhavi Latha Makkena. Face recognition and human tracking using GMM，HOG and SVM in surveillance videos [J]. Annuals of data science，2018，5（2）：157-179.

[10] Baik，Kyung Jin. Hand gesture classification using multiple doppler radar and machine learning [J]. The journal of korean institute of electronmagnetic engineering and science，2017，28（1）：33-41.

[11] Vijay John，Ali Boyali，Seiichi Mita，et al. Deep Learning-Based Fast Hand Gesture Recognition Using Representative Frames [C]// 2016 International Conference on Digital Image Computing： Techniques and Applications. IEEE，2016.

[12]蔡軍，李曉娟，張毅，等.一種改進(jìn)的DAGSVM手勢識別方法及其應(yīng)用[J].控制工程，2013，20（5）：957-959.