卜明龍，黃家海，2，辛文斌，郝惠敏，2

（1.太原理工大學(xué)機(jī)械與運(yùn)載工程學(xué)院，山西太原 030024；2.新型傳感器與智能控制山西省重點(diǎn)實(shí)驗(yàn)室，山西太原 030024）

1 引言

隨著人工智能技術(shù)的發(fā)展，手勢交互憑借其簡單，自然且高效的優(yōu)勢逐漸成為當(dāng)前人機(jī)交互領(lǐng)域的研究熱點(diǎn)。并且隨著“工業(yè)4.0”與“中國制造2050”等智能制造戰(zhàn)略的提出，手勢交互由于能夠大大提高生產(chǎn)效率，為工人提供更舒適的工作環(huán)境，從而成為智能制造領(lǐng)域中的關(guān)鍵技術(shù)[1]。

與此同時(shí)，在其他領(lǐng)域如工業(yè)設(shè)計(jì)[2]，智能家居[3]，尤其是機(jī)器人[4?7]領(lǐng)域同樣得到了廣泛應(yīng)用。

手勢識(shí)別主要包括預(yù)處理，特征提取和識(shí)別分類三個(gè)階段。預(yù)處理階段的主要任務(wù)是將手勢圖像從復(fù)雜的背景中分割開來，避免復(fù)雜環(huán)境對后續(xù)特征提取和分類的影響。由于膚色信息在顏色空間上具有聚簇特性且通常與背景顏色具有較大差異，因而被廣泛應(yīng)用在手勢分割任務(wù)中[8]。

但實(shí)際的工業(yè)環(huán)境通常比較復(fù)雜，尤其是受光線變化影響較大，導(dǎo)致在實(shí)際生產(chǎn)中分割困難甚至完全失效。而基于深度信息設(shè)備的方式，如文獻(xiàn)[5?6]在光線較強(qiáng)的環(huán)境下效果較差，因此不適用于室外環(huán)境[9]。所以，提出一種對環(huán)境適應(yīng)性較強(qiáng)，尤其是對光線變化不敏感的手勢識(shí)別方法在工業(yè)生產(chǎn)中具有很大的實(shí)用價(jià)值。

特征提取階段，應(yīng)用較多的有梯度特征[10]，矩特征[11]或幾何特征[2，12]等。深度學(xué)習(xí)方法特征自學(xué)習(xí)能力較強(qiáng)，但對數(shù)據(jù)量要求較大，而手勢數(shù)據(jù)集通常偏向中小型，所以不適合應(yīng)用于手勢識(shí)別。此外深度學(xué)習(xí)對計(jì)算能力要求較高，訓(xùn)練時(shí)間長，導(dǎo)致實(shí)時(shí)性較差，所以人工提取特征仍是當(dāng)前手勢識(shí)別的主流方法。常見的人工特征中，HOG特征最早應(yīng)用于行人檢測任務(wù)中，由于該特征對光線變化和小幅度旋轉(zhuǎn)具有一定的魯棒性，因此被廣泛應(yīng)用在手勢識(shí)別任務(wù)中[10]。但原始的HOG 特征維數(shù)較高，且包含大量冗余特征，因而導(dǎo)致算法實(shí)時(shí)性較差。鑒于工業(yè)生產(chǎn)任務(wù)的實(shí)時(shí)性要求，有必要對其進(jìn)行降維處理。

基于上述問題，從預(yù)處理和特征提取兩方面進(jìn)行解決。預(yù)處理方面，采用改進(jìn)的同態(tài)濾波算法對原始圖像進(jìn)行增強(qiáng)處理。該算法可在增強(qiáng)較暗區(qū)域細(xì)節(jié)信息的同時(shí)不削弱較亮區(qū)域的信息，從而克服光線變化帶來的問題。在特征提取方面，采用對光線變化具有一定魯棒性的HOG特征，并采用PCA的方法對HOG特征進(jìn)行降維。最后，將降維后的特征輸入到支持向量機(jī)SVM中進(jìn)行分類識(shí)別。

2 預(yù)處理階段

圖像增強(qiáng)是預(yù)處理階段的重要組成部分，對后續(xù)手勢分割效果影響較大。其中同態(tài)濾波算法是一種高通濾波算法，該算法在頻域空間內(nèi)對圖像高頻部分的信息進(jìn)行增強(qiáng)處理，并對處于低頻的信息進(jìn)行抑制。文獻(xiàn)[13]將同態(tài)濾波應(yīng)用到農(nóng)業(yè)采摘機(jī)器人的視覺任務(wù)中，較好克服了光照不均對圖像分割帶來的影響，因此引入該算法進(jìn)行手勢圖像的增強(qiáng)。主要流程如下：

（1）原始圖像f（x，y）可由入射分量i（x，y）和反射分量r（x，y）的乘積表示。即f（x，y）=i（x，y）r（x，y）。其中入射分量在空間上通常具有緩慢變化的性質(zhì)，對應(yīng)頻域中的低頻分量。反射分量往往引起突變，反映了圖像細(xì)節(jié)部分，對應(yīng)頻域中的高頻分量。

（2）為分開處理頻域中的入射和反射分量，需對原始圖像做對數(shù)處理。即lnf（x，y）=lni（x，y）+lnr（x，y）。

（3）對數(shù)處理后進(jìn)行傅里葉變換。即F（u，v）=I（u，v）+R（u，v）。

（4）用濾波函數(shù)對頻域內(nèi)的入射分量和反射分量進(jìn)行計(jì)算，即H（u，v）F（u，v）=H（u，v）I（u，v）+H（u，v）R（u，v）。其中傳遞函數(shù)H（u，v）為一種高通濾波函數(shù)。

（5）對濾波后的圖像進(jìn)行傅里葉反變換和對數(shù)反變換，即得到濾波后圖像。

改進(jìn)的濾波函數(shù)，由同態(tài)濾波的步驟4可知，所采用的濾波函數(shù)對同態(tài)濾波算法的效果起到?jīng)Q定性作用。傳統(tǒng)濾波函數(shù)最常用的有高斯型和巴特沃斯型兩種，分別如式（1）、式（2）所示。

式中：D（u，v）—點(diǎn)（u，v）到濾波中點(diǎn)（u0，v0）的距離；D0－截止頻率；γh－高頻增益系數(shù)；γl－低頻增益系數(shù)?？梢钥闯?，傳統(tǒng)濾波函數(shù)參數(shù)過多，使濾波效果很難得到最優(yōu)。

為此，文獻(xiàn)[14]提出了改進(jìn)的S型曲線傳遞函數(shù)，如式（4）所示。

改進(jìn)后的濾波函數(shù)為：

對于改進(jìn)后的濾波函數(shù)，只需控制濾波函數(shù)t則可調(diào)節(jié)增強(qiáng)的程度，有效解決了傳統(tǒng)濾波函數(shù)參數(shù)過多的問題。因此，采用S型傳遞函數(shù)進(jìn)行手勢數(shù)據(jù)的增強(qiáng)。

3 基于PCA降維的HOG特征

HOG特征統(tǒng)計(jì)局部區(qū)域的梯度方向信息作為該圖像局部區(qū)域的特征，被廣泛應(yīng)用于行人檢測和手勢識(shí)別等任務(wù)中。

由于該算法標(biāo)準(zhǔn)化gamma空間，因此對光照變化和小幅度旋轉(zhuǎn)都具有一定的魯棒性，單一特征最為強(qiáng)大。但該特征維數(shù)較高，且含有大量冗余特征，大大減弱了算法的實(shí)時(shí)性，因此有必要對其進(jìn)行降維。

PCA是一種無監(jiān)督線性數(shù)據(jù)轉(zhuǎn)換技術(shù)，目標(biāo)是在高維數(shù)據(jù)中找到最大方差方向，將數(shù)據(jù)映射為維度不高于原始維度的子空間上。以往基于PCA 的方法多依靠經(jīng)驗(yàn)值，很難保證結(jié)果達(dá)到最優(yōu)。為解決此問題，降維后的維數(shù)由特征向量的方差貢獻(xiàn)率決定，并將降維后的PCA?HOG 特征輸入到支持向量機(jī)中進(jìn)行分類，而SVM參數(shù)通過網(wǎng)格搜索和交叉驗(yàn)證方法確定。

4 實(shí)驗(yàn)結(jié)果及分析

由于實(shí)際環(huán)境下光線分布均勻度不同的手勢樣本較難采集，因此本實(shí)驗(yàn)中的采集任務(wù)均在室內(nèi)條件下進(jìn)行，并且在不同的入射光線條件下做不同程度的形變。在實(shí)際工業(yè)應(yīng)用現(xiàn)場，入射光線角度經(jīng)常發(fā)生偏移，導(dǎo)致采集到的圖像光線分布不均勻，甚至導(dǎo)致較暗區(qū)域像素灰度級發(fā)生明顯變化，且光照不均勻性越強(qiáng)，像素灰度級變化越劇烈，嚴(yán)重的情況下會(huì)導(dǎo)致后續(xù)膚色檢測過程完全失效。

為模擬光照不均勻性程度對識(shí)別結(jié)果的影響，將隨機(jī)調(diào)整同一張手勢圖像的亮度和對比度，并對比調(diào)整前后手勢分割的效果，目的是使光照分布的均勻程度作為唯一變量，測試所提方法對不同程度光照的條件下手勢識(shí)別任務(wù)的有效性。擴(kuò)充后的樣本量共為四類，每類在300左右，通過7：3的比例劃分訓(xùn)練集和測試集。

（1）同態(tài)濾波效果

首先研究不同照度對手勢分割效果的影響，如圖1所示。受光照不均影響，圖1（a）手勢左側(cè)區(qū)域較亮，細(xì)節(jié)信息比較明顯，因此膚色分割比較容易，但手勢右側(cè)尤其是手掌區(qū)域光線較暗，并且陰影處細(xì)節(jié)模糊，為后續(xù)的膚色檢測增加了難度。與原圖相比，圖1（b）受光照不均度影響較輕，但圖像整體偏暗，仍然對后續(xù)的膚色分割產(chǎn)生不利影響。

為驗(yàn)證方法對光照不均勻的有效性，對不同照度下的原圖像包括圖1（a）、圖1（b）直接進(jìn)行手勢檢測，包括膚色分割，二值化處理以及形態(tài)學(xué)處理，分割效果，如圖1（c）、圖1（d）所示，由圖可知，圖像上較暗區(qū)域，特別是手掌部分由于光線較暗，導(dǎo)致大面積的檢測失效，輪廓信息提取不完整。

而圖1（d）的原圖像雖然整體亮度較低，但光線不均勻程度影響較小，所以檢測效果稍好于圖1（c），但邊緣信息仍然發(fā)生丟失，尤其是右側(cè)小拇指與手掌接觸的部分，輪廓信息發(fā)生斷裂。

圖1 原圖像的手勢分割Fig.1 Gesture Segmentation of the Original Images

為驗(yàn)證方法對后續(xù)手勢分割的有效性，針對圖1（a）、圖1（b）所示的不同照度下圖像，分別進(jìn)行同態(tài)濾波處理，結(jié)果如圖2（a）、圖2（b）所示。由圖可知，同態(tài)濾波處理后，圖像間光照不均勻度差別明顯減輕，且原較暗區(qū)域如手掌部分細(xì)節(jié)更加明顯。對濾波后圖像進(jìn)行手勢的分割處理，結(jié)果，如圖2（c）、圖2（d）所示。與圖1（c）、圖1（d）相比，光照不均度對手勢分割的影響幾乎被完全消除，且手勢邊緣信息被完全提取出來，手勢分割效果更為完整，說明提出的方法對光照不均勻度具有一定的有效性。

圖2 圖像增強(qiáng)后Fig.2 After Image Enhancement

對其它手勢進(jìn)行處理，原圖像，如圖3（a）、圖3（b）所示，二者受光線變化影響，在除拇指外四個(gè)手指的指尖部分曝光不足，導(dǎo)致細(xì)節(jié)模糊，對原圖直接進(jìn)行手勢分割的效果，如圖3（c）、圖3（d）所示，圖3（b）受光線變化影響較大，導(dǎo)致指尖和手掌處大面積的檢測失效，且邊緣提取的不明顯。

圖3 原圖像的手勢分割Fig.3 Gesture Segmentation of the Original Images

對原圖像進(jìn)行濾波處理后的效果，如圖3（a）、圖3（b）所示。由圖可知，光照不均勻度導(dǎo)致的像素灰度變化不均勻現(xiàn)象得到改善，原陰影處特別是指尖區(qū)域圖像細(xì)節(jié)變得明顯，同態(tài)濾波后的手勢分割效果，如圖4（c）、圖4（d）所示。光線分布不均勻?qū)е碌氖謩莘指罾щy問題被較好解決，手勢分割的較為完整，手勢輪廓信息較為圖3（d）相比分割質(zhì)量仍然得到較大提高，為后續(xù)明顯。雖然圖4（d）前景存在空洞現(xiàn)象，與的識(shí)別工作奠定了良好基礎(chǔ)。

圖4 圖像增強(qiáng)后Fig.4 After Image Enhancement

（2）PCA?HOG特征提取

PCA方差貢獻(xiàn)率，如圖5所示。橫坐標(biāo)為各個(gè)維度的特征向量，縱坐標(biāo)為各特征向量所占的方差貢獻(xiàn)率。方差貢獻(xiàn)率反映特征值所對應(yīng)的特征向量含有的信息量占總信息量的比重大小，因此將各自方差貢獻(xiàn)率按從大到小進(jìn)行排列。折線部分反映了前n維特征向量所占總信息量的大小。

圖5 方差貢獻(xiàn)率Fig.5 Variance Contribution Rate

如圖2所示，在3780維的特征向量中，前300維特征向量已經(jīng)占到了將近信息總量的100%。因此將原始特征維數(shù)減小到300維。

（3）SVM參數(shù)的確定

在基于SVM的方法中，公認(rèn)對非線性任務(wù)效果最好的核函數(shù)為徑向基（RBF）核函數(shù)，因此采用RBF核函數(shù)進(jìn)行分類（原理不再贅述），需要優(yōu)化的參數(shù)為懲罰因子C和參數(shù)γ，并采用網(wǎng)格搜索和5折交叉驗(yàn)證法對SVM進(jìn)行調(diào)參。實(shí)驗(yàn)結(jié)果，如圖6所示。

圖6 平均識(shí)別率Fig.6 Average Recognition Rate

當(dāng)懲罰因子C=100，γ=0.01時(shí)識(shí)別精度達(dá)到最高，為（95.6±0.11），識(shí)別效果較穩(wěn)定。降維后特征不但沒有使精度降低，反而在一定程度上使識(shí)別率得到了小幅度提高。除此之外，每張圖像的分類時(shí)間由降維前的18.07ms縮減到降維后的1.43ms，實(shí)時(shí)性得到較大提升。

（4）實(shí)驗(yàn)結(jié)果分析

為驗(yàn)證該方法對光線變化的穩(wěn)定性，對比了使用同態(tài)濾波處理前后，及使用PCA方法前后的平均識(shí)別率的變化情況。結(jié)果，如表1所示。

表1 實(shí)驗(yàn)結(jié)果Tab.1 Experimental Results

由表1可知，同態(tài)濾波算法能較好克服光線變化對識(shí)別率產(chǎn)生的影響，比原始圖像的識(shí)別率提高了2.4%，達(dá)到95.6%。此外PCA 算法在不降低識(shí)別率的條件下能夠使分類時(shí)間大幅縮短。同態(tài)濾波結(jié)合PCA?HOG 的方法能夠較好克服工業(yè)環(huán)境下光照不均勻的問題，且具有較好的實(shí)時(shí)性。

5 結(jié)論

由于工業(yè)現(xiàn)場環(huán)境復(fù)雜，尤其是光線變化不均勻，導(dǎo)致后續(xù)手勢分割效果較差，從而使手勢識(shí)別的精度大大降低。因此本研究提出了改進(jìn)的同態(tài)濾波算法和PCA?HOG相結(jié)合的解決方案。實(shí)驗(yàn)結(jié)果表明改進(jìn)的同態(tài)濾波算法不但減少了濾波函數(shù)需要調(diào)節(jié)的參數(shù)量，而且使光照不均導(dǎo)致的分割困難問題得到抑制，使識(shí)別精度從濾波處理前的93.2%提高到95.6%，基本滿足工業(yè)精度要求。此外，PCA算法在不降低識(shí)別精度的條件下使分類時(shí)間大幅縮短，從18.07ms縮短到1.43ms，大大提高了工業(yè)生產(chǎn)的實(shí)時(shí)性。

由于本研究提出的方法具有較強(qiáng)的抗光線變化干擾的能力，且具有較高實(shí)時(shí)性，因此可較好解決復(fù)雜的工業(yè)環(huán)境下手勢識(shí)別效果較差的問題，在智能制造，工業(yè)機(jī)器人，以及智能交通等領(lǐng)域均具有良好的應(yīng)用前景。