王 碩，孫夢軒，楊志曉，王 輝，鄭戍華

（1.河南牧業(yè)經(jīng)濟(jì)學(xué)院能源與智能工程學(xué)院，鄭州 450044；2.英國杜倫大學(xué)，英國 DH1 3LE；3.北京理工大學(xué)自動化學(xué)院，北京 100081）

0 引言

動態(tài)手勢包含一系列的手部動作，擁有更豐富的指令信息，是人機交互領(lǐng)域研究的熱點問題之一。現(xiàn)有的基于計算機視覺的手勢識別技術(shù)，受光線影響較大，并存在隱私泄露的安全問題。而基于雷達(dá)的手勢識別技術(shù)有著全天時、全天候的優(yōu)勢，可在惡劣天氣狀況下正常工作，并且利用雷達(dá)信號進(jìn)行手勢識別可有效保護(hù)用戶隱私。現(xiàn)有基于雷達(dá)的手勢識別技術(shù)，往往針對雷達(dá)回波中的多普勒效應(yīng)進(jìn)行分析，將時頻特征輸入到深度學(xué)習(xí)模型中，從而獲得分類結(jié)果。Kim 等通過對載頻為24 GHz 的雷達(dá)回波進(jìn)行分析，并將深度學(xué)習(xí)模型作為分類器，實現(xiàn)了對3 種目標(biāo)手勢的識別，其識別準(zhǔn)確率達(dá)到99%。Choi 等利用60 GHz 的調(diào)頻連續(xù)波雷達(dá)，獲取了10 種動態(tài)手勢的回波數(shù)據(jù)，并將長短期記憶網(wǎng)絡(luò)作為分類器，獲得了99.10%的識別準(zhǔn)確率。上述動態(tài)手勢識別方法均針對時頻特性有著顯著差別的目標(biāo)（如左劃、右劃、順時針旋轉(zhuǎn)、逆時針旋轉(zhuǎn)等）。例如，當(dāng)手部位于偏離雷達(dá)視線中心時，手指左劃和右劃分別會在起始和結(jié)束段造成較大的多普勒頻移，其出現(xiàn)時間可作為特征識別目標(biāo)。但考慮手指往4 個方向劃動時，手指上劃和右劃所產(chǎn)生的多普勒效應(yīng)相近，現(xiàn)有方法難以準(zhǔn)確識別目標(biāo)。

傳統(tǒng)電磁波僅能反映目標(biāo)到雷達(dá)徑向上的投影，難以為識別提供更豐富的信息。與傳統(tǒng)電磁波不同，渦旋電磁波攜帶有軌道角動量，其波前相位呈螺旋形。當(dāng)目標(biāo)在三維空間中運動，渦旋電磁回波中蘊含線多普勒效應(yīng)和角多普勒效應(yīng)。線多普勒效應(yīng)與傳統(tǒng)平面波中的多普勒效應(yīng)一致，反映目標(biāo)投影到徑向上的運動信息，角多普勒效應(yīng)反映目標(biāo)投影到垂直于徑向的平面上的運動信息。通過結(jié)合線多普勒和角多普勒，可獲得更豐富的目標(biāo)信息，提高識別準(zhǔn)確率。已有學(xué)者將渦旋電磁波引入人體步態(tài)精細(xì)識別中，通過發(fā)射單頻渦旋電磁波，將回波時頻圖像作為特征輸入到深度學(xué)習(xí)模型中，取得了較好的識別效果。但基于渦旋電磁波雷達(dá)的動態(tài)手勢識別技術(shù)較少，仍處于發(fā)展階段。本文構(gòu)建了包括8 種動態(tài)手勢的渦旋電磁回波仿真數(shù)據(jù)集，分析了不同手勢之間的差異；再利用時頻變換對回波進(jìn)行處理，獲得目標(biāo)時頻圖像；將時頻圖像的幅度值作為特征，輸入到輕量級卷積神經(jīng)網(wǎng)絡(luò)模型中，獲得分類結(jié)果。仿真結(jié)果表明，渦旋電磁回波中含有更豐富的目標(biāo)信息，利用該信息可有效提高識別效能。

1 渦旋電磁波雷達(dá)回波數(shù)據(jù)集

隨著渦旋電磁波研究的不斷深入，學(xué)者提出了多種渦旋電磁波產(chǎn)生方法（如階梯相位法、均勻圓環(huán)陣法、超材料介質(zhì)等）。由于均勻圓環(huán)陣法有著模態(tài)數(shù)可調(diào)、裝置構(gòu)成簡單等優(yōu)點，本文選用渦旋電磁波作為渦旋電磁波產(chǎn)生裝置。

1.1 渦旋電磁波雷達(dá)

圖1 渦旋電磁波產(chǎn)生裝置

球坐標(biāo)為

式中，T 為轉(zhuǎn)置操作，點目標(biāo)P的渦旋電磁回波為

線多普勒的大小主要由雷達(dá)載頻、運動矢量決定。角多普勒效應(yīng)為

角多普勒主要由模態(tài)數(shù)、起始位置、速度矢量決定。渦旋電磁回波中的線多普勒效應(yīng)與傳統(tǒng)電磁波中的多普勒效應(yīng)一致，通過分析線多普勒，可獲取與傳統(tǒng)電磁波相同的信息量。由于渦旋電磁回波中額外含有角多普勒效應(yīng)，可以反映目標(biāo)在垂直于雷達(dá)徑向方向的運動信息，所以綜合利用線多普勒和角多普勒信息，更全面地反映目標(biāo)運動特征，從而提高識別效能。

1.2 動態(tài)手勢數(shù)據(jù)集生成

由于現(xiàn)有動態(tài)手勢識別數(shù)據(jù)集均基于傳統(tǒng)平面波，尚無公開的渦旋電磁回波動態(tài)手勢數(shù)據(jù)集，所以在本節(jié)中，參照文獻(xiàn)［15］，利用骨骼模型近似代替手部模型，生成數(shù)據(jù)集。人手模型如圖2 所示，圖2（a）為標(biāo)準(zhǔn)的手部模型。圖2（b）為手部骨骼模型，每個數(shù)字代表骨骼節(jié)點。根據(jù)手部骨骼長度比例，設(shè)置多個等散射系數(shù)的散射點模擬手部。每根手指骨骼由18 個散射點組成，根據(jù)長度比例，將散射點均勻分布在手指骨骼上。除大拇指外，每根手指的前部可自由運動，后端（1-5、1-9、1-13、1-17）為手掌部分，與根節(jié)點1 保持相對靜止。大拇指全段可自由運動，但后端（1-2）的運動范圍較小。

圖2 人手模型［15］

在此基礎(chǔ)上，模擬8 種常見的動態(tài)手勢（食指雙擊、食指單擊、食指上劃、食指下劃、食指左劃、食指右劃、食指順時針繞圈、食指逆時針繞圈），其運動過程如圖3 所示。圖3 中，手部的手勢為食指和拇指自然延伸，其余手指緊握。雙擊為手部主體靜止，食指以一定幅度上下擺動2 次；劃動同樣為手部主體靜止，食指以一定幅度向特定方向劃動；繞圈為手部整體，沿著某個方向運動。不同的動態(tài)手勢會在時頻域中的不同時刻，形成差異化的波形，該差異可作為識別的重要特征，通過利用該特征可有效識別目標(biāo)。通過調(diào)整手指長度、手指運動幅度、繞圈半徑、手部位置等信息，模擬不同人的手部動作，可獲得渦旋電磁回波動態(tài)手勢數(shù)據(jù)集。

圖3 動態(tài)手勢

2 深度學(xué)習(xí)模型

圖4 輕量級卷積神經(jīng)網(wǎng)絡(luò)

S的值越接近1，代表第j 個目標(biāo)為真的可能性越大。該層輸出的向量長度代表目標(biāo)類別數(shù)，若為向量長度為1×8，則可對8 類目標(biāo)進(jìn)行預(yù)測。為指導(dǎo)模型訓(xùn)練，衡量輸出與標(biāo)簽間的差異，尋找最優(yōu)結(jié)果，將選擇交叉熵作為損失函數(shù)

3 仿真與分析

文中利用單頻連續(xù)渦旋電磁波照射目標(biāo)，雷達(dá)參數(shù)如表1 所示。雷達(dá)位于空間直角坐標(biāo)系原點，雷達(dá)視線指向X 軸正半軸。

表1 雷達(dá)參數(shù)

3.1 模型輸入

渦旋電磁回波數(shù)據(jù)集由2 000 個樣本構(gòu)成，8種動態(tài)手勢各包含250 個樣本。每個樣本的時頻圖由多個參數(shù)直接影響，8 類樣本的手勢參數(shù)范圍如表2 所示。所有手勢參數(shù)都隨機生成，其概率服從均勻分布。8 種手勢的手指長度范圍為8 cm～15 cm；單擊和雙擊的擺動角度是食指由平行于XOY 平面的狀態(tài)，以食指根節(jié)點5 為原點，向Z 軸正半軸方向擺動的角度。單擊是擺動一次，雙擊是擺動兩次。上劃、下劃、左劃、右劃同樣為食指由平行于XOY平面的狀態(tài)，以食指根節(jié)點5 為原點，向指定方向擺動的角度。在劃動的過程中，手掌保持相對靜止，食指擺動，規(guī)定Z 軸正半軸方向為上，Y 軸正半軸為右。繞圈為從Z 軸正半軸方向看向XOY 平面，手部整體沿指定方向以規(guī)定半徑繞行一圈。手掌根節(jié)點0 的初始位置為（2，2，2）m，隨機生成時，其xyz 坐標(biāo)均與一個在［-1，1］之間的隨機值相加。

表2 手勢參數(shù)范圍

為更直觀的展示不同動態(tài)手勢的時頻圖差別，選取了手掌位置為（3，3，3）m、手指長度為12 cm 的8 種微動手勢數(shù)據(jù)，其時頻圖像如圖5 所示。線多普勒指采用傳統(tǒng)電磁波照射目標(biāo)，利用短時傅里葉變換獲得的時頻圖像。線+角多普勒指利用渦旋電磁波照射目標(biāo)，通過短時傅里葉變換獲得的時頻圖像。與傳統(tǒng)電磁波雷達(dá)相比，渦旋電磁波雷達(dá)回波時頻圖像中額外含有角多普勒，蘊含更豐富的目標(biāo)信息。與圖5（a）、圖5（b）相比，圖5（e）、圖5（f）中食指擺動帶來的多普勒頻移更為明顯。其原因為：食指開始擺動時，線多普勒達(dá)到最大，但擺動到最大角度時，線多普勒較小；而角多普勒在開始時刻較小，擺動到最大角度時，角多普勒較大。線多普勒和角多普勒疊加，表征了更豐富的目標(biāo)運動信息。順時針繞圈和逆時針繞圈帶來的多普勒效應(yīng)基本一致，其區(qū)別主要在于多普勒頻移最大值出現(xiàn)的時間，兩者相差半個周期。對于劃動，線多普勒難以完整地表征目標(biāo)運動信息。由于食指左劃和上劃、右劃和下劃的運動過程中，雷達(dá)與目標(biāo)的距離變化一致，線多普勒基本一致，其線多普勒時頻圖如圖5（c）與圖5（i）、圖5（d）與圖5（j）所示。角多普勒可表征目標(biāo)在垂直于雷達(dá)徑向上運動。食指左劃和上劃、右劃和下劃在距離變化上一致，但其方位角的變化不相同。通過對比圖5（g）與圖5（m）、圖5（h）與圖5（n），可分辨左劃與上劃、右劃與下劃。

圖5 八種動態(tài)手勢的時頻圖像

3.2 訓(xùn)練與分類

根據(jù)輸入動態(tài)手勢時頻圖像的大小，將網(wǎng)絡(luò)輸入層的尺寸設(shè)置為100×100×1，采用動量梯度下降優(yōu)化器，選取80%的數(shù)據(jù)作為訓(xùn)練集，20%的數(shù)據(jù)作為測試集。將時頻圖像作為特征輸入到深度學(xué)習(xí)模型中，其分類結(jié)果如表3 所示?！熬€+角多普勒”為將渦旋電磁波的時頻圖像輸入到模型中；“線多普勒”為將傳統(tǒng)電磁波的時頻圖像作為模型輸入。為了與線多普勒對比，“角多普勒”為只輸入目標(biāo)角多普勒時頻圖像。在無噪聲的情況下，利用線多普勒和角多普勒，可獲得99.23%的準(zhǔn)確率。而由于傳統(tǒng)電磁波的信息獲取能力不足，只利用線多普勒，其分類準(zhǔn)確率為74.71%。與線多普勒相同，只利用角多普勒，未能取得很好的識別效果，其準(zhǔn)確率為78.35%。為更貼近實際，測試不同信噪比下，渦旋電磁波與傳統(tǒng)電磁波的識別效能，回波中加入高斯白噪聲。隨著信噪比的減小，只利用線多普勒與角多普勒作為輸入特征的識別準(zhǔn)確率迅速下降。信噪比從10 dB 下降至5 dB 時，由于噪聲已使模型對易混淆的目標(biāo)（左劃與上劃、右劃與下劃）失效，其準(zhǔn)確率下降幅度減小。在5 dB 的信噪比下，綜合利用線多普勒和角多普勒的方法，其識別準(zhǔn)確率仍能達(dá)到90.43%，顯示出更好的魯棒性。

表3 分類結(jié)果

為更好地說明識別結(jié)果，傳統(tǒng)電磁波的識別混淆矩陣如下頁表4 所示。模型對雙擊、單擊、順時針繞圈、逆時針繞圈的識別準(zhǔn)確率較高，其原因在于這類動態(tài)手勢的多普勒效應(yīng)差別較大，時頻圖像較易區(qū)分。對于劃動，由于上劃和左劃、下劃和右劃的線多普勒效應(yīng)相似，其時頻圖像較難區(qū)分，模型對劃動的識別準(zhǔn)確率極低。渦旋電磁波的識別混淆矩陣如表5 所示，與表4 相比，模型可以較為準(zhǔn)確地識別劃動，證明了綜合利用線多普勒和角多普勒可提高識別效能。

表4 傳統(tǒng)電磁波的識別混淆矩陣

為更貼近實際情況，引入誤差和模糊性，加入新的變量（手掌傾斜角度），并增大手掌位置的變化范 圍。新 的 手 掌 位 置 變 化 范 圍 為：（0，0，0）±（2，2，2）。手掌位置會導(dǎo)致手勢的多普勒效應(yīng)發(fā)生改變，導(dǎo)致手勢間的差異變大或者變小。當(dāng)手掌位于或較為接近Z 軸正半軸時，左劃和右劃在線多普勒和角多普勒上基本一致，該情況下算法難以準(zhǔn)確識別。同時，將手掌平行與XOY 平面的角度設(shè)置為0°，手掌與XOY 平面的夾角為手掌傾斜角度。手掌傾斜角度的變化范圍為0°～45°。與手掌位置類似，手掌傾斜角度同樣對識別結(jié)果產(chǎn)生顯著影響。當(dāng)傾斜角度較大時，該樣本的劃動與其余樣本的劃動會產(chǎn)生較大的混淆，識別準(zhǔn)確率降低。引入誤差和模糊性后的識別混淆矩陣如表6 所示。與表5 相比，繞圈的識別準(zhǔn)確率略微下降，仍能較為準(zhǔn)確的識別雙擊、單擊，劃動的識別準(zhǔn)確率下降較大。

表5 渦旋電磁波的識別混淆矩陣

表6 引入誤差和模糊性后的識別混淆矩陣

4 結(jié)論

本文提出了一種基于渦旋電磁波雷達(dá)回波時頻圖像的動態(tài)手勢識別方法。仿真生成了動態(tài)手勢渦旋電磁回波數(shù)據(jù)集，利用僅有7 個卷積層的輕量級卷積神經(jīng)網(wǎng)絡(luò)，對8 類動態(tài)手勢數(shù)據(jù)集進(jìn)行訓(xùn)練和測試。分類結(jié)果顯示，綜合利用線多普勒和角多普勒，可提高識別準(zhǔn)確率，平均分類準(zhǔn)確率為99.23%，證明了與傳統(tǒng)電磁波時頻圖像相比，渦旋電磁波回波時頻圖像能有效提高識別效能。