基于雙頻段FMCW雷達(dá)的人體動(dòng)作識(shí)別*

屈樂樂，張丁元，楊天虹，孫延鵬

(沈陽航空航天大學(xué) 電子信息工程學(xué)院,沈陽 110136)

0 引 言

人體動(dòng)作識(shí)別技術(shù)近年來被廣泛應(yīng)用于醫(yī)療健康、輔助駕駛、安保防護(hù)等領(lǐng)域。目前人體動(dòng)作識(shí)別技術(shù)都是基于攝像機(jī)所拍攝的圖像手段來完成[1-2]，這種方式易受到周圍光線環(huán)境影響，并且在避免隱私侵犯方面是一個(gè)比較大的短板。近年來隨著雷達(dá)技術(shù)的不斷發(fā)展，基于雷達(dá)傳感器的人體動(dòng)作探測(cè)受到越來越多的關(guān)注。因?yàn)槔走_(dá)傳感器不易受到周圍光線環(huán)境以及視野因素的影響，并且極大地提高了觀測(cè)對(duì)象的隱私保護(hù)程度，所以將雷達(dá)傳感器應(yīng)用在人體動(dòng)作識(shí)別領(lǐng)域具有廣泛的應(yīng)用前景[3-4]。

雷達(dá)對(duì)人體探測(cè)的核心思想在于從雷達(dá)所收集到的回波數(shù)據(jù)中提取不同動(dòng)作的特征進(jìn)行識(shí)別，其中應(yīng)用最為廣泛的是微多普勒特征[5-6]。在此基礎(chǔ)上有研究人員通過提取人體動(dòng)作回波數(shù)據(jù)的微多普勒時(shí)頻譜圖特征實(shí)現(xiàn)了人體動(dòng)作識(shí)別[7-9]，但是僅從微多普勒時(shí)頻譜圖提取特征進(jìn)行動(dòng)作識(shí)別時(shí)識(shí)別結(jié)果準(zhǔn)確率往往達(dá)不到預(yù)期效果。也有研究人員將深度學(xué)習(xí)應(yīng)用于人體動(dòng)作識(shí)別中[10-12]，雖然識(shí)別準(zhǔn)確率得到提高，但深度學(xué)習(xí)要求數(shù)據(jù)量巨大，訓(xùn)練時(shí)間過長(zhǎng)，在面對(duì)訓(xùn)練樣本數(shù)量不足時(shí)容易產(chǎn)生過擬合。有研究人員提出將微多普勒時(shí)頻譜圖像特征結(jié)合雷達(dá)回波數(shù)據(jù)的其他特征組成聯(lián)合特征集進(jìn)行人體動(dòng)作識(shí)別:文獻(xiàn)[13]針對(duì)時(shí)頻分析結(jié)果提取其有效面積的頻率上下限與功率密度及能量上下包絡(luò)并與距離多普勒軌跡作為動(dòng)作的聯(lián)合特征進(jìn)行動(dòng)作識(shí)別；文獻(xiàn)[14]提出從微多普勒時(shí)頻圖中選取頻率間隙和距離多普勒?qǐng)D中選取高功率區(qū)域的橫縱寬度比值作為聯(lián)合特征進(jìn)行人體動(dòng)作識(shí)別。但文獻(xiàn)[13-14]都需要基于人工提取預(yù)設(shè)特征得到特征向量進(jìn)行動(dòng)作識(shí)別，過程比較繁瑣。文獻(xiàn)[15]在距離多普勒?qǐng)D像域提取動(dòng)態(tài)軌跡進(jìn)行人體動(dòng)作識(shí)別，但由于缺少了最典型的微多普勒特征，因此識(shí)別效果不理想。文獻(xiàn)[16]則提出采用微多普勒時(shí)頻譜圖和節(jié)奏速度圖分別進(jìn)行特征提取進(jìn)行人體步態(tài)識(shí)別，文獻(xiàn)[17]將微多普勒頻譜圖的質(zhì)心、帶寬、熵與奇異值分解后求得的統(tǒng)計(jì)量作為特征進(jìn)行識(shí)別，但文獻(xiàn)[16-17]未對(duì)目標(biāo)回波數(shù)據(jù)的距離時(shí)間圖像和距離多普勒?qǐng)D像進(jìn)行特征提取，識(shí)別準(zhǔn)確率不高。

針對(duì)上述問題，本文提出一種基于雙頻段調(diào)頻連續(xù)波(Frequency Modulation Continuous Wave,FMCW)雷達(dá)系統(tǒng)的人體動(dòng)作識(shí)別方法，通過雙頻段FMCW雷達(dá)系統(tǒng)采集多個(gè)人體動(dòng)作回波數(shù)據(jù)實(shí)現(xiàn)人體動(dòng)作識(shí)別。所提方法首先對(duì)回波數(shù)據(jù)進(jìn)行預(yù)處理分別得到距離時(shí)間、距離多普勒和微多普勒時(shí)頻譜圖像，接著運(yùn)用主成分分析(Principal Component Analysis,PCA)對(duì)三種圖像分別進(jìn)行降維提取特征，然后對(duì)降維后的特征進(jìn)行融合得到特征集，最后利用支持向量機(jī)(Support Vector Machine,SVM)分類器對(duì)人體動(dòng)作進(jìn)行訓(xùn)練和識(shí)別。

1 基于雙頻段FMCW雷達(dá)的人體動(dòng)作識(shí)別

基于雙頻段FMCW雷達(dá)的人體動(dòng)作識(shí)別方法主要流程包含回波數(shù)據(jù)預(yù)處理、特征提取與特征融合、分類器訓(xùn)練與測(cè)試等，如圖1所示。

圖1 人體動(dòng)作識(shí)別整體流程圖

1.1 回波數(shù)據(jù)預(yù)處理

FMCW雷達(dá)對(duì)目標(biāo)回波數(shù)據(jù)進(jìn)行預(yù)處理可以分別得到距離時(shí)間圖像、距離多普勒?qǐng)D像與微多普勒時(shí)頻譜圖像。

1.1.1 距離時(shí)間圖像

將FMCW雷達(dá)回波數(shù)據(jù)表示為二維矩陣S(n,m)，其中n=0,1,…,N-1，m=0,1,…,M-1，N和M分別是雷達(dá)在一個(gè)調(diào)頻周期內(nèi)的采樣點(diǎn)數(shù)和總的調(diào)頻周期個(gè)數(shù)。對(duì)矩陣S(n,m)的每一列進(jìn)行離散傅里葉變換(Discrete Fourier Transform,DFT)得到

(1)

式中：變量k=0,1,…,N-1包含探測(cè)目標(biāo)距離雷達(dá)天線的距離信息。對(duì)矩陣R(k,m)進(jìn)行動(dòng)目標(biāo)顯示濾波預(yù)處理然后取模值得到距離時(shí)間圖像，如圖2所示。圖2(a)與圖2(b)分別為K頻段雷達(dá)與C頻段雷達(dá)對(duì)應(yīng)行走動(dòng)作的距離時(shí)間圖像，圖像的縱軸為距離軸，圖像的每一列對(duì)應(yīng)一維目標(biāo)距離像；圖像的橫軸為時(shí)間軸，0～3 s內(nèi)所有的距離像信息都按時(shí)間前后排列在該軸上。從圖2中可以清晰地看到被觀測(cè)對(duì)象與雷達(dá)天線之間的距離隨時(shí)間變化的信息。

圖2 距離時(shí)間域圖像

1.1.2 距離多普勒?qǐng)D像

對(duì)式(1)中的矩陣R(k,m)的每一行進(jìn)行DFT得到

(2)

式中：變量l=0,1,…,M-1為目標(biāo)的多普勒頻率信息。對(duì)矩陣V(k,l)取模值可得到距離多普勒?qǐng)D像，如圖3所示。圖3(a)與圖3(b)分別為行走動(dòng)作對(duì)應(yīng)的K頻段與C頻段距離多普勒?qǐng)D像，圖像的縱軸為距離軸，橫軸為多普勒頻率軸。該域圖像反映了目標(biāo)在每個(gè)距離單元所對(duì)應(yīng)的多普勒頻率信息。

圖3 距離多普勒?qǐng)D像

1.1.3 微多普勒時(shí)頻譜圖像

FMCW雷達(dá)距離分辨率ΔR為

(3)

式中：B為FMCW雷達(dá)的信號(hào)帶寬，c0為電磁波在空氣中的傳播速度。對(duì)根據(jù)式(1)得到的距離時(shí)間圖像中感興趣的距離單元信號(hào)進(jìn)行相加得到

(4)

式中：k1與k2為所設(shè)置距離門的最小和最大限制。實(shí)驗(yàn)時(shí)人體目標(biāo)距離雷達(dá)的范圍為0～4.5 m，當(dāng)處理K頻段雷達(dá)回波數(shù)據(jù)時(shí)，距離分辨率為0.3 m，k1與k2取值分別為0與15；當(dāng)處理C頻段雷達(dá)回波數(shù)據(jù)時(shí)，距離分辨率為0.375 m，k1與k2取值分別為0與12。對(duì)D(m)進(jìn)行短時(shí)傅里葉變換(Short-Time Fourier Transform,STFT)得到

(5)

式中：g(m)為漢明窗函數(shù)；p為窗函數(shù)移動(dòng)的索引值，窗函數(shù)每次移動(dòng)時(shí)對(duì)應(yīng)的數(shù)據(jù)重疊率為95%。根據(jù)T(p,q)可以得到微多普勒時(shí)頻譜圖像，如圖4所示。圖4(a)與圖4(b)分別為行走動(dòng)作的K頻段與C頻段雷達(dá)的微多普勒時(shí)頻譜圖像，橫軸單位為時(shí)間，該時(shí)間所指的是窗函數(shù)g(m)沿著時(shí)間軸移動(dòng)所對(duì)應(yīng)的時(shí)間，也就是式(5)中的變量p；縱軸表示多普勒頻率，為式(5)中的變量q。

圖4 微多普勒時(shí)頻譜圖像

1.2 基于PCA的特征提取與特征融合

PCA不僅可以通過計(jì)算機(jī)自動(dòng)提取特征，避免人工手動(dòng)篩選特征導(dǎo)致體征提取不全從而影響識(shí)別準(zhǔn)確率，而且計(jì)算量小便于實(shí)時(shí)處理。經(jīng)過回波數(shù)據(jù)預(yù)處理后每個(gè)人體動(dòng)作數(shù)據(jù)會(huì)對(duì)應(yīng)6個(gè)不同維度的圖像信息，采用PCA來進(jìn)行特征提取處理。首先利用所有動(dòng)作的6個(gè)不同維度圖像分別構(gòu)建出6個(gè)矩陣Xn(n=1,2,3,4,5,6)，矩陣每一行是每個(gè)動(dòng)作樣本對(duì)應(yīng)維度圖像矩陣的行向量展開。然后對(duì)每個(gè)矩陣分別按行進(jìn)行劃分，隨機(jī)抽取一定比例的行向量組成測(cè)試數(shù)據(jù)矩陣XnTe，余下的為訓(xùn)練數(shù)據(jù)矩陣XnTr，最后對(duì)6個(gè)訓(xùn)練數(shù)據(jù)矩陣分別進(jìn)行PCA降維處理，計(jì)算過程如下：

(3)對(duì)協(xié)方差矩陣進(jìn)行特征分解，得到特征值與投影特征向量；

(4)對(duì)特征值從大到小排序，選取其中最大的K個(gè)特征值將其所對(duì)應(yīng)的投影特征向量以列向量形式排列到一個(gè)矩陣An中；

當(dāng)采用PCA得到降維的訓(xùn)練數(shù)據(jù)特征矩陣后進(jìn)行多維度特征融合，如圖5所示。將K頻段和C頻段FMCW雷達(dá)回波數(shù)據(jù)得到的不同域圖像分別經(jīng)過PCA降維后，選取前30個(gè)相關(guān)度最大的維度為降維后特征向量。圖中的黃色部分與藍(lán)色部分分別為根據(jù)K頻段雷達(dá)數(shù)據(jù)與C頻段雷達(dá)數(shù)據(jù)最后所得到的特征向量。之后在特征層將不同頻段雷達(dá)對(duì)應(yīng)的降維特征向量組合成新的特征向量，進(jìn)而根據(jù)多個(gè)實(shí)驗(yàn)樣本所得特征向量組成特征矩陣。為了保證測(cè)試數(shù)據(jù)在PCA中與訓(xùn)練數(shù)據(jù)的PCA投影維度一致，需要將6個(gè)測(cè)試數(shù)據(jù)矩陣X1Te～X6Te中心化并與之前得到的An對(duì)應(yīng)相乘后得到降維之后的特征矩陣YnTe，然后采用圖5所示的方法進(jìn)行特征融合得到特征向量。

圖5 特征融合示意圖

1.3 SVM分類器

經(jīng)過上述步驟得到特征向量后，采用SVM作為分類器進(jìn)行分類，判別函數(shù)為

(6)

式中：D為支持向量個(gè)數(shù)；wi與b分別為權(quán)值與偏置；K(x,xi)為核函數(shù)，

(7)

式中：參數(shù)σ=1。采用“一對(duì)一”方法進(jìn)行五分類，在訓(xùn)練時(shí)對(duì)五類特征分別兩兩配對(duì)輸入到10個(gè)分類器中，每個(gè)分類器用于兩類特征分類。在測(cè)試過程中將每組測(cè)試數(shù)據(jù)對(duì)應(yīng)的特征向量分別輸入所有分類器中，綜合所有分類器結(jié)果，取這些結(jié)果中數(shù)目最多的一類為該組數(shù)據(jù)的最終分類結(jié)果。

2 實(shí)測(cè)數(shù)據(jù)結(jié)果分析

2.1 實(shí)驗(yàn)場(chǎng)景

實(shí)驗(yàn)采用雙頻段FMCW雷達(dá)系統(tǒng)，該系統(tǒng)包括兩部FMCW雷達(dá)，分別工作于K頻段與C頻段。雙頻段FMCW雷達(dá)系統(tǒng)的具體參數(shù)如表1所示。

表1 雙頻段FMCW雷達(dá)系統(tǒng)參數(shù)

實(shí)驗(yàn)所用雙頻段FMCW雷達(dá)系統(tǒng)如圖6所示，圖中右側(cè)為C頻段雷達(dá)收發(fā)天線，左側(cè)為K頻段雷達(dá)收發(fā)天線，雷達(dá)距離地面高度為0.9 m，收發(fā)天線并列放置并面向同一方向?qū)ν幻^測(cè)對(duì)象同時(shí)進(jìn)行探測(cè)。雷達(dá)系統(tǒng)對(duì)人體所做不同動(dòng)作進(jìn)行回波數(shù)據(jù)采集，采集數(shù)據(jù)的對(duì)象為3男1女共4人，全部為在校學(xué)生,編號(hào)為1～4。每次數(shù)據(jù)收集探測(cè)目標(biāo)只有1人。當(dāng)數(shù)據(jù)采集開始時(shí)，觀測(cè)目標(biāo)對(duì)象會(huì)從距離雷達(dá)3.2 m處開始活動(dòng)，動(dòng)作為5種，分別為蹲起、跳躍、彎腰、行走與坐下，對(duì)于每種動(dòng)作每個(gè)對(duì)象采集20次，每次采集時(shí)間為3 s，記錄總組數(shù)為400組。

圖6 實(shí)驗(yàn)設(shè)備

2.2 單頻段與雙頻段FMCW雷達(dá)系統(tǒng)的識(shí)別準(zhǔn)確率

為了檢驗(yàn)雙頻段FMCW雷達(dá)系統(tǒng)對(duì)人體動(dòng)作的識(shí)別性能，進(jìn)行了3組試驗(yàn),所用數(shù)據(jù)分別為K頻段FMCW雷達(dá)、C頻段FMCW雷達(dá)與雙頻段FMCW雷達(dá)系統(tǒng)的回波數(shù)據(jù)。每次實(shí)驗(yàn)在每一類動(dòng)作對(duì)應(yīng)的總數(shù)據(jù)樣本中隨機(jī)抽取75%共即300組數(shù)據(jù)用于訓(xùn)練，余下的25%共即100組數(shù)據(jù)進(jìn)行測(cè)試。實(shí)驗(yàn)過程采用四折交叉驗(yàn)證方法。

5個(gè)動(dòng)作分別對(duì)應(yīng)的距離時(shí)間、距離多普勒與微多普勒時(shí)頻譜圖像如圖7所示。三組實(shí)驗(yàn)識(shí)別結(jié)果的混淆矩陣分別如表2～4所示。

圖7 不同動(dòng)作對(duì)應(yīng)的雙頻段FMCW雷達(dá)距離時(shí)間圖像、距離多普勒?qǐng)D像與微多普勒時(shí)頻譜圖像

表2 單一K頻段FMCW雷達(dá)識(shí)別混淆矩陣

表4 雙頻段FMCW雷達(dá)識(shí)別混淆矩陣

從表2～4可以看出，采用雙頻段FMCW雷達(dá)系統(tǒng)在訓(xùn)練數(shù)據(jù)占總樣本75%的情況下的平均識(shí)別準(zhǔn)確率為95.75%，識(shí)別效果對(duì)比只運(yùn)用單一K頻段(93%)或C頻段FMCW雷達(dá)(92%)有所提高。

為了進(jìn)一步說明雙頻段雷達(dá)系統(tǒng)在人體動(dòng)作識(shí)別中的優(yōu)勢(shì)，在訓(xùn)練數(shù)據(jù)占比不同條件下，對(duì)利用雙頻段FMCW雷達(dá)系統(tǒng)得到的識(shí)別準(zhǔn)確率與單一K頻段和單一C頻段雷達(dá)識(shí)別準(zhǔn)確率進(jìn)行對(duì)比，結(jié)果如圖8所示。

圖8 單一雷達(dá)與雙頻段雷達(dá)識(shí)別準(zhǔn)確率對(duì)比圖

從圖8中可以看出，隨著訓(xùn)練數(shù)據(jù)占比越高，訓(xùn)練樣本數(shù)目越多，總體的識(shí)別準(zhǔn)確率越高；在訓(xùn)練樣本比例相同情況下，采用雙頻段雷達(dá)的識(shí)別結(jié)果優(yōu)于單一頻段雷達(dá)識(shí)別結(jié)果。這是因?yàn)榛陔p頻段雷達(dá)探測(cè)不同動(dòng)作得到融合后的聯(lián)合特征比基于單一雷達(dá)回波提取到的特征有更大的區(qū)分度，進(jìn)而實(shí)現(xiàn)更好的識(shí)別效果。

2.3 多特征融合識(shí)別準(zhǔn)確率對(duì)比

為評(píng)估多特征融合在人體動(dòng)作識(shí)別中的優(yōu)勢(shì)，基于雙頻段FMCW雷達(dá)系統(tǒng)對(duì)文獻(xiàn)[7-9]所采用的微多普勒特征、文獻(xiàn)[14]所采用的微多普勒特征與距離多普勒特征組成的聯(lián)合特征作為特征集與本文所提的基于三種特征組成的特征集進(jìn)行識(shí)別結(jié)果進(jìn)行對(duì)比，如圖9所示。

圖9 單一特征與多特征融合識(shí)別準(zhǔn)確率對(duì)比圖

從圖9中可以清楚地看出，采用三種不同特征組成的特征集進(jìn)行識(shí)別的效果要優(yōu)于其余兩種情況，在訓(xùn)練集占比相同的情況下普遍具有更高的識(shí)別正確率。因?yàn)椴煌瑒?dòng)作在不同特征維度之間所體現(xiàn)出的區(qū)分度不同，綜合三種維度所提取到的特征集比單一維度特征集具有更大的可區(qū)分性，進(jìn)而可以實(shí)現(xiàn)更好的識(shí)別效果。

3 結(jié)束語

本文提出了一種雙頻段FMCW雷達(dá)多維特征融合識(shí)別方法用于人體動(dòng)作識(shí)別?；趯?shí)測(cè)雷達(dá)數(shù)據(jù)處理的結(jié)果表明，采用雙頻段FMCW雷達(dá)從不同維度進(jìn)行特征提取和融合可以提高人體動(dòng)作識(shí)別的準(zhǔn)確率，本文所提的識(shí)別方法識(shí)別準(zhǔn)確率可達(dá)到96.25%。在下一階段工作中，將對(duì)運(yùn)動(dòng)人體目標(biāo)的連續(xù)性動(dòng)作識(shí)別進(jìn)行研究，進(jìn)一步提高該方法的實(shí)用性。