超寬帶雷達人體行為感知研究進展

金 添 何 元 李新羽 宋永坤 楊 陽

①(國防科技大學電子科學學院 長沙 410073)

②(北京郵電大學可信分布式計算與服務教育部重點實驗室 北京 100876)

③(天津大學電氣自動化與信息工程學院 天津 300072)

1 引言

人體行為感知技術主要用于判斷人體目標的位置、動作和生命體征等信息，在智能家居、人機交互和健康監(jiān)護等領域中均有重要應用[1]。以電磁波為信息載體的雷達系統(tǒng)，是一種與光學系統(tǒng)技術相異、信息互補的主動探測方式，可用于人體行為的感知與理解。電磁波中蘊含的時、頻、相等特征信息反映了目標的散射特性和運動狀態(tài)，在技術原理上消解了無光、遮蔽、非視距等常規(guī)意義上復雜環(huán)境所帶來的檢測難題。相較于常規(guī)窄帶微波系統(tǒng)，超寬帶(Ultra-WideBand, UWB)雷達具有更高的距離分辨率，距離分辨單元小于目標物理尺寸，使得目標局部特征得以呈現(xiàn)；較寬的電磁波頻率覆蓋范圍，能夠有效降低目標處于反射截面積衰落區(qū)的可能性，從而獲取更加豐富的目標散射信息和頻率響應特性；通過采用大波束角進行天線設計，雷達系統(tǒng)能夠有效避免運動目標的跨波束走動，有利于回波信號的相參積累和多普勒信息的檢測提取。

目前已經(jīng)存在多種不同類型的超寬帶雷達人體行為感知方案，但主要可以分為基于空間位置和基于微動特征兩類人體行為感知技術。鑒于此，本文首先介紹這兩類技術的基本原理，然后針對這兩類行為感知技術的發(fā)展過程和現(xiàn)狀展開討論，最后對超寬帶雷達人體行為感知技術的未來趨勢進行展望。

2 基于高度、方位和距離的人體行為感知

雷達系統(tǒng)的距離分辨率與發(fā)射信號帶寬成反比，雷達系統(tǒng)帶寬越大，距離分辨率越高。當雷達距離分辨單元小于目標物理尺寸時，可以對目標局部特征進行分辨，對目標散射信息進行精細化分析。根據(jù)目標的空間位置自由度獲取能力，相關研究工作可以劃分為1維(徑向距離)信息感知、2維(距離-方位)信息感知和3維(距離-方位-高度)信息感知。不同維度的感知技術均需要對目標各組成部分的散射信息進行分析、處理，形成靜態(tài)、動態(tài)特征，最終在高度、方位和距離上對目標進行檢測辨識。

2.1 1維(徑向距離)信息感知

近年來，人體目標1維高分辨距離像的研究日益受到重視，借助目標距離信息和模式識別算法，取得了包括人群數(shù)量估計、目標精確定位、人體行為估計和手勢識別等一系列研究成果。韓國漢陽大學Choi等人[2]針對多人場景中的人數(shù)估計問題，設計了基于匹配識別的人數(shù)估計算法。不同于根據(jù)回波峰值進行計數(shù)的常規(guī)方法，他們將不同人數(shù)存在的場景回波作為信號模板，將多目標檢測問題轉(zhuǎn)換為了不同模板的匹配識別問題，從而可以對多徑效應強烈的電梯等場景實現(xiàn)較為精確的人數(shù)估計(見圖1)。美國維拉諾瓦大學Setlur等人[3]借助超寬帶系統(tǒng)的高距離分辨能力將人體與墻體的多徑回波進行精確分離，借助多徑與回波的時延差，采用交叉定位算法實現(xiàn)了基于單通道傳感器的室內(nèi)人員平面位置估計。試驗結果表明利用多徑反射，目標定位可以用一個傳感器來實現(xiàn)。對于多目標場景，多目標定位可以通過區(qū)分直接傳播路徑和多徑來實現(xiàn)。麻省理工學院Adib等人[4]采用工作在WiFi頻段的電磁波進行目標的觀測定位，通過對運動人體進行逆合成孔徑成像處理，實現(xiàn)了墻后的人數(shù)判讀。與此同時，他們將天線系統(tǒng)調(diào)整為1發(fā)雙收，通過交叉定位算法[5]實現(xiàn)了人體目標的3維動態(tài)跟蹤，且能夠?qū)εe手、放手等人體動作進行檢測(見圖2)。該工作證明采用多輸入多輸出(Multiple Input Multiple Output, MIMO)干擾消除方法可以去除接收信號中靜態(tài)物體的反射信號，并將接收器聚焦在移動目標上。天津大學Liu等人[6]觀測到人體交互動作時的相對位置變化，利用超寬帶雷達采集了人體交互行為并在時間距離像上提取了4種統(tǒng)計特征，實現(xiàn)了交互動作的精準識別。實驗結果表明，采用信息熵、平均距離等特征對6種人體交互行為進行識別，識別準確率高達99%。

圖1 單通道雷達人群數(shù)量檢測系統(tǒng)[2]

圖2 基于1發(fā)雙收系統(tǒng)的人體目標探測[5]

2.2 2維(距離-方位)信息感知

日本京都大學Sakamoto等人[7]采用1發(fā)多收天線的超寬帶雷達系統(tǒng)對人體行為和運動軌跡進行估計，檢測性能優(yōu)于單發(fā)單收系統(tǒng)的處理結果。人體目標的2維成像系統(tǒng)由于缺乏高度信息，無法獲取人體的肢體輪廓等信息。因此研究重點主要是目標增強和雜波抑制技術，目的是進一步提高目標的空間定位精度和多目標場景下的強弱目標檢測能力。該方法利用3根天線，即可對人體目標的形狀輪廓和任意運動行為進行精準估計。維拉諾瓦大學Qian等人[8]針對運動人體目標的檢測問題，提出了系數(shù)重構字典的2維成像算法，該方法假定勻速直線運動是人體的基本運動狀態(tài)，并在此基礎上進一步引入速度、通道、頻率、位置等4維度6變量的字典元素，用以提高運動目標的成像精度。實驗結果表明，在不降低系統(tǒng)性能的情況下，通過稀疏正則化方法可以實現(xiàn)靜止和運動目標的聯(lián)合定位。

2.3 3維(距離-方位-高度)信息感知

3維雷達系統(tǒng)的天線收發(fā)單元進一步擴增，可以獲取目標的高度信息，對人體的肢體輪廓進行描繪。荷蘭代爾夫特理工大學Zhuge等人[9]采用平面天線陣和圖像合成孔徑算法對真實尺寸的人體模型進行了實驗測量，對算法可行性進行了有效驗證。印度IIIT-Delhi研究中心Ram等人[10]采用多普勒域雜波抑制和壓縮感知成像算法進一步提升了人體成像算法性能。北京大學李廉林研究團隊[11]將電磁逆散射和可編程超材料技術成功應用于目標成像，實現(xiàn)了超瑞利極限的人體目標高精度成像。電子科技大學崔國龍等人[12]對1～2 GHz頻段的低頻雷達系統(tǒng)人體目標成像能力進行了探究，采用大型天線面陣的收發(fā)系統(tǒng)設計和后向投影處理算法，獲取了墻后人體目標的大致輪廓。2018年美國麻省理工學院Zhao等人[13]采用工作于WiFi頻段的電磁波信號，通過T字型收發(fā)系統(tǒng)和 “師生監(jiān)督網(wǎng)絡”算法，實現(xiàn)了墻后人體目標的方位-高度維姿態(tài)精確估計，對人體的重要關節(jié)點進行了檢測定位。2019年，麻省理工學院Li等人[14]將已有系統(tǒng)進一步升級，提出了名為“RF-Action”的雷達成像、3維關節(jié)點估計、行為識別一體化處理算法，分別在遮擋、無光等條件下對單人、多人場景進行了實驗驗證。國防科技大學趙帝植[15]采用解卷積、深度神經(jīng)網(wǎng)絡等方法進行雷達圖像的柵旁瓣抑制和主瓣銳化，實現(xiàn)了3維人體雷達圖像增強。與此同時，該研究團隊提出了基于3維卷積神經(jīng)網(wǎng)絡的低頻超寬帶雷達人體姿態(tài)重構網(wǎng)絡[16]，將墻后人體目標的3維雷達圖像轉(zhuǎn)化為更容易理解的3維姿態(tài)，實現(xiàn)了對低分辨率雷達圖像的智能解譯(見圖3)。綜合上述研究可以發(fā)現(xiàn)，雷達信號處理算法與深度學習等機器學習技術的融合，可以有效拓展雷達系統(tǒng)的功能。

圖3 基于3維雷達圖像的人體姿態(tài)重構[16]

3 基于微動特征的人體行為感知

微動是指目標各組成部分相對于目標整體的擺動、轉(zhuǎn)動、振動等相對運動。對于人體目標，人體頭部、手臂、腿部、手、腳等肢體在運動過程中具有相對于人體軀干的獨特運動特性，這些肢體的相對運動即為人體微動。雷達回波中攜帶的微動信息表現(xiàn)為附著于多普勒頻率上的額外頻率調(diào)制——微多普勒效應?；谖犹卣鞯娜梭w感知研究可以分為人體微動建模、微動特征提取、微動特征識別以及提取識別的一體化研究，下面分別對其發(fā)展與現(xiàn)狀進行梳理。

3.1 人體微動建模研究

對人體微動進行數(shù)學建?？梢跃_探究各肢體的運動特性以及肢體之間的協(xié)同配合。瑞士聯(lián)邦理工學院Boulic等人[17]基于大量實驗數(shù)據(jù)的分析和擬合，提出了人體行走的參數(shù)化運動模型。該模型對人體各肢體的時序運動特性建立了時間函數(shù)表達式，對各個時刻肢體的3維空間位置和運動方向進行了求解。荷蘭阿姆斯特丹大學Van Dorp等人[18]對Boulic模型進行了優(yōu)化改進(見圖4)，通過最小二乘法進一步減小了實測數(shù)據(jù)和仿真模型的差異，并且將可分析的運動類型擴充到了快走和跑步等多種步速情景。但是，Boulic模型及其改進都是基于經(jīng)驗的參數(shù)化模型，是對特定動作的一般規(guī)律性描述，可分析的運動類型有限，很難體現(xiàn)個體間運動的差異性。

圖4 參數(shù)化人體橢球模型

基于動作捕捉系統(tǒng)的非參數(shù)化建模仿真可以克服上述局限性。得克薩斯大學奧斯汀分校Ram等人[19]基于卡內(nèi)基梅隆大學圖像實驗室構建的動作捕捉數(shù)據(jù)庫[20]對遮擋條件下的人體目標微動特征進行了數(shù)學建模?？紤]到紅外動作捕捉系統(tǒng)高昂的成本，維拉諾瓦大學Erol等人[21]采用成本相對低廉的Kinect系統(tǒng)進行人體仿真，雖然Kinect系統(tǒng)可以獲取的關節(jié)點數(shù)目由31個減少到20個，但是相應微動特征在微多普勒時頻譜中并未表現(xiàn)出明顯的差異。以上討論的各種模型在進行雷達散射回波仿真時，通常均采用橢球體近似方法，如國防科技大學趙帝植[15]通過Kinect獲取人體目標骨骼節(jié)點的3維坐標，結合雷達散射截面(Radar Cross section, RCS)橢球模型提出一種人體RCS橢球雷達回波建模方法。然而，常規(guī)的電磁散射仿真方法沒有考慮人體各個肢體之間的遮擋效應，與實際目標特性存在差異。因此，西安電子科技大學Shi等人[22]對肢體遮擋特性進行了分析，提出了基于物理光學的人體仿真模型電磁計算方法，通過計算散射體表面感應電流的積分得到了更加精確的人體微動電磁散射模型。

3.2 微動特征分析技術研究

人體微動特征提取，通常需要把雷達回波轉(zhuǎn)換為微多普勒時頻分布圖。時頻分布圖可以描繪回波信號中各頻率分量的組成成分和時變特征。人體雷達回波對應的頻率成分之所以隨時間發(fā)生變化，是由于各肢體的運動速度、動作起止時間等存在差異性，表現(xiàn)為不同程度的多普勒效應。分析時頻譜的頻率分布特性可有效描述肢體的運動特性。

微多普勒時頻圖的特征提取主要有兩種思路。第1種是設計與人體運動學參數(shù)相關的特征量，這類特征通常具有明確的物理意義。例如，得克薩斯大學奧斯汀分校Kim等人[23]在研究基于微多普勒特征的行為識別時，設計了6種與運動特征相關的特征量(見圖5)，具體為人體軀干對應的多普勒頻率、多普勒頻移帶寬、多普勒頻率總偏移量、軀干處多普勒頻移帶寬、多普勒信號幅值的標準差、肢體運動周期。北京航空航天大學Sun等人[24]、國防科技大學崔文[25]先后基于時頻圖估計人體的步速、步長、步頻、身高等特征參數(shù)，用于人體行為的精確感知。第2種是借鑒圖像分析思路，直接基于時頻圖的幅值統(tǒng)計特性進行特征提取。美國約翰霍普金斯大學Lei等人[26]采用Gabor濾波器對時頻譜進行濾波處理，再利用下采樣和主成分分析得到用于行為分類的特征量。英國格拉斯哥大學Fioranelli等人[27]采用奇異值分解方法對時頻譜進行處理，再通過統(tǒng)計分析得到可用于識別的特征量(均值、方差等)。土耳其Padar等人[28]采用隱馬爾可夫鏈綜合分析時頻譜相鄰區(qū)域的時間相關性和瞬時特性，對模型輸出結果進行主成分分析，作為行為分類的依據(jù)。天津大學Lang等人[29]考慮了仿真時頻圖和實測時頻圖中的圖像共性，提出了深度特征、包絡特征與統(tǒng)計特征的融合方法，并基于以上特征實現(xiàn)了在僅用仿真數(shù)據(jù)訓練的條件下對人體動作實測數(shù)據(jù)的有效識別。

圖5 基于人體運動特性設計的6種微多普勒譜特征[23]

3.3 微動特征提取和識別一體化

近年來，基于深度學習的人體微動研究受到了廣泛關注，該類方法的一個典型特點是特征設計、提取和分類識別的一體化。研究人員只需要提供一個層次化網(wǎng)絡模型和學習代價函數(shù)，然后將大量訓練數(shù)據(jù)直接輸入網(wǎng)絡模型，通過最小化代價函數(shù)確定模型的參數(shù)權值，由此即可獲得一個可用于人體行為分類的基本網(wǎng)絡，該模型內(nèi)輸入到輸出的轉(zhuǎn)換過程對應著傳統(tǒng)方法中特征提取和分類識別的全過程。

最先用于人體微動特征識別的深度學習模型是深度卷積神經(jīng)網(wǎng)絡。加州州立大學Kim等人[30]將雷達回波數(shù)據(jù)首先變換為微多普勒譜圖，然后直接送入3層卷積網(wǎng)絡中進行訓練和識別(見圖6(a))，獲得了與人工設計的特征提取器和分類器相近的分類準確率。自編碼器[31]是另一類可以用于微多普勒分析的深度神經(jīng)網(wǎng)絡。通過這種設計結構，微多普勒時頻譜的數(shù)據(jù)維度在編碼器中不斷壓縮，實現(xiàn)了數(shù)據(jù)降維。通過對該編碼器后接分類器即可對微多普勒進行分類。為了提高編碼和解碼的計算效率，有研究人員將自編碼器中的全連接層用卷積層進行了替換[32]。

為了更好地利用微動特征中隱含的時序信息，適合處理序列數(shù)據(jù)的循環(huán)神經(jīng)網(wǎng)絡也被引入到微動特征的分析識別。美國約翰霍普金斯大學Craley等人[33]采用長短時記憶網(wǎng)絡(Long Short-Term Memory,LSTM)對人體回波數(shù)據(jù)進行了分類識別，動作分類效果優(yōu)于基于隱馬爾可夫鏈模型[34]的識別精度。電子科技大學Wang等人[35]采用疊加的循環(huán)神經(jīng)網(wǎng)絡進行人體行為分類，并基于實測數(shù)據(jù)對微多普勒的分類效果進行了驗證。考慮到雷達人體回波中存在時頻模糊、肢體遮擋和能量散射，雷達回波中攜帶的微動信息并非理想的時序數(shù)據(jù)，蘇黎世聯(lián)邦理工學院Wang等人[36]采用卷積神經(jīng)網(wǎng)絡和循環(huán)神經(jīng)網(wǎng)絡相結合的方式對雷達回波中的微動信息進行了分析處理。國防科技大學Du等人[37]在微動識別網(wǎng)絡中引入距離-多普勒-時間3維信息，提高了不同位置處肢體的差異，得到了較好的識別率，同時實現(xiàn)了多目標的分離(見圖6(c))。

圖6 基于深度神經(jīng)網(wǎng)絡的微動識別方法

目前雷達人體識別領域的數(shù)據(jù)庫相對稀缺，訓練數(shù)據(jù)集的規(guī)模性和代表性是制約網(wǎng)絡性能發(fā)揮的重要因素。美國維拉諾瓦大學Seyfioglu等人[38]采用3維人體仿真數(shù)據(jù)庫作為預訓練數(shù)據(jù)集，根據(jù)人體關節(jié)點信息建立人體散射模型，生成大量微動特征仿真數(shù)據(jù)，再用少量實測樣本進行網(wǎng)絡權值的微調(diào)。北京郵電大學何元課題組采用基于樣本的遷移學習方法構建深度學習模型，用于小樣本雷達數(shù)據(jù)集條件下的人體行為識別問題，從而提高模型對于新場景下人體行為的泛化能力[39,40]。國防科技大學Du等人[41]采用基于對抗遷移的無監(jiān)督識別方法，通過遷移對抗處理將人體運動仿真回波和實際系統(tǒng)觀測數(shù)據(jù)映射到統(tǒng)一的特征空間，減小了不同數(shù)據(jù)集的數(shù)據(jù)分布差異性，提高了卷積神經(jīng)網(wǎng)絡在行為識別任務中的泛化性能(見圖6(d))。天津大學Lang等人[42]基于生成對抗的思想，建立生成對抗網(wǎng)絡(Generative Adversarial Networks, GAN)模型對目標數(shù)據(jù)的原始分布進行了擬合，并利用對抗訓練中的判別器，聯(lián)合生成器實現(xiàn)了對特定人體運動的精準檢測。此外，有研究人員采用自編碼器結構，通過數(shù)據(jù)壓縮和重構使網(wǎng)絡權值得到額外訓練[32]，以提高有限訓練數(shù)據(jù)條件下的人體行為分類準確率。2019年Fioranelli等人[43]發(fā)布了包含6類人體行為(行走、坐下、起立、拿起物品、喝水、摔倒)的回波數(shù)據(jù)集，為利用人體微動特征進行人體感知的進一步深入研究提供了數(shù)據(jù)支撐。

4 結束語

本文對超寬帶雷達人體行為分析與識別近年來的研究進行了歸納總結，認為目前超寬帶雷達人體行為感知領域還存在以下幾個問題需要進一步研究：

(1)現(xiàn)有深度學習模型的數(shù)據(jù)集依賴性大、計算復雜性高。目前基于深度神經(jīng)網(wǎng)絡的行為辨識方法是一種數(shù)據(jù)驅(qū)動算法，尚不能有效應對訓練數(shù)據(jù)稀缺和計算資源受限等問題。如何有效借鑒遷移學習等最新研究成果，在人體行為感知任務中，降低訓練數(shù)據(jù)收集成本，盡可能精簡算法模型，是當前研究面臨的主要問題。

(2)超寬帶雷達人體回波數(shù)據(jù)的特征表征有待優(yōu)化。回波信號的信息量與雷達系統(tǒng)參數(shù)密切相關，超寬帶雷達相比于窄帶雷達具有更高的距離分辨率，如何結合雷達系統(tǒng)優(yōu)勢設計深度學習模型的輸入端，將直接影響算法模型對數(shù)據(jù)的學習映射能力。如何綜合利用空間位置信息和微動信息，優(yōu)化算法模型的特征工程設計是下一步的研究重點。

(3)未知場景和異常樣本的檢測問題亟待解決。實際場景中人體行為的種類難以事先知曉，探測場景的人數(shù)很難預先確定，并且缺乏關于信噪比和雜波分布特征的先驗知識。目前基于有限單人回波得到的算法模型不能夠完全適應實際場景的應用需求。

(4)人體行為感知中位姿估計問題的研究相對缺乏。單通道雷達由于缺乏方位向分辨力，只能觀測到目標的1維徑向映射信息，損失了人體目標的空間結構信息。行為分類雖然能夠預測人體的行為類別，但是整個處理過程缺乏可解釋性，行為的類內(nèi)差異無法有效衡量。能否結合分類結果和運動過程中肢體相互配合、彼此約束的先驗信息，對人體目標的空間運動姿態(tài)進行描繪，提高對人體行為類內(nèi)差異的檢測能力，相關問題的研究少有涉及。