姜珊 劉勇國 李巧勤 陶文元 朱斌 邢萍

(1電子科技大學(xué)信息與軟件工程學(xué)院中醫(yī)知識與數(shù)據(jù)工程實(shí)驗(yàn)室，四川 成都 610054；2成都市第八人民醫(yī)院；3四川省中醫(yī)藥科學(xué)院)

跌倒是指由于各種原因?qū)е氯梭w無意識、非自主的體位變化，從而倒在地面或更低位置所造成的意外事件〔1〕。世界衛(wèi)生組織報告人體跌倒主要受生物因素、行為因素、環(huán)境因素和社會經(jīng)濟(jì)學(xué)因素等相互影響〔2〕。據(jù)預(yù)測，中國60歲及以上的老年人口2025年將達(dá)3億，2035年超過4億〔3〕。隨著年齡增長，人體功能和平衡控制能力下降，導(dǎo)致跌倒風(fēng)險增加。研究顯示，30%的65歲及以上老年人每年均發(fā)生意外跌倒〔2〕，導(dǎo)致身體受傷，如骨折、顱腦損傷、扭傷及拉傷等，嚴(yán)重者甚至導(dǎo)致死亡，對老年人正常生活造成嚴(yán)重威脅。2008年美國和英國老年人因跌倒導(dǎo)致1 480億元人民幣(233億美元)和138億元人民幣(16億英鎊)的醫(yī)療費(fèi)用，中國老年人每年因跌倒所致直接費(fèi)用超50億元人民幣，巨額醫(yī)療費(fèi)用給家庭和社會造成沉重的經(jīng)濟(jì)負(fù)擔(dān)〔4〕。因此，有效防控人體跌倒已成為公共衛(wèi)生領(lǐng)域的重要研究問題〔5〕。

人體跌倒防控包含3個方面：跌倒事件前預(yù)警、跌倒事件中檢測及跌倒事件后施救與傷害評估。人體跌倒后的跌倒?fàn)顟B(tài)保持時間是決定傷害程度的關(guān)鍵因素之一，及時發(fā)現(xiàn)跌倒行為并報警可顯著減少跌倒事件對人體的不良影響〔6〕。人體跌倒行為檢測包含數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、特征提取及跌倒檢測。Mubashir等〔7〕根據(jù)傳感器類型將跌倒檢測系統(tǒng)分為3類：基于可穿戴傳感器、基于環(huán)境傳感器和基于視覺傳感器的跌倒檢測系統(tǒng)。Igual等〔8〕將視覺傳感器歸屬于環(huán)境傳感器類型，將跌倒檢測系統(tǒng)劃分為基于可穿戴傳感器的跌倒檢測系統(tǒng)和基于環(huán)境感知的跌倒檢測系統(tǒng)，前者通常將可穿戴傳感器放置于人體胸部、腰部、手腕、大腿等部位感知人體，如加速度計感知人體方位變化，陀螺儀探測人體行為角動量變化等〔9，10〕?；诃h(huán)境感知的跌倒檢測系統(tǒng)通常采用紅外傳感器、震動傳感器、麥克風(fēng)、雷達(dá)和視頻傳感器等設(shè)備放置于室內(nèi)對人體進(jìn)行定位與跟蹤。研究人員發(fā)現(xiàn)，基于單一傳感器的跌倒檢測系統(tǒng)由于單一數(shù)據(jù)類型不能完整表征人體跌倒時身體姿態(tài)變化，造成檢測精度不足〔11〕，故引入多傳感器通過多源異構(gòu)數(shù)據(jù)融合技術(shù)提高人體跌倒檢測系統(tǒng)的檢測性能〔12〕。多源異構(gòu)數(shù)據(jù)融合是將多傳感器數(shù)據(jù)進(jìn)行關(guān)聯(lián)與組合，實(shí)現(xiàn)多源信息準(zhǔn)確全面地推斷和估計〔13〕。根據(jù)融合方式可分為集中式融合和分布式融合〔14〕，集中式融合將多傳感器的測量數(shù)據(jù)傳輸至融合中心，進(jìn)行統(tǒng)一數(shù)據(jù)預(yù)處理與特征提??；分布式融合是單一傳感器根據(jù)測量數(shù)據(jù)進(jìn)行局部狀態(tài)估計并發(fā)送至融合中心，根據(jù)特定融合標(biāo)準(zhǔn)生成全局最優(yōu)或次優(yōu)狀態(tài)估計。根據(jù)節(jié)點(diǎn)處理層次可分為數(shù)據(jù)層融合、特征層融合和決策層融合〔15，16〕，數(shù)據(jù)層融合將多傳感器采集數(shù)據(jù)經(jīng)最小程度處理(如加權(quán)平均或卡爾曼濾波等)后直接進(jìn)行融合提取特征；特征層融合將各傳感器進(jìn)行目標(biāo)觀測，提取代表性特征并對特征矢量進(jìn)行融合；決策層融合根據(jù)各傳感器的局部狀態(tài)估計綜合分析后進(jìn)行決策。人體跌倒行為檢測系統(tǒng)將多傳感器的多源異構(gòu)信息進(jìn)行全面綜合，形成相對完整的人體感知描述，實(shí)現(xiàn)準(zhǔn)確識別人體跌倒行為〔6〕。本文從傳感器類型出發(fā)，通過可穿戴融合、環(huán)境感知融合、可穿戴與環(huán)境感知結(jié)合融合三方面綜述國內(nèi)外基于多源異構(gòu)信息融合的人體跌倒行為檢測相關(guān)研究工作。

1 基于可穿戴傳感器數(shù)據(jù)融合的跌倒檢測

基于可穿戴傳感器的跌倒檢測系統(tǒng)通過可佩戴或附著于人體表面的可穿戴設(shè)備采集人體日常行為數(shù)據(jù)，經(jīng)過預(yù)處理和特征提取生成樣本集進(jìn)行跌倒檢測模型訓(xùn)練〔17～19〕。可穿戴傳感器主要包括加速度計、陀螺儀、磁強(qiáng)計、肌電傳感器等。基于單一可穿戴傳感器的人體跌倒檢測由于單一數(shù)據(jù)源無法全面反映人體跌倒時的姿態(tài)變化規(guī)律，研究人員開展可穿戴傳感器融合的跌倒檢測研究〔20～24〕。

胡雙杰等〔25〕利用三軸加速度計、陀螺儀和方向計提出一種基于長短期記憶(LSTM)循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的跌倒檢測算法，利用滑動時間窗獲取傳感器數(shù)據(jù)，經(jīng)歸一化處理后采用數(shù)據(jù)層融合作為網(wǎng)絡(luò)學(xué)習(xí)模型輸入進(jìn)行迭代學(xué)習(xí)，通過softmax分類器進(jìn)行跌倒行為識別，通過MobiAct和SisFall數(shù)據(jù)集進(jìn)行測試，檢測精度達(dá)99.68%和99.58%。

Yi等〔26〕利用加速度計和心電傳感器開展人體跌倒檢測，將兩個三軸加速度計置于測試者胸部與大腿前側(cè)，通過閾值法估計人體姿勢，心電信號通過QRS信號處理技術(shù)計算心率以監(jiān)測心臟活動，采用分布式融合方法通過SVM分類方法實(shí)現(xiàn)前向、后向、左右側(cè)跌倒的行為檢測。

李坤等〔13〕將陀螺儀和加速度計置于人體腰部設(shè)計跌倒行為檢測系統(tǒng)，通過中值、均值濾波進(jìn)行數(shù)據(jù)預(yù)處理，采用數(shù)據(jù)級融合提取人體加速度及其動態(tài)量、靜態(tài)量、身體姿態(tài)角等特征，設(shè)計基于閾值法的跌倒檢測方法，通過前倒、后倒、側(cè)倒及日常行為(如行走、站立、坐下等)實(shí)驗(yàn)測試，算法靈敏度和特異性達(dá)96%和97%。

Felisberto等〔27〕利用加速度計、陀螺儀和磁力計研制跌倒行為檢測系統(tǒng)應(yīng)用于老年人日常監(jiān)控與康復(fù)訓(xùn)練，通過對比數(shù)據(jù)級融合、特征級融合、決策級融合方式，分別研究擴(kuò)展卡爾曼濾波器、直接余弦矩陣、控制算法等3類融合方法，將傳感器集成模塊置于胸前、臀部和大腿外側(cè)進(jìn)行實(shí)驗(yàn)，發(fā)現(xiàn)擴(kuò)展卡爾曼濾波器數(shù)據(jù)級融合方式獲得98%的最佳準(zhǔn)確率。

2 基于環(huán)境感知傳感器數(shù)據(jù)融合的跌倒檢測

可穿戴傳感器數(shù)據(jù)融合方法促進(jìn)跌倒行為識別率顯著提升，由于人體可穿戴設(shè)備數(shù)量明顯增加，造成現(xiàn)實(shí)場景應(yīng)用困難，研究人員開展非接觸式環(huán)境感知傳感器條件下的人體跌倒檢測研究。環(huán)境感知傳感器主要包括視頻、紅外線、音頻等，基于環(huán)境感知傳感器的跌倒行為檢測通過傳感器數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理和特征提取，進(jìn)行跌倒行為識別〔28，29〕。單一環(huán)境感知傳感器信息類型單一，無法完整表征人體跌倒時的姿態(tài)變化，研究人探索多環(huán)境感知傳感器融合的跌倒檢測研究〔30〕。

Zigel等〔31〕采集人體跌倒沖擊地面的振動與聲音信號開展跌倒行為檢測，其中包括跌倒事件檢測和分類。跌倒事件檢測通過提取跌倒沖擊的振動和聲音信號能量特征，根據(jù)閾值法提取可疑跌倒事件；事件分類采用特征層融合提取時間特征，即從振動和聲音信號提取時間長度與振幅平方特征，此外，從振動信號提取沖擊響應(yīng)譜特征并從聲音信號提取梅爾頻率倒譜系數(shù)特征，通過順序浮動前向搜索算法進(jìn)行特征選擇，采用最大似然估計識別跌倒行為，其檢測靈敏度和特異性為97.5%和98.6%。

Li等〔32〕采用三軸加速度計和深度視頻傳感器，設(shè)計基于閾值法和支持向量機(jī)分類的跌倒協(xié)同檢測平臺，采用基于邏輯規(guī)則和D-S證據(jù)理論的決策級融合開展跌倒行為檢測，閾值法的檢測準(zhǔn)確率達(dá)84.17%，支持向量機(jī)法的準(zhǔn)確率達(dá)97.08%，協(xié)同檢測的準(zhǔn)確率達(dá)98.00%。

Chen等〔33〕提出紅外超聲傳感器數(shù)據(jù)融合方法檢測老年人跌倒行為，紅外陣列傳感器用于熱點(diǎn)檢測，超聲波傳感器用于范圍檢測，根據(jù)閾值法估計受試者位置，通過數(shù)據(jù)層融合采用支持向量機(jī)分類識別跌倒行為，針對站、坐、彎腰等日常行為動作和前倒、側(cè)倒等跌倒動作開展實(shí)驗(yàn)，檢測精度達(dá)91.3%。

3 融合可穿戴和環(huán)境感知傳感器的跌倒檢測

可穿戴傳感器適宜于晝間戶外環(huán)境的人體跌倒檢測，不適合室內(nèi)休息和私密環(huán)境下使用；環(huán)境感知傳感器適合室內(nèi)條件，不宜推廣于戶外環(huán)境應(yīng)用〔34〕。研究發(fā)現(xiàn)將可穿戴傳感器和環(huán)境感知傳感器結(jié)合使用，可實(shí)現(xiàn)多場景、多信號通道的跌倒行為檢測，提高跌倒檢測精度和適應(yīng)性〔35，36〕。

Poi Voon等〔37〕設(shè)計基于加速度計和音頻傳感器的跌倒檢測系統(tǒng)，提出基于模糊邏輯的決策層融合跌倒檢測算法處理加速度計和音頻傳感器信號，首先對人體加速度數(shù)據(jù)通過閾值法進(jìn)行識別，再以跌倒音頻閾值法再次識別，最終通過模糊邏輯識別人體跌倒，針對前倒、后倒、側(cè)倒及日常行為(步行、上下樓梯、坐下、站立、蹲下等)開展實(shí)驗(yàn)，跌倒檢測率達(dá)95%。

Xu等〔38〕根據(jù)人體運(yùn)動中上下肢協(xié)調(diào)運(yùn)動關(guān)系，提出基于協(xié)調(diào)運(yùn)動融合的助行機(jī)器人系統(tǒng)，采用力感電阻傳感器獲取上肢握力，激光測距儀獲取人體腿部行走速度，基于模糊邏輯控制和卡爾曼濾波器的協(xié)調(diào)運(yùn)動融合算法預(yù)測人體行走狀態(tài)下的運(yùn)動意向，通過支持向量機(jī)進(jìn)行跌倒檢測，實(shí)現(xiàn)提前5.8 s檢測人體跌倒。

Daher等〔39〕利用地磚下壓力傳感器和內(nèi)嵌三軸加速度計針對老年公寓環(huán)境開展人體跌倒行為檢測，提取地磚表面最大壓力和壓力持續(xù)時間以閾值法確定人體姿勢(行走、站立、坐/跌倒)，基于負(fù)載地磚數(shù)量區(qū)分人體坐下與跌倒行為，對三軸加速計與壓力傳感器進(jìn)行數(shù)據(jù)級融合以閾值法識別人體平躺與跌倒動作，根據(jù)模糊邏輯分類實(shí)現(xiàn)人體跌倒行為檢測，對人體步行、坐和站立條件下的跌倒情況進(jìn)行實(shí)驗(yàn)，檢測準(zhǔn)確率分別達(dá)90.0%、94.1%和92.3%。

4 問題與展望

當(dāng)前，研究人員已將多源異構(gòu)數(shù)據(jù)融合技術(shù)引入人體跌倒行為檢測研究，取得多個研究成果。但研究工作仍存在以下問題：①現(xiàn)有研究工作關(guān)注人體日常行為的三軸加速度、角速度傳感信息和紅外、音頻等環(huán)境信息，缺乏人體生理體征信息(如血壓、心率等)以開展全維度跌倒行為檢測；②跌倒行為檢測中決策層數(shù)據(jù)融合將傳感器數(shù)據(jù)作為局部狀態(tài)估計，缺乏考慮估計結(jié)果的關(guān)聯(lián)二義性問題，導(dǎo)致準(zhǔn)確性降低；③現(xiàn)有研究工作多在試驗(yàn)條件下進(jìn)行且設(shè)定統(tǒng)一的跌倒行為檢測參數(shù)，較難精準(zhǔn)感知用戶的動態(tài)個性化行為。

針對上述問題，人體跌倒行為檢測后續(xù)可在以下方面開展相關(guān)研究：①開展異構(gòu)多模態(tài)傳感數(shù)據(jù)的無監(jiān)督表征學(xué)習(xí)，獲取血壓、心率、肌電等人體生理表征數(shù)據(jù)，自適應(yīng)關(guān)聯(lián)日常行為信息，基于深度對抗學(xué)習(xí)人體跌倒時空場景并實(shí)現(xiàn)全維度人體跌倒檢測；②基于深度共現(xiàn)圖卷積構(gòu)建多元模型決策框架，建立多源數(shù)據(jù)決策點(diǎn)，根據(jù)決策點(diǎn)二義性生成相鄰決策邊，引入動態(tài)規(guī)劃機(jī)制觸發(fā)決策共現(xiàn)性，聚合共現(xiàn)決策點(diǎn)實(shí)現(xiàn)多源異構(gòu)傳感數(shù)據(jù)的決策級融合；③基于增量學(xué)習(xí)方法面向用戶動態(tài)個性化數(shù)據(jù)對模型進(jìn)行持續(xù)更新與自適應(yīng)調(diào)整，結(jié)合統(tǒng)計學(xué)習(xí)理論的精準(zhǔn)泛化能力和單隱層神經(jīng)網(wǎng)絡(luò)的高效計算速度，實(shí)現(xiàn)漸進(jìn)個性化、跌倒感知的智能化。

綜上，隨著我國老齡化進(jìn)程加快，人體跌倒成為老年群體面臨的主要危險因素之一，跌倒檢測是有效防控人體跌倒的重要研究內(nèi)容。由于單一傳感器數(shù)據(jù)不能準(zhǔn)確表征人體跌倒時身體姿態(tài)變化，基于多傳感器多源異構(gòu)數(shù)據(jù)融合的人體跌倒檢測成為研究熱點(diǎn)。