基于AlphaPose優(yōu)化模型的老人跌倒行為檢測算法

馬敬奇，雷 歡，陳敏翼

（1.廣東省現(xiàn)代控制技術(shù)重點實驗室（廣東省科學(xué)院智能制造研究所），廣州 510070；2.廣東省科學(xué)技術(shù)情報研究所，廣州 510070）

0 引言

截至2020 年我國60 歲以上（含60 歲）的老年人口突破2.3 億，是世界老年人口最多的國家［1］，中國疾病監(jiān)測系統(tǒng)的數(shù)據(jù)顯示，跌倒已經(jīng)成為我國65 歲以上老年人因傷致死的首位原因［2］。醫(yī)學(xué)調(diào)查表明，在跌倒后如果得到及時救治，可降低80%的死亡風(fēng)險，顯著提高老年人的存活率，因此，快速檢測跌倒事件的發(fā)生有重大意義［3］。

目前，常見的跌倒檢測方法主要有3 種：1）基于環(huán)境設(shè)備的檢測方法。根據(jù)人體跌倒時形成的環(huán)境噪聲進行檢測，如感知物體壓力和聲音的變化檢測跌倒［4］，誤報率較高，極少被采納使用。2）基于穿戴式傳感器的檢測方法。利用加速度計和陀螺儀檢測跌倒［5］，長時間配戴傳感器影響人的生活舒適度，會增加老年人機體負擔(dān)，從事復(fù)雜活動時誤報率較高。3）基于視覺識別的檢測方法［6］。可分為兩類：一類是傳統(tǒng)機器視覺方法，提取有效的跌倒特征，對硬件要求低，但易受背景、光線變化等環(huán)境因素的影響，魯棒性差；一類是人工智能方法，將相機圖像數(shù)據(jù)用于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）的訓(xùn)練和推理，雖然識別精度高，但高效的性能往往伴隨著高昂的硬件成本，極大地限制了落地應(yīng)用。近年來移動終端和小型嵌入式設(shè)備也具備了令人青睞的算力，且價格低廉，為人工智能算法的遷移部署提供了可能性。

文獻［7］中以人體三維姿態(tài)數(shù)據(jù)為特征輸入卷積神經(jīng)網(wǎng)絡(luò)，訓(xùn)練得到跌倒檢測模型，具備了較高的準確率，但平均識別時間為0.178 s，實時性較低。文獻［8］中提出一種嵌入式機器學(xué)習(xí)算法，使用滑動窗口提取圖像特征，在計算機端利用支持向量機（Support Vector Machine，SVM）對特征進行分類，精度較高，但受低功耗嵌入式設(shè)備有限內(nèi)存和并行計算的限制，該方法無法移植到低成本的嵌入式控制器中。文獻［9］采用帶注意力機制的輕量化結(jié)構(gòu)搭建深度卷積網(wǎng)絡(luò)提取人體關(guān)節(jié)點坐標，利用幀間關(guān)節(jié)點的變化追蹤行人和檢測跌倒行為，在Jetson TX2（硬件成本約為Jetson Nano 的4 倍）嵌入式平臺幀率達到16.74 frame/s。文獻［10］利用文獻［11］中的深度學(xué)習(xí)算法獲取人體的骨架圖數(shù)據(jù)，通過計算人體質(zhì)心點的下降速度、跌倒后頸部關(guān)節(jié)點的縱坐標值是否大于閾值，以及肩部和腰部關(guān)節(jié)點的相對位置關(guān)系來判斷跌倒是否發(fā)生，在自制數(shù)據(jù)集上達到92.8%的平均檢測精度。文獻［12］中提出了一種光學(xué)匿名圖像傳感系統(tǒng)，利用卷積神經(jīng)網(wǎng)絡(luò)和自動編碼器進行特征提取和分類，檢測老人異常行為，一定程度保護了老年人的隱私。文獻［13］中利用二維圖像數(shù)據(jù)，通過幀差法、卡爾曼濾波等提取有效的圖像背景作為KNN（K-Nearest Neighbors）分類器的輸入，實現(xiàn)了96%的精確率，易受可變環(huán)境因素影響，預(yù)處理階段工作量大。文獻［14］中利用YOLO（You Only Look Once）v3 檢測人體目標得到人體區(qū)域矩形框，將跌倒過程中的人體運動特征與CNN提取的深度特征融合，進行人體跌倒檢測判別，其環(huán)境適應(yīng)性和跌倒檢測準確率都高于傳統(tǒng)的人體跌倒檢測方法。文獻［15］中利用二維圖像數(shù)據(jù)計算光流信息，并送入VGG（Visual Geometry Group）對光流信息進行特征提取和分類，檢測跌倒現(xiàn)象。文獻［16］中將CNN 卷積層和全連接層提取的特征信息送入長短期記憶（Long Short-Term Memory，LSTM）網(wǎng)絡(luò)中，訓(xùn)練提取人體空間動作的時序相關(guān)性，識別人體行為，LSTM 需要對數(shù)據(jù)進行動態(tài)存儲和更新，實時性受限。

因此，為在低功耗、低成本硬件平臺快速、準確檢測老人跌倒的異常行為，本文提出了一種基于AlphaPose 優(yōu)化模型的異常行為檢測算法。該算法對行人目標檢測模型和姿態(tài)估計模型進行加速優(yōu)化，通過優(yōu)化的姿態(tài)估計模型快速獲取人體姿態(tài)關(guān)節(jié)點圖像坐標，結(jié)合人體跌倒過程瞬時姿態(tài)變化特征和跌倒狀態(tài)短時持續(xù)不變的特征來判斷跌倒現(xiàn)象的發(fā)生，并將算法移植到嵌入式開發(fā)板，與主要的基于人體姿態(tài)的跌倒檢測算法進行了對比分析，實驗結(jié)果驗證了所提方法的有效性。

1 AlphaPose人體姿態(tài)估計

人體姿態(tài)關(guān)節(jié)點檢測方法主要有兩種：自頂向下和自底向上。1）自頂向下方法以AlphaPose［17］為代表，是一種分階段的檢測模型，首先進行目標檢測，識別出圖像中的人體目標，并標記各個人體區(qū)域矩形框，排除非人物體的干擾；再對各個人體區(qū)域進行關(guān)節(jié)點檢測。此種方法具有極高的準確率。2）自底向上方法以O(shè)penPose［11］為代表，是一種端到端的檢測模型，首選檢測圖像中所有的人體關(guān)節(jié)點，再通過關(guān)節(jié)點之間的關(guān)聯(lián)關(guān)系區(qū)分關(guān)節(jié)點屬于哪個人體。這種方法運算較快，但容易引入非人物體的干擾，檢測精度較低。表1 為主流人體姿態(tài)檢測模型在COCO 數(shù)據(jù)集上的性能對比［17］，可見在主要的精度指標上AlphaPose 均優(yōu)于對比算法，AP@表示IOU（Intersection Over Union）為某一設(shè)定值時的準確率。為保證跌倒算法的可靠性，本文算法在AlphaPose 高精度的基礎(chǔ)上，進行人體姿態(tài)模型推理加速和跌倒算法的設(shè)計工作。

表1 主流人體姿態(tài)檢測模型的性能對比 單位：%Tab.1 Performance comparison of mainstream human pose detection models unit：%

2 人體跌倒檢測方法

本文算法主要的相關(guān)工作包括：1）對姿態(tài)估計模型進行運算加速優(yōu)化，加快人體目標檢測和姿態(tài)關(guān)節(jié)點推理，為算法的嵌入式平臺移植應(yīng)用提供低延遲、高吞吐率的部署推理；2）利用人體姿態(tài)關(guān)節(jié)點圖像坐標數(shù)據(jù)，建立人體跌倒判定算法，結(jié)合人體跌倒過程瞬時姿態(tài)變化特征和跌倒狀態(tài)短時持續(xù)不變的特征，判斷跌倒現(xiàn)象的發(fā)生。

2.1 姿態(tài)估計模型推理加速優(yōu)化

AlphaPose 是一種分階段的姿態(tài)估計模型，因此推理加速工作主要分為對目標檢測模型的優(yōu)化和對姿態(tài)關(guān)節(jié)點檢測模型的優(yōu)化。在人體目標檢測模型推理加速之后，對人體目標圖像進行了序列化，以提高目標檢測模型與姿態(tài)關(guān)節(jié)點檢測模型之間的數(shù)據(jù)交換效率。

2.1.1 人體目標檢測模型的優(yōu)化

原AlphaPose 人體目標檢測采用了YOLOv3［18］，近年來YOLOv4 出現(xiàn)，在檢測精度和檢測速度方面都明顯超越了YOLOv3，且能應(yīng)對更復(fù)雜的檢測環(huán)境（例如復(fù)雜光線、遮擋），達到了目標檢測領(lǐng)域的新水準。本文的人體目標檢測模型優(yōu)化以YOLOv4 系列中的輕量化模型YOLOv4-tiny-416（參數(shù)量24.3 MB）為優(yōu)化目標，在檢測精度和檢測速度之間得到平衡，具體的優(yōu)化方法如圖1。

圖1 人體目標檢測模型的優(yōu)化Fig.1 Optimization of human target detection model

YOLOv4 網(wǎng)絡(luò)模型輸出維度初始化，其中網(wǎng)絡(luò)層'030_convolutional'=［c，h//32，w//32］，'037_convolutional'=［c，h//16，w//16］，其中：c表示輸入圖像通道數(shù)，h表示輸入圖像，w表示輸入圖像寬，//表示整除操作；在維度初始化后的行人目標檢測模型中創(chuàng)建onnx 網(wǎng)絡(luò)節(jié)點，并移除dummy 網(wǎng)絡(luò)層中的route 和yolo 節(jié)點；對維度初始化后的行人目標檢測模型中的輸入層進行判別，若輸入層為“convolutional”，則加載卷積權(quán)重參數(shù)，若輸入層為“upsample”，則加載上采樣參數(shù)；創(chuàng)建維度初始化后的行人目標檢測模型計算圖，并加載模型轉(zhuǎn)換優(yōu)化器，經(jīng)過轉(zhuǎn)換，獲得優(yōu)化后的目標檢測模型YOLOv4-tiny-trt-416，模型參數(shù)量32.7 MB。

2.1.2 人體目標圖像序列化

得到人體目標檢測結(jié)果之后，將檢測結(jié)果轉(zhuǎn)化為2 維的tensor 數(shù)據(jù)結(jié)構(gòu)，Td=[[x1，y1，w1，h1，sc1]，[x2，y2，w2，h2，sc2]，…，[xi，yi，wi，hi，sci]]，其中[xi，yi，wi，hi，sci]表示第i個人體的結(jié)構(gòu)化數(shù)據(jù)，x表示預(yù)測框左上角的圖像橫坐標，y表示預(yù)測框左上角的圖像縱坐標，w表示預(yù)測框的寬，h表示預(yù)測框的高，sc表示判定為人體的置信度。

原始圖像Im變換為浮點32 位的tensor 類型數(shù)據(jù)Im_t，且對Im_t進行歸一化操作，如式（1）：

其中：Im_t[0]為Im的R 通道數(shù)據(jù)，Im_t[1]為Im的G 通道數(shù)據(jù)，Im_t[2]為Im的B 通道數(shù)據(jù)。

根據(jù)Td，從原始圖像中截取出人體區(qū)域圖像，并按照sc從高到低排列，得到序列化的圖像列表，實現(xiàn)人體圖像的序列化，提高目標檢測模型與人體關(guān)節(jié)點檢測模型之間的數(shù)據(jù)交互效率。

2.1.3 姿態(tài)關(guān)節(jié)點檢測模型的優(yōu)化

原AlphaPose 姿態(tài)關(guān)節(jié)點檢測采用的是以Fast_Reset50為基礎(chǔ)網(wǎng)絡(luò)，模型參數(shù)量為238.9 MB，優(yōu)化方法如圖2 所示。

圖2 關(guān)節(jié)點檢測模型優(yōu)化Fig.2 Optimization of joint point detection model

姿態(tài)關(guān)節(jié)點檢測模型輸入dummy 網(wǎng)絡(luò)層維度初始化，dummy 網(wǎng)絡(luò)層輸入維度設(shè)置為tensor類型（1，3，Wdummy，Hdummy），其中：1 表示batchsize為1；3 表示圖像通道數(shù)；Wdummy、Hdummy表示網(wǎng)絡(luò)層輸入圖像歸一化尺度，本文Wdummy=160、Hdummy=224。為維度初始化的姿態(tài)關(guān)節(jié)點檢測模型中創(chuàng)建onnx 網(wǎng)絡(luò)節(jié)點，并對維度初始化的姿態(tài)關(guān)節(jié)點檢測模型的輸入輸出網(wǎng)絡(luò)層定制設(shè)計，輸入層設(shè)定為“input1”，輸出層設(shè)定為“output1”。創(chuàng)建目標檢測模型計算圖，設(shè)定計算圖輸入維度為（1，3，Wd，Hd），其中：1 表示batchsize為1；3 表示圖像通道數(shù)；Wd、Hd表示網(wǎng)絡(luò)層輸入圖像歸一化尺度，本文Wd=160、Hd=224，并加載模型轉(zhuǎn)換優(yōu)化器，生成姿態(tài)關(guān)節(jié)點檢測優(yōu)化模型Pose-trt，模型參數(shù)量229.8 MB。

2.2 人體跌倒判定算法

生活中的跌倒過程一般為：行走（站立）→跌倒過程→跌倒狀態(tài)，且跌倒過程往往發(fā)生得非常突然急促，一瞬間即可完成，由于跌倒過程存在時間短，該過程的跌倒特征并不容易獲取。而跌倒狀態(tài)一般會保持一段時間，尤其是老年人發(fā)生跌倒之后會持續(xù)更長時間的跌倒狀態(tài)，其跌倒特征更容易獲取。因此在跌倒過程中，跌倒狀態(tài)的可靠快速檢測更具有實際意義。

人體姿態(tài)估計模型推理加速優(yōu)化之后，能夠快速準確地獲取人體的主要關(guān)節(jié)點圖像位置數(shù)據(jù)，得到的18 個姿態(tài)關(guān)節(jié)點如圖3（a）所示。利用人體姿態(tài)關(guān)節(jié)點數(shù)據(jù)，建立人體跌倒判定算法，結(jié)合跌倒過程瞬時姿態(tài)變化特征和跌倒狀態(tài)短時持續(xù)不變的特征，檢測跌倒事件。具體包括：1）瞬時跌倒特征，人體跌倒瞬間頭部關(guān)節(jié)點線速度與胯部關(guān)節(jié)線速度之間的數(shù)學(xué)關(guān)系。2）跌倒狀態(tài)特征，計算人體中垂線與圖像X軸之間夾角（分為軀干上半部中垂線與圖像X軸之間夾角θu和軀干下半部中垂線與圖像X軸之間夾角θd）的變化來判斷跌倒現(xiàn)象的發(fā)生。跌倒特征分析如圖3（b）、（c）所示，瞬時跌倒特征的思想來源是人在跌倒初期的某個過程，一般是腳踝位置的位移不明顯，人體軀干圍繞腳踝向某一方向跌倒，類似人體軀干以腳踝為圓心轉(zhuǎn)動，那么離圓心越遠的點線速度越大。跌倒狀態(tài)特征利用的是人體自然站立平衡性的特點，當人體軀干與水平面夾角超過某一角度時，具有極大的跌倒可能性。跌倒檢測算法流程如圖4 所示。

圖3 人體姿態(tài)圖與跌倒特征Fig.3 Human pose map and fall characteristics

圖4 人體跌倒判定算法流程Fig.4 Flowchart of human fall determination algorithm

2.2.1 瞬時跌倒特征的計算

步驟1 計算人體頭部關(guān)節(jié)點0 的線速度V0，計算人體胸部重心O的線速度VO，人體胸部重心位置由人體關(guān)節(jié)點1、8、11 圖像坐標計算得出。計算人體腳踝線速度V10-13，V10-13是人體關(guān)節(jié)點11 和13 的平均線速度。以上線速度是由連續(xù)M幀圖像、每次間隔N幀圖像所計算出的平均線速度。

步驟2 如果V0、VO、V10-13滿足式（2），則初步判定為疑似跌倒。

其中：χ為設(shè)定閾值，α，β分別是速度V10-13的下限、上限值。

2.2.2 跌倒狀態(tài)特征的計算

在跌倒以后，一般會保持跌倒狀態(tài)一段時間后，才開始發(fā)生姿態(tài)變化，比如手撐地、坐起、躬身彎腰爬起等，因此需要時間閾值的過濾。根據(jù)人體站立平衡的特點，當人體軀干上半部中垂線與水平面夾角滿足某一條件時人體就會失去平衡，發(fā)生跌倒，但并不一定滿足，例如彎腰撿東西、系鞋帶等動作。因此，結(jié)合步驟2，檢測人體軀干下半部中垂線與水平線夾角的變化，同樣加上時間閾值的過濾，判定人體跌倒情況。

步驟1 計算人體上半身中垂線與水平線夾角θu，如果θu＜ε1，且在時間閾值T1 時長內(nèi)保持θu＜ε1，則判定為跌倒；否則到步驟2。

步驟2 計算人體下半身中垂線與水平線夾角θd，如果θd＜ε1，且在時間閾值T2 時長內(nèi)保持θd＜ε1，則判定為跌倒；否則判定行人未發(fā)生跌倒。

3 實驗結(jié)果與分析

實驗所用硬件環(huán)境為NVIDIA Jetson Nano 嵌入式開發(fā)板，4 核64 位ARM CPU，128 核集成NVIDIA GPU，4 GB LPDDR4 存儲器，外觀尺寸80 mm×100 mm。軟件環(huán)境為64位Ubuntu18.04LTS，依賴的主要工具包括opencv4.1.1、torch1.6.0、torchvision0.7.0、tensorRT7.1.3。

實驗數(shù)據(jù)為從公開數(shù)據(jù)集le2i fall dataset［19］選取104 段人體跌倒視頻，每段包含完整的跌倒過程（從站立姿態(tài)→跌倒狀態(tài)），視頻分辨率為320×240，場景包括家庭、辦公室、茶水間3 種。家庭環(huán)境為客廳場景，包括沙發(fā)、餐桌、樓梯、座椅、臺燈等飾品，包含多種光照條件。辦公室場景內(nèi)包括桌子、椅子，光照較為正常且分布均衡。茶水間場景內(nèi)包括沙發(fā)、桌子、茶具等，光線較為正常且分布均衡。每段視頻包含的人數(shù)為1 人，共7 人參與視頻的采集，包括1 名女士6 名男士，包含多種跌倒姿態(tài)，且包括行走、彎腰、坐姿干擾姿態(tài)。

將當前主要的基于人體姿態(tài)的跌倒檢測算法YOLOv3+Pose、YOLOv4+Pose、YOLOv5+Pose、trt_pose、NanoDet-m+Pose與本文算法進行對比，為確保在嵌入式平臺上的運算效率最優(yōu)，YOLO 系列的模型具體為YOLOv3-spp-416、YOLOv4-tiny-416、YOLOv5s，實驗分別從模型輕量化優(yōu)化、定量分析和定性分析3 個方面進行對比。

3.1 模型輕量化優(yōu)化對比

3.1.1 目標檢測模型對比

由表2 可知，YOLOv4-tiny-trt-416 的檢測幀率達到30.3 frame/s，是原始YOLOv4-tiny-416 的2.83 倍，而平均準確率保持一致，均優(yōu)于其他對比方法。YOLOv4-tiny-trt-416的平均準確率和檢測幀率均明顯優(yōu)于NanoDet-m，NanoDet-m也具備一定的實時性。YOLOv5s 的平均準確率與YOLOv4-tiny-trt-416 相差約1.42%，但其檢測幀率明顯低于YOLOv4-tiny-trt-416，難以達到實時性的要求。YOLOv3-spp-416 的平均準確率優(yōu)于YOLOv4-tiny-trt-416，但其檢測幀率僅為4.15 frame/s，無法滿足實時性的需求。因此從檢測精度和檢測速度綜合考慮，在各對比算法中YOLOv4-tiny-trt-416 是最優(yōu)的目標檢測方法，適用于低功耗嵌入式開發(fā)板。

表2 目標檢測模型的性能對比Tab.2 Performance comparison of target detection models

3.1.2 姿態(tài)檢測模型對比

由表3 可知，Pose-trt 模型檢測幀率是原始Pose 的1.7倍，幀率達到了12.5 frame/s，同時保持相同的準確率，具有一定的實時性。Pose-trt 的檢測幀率和平均準確率均優(yōu)于OpenPose，OpenPose 平均準確率高于trt_pose，檢測幀率約降低為trt_pose 的1/2，但trt_pose 輸入的圖像分辨率為224×224。因此，在對比姿態(tài)估計模型中Pose-trt 最優(yōu)。

表3 姿態(tài)檢測模型的性能對比Tab.3 Performance comparison of pose detection models

3.2 定量分析

為驗證本文算法的時效性和準確性，將本文算法與YOLOv3-spp-416+Pose、YOLOv4-tiny-416+Pose、trt_pose、YOLOv5s+Pose、NanoDet-m+Pose 等算法進行對比，評價標準主要包括檢測幀率、檢測準確率，并統(tǒng)計測試視頻的漏檢數(shù)、誤檢數(shù)，還分析了瞬時跌倒特征和跌倒狀態(tài)特征對跌倒事件檢測的有效性。準確率為P=Tc/Ta，其中Tc是跌倒測試視頻中檢測為跌倒的視頻個數(shù)，Ta為跌倒測試視頻總數(shù)，漏檢為跌倒測試視頻中未能檢測到跌倒的視頻數(shù)，誤檢為跌倒測試視頻中將非跌倒行為檢測為跌倒的視頻數(shù)。

各對比算法的性能如表4 所示。從表4 中可以看出，本文算法的檢測幀率和準確率均明顯高于其他對比算法，幀率達到8.83 frame/s，具有較好的實時性，誤檢測和漏檢測數(shù)最少，準確率超過91%，一定程度上能夠滿足實際落地應(yīng)用的需要。YOLOv5s+Pose 準確率與本文算法較為接近，YOLOv5s 在目標檢測方面具有較明顯的優(yōu)勢，是目前最優(yōu)秀的目標檢測模型之一，但其在Jetson Nano 上的檢測速度較慢，無法滿足實時性的需要。其他對比算法雖然也有較高的準確率，但同樣受限于檢測幀率，無法滿足時效性。trt_pose采用自底向上的方式檢測人體姿態(tài)關(guān)節(jié)點，其檢測效果并不理想，在對比算法中trt_pose 的準確率最低，但其檢測幀率高于YOLOv3-spp-416+Pose、YOLOv5s+Pose、NanoDet-m+Pose。從表4 中也可以看出，跌倒狀態(tài)特征生效次數(shù)明顯多于瞬時跌倒特征生效次數(shù)，跌倒狀態(tài)特征能夠更有效檢測跌倒現(xiàn)象的發(fā)生，具有更好的實用性。

表4 使用跌倒測試視頻進行的算法性能定量分析Tab.4 Algorithm performance quantitative analysis by using fall test videos

3.3 定性分析

跌倒檢測方法的定性分析主要圍繞不同跌倒姿態(tài)、不同著裝、不同場景、不同光照條件進行，所選測試視頻符合這樣的測試條件，同時為了驗證攝像頭拍攝角度、測試人員體型、測試人員身高變化對算法的影響，分析時所選擇的視頻包含了不同測試人員從不同方向進行跌倒，包括了蜷伏、仰俯、側(cè)臥、趴倒等多種跌倒姿態(tài)。分析過程選取le2i fall dataset 中家庭、辦公室、茶水間場景的9 個測試視頻，截取的測試效果圖像如圖5 所示；另外還針對le2i fall dataset 中的5 類漏檢測情況進行了原因分析，截取的測試效果圖像如圖6 所示，分析的重點聚焦在跌倒狀態(tài)的檢測。

如圖5 所示，在le2i fall dataset 中選取9 個測試視頻，每個視頻中的測試人員的跌倒方向均不相同，圖像中帶“◇”標記的表示未能有效檢測跌倒，其他圖像中能夠檢測人體姿態(tài)且成功檢測出跌倒現(xiàn)象；姿態(tài)關(guān)節(jié)點連接線的粗細程度表明關(guān)節(jié)點的置信度，線越粗置信度越高。①、②、③為茶水間場景，光照條件較好且光線分布均勻，①為側(cè)臥跌倒姿態(tài)，②為仰俯跌倒姿態(tài)，③為趴倒跌倒姿態(tài)。本文算法均能成功檢測到跌倒現(xiàn)象，且能較完整地檢測人體關(guān)鍵點，與真實姿態(tài)較為接近。以①為例說明：YOLOv3-spp-416+Pose 成功檢測到跌倒，但對人體上半身的姿態(tài)估計較差（圓圈處），關(guān)節(jié)點之間的連線連接混亂，在②中也出現(xiàn)類似情況，③中關(guān)節(jié)點置信度較低。YOLOv4-tiny-416+Pose 成功檢測到跌倒，但存在姿態(tài)錯誤估計現(xiàn)象（如箭頭所示），真實圖像此處并不存在右臂，在②、③中能夠較好地檢測到跌倒。YOLOv5s+Pose 成功檢測到跌倒，但對人體上半身的姿態(tài)估計較差（圓圈處），關(guān)節(jié)點之間的連線連接混亂，另外對右腿部的姿態(tài)檢測不準確（如箭頭所示），在②、③中也出現(xiàn)類似情況（如箭頭所示）。trt_pose 雖然能成功檢測跌倒現(xiàn)象，但對人體關(guān)鍵點的估計并不理想，軀干上部關(guān)鍵點檢測較為混亂，無法檢測到腿部的關(guān)鍵點，且估計的關(guān)節(jié)點位置與真實的關(guān)節(jié)點位置存在偏差，在②、③中也出現(xiàn)類似情況，且存在較多的關(guān)鍵點缺失。NanoDet-m+Pose 成功檢測到跌倒，但對腿部關(guān)節(jié)點的檢測效果并不好，右腿姿態(tài)與真實姿態(tài)存在明顯偏差（如箭頭所示），在②、③中能夠較好地檢測到跌倒，但在②中出現(xiàn)了誤檢（如箭頭所示）。

圖5 le2i fall dataset 上不同算法的測試效果對比Fig.5 Test effect comparison of different algorithms on le2i fall dataset

④、⑤、⑥為家庭場景，光照較弱且光線分布不均，④為仰臥跌倒姿態(tài)，⑤為側(cè)臥跌倒姿態(tài)，⑥為趴倒跌倒姿態(tài)，本文算法均能成功檢測到跌倒現(xiàn)象，且能較好地檢測人體關(guān)鍵點，但出現(xiàn)了局部關(guān)節(jié)點檢測不準的現(xiàn)象（如箭頭所示，④右臂處、⑤姿態(tài)與真實偏移、⑥右腿腳踝處）。以④為例說明：YOLOv3-spp-416+Pose 成功檢測到跌倒，但對人體姿態(tài)估計較差（圓圈處），存在檢測混亂和缺失現(xiàn)象，在⑤、⑥中也出現(xiàn)類似情況。

YOLOv4-tiny-416+Pose 成功檢測到跌倒，姿態(tài)檢測較為完整，在⑤中出現(xiàn)軀干上部檢測不準的現(xiàn)象（圓圈處），⑥中的右腿腳踝處與左腿腳踝存在錯誤連接（如箭頭所示）。YOLOv5s+Pose 成功檢測到跌倒，但人體姿態(tài)關(guān)節(jié)點的置信度較低。trt_pose 無法檢測跌倒現(xiàn)象，對人體姿態(tài)估計不完整，存在較多的關(guān)鍵點缺失。NanoDet-m+Pose 成功檢測到跌倒，姿態(tài)檢測效果較好，但在⑤中無法檢測到人體目標，⑥中存在錯誤連接和關(guān)節(jié)點置信度低的現(xiàn)象（如箭頭所示）。

⑦、⑧、⑨為辦公室場景，光照條件良好且光線分布均勻，⑦為蜷伏跌倒姿態(tài)、⑧為側(cè)臥跌倒姿態(tài)、⑨為仰俯跌倒姿態(tài)，本文算法均能成功檢測到跌倒現(xiàn)象，且能較好地檢測人體關(guān)鍵點，⑨測試人員右腿部超出圖像邊界，但仍然能夠準確估計人體姿態(tài)。以⑦為例說明：YOLOv3-spp-416+Pose成功檢測到跌倒，但對人體姿態(tài)估計較差，存在關(guān)節(jié)點漏檢和置信度較低現(xiàn)象，在⑧、⑨中也出現(xiàn)類似情況，⑨在圖像邊緣處關(guān)節(jié)點估計置信度較低（如箭頭所示）。YOLOv4-tiny-416+Pose 成功檢測到跌倒，姿態(tài)檢測較為完整。YOLOv5s+Pose 成功檢測到跌倒，但人體姿態(tài)關(guān)節(jié)點的置信度較低，存在關(guān)節(jié)點漏檢現(xiàn)象，在⑧、⑨中也出現(xiàn)類似情況（如箭頭所示）。trt_pose 檢測效果較差，對人體姿態(tài)估計不完整，存在較多的關(guān)鍵點缺失。NanoDet-m+Pose 雖能成功檢測到跌倒，但姿態(tài)檢測存在誤檢及關(guān)節(jié)點置信度較低的問題，在⑦中左腿腳踝存在誤檢，⑨中軀干部分出現(xiàn)了誤檢，且關(guān)節(jié)點置信度較低。

在測試時出現(xiàn)了漏檢，可歸結(jié)為5 類情況，選取具有代表性的5 個案例進行分析，如圖6 所示，其中圓圈表示檢測到跌倒。①人體區(qū)域接近圖像邊緣，測試人員為蜷伏跌倒狀態(tài)，雙臂和腿部被自身遮擋，所呈現(xiàn)的人體圖像變形較為嚴重，加之頭部圖像部分缺失，不利于人體特征的提取與判別，因此本文算法、YOLOv3-spp-416+Pose、YOLOv4-tiny-416+Pose、YOLOv5s+Pose 都不能檢測到人體目標，無法進行人體姿態(tài)檢測。NanoDet-m+Pose 雖然能夠檢測到人體目標，但人體關(guān)節(jié)點置信度較低，所檢測的姿態(tài)與真實姿態(tài)不一致，且出現(xiàn)了誤檢（如箭頭所示）。trt_pose 僅能檢測到左肩部關(guān)節(jié)點，缺失較多，為無效檢測。②場景光線分布不均勻，測試人員側(cè)臥跌倒姿態(tài)，人體頭部、雙臂局部自身遮擋，人體所在區(qū)域光線暗淡，人體區(qū)域梯度特征不明顯，且人體腿部被桌椅遮擋，人體目標不易檢測，對比算法均無法正常檢測到人體目標。③測試人員身著黑色衣物，為側(cè)臥跌倒姿態(tài)，雙腿粘連在一起，且腳踝圖像缺失，身體輪廓特征較少，本文算法、YOLOv3-spp-416+Pose、YOLOv4-tiny-416+Pose、YOLOv5s+Pose 均無法連續(xù)檢測到人體目標，不能進行穩(wěn)定的跌倒檢測。trt_pose 能檢測到人體膝關(guān)節(jié)以上的主要關(guān)節(jié)點，但與真實姿態(tài)相差較明顯且姿態(tài)關(guān)節(jié)點位置出現(xiàn)偏移，為無效檢測。NanoDet-m+Pose 無法檢測到人體目標，姿態(tài)檢測失敗。④測試人員為側(cè)臥跌倒姿態(tài)，身著紅色上衣和黑色褲子，頭部和雙臂被自身遮擋，腿部被桌子遮擋，人體圖像特征不明顯，且人員跌倒位置的背景為紅色，與人員上身衣物較為相似，圖像對比度低，不利于人體目標的檢測，對比算法均無法正常檢測人體目標。⑤測試人員為趴倒跌倒狀態(tài)，腿部被自身遮擋，由于相機拍攝高度較低，圖像中的人體區(qū)域出現(xiàn)明顯的“近大遠小”畸形，較難進行人體目標檢測，YOLOv3-spp-416+Pose 僅能在視頻的部分幀檢測到人體，并不能穩(wěn)定持續(xù)檢測，且檢測出的人體姿態(tài)與真實姿態(tài)差別較大，可靠程度較低，而其他對比算法無法正常檢測人體目標。

圖6 不同算法漏檢測情況對比Fig.6 Missed detection comparison of different algorithms

4 結(jié)語

為進一步推進跌倒檢測系統(tǒng)的落地應(yīng)用，提高老年人群體在居家生活、獨自活動等情況下的行為安全，本文提出了一種基于AlphaPose 優(yōu)化模型的異常行為檢測算法。該算法通過對人體檢測模型和人體姿態(tài)檢測模型的優(yōu)化加速，并利用人體姿態(tài)數(shù)據(jù)構(gòu)建跌倒檢測算法，能夠快速遷移部署在低成本、低功耗的嵌入式開發(fā)板。實驗結(jié)果表明，該算法具有較高的實時性和準確率，能夠在線快速檢測到老人跌倒行為的發(fā)生，具備一定的落地應(yīng)用價值。

經(jīng)過實驗對比分析可知，本文所提跌倒檢測算法的缺點有：①在光線分布不均勻的情況下檢測效果不理想；②監(jiān)控相機高度較低，導(dǎo)致所拍攝圖像中人體跌倒后出現(xiàn)較明顯的圖像畸形，算法無法有效檢測跌倒；③當人體跌倒方向與圖像Y軸平行，跌倒位置與圖像X軸中點較為接近，且人體跌倒時頭部圖像坐標大于腳踝圖像坐標，此時的跌倒姿態(tài)與正常站立時的姿態(tài)非常接近，無法進行跌倒判別。為了改進算法的準確性，將開展下一階段的研究工作：

1）研究光照自適應(yīng)補償算法，融合到跌倒檢測系統(tǒng)中，增加系統(tǒng)的抗光照變化能力。

2）研究多相機聯(lián)合檢測方法，嘗試用多個相機從多個角度進行跌倒檢測，在一定程度上解決局部遮擋現(xiàn)象。

3）因目前尚無公開的專門針對老人異常行為公開的數(shù)據(jù)集，測試數(shù)據(jù)集缺少老年人異常行為視頻數(shù)據(jù)，擬通過與廣州市黃埔區(qū)養(yǎng)老院開展技術(shù)合作，逐漸收集老年人異常行為數(shù)據(jù)，增加更多的其他人體行為和測試場景進行跌倒實驗，進一步發(fā)現(xiàn)算法的問題和不足。