基于改進(jìn)Alphapose的紅外圖像人體摔倒檢測算法

張 鵬，沈玉真，李培華，張愷翔

基于改進(jìn)Alphapose的紅外圖像人體摔倒檢測算法

張 鵬，沈玉真，李培華，張愷翔

（中航華東光電有限公司，安徽 蕪湖 241002）

紅外圖像中的人體摔倒檢測不受環(huán)境光照射的影響，在智能安防領(lǐng)域有著重要的研究意義和應(yīng)用價值?，F(xiàn)有的摔倒檢測方法沒有充分考慮人體關(guān)鍵點(diǎn)的位置變化規(guī)律，容易對類摔倒動作造成誤檢。針對這一問題，本文提出一種基于改進(jìn)Alphapose的紅外圖像摔倒檢測算法。該算法使用Yolo v5s目標(biāo)檢測網(wǎng)絡(luò)，在提取人體目標(biāo)框輸入姿態(tài)估計網(wǎng)絡(luò)的同時，對人體姿態(tài)進(jìn)行直接分類，再結(jié)合人體骨架關(guān)鍵點(diǎn)的位置信息和姿態(tài)特征進(jìn)行判斷。通過實驗證明，該算法在準(zhǔn)確度和實時性方面都有良好的表現(xiàn)。

紅外圖像；摔倒檢測；關(guān)鍵點(diǎn)；目標(biāo)檢測

0 引言

人體摔倒檢測可以有效地檢測視頻中的摔倒行為，降低人在摔倒后無法及時呼救的風(fēng)險[1-3]?，F(xiàn)有的基于計算機(jī)視覺的人體摔倒檢測方法大多使用可見光圖像，這類方法受光照影響在昏暗環(huán)境下效果不佳。紅外圖像能夠保護(hù)個人隱私，而且不受光照和惡劣天氣的影響，適用于全天候的人體摔倒檢測，本文將對紅外圖像摔倒檢測算法進(jìn)行研究?，F(xiàn)有的人體摔倒檢測方法大致可分為以下3類：1）基于Freeman鏈碼的檢測方法，文獻(xiàn)[4]利用Freeman鏈碼記錄輪廓信息，計算實際Freeman鏈碼與摔倒模板鏈碼的歐式空間距離結(jié)合時間判定條件判斷是否發(fā)生摔倒行為，但在大規(guī)模遮擋時容易出現(xiàn)誤差；2）基于關(guān)鍵點(diǎn)的摔倒檢測方法，文獻(xiàn)[5]利用建立的紅外圖像摔倒數(shù)據(jù)集進(jìn)行CenterNet網(wǎng)絡(luò)訓(xùn)練，識別紅外圖像中的人體姿態(tài)，但沒有突出摔倒動作的時序性，容易對緩慢坐地等類摔倒動作造成誤檢；3）基于寬高比和質(zhì)心變化率的檢測方法，文獻(xiàn)[6]利用人體寬高比這一特征來判斷是否有人摔倒，并使用質(zhì)心變化率和有效面積比對容易造成誤判的情況進(jìn)行修正，從幾何特征的角度判斷人體是否摔倒，但對特定角度的摔倒檢測效果不佳。

針對上述算法的不足，本文在現(xiàn)有的摔倒檢測方法的基礎(chǔ)上提出了一種基于改進(jìn)Alphapose的紅外圖像摔倒檢測算法，該算法使用改進(jìn)后的Alphapose檢測紅外圖像中的骨架關(guān)鍵點(diǎn)和人體姿態(tài)，利用得到的人體骨架關(guān)鍵點(diǎn)信息和姿態(tài)類別進(jìn)行摔倒判定，兼顧了摔倒動作的時序性和前后動作的關(guān)聯(lián)性。

1 改進(jìn)的Alphapose算法

1.1 YOLO v5s

人體檢測的精度直接影響后續(xù)關(guān)鍵點(diǎn)檢測的效果，是整個算法精度的保證。YOLO系列算法[7-9]將候選框的搜索和目標(biāo)的識別定位合二為一，相對于RCNN[10-12]系列算法先搜索再識別的兩階段處理模式，YOLO算法的處理速度更快，適用于端到端的訓(xùn)練與預(yù)測，目前已發(fā)展至YOLO v5版本。YOLO v5的目標(biāo)檢測網(wǎng)絡(luò)有4種版本，主要區(qū)別在于網(wǎng)絡(luò)深度不同，如表1所示。

表1 YOLO v5各版本參數(shù)對比

從表1可以看到，YOLO v5s的模型更小、速度更快，方便部署在嵌入式設(shè)備上，本文算法使用YOLO v5s的網(wǎng)絡(luò)結(jié)構(gòu)。

YOLO v5s網(wǎng)絡(luò)首先使用Focus模塊對輸入圖像進(jìn)行切片操作，如圖1所示。如果網(wǎng)絡(luò)輸入的圖片大小為640×640×3，則將圖像隔行隔列取值，生成320×320×12的子圖，再通過32個卷積核卷積生成320×320×32的特征圖。相對于普通下采樣，F(xiàn)ocus模塊保留了原始圖片的完整信息。

圖1 Focus模塊

YOLO v5s的Backbone部分使用了CSP[13]模塊，將輸入的特征映射劃分為兩部分，其中一部分經(jīng)過多個殘差組件和卷積，然后與另一部分拼接，在減少計算量的同時可以保證準(zhǔn)確率。

Neck部分采用了PANet[14]結(jié)構(gòu)，主要用于生成特征金字塔。特征金字塔會增強(qiáng)模型對于不同縮放尺度對象的檢測，從而能夠識別不同大小和尺度的同一個物體。

1.2 Alphapose算法

Alphapose[15]算法是一種人體姿態(tài)估計算法，能夠檢測出圖像中的人體骨架，其提出一種區(qū)域多人姿態(tài)估計框架（regional multi-person pose estimation，RMPE），主要由對稱空間變換網(wǎng)絡(luò)（symmetric spatial transformer network，SSTN）、參數(shù)化姿態(tài)非極大抑制（parametric pose no-maximum-suppression，PP-NMS）、姿態(tài)引導(dǎo)建議發(fā)生器（pose-guided proposals generator，PGPG）和并行單人姿態(tài)估計器（parallel single person pose estimation，Parallel SPPE）組成，其中PGPG用于生成大量訓(xùn)練樣本，Parallel SPPE則充當(dāng)額外的正則項，以避免局部最小值，而SSTN又由空間變換網(wǎng)絡(luò)（STN）、單人姿態(tài)估計器（SPPE）和空間反變換網(wǎng)絡(luò)（spatial de-transformer network，SDTN）組成。Alphapose首先使用目標(biāo)檢測算法檢測單張圖片，得到單人人體目標(biāo)框，作為RMPE的輸入，進(jìn)入SSTN模塊。檢測到的人體目標(biāo)框可能目標(biāo)偏離中心或者目標(biāo)框中人體占比過小，影響后續(xù)姿態(tài)估計的效果，所以需要先使用STN提取出高質(zhì)量的單人區(qū)域，然后輸入SPPE得到估計的姿態(tài)，再由SDTN將估計的姿態(tài)反變換到原始人體區(qū)域框中。冗余的人體區(qū)域框輸入姿態(tài)估計網(wǎng)絡(luò)，可能會檢測到冗余的姿態(tài)。Alphapose提出PP-NMS用來消除多余的姿態(tài)。其定義了一種姿態(tài)距離來度量姿態(tài)間的相似度，并在此基礎(chǔ)上建立了冗余姿態(tài)的消除標(biāo)準(zhǔn)。PP-NMS首先選取最大置信度的姿態(tài)作為參考，并且根據(jù)消除標(biāo)準(zhǔn)將靠近該參考的區(qū)域框進(jìn)行消除，多次重復(fù)這個過程直到消除所有的冗余識別框。

1.3 改進(jìn)的Alphapose算法

原Alphapose算法主要使用的人體檢測器是YOLO v3，與之相比，YOLO v5s的模型更小，速度更快。本文算法使用YOLO v5s作為Alphapose的人體檢測器，改進(jìn)后的Alphapose算法結(jié)構(gòu)如圖2所示。

改進(jìn)后的算法使用YOLO v5s網(wǎng)絡(luò)完成對人體姿態(tài)的直接分類，同時從輸入的紅外圖像中提取人體區(qū)域框，輸入人體姿態(tài)估計網(wǎng)絡(luò)檢測人體骨架關(guān)鍵點(diǎn)，將關(guān)鍵點(diǎn)信息與預(yù)測的姿態(tài)類別一并輸出。

2 基于改進(jìn)Alphapose的紅外圖像摔倒檢測方法

本文提出基于改進(jìn)Alphapose的紅外圖像摔倒檢測算法。該算法首先使用YOLO v5s網(wǎng)絡(luò)對圖像中的人體姿態(tài)進(jìn)行分類，再提取人體目標(biāo)框檢測出單人的骨架關(guān)鍵點(diǎn)，最后利用關(guān)鍵點(diǎn)和姿態(tài)類別信息，通過關(guān)鍵點(diǎn)分析和摔倒判定，判斷是否出現(xiàn)摔倒。

圖2 改進(jìn)的Alphapose算法結(jié)構(gòu)

2.1 關(guān)鍵點(diǎn)分析

Alphapose算法檢測出的人體骨架關(guān)鍵點(diǎn)如圖3所示。

圖3 Alphapose關(guān)鍵點(diǎn)檢測結(jié)果

圖3(a)是站立時的人體骨架，圖3(b)是摔倒后的人體骨架。圖中編號為0～17的點(diǎn)代表檢測得到的18個人體骨架關(guān)鍵點(diǎn)，其中點(diǎn)11和點(diǎn)12所在位置代表髖關(guān)節(jié)。

通過實驗發(fā)現(xiàn)，站立或行走的人體目標(biāo)在發(fā)生摔倒時，最直觀的表現(xiàn)是髖關(guān)節(jié)位置在垂直方向上的迅速下跌，所以通過監(jiān)測髖關(guān)節(jié)在序列幀中的移動速度可以及時發(fā)現(xiàn)產(chǎn)生的摔倒動作。但隨著運(yùn)動中的人體目標(biāo)與攝像頭的距離越來越遠(yuǎn)，其髖關(guān)節(jié)在圖像上的位移速度也越來越小，容易造成漏檢。針對該問題，本文提出以前一幀中人體目標(biāo)框的高度作為參考對象，計算髖關(guān)節(jié)關(guān)鍵點(diǎn)的相對移動速度。

在對紅外視頻的檢測中，設(shè)第幀與第－1幀均為單人紅外圖像，2≤≤，表示紅外視頻的總幀數(shù)，且都是非遮擋狀態(tài)，其髖關(guān)節(jié)關(guān)鍵點(diǎn)均被檢出。設(shè)圖像左上角為原點(diǎn)，水平向右為軸正方向，垂直向下為軸正方向，建立直角坐標(biāo)系。記第幀人體骨架中編號為的關(guān)鍵點(diǎn)的縱坐標(biāo)為y，取點(diǎn)11和點(diǎn)12的中心點(diǎn)代表髖關(guān)節(jié)，則點(diǎn)在第幀中的縱坐標(biāo)y如式(1)所示。

在摔倒過程中，當(dāng)前一幀人體目標(biāo)框的高度明顯小于其寬度時，即使下降速度不變，也會因為前一幀目標(biāo)框高度減小，導(dǎo)致計算得到的速度偏大，所以本算法引入前一幀人體目標(biāo)框的寬高比作為限制條件，防止前一幀目標(biāo)框?qū)捀弑冗^大導(dǎo)致點(diǎn)的微小起伏被誤識別為摔倒。記第幀中人體目標(biāo)框的高度為H，寬度為W，則第幀中的人體寬高比P如公式(2)所示：

記第幀中點(diǎn)在垂直方向上的相對移動速度為v，如公式(3)所示：

設(shè)置大于0的閾值Th，檢測可能出現(xiàn)的摔倒行為，如公式(4)所示。

當(dāng)F等于1時，判斷可能發(fā)生了摔倒。

2.2 摔倒判定

僅僅分析關(guān)鍵點(diǎn)的下落速度有可能將快速下蹲、俯身拾取等類摔倒動作誤識別為摔倒，為了減少誤判，需要結(jié)合關(guān)鍵點(diǎn)分析結(jié)果和姿態(tài)分類做進(jìn)一步判定。

經(jīng)實驗發(fā)現(xiàn)，摔倒后人體姿態(tài)會在短時間內(nèi)穩(wěn)定，直觀表現(xiàn)是坐在地上、躺下或手部撐地，所以本文算法在經(jīng)過關(guān)鍵點(diǎn)分析判斷有可能發(fā)生摔倒后，繼續(xù)檢測后續(xù)多幀內(nèi)的人體姿態(tài)。

在統(tǒng)計后續(xù)的人體姿態(tài)中，若第幀圖像中人體姿態(tài)類別為l，則對應(yīng)的人體圖像得分為s，兩者關(guān)系可用公式(5)表示：

式(5)中：當(dāng)圖像中的人體姿態(tài)類別l為“sit_flat”（坐地）、“l(fā)ie”（躺下）、“push_up”（撐地）這3種姿態(tài)中的任意一種時，該人體圖像的得分記為1，否則得分記為0。

當(dāng)F＝1，即第幀檢測到可能發(fā)生摔倒時，繼續(xù)檢測后續(xù)20幀圖像的人體姿態(tài)，若累計圖像得分大于10，最終判定為摔倒，記為FF＝1，如公式(6)所示：

在實時檢測過程中，以實時視頻流作為輸入，檢測每一幀當(dāng)前畫面中的人體姿態(tài)和骨架關(guān)鍵點(diǎn)。從第二幀開始，如果前一幀與當(dāng)前幀均檢測出同一人的髖關(guān)節(jié)位置，即“無遮擋”狀態(tài)，則進(jìn)行關(guān)鍵點(diǎn)分析，計算髖關(guān)節(jié)關(guān)鍵點(diǎn)在這相鄰兩幀間的相對移動速率和方向。當(dāng)滿足可能摔倒的條件后，進(jìn)行摔倒判定，開始統(tǒng)計后續(xù)20幀圖像中的姿態(tài)類別，如果滿足最終摔倒條件，則判斷為一次摔倒。實時檢測的情況下一次完整的摔倒檢測流程圖如圖4所示。

3 數(shù)據(jù)集

3.1 采集和分類

本文使用的數(shù)據(jù)集分為3部分。第一部分是自建的室內(nèi)紅外數(shù)據(jù)集，攝像頭采用艾睿光電紅外熱成像模組Xmodule T3，分辨率384×288，樣本共6787張，場景包括走廊、辦公室、大廳等室內(nèi)場景；第二部分是運(yùn)動物體熱紅外成像數(shù)據(jù)集（moving object thermal infrared imagery dataset，MOTIID），樣本取自其中三段室外行人行走的視頻，獲取樣本571張，均為室外場景；第三部分使用的是開放的免費(fèi)FLIR熱數(shù)據(jù)集FLIR_ADAS，獲取樣本926張。

本文對紅外圖像下的人體姿態(tài)定義了8種類別，分別是“直坐”、“躺下”、“下蹲”、“站立”、“彎腰”、“撐地”、“坐地”和“遮擋”，如圖5所示。

圖4 總體算法流程

圖5 姿態(tài)分類：(a) 直坐；(b) 躺下；(c) 下蹲；(d) 站立；(e) 彎腰；(f) 撐地；(g) 坐地；(h) 遮擋

3.2 數(shù)據(jù)預(yù)處理

本文采用了Mosaic數(shù)據(jù)增強(qiáng)的方式對訓(xùn)練數(shù)據(jù)進(jìn)行預(yù)處理，如圖6所示，Mosaic數(shù)據(jù)增強(qiáng)通過每次隨機(jī)抽取數(shù)據(jù)集中的4張圖片，采用隨機(jī)裁剪、隨機(jī)縮放、隨機(jī)組合的方式生成一張新的訓(xùn)練圖片。通過Mosaic數(shù)據(jù)增強(qiáng)，能夠豐富場景內(nèi)容，增強(qiáng)樣本多樣性，提高目標(biāo)檢測算法的抗干擾性。

4 實驗分析

本實驗的實驗環(huán)境為Win10_x64平臺，CPU為Intel Core i7-9750H，內(nèi)存16G，GPU為NVIDIA GeForce RTX 2060，使用框架為torch1.6.0＋opencv-python4.4.0，輸入圖片尺寸384×288，學(xué)習(xí)率為0.01，epochs為100。實驗分為兩部分：進(jìn)行紅外人體骨架檢測實驗，以測試本文算法定位精度和實時性；進(jìn)行紅外視頻摔倒判定實驗，以驗證本文策略的可行性。

圖6 Mosaic數(shù)據(jù)增強(qiáng)

4.1 紅外人體骨架檢測實驗

為了排除遮擋狀態(tài)對關(guān)鍵點(diǎn)檢測的干擾，需準(zhǔn)確識別遮擋與非遮擋狀態(tài)，如圖7所示。

圖7(a)與圖7(d)分別是遮擋狀態(tài)的兩種標(biāo)注方式示意圖，圖7(a)將未被遮擋的人體部分標(biāo)注為遮擋，其預(yù)測結(jié)果如圖7(b)和圖7(c)所示，圖7(d)在標(biāo)注遮擋類別的目標(biāo)框時加入部分遮擋物，其預(yù)測結(jié)果如圖7(e)和圖7(f)所示。從圖7(b)中可以看到，全身被識別為站立姿態(tài)的同時，上身也被識別為遮擋，即出現(xiàn)了冗余檢測，而如圖7(e)和圖7(f)所示，在遮擋狀態(tài)標(biāo)記框中加入部分遮擋物后，站立和遮擋得到了明顯的區(qū)分。經(jīng)實驗，在標(biāo)記遮擋狀態(tài)時，當(dāng)選取的遮擋物在標(biāo)記框縱向占比為0.2或橫向占比為0.3時，對遮擋和非遮擋狀態(tài)的區(qū)分效果較好。

本實驗將本文算法與原Alphapose算法進(jìn)行對比，取500張圖片作為測試集，部分檢測結(jié)果如圖8所示。

本實驗采用DIoU（Distance-IoU）衡量算法的定位精度，DIoU反映了真實與預(yù)測之間的相關(guān)度，計算方法如公式(7)所示：

式(7)中：和gt分別表示預(yù)測框和真實框的中心點(diǎn)位置坐標(biāo)；(,gt)是兩個中心點(diǎn)之間的歐氏距離；表示真實框和預(yù)測框的最小外接矩形的對角線距離；IoU表示真實框與預(yù)測框之間的交并比。DIoU值越接近于1，則預(yù)測位置越接近真實位置。

分別使用原Alphapose算法和本文算法計算DIoU值，其平均值DIoU_Average和平均處理時間如表2所示。

圖7 遮擋狀態(tài)標(biāo)注與預(yù)測圖：(a) 標(biāo)注時不含遮擋物；(b) 無遮擋物標(biāo)注方式檢測無遮擋狀態(tài)；(c) 無遮擋物標(biāo)注方式檢測遮擋狀態(tài)；(d) 標(biāo)注時含部分遮擋物；(e) 含遮擋物標(biāo)注方式檢測無遮擋狀態(tài)；(f) 含遮擋物標(biāo)注方式檢測遮擋狀態(tài)

表2 實驗結(jié)果

由圖8(a)和圖8(b)可以看到，因為在標(biāo)記遮擋姿態(tài)時加入了部分遮擋物，所以識別出的遮擋姿態(tài)目標(biāo)框也向被遮擋方向進(jìn)行了部分延伸，符合遮擋的特征，這也驗證了本文針對遮擋姿態(tài)修改標(biāo)記方法的有效性。如圖8(a)～圖8(b)所示，原Alphapose算法與本文算法的檢測結(jié)果基本相近，但也出現(xiàn)少數(shù)偏差。原Alphapose算法對“躺下”姿態(tài)的定位不夠準(zhǔn)確，導(dǎo)致后續(xù)的骨架檢測出現(xiàn)誤差，而本文算法得到的預(yù)測框更加逼近其真實目標(biāo)框，得到的人體區(qū)域更加緊湊，檢出的人體骨架也較準(zhǔn)確。結(jié)合表2中的計算結(jié)果可知，本文算法對人體區(qū)域的定位較準(zhǔn)，速度更快。如圖8(c)～圖8(d)所示，本文算法也可檢測室外人體目標(biāo)，但對于遠(yuǎn)距離的人體可能產(chǎn)生漏檢，如圖8(d)所示，遠(yuǎn)處路燈下的人體沒有被檢出。同時，在人群聚集和多人重疊場景下，容易發(fā)生漏檢現(xiàn)象。

圖8 實驗結(jié)果：(a) Alphapose檢測自建紅外數(shù)據(jù)集；(b) Ours檢測自建紅外數(shù)據(jù)集；(c) Ours檢測MOTIID紅外測試集；(d) Ours檢測FLIR_ADAS數(shù)據(jù)集

4.2 紅外視頻摔倒判定實驗

本實驗使用本文算法檢測實時紅外視頻流，從中截取12段熱紅外視頻，共計36個摔倒動作和51個類摔倒動作，其中類摔倒動作包括快速下蹲、俯身拾取和緩慢坐地。記摔倒動作被識別為摔倒的個數(shù)為TP，摔倒動作被識別為非摔倒的個數(shù)為FN，類摔倒動作被識別非摔倒的個數(shù)為TN，類摔倒動作被識別為摔倒的個數(shù)為FP。改變閾值Th，計算不同閾值下的準(zhǔn)確率，計算方法如公式(8)所示：

從表3可以看出，當(dāng)Th大于或等于0.04時，漏檢的摔倒個數(shù)逐漸增多，因為設(shè)定的閾值大于部分真實摔倒動作的相對位移速度，容易將真實的摔倒動作漏檢。而當(dāng)Th小于或等于0.03時，真實的摔倒動作已全部被正確檢出，但也出現(xiàn)誤識別的情況，如將俯身拾取動作誤識別為摔倒，如圖9所示。

表3 不同Th下檢測結(jié)果

圖9(a)與圖9(b)分別是Th取0.03時，本算法對真實摔倒動作和俯身拾取動作的檢測結(jié)果，圖9(c)是Th取0.01時，本算法對俯身拾取動作的檢測結(jié)果。從圖9(c)可以看出，當(dāng)Th取值偏小時，因為俯身拾取動作在下蹲過程中可能其速度大于設(shè)定的閾值，所以有可能將俯身拾取識別為摔倒。而當(dāng)Th取0.03時，可有效過濾此類動作，并且能夠檢測出真實的摔倒動作。因為在本實驗環(huán)境下，閾值Th為0.03時，準(zhǔn)確率最高，所以取0.03作為本實驗環(huán)境下Th的最佳值。因為本文策略以關(guān)鍵點(diǎn)瞬時位移速度大于閾值為前提，輔以后續(xù)姿態(tài)加以判定，而快速下蹲動作不滿足其后續(xù)姿態(tài)判定中對撐地、坐地或躺下的要求，所以實驗中沒有出現(xiàn)快速下蹲被誤識別為摔倒的情況。從實驗結(jié)果來看，本算法對快速下蹲、緩慢坐地、俯身拾取這樣的類摔倒動作具有一定的抗干擾性。

圖9 摔倒檢測結(jié)果：(a) Th=0.03時，真實摔倒動作檢測結(jié)果；(b) Th=0.03時，偽摔倒動作檢測結(jié)果；(c)Th=0.01時，偽摔倒動作檢測結(jié)果

本實驗的目的是對真實摔倒動作與類摔倒動作進(jìn)行區(qū)分，可以根據(jù)當(dāng)前Th得到的準(zhǔn)確率變化情況更新Th值。如果本輪Th得到的準(zhǔn)確率高于上一輪的準(zhǔn)確率，則表明Th的變化方向是有效的，反之則表明上一輪Th值更接近最優(yōu)值，轉(zhuǎn)而反方向?qū)ぶ怠Ｔ诘^程中，當(dāng)準(zhǔn)確率變化趨勢發(fā)生改變時，通過改變步長逼近最佳閾值。閾值Th的更新計算公式如式(9)所示：

式中：Th表示第輪迭代中的閾值；*(－2)－表示閾值的變化步長。本實驗中取值0.04，的初始值設(shè)為1，記閾值為Th時的檢測準(zhǔn)確率為Acc。

更新過程步驟如下：

1）設(shè)置初始閾值Th0＝0.05，此時＝0，按式(8)計算對應(yīng)的檢測準(zhǔn)確率Acc0；

2）設(shè)＝1，＝0.04，按公式(9)計算Th+1，并計算對應(yīng)的Acc+1；

3）若Acc+1＞Acc，則＝＋1，再按公式(9)計算下一代閾值Th+1，并計算Acc+1；否則，＝＋1，＝＋1，再按公式(9)計算Acc+1；

4）重復(fù)執(zhí)行步驟3）。

5 總結(jié)

針對現(xiàn)有人體摔倒檢測方法對類摔倒動作容易誤檢的問題，本文提出基于改進(jìn)Alphapose的紅外圖像摔倒檢測算法，使用改進(jìn)的Alphapose算法檢測紅外圖像中的人體關(guān)鍵點(diǎn)和姿態(tài)類別，結(jié)合人體關(guān)鍵點(diǎn)信息和姿態(tài)類別進(jìn)行摔倒判定。本文在原算法的基礎(chǔ)上，使用YOLO v5s作為Alphapose的人體檢測器和姿態(tài)分類器，在提取人體目標(biāo)框的同時直接完成對人體姿態(tài)的分類，在摔倒與類摔倒場景中，對人體摔倒檢測的準(zhǔn)確率達(dá)到98%。本算法也存在著不足，如本算法利用人體關(guān)鍵點(diǎn)的位置信息做關(guān)鍵點(diǎn)分析，適用于無遮擋狀態(tài)下的人體摔倒檢測。閾值的選取與算法在不同設(shè)備上的運(yùn)行速度有關(guān)，對閾值的自適應(yīng)取值是后續(xù)研究的重點(diǎn)。

[1] 禹明娟. 基于視頻的室內(nèi)老人摔倒檢測研究[D]. 杭州: 杭州電子科技大學(xué), 2016.

YU M J. Research of Indoor Fall Detection for Elderly Based on Video[D]. Hangzhou: Hangzhou Dianzi University, 2016.

[2] 陳永彬, 何漢武, 王國楨, 等. 基于機(jī)器視覺的老年人摔倒檢測系統(tǒng)[J]. 自動化與信息工程, 2019, 40(5): 37-41.

CHEN Y B, HE H W, WANG G Z, et al. Fall detection system for the elderly based on machine vision[J]., 2019, 40(5): 37-41.

[3] 楊碧瑤. 基于計算機(jī)視覺的獨(dú)居老人摔倒檢測方法研究[D] . 西安: 陜西科技大學(xué), 2020.

YANG B Y. Research on Fall Detection Method of Elderly Living Alone Based on Computer Vision[D]. Xi’an: Shaanxi University of Science & Technology, 2020.

[4] 馬照一. 用于老年人居家養(yǎng)老的智能視頻終端的設(shè)計與實現(xiàn)[D]. 沈陽: 遼寧大學(xué), 2017.

MA Z Y. The Design and Implementation of Intelligent Video Terminal for The Aged Home Care[D]. Shenyang: Liaoning University, 2017.

[5] 徐世文. 基于紅外圖像特征的人體摔倒檢測方法[D]. 綿陽: 西南科技大學(xué), 2020.

XU S W. Detection Method of Human Fall Based on Infrared Image Features[D]. Mianyang: Southwest University of Science and Technology, 2020.

[6] 徐傳鐸. 夜間模式下基于人體姿態(tài)的安全監(jiān)控研究[D]. 上海: 東華大學(xué), 2017.

XU C D. Research on Safety Monitoring Based on Human Posture for Night Vision[D]. Shanghai: Donghua University, 2017.

[7] Redmon J, Farhadi A. YOLO9000: Better, Faster, Stronger[C]//, 2017: 6517-6525.

[8] ZHAO L, LI S. Object detection algorithm based on improved YOLO v3[J]., 2020, 9(3): 537.

[9] 李昭慧, 張瑋良. 基于改進(jìn)YOLO v4算法的疲勞駕駛檢測[J]. 電子測量技術(shù), 2021, 44(13): 73-78.

LI Z H, ZHANG W L. Fatigue driving detection based on improved YOLOv4 algorithm[J]., 2021, 44(13): 73-78.

[10] Girshick R, Donahue J, Darrell T, et al. Region-based convolutional networks for accurate object detection and segmentation[J]., 2015, 38(1): 142-158

[11] Girshick R. Fast R-CNN[C]//, 2015: 1440-1448.

[12] REN S, HE K, Girshick R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[C]//, 2015: 91-99.

[13] WANG C Y, Mark Liao H Y, WU Y H, et al. CSPNet: a new backbone that can enhance learning capability of CNN[C]//, 2020: 390-391.

[14] LIU S, QI L, QIN H, et al. Path aggregation network for instance segmentation[C]//, 2018: 8759-8768.

[15] FANG H S, XIE S, TAI Y W, et al. RMPE: regional multi-person pose estimation[C]//2017, 2017: 4321-4331.

Infrared Image Human Fall Detection Algorithm Based on Improved Alphapose

ZHANG Peng，SHEN Yuzhen，LI Peihua，ZHANG Kaixiang

(,241002,)

Human fall detection in infrared images is not affected by ambient light and has important research and application value in intelligent security. Existing fall detection methods do not fully consider the position change law of key points on the human body, which can easily cause false detections of similar fall movements. To solve this problem, we propose an infrared image fall detection algorithm based on an improved alpha pose.The algorithm uses the YOLO v5s object detection network to directly classify human poses while extracting the human body target frame and inputting the pose estimation network. It then evaluates it in combination with the position information and posture characteristics of the key points of the human skeleton. Experiments showed that the algorithm exhibited good performance in terms of accuracy and real-time performance.

infrared images, fall detection, key points, object detection

TP391

A

1001-8891(2023)12-1314-08

2021-09-23；

2021-10-13.

張鵬（1994-），碩士研究生，主要研究領(lǐng)域為模式識別、圖像處理。E-mail: zhangpeng2735@163.com。