基于機(jī)器視覺(jué)的老年人摔倒檢測(cè)系統(tǒng)

陳永彬 何漢武 王國(guó)楨 王桂棠

基于機(jī)器視覺(jué)的老年人摔倒檢測(cè)系統(tǒng)

陳永彬1何漢武1王國(guó)楨2王桂棠1

（1.廣東工業(yè)大學(xué)機(jī)電工程學(xué)院 2.北京師范大學(xué)-香港浸會(huì)大學(xué)聯(lián)合國(guó)際學(xué)院）

家庭陪護(hù)機(jī)器人可以實(shí)現(xiàn)老年人的陪護(hù)任務(wù)，其中主動(dòng)檢測(cè)老年人摔倒情況是一個(gè)重要功能，這可以減少獨(dú)居老年人因摔倒而導(dǎo)致的傷亡。研究基于機(jī)器視覺(jué)的老年人摔倒檢測(cè)系統(tǒng)，通過(guò)攝像機(jī)動(dòng)態(tài)采集場(chǎng)景圖像并跟蹤場(chǎng)景中的老年人，結(jié)合其體姿態(tài)特征提取算法，對(duì)人體骨骼特征點(diǎn)變化量進(jìn)行監(jiān)測(cè)，并分析場(chǎng)景的語(yǔ)義信息，自主地對(duì)場(chǎng)景中的老年人進(jìn)行摔倒檢測(cè)。實(shí)驗(yàn)證明，本文提出檢測(cè)系統(tǒng)是可行有效的。

機(jī)器視覺(jué)；動(dòng)態(tài)跟蹤；摔倒檢測(cè)；語(yǔ)義信息

0　引言

隨著經(jīng)濟(jì)的不斷發(fā)展以及醫(yī)療條件的日益完善，出生人口逐年減少以及人口老齡化程度不斷加深，社會(huì)養(yǎng)老壓力較大。面對(duì)養(yǎng)老機(jī)構(gòu)的缺乏，居家養(yǎng)老將是一個(gè)重要趨勢(shì)。研究指出，摔倒是導(dǎo)致老年人傷亡的主要原因之一[1]。因此，老年人摔倒檢測(cè)的研究具有重要意義。青島大學(xué)楊帥[2-3]等人研究在獨(dú)居老年人家中的門上安裝傳感器，當(dāng)老年人經(jīng)過(guò)相應(yīng)傳感器時(shí)記錄其位置信息，根據(jù)老年人在該區(qū)域停留的時(shí)間，判斷其存在異常的可能性。浙江大學(xué)葉芳芳[4-5]等人利用攝像機(jī)采集家中老年人的狀態(tài)，并利用光流信息的混亂程度，判斷老年人存在異常的可能性。以上2種方式?jīng)]有結(jié)合場(chǎng)景的語(yǔ)義信息，容易導(dǎo)致誤判。南京郵電大學(xué)王亞飛[6]等人通過(guò)圖像處理提取人體的外接橢圓，并以此判斷人摔倒情況，也存在誤判的可能，如彎腰等動(dòng)作會(huì)觸發(fā)檢測(cè)系統(tǒng)。

本文通過(guò)攝像機(jī)采集家庭場(chǎng)景信息，利用光流信息動(dòng)態(tài)跟蹤家中的老年人；采用OpenPose人體姿態(tài)識(shí)別算法提取人體骨骼特征點(diǎn)，根據(jù)脖子特征點(diǎn)的下移量判斷老年人摔倒的可能性；同時(shí)，為排除坐、躺等正常狀態(tài)對(duì)摔倒檢測(cè)系統(tǒng)的干擾，文中提取場(chǎng)景語(yǔ)義信息，結(jié)合語(yǔ)義信息判斷老年人所處的位置，以此提高摔倒檢測(cè)系統(tǒng)的魯棒性。

1　系統(tǒng)框架

基于機(jī)器視覺(jué)的老年人摔倒檢測(cè)流程圖如圖1所示。首先，通過(guò)攝像機(jī)采集場(chǎng)景圖像并跟蹤場(chǎng)景中的老年人；然后，提取圖像中人體的骨骼特征點(diǎn)并判斷骨骼特征點(diǎn)的變化量；最后，識(shí)別場(chǎng)景的語(yǔ)義信息，結(jié)合骨骼特征點(diǎn)的變化量，判斷場(chǎng)景中老年人摔倒的可能性。

圖1　基于機(jī)器視覺(jué)的老年人摔倒檢測(cè)流程圖

2　系統(tǒng)設(shè)計(jì)

基于機(jī)器視覺(jué)的老年人摔倒檢測(cè)系統(tǒng)由人體動(dòng)態(tài)跟蹤、基于骨骼特征點(diǎn)的摔倒檢測(cè)和基于語(yǔ)義信息的摔倒檢測(cè)約束3部分組成。

2.1　人體動(dòng)態(tài)跟蹤

通過(guò)對(duì)比攝像機(jī)采集到的相鄰視頻幀，利用OpenCV中calcOpticalFlowFarneBack算子計(jì)算兩圖像幀之間的光流場(chǎng)變化。如果兩幀間存在移動(dòng)的人或物，其對(duì)應(yīng)的光流場(chǎng)區(qū)域會(huì)比較混亂。如圖2和圖3所示，當(dāng)人靜止時(shí)，光流場(chǎng)是整齊有序的；當(dāng)人走動(dòng)時(shí)，光流場(chǎng)在人體區(qū)域是混亂的。由于家庭環(huán)境中光照相對(duì)不穩(wěn)定，亮度變化同樣會(huì)導(dǎo)致光流場(chǎng)的混亂，因此本系統(tǒng)提出一種基于HSV的光流場(chǎng)動(dòng)態(tài)跟蹤方法。將RGB圖像通道轉(zhuǎn)換成為HSV通道，如式(1)~式(3)所示，其中H和S通道對(duì)光照變化不敏感，V通道對(duì)光照變化敏感。

其中，，，分別對(duì)應(yīng)紅、綠和藍(lán)；，，分別對(duì)應(yīng)色調(diào)、飽和度和明度。

如圖3所示，第二幀相對(duì)于第一幀人產(chǎn)生了位移；第二幀亮度明顯變化時(shí)，H和S通道圖像變化不大，同時(shí)對(duì)應(yīng)的光流場(chǎng)能有效地分離出動(dòng)態(tài)物體的對(duì)應(yīng)區(qū)域。如圖4所示，設(shè)光流場(chǎng)中像素位移長(zhǎng)度閾值為20 pix，提取閾值范圍外的光流區(qū)域作為圖像掩膜，最終提取動(dòng)態(tài)的人體區(qū)域。

圖2　靜態(tài)光流場(chǎng)

圖3　基于HSV圖像的亮度變化對(duì)比及動(dòng)態(tài)區(qū)域提取

2.2　基于骨骼特征點(diǎn)的摔倒檢測(cè)

利用開(kāi)源的人體姿態(tài)識(shí)別算法OpenPose進(jìn)行人體骨骼特征點(diǎn)提取。如圖5所示，對(duì)人體關(guān)節(jié)提取18個(gè)關(guān)鍵點(diǎn)。OpenPose算法通過(guò)深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)大量人體姿態(tài)數(shù)據(jù)進(jìn)行訓(xùn)練而得到人體姿態(tài)識(shí)別模型，人體姿態(tài)識(shí)別示意圖如圖6所示。

0-鼻子 1-脖子 2-右肩 3-右肘 4-右手掌 5-左肩 6-左肘 7-左手掌 8-右腰 9-右膝 10-右腳 11-左腰12-左膝 13-左腳 14-右眼 15-左眼 16-右耳 17-左耳

圖6　人體姿態(tài)識(shí)別示意圖

本系統(tǒng)選取脖子特征點(diǎn)作為摔倒檢測(cè)的參考點(diǎn)。識(shí)別脖子特征點(diǎn)的坐標(biāo)，并對(duì)比前后關(guān)鍵幀中脖子特征點(diǎn)坐標(biāo)的變化量。如果該變化量超過(guò)系統(tǒng)設(shè)置的閾值800 mm，則判斷存在摔倒的可能，進(jìn)入語(yǔ)義約束程序。如式(4)所示，脖子特征點(diǎn)高度下移量△為連續(xù)幀圖像相比初始幀圖像特征點(diǎn)高度差的平均值。

其中，為高度信息；為圖像幀數(shù)。

2.3　基于語(yǔ)義信息的摔倒檢測(cè)約束

如果僅通過(guò)脖子特征點(diǎn)的高度下移量△判斷老年人是否摔倒，存在誤判的可能，如坐在椅子、沙發(fā)或躺在床上時(shí)，高度下移量△也達(dá)到設(shè)定的閾值范圍，但這時(shí)老年人摔倒的可能性較低。因此，本系統(tǒng)在檢測(cè)疑似摔倒的同時(shí)，添加場(chǎng)景語(yǔ)義信息作為約束條件。即在老年人疑似摔倒的位置進(jìn)行語(yǔ)義信息提取，若在椅子、沙發(fā)或床上，則可排除摔倒；若在地面上，則判定為摔倒并發(fā)出摔倒報(bào)警信號(hào)。本系統(tǒng)利用開(kāi)源語(yǔ)義分割算法MaskRCNN[7]對(duì)場(chǎng)景進(jìn)行語(yǔ)義信息提取，該模型主要應(yīng)用深度卷積神經(jīng)網(wǎng)絡(luò)，對(duì)大量帶標(biāo)注的RGB圖像進(jìn)行訓(xùn)練，并得到相應(yīng)的語(yǔ)義分割模型。當(dāng)系統(tǒng)采集到RGB圖像后，進(jìn)行語(yǔ)義分割，實(shí)現(xiàn)圖像物體類別識(shí)別及像素級(jí)別的圖像分割。

其中，()為場(chǎng)景中語(yǔ)義類別；為{0,1,2,3,4,...,}，表示場(chǎng)景物體類型，且0，1，2分別表示場(chǎng)景中床、椅子和沙發(fā)。

如果滿足連續(xù)15幀圖像語(yǔ)義判別結(jié)果相同且皆不為床、椅子或沙發(fā)，即可認(rèn)為存在摔倒風(fēng)險(xiǎn)。

語(yǔ)義約束實(shí)驗(yàn)如圖7所示，通過(guò)場(chǎng)景語(yǔ)義信息約束摔倒誤判的概率。實(shí)驗(yàn)人員坐在沙發(fā)上，脖子特征點(diǎn)下移量為850 mm，大于閾值800 mm，檢測(cè)系統(tǒng)判斷摔倒風(fēng)險(xiǎn)較低。

圖7　語(yǔ)義約束實(shí)驗(yàn)

3　實(shí)驗(yàn)驗(yàn)證

本實(shí)驗(yàn)通過(guò)脖子特征點(diǎn)下移量來(lái)判斷老年人是否存在摔倒的風(fēng)險(xiǎn)，并通過(guò)多組摔倒圖像對(duì)摔倒檢測(cè)系統(tǒng)的可靠性進(jìn)行測(cè)試。隨機(jī)抽取實(shí)驗(yàn)中的16組摔倒圖像，如圖8所示，實(shí)驗(yàn)結(jié)果如表1和表2所示。檢測(cè)結(jié)果表明，本文提出的摔倒檢測(cè)系統(tǒng)可有效識(shí)別是否摔倒，且具有一定的魯棒性。

圖8　摔倒實(shí)驗(yàn)圖

表1　摔倒實(shí)驗(yàn)1

表2　摔倒實(shí)驗(yàn)2

4　結(jié)語(yǔ)

本文研究了基于機(jī)器視覺(jué)的老年人摔倒檢測(cè)系統(tǒng)，通過(guò)攝像頭檢測(cè)場(chǎng)景中老人摔倒的可能性，并結(jié)合場(chǎng)景語(yǔ)義信息，對(duì)摔倒檢測(cè)程序進(jìn)行語(yǔ)義約束。通過(guò)實(shí)驗(yàn)證明，本文提出的摔倒檢測(cè)系統(tǒng)有效可行。該系統(tǒng)應(yīng)用于家庭陪護(hù)機(jī)器人，可減少獨(dú)居老年人因摔倒而導(dǎo)致的傷亡情況。

[1] 李薇,路孝琴,王世平,等.防止老年人跌倒的研究[J].中國(guó)老年學(xué)雜志,200929(17):2267-2268.

[2] 楊帥,于忠清,蘇博群.基于軌跡分割的老人行為識(shí)別方法[J].青島大學(xué)學(xué)報(bào)(自然科學(xué)版),2017,30(1):103-107.

[3] 楊帥.基于室內(nèi)軌跡分析的老人行為識(shí)別方法[D].青島:青島大學(xué),2017.

[4] 葉芳芳.監(jiān)控視頻中的異常行為檢測(cè)研究[D]:杭州:浙江大學(xué),2014.

[5] 葉芳芳,許力.實(shí)時(shí)的靜止目標(biāo)與鬼影檢測(cè)及判別方法[J].浙江大學(xué)學(xué)報(bào)(工學(xué)版),2015,49(1):181-185,192.

[6] 王亞飛.視頻監(jiān)控系統(tǒng)中的跌倒異常行為檢測(cè)技術(shù)研究[D].南京:南京郵電大學(xué),2014.

[7] He K, Gkioxari G, Dollár P, et al. Mask R-CNN[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018:2980-2988.

Fall Detection System for the Elderly Based on Machine Vision

Chen Yongbin1He Hanwu1Wang Guozhen2Wang Guitang1

（1.Guangdong University of Technology 2. Beijing Normal University-HongKong Baptist University United International College）

With the continuous development of economy and the improvement of medical conditions, the birth population is decreasing year by year and the degree of population aging is deepening. The pressure of social pension is great. Facing the lack of pension institutions, home-based pension will be an important trend. Home care robot can achieve the task of care for the elderly, in which it is an important function to actively detect the elderly fall and other abnormal conditions, which can reduce the casualties caused by the fall of the elderly living alone. This paper studies the fall detection system of the elderly based on machine vision, which dynamically tracks the people in the scene through the camera, and combines the human body posture feature extraction algorithm to monitor the changes of human skeleton feature points, and analyzes the semantic information of the scene, and autonomously detects the fall abnormalities of the people in the scene. Experiments show that the proposed method is effective.

Machine Vision; Dynamic Tracking; Fall Detection; Semantic Information

陳永彬，男，1990年生，博士研究生，主要研究方向：圖像檢測(cè)、增強(qiáng)現(xiàn)實(shí)和人工智能。E-mail: chenyongbin1990@ gmail.com