基于FPGA的視頻監(jiān)控摔倒檢測報警系統(tǒng)

王鵬 王慧 孔凡寧 姚剛

摘要：當(dāng)空巢老人獨自居住發(fā)生摔倒事件時，如果長時間沒有得到救助的話，傷害比較嚴(yán)重。為了快速獲得老人摔倒信息，使其得到及時救助，設(shè)計和實現(xiàn)了結(jié)合家居照明燈并基于現(xiàn)場可編程門陣列（FPGA）的視頻監(jiān)控摔倒檢測報警系統(tǒng)。通過幀間差分法提取出運(yùn)動目標(biāo)，結(jié)合人體高寬比和有效面積比2個條件進(jìn)行摔倒判定，最后用人體中心變化對判定結(jié)果進(jìn)行修正。當(dāng)摔倒發(fā)生時觸發(fā)聲光報警定位老人摔倒的房間，并結(jié)合通用分組無線業(yè)務(wù)（GPRS）通信網(wǎng)絡(luò)通知老人親屬及社區(qū)服務(wù)站，及時展開救助。經(jīng)試驗表明，系統(tǒng)幀處理速度為24.86fps，平均報警響應(yīng)時間為0.51s，滿足實時性要求;摔倒檢測準(zhǔn)確率達(dá)到96%，誤報率低。

關(guān)鍵詞：視頻監(jiān)控;摔倒檢測;現(xiàn)場可編程門陣列;幀間差分法;通用分組無線業(yè)務(wù)

DoI：10.15938/j.eme.2019.08.015

中圖分類號：TN919.85文獻(xiàn)標(biāo)志碼：A 文章編號：1007-449X（2019）08-0122-07

0引言

隨著中國老齡化趨勢的加劇，老年人的安全問題受到社會各界的廣泛關(guān)注，摔倒對老年人的安全造成了極大的威脅。尤其是對于子女均在外工作的空巢老人，摔倒發(fā)生后常導(dǎo)致失去意識、休克或者死亡等嚴(yán)重后果。因此，及時發(fā)現(xiàn)并救助摔倒的老人可以大大降低傷殘率和死亡率。

摔倒檢測技術(shù)大致可以分為3類：基于可穿戴式傳感器的摔倒檢測技術(shù);基于環(huán)境檢測的摔倒檢測技術(shù);基于視頻監(jiān)控的摔倒檢測技術(shù)。第一類需要老年人隨身佩戴傳感器，老人容易遺忘且易產(chǎn)生不適感;第二類需要在房間內(nèi)安裝復(fù)雜的檢測設(shè)備，實現(xiàn)困難;第三類是在房間內(nèi)安裝攝像頭，通過視頻監(jiān)控實現(xiàn)摔倒檢測，安裝方便，容易實現(xiàn)，相比前兩類更適宜于對老年人的摔倒進(jìn)行檢測，是目前主流的摔倒檢測技術(shù)。

對于基于視頻監(jiān)控的摔倒檢測技術(shù)，國內(nèi)外眾多學(xué)者都進(jìn)行了大量的研究。文獻(xiàn)[6]中白云飛等人提出了基于嵌入式視頻監(jiān)控的摔倒檢測系統(tǒng)，通過將采集到的視頻信號壓縮傳輸至Pc端，進(jìn)行視頻顯示和姿態(tài)檢測，盡管獲得了較高的摔倒檢測準(zhǔn)確率，卻沒有考慮到保護(hù)被監(jiān)測人的隱私，并且系統(tǒng)存在穩(wěn)定性差、易死機(jī)等不足。文獻(xiàn)[7]中Rougier等人提出了標(biāo)定人體最小外接矩形框并通過人體高寬比來判斷人體是否摔倒的算法，但無法準(zhǔn)確地把老人的日常健身動作（壓腿、俯臥撐等）和真實的摔倒事件區(qū)分開，誤報率高。

近年來，隨著圖像處理技術(shù)和大規(guī)模集成電路的發(fā)展，F(xiàn)PGA（field programmable gate array）的可編程性和強(qiáng)大的處理能力使其可以靈活、高效地應(yīng)用于各種領(lǐng)域。本文提出了一種基于FPGA的視頻監(jiān)控摔倒檢測報警系統(tǒng)，穩(wěn)定性好，處理速度快，誤報率低。

1系統(tǒng)組成

本文采用FPGA作為摔倒檢測報警系統(tǒng)的核心處理器件，系統(tǒng)組成如圖1所示，包含CMOS數(shù)字圖像傳感器、FPGA摔倒檢測核心平臺、GPRS（generalpacket radio service）通信模塊及聲光報警模塊。

首先通過CMOS數(shù)字圖像傳感器對老人的日常生活視頻進(jìn)行采集，然后將獲得的視頻數(shù)據(jù)傳送到FPGA摔倒檢測核心平臺進(jìn)行圖像處理和摔倒判定，檢測到老人摔倒后立即通過GPRS通信模塊和聲光報警模塊完成摔倒事件的通知及報警。GPRS通信模塊將摔倒事件的信息及時向老人親屬與社區(qū)服務(wù)站發(fā)送，通知醫(yī)療人員對老人進(jìn)行及時救助。聲光報警模塊用于定位老人發(fā)生摔倒的房間，使醫(yī)護(hù)救援人員能迅速地對老人摔倒位置定位，避免老人因救助延誤導(dǎo)致的休克、失去意識等嚴(yán)重后果。

2摔倒檢測算法設(shè)計

實現(xiàn)摔倒檢測的前提先要對運(yùn)動目標(biāo)進(jìn)行提取和標(biāo)記，再對提取到的運(yùn)動目標(biāo)進(jìn)行摔倒特征判定。通過對現(xiàn)有的摔倒檢測算法的分析與研究，本文提出了一種改進(jìn)的自動摔倒檢測算法。本文提出的摔倒檢測算法主要包含2個步驟：目標(biāo)檢測和摔倒判定，具體流程如圖2所示。

2.1目標(biāo)檢測

運(yùn)動目標(biāo)檢測算法主要有背景減除法、幀問差分法和光流法3種。背景減除法是利用當(dāng)前圖像和背景模型圖像進(jìn)行差分來檢測運(yùn)動目標(biāo)，背景模型的選取比較重要，容易受到外界光線的干擾。幀問差分法主要思想是將圖像序列中的連續(xù)兩幀或三幀進(jìn)行差分來提取出運(yùn)動目標(biāo)，這種方法的原理簡單，能快速地實現(xiàn)運(yùn)動目標(biāo)檢測，且對環(huán)境變化不敏感，受外界噪聲干擾較小。光流法是通過將每幀圖像中的每個像素點附于一個速度矢量，形成一個光流場從而動態(tài)分析出運(yùn)動目標(biāo)，此種方法計算復(fù)雜、非常耗時并且抗噪聲的能力差。

通過比較分析上述3種算法的實現(xiàn)難度和實時性，可以得到：相比較于光流法，幀問差分法更適合應(yīng)用在實時性要求高的場合;相比較于背景減除法，幀問差分法計算簡單，處理速度快，更利于硬件實現(xiàn)，適用于視頻監(jiān)控中的實時目標(biāo)檢測。因此本文選取幀問差分法實現(xiàn)運(yùn)動目標(biāo)的檢測和提取。

2.2摔倒判定

當(dāng)老人正常行走時，人體高度比寬度大得多，如果摔倒，則人體寬度比高度大得多;當(dāng)老人進(jìn)行壓腿、彎腰等健身運(yùn)動時，人體有效面積會比其他情況小。針對以上摔倒特征分析，本文在提取出人體目標(biāo)后，標(biāo)定出人體目標(biāo)的最小外接矩形框，如圖4所示，通過式（2）、式（3）進(jìn)行人體高寬比和有效面積比的摔倒判定。

式（2）中日為外接矩形框的高（即人體的高度），W為外接矩形框的寬（即人體的寬度），T1為人體高寬比的判斷閾值;式（3）中s1為人體目標(biāo)的實際面積，S2為外接矩形框的面積，T2為有效面積比的判斷閾值。根據(jù)式（2）和式（3）可以判定圖4（a）、圖4（b）為正常行為，圖4（c）為摔倒。

由于老人在進(jìn)行下蹲、俯臥撐等動作時，如圖5所示，僅通過人體高寬比與有效面積比2個判決條件進(jìn)行摔倒判定，容易導(dǎo)致誤報警。為了提高系統(tǒng)的準(zhǔn)確率，本文引入人體中心變化作為修正條件對摔倒進(jìn)行判斷。因為老人在下蹲、俯臥撐或正常的行走時，動作較緩慢，中心變化不明顯，而摔倒是一種劇烈與突變的動作，人發(fā)生摔倒時，其人體中心會突然降低，中心變化會隨之驟變。

因此在提取出運(yùn)動目標(biāo)后，使用最小外接矩形框?qū)ζ錁?biāo)記，如圖5所示，計算人體中心位置O（X，Y），），利用式（4）修正摔倒判定結(jié)果。

首先比較相鄰的兩幀圖像人體中心坐標(biāo)值OK（X，Y），）和OK-1（X，y）的縱坐標(biāo)值，再計算兩點的歐氏距離與閾值T3比較，若第K幀圖像的人體中心點縱坐標(biāo)值比第K-1幀圖像低，且兩幅圖像的人體中心點之間的歐式距離大于閾值T3時，則判定為摔倒，反之判定為非摔倒。

通過式（4）可以修正圖5中2種行為的判定結(jié)果為正常運(yùn)動，因此系統(tǒng)結(jié)合式（2）、式（3）、式（4）3個條件進(jìn)行摔倒判定，有效降低了誤報率，算法實現(xiàn)簡單，并且提高了整個摔倒報警系統(tǒng)的檢測精度。

3系統(tǒng)的FPGA實現(xiàn)

FPGA具有強(qiáng)大的并行處理能力，采取流水線進(jìn)行設(shè)計，能極大提高系統(tǒng)的處理速率，尤其對于數(shù)據(jù)量巨大的圖像，更能發(fā)揮其快速處理數(shù)據(jù)的能力。另外FPGA不需要操作系統(tǒng)嵌入，使用數(shù)字邏輯即可實現(xiàn)比較復(fù)雜的算法，這也能解決系統(tǒng)穩(wěn)定性方面的問題。如圖6所示，本文以FPGA作為核心處理器搭建了視頻處理平臺，并使用Verilog HDL對FPGA內(nèi)部邏輯功能進(jìn)行配置。

FPGA內(nèi)部各模塊的功能描述如下：

1）T2C配置模塊。

系統(tǒng)上電后，F(xiàn)PGA首先要通過T2C總線對CMOS圖像傳感器的內(nèi)部寄存器進(jìn)行配置，包括分辨率、內(nèi)部時鐘、亮度、色差等。

2）視頻流采集模塊。

FPGA將CMOS圖像傳感器配置完畢后開始進(jìn)行視頻流的采集，采集的流程如圖7所示。

3）RGB格式轉(zhuǎn)灰度圖像。

幀問差分法的原理是將相鄰兩幀圖像中像素點的灰度值相減，所以需要將采集到的彩色視頻流圖像進(jìn)行顏色空間的轉(zhuǎn)換，即從RGB轉(zhuǎn)為YCbCr，在ITU-RBT.601標(biāo)準(zhǔn)中給出了RGB與YCbCr的轉(zhuǎn)換關(guān)系，具體公式為：

4）中值濾波。

無論是直接采集到的灰度圖像，還是由彩色圖像間接轉(zhuǎn)換的灰度圖像，或多或少都會存在一定的噪聲，而噪聲是影響圖像質(zhì)量存的主要因素。對圖像中值濾波可以很好地抑制孤立點噪聲，同時能較好地保護(hù)圖像的邊界特性，圖像也不會產(chǎn)生顯著的模糊，比較適用于本文幀問差分法的處理。本文采用3×3像素陣列實現(xiàn)中值濾波，其中快速排序算法實現(xiàn)過程如圖8所示。

3×3像素陣列快速排序的步驟如下：

a）首先將3×3像素陣每一行的3個像素排序;

b）接著對3行像素取得的排序結(jié)果進(jìn)行處理，提取每行中3個最大像素值中的最小值，每行中3個最小像素值中的最大值，以及3個中值像素的中值;

c）最后將步驟b）得到的3個像素值再排序后取中值，即得出3×3像素陣中9個像素的中值。

5）4端口SDRAM控制模塊。

基于數(shù)字視頻監(jiān)控的圖像采集與處理系統(tǒng)中，需要對實時高速的數(shù)據(jù)緩沖處理。由于本文采用幀問差分法實現(xiàn)人體運(yùn)動目標(biāo)的提取，需要對相鄰的兩幀圖像完成差分操作，為此設(shè)計了基于FPGA的4端口SDRAM控制模塊（2個輸入端口和2個輸出端口），通過乒乓操作在單片SDRAM中實現(xiàn)相鄰兩幀圖像數(shù)據(jù)操作，完成圖像數(shù)據(jù)在不同Bank的緩存。讀出兩幀圖像數(shù)據(jù)進(jìn)行差分處理，具體實現(xiàn)流程如圖9所示。

6）幀差處理與目標(biāo)提取。

對相鄰兩幀圖像完成讀取和差分，并將差分得到圖像中的像素值與預(yù)設(shè)的像素閾值相比較，大于預(yù)設(shè)閾值的像素點為運(yùn)動目標(biāo)并賦值為1，否則賦值0。運(yùn)用圖像腐蝕和膨脹等形態(tài)學(xué)處理去除小的噪聲點，得到人體目標(biāo)的二值圖。

7）摔倒判定。

得到人體目標(biāo)的二值圖像后，再對每幀二值圖像做行掃描，選出像素值為1的像素點，計算這些像素點中最小和最大的橫坐標(biāo)值Xmin和Xmax，同樣地計算這些像素點中最小和最大的縱坐標(biāo)值Ymin和Ymax，使用（Xmin，Ymin）、（Xmax，Ymin）、（Xmin，Ymax）和（Xmax，Ymax）這4個坐標(biāo)點標(biāo)定人體的最小外接矩形框，標(biāo)定流程如圖10所示。

8）報警控制模塊。

當(dāng)檢測到摔倒事件的發(fā)生即滿足上述3個摔倒判定條件后，F(xiàn)PGA立即產(chǎn)生報警信號，觸發(fā)蜂鳴器與LED照明燈進(jìn)行聲光報警;同時發(fā)送AT指令到GPRS通信模塊，向老人親屬及社區(qū)服務(wù)站的手機(jī)號碼發(fā)送摔倒短信。

4實驗結(jié)果及分析

本實驗中CMOS圖像傳感器選用OmniVision公司的OV7725Sensor;FPGA采用Altera公司Cy-clone IV系列的EP4CEl5F17C8N芯片;GPRS模塊選用SIM900a芯片。通過Verilog HDL實現(xiàn)FPGA內(nèi)部邏輯功能，使用2012a版本的MATLAB軟件平臺對同樣的摔倒檢測算法進(jìn)行仿真和驗證，搭載MATLAB軟件的計算機(jī)CPU型號為Intel i3-4170，主頻為3.70GHz，內(nèi)存大小為4G。

4.1系統(tǒng)準(zhǔn)確率分析

由于本實驗對于老人存在很高的危險，所以選擇青壯年代替老人進(jìn)行實驗。圖11為實驗視頻流中的圖像，分別是在不同的角度，以不同的姿態(tài)進(jìn)行的摔倒實驗，同時也模仿老人的日常健身動作，并進(jìn)行摔倒誤報率的對比測試。經(jīng)大量實驗得到：閾值T選10，T1選1.18，T2選0.46，T3選6.5系統(tǒng)性能最佳。

當(dāng)僅用人體高寬比和有效面積比2個條件判定摔倒時，圖11中的12幀圖像均被判定為摔倒，其中圖11（a）、11（b）、11（c）、11（d）、11（e）、11（f）這六幀分別對應(yīng)壓腿、踢腿、擴(kuò)胸、彎腰、俯臥撐和扭秧歌的日常健身動作，存在較大的誤判。增加人體中心變化率對判定結(jié)果進(jìn)行修正后，由于圖11（a）、11（b）、11（c）、11（d）、11（e）、11（f）的中心變化均小于閾值6.5，此時判定結(jié)果為非摔倒，得知通過中心變化能夠有效地減少系統(tǒng)誤判。同時分別在FP-GA硬件平臺與MATLAB軟件平臺進(jìn)行摔倒準(zhǔn)確率測試，摔倒檢測的準(zhǔn)確率對比如表1所示。

表1中TPR為摔倒檢測準(zhǔn)確率，F(xiàn)NR為摔倒漏檢率，TNR為正?；顒訖z測準(zhǔn)確率，F(xiàn)PR為摔倒誤判率。1）TPR=正確檢測出摔倒的次數(shù)/實際摔倒總次數(shù);2）FNR=沒有檢測出摔倒的次數(shù)/實際摔倒總次數(shù);3）TNR=檢測為正常活動的次數(shù)/正?；顒涌偞螖?shù);4）FPR=誤判為摔倒的次數(shù)/正常活動總次數(shù)。

由表1得出使用FPGA平臺摔倒檢測的準(zhǔn)確率比MATLAB平臺低1%，造成該結(jié)果的原因應(yīng)該是由于FPGA的處理速度過快，導(dǎo)致一部分的圖像幀的缺失。

4.2系統(tǒng)實時性分析

該實驗使用的CMOS數(shù)字圖像傳感器采集到的圖像分辨率為640×480，輸出的視頻幀率為25fps。FPGA硬件平臺的幀率通過測試系統(tǒng)的算法處理完一幀圖像所需要的時鐘周期數(shù)，從而計算出處理后的視頻幀速率，同時使用相同的視頻流在MATLAB軟件平臺上測試系統(tǒng)的算法處理圖像的幀速率。表2給出了本文算法分別在FPGA和MATLAB 2個實驗平臺上得到的幀處理速率，表3為該系統(tǒng)的報警響應(yīng)時間。

表2給出了本文設(shè)計的系統(tǒng)進(jìn)行視頻流摔倒檢測時的幀處理速率為24.86fps，與CMOS數(shù)字圖像傳感器輸出的視頻流幀率基本保持一致，大約為MATLAB軟件平臺處理速度的2.4倍。表3中得到平均聲光報警響應(yīng)時間為0.51s，實時性滿足要求;GPRS短信的平均發(fā)送時間為4.97s，會受到手機(jī)網(wǎng)絡(luò)信號或者運(yùn)營商的影響。實驗結(jié)果證明了基于FPGA的摔倒檢測報警系統(tǒng)的圖像處理速度快，摔倒報警響應(yīng)及時，有很好的實時性。

5結(jié)論

本文設(shè)計了一種基于FPGA的視頻監(jiān)控摔倒檢測報警系統(tǒng)，在FPGA平臺實現(xiàn)圖像處理與摔倒監(jiān)測，通過Verilog HDL配置FPGA內(nèi)部邏輯功能，實現(xiàn)摔倒檢測并自動報警。實驗結(jié)果表明，該系統(tǒng)穩(wěn)定性好，誤報率低。同時將摔倒檢測系統(tǒng)應(yīng)用于家用照明燈，在不增加額外設(shè)備的前提下，能夠完成摔倒后室內(nèi)燈光閃爍、蜂鳴器發(fā)聲與摔倒短信發(fā)送的主動報警，構(gòu)建了一個成本低、功耗小、誤報低且滿足實時性要求的摔倒檢測報警系統(tǒng)，符合智能家居市場的潮流趨勢。