基于輕量級OpenPose的井下人員行為檢測算法研究

阮進林，高 鵬，孫 源，趙明輝

(1.國能神東煤炭集團公司保德煤礦，山西 忻州 036600；2.同濟大學(xué) 電子與信息工程學(xué)院，上海 201804；3.中煤科工集團上海有限公司，上海 200030)

隨著智能化技術(shù)的普及，智能制造也逐漸成為現(xiàn)代先進制造業(yè)的新方向。大數(shù)據(jù)、人工智能、云計算、互聯(lián)網(wǎng)等新興技術(shù)被深度融合進現(xiàn)代智慧礦山理念[1]中。煤礦井下的工作人員在煤礦行業(yè)中發(fā)揮著重要的作用，這些人員的行為直接關(guān)系到煤礦井下的管理和發(fā)展。近幾年，因為井下人員不安全行為，井下人員受傷事件頻發(fā)[2]，如何使用新興技術(shù)保證井下工作人員安全是重中之重。因此需要一種具備動態(tài)檢測，快速分析和實時報警提示功能的智能姿態(tài)檢測系統(tǒng)，實時督查人員的不安全行為，并且當(dāng)發(fā)現(xiàn)違規(guī)行為或不安全行為時發(fā)出相應(yīng)的提示，保證煤礦工作的正常運行。

傳統(tǒng)目標(biāo)行為分析主要分為基于模型的方法[3]和基于相似度量的方法[4]，然而這些方法復(fù)雜且冗余度很高，普遍實用性差。為了有效分析人員行為，文獻[5]采用長短時記憶網(wǎng)絡(luò)算法對多傳感器采集的現(xiàn)場數(shù)據(jù)進行處理，該算法的訓(xùn)練速度快，并且模型內(nèi)存占用較低，在人體行為檢測上可以取到很好的準(zhǔn)確率。文獻[6]基于慣性傳感器設(shè)計一種自適應(yīng)的誤差四元數(shù)無跡卡爾曼濾波(DAUKF)算法，并引入漸消記憶法自適應(yīng)地調(diào)整觀測噪聲協(xié)方差，以減少系統(tǒng)本身和環(huán)境對姿態(tài)檢測的干擾，所提方法提高了姿態(tài)檢測精度。然而對于多人檢測時，這些方法會面臨著設(shè)備復(fù)雜并且成本相對較高等問題。

目前結(jié)合深度學(xué)習(xí)[7-9]和機器學(xué)習(xí)[10，11]實現(xiàn)人體姿態(tài)檢測的算法，已在很多場景得到了廣泛的運用，并且精度也可以得到保證。其中，OpenPose網(wǎng)絡(luò)結(jié)構(gòu)[12]由于具備有效提取人體骨骼點的能力而被運用于姿態(tài)檢測。鄭雪晨[13]等人使用OpenPose算法獲取視頻中人體的骨骼點，并結(jié)合SVM算法實現(xiàn)人體異常跌倒姿態(tài)的檢測，可以實時檢測老人的姿態(tài)。朱建寶[14]等人在OpenPose多人姿態(tài)估計算法的基礎(chǔ)上，提出了一種人員危險行為檢測模型，該方法可以有效的檢測多人的行為是否是危險行為。伏娜娜[15]等人在 Yolov5s人體目標(biāo)檢測算法的基礎(chǔ)上結(jié)合輕量級OpenPose人體姿態(tài)估計模型，并且通過自定義跌倒檢測算法檢測人員是否摔倒，該算法有較高的特異度并且檢測的誤報率低。除了可以使用自下而上的OpenPose算法進行人體姿態(tài)估計，自上而下的AlphaPose[16]算法也被廣泛的應(yīng)用在人體姿態(tài)檢測中，陳博[17]等人運用AlphaPose人體姿態(tài)檢測算法對人體關(guān)鍵點進行提取，構(gòu)建特征向量，通過支持向量機分類算法得到姿態(tài)類別，再通過滑動窗口法判斷是否有異常行為，當(dāng)發(fā)生異常時進行本地提醒和遠程報警，可以實時實現(xiàn)多人的姿態(tài)檢測。與傳統(tǒng)僅使用單一的骨骼點檢測算法不同，鄧偉男[18]結(jié)合OpenPose和AlphaPose骨骼點檢測算法提出狀態(tài)檢測方法，可以有效地檢測多人的姿態(tài)，并且可以判斷出是否有疲勞的風(fēng)險。

目前，面向煤礦井下人員的姿態(tài)檢測應(yīng)用比較少，本文在現(xiàn)有的人體姿態(tài)檢測算法的基礎(chǔ)上設(shè)計了一套智能輔助姿態(tài)檢測管理系統(tǒng)，檢測速度達到30 f/s，姿態(tài)識別整體準(zhǔn)確率86.35%，可自動檢測井下工作人員是否有摔倒、攀爬和推搡不安全行為。該系統(tǒng)具備報警信息輸出功能，提示相應(yīng)的工作人員，減少不安全行為的發(fā)生。

1 算法設(shè)計

1.1 OpenPose姿態(tài)檢測模型

OpenPose網(wǎng)絡(luò)結(jié)構(gòu)是由美國卡耐基梅隆大學(xué)的研究人員通過神經(jīng)網(wǎng)絡(luò)和監(jiān)督學(xué)習(xí)提出的自下而上的人體姿態(tài)評估算法?？梢詫θ梭w的動作、面部的表情以及手指的運動等姿態(tài)進行估計。OpenPose使用VGG-19卷積神經(jīng)網(wǎng)絡(luò)對輸入圖像進行預(yù)處理，得到特征圖F。然后將特征圖輸入到運算分支ρt和φt，其中分支ρt用于預(yù)測骨骼點置信圖PCM，另一路分支φt用于預(yù)測骨骼點親和域PAF，t為階段即表示串行的模塊，一般取值為5，6，7。

每一階段的骨骼點置信圖PCM與骨骼點親和域PAF的輸出結(jié)果分別記為St和Lt。

在第一階段中輸入的是VGG-19網(wǎng)絡(luò)輸出的特征圖F，其他階段輸入的數(shù)據(jù)為VGG-19輸出的特征圖F和上階段輸出的骨骼點置信圖PCM與骨骼點親和域PAF。

St和Lt表達式見式(1)。

1.2 輕量級OpenPose姿態(tài)檢測模型

為了提高姿態(tài)檢測模型的計算效率，需要對原始的網(wǎng)絡(luò)模型進行輕量化操作，以期實現(xiàn)在識別精度丟失不大的情況下完成實時姿態(tài)檢測。本文主要是針對骨干網(wǎng)絡(luò)選取輕量化的網(wǎng)絡(luò)進行替代，具體如下：

Backbone改進：輕量級OpenPose網(wǎng)絡(luò)結(jié)構(gòu)[19]是OpenPose網(wǎng)絡(luò)結(jié)構(gòu)的改進版，Daniil Osokin等嘗試使用MobileNet網(wǎng)絡(luò)替換掉VGG-19設(shè)計輕量級OpenPose算法，并進行改進時發(fā)現(xiàn)使用擴張卷積可以顯著提升輕量級OpenPose的識別精度，由37.9 AP提升至42.8 AP。然此精度相對原本OpenPose下降幅度仍然很大。原因可能為Mobilenet在提取特征語義信息方面表現(xiàn)不佳，使用擴張卷積雖然有助于獲取特征語義信息，但提升幅度有限。SUN等人[20]提出一種稱為HRNet的高分辨率網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，該網(wǎng)絡(luò)在整個計算過程中始終保持高分辨率，可以并行連接從高分辨率到低分辨率的卷積流，并且實現(xiàn)了跨層信息交換，因而生成的特征圖包含更豐富語義信息，在空間識別上更精確。 經(jīng)測試發(fā)現(xiàn)HRNet18的計算量僅為3.2 GFLOPS是VGG19(19.2 GFLOPS)的16%，因而可采用HRNet18替換VGG19設(shè)計輕量化的OpenPose。

圖1 HRNet網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Structure of HRNet network

1)HRNet18在同一個階段中，最后兩層保持兩路分支結(jié)構(gòu)，其余的層合并為單路結(jié)構(gòu)，能夠?qū)崿F(xiàn)骨骼點置信圖PCM與骨骼點親和域PAF共享參數(shù)。

2)對原版7×7卷積核進行了改良，將其改為1×1、3×3、3×3的組合結(jié)構(gòu)卷積核，并且最后一個3×3卷積核膨脹系數(shù)設(shè)為2，可以保持初始感受視野一致。經(jīng)過這樣改進運算參數(shù)量降為二階OpenPose算法的15%，但是性能和準(zhǔn)確率并沒有受到影響，而且算法的運行速度大大提高。輕量級OpenPose算法改良部分如圖2所示。

圖2 輕量級OpenPose改進結(jié)構(gòu)Fig.2 Improved architecture of the lightweight OpenPose

該輕量OpenPose推理在識別精度稍微下降的情況下推理性能提升了近3倍。不同版本的OpenPose的FLOPS、GPU推理性能、識別精度見表1。

表1 OpenPose性能與精度測試Table 1 Performance and accuracy test of OpenPose

1.3 煤礦井下姿態(tài)檢測

輕量級OpenPose網(wǎng)絡(luò)結(jié)構(gòu)可以將圖像或視頻中人體進行姿態(tài)估計，并實時的輸出眼睛、手臂、膝蓋等18個關(guān)鍵的骨骼點，人體骨架如圖3(a)所示。在獲取到骨骼點后，本文通過自定義的姿態(tài)檢測規(guī)則對摔倒姿態(tài)、攀爬姿態(tài)以及推搡姿態(tài)進行檢測和分類。摔倒姿態(tài)檢測、攀爬姿態(tài)檢測以及推搡姿態(tài)檢測的定義對應(yīng)如圖3所示。

圖3 人體骨架與姿態(tài)對應(yīng)Fig.3 Human skeleton models corresponding to different postures

1.3.1 摔倒姿態(tài)檢測的定義

在判別摔倒姿態(tài)時，本文設(shè)計了兩種檢測摔倒姿態(tài)的算法。

1)當(dāng)視頻中只有一個人，使用以下的方法判別是否摔倒。分別記18個部位的骨骼點在圖像中的坐標(biāo)為(xi，yi)，下標(biāo)i表示第i個部位的關(guān)節(jié)點。使用Lbody來表示人體軀干長度，其中x1，x8，x11，y1，y8，y11分別表示頸部、左右腰骨骼點的坐標(biāo)。Lbody的計算見式(2)。

2)當(dāng)視頻中有兩個人以上的人時，使用1)的方法需要加上追蹤，在計算力方面要求比較高，因此本文設(shè)計另一種方法檢測摔倒姿態(tài)。在正常情況下，在煤礦井下的工作人員不會主動躺在崎嶇且潮濕的地面，因此以這個設(shè)想為主體，只需要通過檢測人體脊椎與水平的夾角大小是否小于設(shè)定閾值來判定人員是否摔倒。但是為了防止人彎腰時可能導(dǎo)致脊椎水平夾角變小，另外借助大腿與水平的夾角是否小于設(shè)定的夾角閾值來輔助判定是否摔倒。

判定條件：骨骼點8號和11號的中心點記為C，骨骼點1號和C連成脊椎直線l。骨骼點8號和9號連起來記為大腿直線l1，人體骨骼點11號和12號連起來記為大腿直線l2，直線l與水平的夾角記為γ，直線l1與水平的夾角記為γ1，直線l2與水平的夾角記為γ2。

如果夾角γ<γa和γ1<γb時，或者夾角γ<γa和γ2<γb時，識別為摔倒姿態(tài)。根據(jù)實驗和實際情況，角度γa和γb可設(shè)在30°左右。

1.3.2 攀爬姿態(tài)檢測算法

根據(jù)人員在攀爬的過程中會做出高抬腿的動作，并且攀爬的高度越高，抬腿的動作就會更加明顯的常識，因此基于高抬腿的動作來判斷人員是否存在攀爬的行為。為了能夠更加有效的判別是否有攀爬的行為，在基于高抬腿動作判定攀爬姿態(tài)的同時加入入侵檢測。

判定條件：骨骼點9號和10號連起來記為小腿直線l3，直線l1和直線l3的內(nèi)測的夾角記為αA。同樣，骨骼點12號和13號連起來記為小腿直線l4，直線l2和直線l4的內(nèi)測的夾角記為αB.骨骼點8號和11號的中心點記為C，骨骼點1號和C連成脊椎直線l5。直線l1和直線l的內(nèi)測的夾角記為βA，直線l2和直線l的內(nèi)測的夾角記為βB。

當(dāng)夾角αA

通過測試得到角度a和b可設(shè)在90°左右，角度c和d可設(shè)在150°左右。

1.3.3 推搡姿態(tài)檢測算法

根據(jù)實地考察，礦下少有礦工在正常工作情況下會肢體接觸，工作地點有所間隔，活動多為并排行走。根據(jù)考察信息推搡多為并排行走時互推，或面對面互推。因此，通過判斷上肢末梢與他人軀干或肩膀的相對距離變化關(guān)系來判斷是否發(fā)生推搡。

判定條件：當(dāng)手部骨骼點(4號和7號)與其他人肩部骨骼點(2號或5號)的距離d除以他人脊椎長度Lbody小于系數(shù)?時，則識別為推搡姿態(tài)。但是推搡作用點不完全是肩骨骼點，也可能作用在手臂或胸與背上，根據(jù)測試，系數(shù)應(yīng)該定為0.5～0.7左右。系數(shù)?的計算見式(5)。

2 系統(tǒng)設(shè)計

2.1 系統(tǒng)框架

煤礦井下智能檢測系統(tǒng)框架如圖4所示。在整個系統(tǒng)架構(gòu)中可以支持4路紅外攝像頭，但在實際運行時使用2路紅外攝像頭。通過接入紅外攝像頭的視頻數(shù)據(jù)，然后工控機對視頻里面的人體骨骼點進行智能檢測提取，并且進行姿態(tài)識別分類，當(dāng)檢測到摔倒態(tài)、攀爬姿態(tài)以及推搡姿態(tài)中的一種或幾種時，直接將相應(yīng)的時間和類別信息以及實時的視頻通過socket通信傳到PC端，并且在PC端的界面上顯示相應(yīng)信息，以及進行遠程報警系統(tǒng)還支持在工控機上進行本地配置和根據(jù)實際情況設(shè)置相關(guān)參數(shù)，以及可以在遠程實時查看檢測結(jié)果和報警信息。

圖4 系統(tǒng)架構(gòu)Fig.4 System architecture

2.2 系統(tǒng)功能

煤礦井下智能檢測系統(tǒng)的主要功能如下：①本地報警：當(dāng)檢測到工作人員有不安全行為的時候進行本地報警；②遠程提示：當(dāng)檢測到工作人員有不安全行為時報送給相關(guān)管理部門；③本地配置：系統(tǒng)支持設(shè)置檢測區(qū)域、檢測行為類別等參數(shù)，以及報警相關(guān)接口；④信息記錄：系統(tǒng)可以將檢測到異常行為的相關(guān)信息進行記錄保存；⑤遠程查看：系統(tǒng)支持用戶遠程查看視頻，并且可以查看檢測到的相關(guān)信息；⑥人員進出統(tǒng)計：每個出入口安裝一臺攝像儀通過分析裝置對進出人員數(shù)量進行統(tǒng)計；⑦區(qū)域人數(shù)統(tǒng)計：系統(tǒng)可以統(tǒng)計當(dāng)前區(qū)域中的人員個數(shù)。

2.3 檢測流程

系統(tǒng)的檢測流程主要包括以下幾個步驟：①場景主要是對應(yīng)煤礦井下特定的礦道；②紅外攝像機采集視頻并且對視頻進行編碼，再通過局域網(wǎng)進行傳輸；③工控機接收到視頻信號后、先對視頻進行解碼，然后檢測出視頻中人體的骨骼點；④將姿態(tài)分為摔倒姿態(tài)、攀爬姿態(tài)以及推搡姿態(tài)，選出特定的骨骼點并根據(jù)骨骼點之間的聯(lián)系和利用自定義的姿態(tài)判別方法對姿態(tài)進行檢測；⑤將檢測到的結(jié)果通過警報器進行提示并且在界面上顯示時間和類別。

由于煤礦井下的環(huán)境復(fù)雜，工作人員距離攝像頭的距離存在差異，因此檢測出的人體大小和骨骼點的個數(shù)都會有所差異，對于特有的關(guān)鍵點可能出現(xiàn)誤差，但是對于特定區(qū)域內(nèi)可以做到有效的檢測。系統(tǒng)監(jiān)測流程如圖5所示。

圖5 系統(tǒng)監(jiān)測流程Fig.5 System monitoring process

2.4 系統(tǒng)應(yīng)用

利用煤礦井下智能檢測系統(tǒng)可以實現(xiàn)礦井下特定場景人員安全行為的檢測，如果檢測到攀爬姿態(tài)不安全行為，則會通過提醒語音對人員進行提醒。因為礦井下環(huán)境比較灰暗，如果檢測到摔倒姿態(tài)不安全行為，可通過提示語音提示在同一個場景下的其他工作人員上前幫助，降低人員的受傷程度。如果檢測到推搡姿態(tài)不安全行為，可同通過警報語音進行其進行警告，管控人員的行為規(guī)范。

2.5 測試結(jié)果

為了驗證煤礦井下智能檢測系統(tǒng)能夠有效的進行姿態(tài)檢測識別和分類，分別采集樓道和煤礦井下工作人員的視頻，并且對視頻中的數(shù)據(jù)進行分析，檢測是否存在不安全的行為。下面給出三種姿態(tài)檢測的檢測說明。

對于摔倒姿態(tài)的檢測主要分中距離摔倒、遠距離摔倒、近距離摔倒三種；在礦井下，主要需要檢測的攀爬姿態(tài)有爬梯子、近處側(cè)爬、遠處側(cè)爬；在檢測推搡姿態(tài)時，主要是檢測側(cè)面相推和正面相推。

2.6 模型訓(xùn)練與測試

整套系統(tǒng)的工作設(shè)備主要包括紅外攝像頭、工控機、顯示屏。工作環(huán)境以及相應(yīng)的設(shè)備常數(shù)見表2。本文使用公共COCO數(shù)據(jù)集的人體關(guān)鍵點作為訓(xùn)練數(shù)據(jù)集(包含大約57000張圖像，150000個人體)，煤礦井下的視頻中的樣本圖片作為測試數(shù)據(jù)集，來源于寧夏紅柳煤礦，其中篩選出測試集樣本數(shù)1436張，包含類別數(shù)見表3。本文所使用的姿態(tài)判別閾值設(shè)定見表4。

表2 實驗環(huán)境和參數(shù)Table 2 Experimental environment and parameters

表3 測試集樣本類別描述Table 3 Description of test set sample category

表4 姿態(tài)判別閾值設(shè)定表Table 4 Settings for posture discrimination thresholds

訓(xùn)練過程：輸入的圖片的大小是432×368，一次性訓(xùn)練所有的樣本，每個批次的輸入16張圖片，學(xué)習(xí)率設(shè)置為0.0001，循環(huán)訓(xùn)練60次。每訓(xùn)練一百個批次就輸出一個熱力圖的損失值和部分親和立場的損失值。熱力圖和部分親和力場的損失隨訓(xùn)練次數(shù)的變化分別如圖6和圖7所示。從圖中可以明顯的看出，隨著訓(xùn)練批次的不斷增加，熱力圖和親和力場的損失函數(shù)不斷地下降。

圖6 熱力圖損失隨訓(xùn)練次數(shù)的變化Fig.6 Variation of thermogram loss with number of training sessions

圖7 部分親和力場損失隨訓(xùn)練次數(shù)的變化Fig.7 Variation of partial affinity field loss with training times

測試過程：從煤礦井下的視頻中隨機抽取出若干圖片進行測試，從圖8中可以看出，人體姿態(tài)檢測模型的效果較好，可以較好地將骨骼點檢測出來，再通過摔倒、攀爬以及推搡姿態(tài)算法可以有效地將這三類姿態(tài)分類。

圖8 姿態(tài)檢測測試Fig.8 Posture detection test

2.7 算法比較分析

本文基于以上3種類型的數(shù)據(jù)分別對OpenPose模型下的VGG19版本、MobileNet版本以及本文使用的HRNet18版本使用本文定義的姿態(tài)類別進行結(jié)果比較分析見表5，準(zhǔn)確率計算公式如下：

表5 算法結(jié)果分析Table 5 Algorithm results analysis

Acc_classi=Pre_classi/total_classi×100

式中，i為姿態(tài)類別；Pre_classi為姿態(tài)類別i預(yù)測正確個數(shù)；total_classi為姿態(tài)類別i的總數(shù)；Acc_classi為對應(yīng)姿態(tài)類別i的識別準(zhǔn)確率。

由表5可知，本研究所使用的HRNet18模型較之VGG19而言在精度丟失不大的情況下速率得到大幅的上升，維持在30 f/s以上；另外與MobileNet模型相比，速率幾乎無差但是精度提升很大，提升至少4%，達到整體識別準(zhǔn)確率86.35%；因此本文所使用的HRNet18網(wǎng)絡(luò)模型能夠更加適用于對礦井下人員不安全行為的識別。相比其他OpenPose方案[18]，本文采用低精度的float16數(shù)據(jù)進行訓(xùn)練和預(yù)測，提升了識別速度，適應(yīng)煤礦環(huán)境。

3 結(jié) 語

為了適應(yīng)傳統(tǒng)礦山逐漸朝智慧礦山發(fā)展的趨勢，本文設(shè)計了一種基于輕量級OpenPose模型的煤礦井下人員不安全行為的智能檢測識別系統(tǒng)。該系統(tǒng)可以自動的識別出人員是否存在摔倒姿態(tài)、攀爬姿態(tài)以及推搡姿態(tài)，可以實時檢測識別和及時報警提示。由于煤礦井下環(huán)境復(fù)雜，也會出現(xiàn)一些漏檢的情況，原因主要是井下燈光不足圖像不清晰、拍攝鏡頭被灰塵遮擋、攝像頭布置點位受限導(dǎo)致設(shè)備遮擋人體無法拍攝到完整肢體圖片，后續(xù)工作會繼續(xù)優(yōu)化。