楊庭 徐桂彬 嚴(yán)俊 徐遙 王宇

摘要：安全帽作為生產(chǎn)作業(yè)中極為重要的安全防護(hù)工具之一，并且在疫情期間，佩戴口罩也是最基礎(chǔ)最必要的防護(hù)工具。為了提高電力作業(yè)人員的安全意識，進(jìn)一步保護(hù)工作人員的生命安全，該系統(tǒng)結(jié)合實(shí)際應(yīng)用場景，設(shè)計(jì)了一種基于深度學(xué)習(xí)的電力施工場景下的安全帽和口罩檢測系統(tǒng)。該系統(tǒng)將深度學(xué)習(xí)的目標(biāo)檢測算法應(yīng)用于安全帽和口罩檢測系統(tǒng)，通過改進(jìn)CenterNet算法，使用電力施工場景標(biāo)注的數(shù)據(jù)集訓(xùn)練目標(biāo)檢測模型，并部署在智能監(jiān)控視頻分析服務(wù)器上。初步實(shí)際應(yīng)用表明，該系統(tǒng)的安全帽檢測準(zhǔn)確率達(dá)到87%，口罩檢測準(zhǔn)確率達(dá)到94%，在結(jié)合系統(tǒng)功能的情況下，能有效適應(yīng)電力施工場景下的安全帽和口罩檢測識別與違規(guī)管理。

關(guān)鍵詞：深度學(xué)習(xí); 安全帽檢測; 口罩識別; 智能監(jiān)控; 電力場景

中圖分類號：TP391.4? ? ? 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2022）10-0015-04

疫情期間，在特定的電力施工場景下，作業(yè)人員佩戴安全帽和口罩是符合安全規(guī)章制度的基本要求[1]。在電力作業(yè)人員施工過程中，安全帽和口罩作為常用的個(gè)人防護(hù)用品，可以避免作業(yè)人員的頭部受到嚴(yán)重傷害以及疫情的傳播風(fēng)險(xiǎn)。然而部分作業(yè)人員安全意識薄弱、無視安全規(guī)章制度、進(jìn)入施工作業(yè)未佩戴安全帽和口罩，將會(huì)造成嚴(yán)重的安全隱患。

由于深度神經(jīng)網(wǎng)絡(luò)優(yōu)化算法在視頻監(jiān)控系統(tǒng)中的廣泛應(yīng)用，新一代智能監(jiān)控視頻系統(tǒng)應(yīng)運(yùn)而生[2]。智能監(jiān)控視頻系統(tǒng)的技術(shù)性是將人工智能算法與數(shù)字視頻監(jiān)控系統(tǒng)相結(jié)合，提高了系統(tǒng)軟件的智能系統(tǒng)自動(dòng)解決能力，大大提高了安全施工監(jiān)管的實(shí)際效果，有效地減少了安全監(jiān)管人員的工作量。智能監(jiān)控視頻系統(tǒng)可以處理數(shù)字視頻監(jiān)控系統(tǒng)傳回的監(jiān)控視頻流，分析并檢測出作業(yè)人員是否佩戴安全帽和口罩，并能及時(shí)反饋此監(jiān)控信息，監(jiān)控人員能有效地對作業(yè)人員進(jìn)行監(jiān)督管理，達(dá)到利用監(jiān)控視頻系統(tǒng)對電力作業(yè)人員智能管理的目的。

在智能視頻監(jiān)控系統(tǒng)研究方面，文獻(xiàn)[3]設(shè)計(jì)了一種基于改進(jìn)YOLOV3的安全帽檢測方法，此方法采用DenseNet方法處理低分辨率的特征層，在保持特征提取的前提下降低了計(jì)算復(fù)雜度;文獻(xiàn)[4]提出了一種基于改進(jìn)Faster-RCNN的安全帽檢測算法，此方法采用了跳躍網(wǎng)絡(luò)結(jié)構(gòu)，結(jié)合集成學(xué)習(xí)的思想，改進(jìn)了安全帽檢測方法。但是上述方法都是在不同的實(shí)際場景下應(yīng)用，針對電力施工場景卻存在一定的不適應(yīng)性。文獻(xiàn)[5]提出了一種電力施工場景下安全帽穿戴狀態(tài)檢測算法，此方法采用輕量級深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，從圖像中充分提取不同尺度特征，并生成特征圖;再通過卷積預(yù)測器，進(jìn)行對多尺度特征分析。但是在疫情期間，口罩佩戴也是施工人員的必備防護(hù)用品，文獻(xiàn)[5]卻不能實(shí)現(xiàn)電力施工場景下的口罩佩戴檢測。因此，開發(fā)一種電力施工場景下的智能安全帽和口罩檢測系統(tǒng)是具有現(xiàn)實(shí)意義的。

本文結(jié)合實(shí)際應(yīng)用場景，通過改進(jìn)CenterNet算法，部署在電力施工場景中標(biāo)注的數(shù)據(jù)集訓(xùn)練的目標(biāo)檢測模型，設(shè)計(jì)了一種智能監(jiān)控安全帽和口罩檢測系統(tǒng)，以對電力施工場景下中作業(yè)人員是否佩戴安全帽和口罩進(jìn)行實(shí)時(shí)檢測與處理。在提供智慧監(jiān)控檢測管理的同時(shí)，保障作業(yè)人員的生命安全。

1 核心算法

1.1 CenterNet檢測算法

CenterNet[6]是一個(gè)無先驗(yàn)框的檢測算法，CenterNet使用的主干特征網(wǎng)絡(luò)有許多種，一般是以Hourglass Network[7]、ResNet[8]或者DLANet[9]為主干特征提取網(wǎng)絡(luò)，筆者選擇采用Backbone為ResNet。其中ResNet中有2個(gè)基本模塊：身份模塊（Identity-Block）和卷積模塊（Conv-Block），最終，從此網(wǎng)絡(luò)中選取兩個(gè)Feature Map，其中，卷積模塊輸入和輸出的維度是不一樣的，此模塊的作用是改變網(wǎng)絡(luò)的維度;而身份模塊的輸入維度和輸出維度相同，此模塊作用是加深網(wǎng)絡(luò)的深度。后續(xù)產(chǎn)生三個(gè)feature map，一個(gè)作為熱力預(yù)測中心點(diǎn)的坐標(biāo)，一個(gè)用于回歸中心坐標(biāo)的偏移值，最后一個(gè)用于預(yù)測物體的寬高值。

1.2 改進(jìn)的CenterNet檢測算法

雖然CenterNet具有較快的推理速度和較高的準(zhǔn)確度，在工業(yè)場景中得到了廣泛應(yīng)用。然而，CenterNet類別Heatmap構(gòu)建過于單一，直接將所有的目標(biāo)都編碼為圓形高斯核，沒有考慮到目標(biāo)框長寬比的變化和不同尺度的目標(biāo)分布不均衡問題。另外，CenterNet的目標(biāo)存在推定僅依賴于本地或者目標(biāo)較近區(qū)域的特征，對于類內(nèi)和類間的相距較遠(yuǎn)，但語義相關(guān)目標(biāo)缺乏有效的信息挖掘。

為了優(yōu)化CenterNet的上述問題，進(jìn)一步提高網(wǎng)絡(luò)性能，本系統(tǒng)通過改進(jìn)CenterNet算法，提出了尺度自適應(yīng)編碼模塊和類別注意力模塊。尺度自適應(yīng)編碼模塊在設(shè)定的IoU范圍，根據(jù)真實(shí)目標(biāo)框的大小生成目標(biāo)框長寬相關(guān)的橢圓高斯核撒入類別分?jǐn)?shù)圖中，用于代表真實(shí)目標(biāo)框的類別信息，均衡不同尺度的目標(biāo)框在訓(xùn)練過程中的損失。類別注意力模塊通過在特征圖的通道內(nèi)和通道間構(gòu)建注意力機(jī)制，挖掘類內(nèi)和類間的相距較遠(yuǎn)但語義相關(guān)的目標(biāo)間的有效信息。

2 系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

監(jiān)控安全帽和口罩檢測系統(tǒng)主要包含三個(gè)模塊：用戶注冊管理模塊、智能監(jiān)控檢測模塊、報(bào)警信息管理模塊。其中智能監(jiān)控檢測模塊分為安全帽檢測模塊和口罩檢測模塊。系統(tǒng)功能模塊圖如圖1所示。

2.1 系統(tǒng)功能模塊設(shè)計(jì)

用戶注冊管理模塊主要功能是用戶注冊人臉信息，此功能為整體系統(tǒng)的其他功能提供其作業(yè)人員的主要信息，在后續(xù)的檢測功能中起著基礎(chǔ)性作用。用戶注冊人臉信息主要填寫作業(yè)人員相應(yīng)的工號、姓名、性別、手機(jī)號、工種、出生日期、公司、所在小組、是否是組內(nèi)領(lǐng)導(dǎo)，至此，相應(yīng)錄入人臉，便可以生成人臉的特征信息。

智能監(jiān)控檢測模塊主要功能是對作業(yè)人員進(jìn)入施工場景的人員數(shù)據(jù)進(jìn)行監(jiān)控，并且檢測其作業(yè)人員是否符合安全規(guī)定佩戴安全帽和口罩。

報(bào)警信息管理控制模塊包括查詢報(bào)警信息內(nèi)容、推送報(bào)警信息內(nèi)容和解決報(bào)警信息內(nèi)容。查詢報(bào)警信息內(nèi)容是能夠查詢當(dāng)前和以前的報(bào)警信息內(nèi)容，可以查詢報(bào)警時(shí)間、報(bào)警區(qū)域、報(bào)警情況和工作處理人等相關(guān)信息，推送報(bào)警信息是推送當(dāng)前未處理的報(bào)警信息內(nèi)容，將報(bào)警信息的內(nèi)容推送給相關(guān)負(fù)責(zé)人進(jìn)行處理，解決報(bào)警信息內(nèi)容是由負(fù)責(zé)解決該條報(bào)警信息的工作人員對其進(jìn)行狀態(tài)的更改等操作。

2.2 系統(tǒng)功能流程實(shí)現(xiàn)

系統(tǒng)軟件整體流程圖如圖2所示，用戶輸入ID和登錄密碼驗(yàn)證真實(shí)身份，如果驗(yàn)證失敗，則返回輸入頁面;如果驗(yàn)證成功，則進(jìn)入主界面。如果是管理員，可選擇進(jìn)行管理方式的操作或智能安全預(yù)警信息的操作，如果是普通用戶，則只能進(jìn)行智能安全預(yù)警的操作。智能安防預(yù)警信息的工作流程是：先將控制模塊根據(jù)rtmp協(xié)議連接到監(jiān)控?cái)z像頭，獲取實(shí)時(shí)視頻流，然后將RTMP協(xié)議視頻傳輸?shù)揭曨l監(jiān)控系統(tǒng)控制模塊，進(jìn)行安全匹配檢查。當(dāng)發(fā)生安全隱患時(shí)，立即將報(bào)警信息內(nèi)容發(fā)送至前端，提醒監(jiān)控人員提高安全施工監(jiān)控管理的實(shí)際效果。

（1） 用戶注冊模塊

用戶注冊模塊負(fù)責(zé)系統(tǒng)的人員注冊功能，分別對作業(yè)人員和管理者等進(jìn)行增刪查改，并在數(shù)據(jù)庫進(jìn)行相應(yīng)的操作，管理員可對所有對象進(jìn)行管理，作業(yè)人員僅可修改自己的信息。用戶注冊模塊的業(yè)務(wù)流程如圖3所示，首先選擇注冊人員信息方式，本地輸入或在線輸入，然后判斷檢測人臉是否為同一個(gè)，若檢測是同一個(gè)人，則將進(jìn)行人臉矯正操作和人臉特征提取，輸入注冊人員姓名和年齡等信息，保存其注冊信息。

（2） 智能監(jiān)控檢測模塊

視頻監(jiān)控系統(tǒng)巡檢控制模塊是系統(tǒng)軟件的關(guān)鍵控制模塊，該模塊封裝了經(jīng)過訓(xùn)練的安全帽監(jiān)控檢測系統(tǒng)和口罩監(jiān)控檢測系統(tǒng)軟件，以上兩種檢測模型都是基于改進(jìn)的CenterNet優(yōu)化算法訓(xùn)練。同時(shí)設(shè)置不同的接口進(jìn)行不同的目標(biāo)檢測，根據(jù)加載監(jiān)控?cái)z像頭報(bào)警信息的主要參數(shù)，連接對應(yīng)接口進(jìn)行目標(biāo)檢測工作。視頻智能監(jiān)控系統(tǒng)檢測流程圖如圖4所示，當(dāng)獲取視頻幀圖像后，首先將圖像送入行人檢測，如果沒有檢測到行人，則繼續(xù)輸入新的圖像幀。如果檢測到行人，則將提取行人區(qū)域，將其發(fā)送至安全帽檢測模型，檢測行人是否佩戴安全帽;如果沒有檢測到佩戴安全帽，則直接推送警報(bào)信息內(nèi)容，若檢測到行人已佩戴安全帽，則繼續(xù)輸入到后續(xù)的口罩檢測模型中;若檢測到工作人員佩戴口罩，則將施工人員佩戴安全帽和口罩的位置與行人進(jìn)行位置對比，若檢測到佩戴安全帽的位置在行人區(qū)域的頂部且佩戴的口罩位于行人的面部，則表示作業(yè)人員佩戴安全帽和口罩，符合施工安全管理?xiàng)l例，否則視為不符合安全管理?xiàng)l例，并發(fā)送報(bào)警信息。

（3） 報(bào)警信息管理模塊

報(bào)警信息管理模塊主要對于收集的報(bào)警信息進(jìn)行處理，管理者可以通過屏幕實(shí)時(shí)觀看未處理的違規(guī)記錄，可以通過調(diào)取特定時(shí)間段內(nèi)的違規(guī)記錄，選擇違規(guī)圖片后對違規(guī)人員進(jìn)行扣分操作，處理后的違規(guī)記錄將會(huì)以綠標(biāo)進(jìn)行提示。本系統(tǒng)可以根據(jù)違規(guī)情況進(jìn)行數(shù)據(jù)統(tǒng)計(jì)，用可視化的圖片幫助管理者管理，以月為單位對違規(guī)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)，整理出人員本月的基本信息、違規(guī)情況、月考勤分值等相關(guān)信息。

3 系統(tǒng)開發(fā)與測試

（1） 系統(tǒng)開發(fā)環(huán)境

硬件環(huán)境：本系統(tǒng)使用PC機(jī)的處理器為Intel（R） Core（TM）i7-6500 CPU@2.6GHz，搭載64位Windows10操作系統(tǒng)和16G內(nèi)存。使用海康威視攝像頭采集并獲取實(shí)時(shí)監(jiān)控視頻流。

軟件環(huán)境：核心檢測模型的訓(xùn)練使用Python語言，采用PyTorch深度學(xué)習(xí)框架，通過LabelImg標(biāo)注所獲取的圖片，編輯器Intellij IDEA2017.1，數(shù)據(jù)庫使用MySQL5.5。

（2） 系統(tǒng)功能測試

為檢測該系統(tǒng)是否能正常進(jìn)行監(jiān)控管理工作，本文對此系統(tǒng)的智能監(jiān)控預(yù)警功能進(jìn)行了測試，測試主要包括用戶設(shè)置檢測模式后，系統(tǒng)是否會(huì)根據(jù)設(shè)置進(jìn)行檢測并報(bào)警等。智能預(yù)警功能測試的具體測試樣例如圖5所示[10]。

（3） 系統(tǒng)性能測試

在本智能視頻監(jiān)控檢測系統(tǒng)的整體過程中，系統(tǒng)使用Visual Studio2019性能專業(yè)工具進(jìn)行實(shí)時(shí)監(jiān)視。根據(jù)監(jiān)控視頻數(shù)據(jù)信息的重復(fù)分析，同時(shí)監(jiān)控系統(tǒng)進(jìn)程的CPU和內(nèi)存占用進(jìn)行匹配統(tǒng)計(jì)分析，計(jì)算本系統(tǒng)平均CPU占用和內(nèi)存占用情況，最后評估本系統(tǒng)的監(jiān)控特性[11]。

在整個(gè)系統(tǒng)測試過程中，CPU平均占用率為50%，內(nèi)存平均占用率為1GB。對于分辨率為1920×1080的30秒視頻，截取的總幀數(shù)為58，總運(yùn)行時(shí)間為1分20秒。在單幀視頻圖像中檢測頭盔和面罩的平均時(shí)間約為1.5秒，輸出所有檢測結(jié)果的時(shí)間約為80秒。整個(gè)視頻的安全帽和口罩檢測過程都以比較快的速度完成檢測。本智能視頻監(jiān)控檢測系統(tǒng)性能能達(dá)到預(yù)期標(biāo)準(zhǔn)，并且能夠快速處理實(shí)際場景監(jiān)控視頻的輸入。

（4） 系統(tǒng)檢測準(zhǔn)確率測試

本系統(tǒng)在WiderFace[12]數(shù)據(jù)集上進(jìn)行準(zhǔn)確率測試，得出在佩戴安全帽和口罩檢測方面準(zhǔn)確率分別約為90%和97%。綜合所有監(jiān)控場景的視頻數(shù)據(jù)，通過對實(shí)際場景監(jiān)控獲取的視頻數(shù)據(jù)系統(tǒng)準(zhǔn)確率測試，系統(tǒng)對安全帽和口罩的檢測準(zhǔn)確率分別約為87%和94%，存在少量遮擋以及目標(biāo)人物獲取圖像太小，導(dǎo)致未能識別或部分錯(cuò)誤識別的數(shù)據(jù)。

（5） 系統(tǒng)實(shí)際檢測結(jié)果

將訓(xùn)練已完成的檢測算法模型部署到海康攝像頭上，使用多線程處理，通過對實(shí)時(shí)視頻流進(jìn)行檢測以及跟蹤，并采用tensorRT進(jìn)行前向推理。對實(shí)際施工場景下施工人員的實(shí)時(shí)監(jiān)控，檢測施工人員是否佩戴安全帽和口罩，并統(tǒng)計(jì)未符合佩戴安全帽和口罩的施工人員的違規(guī)信息，管理者對違規(guī)人員實(shí)行扣分制度，提高施工人員的安全意識，避免造成嚴(yán)重的安全隱患，實(shí)際檢測結(jié)果如圖6所示。

4 結(jié)論

本文設(shè)計(jì)實(shí)現(xiàn)了一個(gè)電力施工場景下的安全帽和口罩檢測系統(tǒng)。通過改進(jìn)深度學(xué)習(xí)CenterNet目標(biāo)檢測算法，利用此核心檢測算法，設(shè)計(jì)一種面向智慧工地的視頻監(jiān)控檢測系統(tǒng)。初步應(yīng)用表明，本系統(tǒng)的安全帽模型檢測準(zhǔn)確率大約為87%，口罩模型檢測準(zhǔn)確率大約為94%，在結(jié)合系統(tǒng)功能的情況下，能有效適應(yīng)電力施工環(huán)境下，安全帽與口罩的檢測識別與違規(guī)管理。該系統(tǒng)可以輔助施工管理人員快速、準(zhǔn)確處理違規(guī)事件，提高施工人員安全意識，避免出現(xiàn)嚴(yán)重的重大安全隱患。

但本檢測系統(tǒng)仍存在一些問題有待解決，比如智能視頻監(jiān)控視頻中施工人員會(huì)出現(xiàn)被障礙物遮擋的情況，或者施工人員之間的互相遮擋，這種情況下本檢測系統(tǒng)的檢測準(zhǔn)確率會(huì)降低;另外，目前整個(gè)系統(tǒng)運(yùn)行時(shí)占用資源較大。因此，在今后的工作中，需要對檢測算法的進(jìn)一步優(yōu)化，提高智能視頻監(jiān)控系統(tǒng)的檢測準(zhǔn)確率和效率。

參考文獻(xiàn)：

[1] 王灃.改進(jìn)yolov5的口罩和安全帽佩戴人工智能檢測識別算法[J].建筑與預(yù)算，2020（11）：67-69.

[2] 邵琪琦，唐陽，李想，等.安全帽與口罩檢測管理系統(tǒng)設(shè)計(jì)[J].科學(xué)技術(shù)創(chuàng)新，2021（6）：100-102.

[3] 張勇，吳孔平，高凱，等.基于改進(jìn)型YOLOV3安全帽檢測方法的研究[J].計(jì)算機(jī)仿真，2021，38（5）：413-417.

[4] 趙艷芹，何東來，朱子寒.煤礦井下集成學(xué)習(xí)的安全帽佩戴檢測算法[J].黑龍江科技大學(xué)學(xué)報(bào)，2021，31（2）：240-246.

[5] 梁偉，荊朝，周治國，等.電力施工場景下安全帽穿戴狀態(tài)檢測算法研究[C].第十四屆全國信號和智能信息處理與應(yīng)用學(xué)術(shù)會(huì)議論文集， 2021（05）：508-512.

[6] Duan K W，Bai S，Xie L X，et al.CenterNet：keypoint triplets for object detection[C]//2019 IEEE/CVF International Conference on Computer Vision （ICCV）.October 27 - November 2，2019，Seoul，Korea （South）.IEEE，2019：6568-6577.

[7] Newell A，Yang K Y，Deng J.Stacked hourglass networks for human pose estimation[M]//Computer Vision – ECCV 2016.Cham：Springer International Publishing，2016：483-499.

[8] He K M，Zhang X Y，Ren S Q，et al.Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition.June 27-30，2016，Las Vegas，NV，USA.IEEE，2016：770-778.

[9] Yu F，Wang D Q，Shelhamer E，et al.Deep layer aggregation[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.June 18-23，2018，Salt Lake City，UT，USA.IEEE，2018：2403-2412.

[10] 樊鈺.基于深度學(xué)習(xí)的安全帽檢測系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D].呼和浩特：內(nèi)蒙古大學(xué)，2019.

[11] 王忠玉.智能視頻監(jiān)控下的安全帽佩戴檢測系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].北京：北京郵電大學(xué)，2018.

[12] Yang S，Luo P，Loy C C，et al.WIDER FACE：a face detection benchmark[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition.June 27-30，2016，Las Vegas，NV，USA.IEEE，2016：5525-5533.

【通聯(lián)編輯：唐一東】

收稿日期：2021-12-15

基金項(xiàng)目：武漢工程大學(xué)第十一屆研究生教育創(chuàng)新基金項(xiàng)目：基于多視角圖像紋理補(bǔ)償?shù)娜四槼直媛仕惴ㄑ芯浚–X2019244） ;湖北省重大科技項(xiàng)目：基于邊緣智能計(jì)算的多源感知信息融合關(guān)鍵技術(shù)研究與應(yīng)用（2019AAA045）

作者簡介：楊庭（1975—） ，男，貴州劍河人，本科，研究方向?yàn)殡娋W(wǎng)數(shù)字化項(xiàng)目管理;徐桂彬（1984—） ，男，湖北武漢人，本科，研究方向?yàn)殡娏Π踩O(jiān)管與電力環(huán)保;嚴(yán)?。?983—） ，男，湖北武漢人，碩士，研究方向?yàn)榈貓D制圖學(xué)與地理信息工程;徐遙（1981—） ，男，湖北武漢人，本科，研究方向?yàn)辄c(diǎn)電力自動(dòng)化;王宇（1996—） ，男，湖北荊州人，碩士，研究方向?yàn)閳D像處理。