基于互聯(lián)網(wǎng)的公共場(chǎng)所監(jiān)控人臉特征目標(biāo)檢測(cè)

摘要：隨著社會(huì)發(fā)展，公共場(chǎng)所對(duì)于安全性的要求日益提高，監(jiān)控?cái)?shù)據(jù)量也呈指數(shù)級(jí)增加，如何準(zhǔn)確并快速地對(duì)監(jiān)控視頻中人臉進(jìn)行特征檢測(cè)篩選，從而提高整體工作效率，對(duì)于維護(hù)社會(huì)穩(wěn)定、保護(hù)人民生命財(cái)產(chǎn)安全具有重要意義。本文提出了一種基于互聯(lián)網(wǎng)上傳的海量監(jiān)控?cái)?shù)據(jù)的人臉特征目標(biāo)檢測(cè)方案，通過對(duì)人臉特征，如胡須、眼鏡、口罩等特征，對(duì)互聯(lián)網(wǎng)聯(lián)機(jī)多場(chǎng)所監(jiān)控視頻進(jìn)行檢測(cè)，篩選出目標(biāo)人群，從而減少機(jī)器人臉識(shí)別或傳統(tǒng)人工識(shí)別工作量，提高識(shí)別速度，降低成本，最后以口罩佩戴檢測(cè)系統(tǒng)的實(shí)現(xiàn)案例驗(yàn)證了系統(tǒng)可行性及精準(zhǔn)度，并對(duì)目標(biāo)檢測(cè)技術(shù)應(yīng)用前景進(jìn)行了展望。

關(guān)鍵詞：互聯(lián)網(wǎng)；目標(biāo)檢測(cè)；人臉特征；監(jiān)控視頻

引言

近年來，監(jiān)控作為視頻證據(jù)采集的主要工具被大量安置在城市公共區(qū)域各個(gè)角落，有效保證了人民群眾的生命財(cái)產(chǎn)安全，但隨著攝像頭增多，監(jiān)控視頻數(shù)據(jù)量也成倍增加。在證據(jù)調(diào)取時(shí)，線下監(jiān)控存儲(chǔ)銷毀時(shí)限規(guī)定不一、收集處理視頻監(jiān)控?cái)?shù)據(jù)缺乏隱私保護(hù)手段、偵查人員取證能力欠缺等問題[1]，一直困擾著工作人員與場(chǎng)所管理人員。

伴隨互聯(lián)網(wǎng)高速發(fā)展，多地區(qū)多場(chǎng)所監(jiān)控視頻線上整合成為可能，通過多地區(qū)多單位聯(lián)網(wǎng)，將監(jiān)控?cái)z像頭拍攝視頻數(shù)據(jù)由本地服務(wù)器發(fā)送整合至線上服務(wù)器，相關(guān)人員取證時(shí)只需由線上系統(tǒng)平臺(tái)選定人臉特征，由線上服務(wù)器執(zhí)行檢測(cè)功能并返回篩選結(jié)果，降低了人力交通成本，同時(shí)也降低了對(duì)本地檢測(cè)設(shè)備的要求。但龐大的數(shù)據(jù)量無疑增加了傳統(tǒng)人工檢測(cè)成本，造成人力浪費(fèi)，若直接采用深度學(xué)習(xí)，快速精準(zhǔn)人臉識(shí)別也將難以實(shí)現(xiàn)，同時(shí)大多肖像描述也局限于部分特征描述，故如何高效地對(duì)公共場(chǎng)所人群監(jiān)控進(jìn)行特征分析、篩選出對(duì)應(yīng)特征人員成為一大關(guān)鍵問題。

1. 相關(guān)研究與發(fā)展

1.1 目標(biāo)檢測(cè)相關(guān)研究

目前，目標(biāo)檢測(cè)發(fā)展已有20余年，作為計(jì)算機(jī)視覺領(lǐng)域中重要的一項(xiàng)研究課題[2]，主要研究?jī)?nèi)容為將圖像或視頻中目標(biāo)物體與其他無關(guān)信息進(jìn)行區(qū)分，即判斷是否存在目標(biāo)物體，若存在則輸出目標(biāo)坐標(biāo)位置。經(jīng)過數(shù)十年發(fā)展已經(jīng)分為兩種類型：基于手工標(biāo)注特征的傳統(tǒng)目標(biāo)檢測(cè)方法、基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法。

其一，傳統(tǒng)目標(biāo)檢測(cè)[2]利用滑動(dòng)窗口提取候選區(qū)特征并進(jìn)行分類，存在著時(shí)間復(fù)雜度過高、手工設(shè)計(jì)特征局限等問題，隨著神經(jīng)網(wǎng)絡(luò)算法研究與推廣，傳統(tǒng)檢測(cè)算法逐漸退出。其二，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法相較于傳統(tǒng)方法，具有結(jié)構(gòu)靈活、檢測(cè)精度高、速度快等特點(diǎn)。近年來關(guān)于人臉特征目標(biāo)檢測(cè)多采用深度學(xué)習(xí)方法，根據(jù)應(yīng)用場(chǎng)景及響應(yīng)時(shí)間需求有著不同選擇。

有學(xué)者針對(duì)復(fù)雜施工環(huán)境下小目標(biāo)安全帽佩戴檢測(cè)，提出了基于無錨框機(jī)制的安全帽檢測(cè)器[3]，也有學(xué)者選用的是Faster R-CNN改進(jìn)算法在增加錨點(diǎn)條件下完成安全帽佩戴檢測(cè)[4]。除此之外，還有學(xué)者利用YOLOv3進(jìn)行人臉檢測(cè)[5]，在對(duì)安全帽潛在區(qū)域進(jìn)行圖像增強(qiáng)并利用傳統(tǒng)分類器進(jìn)行判斷，YOLO算法優(yōu)勢(shì)在于實(shí)時(shí)性，對(duì)于實(shí)時(shí)目標(biāo)檢測(cè)無疑有著更大的優(yōu)勢(shì)。對(duì)于其他人臉特征，如胡須、帽子等特征，有學(xué)者提出基于卷積神經(jīng)網(wǎng)絡(luò)的檢測(cè)方式，并在圖片輸入前進(jìn)行人臉關(guān)鍵點(diǎn)標(biāo)記及放射變換[6]，消除扭曲旋轉(zhuǎn)影響從而提升了測(cè)試效果。

1.2 互聯(lián)網(wǎng)線上平臺(tái)發(fā)展

近年來，互聯(lián)網(wǎng)飛速發(fā)展，依靠5G技術(shù)高速率、低延遲、大連接特點(diǎn)，互聯(lián)網(wǎng)將曾看似不相關(guān)的載體連接在一起，將曾因延遲過高、效率過低而暫緩的線上平臺(tái)移植成為可能?；ヂ?lián)網(wǎng)正推動(dòng)各行各業(yè)的發(fā)展，在互聯(lián)網(wǎng)快速發(fā)展、線上平臺(tái)技術(shù)日益成熟的背景下，各地方單位更應(yīng)引入互聯(lián)網(wǎng)思維，整合系統(tǒng)資源，優(yōu)化事務(wù)處理流程并減低人力物力成本，打造互聯(lián)網(wǎng)線上平臺(tái)，將各地區(qū)各場(chǎng)所信息整合，從而提高服務(wù)效率與質(zhì)量。

2. 人臉特征目標(biāo)檢測(cè)模型

對(duì)于深度學(xué)習(xí)目標(biāo)檢測(cè)模型的選擇，由檢測(cè)階段數(shù)量及模型復(fù)雜程度可分為單階段檢測(cè)算法及二階段檢測(cè)算法。根據(jù)監(jiān)控視頻中目標(biāo)密度高、尺度小，且對(duì)實(shí)時(shí)性要求低的特征，本次人臉特征檢測(cè)選用基于深度學(xué)習(xí)的二階段檢測(cè)Faster R-CNN算法[7]，算法檢測(cè)流程如圖1所示。該算法較其他算法的最大優(yōu)勢(shì)在于檢測(cè)框生成改進(jìn)，提出了“anchor”，并改進(jìn)了目標(biāo)候選框生成機(jī)制，提高了檢測(cè)框生成速度，從而突破原有R-CNN模型速度瓶頸，且該算法相較其他一階段檢測(cè)算法有著明顯的精準(zhǔn)度優(yōu)勢(shì)，故在滿足檢測(cè)速度要求的前提下，選用Faster R-CNN算法能極大地提升在特定公共區(qū)域人臉佩戴檢測(cè)需求。

3. 總體設(shè)計(jì)方案

3.1 系統(tǒng)架構(gòu)

基于互聯(lián)網(wǎng)的公共場(chǎng)所監(jiān)控人臉特征目標(biāo)檢測(cè)系統(tǒng)整體架構(gòu)設(shè)計(jì)如圖2所示，整個(gè)系統(tǒng)由本地?cái)z像頭、本地視頻服務(wù)器、線上服務(wù)器、本地查詢服務(wù)器構(gòu)成，首先由本地?cái)z像頭將錄制視頻保存至本地，再由本地視頻服務(wù)器將視頻文件保存時(shí)間、文件名稱等信息傳至線上服務(wù)器，當(dāng)本地查找服務(wù)器有特征篩選需求時(shí)，連接至線上服務(wù)器，提交所需目標(biāo)人臉特征及地點(diǎn)時(shí)間信息，線上服務(wù)器篩選對(duì)應(yīng)視頻并對(duì)視頻進(jìn)行人臉特征目標(biāo)檢測(cè)，并將最終結(jié)果返回至本地查找服務(wù)器。

3.2 檢測(cè)系統(tǒng)設(shè)計(jì)方案

基于深度學(xué)習(xí)的人臉特征檢測(cè)系統(tǒng)架設(shè)在線上服務(wù)器，系統(tǒng)結(jié)構(gòu)如圖3所示，整體由PyQt5設(shè)計(jì)圖形化界面封裝，系統(tǒng)設(shè)計(jì)共分為圖像檢測(cè)與視頻檢測(cè)兩個(gè)部分，由外部接口將視頻或圖像數(shù)據(jù)輸入，其中視頻需要抽幀為圖片，之后將圖像進(jìn)行預(yù)處理，再交由已完成訓(xùn)練的深度學(xué)習(xí)目標(biāo)檢測(cè)模塊，最后再輸出圖片或拼幀為視頻。

4. 系統(tǒng)設(shè)計(jì)原理

本系統(tǒng)基于互聯(lián)網(wǎng)線上平臺(tái)部分目前已有成熟體系，下面僅介紹主要模塊人臉特征檢測(cè)系統(tǒng)設(shè)計(jì)原理。

4.1 基于Faster R-CNN的人臉特征檢測(cè)模型

人臉特征檢測(cè)模型是整個(gè)系統(tǒng)核心，要實(shí)現(xiàn)訓(xùn)練數(shù)據(jù)收集與處理、模型訓(xùn)練、訓(xùn)練結(jié)果分析與優(yōu)化三個(gè)階段，模型訓(xùn)練的好壞直接關(guān)系到整個(gè)系統(tǒng)檢測(cè)的速度及精準(zhǔn)度。

4.1.1 人臉特征數(shù)據(jù)收集與處理

作為整個(gè)模型的基礎(chǔ)，數(shù)據(jù)集設(shè)計(jì)與處理對(duì)模型有效性有著較深的影響，數(shù)據(jù)的真實(shí)性和廣泛性至關(guān)重要。根據(jù)所需人臉特征的不同，有著不同的數(shù)據(jù)收集方法，對(duì)于已有公開數(shù)據(jù)集的特征，可直接選用公開數(shù)據(jù)集，其數(shù)據(jù)標(biāo)注與訓(xùn)練集、測(cè)試集分配更為合理；對(duì)于無公開數(shù)據(jù)集特征，則需要自行爬取清洗、標(biāo)注數(shù)據(jù)制作數(shù)據(jù)集，并以2：1數(shù)據(jù)量分為訓(xùn)練集與測(cè)試集。

4.1.2 模型訓(xùn)練

將訓(xùn)練集數(shù)據(jù)導(dǎo)入Faster R-CNN模型進(jìn)行訓(xùn)練。

4.1.3 訓(xùn)練結(jié)果分析與優(yōu)化

將測(cè)試集數(shù)據(jù)輸入已訓(xùn)練模型中，再針對(duì)錯(cuò)誤判定數(shù)據(jù)進(jìn)行分析并調(diào)整參數(shù)優(yōu)化模型，重復(fù)訓(xùn)練直至測(cè)試集準(zhǔn)確率滿足需求。

4.2 輸入圖像預(yù)處理

現(xiàn)實(shí)檢測(cè)中，真實(shí)環(huán)境背景較為復(fù)雜，真實(shí)檢測(cè)效果需要以真實(shí)反饋判斷，故對(duì)識(shí)別框位置準(zhǔn)確性要求較高，當(dāng)外界輸入圖像后，由于無法保證圖像清晰度及對(duì)比度，需要對(duì)圖像進(jìn)行預(yù)處理，以滿足檢測(cè)條件，如通過圖像變換算法調(diào)節(jié)，可通過灰度直方圖直觀判定預(yù)處理結(jié)果。

4.3 系統(tǒng)圖形化界面設(shè)計(jì)

受益于python語言強(qiáng)大的第三方庫所帶來的高開發(fā)效率，筆者推薦圖形化界面可由PyQt5設(shè)計(jì)，PyQt5是一套Python綁定Digia QT5應(yīng)用的框架，作為Python的一個(gè)模塊，擁有620多個(gè)類以及6000個(gè)函數(shù)和方法，可用于Python 2和3，可以運(yùn)行在所有的主要操作系統(tǒng)，滿足了本系統(tǒng)在不同環(huán)境下的使用需求。

5. 系統(tǒng)實(shí)現(xiàn)

將人臉特征定為口罩佩戴，實(shí)現(xiàn)基于深度學(xué)習(xí)的人臉口罩佩戴檢測(cè)系統(tǒng)的設(shè)計(jì)與精準(zhǔn)度檢驗(yàn)。

5.1 人臉口罩佩戴識(shí)別數(shù)據(jù)集收集與制作

筆者爬取與收集共計(jì)10000余張圖片數(shù)據(jù)，其中包括不同顏色口罩佩戴人臉、手遮擋人臉、無遮擋人臉三種數(shù)據(jù)，統(tǒng)一圖片大小，對(duì)數(shù)據(jù)進(jìn)行清洗標(biāo)注處理。將測(cè)試數(shù)據(jù)集與訓(xùn)練數(shù)據(jù)集數(shù)據(jù)比例按2：1分配。

5.2 檢測(cè)算法測(cè)試與綜合優(yōu)化

選用Faster R-CNN算法將訓(xùn)練數(shù)據(jù)集導(dǎo)入訓(xùn)練，并根據(jù)測(cè)試集輸出結(jié)果調(diào)整訓(xùn)練參數(shù)，本次實(shí)驗(yàn)由PR曲線及平均精度值（Mean Average Precision，mAP）作為測(cè)試結(jié)果評(píng)價(jià)指標(biāo)，PR曲線即Precision（精準(zhǔn)度）-recall（召回率）曲線，Precision（精準(zhǔn)度）表示正確檢測(cè)是否佩戴口罩的比例，recall（召回率）則表示測(cè)試集中被正確檢測(cè)的圖片所占全部數(shù)據(jù)比例，平均精度值為兩種類別檢測(cè)準(zhǔn)確率的平均值。理論上mAP值越高（最大值為1），PR曲線越高越好。

經(jīng)過對(duì)參數(shù)調(diào)整及模型錨點(diǎn)修改，最終檢測(cè)結(jié)果如圖4所示，其中have_mask曲線為口罩佩戴檢測(cè)精準(zhǔn)度，達(dá)到88.83%，基本滿足檢測(cè)需求。

5.3 圖像預(yù)處理

對(duì)于本次口罩佩戴檢測(cè)系統(tǒng)設(shè)計(jì)，由于口罩多為白色或藍(lán)色，如背景色仍為淺色系再加上光線干擾，模型難以判斷出口罩與環(huán)境邊界，故需對(duì)圖片亮度及對(duì)比度調(diào)整，經(jīng)過對(duì)比實(shí)驗(yàn)，最終選取限制對(duì)比度自適應(yīng)直方圖均衡化圖形變換算法，再次出入圖片測(cè)試后結(jié)果明顯改善。

5.4 系統(tǒng)封裝

將系統(tǒng)由PyQt5框架設(shè)計(jì)圖形化界面，如圖5所示。

5.5 系統(tǒng)可行性檢驗(yàn)

系統(tǒng)封裝完成后，先后進(jìn)行本地圖片、視頻與攝像頭視頻導(dǎo)入測(cè)試，檢測(cè)效果良好，結(jié)合模型設(shè)計(jì)優(yōu)化階段精準(zhǔn)度88.83%檢測(cè)結(jié)果，表明本次系統(tǒng)設(shè)計(jì)成功完成，基于深度學(xué)習(xí)的人臉特征目標(biāo)檢測(cè)系統(tǒng)具有可行性。

本文基于目前互聯(lián)網(wǎng)以及目標(biāo)檢測(cè)技術(shù)發(fā)展，提出了一種基于互聯(lián)網(wǎng)的公共場(chǎng)所監(jiān)控人臉特征目標(biāo)檢測(cè)系統(tǒng)，并以實(shí)際樣例驗(yàn)證了系統(tǒng)可行性，打破了傳統(tǒng)壁壘，通過互聯(lián)網(wǎng)線上平臺(tái)，整合監(jiān)控視頻資源，并依靠深度學(xué)習(xí)技術(shù)對(duì)人臉特征目標(biāo)檢測(cè)，從而篩選出對(duì)應(yīng)人臉目標(biāo)，反饋給線下本地工作人員，減輕工作人員前期數(shù)據(jù)收集、篩查工作強(qiáng)度，降低了對(duì)本地服務(wù)器的硬件需求，有效提高了工作效率，減輕了地區(qū)人力、物力壓力。

結(jié)合目標(biāo)檢測(cè)技術(shù)的普適性及應(yīng)用場(chǎng)景，我們未嘗不可將其移植于其他場(chǎng)景，隨著移動(dòng)端互聯(lián)網(wǎng)及目標(biāo)檢測(cè)技術(shù)發(fā)展，將更加輕便、更加快速的目標(biāo)檢測(cè)算法移植于移動(dòng)端，可擺脫P(yáng)C機(jī)攜帶困難等問題，并應(yīng)用于便攜式掃描設(shè)備，又比如將目標(biāo)檢測(cè)移植于工廠生產(chǎn)，對(duì)于特定物體的定位及篩選工作，可極大減少人力消耗，從而降低生產(chǎn)成本。現(xiàn)階段，已有部分目標(biāo)檢測(cè)系統(tǒng)投入實(shí)際生產(chǎn)之中，其中最為典型的便是自動(dòng)駕駛中應(yīng)用的目標(biāo)檢測(cè)[8]，應(yīng)用于對(duì)周圍物體尺寸、距離、位置等信息進(jìn)行精準(zhǔn)判斷，從而給自動(dòng)駕駛系統(tǒng)提供路徑規(guī)劃數(shù)據(jù)，雖然目前自動(dòng)駕駛中目標(biāo)檢測(cè)仍存在多傳感器融合誤差、特征提取策略存在改進(jìn)空間、標(biāo)注數(shù)據(jù)依賴過高等問題，但不可否認(rèn)其給汽車領(lǐng)域所帶來的巨大變革，為自動(dòng)駕駛領(lǐng)域提供了一個(gè)目前最優(yōu)的解決方案。

自動(dòng)駕駛領(lǐng)域的興起，打破了原有傳統(tǒng)車企對(duì)于汽車行業(yè)的掌控，從人工智能領(lǐng)域另辟蹊徑，為眾多科技企業(yè)打破行業(yè)隔閡、探索陌生領(lǐng)域提供了可能。目前，谷歌、特斯拉、蔚來、百度、華為等企業(yè)已紛紛開始布局自動(dòng)駕駛研發(fā)及測(cè)試，結(jié)合與互聯(lián)網(wǎng)類似的車聯(lián)網(wǎng)系統(tǒng)，實(shí)現(xiàn)車輛與車輛之間位置速度等信息交流，將更加準(zhǔn)確地為汽車自動(dòng)駕駛提供最優(yōu)路徑選擇。除此之外，還可應(yīng)用于農(nóng)作物生產(chǎn)水產(chǎn)養(yǎng)殖領(lǐng)域的病蟲害識(shí)別以及魚群檢測(cè)等問題[9]，機(jī)器目標(biāo)檢測(cè)技術(shù)的鑒別速度快、穩(wěn)定性、準(zhǔn)確度高等特點(diǎn)，能夠幫助養(yǎng)殖者提高處理效率，節(jié)省勞動(dòng)力，從而擴(kuò)大養(yǎng)殖規(guī)模，提高經(jīng)濟(jì)效益。

結(jié)語

總而言之，在即將到來的工業(yè)5.0時(shí)代，隨著中國經(jīng)濟(jì)發(fā)展與對(duì)實(shí)體產(chǎn)業(yè)布局的重視程度不斷加深，以互聯(lián)網(wǎng)為基礎(chǔ)的信息技術(shù)將逐步進(jìn)入并改變傳統(tǒng)工業(yè)生產(chǎn)，轉(zhuǎn)變現(xiàn)有行業(yè)理念，目標(biāo)檢測(cè)也將不僅僅局限于人臉特征檢測(cè)等傳統(tǒng)功能。筆者相信隨著目標(biāo)檢測(cè)技術(shù)的不斷進(jìn)步與創(chuàng)新，將會(huì)有更為輕便、準(zhǔn)確的新型模型被提出，從而應(yīng)用于實(shí)際生產(chǎn)之中，突破已有生產(chǎn)瓶頸，提升社會(huì)整體運(yùn)行效率，創(chuàng)造出新的社會(huì)財(cái)富，提升我國經(jīng)濟(jì)實(shí)力，為我國社會(huì)主義現(xiàn)代化社會(huì)建設(shè)提供有效助力。

參考文獻(xiàn)：

[1]王紀(jì)鋒.刑事訴訟中視頻監(jiān)控?cái)?shù)據(jù)收集程序問題研究[D].北京：中國人民公安大學(xué)，2021.

[2]葉釗.目標(biāo)檢測(cè)技術(shù)研究進(jìn)展[C]//中國計(jì)算機(jī)用戶協(xié)會(huì)網(wǎng)絡(luò)應(yīng)用分會(huì).中國計(jì)算機(jī)用戶協(xié)會(huì)網(wǎng)絡(luò)應(yīng)用分會(huì)2019年第二十三屆網(wǎng)絡(luò)新技術(shù)與應(yīng)用年會(huì)論文集.北京：中國計(jì)算機(jī)用戶協(xié)會(huì)網(wǎng)絡(luò)應(yīng)用分會(huì)，北京聯(lián)合大學(xué)北京市信息服務(wù)工程重點(diǎn)實(shí)驗(yàn)室，2019：245-249.

[3]王子明.基于深度學(xué)習(xí)的安全帽佩戴檢測(cè)方法研究[D].吉林：東北電力大學(xué)，2022.

[4]吳冬梅，王慧，李佳.基于改進(jìn)Faster RCNN的安全帽檢測(cè)及身份識(shí)別[J].信息技術(shù)與信息化，2020，（1）：17-20.

[5]何超.基于改進(jìn)YOLOv3的安全帽檢測(cè)系統(tǒng)研究[D].武漢：華中科技大學(xué)，2019.

[6]顧旸鋮，邱衛(wèi)東.基于卷積神經(jīng)網(wǎng)絡(luò)的胡須及帽子特征檢測(cè)[J].信息技術(shù)，2017 （09）：121-124，129.

[7]Ren S，He K，Girshick R，et al.Faster R-CNN：Towards Real-Time Object Detection with Region Proposal Networks[J].IEEE Transactions on Pattern Analysis & Machine Intelligence，2015， 39（6）：1137-1149.

[8]任柯燕，谷美穎，袁正謙，等.自動(dòng)駕駛3D目標(biāo)檢測(cè)研究綜述[J/OL].控制與決策：1-24[2022-09-27].

[9]楊奉水，王志博，汪為通，等.人工智能識(shí)別茶樹病蟲害的應(yīng)用與展望[J].中國茶葉，2022，44（6）：1-6.

作者簡(jiǎn)介：趙旭東，本科，研究方向：機(jī)器學(xué)習(xí)、大數(shù)據(jù)分析。