趙春暉, 李 瑞, 宿 南

(哈爾濱工程大學(xué) 信息與通信工程學(xué)院, 黑龍江 哈爾濱 150001)

近年來(lái),隨著監(jiān)控?cái)z像頭的普及,公共安全越來(lái)越被重視[1].此外,計(jì)算機(jī)視覺(jué)蓬勃發(fā)展,智能監(jiān)控應(yīng)運(yùn)而生,智能監(jiān)控是利用計(jì)算機(jī)視覺(jué)技術(shù)對(duì)視頻信號(hào)進(jìn)行處理、分析和理解.而在智能監(jiān)控中,一個(gè)重要的研究方向是目標(biāo)檢測(cè),目標(biāo)檢測(cè)是在圖像中定位并分類(lèi)出感興趣的目標(biāo).而基于工業(yè)安監(jiān)領(lǐng)域的目標(biāo)檢測(cè),由于相機(jī)的俯仰角,會(huì)使成像存在近大遠(yuǎn)小的特點(diǎn),產(chǎn)生小目標(biāo).而在通用目標(biāo)檢測(cè)模型中,特征提取網(wǎng)絡(luò)都存在下采樣的過(guò)程,小目標(biāo)在下采樣之后,特征圖非常小,導(dǎo)致檢測(cè)器檢測(cè)效果不好.另外,在很多情況下,數(shù)據(jù)集中的小目標(biāo)樣本少,導(dǎo)致神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)的過(guò)程中被大目標(biāo)主導(dǎo),使得目標(biāo)檢測(cè)算法檢測(cè)小目標(biāo)的能力較差.上述原因?qū)е卢F(xiàn)有的算法很難滿(mǎn)足實(shí)際需要,因此設(shè)計(jì)一個(gè)有較高魯棒性的目標(biāo)檢測(cè)算法很有必要.

目標(biāo)檢測(cè)可以分為傳統(tǒng)算法和深度學(xué)習(xí)算法[2].隨著R-CNN等深度學(xué)習(xí)方法的出現(xiàn),深度學(xué)習(xí)方法在特征提取層面優(yōu)于傳統(tǒng)方法的手動(dòng)特征,開(kāi)啟了基于深度學(xué)習(xí)目標(biāo)檢測(cè)算法的熱潮.基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法大致分為2類(lèi).

1) 雙階段方法.主要思路是先通過(guò)啟發(fā)式方法或者CNN網(wǎng)絡(luò)產(chǎn)生一系列稀疏的候選框,然后對(duì)這些候選框進(jìn)行分類(lèi)和回歸.這類(lèi)方法的優(yōu)點(diǎn)是準(zhǔn)確度高,但往往速度較慢.

2) 單階段方法.主要思路是均勻地在圖片的不同位置上密集抽樣,然后利用CNN提取特征后直接分類(lèi)和回歸,整個(gè)過(guò)程只需一步,因此速度較快.

在雙階段算法中,Girshick等[3]于2014年提出R-CNN(region conventional neural network),Ren等[4]在2017年提出Faster R-CNN,分別利用卷積神經(jīng)網(wǎng)絡(luò)和RPN提高了目標(biāo)檢測(cè)的性能.2014年He等[5]提出了SPP-Net,解決了神經(jīng)網(wǎng)絡(luò)要求固定輸入尺寸的問(wèn)題.2016年Dai等[6]提出了R-FCN,利用position sensitive score map把目標(biāo)的定位信息融合進(jìn)ROI pooling,保證了分類(lèi)所需要的平移不變性.Cai等[7]提出了Cascade R-CNN,該方法通過(guò)級(jí)聯(lián)不同IOU閾值(界定正負(fù)樣本)的輸出,使不同IOU值檢測(cè)與其相對(duì)應(yīng)的IOU值的目標(biāo).在單階段算法中,Redmon等[8]在2016年提出了YOLOv1(you only look once:unified,real-time object detection),創(chuàng)造性地提出了單階段目標(biāo)檢測(cè)算法,將分類(lèi)和回歸在一個(gè)步驟中完成,極大地提高了目標(biāo)檢測(cè)速度.Liu等[9]在2016年提出了SSD算法(singleshot multibox detector),相對(duì)于YOLOv1,其通過(guò)多尺度特征圖,利用卷積進(jìn)行檢測(cè)和設(shè)置先驗(yàn)框提高了準(zhǔn)確度.Redmon等[10]在2018年提出了YOLOv3,其借鑒了殘差網(wǎng)絡(luò)的結(jié)構(gòu),形成了更深的網(wǎng)絡(luò)層次及多尺度預(yù)測(cè),提升了檢測(cè)多類(lèi)平均精度和小目標(biāo)檢測(cè)效果;Tan等[11]在2019提出了一種加權(quán)的雙向特征金字塔結(jié)構(gòu)BiFPN,用于快速特征融合,之后提出了新的聯(lián)合放縮方式,將檢測(cè)網(wǎng)絡(luò)的4部分進(jìn)行了統(tǒng)一處理,以EfficientNet作為backbone,生成了高效快速,適用于不同計(jì)算條件的檢測(cè)網(wǎng)絡(luò),但該方法較難訓(xùn)練.

由于智能監(jiān)控的目標(biāo)檢測(cè)算法需要處理實(shí)時(shí)視頻數(shù)據(jù),需要較高的推理速度,而雙階段算法在速度上明顯差于單階段算法,因此選用單階段算法.而在經(jīng)典的單階段算法中,SSD和RetinaNet[12]在總體性能上已經(jīng)落后于YOLOv3,YOLOv4和YOLOv5相較于YOLOv3并沒(méi)有實(shí)質(zhì)的改進(jìn),而是各種tricks的組合,并且各種組合對(duì)不同的數(shù)據(jù)集的表現(xiàn)不一致,而對(duì)YOLOv3的改進(jìn)可以很好的兼容到后續(xù)YOLOv4、YOLOv5.EfficientNet由于參數(shù)多、訓(xùn)練難度大,對(duì)GPU的要求非常高,因此本實(shí)驗(yàn)選取YOLOv3作為基礎(chǔ)算法,對(duì)其進(jìn)行研究和改進(jìn).

為了提高YOLOv3對(duì)小目標(biāo)的檢測(cè)精度及多尺度目標(biāo)的魯棒性,首先利用數(shù)據(jù)增強(qiáng)對(duì)部分?jǐn)?shù)據(jù)進(jìn)行填充并放縮,形成小目標(biāo)樣本;接著將backbone提取的特征接多尺度池化層,捕捉到多個(gè)尺度的目標(biāo)信息.在整個(gè)網(wǎng)絡(luò)中,采用更加平滑的Mish[13]激活函數(shù),而對(duì)于某些對(duì)算法處理速度要求不高的場(chǎng)景,采用多尺度測(cè)試進(jìn)一步提高檢測(cè)算法的檢測(cè)精度.

1 YOLOv3改進(jìn)算法

1.1 YOLOv3原理簡(jiǎn)介

YOLO系列算法的輸入是整張圖像,利用整張圖像的上下文信息直接從像素獲得可能的類(lèi)別以及回歸邊界框,是一種端到端的算法,沒(méi)有生成候選區(qū)域的中間步驟,因此能夠快速的將目標(biāo)與背景區(qū)域區(qū)分.YOLOv2[14]的骨干網(wǎng)絡(luò)是Darknet-19,YOLOv3則參考了殘差網(wǎng)絡(luò)的結(jié)構(gòu),在骨干網(wǎng)絡(luò)中引入了殘差塊,因此能夠降低訓(xùn)練深層網(wǎng)絡(luò)的難度,并且其骨干網(wǎng)絡(luò)的深度也擴(kuò)展到Darknet-53.Darknet-53含有53個(gè)卷積層,每個(gè)卷積層包含卷積運(yùn)算、批歸一化處理和Leaky ReLU[15]激活函數(shù),Darknet-53輸出3個(gè)尺度的特征圖,大小分別是input-size/32、input-size/16、input-size/8,3個(gè)尺度的特征輸入到檢測(cè)網(wǎng)絡(luò)的感受野依次減小,最小的輸出特征圖的大小為輸入的1/32,感受野較大適合檢測(cè)大目標(biāo).同理,其他尺度2個(gè)適合檢測(cè)中目標(biāo)和小目標(biāo).

1.2 改進(jìn)的YOLOv3系列目標(biāo)檢測(cè)算法

針對(duì)實(shí)際監(jiān)控?cái)?shù)據(jù)的多尺度和小目標(biāo)問(wèn)題,從檢測(cè)網(wǎng)絡(luò)的4部分著手,對(duì)YOLOv3的輸入、骨干網(wǎng)絡(luò)和detection neck進(jìn)行了研究及優(yōu)化.如圖1所示,改進(jìn)分為2個(gè)方向:①利用目標(biāo)可變占比的數(shù)據(jù)增強(qiáng)算法數(shù),從數(shù)據(jù)層面改善算法精度;②改變了YOLOv3的算法結(jié)構(gòu):在neck部分采用了多尺度池化層,從特征融合層面提高YOLOv3算法的檢測(cè)精度.

圖1 改進(jìn)的算法結(jié)構(gòu)Fig.1 Improved algorithm structure

1.2.1 目標(biāo)可變占比的數(shù)據(jù)增強(qiáng)算法

選取的YOLO算法包含水平翻轉(zhuǎn)、隨機(jī)裁剪、隨機(jī)平移數(shù)據(jù)增強(qiáng)算法.這些數(shù)據(jù)增強(qiáng)的方法都沒(méi)有涉及到對(duì)數(shù)據(jù)尺度方面的增強(qiáng),而研究的2個(gè)數(shù)據(jù)集小目標(biāo)都比較多,針對(duì)這2個(gè)數(shù)據(jù)集中小目標(biāo)比較多的特點(diǎn)及原始存在的數(shù)據(jù)增強(qiáng)對(duì)小目標(biāo)并沒(méi)有較好的改善作用,在訓(xùn)練階段應(yīng)用目標(biāo)可變占比數(shù)據(jù)增強(qiáng)算法(variable target percentage algorithm,VTP)改善算法對(duì)小目標(biāo)的精度.其算法的表達(dá)式如式(1)、(2)所示.

式中:Fimgin(x,y)|w=t′

(a) 原圖(b) VTP后圖像

圖3 多尺度池化層Fig.3 Multi-scale pooling layer

1.2.2 多尺度特征池化層

池化操作在神經(jīng)網(wǎng)絡(luò)不可或缺,它能夠在盡可能保留圖片主要信息的情況下降低圖片或是特征的尺寸,能減少計(jì)算量及特征的數(shù)量,使得網(wǎng)絡(luò)更加專(zhuān)注于主要特征,增大卷積核的感受野,增強(qiáng)神經(jīng)網(wǎng)絡(luò)的擬合能力.

多尺度池化層(multi-scale pooling layer,MSP)將特征通過(guò)不同的最大池化(輸出與輸入尺寸相同)后進(jìn)行拼接,能夠捕捉不同尺度下的特征,提高了算法對(duì)不同尺度目標(biāo)的敏感度,進(jìn)而提高算法的魯棒性.此外,該模塊能夠擴(kuò)大神經(jīng)網(wǎng)絡(luò)的感受野,使網(wǎng)絡(luò)學(xué)習(xí)到更好的特征.本文的多尺度特征池化模塊中,有如圖3所示的4個(gè)不同大小的池化結(jié)構(gòu),能捕捉不同尺度的有效特征,使提取的特征的魯棒性更好.該模塊函數(shù)表達(dá)式如式(3)所示.

式中:FMSP_in為多尺度池化層的輸入特征;max_pool_1、max_pool_5、max_pool_9、max_pool_13分別為1×1、5×5、9×9、13×13最大池化:concat表示對(duì)特征張量進(jìn)行拼接,FMSP_out為多尺度池化層輸出的融合特征.

2 實(shí)驗(yàn)、結(jié)果及分析

2.1 實(shí)驗(yàn)

實(shí)驗(yàn)在安全帽佩戴和口罩佩戴2個(gè)數(shù)據(jù)集上進(jìn)行,包括工地、工廠、培訓(xùn)教室等工業(yè)安監(jiān)場(chǎng)景.在安全帽佩戴數(shù)據(jù)集中包含訓(xùn)練集5 677張、測(cè)試集1 894張,部分?jǐn)?shù)據(jù)如圖4所示.在口罩佩戴數(shù)據(jù)集中包含訓(xùn)練集6 468張、測(cè)試集2 772張,部分?jǐn)?shù)據(jù)如圖5所示.

圖4 安全帽佩戴數(shù)據(jù)集樣圖Fig.4 Sample images of helmet wearing data-set

圖5 口罩佩戴數(shù)據(jù)集樣圖Fig.5 Sample images of mask wearing data-set

從圖4、圖5可以看出,這2個(gè)數(shù)據(jù)集尺度多樣化,目標(biāo)大小差異較大,算法需要提高對(duì)不同大小目標(biāo)檢測(cè)的魯棒性.

2.1.1 操作平臺(tái)配置

操作系統(tǒng)為Ubuntu16.04,處理器為Inter(R)Core(TM) i5-6500,主頻3.2GHz,內(nèi)存32GB,GPU為1080Ti.

2.1.2 實(shí)驗(yàn)參數(shù)

激活函數(shù)將Leaky ReLu 替換為Mish激活函數(shù).

訓(xùn)練參數(shù):batch=2;input_size=[320, 416, 512, 608, 704, 800,896,992];Lr_st=e-4;Lr_end=e-6;warm_ep=2;total_ep=80.測(cè)試參數(shù):bacth=2;input_size=544;置信度閾值0.3;IOU閾值0.45.

當(dāng)?shù)螖?shù)x小于設(shè)置回暖次數(shù)(warmup_ep)時(shí),學(xué)習(xí)率Lr與迭代次數(shù)x成正比,當(dāng)兩者相等時(shí),學(xué)習(xí)率達(dá)到最大值Lr_st,之后學(xué)習(xí)率隨著迭代次數(shù)的增加不斷減小,且變化較快.

2.2 結(jié)果

表1和表2是基礎(chǔ)算法和改進(jìn)算法在安全帽數(shù)據(jù)集和口罩?jǐn)?shù)據(jù)集上的結(jié)果,表中:單類(lèi)平均精度是目標(biāo)檢測(cè)單類(lèi)的綜合評(píng)價(jià)指標(biāo),是準(zhǔn)確率和召回率與坐標(biāo)軸圍成的面積;多類(lèi)平均精度是不同類(lèi)別平均精度的平均值.

表1 安全帽佩戴檢測(cè)最佳實(shí)驗(yàn)結(jié)果Table 1 Optimal experimental results of helmet detection

表2 口罩佩戴檢測(cè)最佳實(shí)驗(yàn)結(jié)果Table 2 Optimal experimental results of mask detection

表1為安全帽佩戴檢測(cè)的基礎(chǔ)實(shí)驗(yàn)結(jié)果和最佳實(shí)驗(yàn)結(jié)果,改進(jìn)算法在多類(lèi)目標(biāo)上的檢測(cè)平均精度都有提高,在佩戴安全帽人員上,平均精度提高2.60%,在未佩戴安全帽人員上,平均精度提高0.48%,多類(lèi)平均精度提高1.54%,且改進(jìn)算法與原算法在測(cè)試時(shí)間上相當(dāng).

表2為口罩佩戴檢測(cè)基礎(chǔ)實(shí)驗(yàn)結(jié)果和最佳實(shí)驗(yàn)結(jié)果,改進(jìn)算法在佩戴口罩人員上平均精度提高0.34%,在未佩戴口罩人員上平均精度提高4.22%,多類(lèi)平均精度提高2.28%,改進(jìn)算法和基礎(chǔ)算法耗時(shí)相當(dāng).

圖6 、圖7分別為佩戴安全帽和口罩部分檢測(cè)結(jié)果示意圖(見(jiàn)封3),在佩戴安全帽數(shù)據(jù)中,藍(lán)色方框代表佩戴安全帽,黃色方框代表未佩戴安全帽;在口罩?jǐn)?shù)據(jù)集中,藍(lán)色方框代表未佩戴口罩,黃色方框代表佩戴口罩.

本文實(shí)驗(yàn)是在單尺度測(cè)試下進(jìn)行,從圖6和圖7都能看出,對(duì)于原始算法中一些漏檢的小目標(biāo),改進(jìn)算法能夠準(zhǔn)確的回歸并分類(lèi),提高了對(duì)小目標(biāo)的檢測(cè)能力.

(a) YOLOv3基礎(chǔ)算法結(jié)果(b) YOLOv3+MSP+VTP算法結(jié)果

(a) YOLOv3基礎(chǔ)算法結(jié)果(b) YOLOv3+MSP+VTP算法結(jié)果

表3、表4分別為安全帽佩戴檢測(cè)消融實(shí)驗(yàn)結(jié)果和口罩佩戴檢測(cè)消融實(shí)驗(yàn)結(jié)果,包括基礎(chǔ)實(shí)驗(yàn)結(jié)果、單一改進(jìn)方法實(shí)驗(yàn)結(jié)果、組合改進(jìn)方法實(shí)驗(yàn)結(jié)果,其中MST是多尺度測(cè)試,采用單類(lèi)平均精度、多類(lèi)平均精度和時(shí)間消耗評(píng)價(jià)指標(biāo).

表3 安全帽佩戴檢測(cè)消融實(shí)驗(yàn)Table 3 Ablation experiment of helmet detection

表4 口罩佩戴檢測(cè)消融實(shí)驗(yàn)Table 4 Ablation experiment of mask detection

2.3 分析

2.3.1 安全帽數(shù)據(jù)集

從表3可以看出,單個(gè)改進(jìn)方法均能夠在一定程度上提高多類(lèi)平均精度(MST方法提高4.72%, MSP方法提高1.53%, VTP方法提高1.90%).在組合改進(jìn)方法中,VTP+MSP方法提高1.54%,檢測(cè)速度基本不變;VTP+MST方法提高4.83%,但檢測(cè)速度大幅度降低,可見(jiàn)多尺度測(cè)試在犧牲速度的前提下極大地提高了檢測(cè)的精度.

2.3.2 口罩佩戴數(shù)據(jù)集

從表4可以看出,單個(gè)改進(jìn)方法均能夠在一定程度上提高多類(lèi)平均精度(MST方法提高3.94%, MSP方法提高2.43%, VTP方法提高1.96%).在組合改進(jìn)方法中,VTP+MST方法多類(lèi)平均精度提高2.28%,檢測(cè)速度基本不變;VTP+MST方法多類(lèi)平均精度提高4.62%,但檢測(cè)速度大幅度降低,可見(jiàn),采用多尺度測(cè)試在犧牲速度的前提下極大地提高了檢測(cè)的精度.

從表3、表4結(jié)果和圖6圖7可以看出,改進(jìn)方法在2個(gè)數(shù)據(jù)集中多類(lèi)平均精度均有所提高.VTP方法能夠從數(shù)據(jù)層面解決訓(xùn)練樣本小目標(biāo)較少的問(wèn)題,使得神經(jīng)網(wǎng)絡(luò)不被數(shù)據(jù)量較大的大目標(biāo)主導(dǎo).MSP在特征層面能夠保留更具表征目標(biāo)信息的特征.而多尺度測(cè)試則通過(guò)不同尺寸的輸入以犧牲速度的代價(jià)下提高精度.從VTP+MSP方法的實(shí)驗(yàn)的結(jié)果可以發(fā)現(xiàn),對(duì)于安全帽數(shù)據(jù)集,VTP+MSP方法優(yōu)于MSP方法而劣于VTP方法,在口罩?jǐn)?shù)據(jù)集上,該結(jié)果相反,該結(jié)果是數(shù)據(jù)集本身的特點(diǎn)決定的,安全帽數(shù)據(jù)集相對(duì)于口罩?jǐn)?shù)據(jù)集,所含有的小目標(biāo)樣本較少,因此,通過(guò)VTP數(shù)據(jù)增強(qiáng)能夠獲得更好的效果,而口罩?jǐn)?shù)據(jù)集本身小目標(biāo)樣本較多,對(duì)于特征的操作則更有效.從該實(shí)驗(yàn)可以看出VTP+MSP方法更具魯棒性.

3 結(jié) 論

本文針對(duì)在工業(yè)安監(jiān)中出現(xiàn)的小目標(biāo)問(wèn)題,在YOLOv3上進(jìn)行了改進(jìn),并通過(guò)實(shí)驗(yàn)驗(yàn)證了改進(jìn)方法的有效性.在單尺度測(cè)試下,MSP+VTP方法能夠提高算法對(duì)小目標(biāo)的檢測(cè)精度,并在不同數(shù)據(jù)集下具有較好的魯棒性.在多尺度測(cè)試下,VTP+MST方法能夠在較大程度上提高檢測(cè)精度,但從表3、表4可以看出,采用MST的時(shí)間消耗為原來(lái)的2倍以上.而如何提高工業(yè)安監(jiān)中遮擋目標(biāo)檢測(cè)的精度是下一個(gè)要研究的問(wèn)題.