改進(jìn)YOLOv5s的人臉口罩佩戴檢測

詹鵬程

（武漢輕工大學(xué)電氣與電子工程學(xué)院，湖北 武漢 430000）

0 引言

佩戴口罩是防控疫情的重要環(huán)節(jié)，能夠有效防止疫情的傳播?，F(xiàn)在主流的目標(biāo)檢測算法[1]分為兩階段算法和單階段算法。兩階段算法基于檢測框和分類器，存在的問題為網(wǎng)絡(luò)結(jié)構(gòu)一般比較復(fù)雜，檢測速度慢，對硬件設(shè)施要求很高。單階段算法基于回歸，它的特點是準(zhǔn)確的定位效果和相對較快的檢測速度，如SSD、YOLO。該文在YOLO 系列算法基礎(chǔ)上提出了改進(jìn)的YOLOv5s 算法方案，它能夠在檢測出人臉的同時并標(biāo)記是否佩戴口罩。它針對現(xiàn)有的問題，在提高模型的識別精度方面，以損失函數(shù)為出發(fā)點進(jìn)行改進(jìn)；在降低運行設(shè)備的硬件性能要求方面，以輕量化網(wǎng)絡(luò)作為出發(fā)點進(jìn)行改進(jìn)。

該文的主要內(nèi)容：首先通過自建數(shù)據(jù)集，提高口罩檢測的泛化能力。其次通過改進(jìn)損失函數(shù)提高算法的檢測精度。最后通過輕量化網(wǎng)絡(luò)降低模型對硬件性能的要求[2]。

試驗驗證表明：通過EIOU損失函數(shù)改進(jìn)YOLOv5s，其人臉口罩檢測算法的平均精度均值為94.6%，提高了1.8%，能夠有效提高檢測精度。結(jié)合Alpha-IOU 和MobileNetV3_Small，改進(jìn)算法的平均精度均值由92.8%降至91.9%，仍然能夠滿足檢測的精度要求且單張檢測的處理速度提升為6.5ms，達(dá)到了輕量化的目的。

1 YOLOv5算法改進(jìn)

1.1 主干網(wǎng)絡(luò)的輕量化

Shufflenetv2 有2 個結(jié)構(gòu)：Shufflenetv2 基本模塊Shufflenetv2 下采樣模塊，如圖1 和圖2 所示。

圖1 Shufflenetv2 基本模塊

圖2 Shufflenetv2 下采樣模塊

通過Channel Split 替代分組卷積，滿足4條設(shè)計準(zhǔn)則，達(dá)到了速度和精度的最優(yōu)權(quán)衡。為了解決GConv 導(dǎo)致的不同group 之間沒有信息交流，只在同一個group 內(nèi)進(jìn)行特征提取的問題[3]，Shufflenetv2 設(shè)計了Channel Shuffle 操作進(jìn)行通道重排，跨group 信息交流。

MobileNetV3 是谷歌提出的輕量化網(wǎng)絡(luò)架構(gòu)，在前2 個版本的基礎(chǔ)上加入神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索（NAS）和h-swish 激活函數(shù)，并引入SE 通道注意力機制，性能和速度都表現(xiàn)優(yōu)異，MobileNetV3 中的Block 模塊如圖3 所示。

圖3 MobileNetV3 中的Block 模塊

MobileNetV3 的主要特點：網(wǎng)絡(luò)的架構(gòu)基于NAS 實現(xiàn)的MnasNet，由NAS 搜索獲取參數(shù)，在計算和參數(shù)量受限的前提下搜索網(wǎng)絡(luò)的各個模塊，為模塊級的搜索。引入MobileNetV1 的深度可分離卷積。引入MobileNetV2[4]的具有線性瓶頸的倒殘差結(jié)構(gòu)。引入基于Squeeze and Excitation 結(jié)構(gòu)的輕量級注意力模型（SE）。使用了一種新的激活函數(shù)h-swish（x）。在網(wǎng)絡(luò)結(jié)構(gòu)搜索中，結(jié)合資源受限的NAS 與NetAdapt，將其用于對各個模塊確定之后網(wǎng)絡(luò)層的微調(diào)；對全局的網(wǎng)絡(luò)結(jié)構(gòu)搜索，使用了與Mnasnet 中相同的且基于RNN 的控制器和分級的搜索空間，并針對特定的硬件平臺進(jìn)行精度-延時平衡優(yōu)化，在目標(biāo)延時（~80ms）范圍內(nèi)進(jìn)行搜索。隨后利用NetAdapt方法來對每層按照序列的方式進(jìn)行調(diào)優(yōu)。在盡量優(yōu)化模型延時的同時保持精度，縮減擴充層和每層中瓶頸的大小。

1.2 損失函數(shù)

YOLOv5s 中包括3 種損失函數(shù)，即矩形框損失（lossrect）、置信度損失（lossobj）和分類損失（lossclc）。YOLOv5s 網(wǎng)絡(luò)的損失函數(shù)定義式如公式（1）所示。

YOLOv5s 使用CIOU loss 來衡量矩形框（lossrect）的損失。CIOU 的計算如公式（2）所示。

式中：ρ為預(yù)測框和GT 框的中心點的距離；c 為預(yù)測框和GT 框最小包圍矩形的對角線長度；v 用來衡量預(yù)測框和真實框的寬和高之間的比例一致性，其表達(dá)式如公式（3）所示。

式中：wgt和hgt為GT 框的的寬和高；w和h為預(yù)測框的寬和高。

β為v的影響因子，其表達(dá)式如公式（4）所示。

CIOU 損失是在DIOU 損失的基礎(chǔ)上添加了衡量預(yù)測框和GT 框縱橫比v，在一定程度上可以加快預(yù)測框的回歸速度，DIOU 表達(dá)式如公式（5）所示。

公式（5）中，IOU是2 個區(qū)域重疊的部分除以2 個區(qū)域的集合部分得出的結(jié)果，但是仍然存在問題：在預(yù)測框回歸過程中，一旦預(yù)測框和GT 框的寬、高縱橫比呈現(xiàn)線性比例時，CIOU 中添加的相對比例的懲罰項便不再起作用，w和h在其中一個值增大時，另外一個值必須減少，它倆不能保持同增同減。為了解決這個問題，該文引入了EIOU，采用直接對w和h的預(yù)測結(jié)果進(jìn)行懲罰的損失函數(shù)表達(dá)式，如公式（6）所示。

式中：cW2和ch2分別為預(yù)測框和GT 框最小外接矩形的寬和高；EIOU 將損失函數(shù)分成預(yù)測框和GT 框的重疊損失γEIOU、預(yù)測框和GT 框的中心距離損失γdis、預(yù)測框和GT 框的寬和高損失γasp。

Alpha-IOU Loss[5]是基于現(xiàn)有IOU Loss 的統(tǒng)一冪化，對所有的IOU Loss 增加α冪，對CIOU Loss 進(jìn)行冪化，其表達(dá)式如公式（8）所示。

α-IOU 損失顯著地超過現(xiàn)有的基于IOU 的損失。調(diào)節(jié)α，使檢測器在實現(xiàn)不同水平的bbox 回歸精度方面具有更大的靈活性，對小數(shù)據(jù)集和噪聲的魯棒性更強。α對不同的模型或數(shù)據(jù)集并不過度敏感，通過多組試驗，該文的試驗測試選取為α=3。

2 試驗結(jié)果

2.1 試驗條件參數(shù)和評價指標(biāo)

該文的試驗硬件：CPU 為Gen Intel（R） Core（TM） i5-11400H @ 2.70GHz 2.69 GHz。GPU為NVIDIAGeForceRTX2080ti 4GB。輔助工具為matplotlib、OPEN CV 和tensorboard?？蚣転镻ytorch。對模型訓(xùn)練的基本參數(shù)動量0.937，權(quán)重衰減0.0005，初始學(xué)習(xí)率設(shè)定0.01。試驗結(jié)果的評價指標(biāo)有精確度、召回率、平均精度和平均精度均值，其中平均精度的計算公式如公式（9）所示，平均精度均值的計算公式如公式（10）所示。

式中：n為數(shù)據(jù)集中的類別數(shù)。在口罩佩戴檢測中設(shè)定n為2，設(shè)定AP的IOU 檢測閾值為0.5，所以評價指標(biāo)為mAP@0.5。

2.2 試驗細(xì)節(jié)

該文的主要目的是對人臉佩戴口罩進(jìn)行檢測，主要分為佩戴口罩和未佩戴口罩2 種情況，所以該文結(jié)合網(wǎng)絡(luò)資源和MaskedFace 數(shù)據(jù)集挑選了2000 張照片，分為訓(xùn)練集1600 張和測試集400 張，將其作為自建數(shù)據(jù)集。標(biāo)簽類型分為mask_face 和no_mask_face。

在自建數(shù)據(jù)集上對改進(jìn)的模型進(jìn)行訓(xùn)練100epoch 后，對測試結(jié)果進(jìn)行對比，選取最優(yōu)，對模型的改進(jìn)方向為主干網(wǎng)絡(luò)的輕量化和損失函數(shù)。第一步是將shufflenetv2 和MobileNetV3_Small 進(jìn)行對比，將2 種輕量化網(wǎng)絡(luò)分別加入YOLOv5s 中，試驗結(jié)果見表1。

表1 輕量化網(wǎng)絡(luò)對比

將表3 中的數(shù)據(jù)結(jié)合參數(shù)量、計算量以及平均精度均值可以得出使用MoblieNetV3_Small 輕量化網(wǎng)絡(luò)效果更好。

將CIOU、EIOU[6]和Alpha-IOU 這3 種改進(jìn)效果進(jìn)行對比，試驗結(jié)果見表2。

表2 損失函數(shù)改進(jìn)對比

從表1 可以分析出，YOLOv5s 在進(jìn)行EIOU 替換CIOU后，平均精度均值提高了1.8%；YOLOv5s 在進(jìn)行Alpha-IOU 替換CIOU 后，平均精度均值提高了1%。由此可以得出EIOU 的改進(jìn)在二者中效果更好。

通過消融試驗驗證改進(jìn)的有效性，測試結(jié)果見表3。

2.3 結(jié)果分析

從表3 可以分析，EIOU 和Alpha-IOU 改進(jìn)對YOLOv5s平均精度均值分別有1.8%和1%的提升；MobileNetV3_Small 結(jié) 合EIOU 改 進(jìn) 和MobileNetV3_Small 改 進(jìn) 相 比，平均精度均值下降了0.5%，說明EIOU 的改進(jìn)并不適合MobileNetV3_Small 網(wǎng)絡(luò)；MobileNetV3_Small 結(jié)合Alpha-IOU 改進(jìn)和MobileNetV3_Small 改進(jìn)相比，平均精度均值提高了0.6%，說明Alpha-IOU 對MobileNetV3_Small 網(wǎng)絡(luò)有提升作用；shufflenetv2 結(jié)合EIOU 改進(jìn)和shufflenetv2改進(jìn)相比，平均精度均值提高了0.5%，說明EIOU 對shufflenetv2 網(wǎng)絡(luò)有一定的提升作用；shufflenetv2 結(jié)合Alpha-IOU 改進(jìn)和shufflenetv2 改進(jìn)相比，平均精度均值下降了0.7%，說明Alpha-IOU 改進(jìn)不適合shufflenetv2 網(wǎng)絡(luò)。shufflenetv2 結(jié)合EIOU 改進(jìn)和MobileNetV3_Small 結(jié)合Alpha-IOU 改進(jìn)的平均精度均值一樣，二者的改進(jìn)方向都是以輕量化為主，結(jié)合測試的單張圖片檢測速度對比，MobileNetV3_Small 結(jié)合Alpha-IOU 改進(jìn)的單張檢測速度比shufflenetv2 結(jié)合EIOU 改進(jìn)的單張檢測速度快。

表3 消融試驗結(jié)果

3 結(jié)論

該文提出了2 種基于YOLOv5s 改進(jìn)的口罩佩戴檢測算法，為提高檢測精度和輕量化，選擇從改進(jìn)損失函數(shù)提高檢測精度，替換Backbone 網(wǎng)絡(luò)完成輕量化。最后的試驗數(shù)據(jù)對比表明，在硬件設(shè)備性能足夠的場景中，可以選擇采用EIOU 損失函數(shù)改進(jìn)，它的平均精度均值是本次改進(jìn)方案中精度提高效果最好的。在硬件設(shè)備性能較低的場景中，可以使用Alpha-IOU 結(jié)合MobileNetV3_Small 改進(jìn)的YOLOv5s 算法，它能夠?qū)崿F(xiàn)參數(shù)量和浮點計算量減半，可提高檢測速度，口罩佩戴的平均精度值為91.9%。在后續(xù)工作中，可以擴大數(shù)據(jù)集的規(guī)模，還可以嘗試對結(jié)構(gòu)進(jìn)行進(jìn)一步調(diào)整，提高算法的檢測精度，進(jìn)一步優(yōu)化算法。