王剛偉　張志佳

摘? 要：為了快速檢測(cè)車輛前排乘員是否系安全帶，提出了一種改進(jìn)YOLOv4-tiny網(wǎng)絡(luò)及MobileNeXt網(wǎng)絡(luò)的安全帶檢測(cè)算法。針對(duì)車輛及前排擋風(fēng)玻璃的形狀和大小，設(shè)計(jì)了一個(gè)結(jié)合深度可分離卷積、檢測(cè)頭可重構(gòu)的輕量化YOLOv4-tiny目標(biāo)檢測(cè)框架，通過設(shè)置不同數(shù)量檢測(cè)頭的兩個(gè)網(wǎng)絡(luò)分別用于車輛和擋風(fēng)玻璃檢測(cè)。在MobileNeXt網(wǎng)絡(luò)中，通過在沙漏殘差模塊中添加SAM空間注意力模塊實(shí)現(xiàn)安全帶檢測(cè)。在車輛數(shù)據(jù)集、擋風(fēng)玻璃數(shù)據(jù)集、安全帶數(shù)據(jù)集上進(jìn)行訓(xùn)練和測(cè)試，實(shí)驗(yàn)結(jié)果表明，車輛檢測(cè)網(wǎng)絡(luò)在平均精度（mean Average-Precision， mAP）為99.69%時(shí)速度為145 幀/秒，擋風(fēng)玻璃檢測(cè)網(wǎng)絡(luò)在平均精度為99.88%時(shí)速度為163 幀/秒，安全帶檢測(cè)網(wǎng)絡(luò)在準(zhǔn)確率（Accuracy， ACC）為93.13%時(shí)速度為77 幀/秒。本文算法在兼顧速度的同時(shí)具有較高的檢測(cè)精度。

關(guān)鍵詞：安全帶檢測(cè);目標(biāo)檢測(cè);深度可分離卷積

中圖分類號(hào)：TP391.41? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

Research on Seat Belt Detection Algorithm for Front Seat Occupants of Vehicles

WANG Gangwei ZHANG Zhijia

Abstract： In order to quickly detect whether the front seat occupants of the vehicle are wearing seat belts， this paper proposes a seat belt detection algorithm based on the improved YOLOv4-tiny network and MobileNeXt network. According to the shape and size of the vehicle and its front windshield， a lightweight YOLOv4-tiny target detection framework is designed that combines depthwise separable convolution and reconfigurable detection head. Two networks with different number of detection heads are set for detecting the vehicle and its windshield respectively. In the MobileNeXt network， seat belt detection is achieved by adding a SAM （Spatial Attention Module） to the hourglass residual module. Training and testing are performed on the vehicle dataset， windshield dataset， and seat belt dataset. Experimental results show that the vehicle detection network achieves a speed of 145 fps （frames per second） with a mean Average-Precision （mAP） of 99.69%. The windshield detection network achieves a speed of 163 fps with a mAP of 99.88%. The speed of the seat belt detection network is 77 fps with an accuracy （ACC） of 93.13%. The proposed algorithm has high detection accuracy while considering the speed.

Keywords： seat belt detection; object detection; depthwise separable convolution

1? ?引言（Introduction）

近年來，由于公路上的機(jī)動(dòng)車數(shù)量不斷增加導(dǎo)致交通事故頻發(fā)。發(fā)生交通事故時(shí)，只有佩戴安全帶才能夠有效保障駕乘人員的生命安全。由于數(shù)據(jù)量大，人工判斷乘員是否系安全帶成本高，效率低，工作量大。目前，計(jì)算機(jī)視覺技術(shù)發(fā)展迅速，取得了突破性的進(jìn)展，使用圖像識(shí)別的方式來檢測(cè)乘員是否系安全帶成為必然趨勢(shì)。

車輛檢測(cè)的研究方法包括傳統(tǒng)方法的檢測(cè)[1-2]和深度學(xué)習(xí)的方法檢測(cè)[1，3-4]。傳統(tǒng)方法包括：（1）基于先驗(yàn)知識(shí)的檢測(cè)方法。（2）基于立體視覺的檢測(cè)方法。（3）基于運(yùn)動(dòng)的檢測(cè)方法。（4）基于差分的檢測(cè)方法?；谏疃葘W(xué)習(xí)的方法有：（1）兩階段的R-CNN系列網(wǎng)絡(luò)檢測(cè)方法。（2）單階段的YOLO系列網(wǎng)絡(luò)檢測(cè)方法。

安全帶檢測(cè)的研究方法包括傳統(tǒng)方法的檢測(cè)和深度學(xué)習(xí)的方法檢測(cè)[5-6]。傳統(tǒng)方法主要是基于特征的匹配方法。深度學(xué)習(xí)的方法包括語義分割檢測(cè)[7-8]與分類檢測(cè)。

目前，安全帶檢測(cè)已經(jīng)取得了初步的進(jìn)展，但車輛和擋風(fēng)玻璃檢測(cè)速度還有待提高，不同場(chǎng)景下提高安全帶檢測(cè)的精度還有待深入研究。在車輛和擋風(fēng)玻璃檢測(cè)時(shí)，本文使用了YOLOv4-tiny網(wǎng)絡(luò)，并在不同的應(yīng)用場(chǎng)景下對(duì)網(wǎng)絡(luò)做出改進(jìn)，在不降低精度的情況下有效降低了網(wǎng)絡(luò)的參數(shù)，提高了網(wǎng)絡(luò)的運(yùn)行效率。安全帶檢測(cè)時(shí)，在MobileNeXt網(wǎng)絡(luò)中的沙漏殘差模塊中使用了SAM空間注意力機(jī)制，在僅僅增加少量參數(shù)的情況下帶來了1.09%的精度提升。

2? 車輛及擋風(fēng)玻璃檢測(cè)（Vehicle and windshield detection）

由于交通監(jiān)控場(chǎng)景中車輛移動(dòng)速度快，為了實(shí)時(shí)檢測(cè)駕乘人員是否佩戴安全帶，需要快速地定位車輛的位置。相比兩階段的目標(biāo)檢測(cè)算法而言，單階段的YOLO算法能夠在精度和速度上達(dá)到平衡，在實(shí)際場(chǎng)景下得到廣泛應(yīng)用。本文在車輛和擋風(fēng)玻璃檢測(cè)時(shí)使用YOLO算法實(shí)現(xiàn)快速檢測(cè)，其檢測(cè)流程如圖1所示。

2.1? ?車輛檢測(cè)

YOLO算法檢測(cè)目標(biāo)雖然具有高效性，但與兩階段的算法相比，在檢測(cè)小目標(biāo)時(shí)，其存在很大的不足。安全帶檢測(cè)時(shí)，相機(jī)的采集視野固定，圖像中的車輛尺寸大，因此可忽略YOLO算法在小目標(biāo)檢測(cè)上的劣勢(shì)。本文僅針對(duì)近距離的車輛進(jìn)行駕乘人員是否佩戴安全帶的檢測(cè)。由于檢測(cè)的目標(biāo)尺寸大，在平衡精度和速度的前提下，本文使用YOLOv4-tiny網(wǎng)絡(luò)進(jìn)行車輛檢測(cè)，并且在其中引入了深度可分離卷積，提高了網(wǎng)絡(luò)的檢測(cè)速度，如圖2所示為結(jié)合深度可分離卷積的YOLOv4-tiny網(wǎng)絡(luò)結(jié)構(gòu)。

2.2? ?擋風(fēng)玻璃檢測(cè)

車輛中的擋風(fēng)玻璃具有幾何形狀規(guī)則、目標(biāo)大、易檢測(cè)等特點(diǎn)，因此，本文保留了YOLOv4-tiny網(wǎng)絡(luò)兩個(gè)檢測(cè)頭中分辨率低的檢測(cè)頭用于擋風(fēng)玻璃的檢測(cè)，在檢測(cè)頭處使用深度可分離卷積替換3×3卷積。如圖3所示為擋風(fēng)玻璃檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)。

3? ?安全帶檢測(cè)（Seat belt detection）

3.1? ?MobileNeXt網(wǎng)絡(luò)

相比MobileNetV2、MobileNetV3等輕量化網(wǎng)絡(luò)，MobileNeXt網(wǎng)絡(luò)的沙漏殘差模塊中使用兩次1×1卷積編碼通道間的信息，兩次深度可分離卷積保留了更多的空域信息，有助于檢測(cè)性能的提升。如圖4所示為MobileNeXt網(wǎng)絡(luò)結(jié)構(gòu)。

3.2? ?引入SAM模塊的MobileNeXt網(wǎng)絡(luò)

安全帶檢測(cè)時(shí)，在MobileNeXt網(wǎng)絡(luò)的沙漏殘差模塊中引入SAM空間注意力模塊能夠?qū)⒃瓐D中的空間信息轉(zhuǎn)換到另一個(gè)空間中并保留圖像中的關(guān)鍵信息。引入SAM空間注意力模塊的MobileNeXt網(wǎng)絡(luò)如圖5所示。

4? 實(shí)驗(yàn)結(jié)果與分析（Experimental results and analysis）

4.1? ?數(shù)據(jù)集

本文的實(shí)驗(yàn)數(shù)據(jù)來源于交通監(jiān)控的圖像，對(duì)圖像使用開源標(biāo)注軟件制作成如表1所示的數(shù)據(jù)集。

4.2? ?實(shí)驗(yàn)環(huán)境與評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)中，軟件環(huán)境的操作系統(tǒng)為Ubuntu 20.04，深度學(xué)習(xí)軟件框架為Pytorch;硬件環(huán)境的CPU為Intel（R） Core（TM） i5-8400 2.80 GHz×6，內(nèi)存8 GB;GPU為Nvidia（R） GTX（R） 1050TI。

本文中安全帶檢測(cè)采用準(zhǔn)確率（ACC）、精準(zhǔn)率（PPV）、召回率（TPR）作為評(píng)價(jià)指標(biāo)，如式（1）、式（2）、式（3）所示。

（1）

（2）

（3）

其中，TP表示模型檢測(cè)為正樣本并且真值是正樣本;FP表示模型檢測(cè)為正樣本但真值不是正樣本;FN表示模型檢測(cè)為負(fù)樣本但真值不是負(fù)樣本;TN表示模型檢測(cè)為負(fù)樣本并且真值是負(fù)樣本。

4.3? ?車輛檢測(cè)實(shí)驗(yàn)

在車輛數(shù)據(jù)集上使用YOLOv4、YOLOv5S、YOLOv4-tiny等基礎(chǔ)網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)，結(jié)果如表2所示。

表2中，YOLOv4-tiny-DW-1為單個(gè)檢測(cè)頭及使用深度可分離卷積的YOLOv4-tiny網(wǎng)絡(luò);YOLOv4-tiny-DW為兩個(gè)檢測(cè)頭及使用深度可分離卷積的YOLOv4-tiny網(wǎng)絡(luò);MobileNetV2-v4-tiny、MobileNetV3-v4-tiny、MobileNeXt-v4-tiny分別為主干特征提取網(wǎng)絡(luò)為MobileNetV2、MobileNetV3、MobileNeXt的YOLOv4-tiny網(wǎng)絡(luò)。

表2數(shù)據(jù)表明，使用單檢測(cè)頭的YOLOv4-tiny-DW-1網(wǎng)絡(luò)會(huì)造成車輛大幅度漏檢。因此，本文使用YOLOv4-tiny-DW網(wǎng)絡(luò)進(jìn)行車輛檢測(cè)，檢測(cè)示例如圖6所示。

4.4? ?擋風(fēng)玻璃檢測(cè)實(shí)驗(yàn)

在車輛數(shù)據(jù)集上快速定位出車輛后，截取每幅圖像中車輛的區(qū)域作為擋風(fēng)玻璃的數(shù)據(jù)集，使用YOLOv4-tiny網(wǎng)絡(luò)及替換主干特征提取網(wǎng)絡(luò)的YOLOv4-tiny網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)，結(jié)果如表3所示。

表3數(shù)據(jù)表明，YOLOv4-tiny-DW-1網(wǎng)絡(luò)與YOLOv4-tiny原網(wǎng)絡(luò)相比不僅沒有降低網(wǎng)絡(luò)的檢測(cè)精度，而且還將網(wǎng)絡(luò)的檢測(cè)速度從131 幀/秒增加到了163 幀/秒。本文使用YOLOv4-tiny-DW-1網(wǎng)絡(luò)進(jìn)行擋風(fēng)玻璃檢測(cè)，其檢測(cè)示例如圖7所示。

4.5? ?安全帶檢測(cè)

車輛中安全帶為一塊連續(xù)的區(qū)域，可通過語義分割網(wǎng)絡(luò)分割出安全帶區(qū)域，因此有研究人員使用語義分割進(jìn)行安全帶檢測(cè)。本文使用語義分割網(wǎng)絡(luò)與使用SAM空間注意力模塊的MobileNeXt網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)，得到如表4所示的數(shù)據(jù)。

實(shí)驗(yàn)結(jié)果表明，當(dāng)安全帶與背景顏色相近、出現(xiàn)類似安全帶陰影區(qū)域時(shí)，使用安全帶語義分割會(huì)造成大量誤檢。而安全帶分類檢測(cè)更關(guān)注圖像的整體，受復(fù)雜背景的影響較小，檢測(cè)結(jié)果更穩(wěn)定，魯棒性更好。如圖8所示為圖像中出現(xiàn)陰影區(qū)域時(shí)，安全帶語義分割與安全帶分類檢測(cè)的典型對(duì)比結(jié)果。圖8（a）—圖8（d）均為原圖，圖8（e）—8（h）為語義分割的檢測(cè)結(jié)果，圖8（i）—圖8（l）為語義分割錯(cuò)誤的檢測(cè)乘員系安全帶的區(qū)域。以上場(chǎng)景在使用安全帶分類檢測(cè)時(shí)均正確檢測(cè)出乘員未系安全帶。

5? ?結(jié)論（Conclusion）

本文采用改進(jìn)的輕量化YOLOv4-tiny網(wǎng)絡(luò)快速檢測(cè)駕駛員和副駕駛區(qū)域，使用結(jié)合SAM空間注意力模塊的MobileNeXt網(wǎng)絡(luò)進(jìn)行安全帶的檢測(cè)。實(shí)驗(yàn)表明，本文方法能夠快速地檢測(cè)乘員是否系安全帶，檢測(cè)的準(zhǔn)確率為93.13%，能夠滿足現(xiàn)代智能交通中安全帶識(shí)別的需求。

參考文獻(xiàn)（References）

[1] 吳天舒，張志佳，劉云鵬，等.結(jié)合YOLO檢測(cè)和語義分割的駕駛員安全帶檢測(cè)[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2019，31（01）：126-131.

[2] 趙奇慧，劉艷洋，項(xiàng)炎平.基于深度學(xué)習(xí)的單階段車輛檢測(cè)算法綜述[J].計(jì)算機(jī)應(yīng)用，2020，40（S2）：30-36.

[3] 李祥鵬，閔衛(wèi)東，韓清，等.基于深度學(xué)習(xí)的車牌定位和識(shí)別方法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2019，31（06）：979-987.

[4] 凌艷，陳瑩.多尺度上下文信息增強(qiáng)的顯著目標(biāo)檢測(cè)全卷積網(wǎng)絡(luò)[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2019，31（11）：

2007-2016.

[5] 霍星，費(fèi)志偉，趙峰，等.深度學(xué)習(xí)在駕駛員安全帶檢測(cè)中的應(yīng)用[J].計(jì)算機(jī)科學(xué)，2019，46（S1）：182-187.

[6] 付春芬.基于深度學(xué)習(xí)的安全帶檢測(cè)方法研究[D].武漢：華中科技大學(xué)，2015.

[7] 熊昌鎮(zhèn)，智慧.多模型集成的弱監(jiān)督語義分割算法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2019，31（05）：800-807.

[8] CHEN L C， PAPANDREOU G， KOKKINOS I， et al.

Deeplab： Semantic image segmentation with deep convolutional nets， atrous convolution， and fully connected crfs[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2018， 40（4）：834-848.

作者簡(jiǎn)介：

王剛偉（1996-），男，碩士生.研究領(lǐng)域：機(jī)器學(xué)習(xí)，目標(biāo)檢測(cè).

張志佳（1974-），男，博士，教授.研究領(lǐng)域：機(jī)器學(xué)習(xí)，模式識(shí)別.