基于YOLOv5的高速公路目標(biāo)檢測(cè)算法的設(shè)計(jì)與實(shí)踐

楊興龍 蔣佳彤 韓嘉熠 顏新云

摘要：針對(duì)高速公路小目標(biāo)檢測(cè)召回率低、準(zhǔn)確率低等問(wèn)題，提出一種基于YOLOv5改進(jìn)的高速公路小目標(biāo)檢測(cè)算法。針對(duì)數(shù)據(jù)集樣本不均衡問(wèn)題，引入克隆數(shù)據(jù)增強(qiáng)對(duì)數(shù)據(jù)集進(jìn)行增廣;通過(guò)K-means算法以IOU作為度量值，聚類(lèi)產(chǎn)生適合該文數(shù)據(jù)集的Anchors boxes;通過(guò)添加注意力模塊，加強(qiáng)通道注意力，降低模型噪聲并提高準(zhǔn)確率;針對(duì)檢測(cè)小目標(biāo)困難問(wèn)題，引入三層特征融合機(jī)制，加強(qiáng)模型對(duì)淺層信息特征的提取能力;通過(guò)增加檢測(cè)頭，提高對(duì)小目標(biāo)特征的提取能力。實(shí)驗(yàn)結(jié)果表明，改進(jìn)后的YOLOv5模型在自建數(shù)據(jù)集上mAP達(dá)到了0.68，Recall達(dá)到了0.64，對(duì)小目標(biāo)有很好的檢測(cè)效果。

關(guān)鍵詞：YOLO; 注意力機(jī)制;小目標(biāo)檢測(cè);特征融合

中圖分類(lèi)號(hào)：TP311? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2022）25-0103-04

開(kāi)放科學(xué)（資源服務(wù)） 標(biāo)識(shí)碼（OSID） ：

高速公路在現(xiàn)代交通占據(jù)著重要地位，其迅速發(fā)展的同時(shí)也為管理機(jī)關(guān)和交通參與者帶來(lái)了嚴(yán)峻的挑戰(zhàn)。行人的異常闖入甚至違規(guī)逗留，不僅危害自身安全，還關(guān)乎高速公路交通的安全和暢通。因此，對(duì)高速公路行人異常事件[1]的檢測(cè)變得尤為重要。

然而，當(dāng)前高速公路系統(tǒng)中采用的基本巡檢方式過(guò)于依賴人工巡檢，監(jiān)控員工作負(fù)荷大，導(dǎo)致視覺(jué)疲勞，存在準(zhǔn)確率低下的缺點(diǎn)，極易因信息延誤而產(chǎn)生后續(xù)的交通堵塞。部分自動(dòng)檢測(cè)裝置因行人目標(biāo)過(guò)小[2]且易被遮擋[3]，檢測(cè)效率較低，同時(shí)，天氣因素對(duì)其影響極大，行人異常事件的檢測(cè)存在很大的偏差。

由于高速上不僅有誤闖入的異常行人，還有一些高速公路施工人員以及交警。因此，在檢測(cè)異常行人的同時(shí)，本文還對(duì)高速公路上的錐桶、水馬桶及施工人員進(jìn)行檢測(cè)，以便判斷進(jìn)行施工作業(yè)的工作人員是否處于安全的施工區(qū)域，其操作是否規(guī)范，以免因其不恰當(dāng)?shù)氖┕の恢没騽?dòng)作，影響車(chē)輛在高速公路上的正常行駛。

本文在復(fù)雜環(huán)境下對(duì)行人異常事件進(jìn)行實(shí)時(shí)檢測(cè)，針對(duì)小目標(biāo)較多、樣本不均衡問(wèn)題，通過(guò)克隆數(shù)據(jù)增強(qiáng)對(duì)數(shù)據(jù)集進(jìn)行增廣，同時(shí)進(jìn)行數(shù)據(jù)清洗，保證數(shù)據(jù)集的高效可用性。 運(yùn)用 K-means 聚類(lèi)算法[4]得出適用于小目標(biāo)行人檢測(cè)的 anchors[5];以YOLOv5網(wǎng)絡(luò)模型為基礎(chǔ)，將SE模塊[6]嵌入到Neck中，在重要的通道上投入更多的注意力，以加強(qiáng)網(wǎng)絡(luò)的去噪效果;在網(wǎng)絡(luò)模型最后加入三層FPN[7]+PAN[8]，將backbone[9]前端的小目標(biāo)特征圖接到Neck層進(jìn)行特征融合，加強(qiáng)對(duì)小目標(biāo)的檢測(cè)能力。運(yùn)用增強(qiáng)后的數(shù)據(jù)集，在數(shù)據(jù)清洗[10]過(guò)后的自制高速公路行人數(shù)據(jù)集上進(jìn)行訓(xùn)練，結(jié)果表明：改進(jìn)后的YOLOv5算法比改進(jìn)前的mAP值提升了9%，Recall提升了3%;在加入克隆數(shù)據(jù)增強(qiáng)后，mAP值提升了11%，Recall值提升了5%，同時(shí)，改進(jìn)后的網(wǎng)絡(luò)模型相比原YOLOv5模型，檢測(cè)速度沒(méi)有明顯影響，能充分滿足高速公路行人異常事件檢測(cè)任務(wù)高召回率和高精度的要求。

1 改進(jìn)的YOLOv5模型

為了提高網(wǎng)絡(luò)模型對(duì)高速公路小目標(biāo)的檢測(cè)能力，對(duì)原始的YOLOv5做出如下改進(jìn)：①使用K-means算法以IOU作為度量值，聚類(lèi)[11]產(chǎn)生適合本文數(shù)據(jù)集的anchors boxes[12];②在Neck中添加SE模塊，對(duì)通道賦予注意力機(jī)制，降低模型噪聲并提高準(zhǔn)確率;③針對(duì)檢測(cè)小目標(biāo)困難問(wèn)題，引入三層特征融合，削弱深層信息并加強(qiáng)淺層信息，增強(qiáng)模型對(duì)淺層信息特征的提取能力;④通過(guò)增加檢測(cè)頭，在較大的特征圖上檢測(cè)小目標(biāo)，以提高網(wǎng)絡(luò)模型的特征提取能力。

1.1 Anchor boxes

原始的YOLOv5采用k-means[13]算法根據(jù)coco數(shù)據(jù)集聚類(lèi)得出初始的anchor boxes，這些anchor boxes具有普遍性，但不適合本文的高速公路小目標(biāo)數(shù)據(jù)集。因此需要重新聚類(lèi)得出適合本文的anchor boxes。

K-means的核心思想是把給定的數(shù)據(jù)集分為K個(gè)簇（增大類(lèi)內(nèi)聚，減小類(lèi)間距），使得聚類(lèi)的損失函數(shù)最小，如公式（1），式中[xi]代表第[i]個(gè)樣本，[ci]是[xi]所屬的簇，[M]是樣本總數(shù)，[μci]是簇對(duì)應(yīng)的中心點(diǎn)。

K-means算法通常采用歐式距離、曼哈頓距離等作為度量值，具有局限性，不適合用來(lái)聚類(lèi)anchor boxes，因此本文采用IOU作為K-means聚類(lèi)算法的度量值。

IOU的公式為相交面積/相并面積，能夠作為anchor boxes與bounding boxes重合情況的重要指標(biāo)。K-means聚類(lèi)anchor boxes的步驟為：首先采用公式（2） 根據(jù)圖片的高和寬和box的高和寬，做歸一化處理。

[Jc，μ=mini=1M|xi-μci|2]? ? ? ? ? ?（1）

[w=wboxwimg ， h=hboxhimg]? ? ? ? ? ? ? ?（2）

[dbox， anchor=1-IOU（box， anchor）]? ? （3）

然后根據(jù)公式（3） 循環(huán)聚類(lèi)最終得出最符合數(shù)據(jù)集的anchor boxes。公式（3） 中的box代表真實(shí)的目標(biāo)框大小，anchor代表聚類(lèi)得出的anchor boxes大小。IOU（box，anchor） 代表目標(biāo)框與聚類(lèi)框的交占比，最終聚類(lèi)出的anchor boxes尺寸如表1所示。

1.2 注意力模塊

原始的YOLOv5模型在進(jìn)行特征提取時(shí)，對(duì)于輸入進(jìn)來(lái)的通道一視同仁，每個(gè)通道的重要性沒(méi)有區(qū)別。這有可能將不重要的通道也學(xué)習(xí)到，為目標(biāo)檢測(cè)增加噪聲。針對(duì)上述問(wèn)題，本文在Neck中引入了通道注意力SE模塊，得到每個(gè)通道的重要性權(quán)重值，從而突出重要的通道，削弱用處不大的通道，使網(wǎng)絡(luò)將注意力集中在重要的通道上，對(duì)網(wǎng)絡(luò)模型進(jìn)行去噪，提高精度。

SE模塊的架構(gòu)如圖1。首先是壓縮部分（Squeeze），通過(guò)平均池化將輸入進(jìn)來(lái)的feature map維度壓縮成1*1*c的特征向量，如公式（4），具有之前feature map的全局視野。其次是激勵(lì)部分（Excitation），通過(guò)全連接、Relu、全連接、sigmoid四步操作將輸入進(jìn)來(lái)的1*1*c的特征向量來(lái)預(yù)測(cè)每個(gè)通道的重要程度。最后，在獲得每個(gè)通道的重要性權(quán)重值后，將其激發(fā)到與先前特征映射對(duì)應(yīng)的每個(gè)通道，增強(qiáng)網(wǎng)絡(luò)模型去噪能力并提高準(zhǔn)確率。

[Zc=1w×hi=1w j=1h Uc（i，j）]? ?（4）

1.3 多尺度特征融合結(jié)構(gòu)

針對(duì)高速公路小目標(biāo)檢測(cè)困難、精度低的問(wèn)題，提出了多尺度特征融合結(jié)構(gòu)。

如圖2所示，a圖為原始圖片，b圖為經(jīng)過(guò)第一個(gè)C3模塊后的圖片，c圖為經(jīng)過(guò)第二個(gè)C3模塊后的圖片，d圖為經(jīng)過(guò)第三個(gè)C3模塊后的圖片。

從圖像可以很明顯地看出，淺層特征圖保留了更多的細(xì)節(jié)，小目標(biāo)特征也更加明顯。但是只融合淺層信息，會(huì)導(dǎo)致模型的精度不高，針對(duì)這個(gè)問(wèn)題，我們?cè)O(shè)計(jì)了三層特征融合結(jié)構(gòu)，如圖3。

為了充分利用模型前端淺層信息，提高對(duì)小目標(biāo)的檢測(cè)能力，模型在第一個(gè)C3模塊、第二個(gè)C3模塊、第三個(gè)C3模塊后均進(jìn)行了特征融合，然后用Concat與深層信息相融合，如公式（5）所示。

[Zconcat =i=1c Xi*Ki+i=1c Yi*Ki+c]? ? （5）

Concat后的特征圖可視化如圖4所示。從圖像中可以明顯看出融合了深層信息與淺層信息后，細(xì)節(jié)信息更豐富，小目標(biāo)特征更突出，有利于檢測(cè)小目標(biāo)。

1.4 4 分支檢測(cè)

原始的YOLOv5采用3分支檢測(cè)，分別用于檢測(cè)大、中、小目標(biāo)。但本文數(shù)據(jù)集以小目標(biāo)為主，將圖片縮放至640*640輸入網(wǎng)絡(luò)，有些小目標(biāo)甚至小于3像素，原有的3分支檢測(cè)不能很好地滿足小目標(biāo)檢測(cè)，甚至還有漏檢現(xiàn)象。為了解決以上問(wèn)題，增加了一個(gè)檢測(cè)分支，采用320*320、160*160、80*80、20*20四個(gè)尺度，在320*320這個(gè)更大的特征圖上檢測(cè)小目標(biāo)，提高網(wǎng)絡(luò)模型對(duì)小目標(biāo)的檢測(cè)能力。

2 數(shù)據(jù)處理

2.1 數(shù)據(jù)采集

訓(xùn)練模型依賴于大規(guī)模且高質(zhì)量的訓(xùn)練數(shù)據(jù)集。但由于現(xiàn)階段并沒(méi)有公開(kāi)、開(kāi)放的高速公路行人數(shù)據(jù)集，且關(guān)于目標(biāo)標(biāo)簽種類(lèi)及數(shù)量稀少，所以本實(shí)驗(yàn)采用自建數(shù)據(jù)集的方式來(lái)訓(xùn)練測(cè)試。

自建數(shù)據(jù)集共有來(lái)自高速公路抓拍的圖片及視頻取幀的1835張圖片，分為4個(gè)label，分別為錐桶（taper barrel）、水馬桶（ water toilet）、施工人員（ builders）、行人（pedestrian）。標(biāo)簽的分布如圖6。此數(shù)據(jù)集包含了不同人員、不同比例、不同視角、不同光照和各種復(fù)雜背景中不同遮擋的圖片。

考慮到拍攝角度的原因，數(shù)據(jù)集中的目標(biāo)大多為小目標(biāo)為主，通過(guò)查閱文獻(xiàn)與網(wǎng)上調(diào)研，本文設(shè)置目標(biāo)在圖片中占比5%以內(nèi)即為小目標(biāo)。以圖片寬度為橫軸，高度為縱軸，由圖5可知大部分的標(biāo)簽集中在[0.2，0.2]范圍內(nèi)，即大部分的標(biāo)簽面積僅占圖片總面積的4%之內(nèi)，是一個(gè)以小目標(biāo)為主的數(shù)據(jù)集。

2.2 克隆數(shù)據(jù)增強(qiáng)

為清晰顯示數(shù)據(jù)集分布情況，對(duì)各個(gè)類(lèi)別的目標(biāo)數(shù)量做出統(tǒng)計(jì)分析，從圖7可以看出樣本出現(xiàn)不均衡的特性。水馬桶具有體積較大、顏色統(tǒng)一的鮮明特征，故具有較好的訓(xùn)練效果，對(duì)實(shí)驗(yàn)結(jié)果影響較小。而行人的服飾裝扮、動(dòng)作姿勢(shì)統(tǒng)一程度不高，從圖7可以看出行人和施工人員的樣本數(shù)量較少，這將對(duì)最終的檢測(cè)效果產(chǎn)生較大影響。為了解決上述問(wèn)題，本文通過(guò)多次克隆小目標(biāo)到樣本中從而達(dá)到數(shù)據(jù)增廣的效果。

在實(shí)際交通場(chǎng)景中，行人和施工人員大多出沒(méi)在高速公路兩側(cè)，出沒(méi)地點(diǎn)單一有規(guī)律且道路兩側(cè)的背景色單一。本文主要是對(duì)以上兩個(gè)目標(biāo)進(jìn)行克隆數(shù)據(jù)增強(qiáng)，將行人和施工人員進(jìn)行克隆，如圖7所示，放在圖片中道路的兩側(cè)，且保證近大遠(yuǎn)小的視覺(jué)規(guī)律，不違背現(xiàn)實(shí)規(guī)律的同時(shí)也不會(huì)對(duì)訓(xùn)練產(chǎn)生負(fù)面影響，以此擴(kuò)充數(shù)據(jù)集。

3 消融實(shí)驗(yàn)

實(shí)驗(yàn)采用adam自適應(yīng)學(xué)習(xí)率，300輪epoch，img_size為640*640，batch_size為16，實(shí)驗(yàn)結(jié)果如表2。

針對(duì)高速公路小目標(biāo)檢測(cè)，實(shí)驗(yàn)數(shù)據(jù)表明，相比于原始的YOLOv5，改進(jìn)后的YOLOv5模型召回率提升了3%，map提升了9%;加入克隆數(shù)據(jù)增強(qiáng)后，召回率提升了5%，map提升了11%，對(duì)于高速公路小目標(biāo)具有良好的檢測(cè)效果。

4 總結(jié)與展望

由于在高速公路目標(biāo)的監(jiān)測(cè)中，對(duì)于召回率和準(zhǔn)確率具有極高要求，所以本文主要考慮模型的召回率和精度，提出了一種基于 YOLOv5 的改進(jìn)模型。通過(guò)克隆數(shù)據(jù)增強(qiáng)擴(kuò)充數(shù)據(jù)集，并通過(guò) K-means聚類(lèi)獲取行人的 anchor boxes，將SE模塊融合在與YOLOv5 網(wǎng)絡(luò)模型中。引入三層特征融合，加強(qiáng)淺層信息，提高模型對(duì)淺層信息特征的提取能力，從而能夠準(zhǔn)確定位行人位置，實(shí)現(xiàn)高速公路目標(biāo)的精準(zhǔn)檢測(cè)。實(shí)驗(yàn)結(jié)果表明本文使用的 YOLOv5改進(jìn)模型在將召回率提升3%的同時(shí)將自建數(shù)據(jù)集的檢測(cè)精度提高了9%，加入克隆數(shù)據(jù)增強(qiáng)后，召回率提升了5%，平均檢測(cè)精度提高了11%。對(duì)于小目標(biāo)行人或施工人員的檢測(cè)效果突出，可以較好適應(yīng)高速公路復(fù)雜的路況，保障高速公路的安全和暢通。

盡管本文模型在實(shí)驗(yàn)中取得了較好的檢測(cè)成果，但仍有許多問(wèn)題需要完善。自建數(shù)據(jù)集中的路況和天氣情況還存在局限性，需要進(jìn)一步地細(xì)化和擴(kuò)充。接下來(lái)的實(shí)驗(yàn)中將使用更龐大更全面的數(shù)據(jù)集來(lái)對(duì)進(jìn)行模型訓(xùn)練，并結(jié)合其他的監(jiān)測(cè)設(shè)備從而實(shí)現(xiàn)行人異常事件的實(shí)時(shí)監(jiān)測(cè)和及時(shí)處理。未來(lái)將繼續(xù)優(yōu)化模型，增強(qiáng)模型的泛化性和數(shù)據(jù)集的多樣性，使本文的模型能夠在更加復(fù)雜背景下的高速公路行人目標(biāo)檢測(cè)任務(wù)中發(fā)揮更好的效果。

參考文獻(xiàn)：

[1] 崔海龍.高速公路交通事件監(jiān)測(cè)系統(tǒng)研究[D].西安：長(zhǎng)安大學(xué)，2007.

[2] 李科岑，王曉強(qiáng)，林浩，等.深度學(xué)習(xí)中的單階段小目標(biāo)檢測(cè)方法綜述[J].計(jì)算機(jī)科學(xué)與探索，2022，16（1）：41-58.

[3] 賈慧星，章毓晉.車(chē)輛輔助駕駛系統(tǒng)中基于計(jì)算機(jī)視覺(jué)的行人檢測(cè)研究綜述[J].自動(dòng)化學(xué)報(bào)，2007，33（1）：84-90.

[4] 楊智雄，唐云祁，張家鈞，等.基于改進(jìn)YOLOv4的行人鞋部檢測(cè)算法[J].激光與光電子學(xué)進(jìn)展，2022，59（8）：121-130.

[5] 李聞，李小春，閆昊雷.基于改進(jìn)YOLO v3的PCB缺陷檢測(cè)[J].電光與控制，2022，29（4）：106-111.

[6] 高明華，楊璨.基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的交通目標(biāo)檢測(cè)方法[J].吉林大學(xué)學(xué)報(bào)（工學(xué)版），2022，52（6）：1353-1361.

[7] Lin T Y，Dollár P，Girshick R，et al.Feature pyramid networks for object detection[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition.Honolulu，HI，USA.IEEE，：936-944.

[8] 鐘志峰，夏一帆，周冬平，等.基于改進(jìn)YOLOv4的輕量化目標(biāo)檢測(cè)算法[J].計(jì)算機(jī)應(yīng)用，2022，42（7）：2201-2209.

[9] 王建軍，魏江，梅少輝，等.面向遙感圖像小目標(biāo)檢測(cè)的改進(jìn)YOLOv3算法[J].計(jì)算機(jī)工程與應(yīng)用，2021，57（20）：133-141.

[10] 陳冠宇.基于深度學(xué)習(xí)的小目標(biāo)檢測(cè)方法研究[D].武漢：中國(guó)地質(zhì)大學(xué)，2020.

[11] 魏瑋，蒲瑋，劉依.改進(jìn)YOLOv3在航拍目標(biāo)檢測(cè)中的應(yīng)用[J].計(jì)算機(jī)工程與應(yīng)用，2020，56（7）：17-23.

[12] 唐志剛.基于YOLO V3的航拍車(chē)輛圖像檢測(cè)方法研究[D].贛州：江西理工大學(xué)，2020.

[13] 張素潔，趙懷慈.最優(yōu)聚類(lèi)個(gè)數(shù)和初始聚類(lèi)中心點(diǎn)選取算法研究[J].計(jì)算機(jī)應(yīng)用研究，2017，34（6）：1617-1620.

【通聯(lián)編輯：梁書(shū)】