南京理工大學(xué)電子工程與光電技術(shù)學(xué)院 劉 磊

交通信號(hào)燈的在線檢測與識(shí)別是無人駕駛領(lǐng)域中的重要研究內(nèi)容，文章給出了一種基于YOLOv4的信號(hào)燈檢測與識(shí)別方法，該方法以YOLOv4目標(biāo)檢測算法為基礎(chǔ)，結(jié)合MoblieNetV3的特征提取網(wǎng)絡(luò)，對(duì)算法進(jìn)行輕量化處理。采用自制的信號(hào)燈數(shù)據(jù)集對(duì)該網(wǎng)絡(luò)進(jìn)行訓(xùn)練和測試，結(jié)果表明，文章提出的算法識(shí)別效果較好，平均準(zhǔn)確率為89.9%，高于原YOLOv4網(wǎng)絡(luò)的平均準(zhǔn)確率85.6%，檢測速度達(dá)到37FPS，高于原YOLOv4網(wǎng)絡(luò)的29FPS，滿足實(shí)時(shí)檢測的要求。實(shí)驗(yàn)表明，改進(jìn)后的網(wǎng)絡(luò)模型能在保證檢測準(zhǔn)確率的同時(shí)提高檢測速度，有效降低模型參數(shù)量，具有一定的應(yīng)用價(jià)值。

近年來，交通信號(hào)燈的檢測技術(shù)被逐步應(yīng)用于無人駕駛領(lǐng)域，國內(nèi)外很多研究人員對(duì)信號(hào)燈的檢測與識(shí)別方法進(jìn)行了相關(guān)研究。目前，隨著深度學(xué)習(xí)技術(shù)在各行各業(yè)的廣泛應(yīng)用，基于深度學(xué)習(xí)的目標(biāo)檢測算法漸漸代替了傳統(tǒng)的目標(biāo)檢測方法，已成為目前的主要檢測方法。He等人設(shè)計(jì)出了SPP-net，通過區(qū)域共享卷積計(jì)算解決了R-CNN中重復(fù)計(jì)算卷積特征引起的檢測速度較慢的問題。Ren等人提出了RPN網(wǎng)絡(luò)，利用CNN來生成多種類型的候選區(qū)域，減少了網(wǎng)絡(luò)模型的計(jì)算量。Ross Girshick參考RPN的思想，進(jìn)一步提出了Faster R-CNN網(wǎng)絡(luò)模型。Dai等人提出了R-FCN網(wǎng)絡(luò)。R-FCN模型改進(jìn)了Faster R-CNN的特征提取網(wǎng)絡(luò)，并將ROI Pooling的位置放在了卷積層的后邊。

為了進(jìn)一步提高算法的檢測速度，Redmon等人提出YOLO。YOLO網(wǎng)絡(luò)能夠在一次預(yù)測中得到多個(gè)目標(biāo)的位置和類型，使檢測速度大大提升。為了提高YOLO的精度，YOLOv2被提出。YOLOv2對(duì)卷積層進(jìn)行批處理歸一化，并加入錨框、多尺度訓(xùn)練和細(xì)粒度特征等技術(shù)，使檢測精度得到提升。然而YOLOv2對(duì)于一些小尺度目標(biāo)，比如交通信號(hào)燈，其檢測準(zhǔn)確率依然有較大的提升空間。為克服這一問題，在YOLOv2的基礎(chǔ)上，YOLOv3被提出。YOLOv3使用了一種快速連接結(jié)構(gòu)來提升檢測準(zhǔn)確率，并且采用了多尺度預(yù)測方法以提高對(duì)于小目標(biāo)的檢測效率。YOLOv4是基于YOLOv3的改進(jìn)算法，對(duì)檢測的速度與準(zhǔn)確度進(jìn)行了很好的平衡。

文章利用YOLOv4網(wǎng)絡(luò)框架速度快，精度高的優(yōu)點(diǎn)，將輕量級(jí)神經(jīng)網(wǎng)絡(luò)MobileNetV3與YOLOv4算法結(jié)合，提出一種改進(jìn)的MobileNetV3-YOLO-V4交通信號(hào)燈檢測算法，通過實(shí)驗(yàn)與YOLOv4算法經(jīng)過比較，結(jié)果說明文章提出的網(wǎng)絡(luò)結(jié)構(gòu)能夠在保證檢測速度的同時(shí)提高識(shí)別準(zhǔn)確度。

1 交通信號(hào)燈檢測算法

1.1 YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)

YOLOv4網(wǎng)絡(luò)主要由三個(gè)部分構(gòu)成，分別是主干網(wǎng)絡(luò)、頸部網(wǎng)絡(luò)和頭部網(wǎng)絡(luò)。其中，主干網(wǎng)絡(luò)采用CSP與Darknet53的結(jié)合網(wǎng)絡(luò)CSPDarknet53，CSP是一種新型主干網(wǎng)絡(luò)，具有輕量化、精度高的優(yōu)點(diǎn)，可以減少所需的計(jì)算成本。Darknet53是YOLOv3的主干網(wǎng)絡(luò)，YOLOv4將CSP網(wǎng)絡(luò)與其結(jié)合形成CSPDarknet網(wǎng)絡(luò)。并且改進(jìn)了激活函數(shù)，使用Mish激活函數(shù)最終形成了CSPDarknet53網(wǎng)絡(luò)。頸部網(wǎng)絡(luò)為SPP和PANet網(wǎng)絡(luò)。SPP網(wǎng)絡(luò)主要是負(fù)責(zé)將CSPDarknet53卷積后的特征歸到同一大小。PANet網(wǎng)絡(luò)有助于提高小目標(biāo)檢測的準(zhǔn)確度。頭部網(wǎng)絡(luò)則負(fù)責(zé)最終的結(jié)果預(yù)測。

在YOLOv4網(wǎng)絡(luò)中，為了對(duì)數(shù)據(jù)進(jìn)行增強(qiáng)，采用了mosaic方法，首先將4張訓(xùn)練圖像進(jìn)行縮小，然后將這些圖像隨機(jī)組合成一張新的圖像，極大地豐富了訓(xùn)練的數(shù)據(jù)集，與此同時(shí)在縮放的過程中為圖片新增了許多小目標(biāo)，提高了模型的魯棒性。此外，YOLOv4改進(jìn)了YOLOv3的損失函數(shù)，使用CIOU Loss損失函數(shù)替換原來的IOU損失函數(shù)，提高了預(yù)測框的回歸速度和準(zhǔn)確度。

1.2 特征提取層的改進(jìn)

原YOLOv4模型采用CSPDarknet53網(wǎng)絡(luò)作為特征提取網(wǎng)絡(luò)，會(huì)使得模型整體較大，檢測速度較慢，對(duì)硬件的要求較高。本文基于輕量化網(wǎng)絡(luò)思想，采用MobilenetV3作為特征提取網(wǎng)絡(luò)，對(duì)YOLOv4算法模型進(jìn)行改進(jìn)，降低網(wǎng)絡(luò)的參數(shù)數(shù)量，提高檢測效率。

MobileNetV3是在MobileNetV1和MobileNetV2基礎(chǔ)上的改進(jìn)網(wǎng)絡(luò)。MobileNetV3結(jié)合了深度可分離卷積思想以及具有線性瓶頸的逆殘差結(jié)構(gòu)。此外，MobileNetV3增加了部分深度可分離卷積和SENet網(wǎng)絡(luò)。并且使用hswish作為激活函數(shù)，減少了計(jì)算量，提高了網(wǎng)絡(luò)整體性能。

1.3 MobileNet-YOLOV4網(wǎng)絡(luò)架構(gòu)

為了將MobileNetV3網(wǎng)絡(luò)與YOLOV4網(wǎng)絡(luò)框架相結(jié)合，首先需要將MobileNetV3結(jié)構(gòu)中最后的四層刪掉，以滿足尺寸銜接的要求，再與YOLOV4網(wǎng)絡(luò)框架相結(jié)合并替換掉原來的特征提取網(wǎng)絡(luò)，最終得到基于MobileNetV3-YOLOV4算法的目標(biāo)檢測模型，其結(jié)構(gòu)如圖1所示。

圖1 MobileNetV3-YOLOV4結(jié)構(gòu)

2 實(shí)驗(yàn)

2.1 實(shí)驗(yàn)環(huán)境

本實(shí)驗(yàn)用到GPU顯卡型號(hào)為RTX2080Ti，顯存為11GB，使用的編譯語言和框架分別為python3.8和pytorch。操作系統(tǒng)為Ubuntu16.04。

2.2 數(shù)據(jù)集

目前，國內(nèi)外有關(guān)信號(hào)燈的數(shù)據(jù)集比較少，各個(gè)數(shù)據(jù)集的圖片和標(biāo)注差異較大。國內(nèi)的信號(hào)燈數(shù)據(jù)集太少，不足以用于模型訓(xùn)練，國外的數(shù)據(jù)集由于地域差異，也不能直接使用。因此，本文決定采用自制的信號(hào)燈數(shù)據(jù)集。圖片數(shù)據(jù)來源為通過標(biāo)注采集的交通場景圖像獲取。數(shù)據(jù)集圖片總計(jì)9800張，采集的地點(diǎn)城市包括：北京、上海、蘇州、南京、深圳等地，包含不同場景，不同時(shí)間的交通場景數(shù)據(jù)。將采集得到的數(shù)據(jù)使用labelme軟件進(jìn)行標(biāo)注，標(biāo)注的類別為箭頭和圓形交通信號(hào)燈其中圓形信號(hào)燈三類，左轉(zhuǎn)箭頭信號(hào)燈兩類，直行箭頭信號(hào)燈兩類，右轉(zhuǎn)箭頭信號(hào)燈兩類，共9類。標(biāo)注完成后按照PASCALVOC數(shù)據(jù)集的格式進(jìn)行存儲(chǔ)，具體類別和數(shù)量如表1所示。

表1 自制交通信號(hào)燈數(shù)據(jù)集分布表

采用9:1的比例劃分訓(xùn)練集和測試集，隨機(jī)抽取8820張圖像作為訓(xùn)練集，980張圖像作為測試集。

2.3 評(píng)價(jià)指標(biāo)

評(píng)估指標(biāo)采用精度（Precision）、召回率（Recall）、平均準(zhǔn)確率（mAP）和FPS(Frame Per Second)作為不同目標(biāo)檢測算法在信號(hào)燈檢測任務(wù)上的評(píng)價(jià)指標(biāo)。精度P=TP/(TP+FP)，召回率R=TP/(TP+FN)，其中TP表示真正例的樣本數(shù)，F(xiàn)P表示假正例的樣本數(shù)，F(xiàn)N表示假反例的樣本數(shù)。準(zhǔn)確率（AP）為PR曲線下的面積值，平均準(zhǔn)確率（mAP）為所有目標(biāo)的準(zhǔn)確率取平均值。FPS即模型每秒內(nèi)能夠處理的圖片數(shù)目。

2.4 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)過程中隨機(jī)選取90%的數(shù)據(jù)集作為訓(xùn)練集進(jìn)行訓(xùn)練，剩下的作為測試集。訓(xùn)練過程中設(shè)置初始學(xué)習(xí)率為0.0001，batch size設(shè)為16，總訓(xùn)練次數(shù)設(shè)置為100。

實(shí)驗(yàn)過程中選取了YOLOv4與MoblienetV3-YOLOV4網(wǎng)絡(luò)進(jìn)行效果對(duì)比。圖2是在當(dāng)前數(shù)據(jù)集下用相同方式訓(xùn)練相同周期的YOLOv4算法、和本文的MoblienetV3-YOLOV4算法的最終效果對(duì)比。

圖2 算法效果對(duì)比圖

通過比較兩種算法的測試結(jié)果，原YOLOv4算法相比于MoblienetV3-YOLOV4算法對(duì)于交通信號(hào)燈的檢測能力稍弱，對(duì)部分交通信號(hào)燈存在著檢測錯(cuò)誤或者檢測遺漏問題，與此同時(shí)檢測框?qū)π盘?hào)燈的定位相對(duì)來說不是很精確。而MoblienetV3-YOLOV4算法的檢測精度則稍高一些。

MoblienetV3-YOLOV4算法在自制的交通信號(hào)燈數(shù)據(jù)集上的Map達(dá)到89.9%，各個(gè)型號(hào)交通信號(hào)燈的mp值見圖3?？梢钥闯?，MoblienetV3-YOLOV4算法對(duì)交通信號(hào)燈數(shù)據(jù)集的9種信號(hào)燈檢測精度都高于YOLOv4模型。其中對(duì)紅色直行箭頭（red straight）類的檢測準(zhǔn)確度最高，達(dá)到96.1%，對(duì)綠色直行箭頭（green straight）檢測準(zhǔn)確度稍低。

圖3 具體準(zhǔn)確率對(duì)比

表2所示為YOLOv4算法與本文的MoblienetV3-YOLOV4算法在同一訓(xùn)練條件下對(duì)交通信號(hào)燈數(shù)據(jù)集進(jìn)行訓(xùn)練的結(jié)果對(duì)比。兩種算法均利用了ImageNet數(shù)據(jù)集下的預(yù)訓(xùn)練權(quán)重作為權(quán)重初始化方式。由表2可見，本文的MoblienetV3-YOLOV4檢測算法在自制的交通信號(hào)燈數(shù)據(jù)集上的mAP達(dá)到89.90%，高于YOLOv4的85.60%。檢測速度也快于YOLOv4。

表2 不同模型信號(hào)燈檢測結(jié)果對(duì)比

結(jié)語：文章在YOLOv4算法基礎(chǔ)上提出的MoblienetV3-YOLOV4交通信號(hào)燈檢測算法，能夠有效地對(duì)信號(hào)燈目標(biāo)進(jìn)行檢測與識(shí)別，并通過相關(guān)實(shí)驗(yàn)驗(yàn)證了所設(shè)計(jì)網(wǎng)絡(luò)模型的可行性及有效性，最終檢測的平均準(zhǔn)確率達(dá)到89.9%，在GPU下速度達(dá)到37fps。后續(xù)將考慮通過構(gòu)建神經(jīng)網(wǎng)絡(luò)直接預(yù)測信號(hào)燈狀態(tài)模塊來進(jìn)一步提升交通信號(hào)燈識(shí)別的準(zhǔn)確率。