基于改進YOLOv3的復(fù)雜環(huán)境下交通標志檢測

馬露茜，吳欽木

（貴州大學(xué)電氣工程學(xué)院，貴陽550025）

1 引言

交通標志檢測與識別是無人駕駛領(lǐng)域的研究熱點之一。獲得準確的交通標志信息是行車安全的基本前提，實現(xiàn)安全的無人駕駛更是如此。而交通標志檢測與識別的特點之一是環(huán)境多變，需要在無法預(yù)知的復(fù)雜天氣、環(huán)境下進行檢測，檢測速度和精度往往會受到較大影響[1]。除了檢測過程中面臨的環(huán)境多變之外，小目標檢測也是一個難以解決的問題。對此已有眾多研究成果被提出。董天天[2]等采用改進后的YOLOv3對雨雪天氣下的交通標志進行檢測與識別，該方法的mAP達到了0.9123，超過了SSD和Fast-RCNN方法。趙坤[3]等采用YOLOv3模型對弱光條件下的交通標志進行檢測與識別，同時對YOLOv3的損失函數(shù)做出了改進，使訓(xùn)練模型更具有魯棒性。

以上方法均沒有構(gòu)建復(fù)雜環(huán)境下的中國交通標志檢測數(shù)據(jù)集，在此首先對這一部分研究空白做了填補，并提出一種基于改進YOLOv3的交通標志檢測網(wǎng)絡(luò)，增加特征尺度提取較淺層次細節(jié),使網(wǎng)絡(luò)可以收集獲得更豐富的圖像信息。通過遷移學(xué)習(xí)訓(xùn)練測試網(wǎng)絡(luò)的識別效果，與改進前的算法展開對比。

2 數(shù)據(jù)集構(gòu)建

對于YOLOv3在復(fù)雜環(huán)境下的交通標志檢測必須具備復(fù)雜環(huán)境下的中國交通標志數(shù)據(jù)集[4]。在此使用的數(shù)據(jù)集場景包含復(fù)雜自然場景下不同的天氣狀況，例如大霧、大雨天、陰天等天氣狀況下拍攝的圖片，如圖1所示。

圖1 數(shù)據(jù)集中的典型圖片

數(shù)據(jù)集的構(gòu)建過程主要為數(shù)據(jù)采集、數(shù)據(jù)標注與數(shù)據(jù)劃分三步，詳細如下：

數(shù)據(jù)采集：樣本主要來源有兩種，第一部分來源于CCTSDB[5]（中國交通系統(tǒng)的一個數(shù)據(jù)集）；第二部分為在大霧大雨等情況下通過拍照實地采集。具體的數(shù)據(jù)分布情況如圖2。

圖2 交通標志數(shù)據(jù)分布

數(shù)據(jù)標注：采用LableImg軟件標注每幅圖像，標注信息以xml格式保存，以備訓(xùn)練時使用。數(shù)據(jù)劃分為3個類別:指示標志、禁止標志、警告標志。詳細圖標如圖3所示。

圖3 交通標志示例

數(shù)據(jù)劃分：將圖像按照7:3的比例劃分訓(xùn)練集和測試集，共計圖像3415張，包含訓(xùn)練集2390張，測試集1025張。為了豐富數(shù)據(jù)量，訓(xùn)練時通過圖像旋轉(zhuǎn)、翻轉(zhuǎn)等方式對原始圖片進行數(shù)據(jù)增強。

3 YOLOv3算法改進

3.1 YOLOv3檢測網(wǎng)絡(luò)結(jié)構(gòu)

特征金字塔網(wǎng)絡(luò)（FPN）的上采樣（up-sample）和融合法在網(wǎng)絡(luò)中具有選擇優(yōu)勢，其表達效果通常由網(wǎng)絡(luò)層次決定，效果隨網(wǎng)絡(luò)層次的加深而變好。例如在進行16倍降采樣檢測時，如果直接采用第4次下采樣特征進行目標檢測，則只有淺層特征得到使用，檢測結(jié)果通常不好。在此基礎(chǔ)上使用32倍降采樣后的特征，會有深層次下采樣大小太小的問題，因此YOLO v3使用上采樣（步長約為2），把32倍降采樣后所得到的特征圖的大小增加一倍，以此實現(xiàn)和16倍降采樣后相同的維度。

YOLO v3通過 上采樣方法提取到一個深層的特征，它的維度應(yīng)該是與即將融合到的特征層維度相同（通道數(shù)不同）。采用多尺度方法來對不同規(guī)模和大小的目標物件進行檢查，grid cell設(shè)置越精細，可檢目標就越豐富[6]。

3.2 YOLOv3網(wǎng)絡(luò)優(yōu)化

在所構(gòu)建的交通標志數(shù)據(jù)集中，大部分都為霧雨天環(huán)境下的小目標，目標小且不清晰。YOLOv3只利用三個尺度的特征，對淺層信息的利用并不充分，富含詳細信息的低層特征因此浪費掉了，導(dǎo)致大部分小目標的位置信息消失，無法完成小目標檢測。

針對復(fù)雜環(huán)境影響和小目標消失等問題，在此設(shè)計提出一種改進YOLOv3深度神經(jīng)網(wǎng)絡(luò)，它增加了第4個特征尺度：104×104。通過對4個尺度檢測的特征層采取融合處理，不僅留存了深層次的圖像語義信息，也能取得更豐富的淺層圖像信息，因此能夠兼容不同尺度的目標[7]。

具體做法為：YOLOv3網(wǎng)絡(luò)中將檢測尺度為13×13的特征層在經(jīng)過2倍上采樣后，原來特征尺度52×52就可提高至104×104，若要充分使用深層特征和淺層特征，應(yīng)當(dāng)將第109層與特征提取網(wǎng)絡(luò)的第11層特征通過route層進行特征融合[8]。剩余的特征融合為2倍上采樣后輸出的第85層和第97層。分別將第85層與第61層，第97層與第36層的特征圖通過route層進行特征融合。

各個特征圖層具體情況如表1所示。四個特征尺度分別為：13×13、26×26、52×52、104×104。改進后的多尺度預(yù)測結(jié)構(gòu)如圖4所示。在圖4中的虛線部分，為提高算法對小目標檢測的精度，YOLOv3對輸入圖片做5次降采樣，在最后3次降采樣中對目標預(yù)測，以此輸出3個不同尺度的特征，分別為預(yù)測輸出1、輸出2、輸出3，邊長規(guī)律為13:26:52，深度為255。粗線箭頭部分則為一種經(jīng)過改進的多尺度網(wǎng)絡(luò)結(jié)構(gòu)。與原始YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)相比，所設(shè)計的4個檢測模型尺寸可以同時使用深層交通特征的高語義信息和低層交通特征的精確性高分辨率，網(wǎng)絡(luò)的復(fù)雜程度沒有明顯的增加。改進的YOLOv3網(wǎng)絡(luò)架構(gòu)更適應(yīng)復(fù)雜環(huán)境交通標志的檢測與識別。

圖4 改進的多尺度預(yù)測結(jié)構(gòu)

4 訓(xùn)練結(jié)果評估

4.1 實驗環(huán)境及評測指標

實驗環(huán)境配置情況如表2所示。配置文件中要用到的五個參數(shù)的實際設(shè)置情況如表3。

表2 實驗環(huán)境配置

表3 配置文件參數(shù)

為評估交通標志檢測效果，所使用的指標為平均準確率mAP（mean Average Precision）和每張圖片所需的時間t=1/N。mAP的計算分為兩步，第一步為計算每個類別的平均精度AP（Average Precision），第二步為對平均精度取均值。AP近似等于Precision-Recall（PR）曲線下的面積，定義為：

式中，m表示類別數(shù)量。mAP值和檢測效果成正比，檢測時間和檢測速度成反比。

4.2 實驗結(jié)果分析

為比較改進網(wǎng)絡(luò)的檢測效果，用所采集的中國交通標志檢測數(shù)據(jù)集分別對改進前后的YOLOv3網(wǎng)絡(luò)模型以及SSD模型進行訓(xùn)練和測試。三種類別的PR曲線如圖5所示，對應(yīng)具體數(shù)值如表4所示。通過對比可以看出改進網(wǎng)絡(luò)的精確率和召回率都優(yōu)于YOLOv3、SSD模型。

圖5 不同標志類別PR曲線對比圖

表4 具體AP值對比單位：%

在實時性上，標準YOLOv3和改進YOLOv3方法檢測圖片時間分別為31.4ms和34.2ms，達到了實時檢測的需求。具體實驗數(shù)據(jù)如表5所示。

表5 mAP和運行時間分析

對雨天、霧天檢測的實際效果如圖6、圖7所示。設(shè)定的檢測閾值為0.5。通過對比可以直觀地看到改進后的YOLOv3檢測算法檢測效果最好。

圖6 雨天檢測結(jié)果展示

圖7 霧天檢測結(jié)果展示

5 結(jié)束語

通過構(gòu)建復(fù)雜環(huán)境下的交通標志數(shù)據(jù)集，將增加了特征尺度的改進YOLOv3應(yīng)用到交通標志的檢測與識別當(dāng)中，取得良好的效果。通過對比實驗橫向?qū)Ρ雀倪M后YOLOv3算法與標準YOLOv3、SSD算法的性能差異，證明所提出的改進算法具有更高的召回率、準確率及檢測精度。研究達到了增強圖像檢測準確度的目的，但其速度提升有限，因此在后續(xù)工作中，需要對圖像樣本做出合理調(diào)整，進一步提高并完善復(fù)雜環(huán)境下交通標志檢測識別性能。