改進的SSD算法在智慧交通中的應用*

楊艷紅,鐘寶江2,徐云龍

(1.蘇州大學應用技術學院 工學院，江蘇 蘇州 215325；2.蘇州大學 計算機科學與技術學院，江蘇 蘇州 215006)

0 引 言

隨著當今城市人口和車輛越來越多，交通堵塞、交通安全等問題也日益嚴重，給城市發(fā)展帶來了很大影響。為了解決交通問題，我國各城市智慧交通發(fā)展如火如荼，人工智能、機器學習、計算機視覺、深度學習等均在智慧交通發(fā)展中起到了重要作用。

在智能交通管理中，通過準確檢測交通工具可以實現(xiàn)目標車輛監(jiān)控、車流量統(tǒng)計、違法車輛追蹤等，因此如何正確識別并檢測交通工具具有非常重要的意義。目標檢測的任務是找出圖像中感興趣的目標，并確定它們的位置與類別。近年來，卷積神經(jīng)網(wǎng)絡提取圖像特征為目標檢測等帶來很大的提升，并且很多學者將其應用在各種領域[1-6]。目前很多學者提出了基于深度學習的目標檢測算法，主要分為基于候選框的目標檢測算法和基于端對端學習的目標檢測兩類。前者檢測精度好，但是檢測效率較慢，如R-CNN[7]、Fast R-CNN[8]、Faster R-CNN[9]等算法。后者將圖像數(shù)據(jù)輸入網(wǎng)絡，不再單獨提取候選框，直接對全圖進行卷積和池化處理后提取有效特征層后回歸出目標類別及目標區(qū)域，真正實現(xiàn)了端到端的訓練。此類算法檢測精度低于基于候選框的目標檢測算法，但其檢測效率高，如SSD(Single Shot MultiBox Detector)[10]、YOLO(You Only Look Once)[11]等算法。

SSD目標檢測算法在當前主流算法中檢測效率和準確率均較為優(yōu)異，因此很多學者選擇SSD目標檢測算法。本文在其他學者研究的基礎上參考金字塔網(wǎng)絡對SSD算法的網(wǎng)絡結構進行改進，可以更準確地實現(xiàn)交通工具目標檢測。主要改進有：一是對SSD網(wǎng)絡結構進行調(diào)整，將有效特征層block4、block7、block8、block9、block10、block11相鄰層進行融合，同時減少卷積深度，提升了目標檢測的準確率及計算效率；二是對有效特征層增加批處理，再進行目標分類預測，使模型能夠更好地學習適應不同的數(shù)據(jù)分布，提高泛化能力；三是先驗框由原來的8 732個改進為8 728個，略微提高了計算效率。

1 相關工作

1.1 SSD目標檢測算法

SSD算法在圖片的不同位置進行密集抽樣，再利用卷積神經(jīng)網(wǎng)絡提取特征后進行目標檢測。由于目標檢測過程只需要一步，因此該算法速度快，并且在準確率上比YOLO等算法高很多。SSD目標檢測算法成為了近幾年比較流行的目標檢測算法之一，它的基礎模型是VGG16，在VGG16的基礎上又增加了新的卷積層來獲取更多的特征圖用來檢測。SSD目標檢測算法的網(wǎng)絡結構如圖1所示。

圖1 SSD目標檢測算法網(wǎng)絡結構圖

SSD網(wǎng)絡結構圖中，Conv1_1～Pool5為VGG16模型，Conv6～Conv12_2為SSD新增加的卷積層。SSD算法選取VGG16卷積層中的Conv4_3以及SSD新增卷積層Conv7、Conv8_2、Conv9_2、Conv10_2、Conv11_2作為檢測所用的特征圖，它們的大小分別為(38,38)、(19，19)、(10，10)、(5，5)、(3，3)、(1，1)，其中Conv7、Conv10_2、Conv11_2對應4個先驗框，其余特征圖對應6個先驗框，因此共需要預測8 732個先驗框，其工程量相當龐大。

SSD目標檢測算法有以下優(yōu)點：一是不再使用全連接層，計算效率提高；二是對輸入圖片的大小沒有要求，圖片輸入后再統(tǒng)一修改尺寸，更加靈活；三是不再先提取候選框后對候選框預測，直接利用卷積一步計算出候選框和預測分類，簡化流程。但是,SSD算法也存在一些缺點，主要是對小目標檢測不夠準確，并且在block7預測時深度較大。

1.2 特征金字塔網(wǎng)絡

特征金字塔網(wǎng)絡(Feature Pyramid Network，F(xiàn)PN)[12]在小目標檢測上優(yōu)于SSD目標檢測算法，它主要解決物體檢測中的圖片不同尺度的問題。FPN分為自底向上卷積和自頂向下連接兩部分，將高層特征圖通過上采樣變?yōu)楹偷鸵粚拥奶卣鲌D一樣大小，然后和低一層的特征圖連接，再進行預測。

FPN網(wǎng)絡結構如圖2所示，左側最底層為原圖，經(jīng)過卷積后依次得到高層，右側對左側相應層做2倍上采樣后與左面下一層相連接，依次得到右邊3層然后分別預測。FPN算法能將高層特征的語義信息和低層特征高分辨率相融合，通過融合后的特征進行預測。

圖2 FPN網(wǎng)絡結構圖

2 改進的SSD目標檢測算法

2.1 改進的SSD網(wǎng)絡結構

由于交通狀況復雜，交通工具的檢測準確率受到一定影響。為了提高目標檢測的準確率，本文對含有豐富語義信息的高層特征圖和含有豐富位置信息的低層特征圖進行有效融合，從而適當彌補高層特征圖位置信息表達能力不足的缺點。其網(wǎng)絡結構如圖3所示，虛線框內(nèi)為5個有效特征層及其預測。

圖3 改進的SSD目標檢測算法網(wǎng)絡結構

改進的SSD目標檢測算法借鑒FPN金字塔網(wǎng)絡結構的思想，對高層信息采用雙線性插值法進行上采樣，與相鄰底層信息進行特征融合。上采樣是利用已知圖像矩陣中的點來確定未知的點，從而擴大圖像尺寸，文中采用雙線性插值法[13-14]實現(xiàn)上采樣。雙線性插值利用原圖像目標點四周四個真實存在的值來共同確定目標圖像矩陣中的一個未知的值，如圖4所示，Q11(x1,y1)、Q12(x1,y2)、Q21(x2,y1)、Q22(x2,y2)為原圖像矩陣中的四個點，P為需要求的未知點。

圖4 雙線性插值算法圖示

在圖4中，x方向的插值是在Q11、Q21之間插入點R1，在Q12、Q22之間插入點R2，根據(jù)式(1)、(2)可求解R1、R2：

(1)

(2)

通過計算出來的R1、R2可以求y方向的線性插值，從而計算得到P點，如式(3):

(3)

改進的SSD網(wǎng)絡結構低層依舊使用VGG16，圖像輸入大小為300×300。為了提高計算效率將Conv7由圖1中的[None,19,19,1 024]修改為[None,19,19,512]，通道變?yōu)樵瓉淼囊话搿onv4_3～Conv11_2參考FPN金字塔網(wǎng)絡結構進行改進，將相鄰兩層進行融合運算，如SSD中原來的block11對應的Conv11_2采取雙線性插值向上采樣由原來的維度[None,1,1,256]變?yōu)閇None,3,3,256]，與Conv10_2進行融合變?yōu)閎lock10，依次求block9維度為[None,5,5,256],block8維度為[None,10,10,256],block7維度為[None,19,19,512],block4維度為[None,38,38,512]。

一種交通工具一般情況下不會超過圖片的50%，因此改進的SSD算法選擇38×38、19×19、10×10、5×5、3×3共5個尺度的特征圖進行目標檢測，丟棄了原SSD算法中Conv11_2對應的1×1特征圖。在后續(xù)實驗中證明去掉1×1特征圖對檢測效果并無明顯變化，因此不再使用原SSD算法中最大的先驗框，即特征圖為1×1的Conv11_2層。

與SSD算法相比較，改進的SSD算法block7最后一維度變小，并且不再計算SSD中block11，因此在計算效率上有所提高。

2.2 歸一化

卷積神經(jīng)網(wǎng)絡在學習過程中是為了學習數(shù)據(jù)分布，訓練數(shù)據(jù)與測試數(shù)據(jù)分布不同會使網(wǎng)絡泛化能力大大降低。針對每批次數(shù)據(jù)的分布不同，網(wǎng)絡需要在每次迭代后去學習適應不同的分布也會降低網(wǎng)絡訓練速度，因此對有效特征層的信息做歸一化處理后再進行預測。傳統(tǒng)的SSD只對conv4_3做L2范數(shù)，此種方法只是在單張圖片的channel上做歸一化，并未涉及到多張圖片之間的問題。本文借鑒FSSD[15]對改進的SSD做BN(Batch Normalization)[16]歸一化之后再進行預測。后文中提到的改進的SSD算法均指對SSD實現(xiàn)兩層融合并增加BN后的算法。BN是網(wǎng)絡的一層，對特征層的信息進行批量標準化。在卷積神經(jīng)網(wǎng)絡中，Batch就是訓練模型時設定的圖片數(shù)量即batch_size。BN歸一化過程如下：

輸入：B={x1,2,…,m},γ,β。

輸出：{yi=BNγ,β(xi)}。

求均值:

求標準差:

歸一化:

線性變換:

增加BN后的網(wǎng)絡結構如圖5所示。

圖5 增加BN后改進的SSD網(wǎng)絡結構圖

改進的SSD網(wǎng)絡結構中，對有效特征層block4、block7、block8、block9、block10進行BN歸一化處理后再進行位置與類型預測。

2.3 損失函數(shù)

目標檢測損失函數(shù)由位置誤差Lloc和類別置信度誤差Lconf兩部分組成，如式(4)所示：

(4)

式中：x為當前預測框的類別信息；c為預測框信息的置信度；l為預測框的位置；g為真實框的位置；N為先驗框的正樣本數(shù)，即與真實目標框相匹配的先驗框；α為權重系數(shù)；Llocf(x,c)為類別置信度誤差，采用交叉熵損失函數(shù)；Lloc(x,l,g)為位置誤差，采用smoothL1損失函數(shù)。

類別置信度誤差Lconf(x,c)是Softmax多類別損失函數(shù)，如式(5)～(6)所示：

(5)

(6)

位置誤差Lloc(x,l,g)是預測框與真實框之間的smoothL1損失，如式(7)所示：

(7)

3 實驗與分析

3.1 實驗環(huán)境

本次實驗在Win10 64位操作系統(tǒng)下，使用TensorFlow框架構建改進的SSD神經(jīng)網(wǎng)絡。硬件配置：CPU為Intel(R) Core(TM)i7-9700K CPU @ 3.60 GHz;內(nèi)存為16 GB；GPU為NVIDIA GeForce RTX 2060 SUPER。

3.2 實驗過程

實驗所用訓練數(shù)據(jù)集為Pascal VOC2012和VOC2007的訓練數(shù)據(jù)集，測試集為Pascal VOC2007的測試數(shù)據(jù)集。Pascal VOC2012在目標檢測、圖像分割網(wǎng)絡對比實驗與模型效果評估中被廣泛使用，該數(shù)據(jù)集共有21類共17 125張圖片。實驗需要對交通工具進行目標檢測，因此在Pascal VOC2012和VOC2007中選取出bicycle、motorbike、bus、car 4種交通工具的圖片及其標注信息，實驗中將此部分圖片作為訓練數(shù)據(jù)集。

圖像輸入尺寸為300 pixel×300 pixel，在同樣參數(shù)配置的情況下對改進的SSD和標準的SSD模型進行實驗比較。本文提出的改進的SSD模型在訓練迭代幾萬次后損失值在0～20之間波動。圖6所示為改進的SSD與標準的SSD訓練12萬次的收斂曲線，可以看出SSD損失值穩(wěn)定在0～40之間，而且穩(wěn)定性沒有改進的SSD好，損失值相對也比較高。

(a)改進的SSD模型

SSD與改進的SSD模型在相同參數(shù)及配置下訓練12萬步后進行比較，如圖7所示，在第一張圖片中，改進的SSD優(yōu)于原始的SSD，可以檢測出全部小汽車和公共汽車，第二張街道圖片中均存在漏檢的情況，第三張騎行比賽的圖片中均能正確檢測出自行車。在檢測目標密集并且有遮擋物時兩種模型均存在漏檢，但是改進的SSD漏檢較少。

圖7 模型識別效果

單張圖片具有特殊性，因此本文選取VOC2007測試集中的4種類別的車輛采用平均檢測精度(Mean Average Precision，mAP)對改進后的算法與原算法進行比較。mAP計算方式不唯一，在VOC數(shù)據(jù)集中，精確度(precision)、召回率(recall)、單類別平均精確度(Average Precision，AP)、mAP分別如式(8)～(11)所示:

(8)

(9)

(10)

(11)

式中：TP為真的正樣本數(shù)，F(xiàn)P為假的正樣本數(shù)，F(xiàn)N為假的負樣本數(shù)，n為檢測的類別。

對于不同的參數(shù)得到的結果會有差別，在同樣參數(shù)下對改進的SSD、SSD、未加入BN時改進的SSD算法進行比較，4種交通工具的AP值如表1所示。單類別平均精確度數(shù)值越高則單類別檢測準確度越高。由表1可以看出，不同車輛的檢測準確度存在一定差距，三種算法在檢測公共汽車時準確度都比較高，在檢測自行車、小汽車、摩托車三種較小的目標及目標密集并且有遮擋物時，SSD算法、未加入BN的SSD算法、改進的SSD算法均存在目標漏檢的情況，但是改進的SSD算法整體效果優(yōu)于其他兩種算法。

表1 改進的SSD與SSD的 AP比較

本文需要檢測并識別4類交通工具，選擇用mAP作為評價指標。表2為三種算法在訓練5萬步和10萬步時，每批次檢測圖像所用時間和四種類別交通工具的平均精確度，每批次用時越短則效率越高，mAP值越高四種類別交通工具的平均檢測準確度越高。從表2中可以看出,改進的SSD算法均優(yōu)于SSD算法和未加入BN時改進的SSD算法。在訓練10萬步時，改進的SSD算法在準確率上高于標準的SSD算法10.9%，提高了15.59%，用時增加1.28%。

表2 改進的SSD與SSD效率和準確率比較

4 結束語

本文提出了基于深度卷積神經(jīng)網(wǎng)絡改進的SSD目標檢測算法實現(xiàn)智慧交通中交通工具的分類及定位檢測，可以對圖片、已保存的視頻、攝像頭實時監(jiān)控視頻進行交通工具的檢測，準確率達到80.8%，運行速度約每秒識別13幀。改進的SSD目標檢測算法可以應用于智慧交通管理系統(tǒng)，幫助交通管理人員進行車輛監(jiān)控、統(tǒng)計車流量、違法車輛追蹤等。但是，本文改進的目標檢測算法在復雜環(huán)境下均存在漏檢現(xiàn)象，今后將圍繞如何在復雜環(huán)境下提高檢測準確率做進一步研究。