改進(jìn)YOLOv5s+DeepSORT的監(jiān)控視頻車流量統(tǒng)計

李永上，馬榮貴，張美月

長安大學(xué) 信息工程學(xué)院，西安 710064

在智能交通系統(tǒng)中，利用監(jiān)控視頻進(jìn)行車流量統(tǒng)計是一個研究熱點。交管部門通過實時、準(zhǔn)確地采集車流量信息，可以合理分配交通資源、提高道路通行效率，有效預(yù)防和應(yīng)對城市交通擁堵問題。

基于監(jiān)控視頻的車流量統(tǒng)計通常包含車輛目標(biāo)檢測和跟蹤兩個部分。傳統(tǒng)的目標(biāo)檢測算法利用人工構(gòu)建目標(biāo)特征，之后使用分類算法進(jìn)行分類，判斷目標(biāo)是否存在，典型的算法如Haar+Adaboost[1]、Hog+SVM[2]、DPM[3]，這些算法需要在圖像中進(jìn)行滑動窗口操作，檢測效率低、消耗資源大，并且人工設(shè)計的特征魯棒性低、泛化效果差，容易導(dǎo)致車輛誤檢、漏檢現(xiàn)象的出現(xiàn)。隨著機器學(xué)習(xí)和GPU并行計算技術(shù)的不斷發(fā)展，目標(biāo)檢測逐漸由傳統(tǒng)方法轉(zhuǎn)為基于深度學(xué)習(xí)的方法，主要分為One-Stage結(jié)構(gòu)和Two-Stage結(jié)構(gòu)兩種[4]。Two-Stage算法在檢測時首先生成候選區(qū)域，之后在候選區(qū)域的基礎(chǔ)上分類和校準(zhǔn)，準(zhǔn)確率相對較高，代表模型有R-CNN系列[5-7]。One-Stage算法在檢測時無需生成候選區(qū)域，直接對目標(biāo)類別和邊界進(jìn)行回歸，檢測速度快，代表模型有SSD[8]、RetinaNet[9]、YOLO[10-12]系列?；谏疃葘W(xué)習(xí)的車輛檢測方法能夠從數(shù)據(jù)中學(xué)習(xí)車輛特征，兼具檢測速度快、準(zhǔn)確率高的優(yōu)勢。目前，YOLO模型發(fā)展到最新的YOLOv5，由Ultralytics公司發(fā)布，按照模型權(quán)重大小分為s、m、l、x。其中，YOLOv5s模型參數(shù)量（Params）最少，浮點運算量（FLOPs）最低，但是運行速度最快，達(dá)到每張圖像2 ms的推理速度，在COCO 2017驗證集上的mAP達(dá)到55.4%。

目標(biāo)跟蹤算法根據(jù)初始化方式不同，分為基于檢測的跟蹤（detection-based tracking，DBT）和無檢測的跟蹤（detection-free tracking，DFT）。DBT需要一個檢測器提前將每一幀圖像中的目標(biāo)檢測出來，之后跟蹤檢測出的目標(biāo)，因此跟蹤效果依賴于檢測效果；而DFT需要人工在初始幀將被跟蹤目標(biāo)標(biāo)注出來，算法靈活性不高，并且無法跟蹤后面幀中出現(xiàn)的不同目標(biāo)。目標(biāo)跟蹤還可以根據(jù)視頻幀處理方式的不同分為在線跟蹤和離線跟蹤。在線跟蹤處理每一幀時依據(jù)當(dāng)前幀和之前幀中的信息跟蹤目標(biāo)，不能根據(jù)當(dāng)前幀的信息修改之前幀的跟蹤結(jié)果；離線跟蹤則可以利用當(dāng)前幀的前后數(shù)據(jù)獲取全局最優(yōu)解，但是不適合現(xiàn)實場景中的實時應(yīng)用。在監(jiān)控視頻的車輛跟蹤任務(wù)中，考慮實時性和靈活性，基于檢測的在線跟蹤是最接近實際應(yīng)用的方法。

監(jiān)控視頻車流量統(tǒng)計的難點在于視頻中的運動模糊、車輛遮擋、目標(biāo)尺度變化，這些因素會導(dǎo)致車輛檢測時出現(xiàn)漏檢或誤檢，或者在車輛跟蹤時出現(xiàn)身份切換（ID switch，IDs），影響最后的統(tǒng)計結(jié)果。針對這些難點，本文利用基于深度學(xué)習(xí)的目標(biāo)檢測算法檢測車輛，結(jié)合檢測結(jié)果和在線跟蹤的DBT算法跟蹤目標(biāo)，最后在視頻中利用虛擬檢測線的方式完成車流量統(tǒng)計。

1 相關(guān)工作

基于深度學(xué)習(xí)的車輛檢測具有速度快、準(zhǔn)確率高的優(yōu)點，不論是在復(fù)雜的環(huán)境背景中，還是在算力較低的邊緣設(shè)備上，都能表現(xiàn)出良好的檢測效果。黃開啟等[13]在霧霾天氣的背景下，利用改進(jìn)的YOLOv3算法檢測車輛，構(gòu)造了一種定位置信度替代分類置信度作為參考項來選擇預(yù)測框的位置，通過引入軟化非極大值抑制（soft-NMS）更新坐標(biāo)，提高車輛定位精度，但是文章對霧霾圖像仍然使用傳統(tǒng)圖像處理方法，因此無法實現(xiàn)端到端的檢測。鞠默然等[14]針對圖像中小目標(biāo)檢測率低、虛警率高的問題，將YOLOv3輸出的8倍降采樣的特征圖進(jìn)行2倍上采樣，并與之前的特征圖進(jìn)行融合，以獲取更多小目標(biāo)的特征信息，利用K-means對目標(biāo)候選框的個數(shù)和寬高比進(jìn)行聚類分析，在VEDAI數(shù)據(jù)集上的實驗結(jié)果表明改進(jìn)后的網(wǎng)絡(luò)可以有效檢測小目標(biāo)，但是VEDAI是遙感圖像的車輛數(shù)據(jù)集，目標(biāo)大小較為單一，與監(jiān)控視頻中車輛隨著運動而目標(biāo)大小也隨之變化的特點相差較遠(yuǎn)。李國進(jìn)等[15]針對車輛檢測時存在的漏檢問題，提出新的改進(jìn)Inception模塊，替代SSD網(wǎng)絡(luò)中的部分卷積層，針對識別率低的問題設(shè)計了深層特征和淺層特征融合的結(jié)構(gòu)，并在特征提取階段引入注意力機制SENet，對不同特征通道的重要性重新標(biāo)定，改進(jìn)的算法在精度和速度上均有提高，但是文章忽略了SSD網(wǎng)絡(luò)的模型權(quán)重較大，無法部署在邊緣設(shè)備的問題，實用性不強。

基于監(jiān)控視頻的車輛跟蹤是典型的多目標(biāo)跟蹤任務(wù)，難點在于車輛遮擋、運動模糊、尺度變化等。李俊彥等[16]在車輛運動軌跡提取任務(wù)中，提出基于YOLOv3和KCF相結(jié)合的方法，關(guān)聯(lián)目標(biāo)檢測結(jié)果和歷史軌跡的預(yù)測結(jié)果，完成目標(biāo)車輛跟蹤，但是KCF算法對目標(biāo)的尺度變化和快速變形適用性不強，不適用于監(jiān)控視頻場景的車輛跟蹤。劉磊等[17]為了解決車流量統(tǒng)計中識別速度慢、統(tǒng)計準(zhǔn)確率低的問題，提出YOLO識別和Mean shift跟蹤的方法，Mean shift可以根據(jù)YOLO的識別結(jié)果更新目標(biāo)模型，以改善跟蹤失敗的問題，但是Mean shift算法僅僅利用單一顏色特征描述目標(biāo)，對于相似顏色目標(biāo)的干擾不夠魯棒。金立生等[18]提出一種優(yōu)化Deep SORT的前方多車輛目標(biāo)跟蹤算法，使用改進(jìn)的YOLOv3作為檢測器，并在擴增后的VeRi數(shù)據(jù)集上進(jìn)行重識別預(yù)訓(xùn)練，將中心損失函數(shù)和交叉熵?fù)p失函數(shù)相結(jié)合，實驗結(jié)果相較于原始Deep SORT準(zhǔn)確度有所提升，并且IDs次數(shù)降低。

綜合以上工作，本文提出利用輕量級目標(biāo)檢測模型YOLOv5s作為檢測器，結(jié)合Deep SORT目標(biāo)跟蹤的車流量統(tǒng)計方法，以實現(xiàn)端到端的檢測和統(tǒng)計。針對車輛識別率低問題，將注意力機制與檢測網(wǎng)絡(luò)融合，加強模型提取特征的能力，使模型更加關(guān)注被檢測目標(biāo)本身。使用CIoU Loss替換原始的檢測框回歸損失函數(shù)，改善定位精度低、訓(xùn)練過程中目標(biāo)檢測框回歸速度慢的問題。使用DIoU-NMS替換原始的NMS，改善車輛遮擋導(dǎo)致的漏檢現(xiàn)象。對Deep SORT的特征提取網(wǎng)絡(luò)進(jìn)行輸入尺寸調(diào)整，并在車輛重識別數(shù)據(jù)集上重新訓(xùn)練。連接檢測器和跟蹤器，在公開數(shù)據(jù)集上調(diào)試參數(shù)，并在實際的道路監(jiān)控視頻中測試應(yīng)用。

2 YOLOv5s車輛檢測

在DBT算法中，檢測器效果的好壞嚴(yán)重影響目標(biāo)跟蹤的結(jié)果[19]，并且檢測器速率的快慢和模型的大小也是完成實時目標(biāo)跟蹤的關(guān)鍵。由于監(jiān)控現(xiàn)場大多是算力較低的嵌入式設(shè)備，無法部署規(guī)模較大的檢測模型，為了降低運算成本，加強實用性，本文選擇YOLOv5系列中的最小模型YOLOv5s作為車輛檢測的基礎(chǔ)模型。

2.1 YOLOv5s

YOLOv5s的結(jié)構(gòu)主要分為四個部分，Input輸入端、Backbone主干網(wǎng)絡(luò)、Neck網(wǎng)絡(luò)、Head輸出端，如圖1所示。Input輸入端主要包含對數(shù)據(jù)的預(yù)處理，包括Mosaic數(shù)據(jù)增強[11]、自適應(yīng)圖像填充，并且為了適用不同的數(shù)據(jù)集，YOLOv5s在Input輸入端集成了自適應(yīng)錨框計算，以便在更換數(shù)據(jù)集時，自動設(shè)定初始錨框大小。Backbone主干網(wǎng)絡(luò)通過深度卷積操作從圖像中提取不同層次的特征，主要利用了瓶頸跨階段局部結(jié)構(gòu)BottleneckCSP[20]和空間金字塔池化SPP[21]，前者的目的是為了減少計算量、提高推理速度，后者實現(xiàn)了對同一個特征圖進(jìn)行不同尺度的特征提取，有助于檢測精度的提高。Neck網(wǎng)絡(luò)層包含特征金字塔FPN、路徑聚合結(jié)構(gòu)PAN[22]，F(xiàn)PN在網(wǎng)絡(luò)中自上而下傳遞語義信息，PAN則自下而上傳遞定位信息，對Backbone中不同網(wǎng)絡(luò)層的信息進(jìn)行融合，進(jìn)一步提升檢測能力。Head輸出端作為最后的檢測部分，主要是在大小不同的特征圖上預(yù)測不同尺寸的目標(biāo)。

圖1 YOLOv5s網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Structure of YOLOv5s

2.2 YOLOv5s融合注意力機制

在計算機視覺領(lǐng)域，注意力機制的有效性已經(jīng)得到證明，并且已經(jīng)廣泛用于分類、檢測、分割任務(wù)。在CNN網(wǎng)絡(luò)中，注意力機制作用于特征圖上，用于獲取特征圖中可用的注意力信息[23]，主要包括空間注意力和通道注意力信息。卷積注意力模塊（convolutional block attention module，CBAM）[24]同時關(guān)注了空間和通道信息，通過兩個子模塊CAM（channel attention module）和SAM（spatial attention module）對網(wǎng)絡(luò)中間的特征圖進(jìn)行重構(gòu)，強調(diào)重要特征，抑制一般特征，達(dá)到提升目標(biāo)檢測效果的目的，其結(jié)構(gòu)如圖2所示。

圖2 CBAM結(jié)構(gòu)Fig.2 Structure of CBAM

對于CNN網(wǎng)絡(luò)中某一層的三維特征圖F∈?C×H×W，CBAM順序地從F推理出一維通道注意力特征圖Mc和二維空間注意力特征圖Ms，并分別進(jìn)行逐元素相乘，最終得出與F同等維度的輸出特征圖，如公式（1）所示。其中F表示網(wǎng)絡(luò)中某網(wǎng)絡(luò)層特征圖，Mc(F)表示CAM對F進(jìn)行通道注意力重構(gòu)，Ms(F′)表示SAM對通道注意力重構(gòu)的結(jié)果F′進(jìn)行空間注意力重構(gòu)，?表示逐元素乘法。

CAM和SAM的結(jié)構(gòu)如圖3所示。圖3（a）展示了CAM的計算過程，輸入特征圖F的每個通道同時經(jīng)過最大池化和平均池化，得出的中間向量經(jīng)過一個多層感知機（multi-layer perceptron，MLP），為了減少計算量，MLP只設(shè)計一個隱層，最后對MLP輸出的特征向量進(jìn)行逐元素加法并進(jìn)行Sigmoid激活操作，得到通道注意力Mc。圖3（b）展示了SAM的計算過程，經(jīng)過Mc激活的特征圖F′沿通道方向上分別進(jìn)行最大池化和平均池化，對得到的中間向量進(jìn)行卷積操作，卷積結(jié)果經(jīng)過Sigmoid激活之后得到空間注意力Ms。

圖3 CAM和SAM模塊結(jié)構(gòu)Fig.3 Structure of CAM and SAM

注意力機制最重要的功能是對特征圖進(jìn)行注意力重構(gòu)，突出特征圖中的重要信息，抑制一般信息，YOLOv5s網(wǎng)絡(luò)中提取特征最關(guān)鍵的部分在Backbone，因此，本文將CBAM融合在Backbone之后，Neck網(wǎng)絡(luò)的特征融合之前，這么做的原因是YOLOv5s在Backbone中完成了特征提取，經(jīng)過Neck特征融合之后在不同的特征圖上預(yù)測輸出，CBAM在此處進(jìn)行注意力重構(gòu)，可以起到承上啟下的作用，具體結(jié)構(gòu)如圖4所示。

圖4 Neck融合CBAMFig.4 Structure of Neck integrating CBAM

2.3 損失函數(shù)改進(jìn)

YOLOv5s使用GIoU Loss[25]作為邊界框回歸損失函數(shù)，用以評判預(yù)測邊界框（predicted box，PB）和真實邊界框（ground truth，GT）的距離，如公式（2）：

式中，IoU表示PB和GT的交并比，Ac表示將PB和GT同時包含的最小的矩形框的面積，U表示PB和GT的并集，LGIoU為GIoU損失。GIoU Loss的優(yōu)勢是尺度不變性，即PB和GT的相似性與它們的空間尺度大小無關(guān)。GIoU Loss的問題在于當(dāng)PB或者GT被對方完全包圍的時候，GIoU Loss完全退化為IoU Loss，由于它嚴(yán)重地依賴于IoU項，導(dǎo)致在實際訓(xùn)練中收斂速度過慢，并且預(yù)測的邊界框精度較低。CIoU Loss針對這些問題，同時考慮了PB和GT的重疊面積、中心點距離、長寬比例，如公式（3）：

式中，b和bgt表示PB和GT的中心點，ρ2(·)表示求歐式距離，c表示PB和GT的最小包圍框的最短對角線長度，α表示一個正平衡參數(shù)，v表示PB和GT的長寬比的一致性。α和v的定義如公式（4）：

式中wgt、hgt和w、h分別表示GT和PB的寬度和高度。

相比YOLOv5s中使用的GIoU Loss、CIoU Loss在損失項中加入了PB、GT中心距離和長寬比例的懲罰項，使網(wǎng)絡(luò)在訓(xùn)練時可以保證預(yù)測框更快的收斂，并且得到更高的回歸定位精度，本文將CIoU Loss作為車輛檢測網(wǎng)絡(luò)的損失函數(shù)。

2.4 NMS非極大值抑制改進(jìn)

在預(yù)測階段，通常使用NMS移除多余的檢測框，評判的標(biāo)準(zhǔn)是某個檢測框與預(yù)測得分最高的檢測框的交并比IoU，當(dāng)IoU大于設(shè)定的閾值時，預(yù)測的檢測框?qū)⒈灰瞥Ｔ谝话銏鼍跋?，這種方法是有效的，但是在目標(biāo)密集的環(huán)境中，由于各個目標(biāo)之間相互存在遮擋，不同目標(biāo)的檢測框非常近，重疊面積較大，因此會被NMS錯誤地移除，導(dǎo)致目標(biāo)檢測失敗。在監(jiān)控視頻中，車輛目標(biāo)集中在圖像中的道路中間，是一種較為密集并且容易產(chǎn)生遮擋的場景，本文利用DIoU作為NMS的評判標(biāo)準(zhǔn)改善這個問題。

DIoU在IoU的基礎(chǔ)上考慮了兩個邊界框中心點的距離，如公式（5）：

M表示預(yù)測分?jǐn)?shù)最高的一個預(yù)測框，Bi表示判斷是否需要被移除的預(yù)測框，si表示分類分?jǐn)?shù)，ε表示NMS的閾值。DIoU-NMS考慮IoU的同時，判斷兩個邊界框M和Bi中心點的距離，當(dāng)距離較遠(yuǎn)時不會移除預(yù)測框，而是認(rèn)為檢測到了另外的目標(biāo)，這有助于解決目標(biāo)互相遮擋情況下的漏檢問題。本文使用DIoU-NMS替換原始NMS。

3 Deep SORT車輛跟蹤

多目標(biāo)在線跟蹤算法SORT（simple online and realtime tracking）利用卡爾曼濾波和匈牙利匹配，將跟蹤結(jié)果和檢測結(jié)果之間的IoU作為代價矩陣，實現(xiàn)了一種簡單高效并且實用的跟蹤范式。但是SORT算法的缺陷在于所使用的關(guān)聯(lián)度量（association metric）只有在狀態(tài)估計不確定性較低的情況下有效，因此算法執(zhí)行時會出現(xiàn)大量身份切換現(xiàn)象，當(dāng)目標(biāo)被遮擋時跟蹤失敗。為了改善這個問題，Deep SORT將目標(biāo)的運動信息和外觀信息相結(jié)合作為關(guān)聯(lián)度量，改善目標(biāo)消失后重新出現(xiàn)導(dǎo)致的跟蹤失敗問題。

3.1 Deep SORT多目標(biāo)跟蹤算法

3.1.1 跟蹤處理和狀態(tài)估計

Deep SORT利用檢測器的結(jié)果初始化跟蹤器，每個跟蹤器都會設(shè)置一個計數(shù)器，在卡爾曼濾波之后計數(shù)器累加，當(dāng)預(yù)測結(jié)果和檢測結(jié)果成功匹配時，該計數(shù)器置為0。在一段時間內(nèi)跟蹤器沒有匹配到合適的檢測結(jié)果，則刪除該跟蹤器。Deep SORT為每一幀中新出現(xiàn)的檢測結(jié)果分配跟蹤器，當(dāng)該跟蹤器連續(xù)3幀的預(yù)測結(jié)果都能匹配檢測結(jié)果，則確認(rèn)是出現(xiàn)了新的軌跡，否則刪除該跟蹤器。

Deep SORT使用8維狀態(tài)空間(u,v,γ,h,x˙,y˙,γ˙,h˙)描述目標(biāo)的狀態(tài)和在圖像坐標(biāo)系中的運動信息。u和v表示目標(biāo)檢測框的中心坐標(biāo)，γ和h分別表示檢測框的寬高比例和高度，(x˙,y˙,γ˙,h˙)表示前面四個參數(shù)在圖像坐標(biāo)中的相對速度。算法使用具有恒定速度模型和線性觀測模型的標(biāo)準(zhǔn)卡爾曼濾波器，將檢測框參數(shù)(u,v,γ,h)作為對象狀態(tài)的直接觀測值。

3.1.2 分配問題

Deep SORT結(jié)合運動信息和外觀信息，使用匈牙利算法匹配預(yù)測框和跟蹤框。對于運動信息，算法使用馬氏距離描述卡爾曼濾波預(yù)測結(jié)果和檢測器結(jié)果的關(guān)聯(lián)程度，如公式（7）：

式中，dj和yi分別表示第j個檢測結(jié)果和第i個預(yù)測結(jié)果的狀態(tài)向量，Si表示檢測結(jié)果和平均跟蹤結(jié)果之間協(xié)方差矩陣。馬氏距離通過測量檢測結(jié)果距離平均跟蹤結(jié)果的標(biāo)準(zhǔn)差，將狀態(tài)估計的不確定性考慮在內(nèi)，可以排除可能性低的關(guān)聯(lián)。

當(dāng)d(2)(i,j)小于指定的閾值，認(rèn)為關(guān)聯(lián)成功。

馬氏距離在短時預(yù)測情況下可以提供可靠的目標(biāo)位置信息，使用外觀特征的余弦相似度可以在目標(biāo)遮擋又重新出現(xiàn)時恢復(fù)目標(biāo)ID，為了使兩種度量的優(yōu)勢互補，使用線性加權(quán)的方式進(jìn)行結(jié)合：

3.2 深度外觀特征

原始算法使用一個殘差卷積神經(jīng)網(wǎng)絡(luò)提取目標(biāo)的外觀特征，將模型在大規(guī)模行人重識別數(shù)據(jù)集上進(jìn)行訓(xùn)練，使適用于行人的檢測和跟蹤。由于原始算法僅用于行人類別，輸入圖像均被縮放到128×64大小，這與車輛目標(biāo)的寬高比例不相符，為使模型適用于車輛特征提取，因此本文對網(wǎng)絡(luò)模型進(jìn)行改善，調(diào)整網(wǎng)絡(luò)的輸入圖像大小為128×128，如表1所示。調(diào)整后的網(wǎng)絡(luò)在車輛重識別數(shù)據(jù)集VeRi[26]進(jìn)行重識別訓(xùn)練。

表1 調(diào)整后的重識別網(wǎng)絡(luò)Table 1 Adjusted re-identify network

4 實驗與分析

4.1 實驗準(zhǔn)備

車輛檢測與跟蹤數(shù)據(jù)集：UA-DETRAC數(shù)據(jù)集采集于北京和天津24個不同地點，包含超過14萬幀視頻圖像和8 250輛人工標(biāo)記的汽車目標(biāo)，共計121萬標(biāo)記過的目標(biāo)檢測框。數(shù)據(jù)集中含有不同的交通場景，包括高速公路、十字路口、丁字路口，不同的環(huán)境背景，包括白天、夜晚、多云、下雨。由于UA-DETRAC的拍攝角度與監(jiān)控探頭較為接近，車輛類型多樣，因此選用該數(shù)據(jù)集作為檢測器YOLOv5的實驗數(shù)據(jù)集和Deep SORT多目標(biāo)跟蹤數(shù)據(jù)集。

車輛重識別數(shù)據(jù)集：VeRi數(shù)據(jù)集來自于20個不同的真實監(jiān)控攝像頭，攝像頭安裝于1 km2內(nèi)的任意位置和方向，拍攝場景包含十字路口、兩車道道路、四車道道路。數(shù)據(jù)集中含有776輛車的超過50 000張圖像，每輛車都被至少兩個攝像頭從不同角度、光線條件、環(huán)境背景拍攝。

車流量統(tǒng)計測試數(shù)據(jù)：模擬監(jiān)控攝像頭角度，手持相機拍攝于西安市南二環(huán)文藝路天橋，共拍攝3段視頻，每段5 min。拍攝場景包含平峰時段、高峰時段、夜間，其中平峰和高峰為白天拍攝，每段視頻均包含上下行兩條道路，如圖5（a）、（b）、（c）分別為平峰、高峰和夜間。

圖5 三種不同的車流量測試場景Fig.5 Three different traffic flow scenarios

實驗平臺：網(wǎng)絡(luò)訓(xùn)練平臺采用騰訊云服務(wù)器，規(guī)格為Tesla V100-NVLINK-32 GB GPU、8核CPU、40 GB RAM。車流量測試平臺采用本地主機，規(guī)格為RTX 2070s 8 GB GPU、AMD 3700X、32 GB RAM。模型框架為PyTorch。

評價指標(biāo)：查準(zhǔn)率Precision、查全率Recall、平均檢測精度AP作為目標(biāo)檢測模型的評價標(biāo)準(zhǔn)。身份切換次數(shù)IDs和每秒跟蹤幀數(shù)Speed作為跟蹤模型的評價標(biāo)準(zhǔn)。車流量統(tǒng)計準(zhǔn)確率作為整套方案的評價標(biāo)準(zhǔn)。

4.2 實驗結(jié)果及對比分析

4.2.1 YOLOv5s消融及對比實驗

本文僅采用UA-DETRAC數(shù)據(jù)集的訓(xùn)練集，按照6∶2∶2的比例隨機劃分為檢測網(wǎng)絡(luò)的訓(xùn)練集、驗證集和測試集。本文目的是車流量統(tǒng)計，無需檢測車輛類型，因此將原數(shù)據(jù)集中car、bus、van和others統(tǒng)一為一種類型car。為驗證本文提出的對YOLOv5s的三種改進(jìn)策略，在以上數(shù)據(jù)集上展開消融實驗，以判斷每個改進(jìn)點的有效性，依次在初始YOLOv5s的基礎(chǔ)上加入CBAM、CIoU Loss。實驗均不采用預(yù)訓(xùn)練模型，訓(xùn)練過程使用相同的參數(shù)配置，輸入圖像為640×640，優(yōu)化器為SGD，初始學(xué)習(xí)率0.01，動量設(shè)置為0.937，衰減系數(shù)為0.000 5。實驗結(jié)果如表2所示。

表2 YOLOv5s消融實驗Table 2 Ablation of YOLOv5s %

表2第1行表示原始YOLOv5s在數(shù)據(jù)集上的基礎(chǔ)表現(xiàn)，平均檢測精度是93.4%。分別引入CBAM和CIoU Loss之后可以看出，CBAM對檢測結(jié)果的提升較為明顯，Precision、Recall、AP均有明顯提高，而CIoU Loss的提升表現(xiàn)稍弱。分析認(rèn)為這與兩個模塊的功能不同有關(guān)，注意力機制旨在提升網(wǎng)絡(luò)對重要特征的提取能力，表現(xiàn)在結(jié)果上就是準(zhǔn)確率的提高，而CIoU Loss則是加快預(yù)測框的回歸的速度，提高回歸精度，因此對于檢測準(zhǔn)確率僅有小幅提高。同時引入CBAM和CIoU Loss之后，檢測網(wǎng)絡(luò)取得了最好的結(jié)果，平均精度AP相較原始網(wǎng)絡(luò)提升2.3個百分點。

為分析CIoU Loss和DIoU-NMS對檢測結(jié)果的影響，對部分測試結(jié)果進(jìn)行可視化，如圖6。圖6（a）為原始YOLOv5s+CBAM的部分檢測結(jié)果，可以看到在車輛遮擋時，網(wǎng)絡(luò)出現(xiàn)了漏檢，部分檢測框精度不高，沒有完全覆蓋或者超出了目標(biāo)。圖6（b）是在（a）的基礎(chǔ)上引入了CIoU Loss的部分檢測結(jié)果，相比圖6（a）在同樣的圖像中，檢測框的回歸精度有了明顯提高，但是同樣存在漏檢問題。圖6（c）是引入了DIoU-NMS的檢測結(jié)果，相比圖6（b），漏檢車輛被檢測出來，同時保持了較高的檢測精度。

圖6 消融實驗結(jié)果對比Fig.6 Comparison of ablation results

為了進(jìn)行橫向?qū)Ρ?，本文選擇Faster R-CNN+FPN、YOLOv3+SPP、mobilenetv2-YOLOv4三種網(wǎng)絡(luò)分別在同樣的數(shù)據(jù)集上訓(xùn)練和測試，均采用預(yù)訓(xùn)練模型。實驗結(jié)果如表3所示?？梢钥闯?，本文改進(jìn)的YOLOv5s在檢測速率FPS、權(quán)重大小、平均精度AP方面均領(lǐng)先其他三種網(wǎng)絡(luò)，對于網(wǎng)絡(luò)權(quán)重大小，原始YOLOv5s為7.3 MB，改進(jìn)之后網(wǎng)絡(luò)僅僅增加了0.4 MB。

表3 不同檢測網(wǎng)絡(luò)的結(jié)果對比Table 3 Comparison of different detection networks

4.2.2 深度外觀特征提取網(wǎng)絡(luò)實驗

將3.2節(jié)調(diào)整后的重識別網(wǎng)絡(luò)在數(shù)據(jù)集VeRi上訓(xùn)練，輸入圖像尺寸為128×128，其余參數(shù)保持不變。連接改進(jìn)后的YOLOv5s和車輛重識別后的Deep SORT，在UA-DETRAC訓(xùn)練集中的MVI_63525、MVI_40204、MVI_40991上進(jìn)行測試，結(jié)果如表4。

表4 車輛跟蹤實驗Table 4 Vehicle tracking experiment

由于SORT算法僅使用了運動特征作為目標(biāo)關(guān)聯(lián)的依據(jù)，在以上三段數(shù)據(jù)的車輛跟蹤中一共發(fā)生了75次身份切換，Deep SORT相比SORT降低了48%，而本文進(jìn)行車輛重識別后的模型進(jìn)一步降低了IDs，不僅IDs降低至29次，而且在本地測試平臺上的檢測速度可以達(dá)到32 Hz，滿足實時檢測的標(biāo)準(zhǔn)?？梢暬Y(jié)果如圖7所示，車輛在第150幀由于障礙物遮擋而消失，無法跟蹤到該目標(biāo)，在第172幀該目標(biāo)重新出現(xiàn)，目標(biāo)身份恢復(fù)，跟蹤成功。

圖7 車輛ID恢復(fù)Fig.7 Vehicle ID recovery

4.2.3 車流量統(tǒng)計實驗

本文利用在視頻中設(shè)置檢測線的方式統(tǒng)計車流量，具體方法是：在車道中設(shè)置與行車方向垂直的虛擬檢測線，當(dāng)一個目標(biāo)跟蹤框的中心點軌跡與檢測線相交時，車流量總數(shù)累加，并記錄該點縱坐標(biāo)；通過計算后一幀的中心縱坐標(biāo)與前一幀縱坐標(biāo)的大小判斷車輛是上行還是下行，完成雙向車道計數(shù)。檢測結(jié)果如圖8。

圖8 車流量統(tǒng)計結(jié)果Fig.8 Traffic flow statistics

對本文采集的車流量統(tǒng)計測試數(shù)據(jù)進(jìn)行人工計數(shù)，并進(jìn)行對比實驗，結(jié)果如表5所示，每一行數(shù)據(jù)分別表示人工統(tǒng)計、原始算法和改進(jìn)算法在三個測試視頻中統(tǒng)計到的車流量。從結(jié)果可以看出本文提出的改進(jìn)方法在三個場景中的準(zhǔn)確率均高于原始算法。在平峰場景中，由于白天光線好，車輛基本沒有遮擋，達(dá)到了93.5%的準(zhǔn)確率；在高峰場景中，車輛行駛緩慢，甚至停滯，跟車距離近，產(chǎn)生遮擋，準(zhǔn)確率有所下滑，為91.2%；在夜間場景中，由于光線較暗，會出現(xiàn)某些車輛漏檢，并且車輛前大燈和尾燈影響了目標(biāo)跟蹤的準(zhǔn)確度，導(dǎo)致統(tǒng)計準(zhǔn)確率相對較低，為89.9%。

表5 車流量統(tǒng)計實驗結(jié)果Table 5 Traffic flow statistics experiment

5 結(jié)束語

本文使用YOLOv5s作為檢測器，結(jié)合Deep SORT車輛跟蹤的方法進(jìn)行車流量統(tǒng)計。將注意力機制CBAM與YOLOv5s融合，有效地提升了檢測器的準(zhǔn)確率；使用CIoU Loss損失函數(shù)和DIoU-NMS非極大值抑制替換原始的GIoU Loss和普通NMS，進(jìn)一步提升了檢測器的定位精度，并且有效改善了車輛擁擠場景中的漏檢現(xiàn)象；將Deep SORT中原始的特征提取網(wǎng)絡(luò)進(jìn)行輸入調(diào)整和重識別訓(xùn)練，使算法更適合于車輛類別的應(yīng)用；連接改進(jìn)的YOLOv5s檢測器，在行車高峰、平峰和夜間三種場景中對算法進(jìn)行車流量統(tǒng)計實驗，結(jié)果表示本文提出的算法在不同場景中均表現(xiàn)出良好的統(tǒng)計準(zhǔn)確率。本文所進(jìn)行實驗均在高算力設(shè)備上進(jìn)行，盡管模型權(quán)重已經(jīng)很小，但是對于邊緣設(shè)備而言仍然負(fù)擔(dān)過重，因此未來的方向是對模型進(jìn)一步壓縮剪枝，并移植到嵌入式設(shè)備。