范博森，左云波，徐小力，王林楓

(北京信息科技大學(xué) 機(jī)電工程學(xué)院，北京 100192)

0 引言

道路信息涵蓋車輛、路坑、交通指示牌、車道線等信息。近年來(lái)隨著行車道數(shù)量的持續(xù)增加，如何有效收集道路信息的問(wèn)題日益突出。憑借人力以肉眼觀測(cè)記錄道路信息所需時(shí)間久、任務(wù)難度高、時(shí)效性差，還容易出現(xiàn)漏檢、錯(cuò)檢，于是，人們開始利用傳統(tǒng)圖像處理方法完成道路信息檢測(cè)任務(wù)。文獻(xiàn)[1]中對(duì)圖像進(jìn)行顏色空間表示轉(zhuǎn)換和形態(tài)學(xué)運(yùn)算的預(yù)處理，通過(guò)多藍(lán)色直方圖和最小二乘特征匹配法完成對(duì)交通指示牌的檢測(cè)；文獻(xiàn)[2]提出了一種基于局部紋理特征的結(jié)構(gòu)保持型Retinex算法用于檢測(cè)路面裂縫，減小了光照和陰影對(duì)檢測(cè)帶來(lái)的影響；文獻(xiàn)[3]提出了一種基于改進(jìn)霍夫變換的Canny算法用于檢測(cè)車道線，改善了惡劣天氣下檢測(cè)精度差的問(wèn)題。但是傳統(tǒng)圖像處理方法大多魯棒性較差、計(jì)算時(shí)間過(guò)長(zhǎng)、泛化能力和精準(zhǔn)度都達(dá)不到要求[4]。

如今深度學(xué)習(xí)算法嶄露頭角，并在目標(biāo)檢測(cè)領(lǐng)域展現(xiàn)出了較傳統(tǒng)圖像處理方法精度更高、速度更快的優(yōu)勢(shì)。文獻(xiàn)[5]將更快卷積神經(jīng)網(wǎng)絡(luò)(faster region convolutional network,Faster RCNN)算法應(yīng)用于道路車輛檢測(cè)，檢測(cè)精度高于傳統(tǒng)圖像處理方法；文獻(xiàn)[6]將基于VGG16改進(jìn)的Faster RCNN算法應(yīng)用于路面裂縫檢測(cè)，提高了檢測(cè)準(zhǔn)確率和定位精度；文獻(xiàn)[7]將基于ResNet101改進(jìn)的Faster RCNN算法用于小目標(biāo)車輛檢測(cè)，提高了檢測(cè)平均精度以及小目標(biāo)車輛的檢測(cè)性能?；谏疃葘W(xué)習(xí)的道路信息檢測(cè)算法與傳統(tǒng)圖像處理方法相比性能更好[8]。

He等[9]提出的掩膜區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(mask region convolutional network,Mask RCNN)算法從Faster RCNN派生而來(lái)，使用ROIAlign層代替ROIPooling層減小量化誤差，添加了掩碼任務(wù)分支實(shí)現(xiàn)了目標(biāo)的實(shí)例分割，提高了檢測(cè)任務(wù)精度，提升了小目標(biāo)檢測(cè)性能。文獻(xiàn)[10]將基于ResNet50/101的Mask RCNN算法應(yīng)用于路面缺陷檢測(cè)，該算法在精確率和檢測(cè)速度上較Faster RCNN算法有明顯提升。但是基于Mask RCNN算法的道路信息檢測(cè)仍然存在著檢測(cè)速度較慢，對(duì)特征不明顯的小目標(biāo)檢測(cè)效果較差等問(wèn)題[11]。

本文以基于ResNet50/101特征提網(wǎng)絡(luò)的Mask RCNN算法為基礎(chǔ)，使用深度可分離卷積(depthwise separable convolution，DSC)替換普通卷積，減少網(wǎng)絡(luò)參數(shù)量與模型計(jì)算量，提高算法檢測(cè)速度；在特征提取網(wǎng)絡(luò)中引入卷積注意力模塊(convolutional block attention module，CBAM)提高網(wǎng)絡(luò)對(duì)目標(biāo)的專注度，提升特征提取質(zhì)量；并使用雙向特征金字塔網(wǎng)絡(luò)(bidirectional feature pyramid network，Bi-FPN)替換原有特征金字塔網(wǎng)絡(luò)(feature pyramid network，F(xiàn)PN)作為算法的特征融合網(wǎng)絡(luò)，豐富特征圖包含的語(yǔ)義信息；在PASCAL-VOC2012公開數(shù)據(jù)集上完成模型的預(yù)訓(xùn)練，提高模型的擬合力；針對(duì)自制道路信息數(shù)據(jù)集完成模型最終訓(xùn)練。實(shí)驗(yàn)表明，本文改進(jìn)的算法較原算法在精確率、召回率以及檢測(cè)幀頻上有明顯提升。

1 改進(jìn)的Mask RCNN算法

Mask RCNN算法應(yīng)用于道路信息檢測(cè)中檢測(cè)速度慢、檢測(cè)精度低，對(duì)尺寸小于32×32像素的小目標(biāo)車輛、指示牌等目標(biāo)檢測(cè)效果差。本文引入DSC、CBAM與Bi-FPN對(duì)原算法進(jìn)行改進(jìn)。

1.1 基于DSC的改進(jìn)

道路信息檢測(cè)模型的檢測(cè)速度由算法結(jié)構(gòu)直接決定。Mask RCNN算法結(jié)構(gòu)如圖1所示，主要由特征提取網(wǎng)絡(luò)、特征融合網(wǎng)絡(luò)、區(qū)域候選網(wǎng)絡(luò)等組成。其中特征提取網(wǎng)絡(luò)的卷積計(jì)算開銷占據(jù)了大部分模型整體計(jì)算量[12]。本文選擇ResNet50/101作為Mask RCNN算法的特征提取網(wǎng)絡(luò)。

圖1 Mask RCNN算法結(jié)構(gòu)

如表1所示為ResNet50/101網(wǎng)絡(luò)配置。ResNet50/101構(gòu)建了深層殘差網(wǎng)絡(luò)結(jié)構(gòu)，保證了網(wǎng)絡(luò)深度對(duì)模型擬合度提高的同時(shí)又不會(huì)因?qū)訑?shù)過(guò)深而導(dǎo)致模型退化[13]。其中殘差結(jié)構(gòu)可以在一定程度上降低網(wǎng)絡(luò)的參數(shù)量與計(jì)算量，避免冗雜的計(jì)算增加模型的檢測(cè)速度。但是ResNet50/101使用大量的普通卷積依舊會(huì)導(dǎo)致檢測(cè)速度緩慢[14]。

表1 ResNet50/101網(wǎng)絡(luò)配置

為了提高模型的檢測(cè)速度，本文采用DSC代替ResNet50/101網(wǎng)絡(luò)中原有的普通卷積。DSC原理如圖2所示。其將普通卷積操作分解成兩步完成，第一步采用數(shù)量為M、通道數(shù)為1的一組卷積核分別對(duì)輸入特征圖的每個(gè)通道進(jìn)行卷積操作，其中M與輸入特征圖通道數(shù)一致。對(duì)得到的特征圖再通過(guò)數(shù)量為N、尺寸為1×1、通道數(shù)為M的一組卷積核進(jìn)行卷積操作，其中N與原卷積數(shù)量一致。DSC保留了普通卷積對(duì)特征圖進(jìn)行基于空間和通道角度特征提取操作的同時(shí)，采用分步計(jì)算的方式降低了網(wǎng)絡(luò)中的參數(shù)量與計(jì)算量。并且保證了在替換后不改變?cè)敵鎏卣鲌D的尺寸與通道數(shù)，無(wú)需對(duì)網(wǎng)絡(luò)做其他更改。

圖2 DSC原理示意

普通卷積層總體參數(shù)量為

PN=DK×DK×N×M

(1)

式中DK×DK為普通卷積核尺寸。

普通卷積層總體計(jì)算量為

CN=DK×DK×N×M×DF×DF

(2)

式中DF×DF為輸入特征圖的尺寸。

DSC層的總體參數(shù)量為

PD=DK×DK×M×N×M×1×1

(3)

DSC層的總體計(jì)算量為

CD=DK×DK×M+N×M×DF×DF

(4)

DSC層總體計(jì)算量與普通卷積層總體計(jì)算量的比值為

(5)

在ResNet50/101卷積層中，N∈{64，128，256，512，1 024，2 048}，DF∈{14，28，56，128}，DK∈{1，3}。且ResNet50/101中使用大量卷積層，采用DSC可以大量減少模型的計(jì)算量，從而提高道路信息檢測(cè)速度。

1.2 基于CBAM的改進(jìn)

道路信息檢測(cè)模型的檢測(cè)精度由ResNet50/101的特征提取質(zhì)量直接決定。在檢測(cè)任務(wù)中，目標(biāo)的類別與其在各個(gè)通道上的表達(dá)效果以及在圖片中存在的位置具有關(guān)聯(lián)性。在特征提取過(guò)程中充分利用空間關(guān)聯(lián)性與通道關(guān)聯(lián)性可以有效增強(qiáng)目標(biāo)特征的表達(dá)能力，抑制無(wú)效特征的表達(dá)。本文在ResNet50/101中引入CBAM提高檢測(cè)模型對(duì)目標(biāo)的通道注意力與空間注意力。

CBAM由通道注意力模塊(channel attention module,CAM)與空間注意力模塊(spatial attention module,SAM)組成。CAM結(jié)構(gòu)如圖3所示，輸入的特征圖并行經(jīng)過(guò)基于空間的平均池化與最大池化處理，得到尺寸為1×1、通道數(shù)不變的兩個(gè)包含通道信息的特征圖；接著兩個(gè)特征圖并行輸入共享網(wǎng)絡(luò)隱藏層多層感知器(multi-layer perceptron，MLP)，通過(guò)元素對(duì)應(yīng)的方式相加；最后通過(guò)激活函數(shù)得到通道注意力特征圖，將其與原輸入特征圖元素對(duì)應(yīng)相乘得到最終特征圖輸出。

圖3 CAM結(jié)構(gòu)示意

通道注意力特征圖計(jì)算過(guò)程為：

(6)

SAM結(jié)構(gòu)如圖4所示，輸入的特征圖同時(shí)并行經(jīng)過(guò)基于通道的平均池化與最大池化處理，得到尺寸不變、通道數(shù)為1的兩個(gè)包含空間信息的特征圖；接著將兩個(gè)特征圖進(jìn)行通道拼接，通過(guò)卷積與激活函數(shù)得到空間特征圖MS，將其與原輸入特征圖元素對(duì)應(yīng)相乘得到最終特征圖輸出。

圖4 SAM結(jié)構(gòu)示意

空間注意力特征圖計(jì)算過(guò)程為：

(7)

ResNet50/101+CBAM結(jié)構(gòu)如圖5所示，本文將CBAM模型放置在各個(gè)殘差塊之間，使得模型特征提取注意力時(shí)刻集中在道路信息目標(biāo)上，提高特征提取的質(zhì)量，從而提高道路信息檢測(cè)模型的精度。

圖5 ResNet+CBAM結(jié)構(gòu)示意

1.3 基于Bi-FPN的改進(jìn)

道路信息檢測(cè)任務(wù)中存在檢測(cè)諸如遠(yuǎn)方車輛、指示牌等小目標(biāo)。Mask RCNN算法通過(guò)特征金字塔網(wǎng)絡(luò)(FPN)對(duì)不同尺度的特征圖進(jìn)行特征融合，提高小目標(biāo)的檢測(cè)性能。

FPN原理如圖6所示。C1～C5為ResNet50/101自底向上提取出的特征圖。FPN使用橫向連接結(jié)構(gòu)，采取最鄰近法，按照從深到淺的順序?qū)ι顚犹卣鲌D上采樣將其尺寸變?yōu)榕c下一淺層特征圖相同，對(duì)淺層特征圖通過(guò)1×1卷積將其通道數(shù)變?yōu)榕c上一深層特征圖相同。兩者直接相加后通過(guò)3×3卷積消除混疊效應(yīng)，最終得到融合后的P2～P6特征圖，其中P6由P5降采樣。FPN提升了對(duì)小目標(biāo)的檢測(cè)性能，但是其未能充分利用淺層特征圖包含的位置信息，依舊會(huì)導(dǎo)致道路信息檢測(cè)中出現(xiàn)小目標(biāo)的漏檢、錯(cuò)檢。

圖6 FPN原理示意

本文引入Bi-FPN替換FPN作為Mask RCNN算法的特征融合網(wǎng)絡(luò)，提升道路信息檢測(cè)模型對(duì)小目標(biāo)的檢測(cè)性能。Bi-FPN原理如圖7所示。

圖7 Bi-FPN原理示意

Bi-FPN在FPN的基礎(chǔ)上得到特征圖B4、B3、P2和P6。添加一條從淺到深的路徑，通過(guò)對(duì)淺層特征圖進(jìn)行最大池化與上一深層特征圖相加得到特征圖P3、P4和P5。Bi-FPN可以使得深層淺層特征充分融合，得到的特征圖帶有豐富的語(yǔ)義信息和位置信息，除此之外Bi-FPN在每次特征融合操作中為每個(gè)輸入特征圖賦予可訓(xùn)練的權(quán)重，使得模型可以針對(duì)不同特征的重要性進(jìn)行學(xué)習(xí)，提高特征融合質(zhì)量，增加模型的檢測(cè)精度。

2 實(shí)驗(yàn)

2.1 實(shí)驗(yàn)數(shù)據(jù)集

本文實(shí)驗(yàn)?zāi)Ｐ陀?xùn)練基于PASCAL-VOC2012公開數(shù)據(jù)集與自制道路信息數(shù)據(jù)集。

在深度學(xué)習(xí)算法模型進(jìn)行訓(xùn)練時(shí)，一般給模型設(shè)置隨機(jī)網(wǎng)絡(luò)參數(shù)從頭訓(xùn)練，為了提升模型學(xué)習(xí)能力，所需數(shù)據(jù)集要求數(shù)量龐大且特征豐富[15]，但是目前并沒(méi)有符合條件的公開道路信息數(shù)據(jù)集。本文借鑒遷移學(xué)習(xí)的思想，通過(guò)利用優(yōu)質(zhì)數(shù)據(jù)集對(duì)道路信息模型進(jìn)行預(yù)訓(xùn)練，增強(qiáng)網(wǎng)絡(luò)對(duì)多種特征的學(xué)習(xí)能力。本文選取PASCAL-VOC2012公開數(shù)據(jù)集對(duì)模型進(jìn)行預(yù)訓(xùn)練，其中包含20類目標(biāo)共15 000多張圖片，經(jīng)常被用作深度學(xué)習(xí)的預(yù)訓(xùn)練數(shù)據(jù)集。共選取10 000張圖片作為預(yù)訓(xùn)練數(shù)據(jù)集，其中8 000張作為訓(xùn)練集、1 000張作為驗(yàn)證集、1 000張作為測(cè)試集。

本文從行車記錄儀中收集道路信息，為提高道路信息的豐富度，選取不同路段、不同光照、不同道路類型的行車記錄儀視頻進(jìn)行圖片截取自制道路信息數(shù)據(jù)集。數(shù)據(jù)集包含圖片2 000張，其中1 600張作為訓(xùn)練集，200張作為驗(yàn)證集，200張作為測(cè)試集。

2.2 實(shí)驗(yàn)環(huán)境與參數(shù)設(shè)置

本文模型的訓(xùn)練在Ubuntu18.04操作系統(tǒng)中完成，處理器選擇Intel(R) Core(TM) i5-8500 CPU @ 3.00 GHz，顯卡選擇16 GB內(nèi)存的 GTX 1080 Ti。模型的測(cè)試在Win10操作系統(tǒng)中完成，處理器選擇Intel(R) Core(TM) i7-10870H CPU @ 2.20 GHz。使用開源keras和tensorflow深度學(xué)習(xí)庫(kù)搭建模型框架。

設(shè)置輸入圖片分辨率為1 280×720像素，模型預(yù)訓(xùn)練100輪次，每輪訓(xùn)練1 000次，模型正式訓(xùn)練120輪次，每輪訓(xùn)練1 000次。其中學(xué)習(xí)率設(shè)置為0.001，權(quán)衰減系數(shù)設(shè)置為0.000 1，學(xué)習(xí)動(dòng)量設(shè)置為0.9。

2.3 實(shí)驗(yàn)數(shù)據(jù)分析

2.3.1 網(wǎng)絡(luò)損失

道路信息檢測(cè)模型的網(wǎng)絡(luò)訓(xùn)練損失函數(shù)收斂曲線如圖8所示，圖中損失函數(shù)曲線由上至下依次為基于ResNet50的原Faster RCNN算法、改進(jìn)后Faster RCNN算法、基于ResNet50的原Mask RCNN算法、基于ResNet50的改進(jìn)后Mask RCNN算法、基于ResNet101的原Mask RCNN算法以及基于ResNet101的改進(jìn)后Mask RCNN算法?？梢钥闯?個(gè)模型在迭代100～110輪次后損失達(dá)到收斂，證明了網(wǎng)絡(luò)訓(xùn)練效果良好。

圖8 損失函數(shù)收斂曲線

2.3.2 評(píng)價(jià)指標(biāo)

本文選擇平均精度均值(mean average precision，mAP)、召回率(Recall)和幀率(frames per second，F(xiàn)PS)用來(lái)衡量算法性能。平均精度均值為：

(8)

式中：m為類別總數(shù)；RAP為平均精度:

(9)

式中：NH為包含類別H的圖片總數(shù)；RH為類別H的精確率:

(10)

式中：NTH為對(duì)H類預(yù)測(cè)正確的數(shù)量；NFH為對(duì)H類預(yù)測(cè)錯(cuò)誤的數(shù)量。

召回率為

(11)

式中,NNH為包含類別H的所有圖片中未正確檢測(cè)出來(lái)的數(shù)量。

幀率為

(12)

式中：Ti為第i張圖片檢測(cè)所需要的時(shí)間(ms)，將其設(shè)定為從模型讀取圖片至模型得出結(jié)果所經(jīng)歷的時(shí)間；n為用作測(cè)試的圖片總數(shù)。

2.3.3 模型測(cè)試

從自制道路信息檢測(cè)數(shù)據(jù)集的測(cè)試集中選取100張圖片輸入模型進(jìn)行測(cè)試，計(jì)算結(jié)果如表2所示，對(duì)全部樣本計(jì)算其mAP、Recall和FPS三項(xiàng)指標(biāo)。

表2 模型測(cè)試計(jì)算結(jié)果

表中MR代表算法基礎(chǔ)為Mask RCNN；FR代表算法基礎(chǔ)為Faster RCNN；50代表特征提取網(wǎng)絡(luò)采用ResNet50；101代表特征提取網(wǎng)絡(luò)采用ResNet101?？梢钥闯鼋?jīng)過(guò)本文改進(jìn)后的算法模型的3項(xiàng)指標(biāo)較原算法都有明顯提升。當(dāng)特征提取網(wǎng)絡(luò)選擇相同時(shí)，Mask RCNN比Faster RCNN檢測(cè)精度更高但檢測(cè)速度更慢。當(dāng)算法基礎(chǔ)相同時(shí)，采用ResNet101比采用ResNet50精度更高。全面考慮檢測(cè)精度與檢測(cè)速度指標(biāo)時(shí)，改進(jìn)后采用ResNet50的Mask RCNN算法模型綜合性能最佳。

改進(jìn)后的基于ResNet50的Mask RCNN算法部分圖片檢測(cè)時(shí)間如表3所示，檢測(cè)幀率為24.8幀/s。

表3 檢測(cè)幀率結(jié)果

2.3.4 檢測(cè)效果

基于自制數(shù)據(jù)集測(cè)試集對(duì)6個(gè)模型進(jìn)行實(shí)際效果圖測(cè)試，部分檢測(cè)效果圖如圖9所示。從圖9(a)、(b)可看出，改進(jìn)后基于ResNet101的Mask RCNN算法可以檢測(cè)出原算法無(wú)法檢測(cè)出的指示牌。從圖9(b)、(d)、(f)可看出，原Mask RCNN算法與原Faster RCNN算法對(duì)小目標(biāo)的檢測(cè)效果不佳，存在漏檢的現(xiàn)象，且對(duì)目標(biāo)的定位偏差較大。圖片中存在多個(gè)目標(biāo)時(shí)，檢測(cè)性能變差，漏檢現(xiàn)象較為明顯。從圖9(a)、(c)、(e)可以看出，采用本文方法改進(jìn)后的模型對(duì)于小目標(biāo)檢測(cè)效果變得更好，同時(shí)在有多個(gè)目標(biāo)存在時(shí)，性能穩(wěn)定。檢測(cè)總體效果與評(píng)價(jià)指標(biāo)的測(cè)試結(jié)果相吻合，證明了本文改進(jìn)方法可以提高算法模型的檢測(cè)精度與小目標(biāo)檢測(cè)性能。

圖9 分割結(jié)果檢測(cè)對(duì)比圖

2.3.5 消融實(shí)驗(yàn)

本文針對(duì)基于ResNet50的Mask RCNN算法，設(shè)計(jì)如表4所示的對(duì)比實(shí)驗(yàn)驗(yàn)證各改進(jìn)方法的有效性。表中√代表算法采用對(duì)應(yīng)的改進(jìn)方法，×代表算法未采用對(duì)應(yīng)的改進(jìn)方法。

表4 對(duì)比實(shí)驗(yàn)設(shè)計(jì)

基于自制道路信息數(shù)據(jù)集測(cè)試集分別對(duì)每個(gè)實(shí)驗(yàn)進(jìn)行測(cè)試，計(jì)算出各實(shí)驗(yàn)對(duì)比結(jié)果如表5所示。從表中可以看出，算法的特征提取網(wǎng)絡(luò)使用DSC明顯提高了模型的PFPS，略微降低了模型的RmAP與RRecall。分析其原因?yàn)椋珼SC減少了模型的參數(shù)量與計(jì)算量，提升了模型的檢測(cè)速度，但同時(shí)會(huì)略微削弱模型的表達(dá)能力，些許影響模型檢測(cè)精度。算法的特征提取網(wǎng)絡(luò)使用CBAM明顯提高了模型的RmAP與RRecall，略微降低了模型的PFPS。分析其原因?yàn)椋珻BAM強(qiáng)化了模型對(duì)目標(biāo)的注意力，減少了冗余特征的表達(dá)，提升了模型的檢測(cè)精度，但由于其放置于各個(gè)殘差塊之間，會(huì)增加些許計(jì)算量，影響模型的檢測(cè)速度。算法使用Bi-FPN作為特征提取網(wǎng)絡(luò)的總體效果與算法使用CBAM大致相同，但是其對(duì)RmAP與RRecall的提升相對(duì)較小，對(duì)PFPS的影響也更小。分析其原因?yàn)?，Bi-FPN增強(qiáng)了融和后的特征圖中語(yǔ)義信息與位置信息的豐富度，主要提高了模型對(duì)小目標(biāo)的檢測(cè)精度。但其相較于原FPN增加了些許計(jì)算量會(huì)略微降低模型檢測(cè)速度?？梢缘贸霰疚牡母倪M(jìn)算法較原算法檢測(cè)精度更高、檢測(cè)速度更快。

表5 對(duì)比實(shí)驗(yàn)結(jié)果

3 結(jié)束語(yǔ)

本文基于Mask RCNN對(duì)道路信息檢測(cè)算法進(jìn)行優(yōu)化。在特征提取網(wǎng)絡(luò)中使用DSC提高模型檢測(cè)速度，引入CBAM提高模型的檢測(cè)精度，采用Bi-FPN作為特征融合網(wǎng)絡(luò)，提升模型對(duì)小尺度目標(biāo)的檢測(cè)效果。經(jīng)過(guò)消融實(shí)驗(yàn)驗(yàn)證了本文各改進(jìn)方法的有效性。基于ResNet50的Mask RCNN算法經(jīng)過(guò)本文方法改進(jìn)后，平均精度均值達(dá)到95.2%，較原算法提高了4.5%，檢測(cè)幀率達(dá)到24.8幀/s，較原算法提高了8.3幀/s，且對(duì)指示牌等小目標(biāo)檢測(cè)性能較好，證明本文改進(jìn)方法能夠有效提升模型的綜合性能。