多層特征圖堆疊網(wǎng)絡(luò)及其目標(biāo)檢測(cè)方法

楊愛萍，魯立宇，冀?中

多層特征圖堆疊網(wǎng)絡(luò)及其目標(biāo)檢測(cè)方法

楊愛萍，魯立宇，冀?中

(天津大學(xué)電氣自動(dòng)化與信息工程學(xué)院，天津 300072)

隨著深度卷積神經(jīng)網(wǎng)絡(luò)的快速發(fā)展，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法由于具有良好的特征表達(dá)能力及優(yōu)良的檢測(cè)精度，成為當(dāng)前目標(biāo)檢測(cè)算法的主流．為了解決目標(biāo)檢測(cè)中小目標(biāo)漏檢問題，往往使用多尺度處理方法．現(xiàn)有的多尺度目標(biāo)檢測(cè)方法可以分為基于圖像金字塔的方法和基于特征金字塔的方法．相比于基于圖像金字塔的方法，基于特征金字塔的方法速度更快，更能充分利用不同卷積層的特征信息．現(xiàn)有的基于特征金字塔的方法采用對(duì)應(yīng)元素相加的方式融合不同尺度的特征圖，在特征融合過程中易丟失低層細(xì)節(jié)特征信息．針對(duì)該問題，本文基于特征金字塔網(wǎng)絡(luò)(feature pyramid network，F(xiàn)PN)，提出一種多層特征圖堆疊網(wǎng)絡(luò)(multi-feature concatenation network，MFCN)及其目標(biāo)檢測(cè)方法．該網(wǎng)絡(luò)以FPN為基礎(chǔ)，設(shè)計(jì)多層特征圖堆疊結(jié)構(gòu)，通過不同特征層之間的特征圖堆疊融合高層語義特征和低層細(xì)節(jié)特征，并且在每個(gè)層上進(jìn)行目標(biāo)檢測(cè)，保證每層可包含該層及其之上所有層的特征信息，可有效克服低層細(xì)節(jié)信息丟失．同時(shí)，為了能夠充分利用ResNet101中的高層特征，在其后添加新的卷積層，并聯(lián)合其低層特征圖，提取多尺度特征．在PASCAL VOC 2007數(shù)據(jù)集上的檢測(cè)精度為80.1%mAP，同時(shí)在PASCAL VOC 2012和MS COCO數(shù)據(jù)集上的表現(xiàn)都優(yōu)于FPN算法．相比于FPN算法，MFCN的檢測(cè)性能更加??優(yōu)秀.

特征金字塔網(wǎng)絡(luò)；目標(biāo)檢測(cè)；特征圖堆疊；語義信息

目標(biāo)檢測(cè)是計(jì)算機(jī)視覺中最基本和最具挑戰(zhàn)性的問題之一，其目的是檢測(cè)圖像中特定目標(biāo)的位置，已廣泛用于人臉檢測(cè)、自動(dòng)駕駛、行人檢測(cè)、視頻監(jiān)控等領(lǐng)域．

現(xiàn)有的目標(biāo)檢測(cè)方法可分為傳統(tǒng)方法和基于深度學(xué)習(xí)的方法．傳統(tǒng)目標(biāo)檢測(cè)方法主要包括區(qū)域選擇、特征提取和分類回歸．其中特征提取使用手工提取特征的方法，如通過提取圖像顏色連通區(qū)域的共生矩陣來描述圖像特征[1]；通過結(jié)構(gòu)元素描述符(structure elements’ descriptor，SED)來提取和描述圖像的紋理和顏色[2]；通過基于自適應(yīng)強(qiáng)邊緣提取的方法估計(jì)模糊核[3]．但是，上述方法特征提取方式單一，檢測(cè)準(zhǔn)確率低，且計(jì)算復(fù)雜．

隨著深度卷積神經(jīng)網(wǎng)絡(luò)的快速發(fā)展，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法由于其無需進(jìn)行人工特征設(shè)計(jì)、具有良好的特征表達(dá)能力及優(yōu)良的檢測(cè)精度，已經(jīng)超越傳統(tǒng)檢測(cè)方法，成為當(dāng)前目標(biāo)檢測(cè)算法的主流．基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法主要通過卷積神經(jīng)網(wǎng)絡(luò)提取圖像特征，主流的網(wǎng)絡(luò)結(jié)構(gòu)有DenseNet[4]、ShuffleNetv2[5]、MobileNetv2[6]等．另外，有些方法將手工提取特征和神經(jīng)網(wǎng)絡(luò)方法相結(jié)合，如文獻(xiàn)[7]和文獻(xiàn)[8]．在現(xiàn)實(shí)場(chǎng)景中存在大量小目標(biāo)物體，尤其是對(duì)于低分辨率圖像，很難提取到其中的小目標(biāo)特征，造成檢測(cè)效果較差．為了解決目標(biāo)檢測(cè)中小目標(biāo)漏檢問題，提出了基于卷積神經(jīng)網(wǎng)絡(luò)的多尺度處理方法．多尺度檢測(cè)方法可以分為兩類：一類是基于圖像金字塔的方法，如R-CNN[9]、Fast R-CNN[10]、Faster R-CNN[11]等，上述方法通常將輸入圖像重采樣得到不同尺度，并將這些不同尺度的圖像分別輸入到網(wǎng)絡(luò)中訓(xùn)練，但是，隨著輸入數(shù)據(jù)量增大，基于圖像金字塔的方法復(fù)雜度很高；另一類是基于特征金字塔的方法，與基于圖像金字塔的方法相比，特征圖金字塔方法可充分利用不同卷積層的特征信息，并且速度更快，因此，基于特征金字塔的方法越來越流行．MS-CNN[12]在不同尺度的特征圖上生成候選框，SSD(single shot multibox detector)[13]采用了類似結(jié)構(gòu)．但是，它們僅將低層特征圖用于小目標(biāo)檢測(cè)，而低層特征圖中只擁有較少的語義信息，造成小目標(biāo)檢測(cè)性能低下．為了解決這個(gè)問題，特征金字塔網(wǎng)絡(luò)(feature pyramid network，F(xiàn)PN)[14]和RON[15]設(shè)計(jì)了一種自頂向下的連接結(jié)構(gòu)，其通過對(duì)應(yīng)元素相加融合高層和低層特征圖．但是這種對(duì)應(yīng)元素相加的方式，很容易丟失低層細(xì)節(jié)特征．

針對(duì)上述問題，本文在FPN基礎(chǔ)上，提出一種特征圖堆疊網(wǎng)絡(luò)及其目標(biāo)檢測(cè)方法．通過不同特征層之間的特征圖堆疊融合高層語義特征和低層細(xì)節(jié)特征，并且在每個(gè)層上進(jìn)行目標(biāo)檢測(cè)，保證每層可包含該層及其之上所有層的特征信息．同時(shí)，為了充分利用ResNet101[16]高層特征圖信息，在ResNet101后面添加了一個(gè)conv6層，將上述融合后的特征圖和ResNet101的conv5、conv6層輸出特征圖共同輸入到權(quán)重共享的區(qū)域建議網(wǎng)絡(luò)(region proposal net-work，RPN)和R-CNN網(wǎng)絡(luò)．

1?特征金字塔網(wǎng)絡(luò)

FPN是一種基于候選窗口的目標(biāo)檢測(cè)算法，其在Faster R-CNN的基礎(chǔ)上，通過對(duì)應(yīng)元素相加融合特征提取網(wǎng)絡(luò)的不同語義特征圖．針對(duì)Faster R-CNN檢測(cè)尺度單一的問題，F(xiàn)PN充分利用了特征提取網(wǎng)絡(luò)不同特征層的多尺度特點(diǎn)，在不同特征層上進(jìn)行目標(biāo)檢測(cè)，該設(shè)計(jì)對(duì)于多尺度目標(biāo)檢測(cè)更有效．

FPN的架構(gòu)主要分為兩部分：一部分是特征提取網(wǎng)絡(luò)的自頂向下連接結(jié)構(gòu)，采用的特征提取網(wǎng)絡(luò)是ResNet101；另一部分是候選框生成網(wǎng)絡(luò)和分類回歸網(wǎng)絡(luò)，采用RPN網(wǎng)絡(luò)和R-CNN網(wǎng)絡(luò)．FPN框架結(jié)構(gòu)如圖1所示．

圖1?FPN框架圖

2?特征堆疊網(wǎng)絡(luò)及其目標(biāo)檢測(cè)方法

FPN雖然在一定程度上改善了MS-CNN和SSD在小目標(biāo)檢測(cè)方面性能較低的問題，但是其通過對(duì)應(yīng)元素相加的方式融合高層特征圖和低層特征圖，易丟失低層細(xì)節(jié)特征信息．因此，本文提出將高層特征圖和低層特征圖通過特征圖堆疊的連接方式進(jìn)行融合，將融合后的特征圖輸送到權(quán)重共享的RPN網(wǎng)絡(luò)和R-CNN網(wǎng)絡(luò)進(jìn)行候選框生成、分類預(yù)測(cè)和位置回歸，具體結(jié)構(gòu)如圖2所示．

與FPN相比，MFCN保留了低層細(xì)節(jié)特征信息．同時(shí)，為了充分利用特征提取網(wǎng)絡(luò)的高層語義特征，在ResNet101后添加了conv6層，將ResNet101的conv5和conv6輸出特征圖也融入到RPN網(wǎng)絡(luò)．

圖2?MFCN框架圖

2.1?基于特征圖堆疊的特征融合

低層特征圖中包含了對(duì)小目標(biāo)檢測(cè)有益的細(xì)節(jié)信息，高層特征圖中包含了對(duì)小目標(biāo)檢測(cè)有幫助的語義信息．對(duì)于大目標(biāo)來說，無需關(guān)注過多細(xì)節(jié)信息，所以無需將低層細(xì)節(jié)特征融入到高層．但是，對(duì)于小目標(biāo)來說，在對(duì)其進(jìn)行檢測(cè)時(shí)需要更多的語義信息，需將高層語義特征融入到低層細(xì)節(jié)特征中．

MFCN網(wǎng)絡(luò)通過特征圖堆疊的方式融合不同語義的特征圖，可保留低層細(xì)節(jié)特征信息，使得MFCN網(wǎng)絡(luò)的特征融合過程更合理．

2.2?融合高層語義特征

為了能夠充分利用ResNet101中的高層特征圖，在ResNet101后添加了新的conv6層，conv6層通過在conv5層后添加一個(gè)大小為3×3、步長(zhǎng)為2的卷積得到，該過程可以表示為

為了保證高層特征圖的輸出維度與低層特征圖的輸出維度一致，將conv5和conv6的輸出通過1×1卷積進(jìn)行降維，該過程可以表示為

2.3?損失函數(shù)

設(shè)計(jì)MFCN網(wǎng)絡(luò)的損失函數(shù)為

3?實(shí)驗(yàn)與結(jié)果分析

3.1?實(shí)驗(yàn)平臺(tái)

實(shí)驗(yàn)平臺(tái)配置如下：CPU為Intel i7-7700k；內(nèi)存為6G DDR4；GPU為Nvidia Geforce GTX TITAN X；操作系統(tǒng)為64位Ubuntu16.04 LTS；實(shí)驗(yàn)框架為MXNet開源框架；編程語言為Python 2.7；第三方庫OpenCV和CUDA9.0．

3.2?實(shí)驗(yàn)數(shù)據(jù)集

實(shí)驗(yàn)數(shù)據(jù)集為使用最廣的3個(gè)公開數(shù)據(jù)集：PASCAL VOC 2007、PASCAL VOC 2012[17]和MS COCO[18]．VOC 2007和VOC 2012數(shù)據(jù)集都包含20個(gè)類別的物體．VOC 2007包含了擁有標(biāo)簽的 trainval(5011張圖片)和test(4952張圖片)．VOC 2012包含了擁有標(biāo)簽的trainval(11540張圖片)和沒有包含標(biāo)簽的test(10991張圖片)．MS COCO數(shù)據(jù)集中目標(biāo)檢測(cè)任務(wù)包含80類物體．使用COCO Challenge 2017作為實(shí)驗(yàn)數(shù)據(jù)集．訓(xùn)練集包含115×103張圖片．使用包含20×103張圖片的test-dev作為測(cè)試集．

3.3?評(píng)價(jià)指標(biāo)

在PASCAL VOC 2007和PASCAL VOC 2012的實(shí)驗(yàn)中，使用的評(píng)價(jià)指標(biāo)是平均精度(mean average precision，mAP)．對(duì)于每張圖片，使用交叉比(IoU)來標(biāo)記預(yù)測(cè)框是否正確．用召回率衡量檢測(cè)出的正確目標(biāo)占總正確目標(biāo)的比率，用準(zhǔn)確率衡量檢測(cè)出的目標(biāo)中正確目標(biāo)中總目標(biāo)的比率，在不同的召回率下對(duì)準(zhǔn)確率進(jìn)行平均，得到精度AP．最后按照不同類別物體所占的比重對(duì)相應(yīng)的AP加權(quán)，最后得到mAP．在實(shí)驗(yàn)中采用的IoU為0.5．

3.4?實(shí)驗(yàn)結(jié)果對(duì)比

在PASCAL VOC 2007數(shù)據(jù)集的實(shí)驗(yàn)中，訓(xùn)練集包含VOC 2007 trainval和VOC 2012 trainval，測(cè)試集為VOC 2007 test．在訓(xùn)練階段，總的迭代次數(shù)為112×103．學(xué)習(xí)率在首個(gè)64×103為2.5×10-3，接著在剩余的32×103和16×103迭代中衰減到2.5×10-4和2.5×10-5．采用的優(yōu)化函數(shù)是SGD，動(dòng)量因子設(shè)置為0.9，使用的基礎(chǔ)網(wǎng)絡(luò)是在ImageNet上預(yù)訓(xùn)練的ResNet101．實(shí)驗(yàn)結(jié)果如表1所示．

表1?在PASCALVOC 2007測(cè)試集上的檢測(cè)結(jié)果

Tab.1?PASCAL VOC 2007 test detection results

由表1可以看出，在PASCAL VOC 2007數(shù)據(jù)集上的測(cè)試結(jié)果MFCN比FPN高1.8%mAP，并且檢測(cè)速度和FPN相當(dāng)．

在PASCAL VOC 2012數(shù)據(jù)集的實(shí)驗(yàn)中，使用VOC 2007 trainval、VOC 2007 test和VOC 2012 trainval作為訓(xùn)練集，使用VOC 2012 test作為測(cè)試集．在訓(xùn)練階段，總的迭代次數(shù)為150×103．學(xué)習(xí)率在首個(gè)86×103為2.5×10-3，接著在剩余的43×103和21×103迭代中衰減到2.5×10-4和2.5×10-5．實(shí)驗(yàn)結(jié)果如表2所示．

表2?在PASCALVOC 2012測(cè)試集上的檢測(cè)結(jié)果

Tab.2?PASCAL VOC 2012 test detection results

由表2可以看出，在PASCAL VOC 2012數(shù)據(jù)集上的測(cè)試結(jié)果MFCN比FPN高1.2%mAP，并且檢測(cè)速度與FPN一致．

為了進(jìn)一步證明MFCN在大型數(shù)據(jù)集上的有效性，在MS COCO數(shù)據(jù)集上進(jìn)行了測(cè)試．在MS COCO的實(shí)驗(yàn)中，使用trainval作為訓(xùn)練集，使用test作為測(cè)試集．在訓(xùn)練階段，總的迭代次數(shù)為805×103. 在開始的460×103迭代設(shè)置的學(xué)習(xí)率是2.5×10-3，接著在剩余的230×103和115×103迭代中衰減到2.5×10-4和2.5×10-5．實(shí)驗(yàn)結(jié)果如表3所示．

由表3可以看出，在MS COCO數(shù)據(jù)集上的測(cè)試結(jié)果MFCN比FPN高0.4%AP．在小目標(biāo)的檢測(cè)上MFCN要比FPN高2.1%AP，這說明特征層堆疊方式可有效保留低層細(xì)節(jié)特征．在中目標(biāo)檢測(cè)上和大目標(biāo)的檢測(cè)上，MFCN分別比FPN高1.5%AP和1.2%AP，這說明通過在ResNet101后添加conv6層可更充分地提取網(wǎng)絡(luò)的高層特征．同時(shí)，在檢測(cè)速度上MFCN和FPN保持一致．

表3?MSCOCO測(cè)試集上的檢測(cè)結(jié)果

Tab.3?MS COCO test-dev detection results

4?結(jié)?語

針對(duì)FPN高層特征圖和低層特征圖在融合的過程中會(huì)造成低層細(xì)節(jié)特征丟失問題，提出特征圖堆疊方式進(jìn)行特征融合，從而設(shè)計(jì)特征圖堆疊網(wǎng)絡(luò)并用于目標(biāo)檢測(cè)．在PASCAL VOC 2007、PASCAL VOC 2012和MS COCO這3個(gè)公開數(shù)據(jù)集上的測(cè)試結(jié)果表明，所提算法對(duì)于小目標(biāo)、中目標(biāo)和大目標(biāo)均可獲得較好的檢測(cè)效果．

［1］ Wang X，Chen Z，Yun J. An effective method for color image retrieval based on texture[J]. Computer Standards & Interfaces，2012，34(1)：31-35.

［2］ Wang X，Wang Z. A novel method for image retrieval based on structure elements’ descriptor[J]. Journal of Visual Communication and Image Representation，2013，24(1)：63-74.

［3］ 楊愛萍，張?越，王金斌，等. 基于暗通道先驗(yàn)和多方向加權(quán)TV的圖像盲去模糊方法[J]. 天津大學(xué)學(xué)報(bào)：自然科學(xué)與工程技術(shù)版，2018，51(5)：497-506.

Yang Aiping，Zhang Yue，Wang Jinbin，et al. Blind image deblurring method based on dark channel prior and multi-direction weighted TV[J]. Journal of Tianjin University：Science and Technology，2018，51(5)：497-506(in Chinese).

［4］ Huang G，Liu Z，van der Maaten L，et al. Densely connected convolutional networks[C]//IEEE Computer Vision and Pattern Recognition(CVPR). Hawaii，USA，2017：4700-4708.

［5］ Ma N，Zhang X，Zheng H T，et al. Shufflenet v2：Practical guidelines for efficient cnn architecture design[C]//European Conference on Computer Vision(ECCV). Munich，Germany，2018：116-131.

［6］ Sandler M，Howard A，Zhu M，et al. Mobilenetv2：Inverted residuals and linear bottlenecks[C]//IEEE Computer Vision and Pattern Recognition(CVPR). Salt Lake City，USA，2018：4510-4520.

［7］ Unar S，Wang X，Zhang C. Visual and textual information fusion using Kernel method for content based image retrieval[J]. Information Fusion，2018，44：176-187.

［8］ Unar S，Wang X，Wang C，et al. A decisive content based image retrieval approach for feature fusion in visual and textual images[J]. Knowledge-Based Systems，2019，179：8-20.

［9］ Girshick R，Donahue J，Darrell T，et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]// IEEE Computer Vision and Pattern Recognition(CVPR). Columbus，USA，2014：580-587.

［10］ Girshick R. Fast r-cnn[C]// IEEE International Conference on Computer Vision(ICCV). Santiago，Chile，2015：1440-1448.

［11］ Ren S，He K，Girshick R，et al. Faster r-cnn：Towards real-time object detection with region proposal networks[C]//Neural Information Processing Systems(NIPS). Montreal，Canada，2015：91-99.

［12］ Cai Z，F(xiàn)an Q，F(xiàn)eris R S，et al. A unified multi-scale deep convolutional neural network for fast object detection[C]//European Conference on Computer Vision (ECCV). Amsterdam，The Netherlands，2016：354-370.

［13］ Liu W，Anguelov D，Erhan D，et al. Ssd：Single shot multibox detector[C]//European Conference on Computer Vision(ECCV). Amsterdam，The Netherlands，2016：21-37.

［14］ Lin T Y，Dollár P，Girshick R，et al. Feature pyramid networks for object detection[C]// IEEE Computer Vision and Pattern Recognition(CVPR). Hawaii，USA，2017：2117-2125.

［15］ Kong T，Sun F，Yao A，et al. Ron：Reverse connection with objectness prior networks for object detection[C]// IEEE Computer Vision and Pattern Recognition(CVPR). Hawaii，USA，2017：5936-5944.

［16］ He K，Zhang X，Ren S，et al. Deep residual learning for image recognition[C]// IEEE Computer Vision and Pattern Recognition(CVPR). Las Vegas，USA，2016：770-778.

［17］ Everingham M，Van Gool L，Williams C K I，et al. The pascal visual object classes(voc)challenge[J]. International Journal of Computer Vision(IJCV)，2010，88(2)：303-338.

［18］ Lin T Y，Maire M，Belongie S，et al. Microsoft coco：Common objects in context[C]//European Conference on Computer Vision(ECCV). Zurich，Swit-zerland，2014：740-755.

［19］ Bell S，Lawrence Zitnick C，Bala K，et al. Inside-outside net：Detecting objects in context with skip pooling and recurrent neural networks[C]// IEEE Computer Vision and Pattern Recognition(CVPR). Las Vegas，USA，2016：2874-2883.

［20］ Gidaris S，Komodakis N. Object detection via a multi-region and semantic segmentation-aware cnn model[C]// IEEE Computer Vision and Pattern Recognition (CVPR). Boston，USA，2015：1134-1142.

［21］ Woo S，Hwang S，Kweon I S. Stairnet：Top-down semantic aggregation for accurate one shot detection[C]// IEEE Winter Conference on Applications of Computer Vision(WACV). Nevada，USA，2018：1093-1102.

［22］ Shen Z，Liu Z，Li J，et al. Dsod：Learning deeply supervised object detectors from scratch[C]// IEEE Computer Vision and Pattern Recognition(CVPR). Hawaii，USA，2017：1919-1927.

［23］ Redmon J，F(xiàn)arhadi A. YOLO9000：Better，faster，stronger[C]// IEEE Computer Vision and Pattern Recognition(CVPR). Hawaii，USA，2017：7263-7271.

［24］ Shrivastava A，Gupta A，Girshick R. Training region-based object detectors with online hard example mining[C]// IEEE Computer Vision and Pattern Recognition(CVPR). Las Vegas，USA，2016：761-769.

［25］ Dai J，Li Y，He K，et al. R-fcn：Object detection via region-based fully convolutional networks[C]// Neural Information Processing Systems(NIPS). Barcelona，Spain，2016：379-387.

Multi-Feature Concatenation Network for Object Detection

Yang Aiping，Lu Liyu，Ji Zhong

(School of Electrical and Information Engineering，Tianjin University，Tianjin 300072，China)

With the rapid development of deep the convolutional neural network，mainstream methods for object detection have been based on deep learning owing to its superior feature representation and excellent detection accuracy．To omit small objects in object detection，a multi-scale algorithm is usually adopted．Existing multi-scale object detection methods can be categorized as image pyramid-based or feature pyramid-based．Compared with the image pyramid-based method，the feature pyramid-based method is faster and better able to take full advantage of the feature information of different convolution layers. The existing feature pyramid-based method fuses feature maps from different scales by adding corresponding elements，which often results in loss of some detailed low-level feature information．To tackle this problem，this paper proposes a multi-feature concatenation network(MFCN)based on a feature pyramid network(FPN). A structure-performing，multi-layer feature map concatenation was designed. Semantic high-level features and detailed low-level features were fused by concatenating feature maps from different feature layers．Objects on each layer were detected to ensure that each layer could contain the feature information of the layer and all layers above it，effectively overcoming the loss of detailed low-level information．To make full use of the high-level features in ResNet101，a new convolutional layer was added and combined with the low-level feature map to extract multi-scale features．Results of the new design showed that detection accuracy on the PASCAL VOC 2007 dataset was 80.1% mAP，and the performance on PASCAL VOC 2012 and MS COCO datasets was superior to that on an FPN．Compared with the FPN，the detection performance of MFCN is even better．

feature pyramid network；object detection；feature concatenation；semantic information

TP391

A

0493-2137(2020)06-0647-06

10.11784/tdxbz201904007

2019-04-04；

2019-08-26.

楊愛萍（1977—??），女，博士，副教授.

楊愛萍，yangaiping@tju.edu.cn.

國(guó)家自然科學(xué)基金資助項(xiàng)目(61771329，61632018).

Supported by the National Natural Science Foundation of China(No.61771329，No.61632018).

(責(zé)任編輯：王曉燕)