基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的顯著性檢測(cè)方法

劉鑫松 孫勁光

摘要：在顯著性檢測(cè)技術(shù)迅速發(fā)展的今天，傳統(tǒng)的顯著性檢測(cè)技術(shù)對(duì)圖片提取顯著性目標(biāo)區(qū)域時(shí)常常遇到難以在復(fù)雜的圖片中準(zhǔn)確地區(qū)分物體的內(nèi)部區(qū)域和邊界，造成邊界模糊、提取精度不佳等問題。針對(duì)以上問題，根據(jù)卷積神經(jīng)網(wǎng)絡(luò)特征提取時(shí)會(huì)同時(shí)產(chǎn)生多個(gè)尺度特征的特點(diǎn)，提出了一種基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的顯著性檢測(cè)方法。首先，圖片經(jīng)過特征提取模塊產(chǎn)生分辨率不同的特征圖；其次，由上至下建立多尺度特征連接；然后，采用降維、上采樣等方式進(jìn)行融合特征；最后，提取圖片顯著目標(biāo)區(qū)域。實(shí)驗(yàn)在HKU數(shù)據(jù)集、ECSSD數(shù)據(jù)集以及PASCAL-S數(shù)據(jù)集上設(shè)計(jì)，結(jié)果表明，基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的顯著性檢測(cè)網(wǎng)絡(luò)模型具有較好的顯著性檢測(cè)能力，并具有較高的執(zhí)行效率。

關(guān)鍵詞： 多尺度；卷積神經(jīng)網(wǎng)絡(luò)；顯著性檢測(cè)；特征提取；特征融合

中圖分類號(hào)：TP389.1? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2023）31-0028-03

開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID） ：

0 引言

在當(dāng)今互聯(lián)網(wǎng)飛速發(fā)展的時(shí)代，計(jì)算機(jī)視覺在電影、動(dòng)畫、游戲創(chuàng)作、時(shí)裝設(shè)計(jì)等方面也快速發(fā)展，數(shù)字圖像已經(jīng)成為人們重要的溝通橋梁。圖片顯著性目標(biāo)檢測(cè)作為計(jì)算機(jī)視覺領(lǐng)域的重要組成部分，被廣泛應(yīng)用在當(dāng)今社會(huì)的各個(gè)方面。例如，圖片自動(dòng)剪裁[1]、圖片重定位[2]、目標(biāo)識(shí)別[3]、人體跟蹤等方面均有重要應(yīng)用。

隨著圖像處理器的發(fā)展，深度學(xué)習(xí)技術(shù)在顯著性檢測(cè)領(lǐng)域得到了越來越多的應(yīng)用。2015年，Li等人[4]最先在顯著性檢測(cè)中使用深度神經(jīng)網(wǎng)絡(luò)，提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的多尺度特征的顯著性檢測(cè)方法。該方法利用3個(gè)子網(wǎng)絡(luò)分別提取3個(gè)不同尺度的特征，將特征輸入網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練測(cè)試，最后將不同尺度的圖片進(jìn)行融合，得到最終結(jié)果。由于基于深度學(xué)習(xí)的檢測(cè)算法大多放棄了中心先驗(yàn)、背景先驗(yàn)等先驗(yàn)方式，只采用卷積神經(jīng)網(wǎng)絡(luò)提取圖片特征，最終導(dǎo)致輸出圖片存在邊界模糊等問題。為了解決這一問題，Lee等人[5]在顯著性檢測(cè)算法中結(jié)合了先驗(yàn)信息，低級(jí)特征對(duì)高級(jí)特征進(jìn)行補(bǔ)充，通過全聯(lián)接的神經(jīng)網(wǎng)絡(luò)融合，進(jìn)而得到最終結(jié)果。而上述研究均忽略了不同卷積層提取的特征信息之間可能存在的相互聯(lián)系對(duì)顯著性檢測(cè)的重要作用，容易出現(xiàn)不能將顯著性目標(biāo)區(qū)域從主體中分離出來、檢測(cè)結(jié)果邊界模糊等問題。

為此，本文提出一種基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的顯著性檢測(cè)方法，該方法在卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行改進(jìn)，在網(wǎng)絡(luò)結(jié)構(gòu)中增添了多尺度特征連接，能夠提取足夠且豐富的特征用于檢測(cè)，防止因?yàn)槿鄙僮銐蛱卣鞫斐蓹z測(cè)區(qū)域邊界模糊等問題。同時(shí)，面對(duì)過多引入全連接層造成模型復(fù)雜度和參數(shù)量增多的問題，在該方法中去掉了卷積神經(jīng)網(wǎng)絡(luò)的全連接層。這樣既可以提取更多的特征信息，又能減少計(jì)算量、加快運(yùn)算速度，從而更快更精準(zhǔn)地獲取圖片顯著性目標(biāo)區(qū)域。

1 方法模型建立

1.1 方法思路

本文提出的基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的顯著性檢測(cè)網(wǎng)絡(luò)模型如圖1所示，主體由特征提取模塊、多尺度特征連接模塊、特征融合模塊組成。

1） 特征提取模塊，記作：FA。特征提取模塊作為網(wǎng)絡(luò)結(jié)構(gòu)的第一部分，由13個(gè)卷積層和5個(gè)最大池化層組成。將圖片輸入網(wǎng)絡(luò)中，由特征提取模塊進(jìn)行自下而上的特征提取操作，獲得5個(gè)尺度的特征圖，表示為[{F1，F(xiàn)2，F(xiàn)3，F(xiàn)4，F(xiàn)5}]。這5個(gè)特征圖的空間分辨率按照步長2遞減，進(jìn)行下采樣操作。這些特征圖越靠近淺層卷積層，空間分辨率越高，越能較好地保留結(jié)構(gòu)和細(xì)節(jié)信息；但包含的高級(jí)語義信息也越少，例如[F2]。相反地，[F5]擁有最小的空間分辨率和最強(qiáng)的語義性，卻也具有最少的結(jié)構(gòu)和細(xì)節(jié)信息。此特征提取過程可定義為：

[Fi=f（i=1nwixi+b），i=1，2，3，4，5]? ? （1）

其中，[Fi]是圖片經(jīng)卷積池化操作后，使用ReLU激活函數(shù)進(jìn)行非線性映射操作得到該層的輸出值；[xi]為該層的輸入值；[wi]是卷積過程中的權(quán)重參數(shù)；[b]是偏置值。

2） 多尺度特征連接模塊，記作：FC。為了使特征提取模塊所提取的多尺度特征圖具有更優(yōu)秀的表示能力，模型將低層特征和與其相鄰的上層特征相連接，如圖2所示，以實(shí)現(xiàn)不同層特征在一定程度上可以互相彌補(bǔ)，由此，低層特征擁有上層特征的高級(jí)語義特征，上層特征也擁有了低層特征所包含的豐富細(xì)節(jié)信息。整個(gè)過程從[F5]開始迭代，直到最低層特征圖[F1]為止，依次產(chǎn)生[{F'4，F(xiàn)'3，F(xiàn)'2，F(xiàn)'1}]，由此產(chǎn)生的4個(gè)特征圖不僅包含結(jié)構(gòu)和細(xì)節(jié)信息，也包含了高級(jí)語義信息，具有更強(qiáng)的表示能力。此多尺度特征連接過程定義如下：

[F'i-1=f'i（Fi）+fi（Fi-1），i=5，4，3，2]? ? （2）

其中，[F'i-1]為經(jīng)過多尺度連接操作后的輸出值；[f'i]是卷積核大小為[3×3]，步長為2的反卷積層，采用雙線性插值的方式對(duì)特征圖[Fi]進(jìn)行上采樣操作，以獲得和[Fi-1]相同尺寸的特征圖；[fi]是進(jìn)行以[Fi-1]為輸入值的、卷積核大小為[1×1]的卷積操作。

3） 特征融合模塊，記作：FM。對(duì)于每個(gè)經(jīng)過多尺度特征連接的特征圖[F'i（i∈{1，2，3，4}）]和[F5]，均通過一個(gè)[3×3]的卷積層生成特征圖[f'i]。再經(jīng)過一個(gè)[1×1]的卷積層進(jìn)行降維操作，得到5個(gè)大小分別為[16×16]、[32×32]、[64×64]、[128×128]和[256×256]像素的特征圖。采用反卷積和雙線性插值的方法對(duì)這些特征圖進(jìn)行上采樣操作，目的是使這些特征圖與輸入的圖片具有相同的尺寸大小。因此，設(shè)置反卷積的步長分別為16、8、4、2和1，將這些相同尺寸的特征圖進(jìn)行融合拼接。最后在生成預(yù)測(cè)圖階段采用[1×1]的卷積層進(jìn)行操作，并使用Sigmoid函數(shù)將結(jié)果歸一化為[0，1]。

1.2 具體實(shí)施

完成網(wǎng)絡(luò)模型的構(gòu)建后，如何提高網(wǎng)絡(luò)模型對(duì)訓(xùn)練樣本集的學(xué)習(xí)能力成為首要任務(wù)，可以通過調(diào)整超參數(shù)的方法來完成這項(xiàng)工作，然后再通過驗(yàn)證樣本集測(cè)試生成結(jié)果、觀察網(wǎng)絡(luò)模型檢測(cè)準(zhǔn)確率?？烧{(diào)整的超參數(shù)主要包括：學(xué)習(xí)速率、迭代次數(shù)、數(shù)據(jù)批量大小等。

在網(wǎng)絡(luò)模型的訓(xùn)練階段，引入多尺度特征顯著性檢測(cè)損失函數(shù)來衡量顯著性預(yù)測(cè)結(jié)果與對(duì)應(yīng)的真實(shí)二值標(biāo)注圖之間的誤差。損失函數(shù)是作用在全部訓(xùn)練數(shù)據(jù)上的，取所有樣本誤差的平均值，而本文多尺度特征顯著性檢測(cè)損失函數(shù)由單邊損失和融合損失組成，所以最終的損失函數(shù)指的是單邊損失和融合損失的平均值。在預(yù)測(cè)任務(wù)中交叉熵?fù)p失函數(shù)是最有效且最常用的損失函數(shù)，降低交叉熵?fù)p失就是提高網(wǎng)絡(luò)模型的預(yù)測(cè)精度，單邊損失定義為：

[L（n）side（W，w（n））=-yi∈YyilogPr（yj=1|X;W，w（n））-yi∈Y（1-yi）logPr（yj=0|X;W，w（n））]? ?（3）

其中，[X]作為訓(xùn)練數(shù)據(jù)，且[X={xj，j=1…X}]；[Y]為對(duì)應(yīng)的真實(shí)二值標(biāo)注圖，[Y={yj，j=1…Y}，y（n）j∈0，1]；[Pr]表示第N個(gè)階段i像素點(diǎn)處的預(yù)測(cè)值，[Pr={yj=1X;W，w（n）}]；[W]為其他權(quán)重，[w]為第N個(gè)階段輸出特征的權(quán)重。

在網(wǎng)絡(luò)模型中添加了融合層去連接每個(gè)單邊，融合損失被定義為：

[Lfuse（W，w，f）=d（Y，Yfuse）]? ? ? ? （4）

其中，[d]表示預(yù)測(cè)圖與真實(shí)二值標(biāo)注圖之間的距離；[Yfuse]被定義為：

[Yfuse=n=1NfnA（n）side]? ? ? ? （5）

其中，[A（n）side] 為第N階段的輸出值，[A（n）side={a（n）j，j=1…X}]；[f]為融合權(quán)重，[f={f1…fN}]。

最終采用反向傳播和隨機(jī)梯度下降算法進(jìn)行網(wǎng)絡(luò)訓(xùn)練的優(yōu)化，這也是使基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的顯著性檢測(cè)網(wǎng)絡(luò)模型的總損失達(dá)到最小值的過程。模型總損失定義為：

[Ltotal=argmin（Lside（W，w）+Lfuse（W，w，f））]? ? ?（6）

通過訓(xùn)練，最終選定最佳的網(wǎng)絡(luò)參數(shù)設(shè)置。本文采用Adam[6]優(yōu)化器來訓(xùn)練網(wǎng)絡(luò)模型，學(xué)習(xí)率初值設(shè)為[10-6]，動(dòng)量為0.9，權(quán)重衰減為0.000 2，融合權(quán)重初始化為0.2，每一批樣本數(shù)設(shè)為20個(gè)，訓(xùn)練迭代次數(shù)設(shè)為10? 000次。

2 實(shí)驗(yàn)結(jié)果分析

2.1 實(shí)驗(yàn)環(huán)境設(shè)置

本文訓(xùn)練模型時(shí)所設(shè)置的實(shí)驗(yàn)環(huán)境如表1所示。

2.2 實(shí)驗(yàn)數(shù)據(jù)集

通過構(gòu)建基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的顯著性檢測(cè)網(wǎng)絡(luò)模型來驗(yàn)證本文方法的有效性，在HKU數(shù)據(jù)集、ECSSD數(shù)據(jù)集以及PASCAL-S數(shù)據(jù)集上進(jìn)行訓(xùn)練實(shí)驗(yàn)，通過比較實(shí)驗(yàn)進(jìn)行性能評(píng)估。其中，HKU數(shù)據(jù)集包含超過 4 447張圖像的大型數(shù)據(jù)集，且大多數(shù)圖像具有低對(duì)比度并且有多個(gè)顯著性物體。ECSSD數(shù)據(jù)集包含1 000張語義上有意義但結(jié)構(gòu)復(fù)雜的圖像。PASCAL-S數(shù)據(jù)集[7]包含從PASCAL-VOC[8]分割數(shù)據(jù)集中選擇的850幅真實(shí)世界的圖像。

2.3 評(píng)估指標(biāo)

為了評(píng)估基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的顯著性檢測(cè)網(wǎng)絡(luò)的性能，本文采用2種評(píng)估度量方法：F值（F-Measure） 和平均絕對(duì)誤差（MAE） [9]。

F值是利用準(zhǔn)確率和召回率確定的綜合定量指標(biāo)，其計(jì)算公式為：

[Fβ=1+β2·P·Rβ2·P+R]? ? ?（7）

其中，[β]為平衡參數(shù)、[P]為準(zhǔn)確率、[R]為召回率，同時(shí)將[β2]設(shè)置為0.3來提高準(zhǔn)確度。

平均絕對(duì)誤差是用來計(jì)算模型輸出的顯著圖與真值圖之間平均像素的絕對(duì)誤差，其計(jì)算公式為：

[MAE=1h·wi=1hj=1wS（x，y）-G（x，y）]? ? （8）

其中，[h]和[w]分別代表長和高，[S（x，y）]代表顯著圖，[G（x，y）]代表真實(shí)值，[（x，y）]則代表像素點(diǎn)的具體位置。

2.4 實(shí)驗(yàn)結(jié)果及分析

將本文方法與現(xiàn)有的顯著性檢測(cè)方法進(jìn)行對(duì)比，以評(píng)價(jià)指標(biāo)表、視覺效果圖以及運(yùn)行時(shí)間表的形式展示對(duì)比實(shí)驗(yàn)結(jié)果，對(duì)比方法有：MDF[10]、PAG[11]。

評(píng)估指標(biāo)對(duì)比結(jié)果如表2所示，其中[maxFβ]值越高代表顯著性檢測(cè)越精確，[MAE]值則是越小越好。從表2中可以看出本文模型的[maxFβ]值均高于其他算法，且[MAE]值均低于其他算法。綜上，本文模型的性能最優(yōu)。

圖3中給出了3種不同實(shí)驗(yàn)方法，在3種數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn)的實(shí)驗(yàn)結(jié)果。其中，（a）是在數(shù)據(jù)集中挑選的原始圖；（b）是MDF方法結(jié)果；（c）是PAG方法結(jié)果；（d）是本文方法結(jié)果。通過這些實(shí)驗(yàn)結(jié)果可以看出，基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的顯著性檢測(cè)網(wǎng)絡(luò)模型可以很好地完成對(duì)顯著性區(qū)域的檢測(cè)，且檢測(cè)結(jié)果具有更清晰的邊界。

將本文方法與PAG、MDF方法在運(yùn)行時(shí)間方面進(jìn)行了比較，結(jié)果如表3所示?？梢钥闯?，本文方法相比于其他方法更高效，每幅圖片的運(yùn)行時(shí)間僅需0.03s。

3 結(jié)論

本文在卷積神經(jīng)網(wǎng)絡(luò)中加入多尺度特征連接，同時(shí)去掉卷積神經(jīng)網(wǎng)絡(luò)的全連接層，提出基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的顯著性檢測(cè)方法，使用多尺度特征顯著性檢測(cè)損失函數(shù)來訓(xùn)練網(wǎng)絡(luò)。對(duì)提取圖片的顯著性區(qū)域應(yīng)用此方法，可以精準(zhǔn)地生成圖片顯著性目標(biāo)區(qū)域，并能減少生成時(shí)間，提升效率。在未來的工作中，筆者將加強(qiáng)對(duì)目標(biāo)區(qū)域邊緣的優(yōu)化，加快生成速度，并期望把基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的顯著性檢測(cè)網(wǎng)絡(luò)模型應(yīng)用在更多其他的目標(biāo)檢測(cè)工作中，如多樣性目標(biāo)自由提取，滿足用戶的自由選擇多樣化需求等。

參考文獻(xiàn)：

[1] 郭迎春，梁云鶴，于明，等.基于圖像分塊和優(yōu)化累積能量圖的線裁剪算法[J].電子與信息學(xué)報(bào)，2018，40（2）：331-337.

[2] 李恬，柴雄力，呂曉文，等.基于深層特征學(xué)習(xí)的可壓縮感知及縫雕刻的圖像重定向[J].光電子·激光，2020，31（5）：519-530.

[3] REN Z X，GAO S H，CHIA L T，et al.Region-based saliency detection and its application in object recognition[J].IEEE Transactions on Circuits and Systems for Video Technology，2014，24（5）：769-779.

[4] LI G B，YU Y Z.Visual saliency based on multiscale deep features[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.IEEE，2015：5455-5463.

[5] LEE G，TAI Y W，KIM J.Deep saliency with encoded low level distance map and high level features[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.IEEE，2016：660-668.

[6] DIEDERIK P. KINGMA， JIMMY B A.A Method for Stochastic Optimization[C]//Proceedings of International Conference on Learning Representations San Diego，CA，USA.2015.

[7] LI Y，HOU X D，KOCH C，et al.The secrets of salient object segmentation[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition.IEEE，2014：280-287.

[8] EVERINGHAM M，GOOL L，WILLIAMS C K，et al.The pascal visual object classes （VOC） challenge[J].International Journal of Computer Vision，2010，88（2）：303-338.

[9] BORJI A，CHENG M M，JIANG H Z，et al.Salient object detection：a benchmark[J].IEEE Transactions on Image Processing，2015，24（12）：5706-5722.

[10] LI G B，YU Y Z.Visual saliency based on multiscale deep features[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.IEEE，2015：5455-5463.

[11] ZHANG X N，WANG T T，QI J Q，et al.Progressive attention guided recurrent network for salient object detection[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.IEEE，2018：714-722.

【通聯(lián)編輯：唐一東】