深度導(dǎo)向顯著性檢測算法

趙恒 安維勝 付為剛

摘 要：針對目前基于深度卷積神經(jīng)網(wǎng)絡(luò)的顯著性檢測算法存在對復(fù)雜場景圖像目標(biāo)檢測不完整、背景噪聲多的問題，提出一種深度特征導(dǎo)向顯著性檢測算法。該算法是基于現(xiàn)有底層特征與深度卷積特征融合模型（ELD）的改進(jìn)，網(wǎng)絡(luò)模型包含基礎(chǔ)特征提取、高層語義特征跨層級引導(dǎo)傳遞兩個部分。首先，根據(jù)不同層級卷積特征的差異性，構(gòu)建跨層級特征聯(lián)合的高層語義特征引導(dǎo)模型;然后，用改進(jìn)的網(wǎng)絡(luò)模型生成初始顯著圖，利用高層語義特征引導(dǎo)的方式進(jìn)行顯著性聚類傳播;最后，用完全聯(lián)系條件隨機(jī)場對聚類傳播的結(jié)果進(jìn)行優(yōu)化，使其能夠獲取更多結(jié)構(gòu)邊緣信息和降低噪聲并生成完整顯著圖。在ECSSD上和DUT-ORMON兩個數(shù)據(jù)集上進(jìn)行實驗測試，實驗結(jié)果表明，所提算法的準(zhǔn)確率和召回率（PR）優(yōu)于ELD模型，其F-measure（F）值分別提升了7.5%和11%，平均絕對誤差（MAE）值分別降低了16%和15%，說明了所提算法模型能夠在目標(biāo)識別、模式識別、圖像索引等復(fù)雜圖像場景應(yīng)用領(lǐng)域得到更加魯棒的結(jié)果。

關(guān)鍵詞：顯著性檢測;深度特征;神經(jīng)網(wǎng)絡(luò);特征引導(dǎo);顯著圖

中圖分類號： TP391.413; TP18

文獻(xiàn)標(biāo)志碼：A

Abstract： As current saliency detection algorithms based on deep convolutional network have problems of incomplete target and noisy background detected from complex scene images， a new algorithm of deep feature-oriented saliency detection composed with basic feature extraction and high-level feature which guided cross-level aggregating delivery was proposed. It was based on the improvement of an extant Encoded Low level distance map with Deep features （ELD） model. Firstly， according to the characteristics of convolutional features at different levels， a cross-level feature fusion network model of high-level feature guidance was established. Then， saliency clustering propagation by using high-level feature guidance on initial saliency map that generated by improved neural network was implemented. Finally， final saliency map with more details and less noise was generated by using fully-connected conditional random field after saliency propagation. The experimental results on ECSSD and DUT-ORMON data sets show that， the Precision-Recall （PR） performance of the proposed algorithm is better than ELD algorithms， and F-measure（F） is increased by 7.5% and 11%， respectively， while its Mean Average Errors （MAE） are decreased by 16% and 15%， respectively，which also can obtain more robust results in complex image scene fields of target recognition， pattern recognition， image indexing， and so on.

Key words： saliency detection; deep feature; neural network; feature guidance; salient map

0 引言

視覺感知是人類接收外部圖像信息的主要機(jī)制，計算機(jī)技術(shù)的飛速發(fā)展，使得人們面對外部海量圖像數(shù)據(jù)信息時能夠借助計算機(jī)模擬人類視覺進(jìn)行處理。研究人員發(fā)現(xiàn)，人類視覺注視點會落在圖像強烈刺激神經(jīng)元的區(qū)域，根據(jù)這一機(jī)制逐漸衍生出了顯著性檢測方法[1]。顯著性檢測重點突出人們對圖像最關(guān)注（顯著）的目標(biāo)區(qū)域，能夠避免信息冗余和降低后續(xù)計算復(fù)雜度，在圖像目標(biāo)索引[2]、視頻壓縮[3]等領(lǐng)域應(yīng)用廣泛。

現(xiàn)有顯著性檢測模型包括視覺顯著注視點[4]和視覺顯著目標(biāo)的檢測[5]。人們根據(jù)數(shù)據(jù)處理方式分為自底向上和自頂向下的方法：自底向上方法基于底層數(shù)據(jù)計算，根據(jù)顏色對比度、中心或邊界先驗等區(qū)分顯著性[6];自頂向下算法模型，需要從大量樣本中提取特征并學(xué)習(xí)經(jīng)驗（本質(zhì)屬性特征）生成目標(biāo)數(shù)學(xué)模型，然后利用所生成的模型對輸入圖像進(jìn)行處理判斷顯著性[7]。

近年來深度卷積神經(jīng)網(wǎng)絡(luò)逐步在顯著目標(biāo)檢測中得到應(yīng)用。Vig等[8]利用卷積稀疏編碼模型學(xué)習(xí)特征，然后利用支持向量機(jī)對圖像區(qū)域分類。Zhao等[9]提出局部和全局上下文信息聯(lián)合算法模型。由于這些算法模型在特征提取和傳遞過程中需要進(jìn)行池化（pooling）或隨機(jī)失效（dropout）運算，不可避免地存在圖像信息的缺失。Liu等[10]指出在視覺觀測早期對圖像顯著區(qū)域定位檢測主要由底層數(shù)據(jù)驅(qū)動;在觀測后期則由高層語義特征起主導(dǎo)作用，而底層特征通常包含較多的結(jié)構(gòu)細(xì)節(jié)信息，因此將高層語義特征與底層信息結(jié)合可提升算法模型性能。Li等[11]提出多尺度深度特征聯(lián)合模型;Li等[12]提出多任務(wù)深度卷積模型;Lee等[13]在VGG16（Visual Geometry Group Net16）模型[14]基礎(chǔ)上提出高層特征和底層特征差異圖聯(lián)合編碼模型。這三種算法模型相比早期網(wǎng)絡(luò)模型卷積層次更高，雖采取不同的策略但都利用了圖像底層特征。從總的來看算法性能有所提升，但由于底層特征權(quán)重過大，面對一些復(fù)雜的場景，仍然存在不足：目標(biāo)局部區(qū)域缺失、結(jié)構(gòu)邊緣不清晰、背景高亮的離散噪聲等。

因此，為提升顯著性檢測算法的性能，本文在底層特征編碼與高層語義特征融合（Encoded Low level distance map with Deep features， ELD）算法模型[13]基礎(chǔ)上進(jìn)行改進(jìn)，提出一種深度高層語義特征引導(dǎo)結(jié)合底層特征優(yōu)化的模型。用改進(jìn)的神經(jīng)網(wǎng)絡(luò)生成顯著圖，然后為保證目標(biāo)背景區(qū)域的均勻一致性，豐富邊緣信息和降低噪聲，利用底層特征聚類和完全聯(lián)系條件隨機(jī)場[15-16]進(jìn)行優(yōu)化。

1 深度特征引導(dǎo)的顯著性檢測

1.1 深度導(dǎo)向神經(jīng)網(wǎng)絡(luò)模型

對于給定的數(shù)據(jù)集Data={（X，G）}，Xj為訓(xùn)練圖像集，Gj為其對應(yīng)的真值圖像集， j（j=1，2，…，J）為圖像數(shù)量。ELD[13]網(wǎng)絡(luò)模型特征聯(lián)合過程為：

逆卷積運算過程中由于采樣間隔jg、滑動步距s和邊界填塞pts的存在，卷積后的特征圖分辨率或維度不一定完全和被聯(lián)合的特征圖相同，即可利用Crop層可以將逆卷積后的特征圖Yjv以Lj為模板進(jìn)行裁剪，從而使得最終聯(lián)合的特征圖分辨率相同。特征聯(lián)合層則是相同分辨率的不同層級特征圖按照各元素位置相應(yīng)的連接成同一個特征團(tuán)（blobs），特征團(tuán)降維和元素權(quán)值融合則是由尺度大小為1×1的卷積核W卷積實現(xiàn)。

根據(jù)式（1），將底層特征直接與卷積特征同權(quán)值聯(lián)合，雖能增添局部細(xì)節(jié)，但權(quán)重過大導(dǎo)致與底層數(shù)據(jù)驅(qū)動算法類似的缺陷。文獻(xiàn)[10]指出在視覺觀測的過程中高層語義特征會逐漸起主導(dǎo)作用，而ELD算法[13]中提到卷積層級更深的模型比早期只利用淺卷積層特征的模型性能更好，說明深卷積層相比淺卷積層獲取了更多的高層語義特征，淺卷積層相對包含較多底層特征。綜上可知，突出高層語義特征的主導(dǎo)性，以底層特征作為補充增添細(xì)化高層語義特征，可以避免底層特征權(quán)重過大的缺陷。

因此，本文利用ELD算法底層特征和卷積特征聯(lián)合的框架，將高層語義特征同其他中間層或淺卷積層進(jìn)行跨層級的聯(lián)合傳遞，然后再增添底層特征細(xì)節(jié)作為補充。算法模型整體框架如圖1所示，VGG16模型主要包括S1、S2、S3、S4、S5的卷積層特征，參考文獻(xiàn)[12]的方法在VGG16模型基礎(chǔ)上進(jìn)一步生成S6特征。根據(jù)層級特性不同，定義S5和S6為深卷積層;S1和S2為淺卷積層;S3和S4定義為中間層。為突出高層語義特征，首先將高層語義特征向中間層傳遞，從而引導(dǎo)中間層轉(zhuǎn)變?yōu)榘^多高層語義特征的卷積層。定義fjci代表S（i）的卷積層特征，則高層特征對中間層的引導(dǎo)計算過程如下：

式（3）和（4）中對于S6非直接對跨層級特征聯(lián)合缺少S5，應(yīng)當(dāng)改為"對于S6和S5非直接跳躍性的跨層級特征聯(lián)合"對于S6和S5非直接跳躍性的跨層級特征聯(lián)合，在文獻(xiàn)[17]算法中指出，跳躍性的層級特征聯(lián)合對于獲取高層語義特征的邊緣信息有改善作用。將高層語義特征與S2聯(lián)合生成S2′，然后引導(dǎo)五個高層語義特征與S1聯(lián)合生成S1′，計算過程如下：

在中間層和淺卷積層特征引導(dǎo)成功后，將所有結(jié)果再聯(lián)合，從而完成卷積神經(jīng)網(wǎng)絡(luò)內(nèi)部不同層級間，利用高層語義特征引導(dǎo)淺卷積層信息優(yōu)勢互補的聯(lián)合過程，并進(jìn)一步生成最終的卷積特征圖：

式（7）中fjuse為神經(jīng)網(wǎng)絡(luò)輸出的卷積特征。式（8）中Sig（）為Sigmod激活函數(shù)。其中式（3）～（7）中所涉及到的卷積核W尺寸大小為1×1，經(jīng)過Concat layer聯(lián)合多個層次特征后特征圖blobs維度增加，通過尺寸1×1的卷積核，可以降低特征圖的維度;涉及到的偏置b為卷積輸出學(xué)習(xí)后附加的常數(shù)，初始化為0。式（8）中： fj此處的fj是矢量、向量或矩陣嗎？回復(fù)：是為全分辨率顯著圖;Λ為卷積神經(jīng)網(wǎng)絡(luò)特征傳遞涉及到的所有參數(shù)集合; fj表示在參數(shù)集Λ下生成的顯著圖。

上述按圖1所示模型結(jié)構(gòu)特征傳遞過程中，不同階段主要輸出特征圖的尺度大小如表1所示，在VGG16模型特征傳遞過程取的是池化前的尺度細(xì)節(jié)信息，特征聯(lián)合階段取的是輸出特征的尺度細(xì)節(jié)信息。

在模型訓(xùn)練階段，神經(jīng)網(wǎng)絡(luò)主要是提取特征并迭代求解模型的最佳參數(shù)Λ，參數(shù)是否優(yōu)異通過交叉熵代價函數(shù)（Cross-entropy loss function）對輸出fj和Gjfj和Gj（j為下標(biāo)）是矢量、向量或矩陣嗎？答：矢量之間的差異作評價，定義如下：

其中：[Xj]為圖像像素個數(shù);Gji為像素i的真值標(biāo)簽;γi為真值圖像標(biāo)簽為0的像素數(shù)目比例; fji（Gji=1|Xj;Λ）為參數(shù)集Λ下神經(jīng)網(wǎng)絡(luò)輸出的圖像像素i屬于標(biāo)簽為1的概率; fji（Gji=0|Xj;Λ）則為像素i屬于標(biāo)簽0的概率。L值越小說明模型輸出fj和Gji之間的差異越小，則相對應(yīng)的參數(shù)集Λ就更加優(yōu)異。通過式（109）代價函數(shù)對神經(jīng)網(wǎng)絡(luò)模型進(jìn)行迭代訓(xùn)練，直到整個過程收斂時，求解對應(yīng)的參數(shù)集合Λ，便可生成目標(biāo)模型。對于輸入圖像I，經(jīng)目標(biāo)模型處理便可生成初始顯著圖f。

1.2 底層特征優(yōu)化

卷積神經(jīng)網(wǎng)絡(luò)在特征提取時采取較為固定的k×k大小的卷積核，而圖像目標(biāo)形狀不一，結(jié)構(gòu)復(fù)雜多變，不可避免存在結(jié)構(gòu)邊界信息缺失。文獻(xiàn)[15]根據(jù)圖像特征進(jìn)行聚類保留了圖像區(qū)域間結(jié)構(gòu)邊界細(xì)節(jié)信息，文獻(xiàn)[16]采用完全聯(lián)系條件隨機(jī)場根據(jù)標(biāo)記數(shù)據(jù)和觀測數(shù)據(jù)之間的內(nèi)在聯(lián)系，對區(qū)域進(jìn)行了類內(nèi)平滑和類間邊界的分離，有效地平滑了區(qū)域和降低了噪聲，因此可以利用這兩個框架對初始顯著圖進(jìn)行處理獲取結(jié)構(gòu)邊緣信息和降低噪聲。

式（1110）代表圖像特征聚類優(yōu)化，為了凸顯高層語義特征，參考文獻(xiàn)[2215]沒有文獻(xiàn)22，請作相應(yīng)調(diào)整。要注意在正文中的引用順序。答：文獻(xiàn)15添加局部二值特征（Local Binary Pattern， LBP）特征的原理，將LBP替換為高層語義特征f，在聚類完成后計算超像素顯著性平均值，并作為超像素類內(nèi)像素的顯著值，然后以此輸出聚類傳播后的顯著圖fy。對于輸入圖像I和對應(yīng)的顯著圖fy，完全聯(lián)系條件隨機(jī)場優(yōu)化的計算過程如下：

pi，pj，Ii，Ij，fs這幾個是矢量、向量或矩陣嗎？請明確?；貜?fù)：前面四個符號，表示圖像某一元素的空間位置和顏色特征，標(biāo)量;第五個符號標(biāo)記整個圖像，矢量。

其中： fs代表優(yōu)化后的輸出結(jié)果;wik（fyi， fyk）為二元勢函數(shù)聯(lián)合代表顏色和空間特征的差異; μ（fyi， fyk）通常等于1，但當(dāng)i=k時值為0;Tc為高斯核能量項;pi和Ii分別為像素i的空間和顏色特征;ω1，ω2，δα，δβ，δγ等參數(shù)控制空間和顏色特征在勢函數(shù)中的作用。聯(lián)合式（1211）～（1413）求解能量函數(shù)最優(yōu)解，便可求得最終顯著圖fs。

1.3 模型細(xì)節(jié)

本文采用的深度學(xué)習(xí)框架為Caffe[18]，硬件設(shè)備基于Intel CPU和Nvidia GTX GPU，以Python和C++語言進(jìn)行圖像處理，Matlab 2014b作為實驗結(jié)果的數(shù)據(jù)對比處理。由于MSRA-B[12]數(shù)據(jù)集，包括5000張自然場景圖像，其中圖像包含人、動物、植物、房屋建筑等多種不同類別目標(biāo)物，在顯著目標(biāo)檢領(lǐng)域應(yīng)用廣泛，因此以MSRA-B作為訓(xùn)練集。運用隨機(jī)梯度衰減（Stochastic Gradient Descent， SGD）方式進(jìn)行優(yōu)化訓(xùn)練，基礎(chǔ)學(xué)習(xí)率（base learning rate）為10-8，動量（momentum）為0.9，權(quán)重衰減系數(shù)（weight decay）為0.0005，批處理數(shù)量（batch size）為1，初始設(shè)置的最大迭代次數(shù)為50000。在實驗測試中，初始出現(xiàn)的代價損失最大值L約為900000，在迭代步長到達(dá)20000時，代價損失L在38000保持平穩(wěn)波動，最后在迭代次數(shù)為20000～25000時，L值平穩(wěn)收斂沒有進(jìn)一步發(fā)生非常大的變化，因此實際選取的目標(biāo)模型為迭代24000次時的求解模型，對應(yīng)的損失值水平為36000，訓(xùn)練過程耗時30h。圖2為能量損失值L此處應(yīng)該為“能量損失值L”更為恰當(dāng)些吧？請明確。答： 能量損失值L隨迭代步長的變化。

2 實驗對比測試

2.1 算法評價指標(biāo)

為驗證本文改進(jìn)算法的有效性，將本文算法與強判別區(qū)域特征集合（Discriminative Regional Feature Integration， DRFI）算法 [7]、深度顯著性（Deep Saliency，DS）算法[12]、底層與高層特征聯(lián)合編碼（Encoded Low level distance map with Deep features， ELD）算法[13]、多尺度深度特征（Multiscale Deep Feature， MDF）算法[11]進(jìn)行測試對比。由于DRFI是早期學(xué)習(xí)型的經(jīng)典算法模型，DS、ELD、MDF是近年基于深度神經(jīng)網(wǎng)絡(luò)的算法。由于這幾種算法整體性能較好，比較有代表性，因此將本文算法與這幾種算法進(jìn)行對比以體現(xiàn)出算法性能。采用顯著性檢測領(lǐng)域通用的PR曲線圖、F-measure（F）值以及平均絕對誤差（Mean Average Error， MAE）值[1]三種客觀評價指標(biāo)來分析算法性能。

1）PR曲線圖。顯著灰度圖根據(jù)閾值從0～255進(jìn)行閾值分割，再計算準(zhǔn)確率P和召回率R值，根據(jù)不同值的變化在坐標(biāo)軸繪制就可生成曲線圖。召回率R較高時準(zhǔn)確率P高水平持續(xù)范圍廣，即PR曲線靠近坐標(biāo)系右上角區(qū)域表征算法性能好。

2）F-measure（F）值。取顯著圖灰度平均值2倍對顯著圖進(jìn)行閾值分割，計算P和R值，然后再計算F：

式（1514）中常設(shè)β2=0.3突出準(zhǔn)確率，F(xiàn)值越大表示算法性能越優(yōu)異。

3）MAE值。PR曲線圖、F值主要關(guān)注目標(biāo)區(qū)域的完整性和均勻高亮程度，而背景噪聲也常常影響準(zhǔn)確率。平均絕對誤差MAE能夠綜合目標(biāo)和背景與真值圖相似的程度來評價算法性能，計算如下：

其中：M和N代表輸入圖像的大小。MAE值越小，說明顯著圖不僅目標(biāo)區(qū)域與真值圖相似程度高，而且背景區(qū)域噪聲也少，反映了算法的整體性能更加優(yōu)越。

2.2 數(shù)據(jù)集

測試對比采用的是ECSSD和DUT-OMRON兩個大型數(shù)據(jù)集[12]：ECSSD包含1000幅自然場景圖像，來源于BSD和PASCAL VOC兩個公開的數(shù)據(jù)集;DUT-OMRON有5168幅自然場景圖像，挑選自140000幅自然場景圖像，兩個數(shù)據(jù)集都包含相應(yīng)的人為標(biāo)注的真值結(jié)果。這兩個數(shù)據(jù)集圖像的來源較為廣泛，復(fù)雜程度高，涵蓋了人類社會生活對于圖像目標(biāo)識別定位大部分類別，因此以此兩個大型數(shù)據(jù)集的結(jié)果作各個算法性能的對比，可以體現(xiàn)算法泛化的能力。DUT-OMRON圖像通常超過一個或多個顯著目標(biāo)，相比ECSSD大多數(shù)圖像只包含一個顯著目標(biāo)的自然場景更為復(fù)雜，顯著目標(biāo)檢測的難度更大[12]。

2.3 數(shù)據(jù)評價指標(biāo)定量對比

兩個數(shù)據(jù)集多種算法數(shù)據(jù)定量對比如圖3的PR曲線和表2所示。從數(shù)據(jù)上仔細(xì)對比可得：1）在PR曲線圖上，本文改進(jìn)的算法相比DRFI、DS、ELD、MDF算法最接近于坐標(biāo)右上角區(qū)域;ECSSD數(shù)據(jù)集上，90%以上準(zhǔn)確率持續(xù)最長，在召回率為70～90%時準(zhǔn)確率明顯高于其他算法;DUT-OMRON數(shù)據(jù)集上，由于復(fù)雜度提高所有算法性能都有所下降，但本文算法70%以上準(zhǔn)確率持續(xù)范圍較長，在召回率為70%～80%時準(zhǔn)確率明顯高于其他算法。2）從表2中可知，本文算法的F值相比DRFI、DS、ELD、MDF中值最高的算法，在ECSSD數(shù)據(jù)集上性能提升了7.5%，在DUT-OMRON數(shù)據(jù)集上性能提升了11%;本文算法的MAE值相比DRFI、DS、ELD、MDF中值最低的算法，在ECSSD數(shù)據(jù)集上降低了16%，在DUT-OMRON數(shù)據(jù)集上降低了15%。F值較高主要體現(xiàn)圖像目標(biāo)檢測準(zhǔn)確性和完整性，MAE值低則體現(xiàn)目標(biāo)準(zhǔn)確完整性和較少的背景噪聲，而本文算法在兩個客觀評價指標(biāo)上效果都有大幅度的提升，也從側(cè)面說明了DS、ELD、MDF算法面對復(fù)雜場景存在著一定程度的目標(biāo)局部區(qū)域缺失、邊緣模糊、背景離散噪聲的缺陷，而本文算法則對此缺陷進(jìn)行了改善，從而在數(shù)據(jù)指標(biāo)上有所體現(xiàn)。

2.4 視覺效果

不同顯著性檢測算法對自然場景圖像的處理示例如圖4所示，包含人工標(biāo)記的結(jié)果。從圖4可以看出：在復(fù)雜自然場景下，不同顯著性檢測算法處理圖像的結(jié)果與標(biāo)記圖都存在著差異，但整體上基于學(xué)習(xí)的算法模型結(jié)果和真值圖最為相似。早期的DRFI多特征集合，目標(biāo)定位較為準(zhǔn)確，但背景噪聲未能較好抑制，且目標(biāo)高亮程度有待提升，本文算法以及DS、ELD、MDF近年較為先進(jìn)的算法對顯著目標(biāo)定位識別較好，但仔細(xì)查看細(xì)節(jié)，DS、ELD、MDF算法檢測的目標(biāo)局部區(qū)域是有缺失的，邊緣細(xì)節(jié)不清晰，含高亮的離散噪聲，而本文算法的結(jié)果目標(biāo)均勻一致高亮，結(jié)構(gòu)邊緣信息豐富，背景噪聲抑制程度最好，最接近于真值圖的效果，與2.3節(jié)的數(shù)據(jù)結(jié)果定量對比也是相一致的，突顯了本文算法的優(yōu)越性。

3 結(jié)語

針對現(xiàn)有的底層特征與深度高層語義特征融合的ELD算法模型存在的目標(biāo)局部缺失和離散噪聲的問題，本文提出深度特征導(dǎo)向的顯著性檢測算法。根據(jù)卷積網(wǎng)絡(luò)各層級特征特性的不同，為突出高層語義特征在顯著性檢測中占據(jù)的主導(dǎo)性作用，構(gòu)建了從深卷積層到低卷積層的跨層級特征引導(dǎo)聯(lián)合網(wǎng)絡(luò)模型，實現(xiàn)不同層級特征的優(yōu)勢互補。針對卷積神經(jīng)網(wǎng)絡(luò)在特征提取時卷積核大小固定的缺陷，利用特征聚類和完全聯(lián)系條件隨機(jī)場對初始顯著圖優(yōu)化，獲取結(jié)構(gòu)邊界信息和清晰的邊緣并降低噪聲。在兩個大型數(shù)據(jù)集上進(jìn)行實驗測試，綜合客觀評價指標(biāo)定量分析和視覺效果圖的直觀對比，表明了本文算法的有效性，在復(fù)雜自然場景圖像顯著目標(biāo)檢測中，能夠更加準(zhǔn)確地分離目標(biāo)和背景，并且使目標(biāo)區(qū)域均勻一致高亮，背景噪聲少。

從本文數(shù)據(jù)對比和直觀的實驗結(jié)果可以看出，多目標(biāo)的圖像目標(biāo)檢測效果比單一目標(biāo)的圖像效果相對差一些，進(jìn)一步的研究方向是探索更佳的網(wǎng)絡(luò)結(jié)構(gòu)和網(wǎng)絡(luò)輸出特征與底層特征能夠更好結(jié)合的方式，以求得算法多目標(biāo)檢測性能的提升;同時嘗試將底層特征優(yōu)化的方法直接融合于卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練的過程中，進(jìn)一步降低Loss損失，提高模型的魯棒性。

參考文獻(xiàn) （References）

[1] BORJI A， CHENG M M， JIANG H Z， et al. Salient object detection： a benchmark [J]. IEEE Transactions on Image Processing， 2015， 24（12）： 5706.

[2] GAO Y， WANG M， TAO D C， et al. 3-D object retrieval and recognition with hypergraph analysis [J]. IEEE Transactions on Image Processing， 2012， 21（9）： 4290-4303.

[3] HADIZADEH H， BAJIC I V. Saliency-aware video compression [J]. IEEE Transactions on Image Processing， 2014， 23（1）： 19-33.

[4] ACHANTA R， HEMAMI S， ESTRADA F， et al. Frequency-tuned salient region detection [C]// Proceedings of the 2009 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2009： 1597-1604.

[5] ZHU W， LIANG S， WEI Y， et al. Saliency optimization from robust background detection [C]// Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2014： 2814-2821.

[6] LI X， LU H， ZHANG L， et al. Saliency detection via dense and sparse reconstruction [C]// Proceedings of the 2013 IEEE International Conference on Computer Vision. Washington， DC： IEEE Computer Society， 2013： 2976-2983.

[7] JIANG H Z， WANG J D， YUAN Z J， et al. Salient object detection： a discriminative regional feature integration approach [J]. International Journal of Computer Vision， 2014， 123（2）： 251-268.

[8] VIG E， DORR M， COX D. Large-scale optimization of hierarchical features for saliency prediction in natural images [C]// Proceedings of the 2014 Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2014： 2798-2805.

[9] ZHAO R， OUYANG W， LI H， et al. Saliency detection by multi-context deep learning [C]// Proceedings of the 2015 Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2015： 1265-1274.

[10] LIU N， HAN J W， ZHANG D W， et al. Predicting eye fixations using convolutional neural networks [C]// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2015： 362-370.

[11] LI G B， YU Y Z. Visual saliency based on multiscale deep features [C]// Proceedings of the 2015 IEEE Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2015： 5455-5463.

[12] LI X， ZHAO L M， WEI L N， et al. DeepSaliency： multi-task deep neural network model for salient object detection [J]. IEEE Transactions on Image Processing， 2016， 25（8）： 3919-3930.

[13] LEE G， TAI Y W， KIM J. Deep saliency with encoded low level distance map and high level features [C]// Proceedings of the 2016 IEEE Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2016： 660-668.

[14] SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition [J]. ArXiv Preprint， 2014， 2014： 1409.1556.

[15] 李嘯宇，張秋菊.融合局部紋理特征的顆粒圖像SLIC超像素分割方法[J].食品與機(jī)械，2016，32（12）：31-34.（LI X Y， ZHANG Q J. A SLIC-based superpixel segmentation method by using local texture feature for granular image [J]. Food and Machinery， 2016， 32（12）： 31-34.）

[16] 劉彤，黃修添，馬建設(shè)，等.基于完全聯(lián)系的條件隨機(jī)場的圖像標(biāo)注[J].計算機(jī)應(yīng)用，2017，37（10）：2841-2846.（LIU T， HUANG X T， MA J S， et al. Image labeling based on fully-connected conditional random field [J]. Journal of Computer Applications， 2017， 37（10）： 2841-2846.）

[17] HOU Q， CHENG M M， HU X， et al. Deeply supervised salient object detection with short connections [C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2017： 5300-5309.

[18] JIA Y Q， SHELHAMER E， DONAHUE J， et al. Caffe： Convolutional architecture for fast feature embedding [C]// Proceedings of the 2014 ACM Conference on Multimedia. New York： ACM， 2014： 675-678.