張瑩瑩，葛洪偉+

1.江南大學(xué)江蘇省模式識(shí)別與計(jì)算智能工程實(shí)驗(yàn)室，江蘇無錫214122

2.江南大學(xué)物聯(lián)網(wǎng)工程學(xué)院，江蘇無錫214122

1 引言

近年來，計(jì)算機(jī)視覺領(lǐng)域發(fā)展迅速，其中涉及大量的圖像處理。若能預(yù)先檢測(cè)出圖像中的顯著目標(biāo)，將極大促進(jìn)視覺領(lǐng)域各分支方向的研究與發(fā)展。如今，顯著性檢測(cè)[1-2]已廣泛應(yīng)用于圖像分割[3]、目標(biāo)跟蹤[4]等領(lǐng)域。

顯著性檢測(cè)的研究大都離不開先驗(yàn)知識(shí)，如背景先驗(yàn)[5]、中心先驗(yàn)[6]等，這些算法將圖像邊界部分作為背景或?qū)⒅行膮^(qū)域視為前景目標(biāo)，并在此基礎(chǔ)上通過對(duì)比計(jì)算確定圖像各區(qū)域的顯著值。近幾年的顯著性檢測(cè)方法多是以超像素為基礎(chǔ)展開的[7-9]。有些學(xué)者探索圖像區(qū)域間的聯(lián)系，將圖像以超像素為節(jié)點(diǎn)構(gòu)建成無向權(quán)重圖，進(jìn)而計(jì)算超像素顯著性。例如：Qin等[10]利用元胞自動(dòng)機(jī)的傳播機(jī)制不斷更新超像素的顯著值。Yang等[11]提出流形排序的檢測(cè)方法，分別將前景或背景視為標(biāo)簽，通過標(biāo)簽傳播求得超像素的顯著值。Zhou等[12]將圖像表示成二層稀疏圖，利用顯著區(qū)域的緊湊性計(jì)算顯著圖。另外，也有些學(xué)者將稀疏表示用于圖像顯著性檢測(cè)。例如：Li等[13]在多尺度下構(gòu)建背景字典，并將圖像塊投影在背景字典上求得重構(gòu)系數(shù)，利用重構(gòu)誤差分別得到稠密重構(gòu)和稀疏重構(gòu)的顯著圖，并采用貝葉斯融合，得到了很好的結(jié)果。Huo等[14]引入局部圖正則化稀疏重構(gòu)算法精確地保留區(qū)域的幾何結(jié)構(gòu)以減少重構(gòu)的不穩(wěn)定性。

上述方法對(duì)于圖像構(gòu)成簡(jiǎn)單的場(chǎng)景檢測(cè)效果明顯，但在顯著目標(biāo)較小或是前景同背景顏色相近等復(fù)雜情況下往往難以正確檢測(cè)出顯著物體。因此，本文提出了稀疏重構(gòu)和緊湊性結(jié)合的圖像顯著性檢測(cè)算法（image saliency detection combining sparse reconstruction and compactness，SRC）。

2 稀疏重構(gòu)和緊湊性結(jié)合的顯著性檢測(cè)

SRC對(duì)輸入圖像平滑預(yù)處理后將其分割成超像素。之后一方面將各超像素投影在背景模板上進(jìn)行稀疏重構(gòu)，采用元胞自動(dòng)機(jī)（cellular automata，CA）的更新機(jī)制對(duì)重構(gòu)誤差傳播得到初步顯著圖；另一方面利用顯著區(qū)域的緊湊性提取前景、背景種子，分別計(jì)算基于前景種子和背景種子的顯著圖并融合。最后將兩階段的顯著圖融合輸出最終結(jié)果。SRC算法框架見圖1。

2.1 圖像主結(jié)構(gòu)提取

Fig.1 Framework of SRC algorithm圖1 SRC算法框架圖

顯著物體通常結(jié)構(gòu)完整，環(huán)境雜亂時(shí)，一些微小的背景噪聲也可能導(dǎo)致檢測(cè)結(jié)果不連續(xù)或殘缺。若能減弱背景噪聲，突出圖像主結(jié)構(gòu)，顯著性計(jì)算會(huì)更準(zhǔn)確。Jia等[15]提出的織物瑕疵檢測(cè)采用相對(duì)總變差方法（relative total variation，RTV）模糊變化緩慢的灰度區(qū)域，保留邊緣之類的急速變化的區(qū)域。SRC采用RTV對(duì)輸入圖像做保留主結(jié)構(gòu)的平滑預(yù)處理。

RTV模型的目標(biāo)函數(shù)為：

其中，p表示像素點(diǎn)，I是輸入圖像，S是輸出圖像，θ=0.015用來控制權(quán)重，ε是一個(gè)很小的正數(shù)，用來保證分母不為0。Dx(p)和Dy(p)分別表示像素p在x和y方向的窗口總變差，計(jì)算了窗口R(p)內(nèi)的絕對(duì)空間差異，定義如下：

其中，R(p)是以像素p為中心的長(zhǎng)方形區(qū)域，gp,q是由空間相關(guān)性定義的加權(quán)函數(shù)，其定義為：

γ=3用于控制窗口的空間尺度。Lx(p)、Ly(p)為窗口固有變差，記為：

Fig.2 Effect of preprocessing圖2 預(yù)處理效果

預(yù)處理可以弱化微小噪聲，減輕對(duì)后續(xù)計(jì)算的干擾。由圖2（b）可知，預(yù)處理后背景中的雜草變得模糊。由圖2（d）和圖2（e）可見，不加預(yù)處理的顯著圖中雜草的顯著性很高，預(yù)處理后的顯著圖中背景的顯著值則明顯降低。

2.2 提取背景模板

利用簡(jiǎn)單線性迭代聚類（simple linear iterative clustering，SLIC）[16]將平滑后的圖像分割成N個(gè)超像素。將每個(gè)超像素塊用所含像素點(diǎn)的RGB和Lab兩種顏色特征以及超像素位置坐標(biāo)構(gòu)成的8維特征向量x={L,a,b,R,G,B,x,y}T表示，整幅圖像可以表示為X=[x1,x2,…,xN]∈RD×N，D表示特征維度。

通常認(rèn)為，顯著物體位于圖像中心附近，而圖像的四周則屬于背景，在此基礎(chǔ)上，多數(shù)基于稀疏重構(gòu)的算法提取圖像四周的超像素塊作為背景模板?？紤]到顯著物體位于圖像邊緣的情況，SRC利用邊界連通性[17]從圖像四周的超像素塊中除去屬于背景的可能性較小的超像素，將剩余的超像素視為背景模板。邊界連通性認(rèn)為前景與圖像邊界的連接程度小于背景與圖像邊界的連接程度，據(jù)此將超像素屬于背景的概率定義為：

其中，Lenbnd(i)代表第i個(gè)超像素的邊界長(zhǎng)度，Area(i)代表第i個(gè)超像素的面積。BndCon(i)越小，說明第i個(gè)超像素與圖像邊界的連接程度越小，它屬于前景物體的概率也就越大。將位于圖像四周的BndCon(i)＜0.5的超像素視為前景除去，提取剩余超像素視作背景模板，將背景模板的D維特征表示成b，由此構(gòu)成背景模板集B=[b1,b2,…,bM]，M為背景模板中超像素的個(gè)數(shù)。

相比將圖像四周的所有超像素視為背景，本文提取背景模板的方法更貼合實(shí)際情況，這樣后續(xù)計(jì)算所有超像素在背景模板上的稀疏重構(gòu)誤差時(shí)得到的結(jié)果也更準(zhǔn)確。

2.3 基于稀疏重構(gòu)的顯著圖

稀疏重構(gòu)在檢測(cè)復(fù)雜場(chǎng)景時(shí)表現(xiàn)出很好的魯棒性，具有較強(qiáng)的背景噪聲抑制能力[13]。將背景模板B作為稀疏重構(gòu)的字典，將各個(gè)超像素投影在該字典上進(jìn)行稀疏重構(gòu)，采用式（6）計(jì)算第i個(gè)超像素的重構(gòu)系數(shù)：

其中，λ是一個(gè)用來平衡等號(hào)右邊兩項(xiàng)重要性的參數(shù)，即用來調(diào)節(jié)誤差項(xiàng)和稀疏約束項(xiàng)||αi||1的重要程度。λ越大對(duì)αi的稀疏性約束越強(qiáng)。反之，則表示更加強(qiáng)調(diào)重構(gòu)誤差越小越好，λ在這里取0.01。利用重構(gòu)系數(shù)可得第i個(gè)超像素在背景字典上的稀疏重構(gòu)誤差：

前景與背景通常差別較大，在同一字典上的稀疏重構(gòu)誤差也會(huì)有較大差異。若超像素屬于背景，將它投影在背景字典上進(jìn)行重構(gòu)的誤差就會(huì)很小，而前景在背景字典上的重構(gòu)誤差則比較大，因此可以利用重構(gòu)誤差的大小粗略區(qū)分前景背景。圖3（b）是重構(gòu)誤差圖，可以看到，前景的重構(gòu)誤差較大，亮度較高，而背景區(qū)域因誤差很小，顯得比較暗。

CA是顯著性檢測(cè)中常用的傳播機(jī)制[10]，它可以將圖像初始顯著值更新到更穩(wěn)定準(zhǔn)確的狀態(tài)。將超像素視為CA模型中的元胞，利用區(qū)域間的信息將重構(gòu)誤差視為初始顯著值不斷更新直至穩(wěn)定，并將得到的結(jié)果分配給對(duì)應(yīng)超像素包含的所有像素點(diǎn)便得到基于稀疏重構(gòu)誤差的顯著圖S1。圖3（c）是對(duì)重構(gòu)誤差CA傳播后的結(jié)果，它使顯著區(qū)域內(nèi)部更加均勻。

Fig.3 Effect of sparse reconstruction圖3 稀疏重構(gòu)效果

2.4 基于緊湊性的顯著圖

圖像中背景區(qū)域往往比較松散，前景物體則相對(duì)緊湊，因此可以根據(jù)區(qū)域的緊湊性判斷該區(qū)域的顯著程度。首先根據(jù)RGB、Lab組成的六維顏色特征用K-means算法將N個(gè)超像素分成K類，令F=[f1,f2,…,fK]表示K個(gè)聚類中心，計(jì)算各超像素和每一類之間的相似性，可得相似性矩陣A=[aij]N×K，aij為：

其中，σ2=0.1，ci表示第i個(gè)超像素的顏色特征向量，fj表示第j類的聚類中心。

文獻(xiàn)[10]中的流形排序算法經(jīng)常用來傳播超像素間的相關(guān)性，該算法以超像素為節(jié)點(diǎn)將圖像表示成G=(V,E)的形式，V表示節(jié)點(diǎn)集，E是邊集，eij∈E表示節(jié)點(diǎn)vi和vj相連，利用超像素包含像素點(diǎn)的Lab平均顏色特征計(jì)算邊的權(quán)值。為提高準(zhǔn)確性，SRC采用RGB、Lab兩種顏色特征和稀疏重構(gòu)誤差計(jì)算邊權(quán)值，將超像素vi和vj的相關(guān)性表示為：

若第j類屬于背景，sv(j)就會(huì)比較大，將第j類屬于前景的可能性定義為p(j)=1-sv(j)，采用p的平均值將這K類劃分為前景種子和背景種子，并將兩類種子集合分別表示為FG和BG。

通常，與背景種子相似的往往是背景，反之則為前景，即超像素的顯著性大小同它與背景的相似性成反比例關(guān)系。于是超像素vi基于背景種子的顯著性可定義為：

將超像素的顯著值分配給其包含的所有像素點(diǎn)便得到基于緊湊性的顯著圖S2。

圖4是流形排序算法改進(jìn)前后得到的基于緊湊性的顯著圖對(duì)比?？梢钥吹礁倪M(jìn)后的緊湊性計(jì)算過程可以更好地突出圖像中的前景目標(biāo)。

Fig.4 Effect of improved manifold ranking圖4 流形排序改進(jìn)效果

2.5 顯著圖融合

與僅由稀疏重構(gòu)誤差得到的顯著圖S1相比，緊湊性計(jì)算得到的顯著圖S2的準(zhǔn)確率得以提高，但召回率有時(shí)會(huì)降低。將二者融合，在準(zhǔn)確率幾乎不變的情況下召回率明顯高于任一方。這是由于稀疏重構(gòu)和緊湊性分別適用于不同的復(fù)雜場(chǎng)景。例如：圖5中的松鼠與背景顏色較為相近，尤其是頭部，不細(xì)看難以區(qū)分，稀疏重構(gòu)憑其較強(qiáng)的前景突出能力突出顯示松鼠身體，且給松鼠頭部較高的顯著值，而由緊湊性得到的顯著圖則將松鼠頭部完全視為背景，分配給身體部分的顯著值也不是很高。當(dāng)物體位于圖像邊緣附近時(shí)，如圖中的標(biāo)志牌，雖然稀疏重構(gòu)的背景模板中已濾除了屬于前景可能性較大的超像素，但仍免不了包含少部分前景區(qū)域，這樣由稀疏重構(gòu)得到的顯著圖中前景物體的顯著值略低，而緊湊性對(duì)位于任何位置的顯著物體都適用，可以賦予整個(gè)顯著物體較高的顯著值。也就是說在不同的場(chǎng)景下，僅由稀疏重構(gòu)或緊湊性得到的顯著圖的召回率高低不一致，綜合考慮上述兩種情況，將S1、S2融合，得到的顯著圖在任何情況下的召回率都不低，因此在整個(gè)數(shù)據(jù)集上評(píng)測(cè)時(shí)召回率會(huì)提高。融合過程在Matlab里僅需一行代碼就可以完成，用時(shí)可以忽略不計(jì)，融合公式為：

Fig.5 Map of fusion effect圖5 融合效果圖

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集

為驗(yàn)證SRC的有效性，在5個(gè)公開數(shù)據(jù)集上對(duì)其進(jìn)行評(píng)估，它們分別是MSRA10K[18]、ECSSD[19]、PASCALS[20]、SOD[21]、DUT-OMRON[11]。

MSRA10K包含10 000張圖像，圖像構(gòu)成簡(jiǎn)單，勝在數(shù)量很大，其余4個(gè)數(shù)據(jù)集圖像構(gòu)成相對(duì)復(fù)雜。ECSSD由1 000張圖像構(gòu)成，圖像富含紋理特征，部分圖像含多個(gè)顯著物體。PASCAL-S包含850張圖像，多由復(fù)雜場(chǎng)景構(gòu)成，且包含多個(gè)顯著物體。SOD僅含300張圖像，但每張圖像往往包含多個(gè)顯著物體，且位置不一。DUT-OMRON包含5 168張圖像，富含自然場(chǎng)景，且部分圖像含多個(gè)顯著物體，是一個(gè)挑戰(zhàn)性很大的數(shù)據(jù)集。

3.2 參數(shù)設(shè)置與評(píng)價(jià)指標(biāo)

超像素個(gè)數(shù)N的初始值設(shè)為300，分類個(gè)數(shù)K設(shè)為36。為了取得最佳效果，對(duì)公式中的系數(shù)多次取值進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明式（9）中η在[0.4，0.6]之間具有魯棒性，將其設(shè)為0.5。經(jīng)實(shí)驗(yàn)對(duì)比還發(fā)現(xiàn)融合式（19）中的β和式（20）中的τ在0.3～0.6內(nèi)取值結(jié)果變化不大，將其統(tǒng)一設(shè)為0.4。

本文采用PR曲線、F-measure、MAE（mean absolute error）等常用指標(biāo)以及最新提出的E-measure[22]對(duì)所有對(duì)比算法進(jìn)行評(píng)估。用閾值0～255對(duì)顯著圖分割計(jì)算P、R值，對(duì)一個(gè)數(shù)據(jù)集中所有圖片同一閾值下的P、R求平均值，得到256對(duì)P、R值，繪制可得PR曲線。采用圖中所有像素點(diǎn)顯著值平均值的2倍為閾值計(jì)算指標(biāo)F-measure:

其中，β2=0.3用來強(qiáng)調(diào)P的重要性。

MAE用來評(píng)估顯著圖和標(biāo)準(zhǔn)真值圖之間的像素級(jí)的平均絕對(duì)誤差：

其中，S(x,y)是由算法得到的顯著圖，G(x,y)是標(biāo)準(zhǔn)真值圖，W和H分別是圖像的寬和高。

3.3 實(shí)驗(yàn)對(duì)比與分析

為驗(yàn)證所提算法的有效性，將SRC同近幾年提出的13種算法從多方面進(jìn)行對(duì)比，分別為：DP（salient region detection using diffusion process on a two-layer sparse graph）[12]、DSR（saliency detection via dense and sparse reconstruction）[13]、IDCL（salient region detection via integrating diffusion-based compactness and local contrast）[6]、BFS（saliency detection via background and foreground seed selection）[5]、MAP（saliency region detection based on Markov absorption probabilities）[23]、BSCA（background-based map optimized via single-layer cellular automata）[10]、LPS（inner and inter label propagation:salient object detection in the wild）[24]、MC（saliency detection via absorbing Markov chain）[8]、GBMR（saliency detection via graph-based manifold ranking）[11]、MS（saliency detection with multi-scale superpixels）[7]、WMR（saliency detection via affinity graph learning and weighted manifold ranking）[25]、RRWR（robust saliency detection via regularized random walks ranking）[26]、RCRR（reversion correction and regularized random walk ranking for saliency detection）[1]。

圖6列舉了幾幅具有代表性的圖片。其中，第2幅圖像包含多個(gè)顯著目標(biāo)，對(duì)比算法能檢測(cè)出顯著目標(biāo)的范圍，卻不能區(qū)分各個(gè)顯著物體，而SRC可以較好地區(qū)分它們。第3幅圖中大海和藍(lán)天占據(jù)大部分空間，而飛機(jī)所占空間極小，在這種情況下，多數(shù)算法如BFS、LPS、MS、WMR等無法檢測(cè)出飛機(jī)而將藍(lán)天和大海視為顯著的，DP、DSR等雖能檢測(cè)出飛機(jī)，但不能充分抑制背景，而SRC卻可以清晰地檢測(cè)出飛機(jī)并充分抑制背景。多數(shù)算法對(duì)先驗(yàn)知識(shí)的不合理使用使誤差增大，如BFS、GBMR等使用背景先驗(yàn)時(shí)將圖像四周全視為背景，BFS使用中心先驗(yàn)時(shí)假定顯著物體位于圖像中心附近。僅利用緊湊性得到的顯著圖，如DP算法能檢測(cè)出顯著物體，但對(duì)背景噪聲的抑制能力較差，僅利用稀疏重構(gòu)卻又可能將邊緣的顯著物體視為背景，將二者融合得到的顯著圖可適用于大部分場(chǎng)景，相比其他算法具有更強(qiáng)的前景突出和背景抑制能力。

Fig.6 Visual comparison of 14 detection methods圖6 14種檢測(cè)方法的視覺對(duì)比

圖7是各算法在5個(gè)數(shù)據(jù)集上的PR曲線，由于MSRA10K數(shù)據(jù)集圖像構(gòu)成比較簡(jiǎn)單，符合顯著性檢測(cè)中常用的先驗(yàn)知識(shí)，因此各算法在該數(shù)據(jù)集上效果顯著，PR曲線重疊較多不易區(qū)分，但仍能看出SRC效果略有提升，圖8（a）再次驗(yàn)證了這一點(diǎn)。在其余4個(gè)復(fù)雜數(shù)據(jù)集上，SRC的PR曲線包圍大部分對(duì)比算法的PR曲線，而圖8中SRC的P、R、F值高于所有對(duì)比算法，也高于僅利用緊湊性計(jì)算顯著性的方法DP。這是因?yàn)橄∈柚貥?gòu)、緊湊性計(jì)算分別在不同的場(chǎng)景下取得較好的檢測(cè)效果。稀疏重構(gòu)的準(zhǔn)確性依賴于背景模板的提取，SRC利用圖像四周的超像素構(gòu)建背景模板，有可能會(huì)漏掉圖像中心的背景，SRC對(duì)背景模板改進(jìn)時(shí)雖濾除了其中屬于前景可能性較大的超像素，無法準(zhǔn)確除去全部前景部分，當(dāng)物體位于邊緣部分較多中心區(qū)域全是背景時(shí)利用稀疏重構(gòu)誤差確定圖像顯著性的方法效果不佳，這時(shí)就需要緊湊性計(jì)算賦予前景物體較高的顯著值。當(dāng)顯著物體不在邊緣附近但前景與背景顏色相近時(shí)僅利用緊湊性計(jì)算難以區(qū)分前景背景的交界處，還有可能檢測(cè)不出與背景極為相似的前景，而稀疏重構(gòu)憑借其優(yōu)秀的前景突出能力可以賦予前景較高的顯著值。綜上所述，稀疏重構(gòu)和緊湊性相輔相成，結(jié)合所得的算法在前景突出和背景抑制方面優(yōu)于所有對(duì)比算法。

表1是各算法的平均絕對(duì)誤差MAE?？梢钥吹剑琒RC在多個(gè)數(shù)據(jù)集上具有最小的MAE值。僅DSR算法在DUT-OMRON上的MAE略低于SRC，這是因?yàn)樵摂?shù)據(jù)集中的顯著物體種類大小不一，DSR在8個(gè)尺度下計(jì)算顯著圖并融合，誤差相對(duì)較小。表2的E-measure描述了顯著圖的結(jié)構(gòu)完整性。Emeasure越大，說明顯著圖的結(jié)構(gòu)越完整。SRC算法的E-measure值在任一個(gè)數(shù)據(jù)集上均優(yōu)于所有對(duì)比算法，這說明結(jié)合稀疏重構(gòu)和緊湊性獲得的顯著圖結(jié)構(gòu)更完整。表3顯示了各算法在SOD數(shù)據(jù)集上平均處理一幅圖像所需要的時(shí)間。BFS利用顏色、紋理進(jìn)行邊緣檢測(cè)的過程耗時(shí)較長(zhǎng)，運(yùn)行最慢，單張圖片處理時(shí)間約為7.479 s。DSR在8個(gè)尺度下計(jì)算顯著圖并融合，運(yùn)行速度也比較慢，單張圖片處理時(shí)間約為5.186 s。SRC檢測(cè)一幅圖像的時(shí)間約為0.841 s，速度較快但不是最優(yōu)的，SRC算法中的CA模型傳播顯著值的過程較為耗時(shí)，對(duì)檢測(cè)速度有較大影響。

Fig.7 PR curves of 14 algorithms on 5 datasets圖7 14種算法在5個(gè)數(shù)據(jù)集上的PR 曲線

Fig.8 P、R、F values of 14 algorithms on 5 datasets圖8 14種算法在5個(gè)數(shù)據(jù)集上的P、R、F 值

Table 1 Mean absolute error of all algorithms表1 所有算法的平均絕對(duì)誤差

Table 2 E-measure of all algorithms表2 所有算法的E-measure

Table 3 Comparison of average running time表3 平均運(yùn)行時(shí)間對(duì)比 s

4 結(jié)束語(yǔ)

SRC算法先對(duì)圖像進(jìn)行結(jié)構(gòu)提取，弱化噪聲，然后從稀疏重構(gòu)誤差和顯著區(qū)域的緊湊性兩方面考慮，求得兩種顯著圖并融合得到最終結(jié)果。在5個(gè)數(shù)據(jù)集上與多種算法進(jìn)行對(duì)比，無論是視覺效果還是多種評(píng)價(jià)指標(biāo)都證明了SRC的有效性。在未來的學(xué)習(xí)和研究中，可以考慮形狀、紋理等特征以及其他先驗(yàn)知識(shí)以進(jìn)一步提升檢測(cè)效果。