基于圖節(jié)點(diǎn)中心性和空間自相關(guān)的顯著性檢測(cè)方法

王莎莎，馮子亮，傅可人

(四川大學(xué) 計(jì)算機(jī)學(xué)院，成都 610065)(*通信作者電子郵箱fengziliang@scu.edu.cn)

0 引言

隨著圖像處理技術(shù)的推進(jìn)和計(jì)算機(jī)視覺(jué)應(yīng)用的拓展，利用計(jì)算機(jī)來(lái)完成圖像或視頻的處理任務(wù)變得更為復(fù)雜。人們?cè)谶M(jìn)行高級(jí)視覺(jué)處理之前，通常會(huì)選擇先排除大量冗余的信息從而提取出最需要著重關(guān)注的部分——顯著性區(qū)域。顯著性區(qū)域檢測(cè)作為計(jì)算機(jī)視覺(jué)處理的一個(gè)重要的預(yù)處理步驟，在圖像領(lǐng)域逐步得到廣大研究者的關(guān)注。顯著性檢測(cè)能夠減少場(chǎng)景計(jì)算的計(jì)算量和復(fù)雜度，準(zhǔn)確地捕捉到圖像中的核心信息，感知大量信息中最主要的內(nèi)容，廣泛應(yīng)用于圖像分類(lèi)[1]、圖像拼接[2]、圖像分割[3]和目標(biāo)檢測(cè)[4]等領(lǐng)域。

顯著性檢測(cè)主要通過(guò)計(jì)算每一個(gè)區(qū)域在整個(gè)圖像中的顯著值以表示這個(gè)區(qū)域成為圖像顯著性區(qū)域的可能性。對(duì)于某個(gè)區(qū)域，其顯著值對(duì)應(yīng)于其突出程度的高低，其突出程度越高，顯著性越大，也就越有可能成為整個(gè)圖像的顯著性區(qū)域。

從信息處理的角度來(lái)看，顯著性檢測(cè)方法主要分為兩大類(lèi)，分別是自頂向下的檢測(cè)模型和自底向上的檢測(cè)模型。自頂向下的檢測(cè)模型屬于任務(wù)或知識(shí)驅(qū)動(dòng)類(lèi)型，需要提取特定對(duì)象的視覺(jué)信息并通過(guò)訓(xùn)練和學(xué)習(xí)的方式來(lái)形成顯著圖，往往會(huì)用到高層次的信息或特征來(lái)提高顯著性檢測(cè)的準(zhǔn)確性。不同于自頂向下檢測(cè)模型，自底向上的檢測(cè)模型屬于數(shù)據(jù)驅(qū)動(dòng)型，大多是任務(wù)不確定的、無(wú)目標(biāo)的，在處理的過(guò)程中主要提取圖像底層的特征，如亮度、紋理、顏色或位置等信息來(lái)進(jìn)行顯著性檢測(cè)。本文主要關(guān)注的是從自底向上的角度來(lái)獲取顯著性區(qū)域結(jié)果的解決方案。

多年來(lái)，由底層特征驅(qū)動(dòng)的自底向上模型受到眾多研究者的關(guān)注，很多經(jīng)典算法被相繼提出，如早先的視覺(jué)注意模型Itti算法[5]、GBVS(Graph-Based Visual Saliency)算法[6]、SR(Spectral Resdual)算法[7]等，以及較新的CA(Context Aware)算法[8]、SUN(Saliency Using Natural statistics)算法[9]等。隨著計(jì)算機(jī)技術(shù)的發(fā)展和研究的深入，融合多種底層特征先驗(yàn)知識(shí)的算法也相繼出現(xiàn)。Achanta等[10]將顯著性區(qū)域在顏色特征上與整體圖像的局部對(duì)比度作為先驗(yàn)知識(shí)來(lái)進(jìn)行顯著性區(qū)域的檢測(cè)，此算法簡(jiǎn)單高效且能得到邊界信息，但計(jì)算結(jié)果易受到背景噪聲的干擾。Cheng等[11]提出了將全局對(duì)比度作為衡量顯著性強(qiáng)度的準(zhǔn)則，該方法通過(guò)基于直方圖計(jì)算顏色直方圖對(duì)比度，并組合空間關(guān)系來(lái)計(jì)算區(qū)域的顯著值，但依賴(lài)于圖像分割結(jié)果的準(zhǔn)確性。Wei等[12]將圖像邊緣區(qū)域作為背景區(qū)域的代表，提出一種測(cè)地線距離，通過(guò)計(jì)算每個(gè)超像素到背景區(qū)域的最短路徑來(lái)表示超像素的顯著值。Wang等[13]根據(jù)背景先驗(yàn)準(zhǔn)則并通過(guò)動(dòng)態(tài)閾值分割提取前景區(qū)域，最后融合前景與背景的顯著圖，但其采用了中心先驗(yàn)來(lái)優(yōu)化結(jié)果，當(dāng)顯著區(qū)域并非位于圖像中心時(shí)計(jì)算誤差較大。van de Weijer等[14]、Xie等[15]以及Yang等[16]通過(guò)引入凸包理論作為前景先驗(yàn)來(lái)進(jìn)行顯著性檢測(cè)。

此外，基于圖模型的動(dòng)力學(xué)傳播算法也是目前大多非機(jī)器學(xué)習(xí)算法的研究思路，此類(lèi)方法大多是將顯著性檢測(cè)看作圖像像素的標(biāo)注問(wèn)題。Liu等[17]將局部、區(qū)域和全局三個(gè)層次的多種特征在條件隨機(jī)場(chǎng)框架下進(jìn)行融合，該方法能得到較好顯著性檢測(cè)結(jié)果。DSR (Dense and Sparse Reconstruction)算法[18]利用圖像邊界區(qū)域進(jìn)行稀疏分析和主成分分析, 在貝葉斯框架下將兩者進(jìn)行顯著性融合。Kim等[19]基于隨機(jī)游走的顯著性檢測(cè)算法，該算法遍歷馬爾可夫的平衡狀態(tài)，通過(guò)計(jì)算到達(dá)時(shí)間來(lái)計(jì)算顯著性值，這類(lèi)模型具有模型簡(jiǎn)單計(jì)算速度快的優(yōu)點(diǎn)，但不能保證一定存在平穩(wěn)狀態(tài)。BSCA(Background-based maps optimized by Single-layer Cellular Automata)算法[20]將每個(gè)超像素看作元胞，提出了一種基于元胞自動(dòng)機(jī)的更新機(jī)制，雖然該方法可以用于優(yōu)化粗糙的顯著性區(qū)域結(jié)果，但其結(jié)果會(huì)出現(xiàn)顯著值分布不均，且邊界不明或缺失的問(wèn)題。GMR(Graph-based Manifold Ranking)[21]算法采用流形排序理論計(jì)算圖像各區(qū)域與圖像邊界的相似性，從而得到每個(gè)區(qū)域的顯著性程度，但此方法不適合顯著性區(qū)域位于圖像邊界的圖像。雖然目前顯著性檢測(cè)的研究已經(jīng)得到一定推進(jìn)和發(fā)展，但依然存在檢測(cè)出的顯著性區(qū)域內(nèi)質(zhì)不均勻、邊界不夠清晰準(zhǔn)確等問(wèn)題。

針對(duì)上述問(wèn)題，本文利用以上所提兩類(lèi)解決方案的優(yōu)點(diǎn)，提出一種結(jié)合先驗(yàn)知識(shí)和動(dòng)力學(xué)傳播思想的方法。其中，先驗(yàn)知識(shí)用于挖掘圖模型中節(jié)點(diǎn)自身的重要性和節(jié)點(diǎn)間的關(guān)系，包括顏色信息、空間位置和空間分布信息、邊界強(qiáng)度信息；動(dòng)力學(xué)傳播方面，則采取元胞自動(dòng)機(jī)二級(jí)優(yōu)化傳播的處理方式來(lái)對(duì)初始結(jié)果還存在的問(wèn)題進(jìn)行效果的提升。此外，由于多先驗(yàn)準(zhǔn)則下生成的初始顯著圖優(yōu)缺點(diǎn)各異，存在對(duì)于各幅顯著圖準(zhǔn)確性無(wú)法精確權(quán)衡的問(wèn)題，因而本文還提出一種基于Dempster-Shafer(D-S)證據(jù)理論的圖像融合方法，用于對(duì)多先驗(yàn)準(zhǔn)則引導(dǎo)得到的初始顯著圖進(jìn)行自適應(yīng)融合，使各幅初始顯著圖的優(yōu)勢(shì)得以互補(bǔ)。

1 本文算法

在對(duì)自然圖像進(jìn)行顯著性區(qū)域檢測(cè)時(shí)，若圖像中顯著性個(gè)體內(nèi)部區(qū)域的顏色不一且差異明顯，容易引起顯著性區(qū)域內(nèi)部分布不均勻的情況；若圖像中顯著性區(qū)域邊界與背景的差異微小，容易造成檢測(cè)出的顯著性區(qū)域邊界局部不完整的情況。如圖1所示，圖像1紅色花朵的花蕊部分、花瓣邊緣顏色與紅色花朵本身的顏色差異較大，現(xiàn)有算法對(duì)這部分的檢測(cè)不夠精確或者有一定缺失；圖像2顯著性區(qū)域內(nèi)部有幾塊空隙部分沒(méi)有被現(xiàn)有算法準(zhǔn)確地檢測(cè)出來(lái)；圖像3中動(dòng)物的羽毛顏色較復(fù)雜，沒(méi)有被現(xiàn)有算法均勻地標(biāo)記出來(lái)，并且動(dòng)物喙的部分檢測(cè)得不完整。

圖1 不同算法顯著性區(qū)域檢測(cè)效果示意圖Fig. 1 Schematic diagram of saliency region detection using different algorithms

傳統(tǒng)算法雖然考慮了顯著性區(qū)域的顏色在全局角度的顯著差異，但疏于考慮顯著性區(qū)域內(nèi)部個(gè)體的緊湊性、內(nèi)部顏色的差異以及邊界近鄰區(qū)域與背景的相似度大等因素對(duì)結(jié)果造成的影響。針對(duì)這類(lèi)問(wèn)題，本文在圖像上建立基于超像素節(jié)點(diǎn)的圖模型，利用復(fù)雜網(wǎng)絡(luò)節(jié)點(diǎn)中心性和空間自相關(guān)中的多個(gè)準(zhǔn)則，結(jié)合顏色、空間、邊界強(qiáng)度特征信息逐步逼近顯著性的精確區(qū)域，對(duì)各個(gè)特征在空間緊湊性、顯著性區(qū)域鄰居對(duì)其的影響力以及空間自相關(guān)上的表現(xiàn)進(jìn)行加權(quán)融合，有效地解決了顯著性區(qū)域內(nèi)部不均勻以及邊界不精確的問(wèn)題。如圖1(e)所示，本文方法的檢測(cè)結(jié)果與真值更為接近。

本文方法的框架如圖2所示。首先，將圖像劃分為超像素級(jí)，并以超像素為節(jié)點(diǎn)建立圖模型。然后，分別在緊密節(jié)點(diǎn)中心性、特征向量中心性和空間自相關(guān)三種先驗(yàn)準(zhǔn)則之下生成粗略的初始顯著圖。由于初始顯著圖的結(jié)果比較粗糙，在不確定哪一幅初始顯著圖更接近結(jié)果的情況下，使用D-S證據(jù)理論來(lái)對(duì)準(zhǔn)確率不確定的多幅初始顯著圖進(jìn)行融合，得到融合結(jié)果圖。最后，進(jìn)行二級(jí)優(yōu)化元胞自動(dòng)機(jī)的動(dòng)力學(xué)傳播更新，為了優(yōu)化第一級(jí)元胞的自動(dòng)機(jī)結(jié)果，在第二級(jí)元胞自動(dòng)機(jī)中引入邊界強(qiáng)度信息，從而得到內(nèi)質(zhì)均勻、邊緣準(zhǔn)確清晰的最終顯著圖。

1.1 超像素分割與圖模型的建立

在自然圖像中，通常會(huì)存在形狀不一、大小不等的區(qū)域包含相同的特征信息，在算法中若對(duì)每個(gè)像素一一處理，將會(huì)十分耗時(shí)。SLIC(Simple Linear Iterative Clustering)算法[22]作為一種基于K-means優(yōu)化的快速聚類(lèi)方法，其分割結(jié)果在基于圖模型的算法中表現(xiàn)優(yōu)越，目前大多數(shù)顯著性模型都使用這一分割算法。因此，為了避免像素級(jí)圖像的信息冗余，提高算法效率，本文選擇使用SLIC算法對(duì)圖像進(jìn)行超像素分割，此階段在圖2的框架中對(duì)應(yīng)于步驟(a)。

圖2 本文方法框架Fig. 2 Framework of the proposed method

在分割得到超像素后，需要對(duì)圖像建立圖模型，此階段在圖2的框架中對(duì)應(yīng)于步驟(c)。一個(gè)圖G(V,E)包含了節(jié)點(diǎn)集V以及帶有權(quán)值的邊集E，針對(duì)分割后的超像素圖像，將每一個(gè)超像素塊看作節(jié)點(diǎn)集中的各個(gè)節(jié)點(diǎn)，將超像素塊的鄰接關(guān)系看作邊集中的各條邊，邊的權(quán)值定義為超像素塊之間的相似性。對(duì)于鄰接權(quán)值的確定，現(xiàn)有方法通常只采用顏色距離來(lái)計(jì)算邊的權(quán)值，鑒于在超像素分割階段使用的是SLIC算法，其分割的超像素結(jié)果并不是絕對(duì)均勻和規(guī)則的，因此本文考慮到空間位置的遠(yuǎn)近對(duì)于鄰接節(jié)點(diǎn)相似性的影響，將空間距離結(jié)合顏色距離來(lái)度量節(jié)點(diǎn)之間的權(quán)值大小。此外，與文獻(xiàn)[21]類(lèi)似，設(shè)定圖像邊界上的超像素之間是兩兩相互連通的，構(gòu)成趨于閉環(huán)圖的結(jié)構(gòu)。超像素節(jié)點(diǎn)的帶權(quán)鄰接矩陣W=[wij]|V|×|V|定義如下：

(1)

(2)

(3)

其中:‖ci-cj‖2代表CIELab色彩空間中超像素節(jié)點(diǎn)i和j之間的歐氏距離,λc是用于控制顏色特征相似性力度大小的參數(shù);同樣地，‖si-sj‖2代表超像素節(jié)點(diǎn)i和j的空間位置之間的歐氏距離,λs是用于控制空間特征的相似性力度的參數(shù)。

1.2 初始顯著圖的生成

本文算法將元胞自動(dòng)機(jī)作為動(dòng)力學(xué)傳播的更新機(jī)制，而在元胞自動(dòng)機(jī)的動(dòng)力學(xué)系統(tǒng)中，需要在更新之前預(yù)先確定各個(gè)元胞的初始值，然后根據(jù)元胞的初始值在設(shè)定的更新規(guī)則進(jìn)行動(dòng)力學(xué)傳播更新。本文通過(guò)復(fù)雜網(wǎng)絡(luò)節(jié)點(diǎn)中心性先驗(yàn)和空間自相關(guān)先驗(yàn)的準(zhǔn)則，計(jì)算出對(duì)應(yīng)元胞節(jié)點(diǎn)在迭代更新之前的初始值，即初始顯著圖。此階段在圖2的框架中對(duì)應(yīng)步驟(d)。

1.2.1 復(fù)雜網(wǎng)絡(luò)節(jié)點(diǎn)中心性的初始顯著圖

在分析復(fù)雜網(wǎng)絡(luò)時(shí)，常使用節(jié)點(diǎn)中心性來(lái)計(jì)算網(wǎng)絡(luò)結(jié)構(gòu)中節(jié)點(diǎn)的重要性，在網(wǎng)絡(luò)中占有越重要位置的節(jié)點(diǎn)，計(jì)算出的節(jié)點(diǎn)中心性值越高。本文將這一思想借用到圖像像素點(diǎn)的顯著性分析中來(lái)，在建立的超像素節(jié)點(diǎn)圖模型中，超像素節(jié)點(diǎn)之間實(shí)際上也構(gòu)成了一個(gè)網(wǎng)絡(luò)結(jié)構(gòu)，顯著性區(qū)域的節(jié)點(diǎn)較之于大量信息冗余的背景節(jié)點(diǎn)，更趨向處于網(wǎng)絡(luò)結(jié)構(gòu)的“信息中心”，即中心性較高的區(qū)域。在復(fù)雜網(wǎng)絡(luò)的節(jié)點(diǎn)重要度分析中，定義了多種節(jié)點(diǎn)中心性，其中的緊密中心性和特征向量中心性，分別描述了節(jié)點(diǎn)基于最短路徑的凝聚度、中心性強(qiáng)弱不同的鄰居對(duì)節(jié)點(diǎn)本身中心性影響程度的大小?；趯?duì)顯著性區(qū)域特性的類(lèi)比分析，本文使用緊密中心性(Closeness Centrality, CC)和特征向量中心性(Eigenvector Centrality, EC)作為判斷粗略顯著性區(qū)域的準(zhǔn)則。

1)緊密中心性(CC)。在節(jié)點(diǎn)網(wǎng)絡(luò)中，引入網(wǎng)絡(luò)流特征，根據(jù)網(wǎng)絡(luò)中節(jié)點(diǎn)到達(dá)整個(gè)網(wǎng)絡(luò)其他所有節(jié)點(diǎn)的難易程度，定義出了緊密中心性[23]。緊密中心性用于表示基于網(wǎng)絡(luò)節(jié)點(diǎn)達(dá)到網(wǎng)絡(luò)其他所有節(jié)點(diǎn)所需路徑總和的差異性，利用信息在網(wǎng)絡(luò)中的廣播時(shí)間長(zhǎng)短來(lái)確定網(wǎng)絡(luò)節(jié)點(diǎn)的重要性，它定義為節(jié)點(diǎn)到網(wǎng)絡(luò)其他所有節(jié)點(diǎn)最短距離的總和。由于顯著性區(qū)域與其他節(jié)點(diǎn)相比有顯著區(qū)別的特征，本文中定義的緊密中心性表示節(jié)點(diǎn)與其他節(jié)點(diǎn)的不相似程度：節(jié)點(diǎn)到其他節(jié)點(diǎn)的相似性關(guān)聯(lián)總和越小，則緊密中心性值越大，表示節(jié)點(diǎn)與其他節(jié)點(diǎn)越不相似，因而顯著值就越大，反之相反。因此，由緊密中心性準(zhǔn)則得出的顯著值salCC等于緊密中心性CC的值。緊密中心性CC公式定義如下：

(4)

(5)

其中：i表示任意超像素節(jié)點(diǎn)；j表示除i本身外的其他可達(dá)節(jié)點(diǎn)；CC(i)表示第i個(gè)超像素節(jié)點(diǎn)緊密中心性的值；|V|表示超像素圖模型G中節(jié)點(diǎn)的總數(shù)；dshortest(vi,vj)是節(jié)點(diǎn)i到節(jié)點(diǎn)j在特征相似性權(quán)值矩陣W上的最短路徑長(zhǎng)度;B(i)表示節(jié)點(diǎn) 的鄰接節(jié)點(diǎn)集合。

2)特征向量中心性(EC)?？紤]中心性強(qiáng)弱不同的節(jié)點(diǎn)對(duì)其周?chē)?jié)點(diǎn)的影響力的程度大小，引入特征向量中心性準(zhǔn)則[24]：高中心性的節(jié)點(diǎn)對(duì)周?chē)?jié)點(diǎn)的影響大，低中心性的節(jié)點(diǎn)對(duì)其周?chē)挠绊懶?。在本文中，這一中心性對(duì)應(yīng)于圖像超像素節(jié)點(diǎn)的顯著性值，高顯著性值的超像素對(duì)周?chē)?jié)點(diǎn)的作用大;反之相反。因此，由特征向量中心性準(zhǔn)則得出的顯著值salEC等于特征向量中心性CE的值。特征向量中心性CE需要滿足如下計(jì)算式：

(6)

WbiCE=λCE

(7)

1.2.2 空間自相關(guān)的初始顯著圖

在地理信息統(tǒng)計(jì)系統(tǒng)中，通常采用空間自相關(guān)指數(shù)來(lái)衡量在空間范圍內(nèi)的某位置上的數(shù)據(jù)與其他位置上的數(shù)據(jù)間的相互依賴(lài)程度?？臻g自相關(guān)指數(shù)(Spatial Autocorrelation, SA)主要有Moran指數(shù)[25]和Geary指數(shù)[26]，它們屬于全局型指標(biāo)，用于描述數(shù)據(jù)的整體分布狀況，可以判斷空間的聚集性強(qiáng)弱，但不能確切指出聚集發(fā)生在哪些區(qū)域。而安瑟倫局部Moran指數(shù)[27-28]則可用于判定局部某區(qū)域是否是聚集性較強(qiáng)的區(qū)域，其思想主要是度量空間局部單元對(duì)整個(gè)范圍空間自相關(guān)的影響程度，影響程度大的往往是區(qū)域內(nèi)的“特例”，也就表示這些“特例”往往是空間視場(chǎng)中的聚集局域。安瑟倫局部Moran指數(shù)的基本定義如下：

(8)

類(lèi)比到圖像顯著性區(qū)域檢測(cè)的問(wèn)題上，顯著性區(qū)域通常是場(chǎng)景中出現(xiàn)的一個(gè)較為獨(dú)立完整的個(gè)體(如圖像中的某人或某物)，這類(lèi)個(gè)體區(qū)域在像素特征上，傾向于表現(xiàn)出不同于周?chē)蛘w的獨(dú)立特征，即顯著性區(qū)域在整個(gè)圖像二維空間上表現(xiàn)出更為緊湊且獨(dú)立的特征聚集性。因此，本文將空間自相關(guān)的定義引入到顯著性值的初始計(jì)算階段，此處所述的特征聚集性延伸為像素點(diǎn)在局部范圍內(nèi)的特征相似程度，分別從兩方面來(lái)分析某像素點(diǎn)的局部聚集性。一方面，是像素點(diǎn)與周?chē)袼氐恼嚓P(guān)強(qiáng)度，像素點(diǎn)與周?chē)袼卦较嗨?，則局部區(qū)域內(nèi)聚集性越高；另一方面，是與整體其他所有像素點(diǎn)的負(fù)相關(guān)強(qiáng)度，像素點(diǎn)與整幅圖像空間范圍的其他點(diǎn)之間越不相似，則局部聚集程度越高。在這兩方面的局部聚集程度的基礎(chǔ)上，進(jìn)一步分析其對(duì)整個(gè)圖像的聚集程度的影響大小，影響越大的則表現(xiàn)出的顯著性更高;反之相反。由此，得到基于空間自相關(guān)SA的表達(dá)式(式(9))。空間自相關(guān)準(zhǔn)則下的顯著性值salSA等于空間自相關(guān)指數(shù)SA的值。

(9)

(10)

其中，ci是CIELab空間中的顏色信息。

對(duì)比于安瑟倫局部Moran指數(shù)的原計(jì)算式(8)，本文對(duì)其進(jìn)行了延伸和改進(jìn)，將它用于顯著性值的計(jì)算中，如式(9)所示，每一個(gè)點(diǎn)的觀測(cè)值用全局對(duì)比度來(lái)表示。為了放大鄰居節(jié)點(diǎn)對(duì)當(dāng)前節(jié)點(diǎn)顯著值的作用，超像素節(jié)點(diǎn)的空間自相關(guān)公式SA中對(duì)分母項(xiàng)進(jìn)行了平方處理。由于全局對(duì)比度本身也可以生成初始顯著圖，因此本文將對(duì)直接用全局對(duì)比度計(jì)算顯著值以及用本文空間自相關(guān)SA計(jì)算顯著值兩者進(jìn)行對(duì)比，對(duì)比實(shí)驗(yàn)結(jié)果將在2.3.2節(jié)的實(shí)驗(yàn)分析中呈現(xiàn)。

1.3 多幅初始顯著圖的融合

由于不同先驗(yàn)準(zhǔn)則是在不同的視角下去衡量和定義顯著性的高低，不同的準(zhǔn)則得到的初始顯著性圖各有優(yōu)缺點(diǎn)，因此本文提出一種基于D-S證據(jù)理論[29]融合思想的方法(對(duì)應(yīng)于圖2框架中的步驟(e))，將通過(guò)緊密中心性CC、特征向量中心性EC和空間自相關(guān)SA三種不同準(zhǔn)則下獲得的初始顯著值作為判斷融合結(jié)果的基本概率分配(Basic Probability Assignment, BPA)，即mass函數(shù)，通過(guò)計(jì)算信任函數(shù)Bel和似然函數(shù)PI，進(jìn)而得到各幅初始顯著圖間的相似性矩陣，最后通過(guò)支持度supp計(jì)算出最終的融合權(quán)值。具體融合過(guò)程與計(jì)算式如下所示：

第一步 計(jì)算各幅初始顯著圖的mass函數(shù)證據(jù)，定義如下：

(11)

第二步 計(jì)算各個(gè)mass函數(shù)之間的信任函數(shù)Bel：

(12)

其中：i和j表示三個(gè)準(zhǔn)則下的任意兩幅初始顯著圖(i,j=1,2,3)，這里i≠j；W和H分別代表顯著圖的寬和高。此處，通過(guò)標(biāo)準(zhǔn)歸一化公式將計(jì)算得到的Belij的值歸一化至[0,1]區(qū)間。

第三步 由信任函數(shù)Bel得到似然函數(shù)PI:

PIij=1-Belij

(13)

第四步 由似然函數(shù)PI的值得到相似性矩陣SIM:

(14)

第五步 求各幅初始顯著圖的最終融合權(quán)值Crd：

(15)

(16)

其中:supp(i)表示第i幅顯著圖對(duì)于最終融合顯著圖的支持度大小;Crd(i)表示第i幅顯著圖在最終融合中的權(quán)值。

第六步 利用計(jì)算得到的權(quán)值進(jìn)行加權(quán)融合:

(17)

其中，通過(guò)D-S證據(jù)理論融合得到的顯著圖即salfuse。

1.4 元胞自動(dòng)機(jī)的二級(jí)優(yōu)化更新

1.4.1 初始元胞自動(dòng)機(jī)

元胞自動(dòng)機(jī)是一種結(jié)合時(shí)空狀態(tài)的動(dòng)力學(xué)模型，具有簡(jiǎn)單的結(jié)構(gòu)卻能進(jìn)行復(fù)雜的自組織行為，可以根據(jù)對(duì)應(yīng)的更新規(guī)則，讓元胞不斷根據(jù)自己當(dāng)前的狀態(tài)以及鄰居當(dāng)前的狀態(tài)來(lái)確定自己下一時(shí)刻的狀態(tài)。

借鑒文獻(xiàn)[20]的思想，在已建立好的圖模型中，讓每一個(gè)分割出的超像素節(jié)點(diǎn)代表一個(gè)元胞，元胞的鄰居包括與它相鄰的元胞,以及和它相鄰的鄰居持有同一條邊緣的元胞。每一個(gè)超像素節(jié)點(diǎn)的顯著性值作為元胞的狀態(tài)，通過(guò)鄰居元胞的影響力大小和自身的狀態(tài)值進(jìn)行迭代更新。此階段在圖2的框架中對(duì)應(yīng)于步驟(f)。

1)影響因子矩陣(Impact Factor Matrix)。鄰居元胞的影響力大小由當(dāng)前元胞及其鄰居的顏色相似度來(lái)衡量，當(dāng)元胞與其鄰居的顏色信息距離相距越小，則該鄰居對(duì)元胞下一時(shí)刻的狀態(tài)影響力就越大。這里所述的影響力定義為影響因子eij，通過(guò)建立一個(gè)影響因子矩陣E=[eij]N×N來(lái)衡量鄰居的影響力大?。?/p>

(18)

E*=D-1·E

(19)

2)置信度矩陣(Coherence Matrix)。在進(jìn)行以影響因子為向?qū)У母聶C(jī)制中，還考慮到處于顯著區(qū)域邊緣的兩個(gè)互為鄰居的元胞會(huì)對(duì)各自產(chǎn)生的影響較大，可能會(huì)導(dǎo)致位于顯著區(qū)域邊緣的節(jié)點(diǎn)顯著值被削弱或是邊緣之外的節(jié)點(diǎn)顯著值被增強(qiáng)的反作用現(xiàn)象。因此，設(shè)定一個(gè)置信度矩陣C=diag{c1,c2,…,cN}，從兩方面來(lái)對(duì)這樣的情況進(jìn)行規(guī)整：一方面，當(dāng)元胞與鄰居元胞的差異過(guò)大時(shí)，該元胞下一時(shí)刻的狀態(tài)只由它自己決定；另一方面，當(dāng)元胞與鄰居元胞相似度越高，其受鄰居元胞的影響作用將會(huì)越強(qiáng)。該置信度矩陣定義如下：

ci=1/max(eij)

(20)

j=1,2,…,N

(21)

3)自動(dòng)更新原則(Synchronous Updating Rule)。在文獻(xiàn)[20]中所述的元胞自動(dòng)機(jī)中，所有元胞根據(jù)更新原則同步地更新各自的狀態(tài)。在得到影響因子矩陣和置信度矩陣后，同步更新原則定義如下：

St+1=C*·St+(I-C*) ·E*·St

(22)

其中：I是單位矩陣；t表示某一時(shí)刻，t+1表示更新后的下一時(shí)刻，經(jīng)過(guò)tca時(shí)間后，可以得到元胞最終的顯著值；St表示各個(gè)元胞在t時(shí)刻的顯著性值。

1.4.2 優(yōu)化元胞自動(dòng)機(jī)

如圖3所示，在原始元胞自動(dòng)機(jī)的計(jì)算結(jié)果中，內(nèi)質(zhì)不均勻、邊界不明顯的缺點(diǎn)沒(méi)有得到完全克服。針對(duì)初始元胞自動(dòng)機(jī)結(jié)果內(nèi)質(zhì)不均勻的問(wèn)題，本文通過(guò)進(jìn)行第二級(jí)的元胞自動(dòng)機(jī)來(lái)調(diào)整(對(duì)應(yīng)于圖2框架中步驟(g))；針對(duì)邊界有部分缺失的問(wèn)題，本文通過(guò)在第二級(jí)元胞自動(dòng)機(jī)中將影響因子矩陣中加入邊界強(qiáng)度信息來(lái)解決(對(duì)應(yīng)于圖2框架中步驟(b)到步驟(g))。

圖3 初始元胞自動(dòng)機(jī)和優(yōu)化元胞自動(dòng)機(jī)的效果對(duì)比Fig. 3 Effect comparison of initial cellular automata and optimized cellular automata

如圖4所示的是優(yōu)化的元胞自動(dòng)機(jī)中所使用的邊界強(qiáng)度信息的示意圖。

圖4 加入邊界強(qiáng)度信息的圖模型示意圖Fig. 4 Schematic diagram of graph model with adding boundary strength information

由圖4(d)、(e)觀察可得，星型結(jié)構(gòu)中心的超像素節(jié)點(diǎn)分別連接有非邊界鄰居節(jié)點(diǎn)和邊界鄰居節(jié)點(diǎn)，節(jié)點(diǎn)間的連線粗細(xì)代表兩節(jié)點(diǎn)間影響力大小。由于待解決的是邊界不明顯的問(wèn)題，因此在優(yōu)化的元胞自動(dòng)機(jī)階段，通過(guò)改變影響因子矩陣的定義，利用邊界檢測(cè)的結(jié)果，降低跨邊界鄰居節(jié)點(diǎn)對(duì)當(dāng)前中心節(jié)點(diǎn)的影響力(圖4中節(jié)點(diǎn)間的連線較細(xì))，增大非邊界鄰居節(jié)點(diǎn)對(duì)當(dāng)前中心節(jié)點(diǎn)影響力(圖4中節(jié)點(diǎn)間連線較粗)。改進(jìn)后的影響因子矩陣定義如下：

(23)

(24)

2 實(shí)驗(yàn)結(jié)果及分析

2.1 實(shí)驗(yàn)設(shè)置

為驗(yàn)證算法的有效性，實(shí)驗(yàn)部分選擇在ECSSD[31]和MSRA5K[32]兩個(gè)數(shù)據(jù)集進(jìn)行所有實(shí)驗(yàn)。其中，ECSSD數(shù)據(jù)集包含1 000幅圖像，MSRA5K包含5 000幅圖像，兩個(gè)數(shù)據(jù)集中的圖像內(nèi)容豐富，都含有確定顯著性對(duì)象，真值顯著值為人工標(biāo)記準(zhǔn)確的二值圖像。此外，兩個(gè)數(shù)據(jù)集的場(chǎng)景復(fù)雜程度各異，有的圖像場(chǎng)景較為簡(jiǎn)單，有的圖像場(chǎng)景較為復(fù)雜，有利于公正、全面地評(píng)價(jià)各個(gè)顯著性檢測(cè)方法的效果優(yōu)劣。

有關(guān)本文算法中涉及到的一些參數(shù)的具體數(shù)值，根據(jù)經(jīng)驗(yàn)本文在實(shí)驗(yàn)中將λc、λs、σ2、a、b、tca、λe分別設(shè)置為10、5、0.1、0.2、0.6、20、10。

2.2 評(píng)價(jià)指標(biāo)

本文采用客觀的評(píng)價(jià)標(biāo)準(zhǔn)為準(zhǔn)確率-召回率(Precision-Recall, P-R)曲線、F-measure值和平均絕對(duì)誤差(Mean Absolute Error, MAE)這三個(gè)指標(biāo)來(lái)進(jìn)行定量對(duì)比實(shí)驗(yàn)分析。

P-R曲線[10-11]中，P表示準(zhǔn)確率, 即正確的檢測(cè)結(jié)果在檢測(cè)結(jié)果中所占的比例；R表示召回率， 即正確的檢測(cè)結(jié)果在真值中所占的比例；P-R曲線是在不同的閾值(0～255)下得到的P、R值繪制成的曲線。

F-measure[10-11]值是P和R的調(diào)和平均數(shù)，計(jì)算式如下：

Fβ=(1+β2)P×R/(β2×P+R)

(25)

其中，為了強(qiáng)調(diào)P的重要性，設(shè)定β2=0.3。

MAE[33]考慮計(jì)算得到的顯著圖S與顯著性真值圖G之間的差異程度, 定義如下：

(26)

由式(26)可知，MAE值衡量了顯著性真值圖與計(jì)算得到的顯著圖之間的平均像素差異程度。

2.3 單步模塊的有效性驗(yàn)證

2.3.1 實(shí)驗(yàn)一：初始顯著圖及融合方法的比較

在對(duì)粗略的初始顯著圖進(jìn)行融合時(shí)，本文采用的是基于D-S證據(jù)理論的加權(quán)融合方法。為了說(shuō)明該融合方法針對(duì)不同初始顯著圖在權(quán)值分配上的優(yōu)越性，將本文融合方法與直接取平均權(quán)值的方法進(jìn)行了對(duì)比實(shí)驗(yàn)，結(jié)果如圖5所示。由圖5可知，粗略初始顯著圖的結(jié)果在經(jīng)過(guò)本文方法加權(quán)融合之后得到了顯著提高；與直接取平均權(quán)值的融合方法相比，本文融合方法得到的權(quán)值在兩個(gè)數(shù)據(jù)集上的表現(xiàn)都優(yōu)于直接取平均權(quán)值的融合方法。

2.3.2 實(shí)驗(yàn)二：空間自相關(guān)和全局對(duì)比度的比較

在1.2.2節(jié)計(jì)算空間自相關(guān)初始顯著圖的步驟中，本文將全局對(duì)比度作為觀測(cè)值來(lái)用于式(8)安瑟倫局部Moran指數(shù)的計(jì)算。然而，實(shí)際上式(9)中的全局對(duì)比度本身也可以用于計(jì)算出初始顯著圖，因此本節(jié)對(duì)直接用全局對(duì)比度來(lái)計(jì)算顯著值以及用本文空間自相關(guān)SA計(jì)算顯著值兩者的有效性進(jìn)行了對(duì)比實(shí)驗(yàn)，結(jié)果如圖6所示。

由圖6可知，不論是在ECSSD數(shù)據(jù)集還是在MSRA5K數(shù)據(jù)集中，全局對(duì)比度的P-R曲線都位于本文提出的空間自相關(guān)結(jié)果曲線的下方；在場(chǎng)景更復(fù)雜的ECSSD數(shù)據(jù)集上，空間自相關(guān)的結(jié)果較大地提升了直接用全局對(duì)比度計(jì)算顯著圖的效果。

圖5 初始顯著圖及融合方法的結(jié)果對(duì)比Fig. 5 Results comparison of initial saliency graph and fusion methods

圖6 空間自相關(guān)與全局對(duì)比度的結(jié)果對(duì)比Fig. 6 Results comparison of spatial autocorrelation and global contrast

2.3.3 實(shí)驗(yàn)三：優(yōu)化元胞自動(dòng)機(jī)的有效性驗(yàn)證

在進(jìn)行初始元胞自動(dòng)機(jī)的動(dòng)力學(xué)傳播后，由于發(fā)現(xiàn)內(nèi)質(zhì)不均勻、邊界附近的顯著性區(qū)域不清晰的問(wèn)題仍然沒(méi)有被完全解決，本文進(jìn)行了第二級(jí)優(yōu)化的元胞自動(dòng)機(jī)對(duì)第一級(jí)的結(jié)果進(jìn)行修正和改善。為了驗(yàn)證這一優(yōu)化能切實(shí)地提升顯著圖檢測(cè)的最終的量化結(jié)果，本節(jié)對(duì)初始元胞自動(dòng)機(jī)和優(yōu)化元胞自動(dòng)機(jī)的結(jié)果進(jìn)行了有效性提升的驗(yàn)證實(shí)驗(yàn)。

圖3(b)～(c)的效果對(duì)比表明了優(yōu)化的元胞自動(dòng)機(jī)對(duì)初始的元胞自動(dòng)機(jī)在視覺(jué)效果上提升的有效性。由圖7的P-R曲線可知，優(yōu)化的元胞自動(dòng)機(jī)不僅能從視覺(jué)效果角度提升初始元胞自動(dòng)機(jī)結(jié)果，還能從量化的角度切實(shí)提升初始元胞自動(dòng)機(jī)結(jié)果的準(zhǔn)確率和召回率。

圖7 初始元胞自動(dòng)機(jī)與優(yōu)化元胞自動(dòng)機(jī)的實(shí)驗(yàn)結(jié)果對(duì)比Fig. 7 Experimental result comparison between initial cellular automata and optimized cellular automata

2.4 本文算法與其他算法的比較

為了評(píng)估本文算法的有效性，選擇與現(xiàn)有6種算法進(jìn)行對(duì)比，這些算法具體包括：BSCA[20]、GMR[21]、DSR[18]、wC(weighted Contrast Optimization)[34]、GS[12]、GBVS[6]。其中，BSCA是將元胞自動(dòng)機(jī)用于顯著性檢測(cè)的原始算法，從下面的定量、定性實(shí)驗(yàn)可得，本文算法的效果在原始算法的基礎(chǔ)上得到了一定程度的提升。

2.4.1 定量分析

不同算法的定量對(duì)比分析的實(shí)驗(yàn)結(jié)果如圖8所示。不同算法的定量具體數(shù)據(jù)對(duì)比如表1所示。

表1 不同算法定量實(shí)驗(yàn)的具體數(shù)據(jù)比較Tab. 1 Comparison of specific data for different algorithms in quantitative experiments

由圖8(a)、(d)觀察可得，本文方法的P-R曲線位于6種現(xiàn)有算法P-R曲線之上。由圖8(b)、(e)觀察可得，本文方法在三項(xiàng)指標(biāo)的平均水準(zhǔn)上表現(xiàn)較好，雖然在ECSSD數(shù)據(jù)集上GMR模型的準(zhǔn)確率要稍高于本文算法，但其召回率及F-measure值相比于本文方法更低，在MSRA數(shù)據(jù)集上本文方法三項(xiàng)指標(biāo)都是最高。如表1所示的F-measure數(shù)據(jù)，本文方法分別在兩個(gè)數(shù)據(jù)集中的F-measure數(shù)值上都為最高。由圖8(c)、(f)觀察可得，本文方法的誤差都處于較低的位置。同時(shí)，由表1中MAE具體數(shù)值可知，本文方法的MAE結(jié)果除了在MSRA5K中稍大于wCO外，比其他大多數(shù)算法的MAE數(shù)據(jù)都小。因此，從以上的實(shí)驗(yàn)分析來(lái)看，本文方法在定量對(duì)比中相比于其他算法能取得更好的表現(xiàn)。

圖8 不同算法的定量結(jié)果對(duì)比Fig. 8 Quantitative result comparison of different algorithms

2.4.2 定性分析

為了分析算法在視覺(jué)上的效果差異，選取兩個(gè)數(shù)據(jù)集中的部分圖像，將本文方法與其他算法的顯著圖結(jié)果進(jìn)行了視覺(jué)效果的定性分析，如圖9所示。為了說(shuō)明算法的魯棒性，選取的示例圖像包含不同復(fù)雜度的背景。

針對(duì)顯著物體顏色鮮艷且與背景差異大的圖像，如圖9第3幅和第7幅實(shí)驗(yàn)圖像，各個(gè)算法都能檢測(cè)出大體的顯著性區(qū)域，但有的算法對(duì)于第3幅中魚(yú)嘴部稍暗的區(qū)域檢測(cè)不明確、對(duì)于第7幅中郵箱內(nèi)部顏色差異大的區(qū)域檢測(cè)不準(zhǔn)確。

針對(duì)顯著性物體內(nèi)部顏色變化多或差異大的圖像，如圖9第4、5、11幅實(shí)驗(yàn)圖像，有的算法的檢測(cè)結(jié)果內(nèi)質(zhì)不均勻，將部分交叉在顯著性區(qū)域內(nèi)的區(qū)域誤判為背景區(qū)域。

針對(duì)顯著性物體顏色與背景較相似或差異較小的圖像，如圖9第2、5、8、10幅實(shí)驗(yàn)圖像，部分算法難以排除背景的干擾，導(dǎo)致檢測(cè)出的區(qū)域邊界混淆。

針對(duì)場(chǎng)景稍復(fù)雜的圖像，如圖9第1幅和第6幅實(shí)驗(yàn)圖像，多數(shù)算法檢測(cè)出的顯著性區(qū)域有一定丟失或是被背景干擾導(dǎo)致區(qū)域邊界擴(kuò)大。

針對(duì)顯著性物體附近有其他帶有干擾、具有類(lèi)似特征物體的圖像，如圖9第9、12、13幅實(shí)驗(yàn)圖像，大多算法都無(wú)法排除周?chē)鷰в幸欢@著性特征物體的干擾。在檢測(cè)出的結(jié)果中，有的算法將周?chē)奈矬w誤判為顯著性區(qū)域，有的算法雖然抑制了一部分干擾，但依然保留有明顯的干擾物體的痕跡。

不同于其他算法，如圖9(h)所示，本文方法在以上分析的幾類(lèi)不同復(fù)雜度的場(chǎng)景中表現(xiàn)都更接近真值，在內(nèi)質(zhì)均勻、邊界明晰和避免背景干擾這幾方面都得到了較好的檢測(cè)效果。

圖9 不同算法的視覺(jué)檢測(cè)效果對(duì)比Fig. 9 Visual detection result comparison of different algorithms

2.4.3 運(yùn)行時(shí)間對(duì)比分析

在Intel Core i7-6700HQ 2.6 GHz CPU, 8 GB RAM的實(shí)驗(yàn)環(huán)境下，測(cè)試了包含本文方法在內(nèi)的7種算法處理每張圖像的平均運(yùn)行時(shí)間，結(jié)果如表2所示。

由表2結(jié)果可知：BSCA算法所需的單幅圖像處理時(shí)間遠(yuǎn)遠(yuǎn)多于其他算法；GMR算法所需的運(yùn)行時(shí)間最少；本文方法的平均運(yùn)行時(shí)間在這7種算法中第二少，算法效率上屬于較高水平，優(yōu)于多數(shù)算法。相對(duì)于原始的元胞自動(dòng)機(jī)BSCA算法，本文方法的平均運(yùn)行時(shí)間比BSCA少了1.212 s左右，因此，在算法耗時(shí)的表現(xiàn)上本文方法優(yōu)于BSCA算法。

為了對(duì)本文方法效率進(jìn)行深入分析，對(duì)本文方法單步平均處理時(shí)間進(jìn)行單獨(dú)計(jì)算，結(jié)果如表3所示，其中，其他處理步驟表示除主要算法模塊之外的其他處理過(guò)程(如：分割超像素、構(gòu)建圖模型、計(jì)算各權(quán)值矩陣等)。由表3可知，本文方法中大部分時(shí)間損耗在其他處理步驟，而本文的各主體步驟耗時(shí)比較少，多數(shù)在0.02 s左右。主體模塊中耗時(shí)最多的是D-S證據(jù)理論融合步驟，需要0.053 s；耗時(shí)最少的是計(jì)算特征向量中心性顯著圖步驟，僅需要0.003 s。

表2 不同算法平均運(yùn)行時(shí)間對(duì)比Tab. 2 Average running time comparison of different algorithms

表3 本文方法各階段平均處理時(shí)間Tab. 3 Average running time of each stage of the proposed method

3 結(jié)語(yǔ)

本文提出了一種將圖節(jié)點(diǎn)中心性、空間自相關(guān)與遞進(jìn)優(yōu)化動(dòng)力學(xué)傳播結(jié)合的顯著性區(qū)域檢測(cè)方法。該方法綜合考慮了顏色、空間位置和空間分布的多先驗(yàn)準(zhǔn)則，并使用證據(jù)理論融合多準(zhǔn)則下的初始結(jié)果，在初始結(jié)果的基礎(chǔ)上加入邊界強(qiáng)度信息進(jìn)行兩階段的元胞自動(dòng)機(jī)更新機(jī)制，從而遞進(jìn)地生成最終的顯著性檢測(cè)結(jié)果。該方法旨在解決由于圖像中顯著性物體內(nèi)部顏色差異大、顯著性物體邊緣與背景顏色差異小這兩個(gè)原因?qū)е碌娘@著性區(qū)域結(jié)果內(nèi)質(zhì)分布不均勻、邊界區(qū)域模糊不明顯的問(wèn)題。對(duì)所提方法主體過(guò)程各模塊進(jìn)行單步有限性驗(yàn)證實(shí)驗(yàn)，驗(yàn)證了本文方法各模塊理論的科學(xué)性和有效性。在場(chǎng)景復(fù)雜度各異、數(shù)據(jù)量不同的兩個(gè)廣泛使用的公開(kāi)測(cè)試數(shù)據(jù)集上對(duì)本文方法與其他現(xiàn)有算法進(jìn)行對(duì)比實(shí)驗(yàn)，分別從定量和定性兩個(gè)角度進(jìn)行分析。實(shí)驗(yàn)結(jié)果表明，本文方法在視覺(jué)效果、量化結(jié)果以及算法效率的綜合評(píng)估結(jié)果上優(yōu)于其他現(xiàn)有算法，特別是優(yōu)于與本文方法密切相關(guān)的同類(lèi)算法BSCA。同時(shí)，視覺(jué)對(duì)比實(shí)驗(yàn)的結(jié)果也驗(yàn)證了本文方法能夠真實(shí)有效地改善由于上述兩個(gè)原因產(chǎn)生的不準(zhǔn)確結(jié)果。