結(jié)合目標(biāo)色彩特征的基于注意力的圖像分割

張建興，李軍，石慶龍

重慶大學(xué)自動化學(xué)院，重慶400044

1 引言

視覺注意力機制被研究者廣泛運用于機器視覺和機器人目標(biāo)跟蹤領(lǐng)域[1]，其主要包括兩種類型[2-3]：自下而上注意力（Bottom-Up attention，BU注意力”）機制和自上而下注意力（Top-Down attention，TD注意力）機制。BU注意力機制即由底層數(shù)據(jù)到上層注意力的過程，注意目標(biāo)的取得完全來源于場景圖像信息。TD注意力機制遵循自上而下過程，即依據(jù)任務(wù)目標(biāo)決定底層場景圖像中吸引注意力的區(qū)域。這是兩個完全相反的過程。

單純的TD注意力機制有高度的自主性和復(fù)雜性，主要體現(xiàn)在任務(wù)目標(biāo)的不確定性與隨意性，難以較精確地建立其模型機制，導(dǎo)致運用上的局限性。另一方面，BU注意力過程依據(jù)輸入場景圖像的諸如亮度、顏色和方向等特征來選擇注意力顯著區(qū)域。該過程可以看做是人類早期視覺系統(tǒng)的注意力選擇機制，其建模相對容易，受到很多研究者關(guān)注[4]，其中的代表是Itti模型[5]。它利用從圖像中提取亮度、顏色和方向等底層特征構(gòu)造視覺注意力顯著圖，由視覺顯著圖吸引注意力，分割目標(biāo)物體。該方法模型簡單，對噪聲的魯棒性好，特別是當(dāng)噪聲的特性不直接破壞目標(biāo)的主要特征的時候。缺點是當(dāng)干擾物與目標(biāo)有部分特征類似時，干擾物也會有不同程度的顯著度，從而對目標(biāo)的注意產(chǎn)生一定影響。Amudha與Soman[6]提出了一種新的基于注意力的感知方法，該方法使用任務(wù)并行和合并的選擇調(diào)諧模型來進行注意區(qū)域檢測。該模型作為目標(biāo)識別算法包含預(yù)處理過程時，有效減少搜索的計算復(fù)雜度，在視頻序列上進行標(biāo)記應(yīng)用的測試也取得較理想的結(jié)果。Itti與Baldi[7]提出一種新的貝葉斯驚奇模型，模型把貝葉斯理論運用到人類視覺注意力驚奇模型，以此衡量數(shù)據(jù)對觀測者的吸引程度。盡管這個驚奇模型只是在場景時間和空間上的低水平量化，沒有豐富的語義規(guī)則，但也較準確的檢測到人類感興趣區(qū)域，只是與其他方法相比，檢測到的感興趣目標(biāo)相對較多。Wen[8]等人提出了一種基于小物體的視覺注意力感知模型，該模型以Itti注意力模型為基礎(chǔ)，在生成顯著圖之后運用高斯混合模型（GMM）對顯著圖進行進一步精確化得到感興趣區(qū)域。該方法能更精確地檢測到目標(biāo)，尤其對小目標(biāo)的感知有較好的效果。

上述方法和運用雖然在特定運用場景中取得了較好的預(yù)期感知結(jié)果，但是經(jīng)過仔細研究發(fā)現(xiàn)，當(dāng)場景中目標(biāo)的顯著程度低于背景或其他物體時，注意力往往不被目標(biāo)吸引，從而不能得到滿意的結(jié)果。因此本文提出一種改進的基于注意力的圖像分割方法，使得當(dāng)目標(biāo)顯著度低于背景或其他物體時也能被較準確的分割。

2 目標(biāo)分割算法

2.1 本文提出的算法

本文提出的目標(biāo)分割方法如圖1所示，包含三部分：場景特征圖生成、集成顯著圖和圖像分割目標(biāo)的提取。其中場景特征圖的生成由兩類特征組成：單純自下而上，由數(shù)據(jù)驅(qū)動直接從場景圖像提取到的三類特征（顏色特征、亮度特征、方向特征）；自上而下，結(jié)合目標(biāo)任務(wù)與場景圖像共同提取到的目標(biāo)色彩特征。根據(jù)從場景圖像中提取到的三類特征與結(jié)合目標(biāo)任務(wù)、場景圖像共同提取到的特征通過分步進行的方式集成一張最終顯著圖。圖像分割目標(biāo)的提取使用閾值分割法從最終顯著圖分割出注意力目標(biāo)區(qū)域，進而分割出目標(biāo)物體。

圖1 圖像分割系統(tǒng)結(jié)構(gòu)圖

2.2 場景特征圖的生成

將輸入的場景圖像使用二進高斯金字塔產(chǎn)生9尺度圖（0∶8尺度），在8個倍頻程中從1∶1，1∶2，1∶4，…，1∶256（分別對應(yīng)0，1，…，8尺度）。通過與視覺接受域類似的線性“中心圍繞”操作計算每個特征，再用跨尺度融合。中心圍繞算子在模型中通過對周圍尺度s線性插值至中心尺度等大小后與中心尺度c進行點對點相減實現(xiàn)（下文用Θ表示）。中心是尺度c∈{2，3，4}中的像素，周圍是尺度s=c+d，其中d∈{3，4}。

生成顯著圖的4個特征，分別是亮度特征、顏色特征、方向特征和目標(biāo)色彩特征。對于RGB色彩模型，r、g、b分別代表紅、綠、藍3個色彩通道的值，取值范圍[0，1])，亮度I經(jīng)

計算得到。由9尺度高斯金字塔得到亮度高斯金字塔I(δ)，δ∈[0..8]表示尺度。r、g、b用I歸一化，目的是降低亮度對色彩的耦合。因為只有當(dāng)亮度達到一定程度時，色彩才能被感知，故僅當(dāng)I大于整個圖像亮度1/10時進行歸一化操作，否則r=g=b=0。特征圖由高斯金字塔進行中心圍繞操作（Θ）即上文提到的由中心細尺度c與周圍粗尺度s的差值得到。亮度特征圖I(c，s)計算公式如下：

將r、g、b 3個色彩通道擴展為R、G、B、Y（分別表示紅、綠、藍、黃）4個色彩通道，定義如下：

高斯金字塔R(δ)、G(δ)、B(δ)、Y(δ)分別由以上4個新通道得到。顏色特征圖的構(gòu)造是依據(jù)靈長類動物大腦皮質(zhì)的“顏色雙競爭”系統(tǒng)[9]：在視覺接受域中心，神經(jīng)元被一種顏色（如紅色）激發(fā)的同時抑制另一種顏色（如綠色），反過來也是一樣的。這樣在人類主要視覺皮質(zhì)里就存在4個空間色彩對：紅與綠，綠與紅，藍與黃，黃與藍。在本文用特征圖RG(c，s)表示紅與綠和綠與紅兩個色彩對，用特征圖BY(c，s)表示藍與黃和黃與藍兩個色彩對，其計算公式如下：

方向特征圖的構(gòu)造運用了方向Garbor金字塔O(δ，θ)，δ代表尺度，θ∈{0°，45°，90°，135°}代表4個方向。（Garbor濾波器使用余弦光柵與二維高斯卷積，目的是與視覺皮質(zhì)中主要負責(zé)方向感知的神經(jīng)元在視野中敏感性相一致）。方向特征圖O(c，s，θ)計算公式如下：

目標(biāo)色彩特征圖是自上而下，依據(jù)任務(wù)目標(biāo)得到的特征圖。其形成是依據(jù)輸入目標(biāo)圖像中色彩成分所占比重最多的兩種顏色（兩種顏色值分別用m1、m2表示），目的是強化目標(biāo)的顏色特征，使其在較顯著的背景或其他物體干擾的情形下也能被感知。目標(biāo)色彩特征圖P(c，s，m)，計算原理如下(f(i，j)表示場景圖像中對應(yīng)點的顏色值，且值為(r0，g0，b0)；m對應(yīng)的顏色值為(r，g，b)，m∈(m1，m2)。

（1）場景圖像顏色與m越相似，則相應(yīng)點特征值越大；

（2）相似度太低則對應(yīng)點特征值為0，即若|r0-r|，|g0–g|，|b0–b|3個值中其中一個大于TT（本實驗中取TT=80/255)則P(ψ，m)=0，(P(ψ，m)表示每個尺度的目標(biāo)色彩特征值，ψ表示任意尺度）；否則：

上式中先計算出中心尺度和周圍尺度的目標(biāo)色彩特征值，再使用中心圍繞算子操作計算輸入目標(biāo)圖像中色彩成分所占比重最多的兩種顏色對應(yīng)的目標(biāo)色彩特征圖。

2.3 視覺注意力顯著圖

根據(jù)得到的54幅特征圖：亮度特征圖6幅，顏色特征圖12幅，方向特征圖24幅，目標(biāo)色彩特征圖12幅。利用特征圖生成視覺注意力顯著圖時，由于每個特征圖都可能包含顯著性不明顯的物體，為了減少不明顯物體的干擾，本文不是將所有特征圖直接集成為一張顯著圖，而是采用分步進行的方式。第一步先將這些不同類別的特征圖用歸一化和跨尺度融合為4張顯著圖，分別是亮度顯著圖、顏色顯著圖、方向顯著圖和目標(biāo)色彩顯著圖，第二步將這4幅顯著圖集成為1張最終顯著圖S（見公式（7））。

歸一化操作（用N（·）表示）的目的是在缺少TD監(jiān)督的情況下，整體提升有部分強刺激峰值，而整體抑制包含大量類似峰值響應(yīng)。其計算方法是首先將圖像取值規(guī)范化為[0，M]，以消除幅值產(chǎn)生的差異，其次計算圖像中最大值M和其他所有局部極大值的平均值，然后再整幅圖像乘以

跨尺度融合（用“⊕”表示）過程是將每一個歸一化的特征圖壓縮到尺度4再對應(yīng)點相加。亮度顯著圖顏色顯著圖方向顯著圖和目標(biāo)色彩顯著圖的生成，以及將這4幅顯著圖集成為最終顯著圖S的計算公式如下：

2.4 圖像分割目標(biāo)的提取

最終顯著圖S的最大值點定義了最顯著圖像的位置，即是注意力焦點。為了提取注意力焦點，將其雙線性插值到0尺度（與原圖等大?。┯嬎忝總€單連通區(qū)域的平均值（例如S中有5個顯著物體則有不多于5個連通區(qū)域，相應(yīng)平均值記為Si，i∈{1，2，3，4，5})，假設(shè)最大的兩個平均值分別是S1、S2，且S1＞S2，則閥值T計算公式如下：

顯著圖用以下公式二值化（f(i，j)表示顯著圖的灰度值）：

將二值化后的顯著圖與原圖按位與運算即可提取到感知目標(biāo)。整個處理步驟如下：

（1）將輸入的場景圖像使用二進高斯金字塔產(chǎn)生9尺度圖；

（2）計算每個尺度的亮度I(δ)和亮度特征圖I(c，s)；

（3）計算每個尺度的R、G、B、Y和顏色特征圖RG(c，s)，BY(c，s)；

（4）計算每個尺度方向特征O(δ，θ)和方向特征圖O(c，s，θ)；

（5）計算輸入目標(biāo)圖像色彩成分所占比重最多的兩種顏色m1、m2，從而計算每個尺度目標(biāo)色彩特征值P(ψ，m)，進一步計算目標(biāo)色彩特征圖P(c，s，m)；

（6）采用分步進行的方式集成最終注意力顯著圖S；

（7）對最終注意力顯著圖S雙線性插值到0尺度，計算T，然后二值化；

（8）二值化的顯著圖S與原輸入場景圖按位相與，分割出目標(biāo)物體。

這一算法的處理過程如圖2所示。

圖2 圖像分割流程圖

3 實驗及算法分析比較

本章描述運用增加目標(biāo)色彩特征的改進型，基于注意力的圖像分割算法的實驗結(jié)果和分析。

3.1 實驗設(shè)置

本實驗圖像分辨率為520像素×390像素的24位彩色圖。如圖2所示，首先采集目標(biāo)任務(wù)的圖像。為了更好地提取出所占比例最大的兩種顏色成分，避免圖像中背景干擾，輸入前需要將背景替換為純黑(r=g=b=0)或者純白(r=g=b=1)，然后輸入系統(tǒng)。在系統(tǒng)中提取m1、m2時，考慮到實際采集的圖像由于光照和視角的原因，即使是純白（或純黑）的目標(biāo)在圖像中也不是純白（或純黑）而是集中在靠近純白（或純黑）所在顏色范圍，故忽略純白與純黑。接著輸入視野中場景圖像，通過線性濾波分別得到亮度、顏色、方向3個類別9尺度高斯金字塔(I(δ)，C(δ)，O(δ))，結(jié)合m1、m2得到目標(biāo)色彩高斯金字塔(P(ψ，m))。然后進行“中心圍繞”和歸一化操作分別計算每個特征圖，根據(jù)每個特征圖用跨尺度融合和歸一化計算每個類別的顯著圖，再集成為一張最終顯著圖S，用閾值T二值化之后對其雙線性插值到0尺度（與原圖等大?。?，與輸入場景圖按位相與。圖3用5個有代表的視覺場景展示該改進算法的運算結(jié)果，第一列是原始圖像，第二列為顯著圖，第三列是閥值處理后的二值圖，最后一列為圖像分割結(jié)果。

圖3 圖像分割結(jié)果

3.2 圖像分割算法實現(xiàn)與比較

為了評估和分析本文改進的算法性能，使用該算法與傳統(tǒng)的Itti算法、GBVS（Graph-Based Visual Saliency）算法[10]作比較。圖4為這幾種算法的最終分割結(jié)果對比（因二值分割閾值對最終分割結(jié)果影響較大且無統(tǒng)一計算標(biāo)準，故本實驗分割閾值取T=0.5）。

圖4 算法對比圖

由圖4可見本文算法并非完全準確感知目標(biāo)，但是在針對一些基本的運用（比如定位、目標(biāo)識別、避障等）是足夠的。

依據(jù)傳統(tǒng)的Itti算法以及后來的GBVS算法生成的顯著圖能找到場景圖像中的顯著區(qū)域，但是往往該區(qū)域所包含的物體不一定是目標(biāo)物體，尤其是目標(biāo)物體顯著度較低時，該現(xiàn)象尤為明顯（例如圖4的第三行、第四行）。

表1 本文方法與Itti算法及GBVS算法對比

為了更精確地分析和對比本文改進的算法，定義了兩個變量命中指數(shù)D與失敗指數(shù)Df。命中指數(shù)D與失敗指數(shù)Df跟Si（上文已定義）的值相關(guān)，假設(shè)最大的兩個平均值分別是S1、S2，且S1＞S2，若S1對應(yīng)的物體不是需要被感知的目標(biāo)（即顯著程度最高的區(qū)域不是目標(biāo)物體），則D=0，表示感知失敗，此時失敗指數(shù)Df=(S2-S1)/S2；若S1對應(yīng)的物體是需要被感知的目標(biāo)（即顯著程度最高的區(qū)域是目標(biāo)物體），則D=(S1-S2)/S1，D越大說明目標(biāo)越顯著命中效果越好，此時失敗指數(shù)Df=0。表1為根據(jù)圖4所示實驗計算得到的指數(shù)D與失敗指數(shù)Df，由表中數(shù)據(jù)可見本文算法的優(yōu)越性。

基于注意力的圖像分割改進算法在超過100幅場景圖像運用中，超過95%的處理結(jié)果顯示本算法可以成功地在視覺場景中正確分割到目標(biāo)物體。

4 結(jié)束語

提出一種新的基于注意力的圖像分割方法。本文方法是一種多尺度多特征分析方法，既利用了自下而上的場景信息，又利用了自上而下的目標(biāo)任務(wù)的色彩特征共同構(gòu)成場景圖像顯著圖，再從顯著圖中提取最顯著區(qū)域，從而達到目標(biāo)分割的目的。

從實驗結(jié)果來看，由于本文方法加入了目標(biāo)任務(wù)特征，在場景圖像中背景或者干擾物體較明顯的情形下，該方法依然能準確將注意力集中到目標(biāo)物體所在區(qū)域，進而有效分割出目標(biāo)物體，取得理想的實驗結(jié)果。

[1]Yuanlong Y，George K，M ann I，et al.Target tracking for moving robots using object-based visual attention[C]//Proceedings of IEEE International Conference on Intelligent Robots and Systems，2010：2902-2907.

[2]Niebur E，Koch C.Computational architectures for attention[M].The Attentive Brain，Cambridge：M IT Press，1998：163-186.

[3]Qiaorong Z，Guochan G，Huim in X.Image segmentation based on visual attention mechanism[J].Journal of multimedia，2009，14（6）：363-370.

[4]Yaoru S，F(xiàn)isher R，F(xiàn)ang W，et al.A computer vision model for visual-object-based attention and eye movements[J].Computer Vision and Image Understanding，2008，112：126-142.

[5]Itti L，Koch C，Niebur E.A model of saliency-based visual attention for rapid scene analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1998，20（11）：1254-1259.

[6]Amudha J，Soman K P.Selective tuning visual attention model[J].International Journal of Recent Trends in Engineering，2009，2（2）：117-119.

[7]Itti L，Baldi P.Bayesian surprise attracts human attention[J].Vision Research，2009，49：1295-1306.

[8]Wen G，Changshe X，Songed M，et al.Visual attention based small object segmentation in natual images[C]//Proceedings of IEEE International Conference on Image Processing，2010：1565-1568.

[9]Engel S，Zhang X，Wandell B.Colour tuning in human visual cortex measured with functional magnetic resonance imaging[J].Nature，1997，388（6637）：68-71.

[10]Harel J，Koch C，Perona P.Graph-Based visual saliency[C]//Proceedings of Neural Information Processing System s.[S.l.]：M IT Press，2006：545-552.