基于視覺顯著性信息的圖像輪廓檢測

郭笑天 范影樂 李康群 王 典 武 薇

(杭州電子科技大學模式識別與圖像處理實驗室 浙江 杭州 310018)

基于視覺顯著性信息的圖像輪廓檢測

郭笑天 范影樂*李康群 王 典 武 薇

(杭州電子科技大學模式識別與圖像處理實驗室 浙江 杭州 310018)

融合視皮層邊界響應與顯著性信息，提出一種圖像輪廓檢測新方法。利用高斯導函數(shù)獲得初級視皮層(V1)的多方向梯度響應，同時基于感受野機制設置Leaky integrate-and-fire神經(jīng)元網(wǎng)絡的突觸興奮和抑制電流；通過神經(jīng)元脈沖頻率信息，獲得視覺顯著性信息；反饋并調(diào)控V1的視覺響應，得到圖像輪廓。以RuG圖像庫為例，與ISO等方法相比，該方法在綜合評價指標上具有優(yōu)勢。基于視覺顯著性信息的傳遞和處理過程，將為后續(xù)的圖像分析和理解提供新思路。

輪廓檢測 顯著性信息 初級視皮層 脈沖頻率

0 引 言

輪廓信息是對圖像進行空間冗余度消除后的常見特征，在后續(xù)圖像的分析和理解起著關鍵的作用。而人類視覺系統(tǒng)在實現(xiàn)對周圍環(huán)境或目標的感知時，對圖像輪廓檢測具有突出的敏感性和高效性。因此如何從生物視覺機制研究出發(fā)，研究視覺信息流的傳遞和處理過程，并建立以神經(jīng)電生理為基礎的視覺神經(jīng)計算模型就顯得非常有意義。目前有僅基于初級視皮層感受野的Noninh方法，也有研究利用空間稀疏特性抑制紋理，并基于顏色雙拮抗機制來有效提取彩色圖像輪廓信息的SSC方法[1]。另外還有研究基于V1的經(jīng)典感受野和非經(jīng)典感受野組合，在抑制紋理細節(jié)的基礎上實現(xiàn)輪廓線段多方向感知的ISO方法[2]。需要指出的是，雖然上述輪廓檢測方法利用圖像的多特征融合[3-4]，考慮到了包括感受野在內(nèi)的視覺機制作用，但對視覺信息流的神經(jīng)脈沖時空編碼過程進行了數(shù)學上的簡化，從本質(zhì)上仍然是一種基于鄰域描述算子的濾波方法。本文構(gòu)建LIF神經(jīng)元電生理網(wǎng)絡模型，模擬V1對視覺激勵的方向和位置選擇機制，利用經(jīng)典/非經(jīng)典感受野的差異性特征來獲取圖像的顯著性信息，發(fā)揮高級視皮層的反饋作用，對V1多方向梯度響應進行調(diào)控，最終獲得圖像的輪廓檢測結(jié)果。

1 基本原理

視覺神經(jīng)實驗表明，初級視皮層對視覺激勵具有明顯的方向性和位置選擇性，雖然V1已經(jīng)能夠感知視覺目標中的線和點等初級梯度信息。但對于如何過濾隱含在梯度信息中的紋理邊緣，并獲得更高層次上的對于面和立體結(jié)構(gòu)的理解，應該考慮到高級視皮層對視覺信息流的反饋調(diào)控作用。本文利用二維高斯導函數(shù)，提取視覺激勵的多方向梯度信息，并降低多方向梯度信息的冗余度；構(gòu)建Leaky integrate-and-fire(LIF)神經(jīng)元網(wǎng)絡模型[5]，同時基于感受野機制設置網(wǎng)絡突觸的興奮和抑制電流，提取顯著性信息并反饋到V1以此提取圖像輪廓。本文輪廓檢測方法的流程如圖1所示。

圖1 輪廓檢測框架

1.1 神經(jīng)元網(wǎng)絡模型

在視覺信息流傳遞與處理過程中，視皮層神經(jīng)元通過脈沖放電的形式對視覺激勵進行方向和位置等信息的編碼，因此需構(gòu)建具有高效計算性能的神經(jīng)元網(wǎng)絡模型。考慮動作電位具體波形對神經(jīng)信息編碼[6]的冗余性，本文選擇LIF神經(jīng)元作為網(wǎng)絡模型的基本單元，由于神經(jīng)元脈沖發(fā)放存在不應期特性，所以引入時間參數(shù)ref來調(diào)整模型的動力學行為。改進后的LIF如式(1)所示：

(1)

其中v、vth、vreset、vG分別表示為神經(jīng)元膜電位、脈沖發(fā)放閾值電位、靜息電位以及脈沖峰值電位；cm和g1分別為膜電容和等效漏電導；Isyn對應于突觸輸入電流，是興奮和抑制兩部分電流有符號加和的結(jié)果。本文按如下方式添加絕對不應期的作用：當膜電位v達到脈沖發(fā)放閾值電位時，v將瞬時被置為脈沖峰值電位，同時神經(jīng)元將進入絕對不應期，不再響應任何激勵，直到時間參數(shù)ref被重新置為0。

1.2 初級視皮層的多方向梯度響應

V1神經(jīng)元在感知來自膝狀體的視覺信息時，關注于信息的相對梯度特征，表現(xiàn)出對方向θi和位置(x,y)的選擇特性。設輸入圖像為I(x,y)，將圖像與特定尺度因子的高斯導函數(shù)進行卷積運算，結(jié)果取絕對值即為V1多方向梯度響應，如式(2)所示。

(2)

考慮到方向信息的遍歷性，當計算nθ個方向梯度響應時，有：

(3)

對于特定的位置(x,y)而言，本文選取方向梯度響應的極大值，并按響應比重進行加權(quán)處理，將結(jié)果E(x,y)作為多方向梯度響應的輸出，如式(4)和式(5)所示。

emax=max{ei(x,yθi)}i=1,2,…,nθ

(4)

(5)

1.3 信息流的顯著性提取與反饋

在視覺信息流的傳遞和處理過程中，存在自下向上和自上向下兩種通路，前者利用點和線條的顏色或紋理等特征，通過冗余度去除來獲取視野中的顯著性信息[7]，而后者是將來自高級視皮層的信息流逆向反饋至V1[8]，對多方向梯度響應進行調(diào)控。

本文首先提取視覺激勵的多方向梯度信息，經(jīng)過移動局部窗操作，獲得神經(jīng)元突觸的興奮電流；然后利用非經(jīng)典感受野機制獲得突觸抑制電流，以LIF神經(jīng)元的脈沖發(fā)放頻率作為顯著性輸出；最后反饋并與初級視皮層的多方向梯度信息進行融合，獲得輪廓檢測結(jié)果。

1.3.1 信息流的顯著性提取

視覺神經(jīng)實驗證實，對于特定的視覺激勵而言，視覺神經(jīng)系統(tǒng)只有部分神經(jīng)元被激發(fā)，這將有利于提高神經(jīng)編碼效率。因此本文首先進行高斯導函數(shù)卷積來獲得圖像的多方向梯度信息，并更多關注于圖像中目標的整體輪廓信息，減弱與背景紋理相對應的冗余信息描述。以圖像某像素點(x,y)為例，構(gòu)建以其為中心的局部方形窗W，按式(6)求窗內(nèi)多方向梯度響應的均值作為突觸興奮電流，其中mean()為均值函數(shù)。

(6)

研究表明，非經(jīng)典感受野的去抑制作用將有助于局部空間特征的提取。因此本文將充分利用經(jīng)典感受野和非經(jīng)典感受野對于視覺激勵的不同響應，利用兩者的差異性來設置突觸抑制電流?？紤]到經(jīng)典感受野區(qū)域外還有更大范圍的非經(jīng)典感受野起到去抑制的作用，所以在研究局部空間特征時，計算經(jīng)典/非經(jīng)典感受野對視覺響應的差異性，如式(7)所示，λ用來表示經(jīng)典感受野和非經(jīng)典感受野之間的差異程度，可用兩者的比值來度量。

及早采取有效的并發(fā)癥防控措施，不但需要進行感染防控，同時還需要根據(jù)患者實際病情以及可能出現(xiàn)的其他并發(fā)癥情況采取相應的并發(fā)癥防控措施。針刺穴位以及腹部按摩等形式能夠降低尿潴留發(fā)生率，適當進行床上活動以及下床鍛煉可加快腸胃蠕動[4] 。

(7)

其中：

(8)

(9)

h(x,y)表示為方差為σ的高斯函數(shù)，DoG+(x,y)則是方差為ρσ和σ的兩個高斯函數(shù)差值的絕對值。其中σ對應于經(jīng)典感受野區(qū)域的尺寸，ρσ則表示非經(jīng)典感受野區(qū)域尺寸，通常ρ可取為4。

將式(7)所獲得的感受野差異性，經(jīng)過式(10)所示的冪指數(shù)歸一化操作，獲得突觸抑制電流。

(10)

式中，參數(shù)ε為抑制強度調(diào)節(jié)參數(shù)，設為0.08。

最終突觸電流是如式(11)所示的突觸興奮電流和抑制電流的加權(quán)和，其中α為突觸抑制系數(shù)。

Isyn(x,y)=Isyn(x,y)-α·Iinh(x,y)

(11)

當根據(jù)感受野機制獲得突觸電流后，將其作為式(1)所描述的神經(jīng)元輸入，以神經(jīng)元的脈沖發(fā)放頻率作為圖像的顯著性提取結(jié)果，表示為μr(x,y)。

1.3.2 信息流的反饋

正如前述，在視覺通路中存在著自上向下的途徑，同時高級視皮層基于對信息流的理解，將處理結(jié)果反饋[9]至低級皮層，對后者的響應進行調(diào)控。因此本文將獲得的顯著性結(jié)果反饋到初級視皮層，與最終的多方向梯度信息進行融合，從而得到輪廓檢測結(jié)果為：

SE(x,y)=μr(x,y)×E(x,y)

(12)

2 實驗結(jié)果

本文選取在輪廓檢測中常見的數(shù)據(jù)庫(RUG)作為實驗用圖，RUG中每一幅圖都提供了由人工所繪制的基準輪廓圖。不失一般性，本文以數(shù)據(jù)庫中的部分圖像為例來說明方法的有效性，如圖2所示。同時本文選取了前述Noninh、SSC以及ISO等主流的輪廓檢測方法進行比較，如圖3所示。其中實驗參數(shù)σ=2，nθ=8，突觸抑制系數(shù)α=[0.6∶0.1∶1.5]，即從0.6取值到1.5，每次增加0.1，獲取最佳的綜合指標P。

圖2 實驗用圖及其基準輪廓圖

圖3 輪廓檢測結(jié)果

圖2中，(a) 待處理圖像，分別為golfcart、tiger、elepelephant；(b) 對應的基準輪廓圖。圖3中，(a) Noninh方法；(b) SSC方法；(c) ISO方法；(d) 本文方法。

本文利用輪廓檢測中常見的評價指標[2]進行定量比較?？紤]到基準輪廓圖由人工繪制，雖然是多人結(jié)果的平均，但仍具有一定的主觀性，所以在定量評價時，在基準輪廓的5×5鄰域內(nèi)的波動即可視為正檢。輪廓檢測的正確集E、錯誤集EFP、漏檢集EFN、錯檢指標eFP、漏檢指標eFN和綜合指標P分別如式(13)-式(18)所示。

E=ED∩(EGT⊕T)

(13)

EFP=ED-E

(14)

EFN=EGT-(EGT∩(ED⊕T))

(15)

eFP=card(EFP)/card(E)

(16)

eFN=card(EFN)/card(EGT)

(17)

(18)

其中ED和EGT分別代表輪廓檢測結(jié)果的像素集和基準輪廓像素集，⊕表示對像素進行膨脹操作，T表示邊長為5的方形鄰域單元。輪廓檢測結(jié)果的定量數(shù)據(jù)如表1所示。

表1 輪廓檢測的性能指標

3 分析與討論

從圖3可以看出，基于初級視皮層感受野特性的Noninh方法，其缺乏高級皮層的反饋調(diào)控，因此從結(jié)果看輪廓細節(jié)與紋理背景之間的區(qū)分度較弱，整體誤檢率較高；基于顏色雙拮抗機制的SSC方法，較好地利用了顏色成分在輪廓檢測中的作用，但從結(jié)果中可以看出在輪廓細節(jié)附近的紋理干擾較大；而融合經(jīng)典和非經(jīng)典感受野的ISO方法，考慮了局部細節(jié)與全局特征的關聯(lián)性，與前兩者相比，輪廓誤檢率有所下降。而本文提出的新方法，體現(xiàn)了低級和高級視皮層之間的交互作用，融合圖像多方向梯度信息與顯著性信息，因此從視覺上看整體輪廓較為清晰，相對于前述方法具有顯著的優(yōu)勢。

從表1的性能指標來看，Noninh方法的漏檢指標eFN較低，但錯檢指標eFP顯著高于其他方法，表明該方法的輪廓檢測結(jié)果混入了較多的紋理干擾，因此綜合指標P均為最低。觀察SSC方法的實驗結(jié)果，雖然eFP較前者有所下降，但對應的eFN卻相應增大，所以從綜合指標P來評價，性能并沒有明顯改善。而對于ISO和本文方法，在保持漏檢率基本不變的情況下，在錯檢指標eFP上有了明顯的改善，因此與Noninh和SSC方法相比較，整體性能上有了較大提高。需要進一步指出的是，Noninh方法和SSC方法的漏檢指標均略低于本文方法，但它們的錯檢指標遠高于本文方法。以上兩種方法均存在過檢測的情況，而導致紋理信息干擾大，雖使得漏檢指標較低，但仍無法彌補較高錯檢率所導致的綜合性能不佳。而ISO方法與本文方法的錯檢和漏檢指標較為接近，其中圖Tiger和圖Elephant所對應的錯檢指標稍低于本文方法，但漏檢指標偏大，得到的綜合評價指標低于本文方法；而圖Golfcart對應的錯檢和漏檢指標均略高于本文方法結(jié)果。綜合以上分析可知，本文方法在錯檢和漏檢指標上達到一種均衡，從綜合評價指標P看出，相比其他方法具有更理想的輪廓檢測性能。

綜上所述，Noninh沒有考慮到紋理抑制，因此從結(jié)果來看屬于一種輪廓過檢測的狀態(tài)；SSC方法考慮了圖像的局部特征，利用了視錐細胞的顏色雙拮抗機制，但這只是視覺通路上的一個前期環(huán)節(jié)，因此從結(jié)果來看，尤其是在輪廓細節(jié)點附近，其對于紋理背景的干擾處理并不理想；而ISO方法利用經(jīng)典感受野和非經(jīng)典感受野對于視覺激勵的調(diào)制作用，在一定程度上體現(xiàn)了局部細節(jié)和全局輪廓之間的關聯(lián)性，但仍然是一種單向的視覺信息流處理方式。而本文利用初級視皮層的多方向梯度響應，同時降低細節(jié)冗余度，關注于圖像的整體特征，然后利用生物視覺系統(tǒng)的感受野特性提取顯著性信息，并利用自上而下的視通路途徑，將顯著性信息與低級視皮層所獲取的多方向梯度信息進行融合，從而獲得輪廓檢測結(jié)果。因此從理論分析和實驗結(jié)果來看，這種結(jié)合自下而上和自上而下的視覺信息流傳遞和處理方式，既能有效降低輪廓點的漏檢，同時又能夠充分抑制紋理對檢測的干擾。

4 結(jié) 語

本文考慮視通路中視覺信息流的雙向傳遞和處理問題，首先模擬低級視皮層提取視覺激勵的多方向梯度信息，并通過降低冗余度的方法來弱化紋理特征，關注于具有整體性和連續(xù)性的輪廓細節(jié)；然后基于經(jīng)典感受野和非經(jīng)典感受野特性，利用兩者的響應差值去設置LIF神經(jīng)元網(wǎng)絡的突觸輸入電流，從而提取圖像的顯著性信息；最后本文模擬高級視皮層對視覺信息流的反饋調(diào)控作用，將來自高級視皮層的顯著性信息和來自低級視皮層的方向梯度信息進行融合，獲得輪廓檢測結(jié)果，實驗結(jié)果驗證了方法的有效性。本文創(chuàng)新主要體現(xiàn)在：(1) 提出了一種基于視覺信息處理機制的圖像顯著性提取新方法。利用局部移動窗獲取V1層面的多方向梯度響應，結(jié)合一種基于突觸電流調(diào)制的經(jīng)典和非經(jīng)典感受野機制，采用高級視皮層的神經(jīng)元脈沖發(fā)放頻率作為圖像的顯著性提取結(jié)果。(2) 提出了一種基于高級視皮層反饋及調(diào)控機制的圖像輪廓感知新方法。考慮從上向下的視通路信息流傳遞過程，引入高級視皮層顯著性信息的反向投射，融合V1方向梯度響應，從而獲得最終的輪廓感知結(jié)果。突出了生物視覺系統(tǒng)信息處理能力的應用研究。本文新方法將為基于生物視覺機制的圖像分析或理解應用研究提供一種新的途徑和思路。

[1] Yang Kaifu,Gao Shaobing,Guo Cefeng,et al.Boundary Detection Using Double-Opponency and Spatial Sparseness Constraint[J].IEEE Transactions on Image Processing,2015,24(8):2565-2578.

[2] Grigorescu C,Petkov N,Westenberg M.Contour detection based on nonclassical receptive field inhibition[J].IEEE Transactions on Image Processing,2003,12(7):729-739.

[3] Yang Kaifu,Li Chaoyi,Li Yongjie.Multifeature-based surround inhibition improves contour detection in natural images[J].IEEE Transactions on Image Processing,2014,23(12):5020-5032.

[4] Yang Kaifu,Li Chaoyi,Li Yongjie.Potential roles of the interaction between model V1 neurons with orientation-selective and non-selective surround inhibition in contour detection[J].Frontiers in neural circuits,2015,9(30):1-16.

[5] Chouhan A S.An analytical study of leaky integrate-and-fire neuron model using MATLAB simulation[J].International Journal of Engineering Research and Technology,2013,2(4):2242-2245.

[6] Zhu M,Rozell C J.Visual nonclassical receptive field effects emerge from sparse coding in a dynamical system[J].PLoS Computational Biology,2013,9(8):1-15.

[7] Wu Q,Mcginnity T M,Maguire L,et al.A visual attention model based on hierarchical spiking neural networks[J].Neurocomputing,2013,116:3-12.

[8] Chen Minggui,Yan Yin,Gong Xiajing,et al.Incremental integration of global contours through interplay between visual cortical areas[J].Neuron,2014,82(3):682-694.

[9] Liang Z,Shen W,Shou T.Enhancement of oblique effect in the cat’s primary visual cortex via orientation preference shifting induced by excitatory feedback from higher-order cortical area 21a[J].Neuroscience,2007,145(1):377-383.

IMAGECONTOURDETECTIONBASEDONVISUALSALIENCYINFORMATION

Guo Xiaotian Fan Yingle*Li Kangqun Wang Dian Wu Wei

(PatternRecognitionandImageProcessingLaboratory,HangzhouDianziUniversity,Hangzhou310018,Zhejiang,China)

By combining the visual cortical boundary response and saliency information, a new method of image contour detection is proposed. First, the derivative of Gaussian transform was introduced to get the gradient responses of primary visual cortex (V1) in multiple directions. Next the synaptic excitatory and inhibitory currents were specified based on receptive field mechanism in the LIF-neuron network. Visual saliency information was obtained by coding the spike frequency. Finally, the responses of neurons in V1 were modulated by feedback to get the image contour. The pictures used in this experiment were selected from the rug library. The results demonstrated that the proposed method had a significantly better performance than the traditional methods including ISO. The method for transmission and processing of visual saliency information will provide new ideas for the image analysis and understanding.

Contour detection Saliency information Primary visual cortex Spike frequency

TP317.4

A

10.3969/j.issn.1000-386x.2017.10.041

2016-11-03。國家自然科學基金項目(61501154)。郭笑天，碩士生，主研領域：視覺神經(jīng)計算與圖像處理。范影樂，教授。李康群，碩士生。王典，碩士生。武薇，講師。