基于結(jié)構(gòu)信息和稀疏貝葉斯學(xué)習(xí)的圖像去噪

劉 帥

(西安電子科技大學(xué) 西安 710071)

0 簡(jiǎn)介

在圖像處理中，如何用空間變換有效地表達(dá)圖像信息，是一個(gè)很重要的問(wèn)題。傳統(tǒng)的圖像表示方法是基于“基”的展開(kāi)，如Fourier 變換和小波變換等。但這種建立在正交基上的信號(hào)分解有一定的局限性，往往不總能夠達(dá)到好的稀疏表示效果，尤其是對(duì)于變化范圍很大的圖像，效果更差。一種更好的圖像處理方法應(yīng)該是根據(jù)圖像的特點(diǎn)，自適應(yīng)地選擇合適的基函數(shù)，來(lái)完成圖像的稀疏分解。因此近年來(lái)非正交分解引起人們極大的研究興趣。超完備信號(hào)稀疏表示方法肇始于Mallat 和Zhang 于1993年提出基于冗余字典(redundant dictionary)的稀疏分解思想［1］。

2004年由Candes，Romberg，Tao 和Donoho［2］建立起來(lái)的壓縮傳感(Compressive sensing，CS)理論進(jìn)一步將稀疏表示思想提升到了一個(gè)新的高度。CS理論的基礎(chǔ)就是要求信號(hào)在某個(gè)空間具有稀疏性，因此稀疏表示的研究有極其重要而深遠(yuǎn)的理論意義和廣泛的應(yīng)用價(jià)值。目前稀疏表示已在圖像去噪和修復(fù)［3-5］［7-10］、CS 等領(lǐng)域取得廣泛應(yīng)用。

圖像稀疏表示理論中的一個(gè)關(guān)鍵問(wèn)題就是如何設(shè)計(jì)有效的稀疏表示過(guò)完備字典。本文采用非參數(shù)貝葉斯方法［13，14］來(lái)構(gòu)造和學(xué)習(xí)冗余字典來(lái)實(shí)現(xiàn)圖像去噪和修復(fù)，該方法可以可以更全面的捕捉詮釋圖像信息，實(shí)驗(yàn)結(jié)果表明，基于非參數(shù)貝葉斯的字典學(xué)習(xí)方法在圖像去噪和修復(fù)方面具有良好的性能。

1 基于的稀疏貝葉斯學(xué)習(xí)的冗余字典學(xué)習(xí)

1)D 是給定的，通過(guò)點(diǎn)估計(jì)來(lái)推斷a，常用的有OMP，BP 等，這些算法的停止準(zhǔn)則一般是假設(shè)一噪聲值或者對(duì)a的稀疏性進(jìn)行約束;

2)通過(guò)學(xué)習(xí)得到字典D，但是需要預(yù)先設(shè)定字典的原子數(shù)M。

通過(guò)對(duì)已有的方法進(jìn)行分析，文中采用非參數(shù)貝葉斯方法來(lái)進(jìn)行學(xué)習(xí)。該方法可以同時(shí)推斷字典原子數(shù)M 和a;另一方面，相比于之前的點(diǎn)估計(jì)方法，該方法可以得到參數(shù)的完整后驗(yàn)分布。同時(shí)，圖像本身固有一定的結(jié)構(gòu)信息，本文將結(jié)構(gòu)信息作為先驗(yàn)，約束所構(gòu)造冗余字典的更新，以更好的捕捉圖像本身的固有特性。

1．1 結(jié)構(gòu)信息

圖像本身具有一定的結(jié)構(gòu)信息，為了更好地實(shí)現(xiàn)圖像處理，有效地應(yīng)用捕捉結(jié)構(gòu)信息，就變得非常重要。本文采用Zhou Wang 等提出的結(jié)構(gòu)信息計(jì)算方法，并將其作為字典的先驗(yàn)信息，對(duì)字典進(jìn)行約束更新。具體計(jì)算方式如下:

其中c 為一個(gè)常數(shù)。

1．2 Beta 過(guò)程框架

近幾年，基于非參數(shù)貝葉斯的應(yīng)用研究越來(lái)越火熱。文中采用了基于Beta 非參數(shù)貝葉斯方法，假定實(shí)驗(yàn)?zāi)Ｐ蜑?x= Da+ε，其中x∈Rn、D∈Rn×m，為了實(shí)現(xiàn)在學(xué)習(xí)字典D的過(guò)程中推斷字典大小M的目的，假定D∈Rn×K，在此假設(shè)K→∞，然后通過(guò)推過(guò)推斷字典D所包含的列數(shù)(即原子數(shù))來(lái)近似的確定字典大小。我們希望求得的α ∈RK是稀疏的，即α 中除卻有限項(xiàng)外其余均為0，因此字典D中僅有一小部分原子被用來(lái)表示x。這里僅討論文中所用到的beta過(guò)程的部分原理。兩參數(shù)的beta過(guò)程是一個(gè)非參數(shù)的先驗(yàn)。定義為H ～BP(a，b，H0)，其中H0為0～1 區(qū)間的一致分布Uni(0，1)，a＞0，b＞0。上述分布又可以表示為:

當(dāng)ψ=ψk時(shí)，δψk(ψ)等于1，否則δψk(ψ)等于0。有此可見(jiàn)，H(ψ)代表了每一個(gè)原子ψk是否被使用的K中可能性。在K→∞時(shí)，H(ψ)就成為一個(gè)表示無(wú)限維概率的矢量，其中相應(yīng)于每一個(gè)ψk的概率滿(mǎn)足ψk

iid ～H0。

為了便于應(yīng)用H(ψ)，我們定義了N位二進(jìn)制矢量zi ～{0，1}K，其中i=1，2，…，N，zi的第k個(gè)分量滿(mǎn)足zik ～Bernoulli(πk)。由這N個(gè)二進(jìn)制列向量組成了指示矩陣Z，且Z ～{0，1}K×N，因此Z的第i列表示zi，Z的第k行則相應(yīng)于原子ψk。在待處理問(wèn)題中，原子ψk∈Rn代表了字典D的候選集中的成員，二進(jìn)制矢量zi則表示對(duì)樣本xi使用了字典D中的哪些原子進(jìn)行近似表示。

假設(shè)Ψ={ψ1，ψ2，…，ψk}，K→∞，則樣本xi可以表示為xi=Ψzi+ε，但是這種經(jīng)典的表示是有著高度限制的，因?yàn)樗笞值涞南禂?shù)必須是二進(jìn)制的。為了解決這一問(wèn)題，我們引入權(quán)值矩陣W，W∈RK×N，其中wi ～N(0，γ-1w IK)，i=1，2，…，N，γw表示高斯分布的方差。則字典權(quán)值ai= zi·wi，符號(hào)·表示哈德曼乘積。從ai的構(gòu)建過(guò)程可以發(fā)現(xiàn)，ai是稀疏的。另外，不同于廣泛使用的拉普拉斯先驗(yàn)，使用拉普拉斯先驗(yàn)得的稀疏系數(shù)除卻非少數(shù)相對(duì)來(lái)說(shuō)比較大的系數(shù)外，其余系數(shù)則非常小;而擬議模型得出的稀疏系數(shù)除卻非0 項(xiàng)則是直接等于0。這樣就可以直接求解零范數(shù)。

為了計(jì)算方便，我們假定字典元素ψk服從多變量的高斯分布;在獨(dú)立同分布的準(zhǔn)則下擬議模型如下所示:

γε、γw由滿(mǎn)足非信息先驗(yàn)的Gamma 分層先驗(yàn)來(lái)確定。同時(shí)，可以發(fā)現(xiàn)，上面模型具有共軛對(duì)稱(chēng)性，因此可以應(yīng)用吉布斯采樣來(lái)進(jìn)行分析推斷字典D 以及字典大小M。

1．3 順序字典學(xué)習(xí)

在上面的討論中，我們是使用所有的數(shù)據(jù)一起來(lái)學(xué)習(xí)推斷字典D，然而，在某些應(yīng)用中，N 可以能是想當(dāng)大的，出于對(duì)復(fù)雜度、時(shí)間等方面的考慮，法同時(shí)學(xué)習(xí)的方法就太好了。為了解決這一問(wèn)題，我們將數(shù)據(jù)分割為，依次采用beta 過(guò)程對(duì)其進(jìn)行處理。算法的收斂性和詳細(xì)描述見(jiàn)［15］。假定表示理想字典的后驗(yàn)概率，矢量Θ 代表擬議模型的所有分層參數(shù)。在貝葉斯分析中，先通過(guò)推斷，將求解結(jié)果作為先驗(yàn)然后來(lái)推斷。依次類(lèi)推，最終來(lái)實(shí)現(xiàn)推斷的目的。

2 圖像去噪

圖像信號(hào)在處理過(guò)程中，通常會(huì)受到圖像噪聲的影響，導(dǎo)致圖像處理不能滿(mǎn)足后續(xù)分析處理的要求。為了保證圖像的視覺(jué)效果，研究出有效的去噪算法，是十分必要的。以達(dá)到能從被污染的圖像中獲取原圖像真實(shí)信息，并且將圖像處理過(guò)程中對(duì)圖像本身的干擾降低到最小，為以后對(duì)圖像進(jìn)行進(jìn)一步的處理做好準(zhǔn)備。另一方面，圖像在傳輸過(guò)程中經(jīng)常會(huì)發(fā)生數(shù)據(jù)丟失，解壓后會(huì)有塊狀圖像信息缺失的現(xiàn)象;或者是原始圖像上面有了一些不期望的內(nèi)容(如文字)，這種情況下就需要最大限度近似恢復(fù)原始圖像。

假定待處理圖像為I∈RNy×Nx(這里以灰度圖像為例，彩色圖像類(lèi)似，見(jiàn)結(jié)果展示)，圖像噪聲是加性的。我們見(jiàn)將圖像分割為個(gè)重疊的塊。對(duì)于任意一個(gè)xi，滿(mǎn)足xi∈RB2，文中使用的是B=8。

如果只有加性噪聲，而沒(méi)有消失像素，則可以直接使用模型()來(lái)同時(shí)進(jìn)行字典學(xué)習(xí)和圖像去噪。如果既有噪聲，又有消失像素，我們不再像之前那樣直接觀測(cè)xi，而是觀測(cè)它的子集。注意到用來(lái)恢復(fù)原始無(wú)噪完整圖像的ψ 和是從待測(cè)數(shù)據(jù)集直接推斷的，因此這里也可以使用數(shù)據(jù)集離線學(xué)習(xí)字典D。

通常圖像去噪，如［16，17］，通常預(yù)先要設(shè)置一個(gè)停止準(zhǔn)則，或者是對(duì)某一變量值進(jìn)行約束、或者是對(duì)稀疏度等。這種方法在通常是很有效的，但是如果不需要預(yù)先做出這一假設(shè)，應(yīng)該是更好的。文中的擬議模型則不需要做出這種設(shè)定。該模型假設(shè)噪聲γε服從非信息Gamma 分布，然后通過(guò)他的后驗(yàn)概率對(duì)其推斷;稀疏表示的稀疏度則滿(mǎn)足由參數(shù)a 和b 控制的Beta 分布。因此可以從數(shù)據(jù)本身求解出系數(shù)表示的平均稀疏度。上面都是以黑白圖像為例，如果是彩色圖像，也很容易，只需要將3 通道的參數(shù)分別設(shè)置就好。以γε為例，只要對(duì)三通道里的每一個(gè)B×B 塊分別假設(shè)一個(gè)γε，且這三個(gè)γε的Gamma 先驗(yàn)相同就好。

3 實(shí)驗(yàn)結(jié)果

通過(guò)實(shí)驗(yàn)表明，對(duì)于圖像去噪和修復(fù)，采用吉布斯采樣推斷比采用變分貝葉斯推斷所得的結(jié)果更好。因此文中所有推斷均采用吉布斯采樣推斷。圖像去噪和修復(fù)過(guò)程中所用的分層參數(shù)值設(shè)置時(shí)一樣的，所有的Gamma 先驗(yàn)設(shè)置為Gamma(10-6，10-6)，Beta 分布的參數(shù)為a=K 和b=N/8(設(shè)置為其它值產(chǎn)生的結(jié)果相似)。

文中對(duì)各個(gè)實(shí)驗(yàn)圖像分別加方差為15、20、50的噪聲，用以下四種方法進(jìn)行圖像去噪:(1)采用非信息先驗(yàn)的基于BP 字典的非參數(shù)貝葉斯算法，所有的去噪圖像采用一樣的BP 模型;(2)K-SVD 算法，其中噪聲方差大小設(shè)定為圖像所加噪聲方差;(3)K-SVD 算法，其中噪聲方差大小設(shè)定為圖像所加噪聲方差不同的值;(4)基于DCT 字典的圖像去噪算法。下面的實(shí)驗(yàn)結(jié)果給出了加噪聲后的圖像，和用算法處理后的對(duì)比圖，以及相應(yīng)的數(shù)值比較。

下面三組圖像第一行第一幅代表原始圖像，第二幅為加方差為15 的高斯白噪聲后的噪聲圖像，第三幅為擬議算法的結(jié)果，第四幅為擬議算法的學(xué)習(xí)字典;第二行第一幅圖像為DCT 字典的結(jié)果;第二幅為KSVD 字典的結(jié)果，第三幅和第四幅分別為DCT 和KSVD 的學(xué)習(xí)字典。

下面三組圖像第一行第一幅代表原始圖像，第二幅為加方差為20 的高斯白噪聲后的噪聲圖像，第三幅為擬議算法的結(jié)果，第四幅為擬議算法的學(xué)習(xí)字典;第二行第一幅圖像為DCT 字典的結(jié)果;第二幅為KSVD 字典的結(jié)果，第三幅和第四幅分別為DCT 和KSVD 的學(xué)習(xí)字典。

下面三組圖像第一行第一幅代表原始圖像，第二幅為加方差為25 的高斯白噪聲后的噪聲圖像，第三幅為擬議算法的結(jié)果，第四幅為擬議算法的學(xué)習(xí)字典;第二行第一幅圖像為DCT 字典的結(jié)果;第二幅為KSVE 字典的結(jié)果，第三幅和第四幅分別為DCT 和KSVD 的學(xué)習(xí)字典。

5 總結(jié)

稀疏性在圖像處理過(guò)程中的作用越來(lái)越重要。文中在自然圖像的去噪和修復(fù)中，用基于Beta-Bernoulli 過(guò)程的非參數(shù)貝葉斯字典來(lái)實(shí)現(xiàn)圖像的稀疏。相比于已有算法，實(shí)驗(yàn)表明，該算法有以下重要優(yōu)勢(shì)

1)不需要預(yù)先知道噪聲值，而是在分析的過(guò)程中推斷早噪聲，以實(shí)現(xiàn)去噪;

2)可以推斷完整的后驗(yàn)概率，因此可以用error bar 對(duì)結(jié)果進(jìn)行分析;

3)盡管可以用訓(xùn)練數(shù)據(jù)來(lái)初始化字典，但是本文的BPFA 采用隨機(jī)初始化就能得到很好的實(shí)驗(yàn)結(jié)果。

當(dāng)然，通過(guò)文中分析可以發(fā)現(xiàn)，擬議模型可以用于CS 問(wèn)題中，當(dāng)然也包括一些逆問(wèn)題。有此可見(jiàn)，該算法在圖像處理中具有一定的優(yōu)越性。

［1］Mallat S.G Zhi feng Zhang Matching Pursuit with Time-frequency Dictionaries［J］.IEEE Trans on Signal Processing，1993，41(12):3397-3415.

［2］David L，Donoho D.Compressed Sensing［J］.IEEE Trans on Information Theory，2006，52(4):1289-1306.

［3］M.Aharon，M.Elad，and A.M.Bruckstein.K-SVD:An algorithm for designing overcomplete dictionaries for sparse representation.［J］.IEEE Trans.Signal Processing，2006，54:4311-4322.

［4］M.Elad and M.Aharon.Image denoising via sparse and redundant representations over learned dictionaries［J］.IEEE Trans.Image Processing，2006，15:3736-3745.

［5］J.Mairal，F(xiàn).Bach，J.Ponce，and G.Sapiro.Online dictionary learning for sparse coding.In Proc［M］.International Conference on Machine Learning，2009.

［6］J.Mairal，F(xiàn).Bach，J.Ponce，G.Sapiro，and A.Zisserman.Supervised dictionary learning.In Proc［M］.Neural Information Processing Systems，2008.

［7］J.Mairal，F(xiàn).Bach，J.Ponce，G.Sapiro，and A.Zisserman.Non-local sparse models for image restoration［M］.In Proc.International Conference on Computer Vision，2009.

［8］J.Mairal，M.Elad，and G.Sapiro.Sparse representation for color image restoration［J］.IEEE Trans.Image Processing，2008，17:53-69.

［9］J.Mairal，G.Sapiro，and M.Elad.Learning multiscale sparse representations for image and video restoration［J］.SIAM Multiscale Modeling and Simulation，2008，(7):214-241，2008.

［10］M.Ranzato，C.Poultney，S.Chopra，and Y.Lecun.Efficient learning of sparse representations with an energy-based model［M］.In Proc.Neural Information Processing Systems，2006.

［11］E.Cand`es and T.Tao.Near-optimal signal recovery from random projections:universal encoding strategies IEEE Trans.Information Theory，2006，52:5406-5425.

［12］J.M.Duarte-Carvajalino and G.Sapiro.Learning to sense sparse signals:simultaneous sensing matrix and sparsifying dictionary optimization［J］.IEEE Transactions on Image Processing，2009，1395-1408.

［13］R.Thibaux and M.I.Jordan.Hierarchical beta processes and the indian buffet process［M］.In Proc.International Conference on ArticialIntelligence and Statistics，2007.

［14］J.Paisley and L.Carin.Nonparametric factor analysis with beta process priors.In Proc［M］.International Conference on Machine Learning，2009.

［15］J.Mairal，F(xiàn).Bach，J.Ponce，and G.Sapiro.Online dictionary learning for sparse coding［M］.In Proc.International Conference on Machine Learning，2009.

［16］M.Elad and M.Aharon.Image denoising via sparse and redundant representations over learned dictionaries［J］.IEEE Trans.Image Processing，15，2006.

［17］J.Mairal，M.Elad，and G.Sapiro.Learning Multiscaes Sparse representation for image and video restoration［J］.IEEE Trans.Image Processing，2008，2(1):2014-241.