張 波，徐黎明

(西華師范大學(xué) 計算機學(xué)院，四川 南充 637009)

基于八鄰域的自適應(yīng)P-Laplace圖像修復(fù)算法

張 波，徐黎明

(西華師范大學(xué) 計算機學(xué)院，四川 南充 637009)

針對傳統(tǒng)的變分圖像修復(fù)算法僅僅利用四鄰域信息導(dǎo)致的圖像過渡不自然、人工干預(yù)強等問題，提出一種基于八鄰域的自適應(yīng)P-Laplace修復(fù)算法。該算法將待修復(fù)像素點的八鄰域分為兩組四鄰域，利用每組四鄰域信息，采用中心格式差分方法對待修復(fù)像素點進行處理，通過自適應(yīng)方法確定每組鄰域修復(fù)的最佳p值，最后再進行加權(quán)平均。仿真實驗顯示，該算法與近幾年提出的修復(fù)算法相比圖像評價較好，PSNR值提高了約5.74%～22.15%，TSSIM值提高約4～30個百分點。

變分圖像修復(fù)；鄰域；P-Laplace；自適應(yīng)；圖像評價

0 引言

圖像修復(fù)[1]是一種在受損圖像上對信息缺失或錯誤的部分按照特定的規(guī)律進行修復(fù)以恢復(fù)原圖像的技術(shù)?，F(xiàn)階段圖像修復(fù)技術(shù)主要分為3種：基于變分偏微分方程、基于紋理合成和基于圖像分解的修復(fù)技術(shù)。在基于變分偏微分方程的算法中，以Chan等[2]提出的全變分(Total Variation,TV)算法、Bertamlio等[3]提出的BSCB (Bertamlio Sapiro Caselles Ballester)模型和曲率驅(qū)動擴散修復(fù)算法[4](Curvature Driven Diffusions,CDD)為典型。針對TV模型因較強的正則化約束引起的梯度效應(yīng)和假邊緣信息，文獻(xiàn)[5]、[6]提出了改進的TV算法，較好地避免了梯度效應(yīng)和假邊緣情況。針對CDD算法耗時、容易引起模糊等問題，文獻(xiàn)[7]提出的自適應(yīng)CDD修復(fù)算法和文獻(xiàn)[8]提出的基于模糊C-均值的自適應(yīng)TV算法較好地克服了該問題。

文獻(xiàn)[9]提出的基于壓縮感知的改進TV模型在去噪的同時保護好了紋理和邊緣信息，與基于紋理合成等其它算法[10～11]結(jié)合使用，增強了圖像修復(fù)的應(yīng)用范圍。基于高階擴散的修復(fù)算法[12～13]因其良好的擴散特性，使修復(fù)圖像具有良好的視覺效果，但對圖像特征要求高，修復(fù)時間較長。

上述幾種變分偏微分算法相似之處在于將待修復(fù)像素點的四鄰域信息作為已知信息，然后采用中心格式差分或半點格式差分的方法進行數(shù)值實現(xiàn)。對此，本文提出一種基于八鄰域的自適應(yīng)P-Laplace圖像修復(fù)方法，充分利用待修復(fù)像素點的八鄰域內(nèi)的信息進行修復(fù)。

1 P-Laplace修復(fù)算法

根據(jù)Rudin等提出的TV算法，利用拉格朗日乘子法能將約束性問題轉(zhuǎn)化為無約束問題，得到變分修補模型的一般形式為：

(1)

文獻(xiàn)[15]選取r(|▽u|)=|▽u|p，得到P-Laplace修復(fù)模型。該模型的定義為：

(2)

根據(jù)變分原理可以得到P-Laplace模型的Euler-Lagrange方程為：

(3)

在半點網(wǎng)格示意圖(見圖1)中利用半點格式差分法[16]求解式(3)。設(shè)目標(biāo)像素為O(i,j)，其四鄰域為：Q∈Λ={E,N,W,S}，e、n、w、s表示相應(yīng)的半點像素，其四鄰域為：q∈α={e,n,w,s}。

圖1 半點網(wǎng)格示意圖

對圖像進行等間隔采樣，步長h=1。令：V=(v1,v2)=|▽u|p-2▽u。divV由差分可以表示為：

(4)

將這四點的逼近帶入式(4)，得：

(5)

以點e為例，其梯度模值估計可得：

同理，可求出剩余3個半點像素的梯度模值。

將式(5)代入式(3)，得：

最后利用高斯-雅克比迭代方法進行迭代修復(fù)。目前絕大多數(shù)基于變分偏微分方程的圖像修復(fù)技術(shù)都采用如上所述的步驟進行修復(fù)。修復(fù)獲得的圖像在邊緣部分過渡不自然，容易出現(xiàn)模糊的情況，且準(zhǔn)確度和精確度不夠高，P-Laplace修復(fù)算法也不例外。此外，該算法由于需要提前設(shè)定p值，其靈活度較低，整個修復(fù)過程比較耗時。

2 本文修復(fù)算法數(shù)值實現(xiàn)

為提高修復(fù)圖像的精度，充分利用待修復(fù)像素的八鄰域信息，即Λ={E,N,W,S,NE,NW,SW,SE}，如圖2(a)所示。為簡化實現(xiàn)過程，將Λ分為Λ1和Λ2兩部分，Λ1={E,N,W,S}，Λ2={NE,NW,SW,SE}。相應(yīng)地，鄰域?qū)?yīng)的半點像素集為：α1={e,n,w,s}和α2={ne,nw,sw,se}，如圖2(b)～(c)所示。

圖2 分解網(wǎng)格示意圖

在兩個四鄰域中，分別采用半點差分格式方法進行離散化求解，得到四鄰域Λ1中的迭代式子uO1和四鄰域Λ2中的迭代式子uO2，最后進行加權(quán)平均得到整體的迭代式子uO，具體實現(xiàn)如下。

2.1 算法自適應(yīng)參數(shù)p的實現(xiàn)

文獻(xiàn)[15]提出的算法由于需要事先通過大量實驗找尋合適的p值，使得算法的靈活性受限。因此，本文采用自適應(yīng)P-Laplace的圖像修復(fù)模型，定義為：

(6)

根據(jù)梯度模值|▽u|和曲率k的關(guān)系可得：

(7)

2.2 四鄰域Λ1中的迭代

上述變分偏微分修復(fù)算法以及許多改進算法均是利用目標(biāo)像素O(i,j)的四鄰域Λ1={E,N,W,S}作為已知信息進行擴散。根據(jù)前述分析，在圖2(b)中進行等間隔采樣，令步長h=1，Q∈Λ1={E,N,W,S},q∈α1={e,n,w,s}，解得：

(8)

在圖2(b)的四鄰域Λ1中，令：

(9)

(10)

(11)

(12)

(13)

將式(9)～(13)代入式(7)，便能得到四鄰域Λ1中的自適應(yīng)系數(shù)p1。

2.3 四鄰域Λ2中的迭代

在圖2(c)中進行等間隔采樣，令步長h=1，Q∈Λ2={NE,NW,SW,SE},q∈α2={ne,nw,sw,se}

V'=(v1,v2)=|▽u|p-2▽u。

以點ne為例，其梯度模值估計可得：

同理，可求出α2剩余三個半點像素的梯度模值。

解得：

在圖2(c)的四鄰域Λ2中，令：

(14)

(15)

(16)

(17)

(18)

將式(14)～(18)代入式(7)，便能得到四鄰域Λ2中的自適應(yīng)系數(shù)p2。

2.4 八鄰域Λ中的迭代

最后采用高斯-雅克比迭代方法，得出待修復(fù)點O(i,j)的像素值的迭代公式為：

(19)

3 實驗結(jié)果及分析

在InterCorei3-3200 3.30GHz/4GB/Windows7 /MTALAB7.0環(huán)境中，對500×375pixels的灰度圖像(動畫圖像和pooh圖像)與512×384pixels標(biāo)準(zhǔn)測試灰度圖像peppers進行處理。為了充分保證實驗的客觀性，實驗中所有的圖像像素值歸一化到0～1之間，迭代次數(shù)為500次。加入文獻(xiàn)[5]、[7]、[8]、[15]提到的算法進行分析比較，這幾種算法均嚴(yán)格按照原參考文獻(xiàn)中作者的要求進行參數(shù)設(shè)置，以保證實驗數(shù)據(jù)的準(zhǔn)確度。

3.1 參數(shù)設(shè)置

3.2 評價方法

評價方法采用主觀感受結(jié)合客觀方法，客觀方法[17～18]利用峰值信噪比(PSNR)，噪聲抑制均方誤差(MSENS)和紋理結(jié)構(gòu)相似度(TSSIM)進行評價，主觀評價[19]采用SA主觀分值評價方法。TSSIM與MSENS的定義如下：

3.3 實驗結(jié)果分析

圖3(a)為原始清晰的動畫圖像，圖3(b)為原始的peppers圖像。圖4(a)為文字受損的動畫圖像，圖5(a)為劃痕受損的peppers圖像。

圖3 原始圖像

利用文獻(xiàn)[5]、文獻(xiàn)[7]、文獻(xiàn)[8]和文獻(xiàn)[15]及本文提出的算法分別處理圖4(a)，處理結(jié)果如圖4(b)～(f)所示。

圖4 無噪文字受損修復(fù)結(jié)果

從圖4(a)可以看出，該圖受損尺度較大，掩碼為黑色的文字。經(jīng)過幾種算法修復(fù)后，圖4(d)和圖4(f)的視覺效果較好，最接近原始圖像。圖4(e)能夠看到明顯的梯度效應(yīng)(圖中表現(xiàn)為黑點)，圖4(b)和圖4(c)在左邊第二只羊的耳朵和羊角處出現(xiàn)了大小不一的“空缺”。同樣采用上述幾種算法分別處理圖5(a)，結(jié)果如圖5(b)～(f)所示。

圖5顯示，劃痕受損圖像經(jīng)過幾種算法修復(fù)后，圖(d)和圖(f)的修復(fù)效果最佳，比較接近原始圖像。對比原始圖像發(fā)現(xiàn)，圖(b)和(c)都有不同程度的模糊，圖(c)在其中一個“辣椒”還出現(xiàn)了小部分的空缺。圖(e)的視覺效果較差，梯度效應(yīng)比較明顯。

圖5 無噪劃痕受損修復(fù)結(jié)果

3.4 實驗評價

圖4和圖5顯示，在處理無噪聲的受損圖像時，文獻(xiàn)[8]提出的基于模糊C-均值的自適應(yīng)TV算法和本文提出的八鄰域自適應(yīng)P-Laplace算法修復(fù)圖像獲得的視覺效果較好，另外三種利用四鄰域信息的算法得到的修復(fù)圖像出現(xiàn)了梯度效應(yīng)和大小不一的“空缺”，圖像過渡不自然，甚至還有模糊的現(xiàn)象。圖6顯示，采用相同的算法去除高斯噪聲獲得的修復(fù)圖像，利用八鄰域信息更能保護圖像的紋理和細(xì)節(jié)。

表1、表2和表3分別列出了幾種修復(fù)算法修復(fù)得到的客觀評價。

表1 不同算法修復(fù)動畫受損圖像的結(jié)果評價比較

表2 不同算法修復(fù)peppers受損圖像的結(jié)果評價比較

從表1和表2不難看出，本文提出的基于八鄰域的自適應(yīng)P-Laplace算法獲的PSNR值和SA值最高，修復(fù)時間比較合理，TSSIM系數(shù)最高。需注意的是，表1、表2中的修復(fù)時間存在誤差，尤其是文獻(xiàn)[5]、文獻(xiàn)[7]和文獻(xiàn)[15]所提的算法。由于這3種算法都需要預(yù)先通過大量實驗以獲取利于圖像修復(fù)的最佳修復(fù)參數(shù)，所以從整體的修復(fù)過程來看，耗費的時間絕對超出表中得到的時間。此外，相同參數(shù)對于不同的測試圖像會導(dǎo)致不同的結(jié)果，人為操作繁瑣，并且無法保證獲得的修復(fù)圖像是最佳的。

4 結(jié)語

本文針對變分偏微分算法只利用待修復(fù)像素點的四鄰域信息進行修復(fù)的不足，充分利用八鄰域信息進行修復(fù)，較好地克服了梯度效應(yīng)，修復(fù)圖像精度不高以及噪聲抑制不充分等問題。此外，為解決因參數(shù)過多而造成的人工操作繁瑣，修復(fù)結(jié)果不準(zhǔn)確等問題，提出了自適應(yīng)算法，根據(jù)受損圖像自身像素變化特征自動修復(fù)，縮短了因事先通過實驗確定參數(shù)所耗費的時間。實驗證明此算法在主客觀評價上優(yōu)于傳統(tǒng)的基于四鄰域的變分偏微分修復(fù)算法。實驗中的動畫圖像和peppers圖像受損大小不同，前者受損尺度較大，修復(fù)獲得的PSNR值和TSSIM值與后者相比較低，間接反映此方法更適合修復(fù)小尺寸的受損圖像。下一步將考慮與基于紋理的方法有機結(jié)合以解決該問題。

[1] CHAN R,CHAN T F,YIP A,et al.Numerical methods and applications in total variation image restoration[J].Springer Reference,2015,1(1):1-28.

[2] RUDIN L,OSHER S.Nonlinear total variation based on noise removal algorithms[J].Physica D,1992,60(4):259-263.

[3] BERTALMIO M,SAPIRO G,CASELLES V,et al.Image inpainting[C].Proceeding of ACM SIGGRAPH 2000,New York,USA:ACM Press,2000:417-424.

[4] CHAN T F,SHEN J.Nontexture inpainting by curvature driven diffusions[J].Journal of Visual Communication & Image Representation,2001,12(4):436-449.

[5] 何凱,張濤,梁然.一種基于全變分模型的圖像修復(fù)改進算法[J].光電子·激光,2010,21(12):1890-1893.

[6] GUARMAH E M,BOUJENA S,BELLAJ K,et al.An improved nonlinear model for image inpainting[J].Applied Mathematical Sciences,2015(9):6189-6205..

[7] 印勇,李丁,胡琳昀.采用CDD模型的自適應(yīng)圖像修復(fù)算法[J].重慶大學(xué)學(xué)報,2013,36(4):80-86.

[8] LIU J S,LIU H,QIAO S P,et al.An Automatic Image Inpainting Algorithm Based on FCM[J].Scientific World Journal,2014(3):983-990.

[9] 徐立軍,楊秋翔,雷海衛(wèi).一種基于壓縮感知的改進全變分圖像去噪方法[J].微電子學(xué)與計算機,2016,33(6):100-103.

[10] 任澍,唐向宏,康佳倫.利用紋理和邊緣特征的Criminisi改進算法[J].中國圖象圖形學(xué)報,2012,17 (9):1085-1091.

[11] 江平,張錦.一種結(jié)合CDD模型和Criminisi算法的圖像修復(fù)算法[J].圖學(xué)學(xué)報,2014,35(5):741-746.

[12] LI Y,JEONG D,CHOI J I,et al.Fast local image inpainting based on the Allen-Cahn model[J].Digital Signal Processing,2015,37(1):65-74.

[13] BELHACHMI Z,KALLEL M,MOAKHER M,et al.Weighted harmonic and ginzburg-landau equations in image inpainting[J].International Journal of Numerical Analysis & Modeling,2015,21(4) :12-16.

[14] 老大中.變分法基礎(chǔ)[M].第3版.北京:國防工業(yè)出版社,2015:53-61.

[15] 李丹,仲崇權(quán),王世強等.基于全變差和P-Laplace模型的混合圖像修復(fù)算法[J].大連理工大學(xué)學(xué)報,2014,54(6):676-681.

[16] CHAN T F,SHEN J.Mathematical models for local nontexture inpaintings[J].Siam Journal on Applied Mathematics,2015,62(3):1019-1043.

[17] 趙雪青.降質(zhì)圖像復(fù)原方法研究[D].西安:陜西師范大學(xué),2013.

[18] 王威,劉婧,楊蔚蔚,等.基于DCT域紋理結(jié)構(gòu)相似度的模糊圖像質(zhì)量評價[J].計算機工程,2015,41(11):253-256.

[19] MA L,LI S,NGAN K N,et al.Reduced-reference image quality assessment in reorganized DCT domain[J].Signal Processing:Image Communication,2013,28(8):884-902.

(責(zé)任編輯：陳福時)

Adaptive P-Laplace Image Inpainting Algorithm Based on Eight Neighbors

To solve the problems of traditional variation inpainting algorithms caused by simply utilizing four neighbors,like unnatural image transition and strong manual intervention,an adaptive P-Laplace algorithm is devised based on eight neighbors.Firstly,it divides eight neighbors into two four-neighbors,and discretizes points to be repaired by central format difference in each four-neighbor.Then,determines the best p value of each four-neighbor with the adaptive method.Finally,weights and averages two four-neighbors.The simulation experiment results show that we get better PSNR and TSSIM values through the algorithm proposed in this paper,compared with other algorithms in recent years.And the PSNR values are increased by 5.74%～ 22.15%.The TSSIM values are increased by 4～30 percentage points.

Variational Image Inpainting;Neighbors;P-Laplace；Adaptive;Image Evaluation

張波(1992-)，男，四川瀘州人，西華師范大學(xué)計算機學(xué)院碩士研究生，研究方向為數(shù)值計算和路由轉(zhuǎn)發(fā)；徐黎明(1991-)，男，四川攀枝花人，西華師范大學(xué)計算機學(xué)院碩士研究生，研究方向為圖像處理。

10.11907/rjdk.162894

TP312

A

1672-7800(2017)003-0037-05