一種基于Criminisi算法改進(jìn)的圖像修復(fù)技術(shù)

齊玲 王錦

摘 要：針對(duì)Criminisi 算法及其現(xiàn)階段存在的不足，提出一種新的基于樣本塊的圖像修復(fù)改進(jìn)算法。通過圖片預(yù)處理，首先重建圖像破損邊緣，改善修復(fù)后圖像邊緣模糊、斷裂、過度延伸等情況;其次在優(yōu)先級(jí)計(jì)算中引入α、β調(diào)節(jié)因子，增加數(shù)據(jù)項(xiàng)權(quán)重，從而得到更加精確的優(yōu)先權(quán)順序，同時(shí)防止優(yōu)先權(quán)值在修復(fù)后期快速衰減。計(jì)算修復(fù)圖像的 PSNR值并與原Criminisi 算法進(jìn)行對(duì)比，結(jié)果表明改進(jìn)算法有更好的修復(fù)效果。

關(guān)鍵詞：圖像修復(fù);Criminisi 算法;優(yōu)先權(quán);邊緣重建

DOI：10. 11907/rjdk. 191040

中圖分類號(hào)：TP317.4文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1672-7800（2019）004-0188-03

0 引言

圖像修復(fù)就是對(duì)錯(cuò)誤和缺損的圖像區(qū)域，通過參考圖像其它區(qū)域內(nèi)容和信息，恢復(fù)原始圖片中缺失的部分[1]。目的是保持圖片整體性，保證圖像能夠符合人的認(rèn)知心理，保證修復(fù)的區(qū)域邊界能夠與已知區(qū)域平滑自然相交，保證圖片表達(dá)形態(tài)具有連貫性，盡可能減少修復(fù)痕跡。圖像修復(fù)技術(shù)應(yīng)用廣泛，比如醫(yī)學(xué)成像、特殊物體去除、壁畫修復(fù)、圖像壓縮等，具有很高的使用價(jià)值和研究?jī)r(jià)值。

圖像修復(fù)算法可分為基于偏微分方程的修復(fù)技術(shù)、基于圖像分解的修復(fù)方法、基于紋理合成的圖像修復(fù)算法3類[2]?；谄⒎址匠痰男迯?fù)算法對(duì)小尺度破損圖像具有較好修復(fù)效果，其代表算法有：Bertalmio等[3]提出的 BSCB（Bertamlio Sapiro Caselles Ballester）模型、Chan等[4，5]建立的全變分（Total Variation，TV）圖像修復(fù)模型以及曲率驅(qū)動(dòng)擴(kuò)散的（Curvature Driven Diffusions，CDD）修復(fù)模型等。

基于圖像分解的修復(fù)方法與基于紋理合成的修復(fù)方法則對(duì)修復(fù)缺損面積較大的數(shù)字圖像有較好效果?；趫D像分解的修復(fù)方法是先將圖像分解成結(jié)構(gòu)和紋理兩個(gè)部分[6，7]。Bertalmio 等[8]提出對(duì)紋理部分采用紋理合成技術(shù)修復(fù)，用BSCB方法對(duì)結(jié)構(gòu)部分進(jìn)行修復(fù)，最后兩者疊加得到最終修復(fù)效果，或者用PDE修復(fù)技術(shù)修復(fù)結(jié)構(gòu)部分。

基于紋理合成的圖像修復(fù)算法基本思想是：從未破損區(qū)域?qū)ふ遗c丟失信息部分最為相似的圖像塊。其中，最具代表性的是 Criminisi 算法[9]。在此基礎(chǔ)上，大量學(xué)者針對(duì)其不足提出了不同改進(jìn)算法。張絢等[10]提出對(duì)優(yōu)先權(quán)與最佳匹配塊選取進(jìn)行改進(jìn)的基于樣例的圖像修復(fù)方法;王新年等[11]提出通過引入幾何距離確定最佳匹配塊的改進(jìn)算法;韓明珠等[12]通過引入調(diào)節(jié)因子α對(duì)優(yōu)先級(jí)順序進(jìn)行調(diào)整，提高了算法在處理圖像紋理細(xì)節(jié)方面的敏感性;池悅等[13]通過膨脹腐蝕對(duì)圖片進(jìn)行預(yù)處理，然后將置信度計(jì)算引入指數(shù)并采用局部搜索方法，最后使用拉普拉斯銳化整幅圖像以此改進(jìn)該算法;何凱等[14]通過改進(jìn)置信度更新函數(shù)并且引入Census與原匹配準(zhǔn)則相結(jié)合，既提高了圖像修復(fù)方向的準(zhǔn)確性，又提高了修復(fù)匹配的精確度;歐先鋒等[15]提出一種自適應(yīng)選擇樣本塊大小的算法，主要通過計(jì)算梯度值大小自適應(yīng)調(diào)整樣本塊大小;黃穎等[16]提出一種先利用曲率因子改進(jìn)優(yōu)先權(quán)，再用高斯函數(shù)更新置信項(xiàng)的改進(jìn)算法。

本文改進(jìn)算法針對(duì)目前仍然存在的不足，首先對(duì)待修復(fù)圖像進(jìn)行預(yù)處理，使用曲線擬合對(duì)其破損邊緣進(jìn)行重建，填補(bǔ)缺失的結(jié)構(gòu)信息，改善圖像修復(fù)后邊緣模糊、斷裂、過度延伸等情況;其次重新定義了 Criminisi 算法中修復(fù)塊的優(yōu)先權(quán)計(jì)算公式，增加了數(shù)據(jù)項(xiàng)的權(quán)重，在修復(fù)圖像時(shí)提高優(yōu)先權(quán)計(jì)算的可靠性，取得了更準(zhǔn)確的修復(fù)順序。實(shí)驗(yàn)證明，算法在圖像修復(fù)質(zhì)量方面取得了較好效果。

1 Criminisi算法

Criminisi算法將圖像結(jié)構(gòu)信息作為圖像修復(fù)順序參考，在修復(fù)過程中能根據(jù)圖像信息合理安排修復(fù)順序。Criminisi 算法除了對(duì)大區(qū)域破損圖像的修復(fù)有較好效果，其執(zhí)行效率也有明顯優(yōu)勢(shì)。

1.1 Criminisi算法原理

1.2 算法流程

Criminisi 算法流程關(guān)鍵在于破損區(qū)域的填補(bǔ)順序。實(shí)現(xiàn)步驟為：

2 算法改進(jìn)

2.1 預(yù)處理

Bezier曲線主要通過交互確定一組控制多邊形定點(diǎn)獲得所需曲線形式[17-19]。當(dāng)其移動(dòng)兩端的端點(diǎn)時(shí)，即可改變曲線的彎曲程度;若中間點(diǎn)移動(dòng)，則在起點(diǎn)與終點(diǎn)之間勻速運(yùn)動(dòng)。本文主要用一階（線性）貝塞爾曲線和二階貝塞爾曲線對(duì)圖像進(jìn)行預(yù)處理。

利用貝塞爾曲線預(yù)先對(duì)破損邊緣進(jìn)行修復(fù)，能有效改善圖像修復(fù)后出現(xiàn)的邊緣模糊、斷裂不連續(xù)等情況，達(dá)到邊緣重建效果[20]。

2.2 優(yōu)先權(quán)改進(jìn)

在優(yōu)先權(quán)計(jì)算公式中，[D（p）]代表的是圖像結(jié)構(gòu)信息，破損區(qū)域隨著修復(fù)逐漸變小，且[？I⊥p]與[np]的夾角會(huì)越來越大并形成垂直，因而數(shù)據(jù)項(xiàng)[D（p）]的值也會(huì)越來越小并且趨于零，與之相反的是，置信度項(xiàng)[C（p）]的值卻逐漸變大。但是，由于優(yōu)先權(quán)值[P（p）]為數(shù)據(jù)項(xiàng)與置信度項(xiàng)的乘積，隨著數(shù)據(jù)項(xiàng)的值逐漸減小為零，置信度項(xiàng)也就沒有什么意義了，此時(shí)優(yōu)先權(quán)值[P（p）]依然可能隨著修復(fù)進(jìn)行出現(xiàn)為0的情況，修復(fù)順序同樣會(huì)產(chǎn)生錯(cuò)誤[21]。 一旦產(chǎn)生錯(cuò)誤順序，Criminisi算法會(huì)一直沿著錯(cuò)誤方向繼續(xù)修復(fù)，將直接導(dǎo)致最后圖像修復(fù)質(zhì)量受到重大影響。

為了解決上述問題，將[C（p）]與[D（p）]改為相加，并引入權(quán)值[α]、[β]。改進(jìn)的優(yōu)先權(quán)計(jì)算公式如下：

3 實(shí)驗(yàn)結(jié)果對(duì)比與分析

為了驗(yàn)證本文改進(jìn)算法的修復(fù)效果，以Matlab R2016a作為實(shí)驗(yàn)平臺(tái)進(jìn)行仿真實(shí)驗(yàn)，并對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析比較。評(píng)價(jià)方式為主觀感受與客觀評(píng)價(jià)相結(jié)合，其中客觀評(píng)價(jià)以峰值信噪比（PSNR）的值為參考標(biāo)準(zhǔn)，PSNR值越大，其修復(fù)效果越好。

圖2所示圖像修復(fù)結(jié)果主要是針對(duì)優(yōu)先權(quán)的改進(jìn)。通過實(shí)驗(yàn)發(fā)現(xiàn)，當(dāng)α取0.2、β取0.8時(shí)，其修復(fù)效果最好。

從圖3、圖4所示實(shí)驗(yàn)結(jié)果可看出，原算法修復(fù)效果并不理想。圖3（b）中，帽子和手臂處修復(fù)后存在明顯的邊緣斷裂不連續(xù)問題;在圖4（b）中也同樣存在3處類似問題。但是，從圖3（c）和圖4（c）所示修復(fù)結(jié)果及標(biāo)出的PSNR值來看，本文算法較好地解決了該問題，并取得了較好修復(fù)效果。

4 結(jié)語

本文針對(duì)圖像修復(fù)過程中出現(xiàn)邊緣模糊以及不能準(zhǔn)確計(jì)算最大優(yōu)先級(jí)修復(fù)塊的問題，在Criminisi 算法基礎(chǔ)上提出了新的改進(jìn)。通過實(shí)驗(yàn)結(jié)果比較分析，本文算法取得了良好的修復(fù)效果。除了在算法本身不足基礎(chǔ)上提出改進(jìn)，還可通過某些技術(shù)手段對(duì)原破損圖像進(jìn)行前期處理，強(qiáng)化圖像破損邊緣，達(dá)到計(jì)算出最佳修復(fù)順序的目的，以此提高圖像修復(fù)質(zhì)量。在接下來工作中，可從算法的匹配準(zhǔn)則入手，提高樣本匹配準(zhǔn)確率，以獲得更好的修復(fù)效果。

參考文獻(xiàn)：

[1] GUILLEMOT C，MEUR O L. Image inpainting：overview and recent advances[J]. Signal Processing Magazine IEEE，2014，31（1）：127-144.

[2] 張斐. 大區(qū)域圖像修復(fù)算法研究[D]. 南京：南京郵電大學(xué)，2013.

[3] BERTALMIO M，SAPRIO G，CASELLES V，et al. Image inpainting[C]. Proceedings of ACM SIGGRAPH，2000： 417-424.

[4] CHAN T F，SHEN J. Mathematical models for local nontexture inpaintings[J]. Siam Journal on Applied Mathematics，2015，62（3）：1019-1043.

[5] CHAN T，SHEN J. Non-texture inpainting by curvature driven diffusions （CDD）[J]. J Visual Comm Image Rep，2001，12（4）：436-449.

[6] GU J，PENG S，WANG X. Digital image inpainting using Monte Carlo method[C]. International Conference on Image Processing，2004： 961-964.

[7] AUJOL J F，AUBERT G，LAURE B F， et al. Image decomposition application to SAR images[C]. International Conference on Scale Space Methods in Computer Vision， 2003： 297-312.

[8] BERTALMIO？M，VESE？L，SAPIRO？G，et？al.？？Simultaneous structure and texture image inpainting[J]. IEEE Transactions on Image Processing，2003，12（8）：882-889.

[9] CRIMINISI A，PEREZ P，TOYAMA K. Region filling and object removal by exemplar-based image? inpainting[J]. IEEE Transactions on Image Processing， 2004， 13（9）：1200-1212.

[10] 張絢，尹立新，李振杰. 一種改進(jìn)的基于樣例的圖像修復(fù)算法[J]. 計(jì)算機(jī)應(yīng)用與軟件，2014， 31（10）：216-219.

[11] 王新年，王哲，王演. 基于幾何距離的 Criminisi 圖像修復(fù)算法[J].計(jì)算機(jī)工程與設(shè)計(jì)，2015（7）：1835-1839.

[12] 韓明珠，郭樹旭，臧玲玲，等. 基于樣本塊的圖像修復(fù)改進(jìn)算法[J]. 計(jì)算機(jī)工程與應(yīng)用， 2015， 51（ 16） ： 192-194.

[13] 池悅，何寧，張琪，等. 一種改進(jìn)的基于Criminisi算法的目標(biāo)移除方法[J]. 北京聯(lián)合大學(xué)學(xué)報(bào)， 2017， 31（1）：67-74+80.

[14] 何凱，高俊俏，盧雯霞. 基于改進(jìn)置信度函數(shù)及匹配準(zhǔn)則的圖像修復(fù)算法[J]. 天津大學(xué)學(xué)報(bào)：自然科學(xué)與工程技術(shù)版，2017，50（4）：399-404.

[15] 歐先鋒，晏鵬程，郭龍?jiān)? 一種改進(jìn)的Criminisi圖像修復(fù)算法[J]. 成都工業(yè)學(xué)院學(xué)報(bào)，2018，21（1）：27-30.

[16] 黃穎，李凱，楊明. 基于樣本塊與曲率特征的圖像修復(fù)改進(jìn)算法[J]. 計(jì)算機(jī)應(yīng)用研究，2018，35（4）：1274-1276+1280.

[17] 馬華，劉峰，任春麗. Bezier曲線的計(jì)算機(jī)實(shí)現(xiàn)[J].西安電子科技大學(xué)學(xué)報(bào)，2002（4）：565-568.

[18] 鄭厚生. 關(guān)于Bezier曲線性質(zhì)及曲線擬合問題[J]. 華僑大學(xué)學(xué)報(bào)：自然科學(xué)版， 1992（4）：519-525.

[19] 陳天富. 圖像輪廓的Bézier曲線擬合研究[D].合肥：合肥工業(yè)大學(xué)，2015.

[20] 康佳倫，唐向宏，任澍. 結(jié)構(gòu)約束和樣本稀疏表示的圖像修復(fù)[J].中國(guó)圖象圖形學(xué)報(bào)，2013，18（11）：1425-1434.

[21] 亓卓亞，蘇紅旗. 基于Criminisi算法的圖像修復(fù)順序的研究[J]. 無線互聯(lián)科技，2016（3）：120-122.

（責(zé)任編輯：何 麗）