陳 永，陶美風(fēng)

（1.蘭州交通大學(xué)電子與信息工程學(xué)院；2.甘肅省人工智能與圖形圖像處理工程研究中心，甘肅蘭州 730070）

0 引言

敦煌莫高窟是我國乃至世界藝術(shù)殿堂的瑰寶，是融建筑、雕塑、壁畫為一體的綜合性藝術(shù)，其內(nèi)容豐富，被譽(yù)為“世界上最大的美術(shù)史畫廊”。其中，敦煌壁畫更是世界古代文明的縮影。但經(jīng)千年歷史洗滌，許多壁畫存在脫落、起甲、褪色、裂痕等病害［1］。為使敦煌壁畫文化走向世界，更好地保護(hù)壁畫對(duì)文化發(fā)展與傳播起著決定性作用。傳統(tǒng)壁畫保護(hù)手段存在不可逆的缺點(diǎn)，且保護(hù)人員較缺乏，嚴(yán)重制約了敦煌壁畫保護(hù)事業(yè)發(fā)展、阻礙了甘肅文化戰(zhàn)略落地。因此，如何利用數(shù)字化修復(fù)技術(shù)實(shí)現(xiàn)對(duì)敦煌壁畫藝術(shù)的保護(hù)具有深遠(yuǎn)意義，這也是目前計(jì)算機(jī)視覺和圖像處理熱點(diǎn)問題之一［2］。

圖像修復(fù)（Image Inpainting）指借助于破損圖像中的已知先驗(yàn)信息，通過建立破損圖像修復(fù)模型，對(duì)破損區(qū)域進(jìn)行匹配、復(fù)制、擴(kuò)散等操作，從而完成重構(gòu)修復(fù)。常用的圖像修復(fù)方法分為4 種：基于偏微分方程的圖像修復(fù)方法、基于紋理合成的圖像修復(fù)方法、基于稀疏表示的圖像修復(fù)方法與基于深度學(xué)習(xí)的圖像修復(fù)方法。

1 基于偏微分方程的圖像修復(fù)方法

基于偏微分方程的圖像修復(fù)方法基于Bertalmio 等［3］提出的BSCB 模型，該模型將待修復(fù)區(qū)域邊緣像素沿等照度線方向擴(kuò)散完成修復(fù)。文獻(xiàn)［4］提出了全變分（Total Varia?tion，TV）圖像修復(fù)模型，該方法通過對(duì)歐拉-拉格朗日偏微分方程求解，迭代傳播信息，完成圖像修復(fù)。BSCB 模型與TV 模型在修復(fù)破損區(qū)域邊緣曲率變化較大的圖像時(shí)，修復(fù)結(jié)果中易出現(xiàn)視覺連通性較差的問題。為了解決該問題，文獻(xiàn)［5］提出曲率驅(qū)動(dòng)擴(kuò)散（Curvature-Driven Diffusion，CDD）模型，通過引入曲率控制信息擴(kuò)散強(qiáng)度，克服了TV 修復(fù)視覺不連通的缺點(diǎn)；文獻(xiàn)［6］針對(duì)敦煌壁畫裂紋形狀多樣及不規(guī)則的特性，通過改進(jìn)CDD 算法擴(kuò)散項(xiàng)，并引入自適應(yīng)控制策略，最后利用光滑函數(shù)進(jìn)行角點(diǎn)擴(kuò)散以實(shí)現(xiàn)修復(fù)；文獻(xiàn)［7］在CDD 模型的基礎(chǔ)上，采用不同的曲率選擇適應(yīng)系數(shù)以控制修復(fù)模型的選擇，修復(fù)結(jié)果和速率均優(yōu)于CDD 模型；文獻(xiàn)［8］提出一種基于可變Laplace 算子的非標(biāo)準(zhǔn)高階偏微分方程進(jìn)行圖像去噪和修復(fù)?；谄⒎址匠痰膱D像修復(fù)方法在較小破損壁畫圖像修復(fù)時(shí)，能夠降低圖像噪聲和銳化邊緣信息，但是對(duì)于圖像缺失面積較大的情況，修復(fù)效果比較模糊，圖像邊緣特征較差。

1.1 CDD 算法原理

TV 模型通過對(duì)偏微分方程求解，不斷循環(huán)像素傳播過程以完成修復(fù)，但TV 模型修復(fù)結(jié)果存在不滿足視覺連通性的問題，如圖1 所示。當(dāng)待修復(fù)區(qū)域尺寸大于圖像先驗(yàn)信息尺寸時(shí)，如圖1（a）中的l>w時(shí)，TV 模型修復(fù)結(jié)果如圖1（b）所示，可發(fā)現(xiàn)未能完成擴(kuò)散修復(fù)，不能滿足人類視覺連通性要求，而符合視覺連通性修復(fù)結(jié)果如圖1（c）所示。CDD 曲率驅(qū)動(dòng)擴(kuò)散模型在TV 模型基礎(chǔ)上進(jìn)行了改進(jìn)，當(dāng)圖像擴(kuò)散達(dá)到圖1（b）時(shí)，CDD 模型通過引入曲率進(jìn)一步增強(qiáng)擴(kuò)散強(qiáng)度，直至保持連通性原則。

Fig.1 Connectivity principle圖1 連通性原則

CDD 曲率驅(qū)動(dòng)擴(kuò)散算法定義為：

其中，C為破損區(qū)域，E為C的邊緣已知信息，?為梯度計(jì)算符，λ為拉格朗日算子。??為擴(kuò)散項(xiàng)，將擴(kuò)散系數(shù)記為w=，|?v|為梯度模值，可表示為：|?v|=，b為正提升參數(shù)。g(|h|)為曲率，v為破損圖像像素值，v0為修復(fù)后的像素值。g(|h|)=|h|，h的計(jì)算方法為：

1.2 CDD 算法實(shí)驗(yàn)結(jié)果及分析

以敦煌壁畫第322 窟“樹下說法圖”截取的局部壁畫為例，采用不同粗細(xì)的劃痕破損壁畫圖像進(jìn)行實(shí)驗(yàn)，如圖2 所示。圖2（a）為掩膜圖像，圖2（b）為修復(fù)結(jié)果，從圖2 可以發(fā)現(xiàn)，對(duì)于較細(xì)的劃痕，CDD 算法通過像素?cái)U(kuò)散，得到了較好的結(jié)果，如第一列圖像的修復(fù)結(jié)果；隨著劃痕的不斷加粗，破損區(qū)域的完好信息大部分缺失，CDD 算法無法完成擴(kuò)散，修復(fù)后會(huì)存在修復(fù)不徹底的問題，如第三列圖像修復(fù)結(jié)果的矩形框中存在明顯的修復(fù)痕跡。

Fig.2 Repair results of CDD algorithm圖2 CDD 算法修復(fù)結(jié)果

2 基于紋理合成的圖像修復(fù)算法

基于紋理合成的圖像修復(fù)方法指通過在圖像完好的區(qū)域中，根據(jù)樣本相似度匹配準(zhǔn)則，在圖像完好區(qū)域選擇破損圖像塊的最佳匹配塊，經(jīng)過復(fù)制填充完成破損圖像塊修復(fù)。該類圖像修復(fù)方法中代表算法為Criminisi 算法［9］。后續(xù)多位學(xué)者對(duì)其進(jìn)行了改進(jìn)。文獻(xiàn)［10］采用D-S 證據(jù)理論數(shù)據(jù)融合方法對(duì)敦煌壁畫色變和人為污染破損進(jìn)行了修復(fù)研究；文獻(xiàn)［11］利用圖像紋理特征和邊緣特征引入差別因子以改進(jìn)優(yōu)先權(quán)函數(shù)，并對(duì)不良匹配區(qū)域進(jìn)行定位分解修復(fù)；文獻(xiàn)［12］提出了一種新的置信度函數(shù)，并將Census變換匹配準(zhǔn)則與SSD 變換準(zhǔn)則相結(jié)合，增強(qiáng)了圖像修復(fù)魯棒性；文獻(xiàn)［13］針對(duì)Criminisi 算法置信度項(xiàng)會(huì)迅速衰減至0 和填充次序不穩(wěn)定等問題，提出一種結(jié)合梯度特征與色彩不一致的圖像修復(fù)算法，使修復(fù)后的圖像滿足人眼視覺要求；文獻(xiàn)［14］在優(yōu)先權(quán)計(jì)算時(shí)，引入分散度項(xiàng)，改進(jìn)了圖像塊修復(fù)順序，并將協(xié)方差因子引入相似度計(jì)算，減少了圖像塊誤匹配率；文獻(xiàn)［15］提出了一種將局部特征與邊緣紋理分辨相結(jié)合的分段修復(fù)算法，采用樣本和信息熵相似度結(jié)合的方式確定最佳匹配塊集合，并通過基于信息熵自適應(yīng)修復(fù)模板克服了Criminisi 算法錯(cuò)誤填充問題；文獻(xiàn)［16］通過引入結(jié)構(gòu)張量，利用其特征值定義數(shù)據(jù)項(xiàng)，改進(jìn)圖像填充順序，同時(shí)利用結(jié)構(gòu)張量平均相關(guān)性自適應(yīng)選擇樣本塊大小，對(duì)開化寺壁畫進(jìn)行了修復(fù)實(shí)驗(yàn)；文獻(xiàn)［17］引入信息熵度量圖像塊復(fù)雜度，改進(jìn)優(yōu)先權(quán)函數(shù)，并利用顏色特征和塊間協(xié)方差結(jié)合的方式確定匹配塊集合，抑制了Criminisi 算法錯(cuò)誤填充問題；文獻(xiàn)［18］采用P-Laplace 算子重新定義數(shù)據(jù)項(xiàng)，引入動(dòng)態(tài)閾值序冠相似性檢測(cè)算法進(jìn)行匹配塊搜索，并利用布谷鳥尋優(yōu)算法確定最佳匹配塊，克服了Criminisi 算法在壁畫修復(fù)時(shí)易出現(xiàn)錯(cuò)誤填充和修復(fù)效率較低的問題?；诩y理合成的圖像修復(fù)算法對(duì)較大面積的破損壁畫圖像及延伸紋理方面有較好的修復(fù)效果，但很難獲取圖像全局結(jié)構(gòu)與圖像語義信息。

2.1 Criminisi 算法原理

Criminisi 算法是通過計(jì)算優(yōu)先權(quán)，選擇優(yōu)先權(quán)最大的圖像塊作為待修復(fù)塊，依據(jù)平方差和（Sum of Squared Dif?ference，SSD）相似度函數(shù)從圖像的完好區(qū)域中選取最佳匹配塊，并復(fù)制填充，不斷迭代完成圖像修復(fù)。該算法具體實(shí)現(xiàn)如下：

如圖3 所示，在破損區(qū)域Ω的邊界δΩ上尋找一點(diǎn)p，選取以p為中心、大小為n×n的圖像塊ψp，通過優(yōu)先權(quán)函數(shù)式（3）計(jì)算所有ψp的優(yōu)先權(quán)確定圖像塊修復(fù)順序。

其中，C(p)為置信度項(xiàng)，表示破損區(qū)域中完好信息占總體信息百分比。D(p) 為數(shù)據(jù)項(xiàng)，表示有效信息可信度。C(p)與D(p)定義分別為：

式（4）中，ψp是以p點(diǎn)為中心的破損塊，φ為完好區(qū)域，C(q)表示含有效信息像素?cái)?shù)，|Ψp|為選取的圖像塊中的像素總數(shù)。式（5）中，為p點(diǎn)的等照度矢量，np為邊緣δΩ上點(diǎn)p的單位法向量，α為歸一化因子，一般取α=255。

Fig.3 Principle of Criminisi algorithm圖3 Criminisi 算法原理

在確定優(yōu)先待修補(bǔ)塊ψp后，通過SSD 相似度函數(shù)在完好區(qū)域中尋找與待修復(fù)塊ψp最相似的塊ψq，用ψq代替ψp完成一次填充。SSD 相似度計(jì)算函數(shù)定義為：

其中，d(ψp,ψq) 表示塊ψp與塊ψq對(duì)應(yīng)像素點(diǎn)間RGB 三通道歐氏距離平方和。

在找到最佳匹配塊后，將匹配塊復(fù)制填充到待修復(fù)塊，更新置信度項(xiàng)，迭代以上步驟，直至修復(fù)完成。

2.2 實(shí)驗(yàn)結(jié)果與分析

選取敦煌壁畫第201 窟“觀無量壽經(jīng)變之大勢(shì)至”局部壁畫和第158 窟“天請(qǐng)問經(jīng)變之菩薩二身”局部壁畫進(jìn)行Criminisi 算法修復(fù)實(shí)驗(yàn)，如圖4 所示，圖4（a）為原始壁畫圖像，圖4（b）為掩膜圖像，圖4（c）為修復(fù)結(jié)果。從圖中可以發(fā)現(xiàn)，Criminisi 算法通過塊匹配可完成對(duì)較大破損區(qū)域的修復(fù)，修復(fù)結(jié)果符合人眼視覺感受，如第一行圖像修復(fù)結(jié)果；但因?yàn)镃riminisi 算法對(duì)圖像結(jié)構(gòu)信息考慮不足，會(huì)出現(xiàn)塊匹配錯(cuò)誤問題，如第二行圖像矩形框中的修復(fù)結(jié)果出現(xiàn)了結(jié)構(gòu)傳播錯(cuò)誤問題。

Fig.4 Repair results of Criminisi algorithm圖4 Criminisi 算法修復(fù)結(jié)果

3 基于稀疏表示的圖像修復(fù)算法

稀疏表示是將信號(hào)通過字典中極少量的原子進(jìn)行重構(gòu)。Olshausen 等［19］將稀疏表示引入到圖像處理領(lǐng)域，指出自然圖像在某種變換域下具有稀疏性。基于稀疏表示的圖像修復(fù)方法是在眾多不定解中，尋求滿足稀疏度要求的特殊解的最優(yōu)線性組合。稀疏表示可分為兩個(gè)關(guān)鍵步驟：稀疏系數(shù)求解和字典學(xué)習(xí)與更新［20］。稀疏系數(shù)求解有MP（Matching Pursuit，匹配追蹤）算法［21］、OMP（Orthogonal Matching Pursuit，正交匹配追蹤）算法［22］等。字典學(xué)習(xí)按照字典構(gòu)成和訓(xùn)練方式分為固定基字典和學(xué)習(xí)型字典。其中，固定基字典主要有DCT 字典［23］、曲線波［24］等；學(xué)習(xí)型字典主要算法有MOD 算法［25］、K-SVD 算法［26］等。

眾多學(xué)者對(duì)稀疏表示圖像修復(fù)進(jìn)行了改進(jìn)，文獻(xiàn)［27］針對(duì)圖像字典自適應(yīng)性差的問題，提出一種基于特征分類學(xué)習(xí)的結(jié)構(gòu)稀疏傳播圖像修復(fù)方法；文獻(xiàn)［28］提出將圖像塊與組稀疏聯(lián)合稀疏表示的修復(fù)方法；文獻(xiàn)［29］利用顏色與方向信息結(jié)合衡量樣本塊間相似度，并利用多個(gè)匹配塊在構(gòu)造顏色和方向空間內(nèi)的鄰域一致性約束下重構(gòu)了目標(biāo)塊；文獻(xiàn)［30］提出一種基于多尺度金字塔圖像修復(fù)方法，將局部圖像塊統(tǒng)計(jì)信息與幾何特征采用稀疏表示的方法完成圖像修復(fù)；文獻(xiàn)［31］通過線描的方式補(bǔ)全缺失的結(jié)構(gòu)信息，并通過先紋理后結(jié)構(gòu)的修復(fù)策略完成圖像重構(gòu)；文獻(xiàn)［32］通過建立兩個(gè)輪廓之間的相似變換模型估計(jì)待修復(fù)物體輪廓信息，并利用修復(fù)優(yōu)先級(jí)和搜索區(qū)域劃分進(jìn)行紋理區(qū)域的修復(fù)；文獻(xiàn)［33］引入組稀疏表示概念，提出以歐式距離作為分組準(zhǔn)則，取得了較好的修復(fù)效果；文獻(xiàn)［34］提出自適應(yīng)圖像組的稀疏正則化圖像復(fù)原方法，通過自適應(yīng)調(diào)整迭代次數(shù)，完成圖像修復(fù)?；谙∈璞硎镜膱D像修復(fù)算法，通過不斷更新字典和稀疏系數(shù)對(duì)缺失信息進(jìn)行修復(fù)，對(duì)于壁畫裂紋、劃痕等有較好的修復(fù)效果，但是無法完成大面積破損壁畫圖像修復(fù)，存在修復(fù)模糊、平滑等問題。

3.1 組稀疏表示基本原理

相似組構(gòu)造過程如圖5 所示，首先將原始圖像H劃分為k個(gè)n ×n大小的圖像塊Hk∈，并將劃分后的圖像塊按先行后列的順序排列，記錄各圖像塊索引；接著在提取樣本塊的M×M鄰域中，計(jì)算樣本塊與匹配塊歐式距離，并選取距離最小的a個(gè)匹配塊組成集合，將排成矩陣形式，得到相似組。圖像塊p和q的歐式距離計(jì)算如式（7）所示。

其中，W、W′分別表示圖像塊p、q中對(duì)應(yīng)位置的像素點(diǎn)。

Fig.5 Similar group construction process圖5 相似組構(gòu)造流程

經(jīng)過上述過程，每個(gè)相似組由相同數(shù)量且具有相似特性的圖像塊構(gòu)成。為了使相似組可以通過字典得到更好的表示，先采用雙線性插值對(duì)相似結(jié)構(gòu)組進(jìn)行估計(jì)，得到一個(gè)初始值，之后進(jìn)行SVD 奇異值分解，如式（8）所示。

組內(nèi)字典學(xué)習(xí)對(duì)于每一個(gè)組都是自適應(yīng)的，且只需進(jìn)行一次奇異值分解，收斂速度加快。相似結(jié)構(gòu)組相對(duì)應(yīng)的自適應(yīng)字典為：

其中，β為常數(shù)，采用分裂伯格曼迭代優(yōu)化算法對(duì)式（11）進(jìn)行求解，得到稀疏系數(shù)。最后將每個(gè)相似組字典和系數(shù)代入式（12）中，即可得重構(gòu)修復(fù)后的圖像H。

3.2 組稀疏表示實(shí)驗(yàn)結(jié)果與分析

選取敦煌壁畫第158 窟“天請(qǐng)問經(jīng)變之菩薩一身”局部壁畫、第25 窟“觀無量壽經(jīng)變之九品行生”局部壁畫、第159窟“普賢變之普賢菩薩”局部壁畫進(jìn)行組稀疏表示修復(fù)實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖6 所示，圖6（a）為原始壁畫，圖6（b）為掩膜圖像，圖6（c）為修復(fù)結(jié)果。從修復(fù)結(jié)果可以看出，組稀疏對(duì)于較細(xì)劃痕破損具有較魯棒的修復(fù)效果，如第一行圖像修復(fù)結(jié)果所示；但由于修復(fù)時(shí)利用字典原子與系數(shù)線性組合，因此，當(dāng)較大區(qū)域破損時(shí)，修復(fù)結(jié)果中會(huì)出現(xiàn)局部模糊現(xiàn)象，如第二、三行圖像矩形框中修復(fù)結(jié)果所示。

Fig.6 Group sparse representation repair results圖6 組稀疏表示修復(fù)結(jié)果

4 基于深度學(xué)習(xí)的圖像修復(fù)算法

傳統(tǒng)圖像修復(fù)方法大多基于圖像先驗(yàn)信息進(jìn)行缺失像素恢復(fù)，然而在大面積圖像破損時(shí)，由于圖像先驗(yàn)信息不足，傳統(tǒng)圖像修復(fù)算法無法正確完成修復(fù)。文獻(xiàn)［35］根據(jù)博弈論中的零和博弈理論提出一種新型神經(jīng)網(wǎng)絡(luò)模型，稱為生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Networks，GAN）；文獻(xiàn)［36］生成器采用由粗到精的級(jí)聯(lián)式模型，判別器采用局部與全局特征相融合的雙重判別式模型，損失函數(shù)采用最小化重構(gòu)損失與對(duì)抗網(wǎng)絡(luò)損失相結(jié)合的方式，對(duì)人臉進(jìn)行修復(fù)實(shí)驗(yàn)。深度學(xué)習(xí)壁畫圖像修復(fù)在圖像全局結(jié)構(gòu)和語義方面具有優(yōu)勢(shì)，但在學(xué)習(xí)模型泛化能力及收斂性方面還存在一定問題。

4.1 生成對(duì)抗網(wǎng)絡(luò)GAN 基本原理

生成對(duì)抗網(wǎng)絡(luò)GAN 由生成器模型G與判別器模型D兩個(gè)部分組成，網(wǎng)絡(luò)結(jié)構(gòu)如圖7 所示。生成器G學(xué)習(xí)訓(xùn)練集數(shù)據(jù)概率分布，然后生成新數(shù)據(jù)，判別器D判斷生成數(shù)據(jù)真實(shí)性。其中，z表示噪聲，X表示真實(shí)數(shù)據(jù)，G(z)表示生成數(shù)據(jù)，GAN_loss為損失函數(shù)。

Fig.7 The basic model structure of GAN圖7 GAN 基本模型結(jié)構(gòu)

GAN 目標(biāo)函數(shù)可描述為：

其中，D代表判別器，G代表生成器，x為在真實(shí)數(shù)據(jù)分布Pdata（x）的采樣，E［.］為計(jì)算的期望值，Pz（z）為原始噪聲分布，z為噪聲輸入數(shù)據(jù)，GAN 的訓(xùn)練目標(biāo)是讓判別器能夠更準(zhǔn)確地判別真實(shí)數(shù)據(jù)和生成器生成數(shù)據(jù)，并讓生成器生成的數(shù)據(jù)與真實(shí)數(shù)據(jù)更為接近。判別器D和生成器G采用交替訓(xùn)練的方式，直至網(wǎng)絡(luò)收斂。

4.2 生成對(duì)抗網(wǎng)絡(luò)GAN 實(shí)驗(yàn)結(jié)果與分析

選取敦煌壁畫第25 窟“北壁彌勒經(jīng)變中·彌勒二會(huì)”局部壁畫和第25 窟“文殊變”局部壁畫進(jìn)行深度學(xué)習(xí)修復(fù)實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖8 所示，圖8（a）為原始壁畫，圖8（b）為掩膜圖像，圖8（c）為修復(fù)結(jié)果。從修復(fù)結(jié)果可以看出，深度學(xué)習(xí)通過對(duì)數(shù)據(jù)集的不斷訓(xùn)練，可以完成較大區(qū)域的破損修復(fù)，但對(duì)復(fù)雜結(jié)構(gòu)的圖像修復(fù)還需進(jìn)一步優(yōu)化。

Fig.8 Deep learning repair results圖8 深度學(xué)習(xí)修復(fù)結(jié)果

5 結(jié)語

敦煌壁畫作為世界文化遺產(chǎn)，具有較高的歷史和藝術(shù)價(jià)值，但長期面臨著自然和人為的嚴(yán)重?fù)p毀，如何有效地保護(hù)和傳承敦煌文化遺產(chǎn)備受關(guān)注。數(shù)字化修復(fù)技術(shù)為古代壁畫修復(fù)提供了全新的方法和視角，同時(shí)數(shù)字化修復(fù)技術(shù)使現(xiàn)代科學(xué)與古代文化交融碰撞，促進(jìn)信息科學(xué)與文物科學(xué)交叉研究，形成新的學(xué)科研究方向。傳統(tǒng)壁畫圖像修復(fù)方法利用破損壁畫圖像的完好區(qū)域信息，完成破損區(qū)域估計(jì)，各類修復(fù)算法均有應(yīng)用局限性，僅適用于特定的修復(fù)對(duì)象，如在面對(duì)前后景難于區(qū)分、模糊以及大面積脫落的敦煌壁畫圖像修復(fù)時(shí)效果不佳。為了更好地對(duì)敦煌壁畫進(jìn)行數(shù)字化修復(fù)保護(hù)，未來可從壁畫紋理、結(jié)構(gòu)、顏色等特征出發(fā)，充分利用壁畫多維知識(shí)屬性進(jìn)行數(shù)字化修復(fù)。此外，采用深度學(xué)習(xí)結(jié)合壁畫圖像語義、歷史、文化、宗教等因素，廣泛吸納物理、化學(xué)、計(jì)算機(jī)、人工智能、認(rèn)知心理學(xué)等領(lǐng)域相關(guān)技術(shù)進(jìn)行修復(fù)，是未來研究主要方向。