侯妙樂,王慶民,3,4,譚 麗,武望婷,呂書強

[1. 北京建筑大學測繪與城市空間信息學院,北京 100044;2. 建筑遺產(chǎn)精細重構與健康監(jiān)測北京市重點實驗室(北京建筑大學),北京 100044;3. 青海省基礎測繪院,青海西寧 810008;4. 青海省地理空間信息技術與應用重點實驗室(青海省地理信息和自然資源綜合調(diào)查中心),青海西寧 810008;5. 北京市規(guī)劃和自然資源委員會西城分局,北京 100054;6. 首都博物館,北京 100045]

0 引 言

書畫是民族傳統(tǒng)文化重要的藝術表現(xiàn)形式之一,但是存世久遠與人為因素的影響以及書畫本身較為脆弱的特質(zhì)使其易遭受各種病害。霉斑是其中常見的一種——主要由于環(huán)境濕度大,紙張纖維、漿糊等受潮而產(chǎn)生霉菌,形成霉斑污漬。霉斑修復主要用清水和高錳酸鉀、草酸水等化學試劑對霉斑處進行清洗,但清洗程度卻主要依靠經(jīng)驗,清洗不足無法達到理想效果,清洗過量則可能損傷書畫的紙張纖維,易造成紙質(zhì)變脆或者粉化以及畫體顏料顏色變淺等后果[1]。因此,利用數(shù)字圖像或光譜成像進行虛擬修復,為書畫霉斑清洗提供參考依據(jù),在不損傷書畫的同時,盡可能恢復畫作原貌,已成為書畫保護修復中的研究熱點。

2004年Pei等結合顏色對比度增強方法和紋理合成的馬爾科夫隨機場模型對中國古代繪畫的污漬和裂縫病害進行虛擬修復,集成了加權掩膜、環(huán)形掃描、鄰域搜索方法,保證了修復后形狀的完整性,避免了邊緣錯位[2]。Hedjam等分析了書寫材料的物理特性及其在近紅外波段的特征,利用全變分模型對退化文檔多光譜影像進行了虛擬修復,實現(xiàn)了退化文檔的文字增強[3]。Valdiviezo-N等設計了一種用于修復受損的古代文檔的自動技術,利用像元線性解混方法得到顏料端元分布的豐度圖像,用來提取文檔中的孔洞和裂縫,然后利用改進的形態(tài)學區(qū)域填充算法,實現(xiàn)文檔中缺失和被遮擋部分區(qū)域的虛擬修復[4]。Hou等提出一種最大噪聲正逆變換去除污漬的書畫虛擬修復方法,通過變換去除污漬特征波段,執(zhí)行逆變換得到修復后的高光譜影像,實現(xiàn)了書畫污漬的虛擬修復[5]。Hanif等針對古代手稿油墨滲透的退化問題,提出了一種非局部的稀疏影像修復方法,首先利用左右頁影像對的文字重疊來識別病害像元,然后利用基于字典學習的稀疏影像修復方法重建病害像元,完成對油墨滲透部分的虛擬修復[6]。Ardizzone等提出了一種修復歷史照片的解決方案,對歷史照片的病害進行分類,提出了修復的框架和流程,并實現(xiàn)了一個原型系統(tǒng),能夠?qū)崿F(xiàn)對打印照片和數(shù)字照片的修復[7]。Zhou等利用污漬的光譜特性提出了一種色彩約束的泊松編輯古書畫污漬虛擬修復方法,通過光譜分析提取最佳特征波段組合,平衡了色彩約束塊和特征波段梯度的調(diào)節(jié)能力,解決了梯度閾融合色彩失真的問題,能夠有效地去除污漬,恢復污漬覆蓋區(qū)域的顏料,但是無法保持書畫的內(nèi)容和結構[8]。周平平等針對油漬區(qū)域的修復,提出了一種基于高光譜影像分類線性回歸的古畫油漬虛擬修復方法,建立各類線性回歸方程,利用受污漬影響較小的波段去校正受污漬影響較大的真彩色波段,實現(xiàn)污漬下顏料在真彩色波段的色調(diào)顯示,但無法連貫紋理結構[9]。本研究的方法實現(xiàn)高光譜影像波長在433.57～949.12 nm之間的851個波段的修復,并且紋理結構和繪畫內(nèi)容修復自然連貫。

綜上可知,利用彩色數(shù)字影像對書畫表面病害的虛擬修復研究比較成熟,而針對高光譜影像的病害虛擬修復研究涉及較少。本研究采用連續(xù)最大角凸錐(sequential maximum angle convex cone,SMACC)方法對書畫高光譜影像提取端元,進而對污漬端元豐度反演結果進行閾值分割,得到污漬區(qū)域,形成病害掩膜圖。然后利用主成分分析(principal component analysis,PCA)將書畫高光譜影像降維,取信息含量最大的前三主成分合成數(shù)字影像,利用針對數(shù)字影像的Criminisi算法進行虛擬修復,然后再執(zhí)行PCA逆變換,實現(xiàn)污漬的虛擬修復,為書畫高光譜影像的虛擬修復提供了新的方法。

1 研究數(shù)據(jù)

1.1 研究對象

中國近現(xiàn)代畫家倪田(1855—1919)所作的《捕魚圖》,以青綠及墨黑色調(diào)為主,意境清新而富野趣。然而,畫面霉斑嚴重,影響其外觀和欣賞性。選擇受霉斑影響較為嚴重的四景高光譜影像進行虛擬修復,其正射影像和研究區(qū)域如圖1所示。

圖1 研究區(qū)域Fig.1 Study areas

1.2 數(shù)據(jù)采集

數(shù)據(jù)采集使用Themis Vision System公司的VNIR/400H高光譜成像儀。這是一種推掃式掃描高光譜成像系統(tǒng),其空間分辨率為1 392×1 000,光譜范圍為400～1 000 nm,包含了可見光與近紅外波段,一共有1 040個波段,采樣間隔為0.6 nm,光譜分辨率為2.8 nm,光源為兩個250 W鹵素燈。

獲取古書畫的高光譜影像時,古書畫放置在面向相機的物體支架上,古書畫到相機的距離約為0.8 m,保證高光譜影像的空間分辨率約為100 dpi,每幅采集的影像為1 392像素×1 000像素。為了避免其他光源干擾測量,現(xiàn)場為暗室環(huán)境,使用成像儀自帶的兩盞鹵素燈作為照明,鹵素燈固定在相機兩側。相機、照明與拍攝畫作形成距離與角度固定的作業(yè)模式,按照矩陣攝影方式,逐行逐列獲取古書畫的高光譜影像,相鄰影像重疊約30%。在獲取的多景高光譜影像中選取了四景霉斑污染較嚴重的作為研究對象。

2 霉斑提取與虛擬修復

書畫霉斑區(qū)域自動提取與虛擬修復的方法主要包括高光譜數(shù)據(jù)預處理、霉斑區(qū)域提取以及虛擬修復三步,其流程如圖2所示。

圖2 霉斑提取與虛擬修復的流程圖Fig.2 Flow diagram of the extraction and virtual restoration of stains

2.1 預處理

1) 輻射校正。高光譜成像儀采集的原始數(shù)據(jù)為輻射亮度,一般需要將其轉換為反射率再進行后續(xù)處理,其計算公式為:

(1)

式中,R為校正后的反射率影像;Rraw為書畫原始高光譜數(shù)據(jù);Rwhite為參考白板數(shù)據(jù);Rdark為在光源關閉且鏡頭遮蓋情況下獲得的暗電流數(shù)據(jù)。標準白板的反射率為99%。

2) 影像去噪。使用成像光譜儀采集的成像光譜數(shù)據(jù)通常存在噪聲,需要進行去噪處理。經(jīng)反射率輻射校正后,數(shù)據(jù)仍然存在一定的噪聲。一般成像光譜儀在波長兩端的波段其數(shù)據(jù)噪聲比較大,通過觀察不同波段數(shù)據(jù),人為去除噪聲較大的前100個波段和最后100個波段,選取高光譜影像的第100～950波段,即波長在433.57～949.12 nm之間的851個波段。對851個波段進行PCA變換,選擇特征值包含原始高光譜圖像中99%的信息量的前m個主成分,對前m個主成分進行PCA逆變換,得到去噪后的高光譜影像。

2.2 霉斑區(qū)域提取

如圖2所示,霉斑區(qū)域的提取主要包括特征波段選擇、SMACC豐度反演、閾值分割、數(shù)學形態(tài)學變換等步驟。

1) 特征波段選擇。書畫中一般包含多種顏料,可能存在部分顏料與病害的光譜曲線差異較小,將會影響病害提取的精度。因此,提出利用包絡線去除方法來增強光譜特征。首先在高光譜影像的不同物質(zhì)上選取感興趣區(qū),計算該類物質(zhì)的平均光譜曲線。然后對其進行包絡線去除,在處理后的光譜曲線中選擇霉斑與其他物質(zhì)差異最大的n個特征波段。特征波段的選擇標準是提取的目標與其他目標反射光譜差異越大越好。以第1景影像為例,在處理后的光譜曲線中選擇霉斑、人物皮膚、人物衣服、魚竿和白色背景,通過比較發(fā)現(xiàn),包絡線去除后霉斑區(qū)域光譜曲線與其他物質(zhì)在450～600 nm波長區(qū)間內(nèi)存在明顯差異,因此選擇450～600 nm之間的244個波段作為特征波段。

2) SMACC豐度反演。SMACC是由Gruninger等基于凸錐模型提出的一種端元提取方法,可以借助約束條件來識別高光譜圖像的端元波譜[10]。首先采用極點來確定凸錐,并將其定義為第一個端元。再用一個具有約束條件的斜投影,從現(xiàn)有的錐體中生成下一個端元。然后繼續(xù)增加錐體生成新的端元。重復這個過程直至生成的凸錐中包括了已有的終端單元(滿足一定的容差),或者直至滿足了指定的端元波譜類別個數(shù)[11]。通過對特征波段選擇的n個霉斑高光譜影像特征波段進行SMACC處理,自動提取霉斑端元波譜及其相應的豐度圖像。

3) 閾值分割與數(shù)學形態(tài)學變換。霉斑豐度圖像中每個像素點的值表示霉斑的可能性,選擇恰當?shù)拈撝悼梢詫⑵浞譃槊拱邊^(qū)域和正常區(qū)域兩類,形成霉斑掩膜圖。由于霉斑在宣紙上會有輕微暈染且沒有十分明確的邊界,為了減少因為霉斑提取而產(chǎn)生的影響,對提取結果進行形態(tài)學濾波運算?？紤]到霉斑區(qū)域的連通性和孤立點的去除,對圖像先做一次開運算再做一次膨脹運算。這樣既能去除一些不需要的零碎像素點,又能使提取到的霉斑區(qū)域得到適當擴張。

2.3 高光譜影像虛擬修復

首先利用PCA變換將原始高光譜圖像降維,選取PCA變換之后的第一主成分、第二主成分和第三主成分合成特征圖像,因為PCA變換之后的前三主成分,其特征值包含了原始高光譜圖像中98.73%的信息量。一般選擇原始數(shù)據(jù)95%以上的信息量就能滿足要求。再將其反射率經(jīng)線性拉伸后轉換到0～255。然后運用數(shù)字圖像修復算法對霉斑區(qū)域進行修復,最后將修復后的圖像進行線性拉伸還原到原始的反射率值域,再進行PCA逆變換,得到修復后的高光譜圖像。

數(shù)字圖像修復選擇經(jīng)典的Criminisi算法,該算法是A. Criminisi基于紋理合成的思想提出的一種非常經(jīng)典的圖像修復算法,在數(shù)字圖像修復領域應用廣泛,其核心思想是計算待修復區(qū)域中樣本塊的優(yōu)先權[12]。當對破損區(qū)域進行修復時,首先對圖像缺損區(qū)域邊緣處的樣本塊計算它們的優(yōu)先權,優(yōu)先權高的樣本塊優(yōu)先得到紋理填充。圖像中的線性結構一般優(yōu)先權會比較高,能夠優(yōu)先得到填補,這樣可以保證圖像結構的正確傳播。

3 結果與分析

3.1 數(shù)據(jù)預處理

以第1景影像為例,選取高光譜影像的第100～950波段進行主成分變換,如表1所示,其前六個主成分的特征值包含了原始高光譜圖像中98.88%的信息量。

表1 各主成分所對應的特征值與信息量Table 1 Eigenvalue and information corresponding to each principal component

選取信息量較大的前六個波段進行PCA逆變換。圖3為三類不同物質(zhì)在PCA正逆變換前后的400～1 000 nm光譜曲線圖,從中可以看出經(jīng)過去噪處理后,光譜曲線明顯得到了平滑。

圖3 PCA正逆變換前后光譜曲線Fig.3 Spectral curves before and after PCA forward and inverse transformation

3.2 霉斑區(qū)域提取

3.2.1特征波段選擇 對霉斑的光譜曲線和畫作中人物皮膚、衣服、魚竿和白色背景的光譜曲線之間經(jīng)過比較,發(fā)現(xiàn)霉斑的光譜曲線與人物皮膚的光譜曲線相近,而與其他畫面顏色差異較大(圖4a和圖4b)。通過對光譜曲線進行包絡線去除,可以發(fā)現(xiàn)光譜吸收帶特征更加明顯,去包絡線后霉斑區(qū)域光譜曲線在450～600 nm波長區(qū)間內(nèi)與其他曲線存在明顯差異(圖4c),因此對于第1景影像選取450～600 nm之間共244個波段為特征波段,進行后續(xù)處理。經(jīng)實驗,第2景影像、第3景影像和第4景影像也分別選取了450～600 nm之間244個波段作為特征波段。

圖4 第1景影像及其光譜曲線Fig.4 The first image and its spectral curves

3.2.2豐度圖像反演 豐度圖像為特定端元的分布圖,其值域為[0,1],在圖像上某點的豐度值越大,表明該特定端元在該點的含量越高。分別對四景高光譜影像進行SMACC處理,其中初始端元數(shù)量是根據(jù)經(jīng)驗設置,通過目視觀察國畫表面的顏色類別數(shù),考慮到國畫復合色一般為2～3種顏料混合而成,端元數(shù)一般設置為觀察到的顏色類別數(shù)的1.5倍到2倍。觀察發(fā)現(xiàn)畫作中有白色背景、藍色衣服、褐色霉斑、紅色皮膚和黑色魚竿等五種主要顏色類別,因此該處端元數(shù)設置為10。SMACC算法運算過程中可以自動合并相似端元,以第1景影像為例,經(jīng)過SMACC端元提取及相似端元合并后得到了六個端元波譜曲線與相應的豐度圖像(圖5)。

圖5 第1景影像的六個端元波譜曲線及相應的豐度圖像Fig.5 Six endmember spectral curves of the first image and their corresponding abundance images

經(jīng)過SMACC處理之后,將提取的端元波譜曲線與霉斑的波譜曲線進行對比分析,采用光譜角距離(spectral angle distance,SAD)和光譜信息散度(spectral information divergence,SID)[13]來衡量提取端元光譜與霉斑光譜的相似性程度。SAD和SID值越小,說明與霉斑光譜越相似,對應的SAD和SID計算公式為:

(2)

(3)

以第1景影像為例,圖4b中的霉斑光譜曲線與圖5a中端元光譜曲線經(jīng)過SAD、SID計算的結果如表2所示。

表2 霉斑光譜與各端元光譜相似度評價Table 2 Similarity evaluation between the spectra of stains and endmembers

以第1景影像為例,通過對比光譜角距離(SAD)和光譜信息散度(SID)發(fā)現(xiàn)端元3的光譜曲線與霉斑的光譜曲線最為接近,SAD和SID值也是最小,并結合目視解譯,其波形和反射率也十分接近。因此,通過光譜曲線分析和目視解譯,選取第三個端元的豐度圖像進行后續(xù)處理。類似地,分別對第2景影像、第3景影像和第4景影像選擇霉斑對應的豐度圖像。

3.2.3密度分割與形態(tài)學濾波 密度分割的目的是最大限度地將霉斑區(qū)域和背景區(qū)域分開。以第1景影像為例,圖6為不同的分割閾值對霉斑提取結果的影響。最終確定第1景影像的第三端元豐度影像在灰度分割閾值為0.19時,可以最大限度將霉斑與其他物質(zhì)區(qū)分開來。再利用3×3的結構元對圖像先做一次開運算再做一次膨脹運算(圖6f)。運算核的大小會對膨脹腐蝕的效果產(chǎn)生影響,如5×5的運算核比3×3的運算核產(chǎn)生的膨脹腐蝕效果更加明顯。由于提取的霉斑區(qū)域比較零散、碎小,為防止出現(xiàn)遺漏,所以采用3×3小運算核,這樣既能去除一些不需要的零碎像素點,又能使提取到的霉斑區(qū)域得到擴張。

圖6 霉斑提取結果Fig.6 Results of stain extraction

3.3 霉斑區(qū)域虛擬修復

3.3.1PCA降維與Criminisi虛擬修復 以第1景影像為例,對高光譜影像進行PCA變換,取前三主成分合成假彩色影像(圖7a)。然后利用Criminisi算法對霉斑區(qū)域進行虛擬修復,得到的結果圖像如圖7b所示。

圖7 PCA前三主成分假彩色合成圖像Fig.7 False color images synthesized using PCA first three principal components

3.3.2PCA逆變換 對前三主成分合成的特征影像進行Criminisi修復后,進行反向線性拉伸,使其影像像元灰度值由0～255變換到原來的值域范圍(如第一主成分為-1414.547974～854.142273),然后利用PCA逆變換將影像變換到原高光譜波段數(shù),完成高光譜影像的虛擬修復。圖8為第1景高光譜影像虛擬修復后部分波段的效果。

圖8 虛擬修復后部分波段Fig.8 Some bands after virtual restoration

3.4 結果分析

對第2～4景高光譜影像進行同樣的處理。圖9為《捕魚圖》第1～4景高光譜影像修復結果。

圖9 霉斑區(qū)域虛擬修復結果Fig.9 Virtual restoration results of stains of the four images

圖9a、圖9d、圖9g和圖9j為四個樣本區(qū)域修復前的高光譜圖像,圖9b、圖9e、圖9h和圖9k為運用本研究方法提取霉斑后的掩膜圖像(白色區(qū)域為待修復區(qū)域),圖9c、圖9f、圖9i和圖9l為修復后的圖像。觀察圖9可知經(jīng)過虛擬修復后,樣本數(shù)據(jù)中霉斑區(qū)域得到了較好的修復,修復后的霉斑區(qū)域與畫體其他區(qū)域本身融入性較好,修復后的邊界也比較自然、平滑。

因為無法得到霉斑區(qū)域的真實灰度值,對霉斑虛擬修復的客觀量化評價比較困難。理論上,霉斑區(qū)與其鄰近的同一顏色非霉斑區(qū)應具有相似的灰度值,修復效果越好,兩個區(qū)域?qū)幕叶戎翟浇咏Ｒ虼?借鑒遙感影像陰影去除后精度評價方法[14],根據(jù)人為判斷霉斑覆蓋區(qū)域的顏色,在其鄰域非霉斑區(qū)隨機選擇對應顏色覆蓋的20個像元作為參考真值(理論上做參考真值的像元數(shù)目越多越好,但是其鄰域非霉斑區(qū)物質(zhì)種類復雜,根據(jù)人為判斷霉斑覆蓋區(qū)域的顏色,在其鄰域非霉斑區(qū)隨機選擇對應顏色覆蓋的20個像元,足以代替霉斑覆蓋區(qū)域作為參考真值),將其平均后與霉斑虛擬修復前后霉斑區(qū)域同種顏色的像元進行比較,計算修復前后霉斑區(qū)域與參考真值的均方根誤差(root mean square error,RMSE),來客觀評價影像修復的質(zhì)量,其單個波段的RMSE計算公式為:

以上述方法,分別統(tǒng)計了虛擬修復前后高光譜數(shù)據(jù)中的R(640.3051 nm)、G(549.7856 nm)、B(460.2024 nm)三個波段霉斑區(qū)域各種顏色與周圍非霉斑區(qū)域?qū)伾裨g的RMSE,對RGB三個波段的RMSE進行平均后,其結果如表3所示。從表3中可以看出,虛擬修復后的RMSE值相對于修復前的普遍變小,說明虛擬修復后霉斑區(qū)域的顏色值更接近無霉斑區(qū)域?qū)念伾?虛擬修復效果明顯。

表3 虛擬修復前后RGB波段霉斑區(qū)與對應鄰域像元的平均RMSETable 3 Average RMSEs of RGB band stained areas and corresponding neighboring pixels before and after virtual restoration

(續(xù)表3)

為了驗證方法的有效性,選取倪田《捕魚圖》的另外兩景(第5景和第6景)高光譜數(shù)據(jù),按照提出的方法進行了同樣的處理,結果如圖10所示。

圖10 其他兩景影像霉斑區(qū)域虛擬修復結果Fig.10 Virtual restoration results of stains of other two images

以第1景影像為例,各波段修復效果如圖11所示,從圖中可以看出,經(jīng)過虛擬修復后,兩景影像中霉斑區(qū)域均得到了較好的修復,修復后的病害區(qū)域效果自然,無明顯修復邊界。

圖11 虛擬修復后部分波段Fig.11 Some bands after virtual restoration

4 結 論

本研究以古書畫中的霉斑為研究對象,設計了高光譜影像虛擬修復方法:首先通過光譜變換降維、SMACC豐度反演提取霉斑特征豐度圖,利用灰度分割實現(xiàn)提取污漬掩膜;然后利用PCA變換,采用Criminisi修復PCA前三主成分,再執(zhí)行PCA逆變換,實現(xiàn)了書畫表面污漬高光譜影像的虛擬修復。和現(xiàn)有的虛擬修復方法相比,本方法可以實現(xiàn)高光譜影像的修復,可以為書畫污漬的清洗提供參考。同時,仍需對本方法做進一步研究,以提高污漬提取的準確性,并且對高光譜影像修復前后的數(shù)據(jù)質(zhì)量評價展開深入的研究。