結(jié)合分組聯(lián)合字典的圖像超分辨率重建

岳彥敏，劉 叢

（上海理工大學(xué)光電信息與計(jì)算機(jī)工程學(xué)院，上海 200093）

0 引言

遙感衛(wèi)星圖像分辨率越高包含的地物信息越豐富，其利用價(jià)值就越高。但是圖像的采集過(guò)程容易受到外界環(huán)境和成像設(shè)備等多種因素影響，會(huì)丟失高頻信息。提升硬件設(shè)備性能的成本高、難度大。因此，從軟件方面來(lái)提高遙感圖像分辨率成為研究熱點(diǎn)。圖像超分辨率重建（Super-Resolution Reconstruction，SRR）［1］是利用一幅或多幅低分辨率（Low-Resolution，LR）圖像獲得一幅高分辨率（High-Resolution，HR）圖像，它可以較好地改善遙感圖像的重建質(zhì)量，在遙感衛(wèi)星領(lǐng)域具有重要的應(yīng)用價(jià)值。

圖像超分辨率重建是一個(gè)病態(tài)逆問(wèn)題［2］。為解決該問(wèn)題，研究人員提出了基于插值［3］、基于重建［4］和基于學(xué)習(xí)等［5-7］方法。其中，基于稀疏學(xué)習(xí)的超分辨重建算法應(yīng)用最為廣泛。Yang 等［8］、Zhang 等［9］受壓縮感知（Compressive Sensing，CS）思想啟發(fā)，利用字典學(xué)習(xí)將稀疏編碼引入圖像的超分辨率重建問(wèn)題中，提出一種基于稀疏表示（Sparse-Representation，SR）的圖像超分辨率重建算法；Rohit 等［10］、Zeyde 等［11］使用主成分分析（Principal Component Analysis，PCA）和正交匹配追蹤（Orthogonal Matching Pursuit，OMP）算法對(duì)字典學(xué)習(xí)方法進(jìn)行改進(jìn)，提高了算法速度，取得了較好的重建效果。在面對(duì)結(jié)構(gòu)較為復(fù)雜的圖像重建時(shí)，以上算法學(xué)習(xí)的單一聯(lián)合字典具有一定局限性；后來(lái)Dong等［13］提出了非局部自回歸模型方法，將樣本分類(lèi)，利用PCA 算法得到的每個(gè)類(lèi)的子字典較好地重構(gòu)了圖像結(jié)構(gòu)；Wang 等［14］使用分組字典思想，根據(jù)主方向角對(duì)圖像塊分類(lèi)并訓(xùn)練多個(gè)字典和殘差字典，取得了較好的重建效果。但是分組字典也有缺點(diǎn)，即每個(gè)子字典都是一個(gè)獨(dú)立的字典，并沒(méi)有考慮每個(gè)子字典與樣本間的關(guān)聯(lián)性；在圖像分類(lèi)方面，Yang［15］使用具有關(guān)聯(lián)性的分組字典比其他算法更有效。上述研究啟發(fā)我們要加強(qiáng)每個(gè)子字典與樣本間的關(guān)聯(lián)性，以提高字典的精確性。

因此，本文提出結(jié)合分組聯(lián)合字典的圖像超分辨重建算法。該模型首先將訓(xùn)練樣本分類(lèi)，針對(duì)每一類(lèi)學(xué)習(xí)一組聯(lián)合字典。每類(lèi)樣本不僅可以被其學(xué)習(xí)到的子聯(lián)合字典強(qiáng)線(xiàn)性表示，還可以被所有分組聯(lián)合字典所組成的總字典線(xiàn)性表示。實(shí)驗(yàn)表明，本文提出的分組聯(lián)合字典在遙感圖像超分辨重建中效果較好。

1 基于稀疏表示的重建模型

一幅低分辨率圖像是由其對(duì)應(yīng)的高分辨率圖像經(jīng)模糊及下采樣等操作獲得，該退化模型可表示為：

其中，X、Y分別為高、低分辨率圖像；H表示模糊算子，S表示下采樣，v表示噪聲矩陣。一個(gè)d維的輸入信號(hào)x∈Rd可用一組原子的線(xiàn)性組合對(duì)其逼近，表示為x ≈Dα。由于L0 范數(shù)在優(yōu)化過(guò)程中存在一定困難，通常將其松弛為L(zhǎng)1 范數(shù)形式。其中D∈Rd×m表示稀疏字典，m表示字典中原子的個(gè)數(shù)。通過(guò)求解如下模型可獲得具有稀疏性的系數(shù)：

2 圖像超分辨重建

2.1 分組聯(lián)合字典模型建立

基于聯(lián)合字典和分組字典學(xué)習(xí)的思想，本文設(shè)計(jì)了一種基于分組聯(lián)合字典的超分辨率重建方法。將LR 特征圖像塊劃分為C 類(lèi)，其對(duì)應(yīng)的HR 圖像也賦予相應(yīng)的類(lèi)標(biāo)簽，分別表示為，其中分別表示第i類(lèi)的HR 圖像塊和LR特征圖像塊，ni為樣本數(shù)目。HR 圖像與LR 圖像的字典對(duì)為{Dh,Dl}，分別表示HR 圖像和LR 圖像對(duì)應(yīng)的字典。每個(gè)類(lèi)別都需要學(xué)習(xí)一個(gè)子字典，所以高、低子字典可表示為和分別表示第i類(lèi)樣本的HR 字典和LR 字典，mi為第i類(lèi)字典的原子數(shù)目。n個(gè)樣本的稀疏系數(shù)矩陣表示為A=[α1,α2…,αn]∈Rm×n，系數(shù)矩陣對(duì)應(yīng)C 個(gè)類(lèi)，表示為A=[A1,A2…,AC]。建立分組聯(lián)合字典模型如下：

根據(jù)文獻(xiàn)［15］算法優(yōu)化方法將式（3）展開(kāi)：

結(jié)合文獻(xiàn)［8］，上式可改寫(xiě)為：

2.2 模型優(yōu)化與圖像重建

本節(jié)對(duì)模型進(jìn)行優(yōu)化，優(yōu)化算法仿照文獻(xiàn)［15-16］設(shè)計(jì)。

（1）求解稀疏系數(shù)Ai。固定字典和所有的系數(shù)Aj（j≠i），分別更新系數(shù)Ai（i=1，2，…，C）并合成系數(shù)矩陣A。根據(jù)式（5）可得：

式（6）可由迭代軟閾值算法［17］求解：

其中，soft（*，*）為軟閾值算子，k為迭代次數(shù)，表示Q(Ai)對(duì)Ai求一階導(dǎo)數(shù)為軟閾值。

對(duì)式（8）求解計(jì)算的過(guò)程如下：

固定變量Ai，更新：

依據(jù)此步驟迭代更新編碼系數(shù)A 和分組聯(lián)合字典D，直到滿(mǎn)足停止標(biāo)準(zhǔn)后停止更新。然后，使用分組聯(lián)合字典進(jìn)行圖像重建。

重建過(guò)程：①首先使用一階和二階梯度算子提取圖像特征，獲得一幅低分辨率特征圖像；②將該圖像劃分成n個(gè)尺寸相同的子塊，并對(duì)所有子塊向量化，得；③計(jì)算每個(gè)圖像塊到類(lèi)中心（訓(xùn)練模型時(shí)分組獲得）的歐氏距離，將劃分到C 個(gè)不同類(lèi)中，表示為，每個(gè)類(lèi)對(duì)應(yīng)一個(gè)子聯(lián)合字典。根據(jù)分組聯(lián)合字典思想，使用公式（11）可獲得圖像塊的稀疏表示系數(shù)，式中λ 為正則化標(biāo)量參數(shù)。

使用該系數(shù)重建高分辨率圖像塊，將獲得的圖像塊合并為整幅初始估計(jì)Xh，并加強(qiáng)圖像塊間的全局約束，得到最終的高分辨率圖像：

3 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文算法的有效性，使用UCMerced_LandUse［18］作為訓(xùn)練集和測(cè)試集。所有算法都使用Matlab R2016a 仿真軟件編程，在Windows 10 64 位操作系統(tǒng)中運(yùn)行。硬件配置為CPU Inter（R）Core（TM）i7 2.6GHz，運(yùn)行內(nèi)存8G。在字典訓(xùn)練過(guò)程中，將高分辨率圖像塊大小設(shè)為6×6，兩個(gè)相鄰塊之間的重疊像素寬度設(shè)為4，并對(duì)其做去均值運(yùn)算。低分辨率圖像塊大小設(shè)為3×3，重疊像素為2。分別與SCSR 算法、Zeyde’s 算法和Gong’s 算法［19］進(jìn)行對(duì)比。重建質(zhì)量使用峰值信噪比（PSNR）和結(jié)構(gòu)相似性（SSIM）兩種指標(biāo)進(jìn)行評(píng)價(jià)。圖1—圖3 展示了3 張使用不同重建算法獲得的高分辨率圖像重建結(jié)果。

通過(guò)觀(guān)察圖1—圖3 的局部效果可以看出，Bicubic 算法出現(xiàn)明顯的模糊現(xiàn)象，SCSR 算法對(duì)圖像的整體銳化度較高，局部邊緣輪廓模糊并伴有偽影，Zeyde’s、Gong’s 算法較好地保持了圖像邊緣，但是引入了噪聲點(diǎn)，圖像部分出現(xiàn)了塊狀和邊緣白邊現(xiàn)象，視覺(jué)效果欠佳。本文算法較好地保持了圖像邊緣清晰度，有效抑制了噪聲點(diǎn)對(duì)重建效果的影響，圖像輪廓保持較好。

Fig.1 Comparison of reconstructed images of airplane23圖1 airplane23 重建圖像比較

Fig.2 Comparison of reconstructed images of intersction34圖2 intersction34 重建圖像比較

Fig.3 Comparison of reconstructed images of residenal93圖3 residential93 重建圖像比較

使用PSNR 和SSIM 指標(biāo)來(lái)客觀(guān)評(píng)價(jià)算法性能。由表1可知，本文算法與SCSR 和Zeyde’s 相比，PSNR 和SSIM 均相對(duì)提高，單幅圖像的PSNR 最高可達(dá)1.36dB。與Gong’s 算法相比，本文算法PSNR 平均提高0.20dB，說(shuō)明本文算法確實(shí)有效。SSIM 的平均值提高約0.02～0.06，表明本文重建出的圖像與原圖的結(jié)構(gòu)更接近，進(jìn)一步說(shuō)明了本文算法的有效性。

Table 1 Comparison of PSNR/SSIM values of different algorithms表1 不同算法的PSNR/SSIM 值比較

4 結(jié)語(yǔ)

本文受分組字典和字典—樣本間關(guān)聯(lián)性思想啟發(fā)，提出了一種結(jié)合分組聯(lián)合字典的圖像超分辨率重建算法。根據(jù)重建樣本所屬的類(lèi)別找到最合適的主子字典和次子字典進(jìn)行重建，使重建出的遙感圖像邊緣細(xì)節(jié)更為清晰，圖像整體更為自然。但本文方法仍有一些可改進(jìn)之處，如圖像塊的聚類(lèi)方法、圖像塊的提取特征方法需改進(jìn)，以及加快稀疏字典編碼的速度。本文方法可推廣到其他領(lǐng)域進(jìn)行圖像重建。