溫 佳,王慶成,楊亞楠,李 楠
(天津工業(yè)大學(xué) 電子與信息工程學(xué)院,天津 300387)
單圖像超分辨率重建是圖像處理領(lǐng)域的經(jīng)典研究內(nèi)容。一般來說,它的首要任務(wù)是從低分辨率圖像中重建丟失的高頻細(xì)節(jié)。傳統(tǒng)的基于插值的超分辨率重建技術(shù)[1-2]已經(jīng)被廣泛運(yùn)用并具備快速實(shí)現(xiàn)的優(yōu)點(diǎn)。但是,面對(duì)圖像邊緣、不連續(xù)區(qū)域、高頻特征時(shí),往往不能取得理想的效果。近年來,人們提出了許多具有影響力的基于實(shí)例的超分辨率重建方法[3-5],并取得了不錯(cuò)的效果,逐漸成為超分辨重建領(lǐng)域的主流方法。該方法的主要思路是:學(xué)習(xí)樣本庫中對(duì)應(yīng)高、低分辨率圖像塊之間的映射關(guān)系并結(jié)合輸入的低分辨率圖像塊重構(gòu)出丟失的高頻細(xì)節(jié)。大多數(shù)方法[6-7]都是基于最近鄰嵌入思想。總的來說,針對(duì)每一個(gè)輸入的低分辨率圖像塊從數(shù)據(jù)庫中尋找最為接近的k個(gè)圖像塊,再結(jié)合之前學(xué)習(xí)的映射關(guān)系完成相似塊的線性組合,最終估計(jì)出高分辨率圖像塊。雖然這些算法可以得到不錯(cuò)的結(jié)果,但是難以確定的近鄰數(shù)目還是降低了這類算法的穩(wěn)定性。為了解決這個(gè)問題,動(dòng)態(tài)k近鄰算法[8]人為提出了一種相似判斷依據(jù),從而可以動(dòng)態(tài)地確定近鄰數(shù)目。Yang 等[9]利用稀疏編碼實(shí)現(xiàn)了圖像的超分辨率重建。該算法假設(shè)高、低分辨率圖像具有相同的稀疏表達(dá),并通過高、低分辨率字典的耦合訓(xùn)練確保具有相同的稀疏系數(shù)。它通過對(duì)輸入圖像塊的稀疏表達(dá)解決了近鄰數(shù)目的選擇,從而取得了令人印象深刻的結(jié)果。Zeyde 等[10]通過正交匹配和降低維數(shù)的方法進(jìn)行稀疏系數(shù)的求解,從而提高了效率。除此之外,研究表明在不同尺度間,圖像結(jié)構(gòu)往往會(huì)出現(xiàn)重復(fù)。利用自然圖像中結(jié)構(gòu)的自相似性[11-12],可以直接從輸入圖像本身獲得重建信息而不再依靠外部數(shù)據(jù)庫。但是,為了獲得理想重建質(zhì)量,不可避免地消耗過多的內(nèi)存和計(jì)算時(shí)間。雖然這些算法可以獲得較好的性能,但都假設(shè)輸入圖像不含有噪聲,這并不符合實(shí)際情況。目前,對(duì)含噪圖像的超分辨率重建領(lǐng)域的研究較少。Xie 等[13]通過自適應(yīng)正則化濾波器來濾除輸入圖像中的噪聲,但是去噪過程中產(chǎn)生的偽影會(huì)在重建過程中被放大?;谀壳暗难芯楷F(xiàn)狀,本文致力于減小在重建過程中噪聲的影響從而提高算法的魯棒性。由于稀疏表達(dá)可以使信號(hào)能量僅僅集中在個(gè)別原子上,因此對(duì)噪聲圖像具有一定的魯棒性。另一方面,綜合字典(如K-SVD 字典)通過實(shí)例圖像的學(xué)習(xí)可以重構(gòu)出復(fù)雜的局部結(jié)構(gòu),但是也將消耗大量的計(jì)算時(shí)間。
圖1 算法流程圖
受此啟發(fā),本文引入稀疏理論來降低噪聲的影響并通過新的相似塊選擇方案來提高重建速度。具體過程如圖1 所示。整個(gè)過程大致可以分為3 個(gè)階段:第一階段是字典訓(xùn)練階段,首先,訓(xùn)練中的高、低分辨率圖像塊具有相同的尺寸大小,后者是通過訓(xùn)練圖像先下采樣后插值放大,最后通過圖像分塊得到的。并且訓(xùn)練圖像是無噪聲的,即訓(xùn)練過程不受輸入圖像噪聲程度的干擾。由于高分辨率字典是由對(duì)應(yīng)的高、低分辨率圖像塊共同訓(xùn)練得到的,因此它不僅表示高分辨率圖像的高頻細(xì)節(jié),還表示無噪聲低分辨率圖像的紋理結(jié)構(gòu)。第二階段是高分辨率圖像塊重建階段,重建高分辨率圖像塊的關(guān)鍵在于找到相似的高分辨率圖像塊并完成合理的線性組合。首先,根據(jù)輸入的特征向量可以從匹配對(duì)象中自適應(yīng)地選擇k個(gè)相似的字典原子對(duì)();并計(jì)算他們和輸入特征向量之間的相似度差異di。結(jié)合輸入的特征向量、低分辨率字典原子、相似度差異di計(jì)算出對(duì)應(yīng)權(quán)值ωi。其次,通過計(jì)算可以得到估計(jì)的高分辨率圖像塊和去噪后的低分辨率圖像塊。再次,利用所有的估計(jì)圖像塊并通過對(duì)重疊區(qū)域的平均計(jì)算,得到估計(jì)的高分辨率圖像和去噪后的低分辨率圖像。最后,結(jié)合迭代反投影(IBP),得到最終重建的高分辨率圖像X*。
圖像的退化過程通常可以描述成公式(1)。低分辨率圖像Y∈RM×M,是高分辨率圖像X*∈RN×N經(jīng)過下采樣和模糊退化得到的。
其中:D為下采樣因子,B為模糊算子,n為在算法處理過程中隨時(shí)都可能存在的噪聲。傳統(tǒng)單幅圖像的超分辨重建算法是從低分辨率圖像Y中盡可能準(zhǔn)確地估計(jì)出高分辨率圖像X*。
在高、低分辨率字典訓(xùn)練時(shí),本文使用了77 張標(biāo)準(zhǔn)的自然圖像作為訓(xùn)練集。部分用以高、低字典對(duì)訓(xùn)練的訓(xùn)練圖像如圖2 所示。
圖2 部分訓(xùn)練圖像
首先使用的訓(xùn)練圖像是不含有噪聲的,其中高分辨率圖像Ih= {I},與之對(duì)應(yīng)的低分辨率圖像Il= {I}。這里值得注意的是,為了提高相鄰貼片之間的兼容性,使它們具有相同的圖像尺寸,低分辨率圖像先進(jìn)行下采樣再插值放大,如公式(2)所示:
其中,H為上采樣因子,下采樣、插值放大均使用雙立方插值。分別對(duì)高、低分辨圖像{Ih,Il}進(jìn)行分塊處理,圖像塊大小都是w×w。最終,得到高、低分辨率圖像塊{ph,pl}。如公式(3)所示。
類似于SRCR[9]中的字典設(shè)計(jì)思路,假設(shè)原始高分辨率圖像和輸入低分辨率圖像分別在耦合字典HD和LD上具有相同的稀疏系數(shù)。和傳統(tǒng)算法不同的是,為了增加對(duì)噪聲的抗干擾性,參與高分辨率字典HD訓(xùn)練的不僅是高分辨率圖像塊HP的紋理結(jié)構(gòu),低分辨率圖像塊LP的紋理結(jié)構(gòu)也被用來學(xué)習(xí)。在重建階段,HD可以用來估計(jì)高分辨圖像和不含噪聲的低分辨圖像。LD代表了圖像的基本結(jié)構(gòu),為了提取適當(dāng)?shù)奶卣?,本文使用簡單有效的一階導(dǎo)數(shù)和二階導(dǎo)數(shù)作為濾波函數(shù)。用于提取特征的4 個(gè)濾波器為
基于上面給出的濾波器,可以提取每個(gè)圖像塊的4 個(gè)不同方向的特征。將4 個(gè)特征向量拼接成一個(gè)向量并作為低分辨率圖像塊的最終特征表示。
通過上述方法,字典訓(xùn)練數(shù)據(jù)可以通過以下方式獲得:
其中:(pH,pL)是相應(yīng)的高、低分辨率圖像對(duì),是的平均值,是的平均值,F(xiàn)()是由公式(4)提取的特征向量并將4 個(gè)特征向量拼接成一個(gè)向量。由于高、低分辨率圖像塊提取特征方式的不同,DH∈RN×S和DL∈RM×S并不是簡單的線性連接,其中S是字典中原子的數(shù)目。因此通過使用公式(6)來完成字典聯(lián)合訓(xùn)練的過程。
其中N和M是向量形式的高、低分辨率圖像貼片的尺寸。在實(shí)際訓(xùn)練過程中,可以將上述公式簡化為
訓(xùn)練的過程是一個(gè)典型的稀疏系數(shù)求解的過程。然而,求解稀疏模型的過程往往需要花費(fèi)很多的時(shí)間。Zeyde 等[10]通過OMP[14]和PCA[15]節(jié)省了字典學(xué)習(xí)的時(shí)間。所以,對(duì)于稀疏字典的學(xué)習(xí),本文使用Zeyde 等[10]的方法。
首先,將輸入的低分辨率圖像LY通過雙立方插值放大到和原始高分辨率圖像XH相同的尺寸大小。然后將其分割成大小為w×w,數(shù)目為N的重疊低分辨率圖像補(bǔ)丁。
其中Vi是噪聲。假設(shè)它是均值為零且方差為σ2的高斯噪聲,由于局部圖像結(jié)構(gòu)具有重復(fù)性,可以找到和結(jié)構(gòu)相似的圖像補(bǔ)丁集合{},pl},并通過合理的權(quán)值分配重建估計(jì)的高分辨率圖像補(bǔ)?。?/p>
其中,權(quán)重向量ωi=[ωi1,ωi2,...,ωik]T,而k是相似圖像補(bǔ)丁的數(shù)目。
通過上述描述,可以得到如下推導(dǎo):
其中,Vi是假設(shè)的均值為零且方差為σ2的高斯噪聲,所以εi和σ2相關(guān)。也就是說,在誤差可控的范圍內(nèi),通過輸入的低分辨率圖像補(bǔ)丁和選取的相似圖像補(bǔ)丁可以得到合理的權(quán)值分配ωi。因此,重建階段的關(guān)鍵在于從pl選取和輸入圖像補(bǔ)丁結(jié)構(gòu)相似的圖像補(bǔ)丁集合,并獲得合理的權(quán)重分配ωi。傳統(tǒng)算法通過歐式距離來描述這種相似性。雖然計(jì)算方法簡單,但是要從龐大的示例庫中為每個(gè)輸入尋找相似的圖像補(bǔ)丁,需要花費(fèi)大量的時(shí)間。由于稀疏字典可以使信號(hào)的主要成分集中在少許幾個(gè)原子上,并且基于稀疏編碼的超分辨重建算法[10]展示了對(duì)噪聲良好的魯棒性。因此,本文選擇用稀疏字典代替原始的示例庫并從列原子中選取相似的圖像補(bǔ)丁集合,即() ∈(Dh,Dl)。
其中:sqrt(.)是開平方操作,sum(A, 1)是矩陣A的按列求和函數(shù),repmat(a,b) 使a和b具有相同的矩陣維數(shù),Dnl和)n是標(biāo)準(zhǔn)化后的低分辨率字典和輸入特征向量,F(xiàn)()n可以由Dnl表示:
其中:α= [α1,α2, … ,αj, … ,αs],表示低分辨率字典列原子,αj表示和F()n的相關(guān)性。其中,α的求解公式如下:
公式(16)和(17)展示了每個(gè)字典列原子與輸入特征向量之間的相關(guān)性。其中,αj越大,和F()n之間的相關(guān)性就越強(qiáng);反之,若αj很小或接近于零,則說明兩者之間幾乎沒有相關(guān)性。通過相似性的強(qiáng)弱選擇k個(gè)相似圖像補(bǔ)丁對(duì)= 1,2,…,k},
其中:abs(.)是求絕對(duì)值操作,S ortA(a,k)是將向量a從大到小排序,并返回前k個(gè)的索引值。這樣,就從稀疏字典對(duì)(Dh,Dnl)中找到了與輸入特征相似的k個(gè)圖像補(bǔ)丁對(duì)()。對(duì)應(yīng)的相似度大小βi=[βi1,βi2, … ,βij, … ,βik]計(jì)算公式如下:
其中 ,SortB(a,k) 是將向量a從大到小排序,并返回前k個(gè)的值。結(jié)合公式(15),本文提出了基于L2 范數(shù)正則化的最小二乘回歸的權(quán)值解法:
其中,?表示點(diǎn)乘。當(dāng)相似性很強(qiáng)時(shí),限制項(xiàng)會(huì)很小,從而得到較大的權(quán)重。相反,當(dāng)相似性較弱時(shí),限制項(xiàng)會(huì)變大,從而獲得較小的權(quán)重。具體過程如下,先計(jì)算每組相似圖像補(bǔ)丁之間的差異,即每個(gè)相似圖像補(bǔ)丁減去每組最相似的圖像補(bǔ)丁得到ib,再乘以每個(gè)相似圖像補(bǔ)丁的相似性iβ,從而得到最終的限制項(xiàng)iC。所以,改進(jìn)的最小二乘回歸模型如下:
其中:λ是正則化參數(shù),ωi是需要求解的權(quán)重。通過自適應(yīng)權(quán)值計(jì)算模型,ωi會(huì)得到合理的權(quán)值。這是一個(gè)L2范數(shù)的約束問題。本文采用0來求解ωi。閉式解表達(dá)式如下:
其中:S是線性縮放因子,是線性縮放后的重構(gòu)向量。根據(jù)高分辨率字典的訓(xùn)練方式,不僅包括估計(jì)的高分辨率圖像補(bǔ)丁還包括去噪后的低分辨率圖像補(bǔ)丁。這里值得注意的是,和具有相同的尺度大小。
含噪圖像的快速超分辨重建算法流程如下:
輸入:已訓(xùn)練的聯(lián)合稀疏字典DH和DL,低分辨率圖像YL,相似塊數(shù)目k,正則化參數(shù)λ;
輸出:高分辨率圖像X*;
初始化:對(duì)輸入低分辨率圖像YL作雙立方插值得到與高分辨率圖像XH同樣大小的低分辨圖像,作分塊處理得到低分辨率圖像塊,保證相鄰圖像塊在每個(gè)方向均有重疊像素。循環(huán)直到處理完所有的圖像塊:
(2)根據(jù)相關(guān)性系數(shù)α尋找k個(gè)相似圖像補(bǔ)丁對(duì)(),通過公式(20)、(22)計(jì)算得到限制項(xiàng)Ci。(3)通過公式(25)計(jì)算得到權(quán)值分配ωi。
(5)通過重疊區(qū)域的加權(quán)平均得到高分辨率圖像和去噪后的低分辨率圖像。
(6)根據(jù)和并結(jié)合公式(29)得到最終估計(jì)的高分辨率圖像X*。
在本節(jié)中,將Set5[16]、Set14[16]和B100[17]作為測(cè)試圖像庫。其中,分別包含5、14、100 張用于重建測(cè)試的圖片。由于人類對(duì)光源的變化更加敏感,因此本文算法只在亮度分量通道上執(zhí)行。首先將圖像轉(zhuǎn)換為YcbCr通道,然后將測(cè)試算法應(yīng)用于Y通道。
在本節(jié)中,分析算法的主要參數(shù)對(duì)實(shí)驗(yàn)結(jié)果的影響。其中包括正則化因子(γ)、字典數(shù)目大小、相似圖像塊個(gè)數(shù)。
2.1.1 正則化因子
在本文方法中正則化因子γ是一個(gè)非常重要的參數(shù)。所以,通過實(shí)驗(yàn)不同的γ來觀察結(jié)果并選擇最為合適的一個(gè)。設(shè)置實(shí)驗(yàn)基礎(chǔ)參數(shù):
(1)放大倍數(shù)×2,字典大小為1024 并且k=24;
(2)放大倍數(shù)×3,字典大小為1024 并且k=8。
采用Set5[16]作為測(cè)試圖像庫的實(shí)驗(yàn)結(jié)果如圖3 所示。發(fā)現(xiàn)曲線并不單調(diào),在γ=0.07時(shí)峰值信噪比(PSNR)獲得最優(yōu)值。研究發(fā)現(xiàn),對(duì)于不同的測(cè)試圖像庫,正則化因子γ的最優(yōu)值略有不同。因此,本文建議在實(shí)驗(yàn)中設(shè)置正則化因子γ=0.07。
圖3 正則化因子對(duì)PSNR 的影響
2.1.2 字典大小
在實(shí)驗(yàn)中,字典大小從64 到2048,并且訓(xùn)練樣本都是從訓(xùn)練圖像庫中訓(xùn)練得到的。設(shè)置實(shí)驗(yàn)基礎(chǔ)參數(shù):
(1)放大倍數(shù)×2,γ=0.07并且k=24;
(2)放大倍數(shù)×3,γ=0.07并且k=8。
采用Set5[16]作為測(cè)試圖像庫的實(shí)驗(yàn)結(jié)果如圖4 所示。發(fā)現(xiàn)字典數(shù)目越大,重建質(zhì)量就越好。同時(shí),也需要更高的計(jì)算成本。在圖像集Set14[16]和B100[17]中也可以得到類似的結(jié)論。為了權(quán)衡重建質(zhì)量和計(jì)算成本,接下來實(shí)驗(yàn)中字典大小為1024。結(jié)果如圖4 所示。
2.1.3 相似圖像塊個(gè)數(shù)
在相似塊的尋找過程中,需要為每個(gè)輸入圖像塊尋找相似成分,而相似圖像塊的個(gè)數(shù)k會(huì)影響該算法的性能。設(shè)置實(shí)驗(yàn)基礎(chǔ)參數(shù):
(1)放大倍數(shù)×2,字典大小為1024,γ=0.07;
(2)放大倍數(shù)×3,字典大小為1024,γ=0.07。
采用Set5[16]作為測(cè)試圖像庫的實(shí)驗(yàn)結(jié)果如圖5 所示,可以發(fā)現(xiàn)在放大倍數(shù)×2 的情況下,當(dāng)k=24時(shí),到達(dá)最佳的重建質(zhì)量。同樣,在放大倍數(shù)×3 的情況下,k=8。隨著k的增大,計(jì)算量和內(nèi)存消耗也會(huì)隨之增加,重建時(shí)間也會(huì)明顯增加。在圖像集Set14[16]和B100[17]中也可以得到類似的結(jié)論。所以,經(jīng)過權(quán)衡重構(gòu)質(zhì)量和計(jì)算時(shí)間,在實(shí)驗(yàn)中當(dāng)放大倍數(shù)×2 時(shí),設(shè)置k=24。當(dāng)放大倍數(shù)×3 時(shí),設(shè)置k=8。結(jié)果如圖5所示。
圖4 字典大小對(duì)性能的影響
圖5 相似塊個(gè)數(shù)k 對(duì)性能的影響
在本節(jié)中,為展示所提算法對(duì)噪聲圖像重建效果的提升,并與NE[6]、Zeyde[10]、A+[16]、SRCNN[17]、CSC[18]算法進(jìn)行比較,將峰值信噪比(PSNR)和結(jié)構(gòu)相似度(SSIM)作為客觀評(píng)判指標(biāo),并給出了算法的重構(gòu)時(shí)間,比較方法的代碼從本文作者的主頁下載。試驗(yàn)過程中,使用相同的參數(shù)設(shè)置,圖像塊補(bǔ)丁大小為6×6,重疊區(qū)域?yàn)?,正則化因子γ=0.07,字典大小為1024,放大倍數(shù)×2 時(shí),相似塊數(shù)目k=24,放大倍數(shù)×3 和×4 時(shí),相似塊數(shù)目k=8 。
表1 和表2 列出了PSNR 和SSIM 的比較。當(dāng)標(biāo)準(zhǔn)差σ=0時(shí),算法CSC[18]表現(xiàn)出了最好的性能,但這和實(shí)際應(yīng)用情況不符。而當(dāng)σ≠0 時(shí),在圖像集Set5[16]、Set14[16]和B100[17]中進(jìn)行了測(cè)試,結(jié)果證明本文提出的算法比其他方法更加具有優(yōu)越性。與CSC[18]相比,當(dāng)測(cè)試集為Set5[16]、放大倍數(shù)×2 時(shí),在σ=10時(shí)獲得最小5.94 dB 的PSNR 提升。在σ=20時(shí),獲得最大7.96 dB 的PSNR 提升。同樣也優(yōu)于具有噪聲抑制作用的Zeyde[10]算法,在σ=10時(shí),獲得最小4.58 dB 的PSNR 提升。在σ=20時(shí),獲得最大6.36 dB 的PSNR 提升。當(dāng)測(cè)試集為B100[17],放大倍數(shù)×3時(shí),與CSC[18]相比,在σ=10時(shí),獲得最小2.39 dB的PSNR 提升。在σ=20時(shí),獲得最大5.40 dB 的PSNR 提升。同樣也優(yōu)于Zeyde[10]算法,在σ=10時(shí),獲得最小0.64 dB 的PSNR 提升。在σ=20時(shí),獲得最大3.81 dB 的PSNR 提升。圖6—8 提供了各種方法的重建圖像,可以發(fā)現(xiàn)本文方法面對(duì)噪聲圖像時(shí),具有更強(qiáng)的魯棒性從而獲得更好的重建效果。
該算法結(jié)合迭代反投影(IBP),將去噪后的低分辨率圖像用于提高重建高分辨率圖像的性能。根據(jù)文[20],IBP 可以提高超分辨率重建的效果,但如果輸入的是含有噪聲的低分辨率圖像,IBP 模型會(huì)將噪聲傳播到重建的高分辨率圖像。實(shí)驗(yàn)結(jié)果證明,如果直接輸入含噪聲的低分辨率圖像,IBP 算法性能會(huì)變差。結(jié)果如表3 所示,設(shè)置的迭代次數(shù)為20。從表3 可以看出,該方法具有優(yōu)越性。其他測(cè)試數(shù)據(jù)集Set14[16]和B100[17]也可以獲得類似的結(jié)果。
表1 σ=0,PSNR 和SSIM 的比較結(jié)果
表2 σ ≠0,PSNR 和SSIM 的比較結(jié)果
圖6 Baby 的各種圖像超分辨率方法重建效果對(duì)比(放大倍數(shù)×2,σ=10)
圖7 14037 的各種圖像超分辨率方法重建效果對(duì)比(放大倍數(shù)×3,σ=10)
圖8 Face 的各種圖像超分辨率方法重建效果對(duì)比(放大倍數(shù)×3,σ=10)
表3 IBP 對(duì)平均PSNR 和SSIM 的影響(Set5)
采用權(quán)重限制模型進(jìn)行權(quán)重的計(jì)算。為了驗(yàn)證對(duì)改善超分辨率重建性能的效果,在Set5[16]測(cè)試數(shù)據(jù)庫上分別執(zhí)行帶權(quán)重限制和不帶權(quán)重限制的方法,并嘗試不同的正則化因子γ。結(jié)果如圖9 所示,由此可見權(quán)重限制模型獲得了較好的重建效果,其優(yōu)越性是顯而易見的。其他測(cè)試數(shù)據(jù)集Set14[16]和B100[17]也可以獲得類似的結(jié)果。
圖9 距離懲罰對(duì)平均PSNR (dB)的影響(Set5)
本文提出一種含噪圖像的快速超分辨率重建算法,可以很好解決含噪圖像的超分辨率問題。在字典訓(xùn)練階段使用無噪聲的示例圖像,所以面對(duì)不同噪聲方差的輸入圖像,并不需要重新訓(xùn)練字典。在訓(xùn)練的過程中,低分辨率的紋理結(jié)構(gòu)也被用來學(xué)習(xí)字典,而不是僅僅學(xué)習(xí)它們的梯度特征。該方法的核心思想在于重建高分辨率圖像的同時(shí)也重建了輸入的低分辨率圖像,這將有助于迭代反投影算法[19]進(jìn)一步提高重建的性能。利用稀疏字典的列原子來計(jì)算權(quán)值和重構(gòu)向量,這大大減少了計(jì)算時(shí)間并通過稀疏表達(dá)抑制了噪聲。實(shí)驗(yàn)結(jié)果表明,該方法具有很好的魯棒性。