基于小波域的圖像超分辨率重建方法

董本志， 于明聰， 趙 鵬

(東北林業(yè)大學(xué) 信息與計(jì)算機(jī)工程學(xué)院，黑龍江 哈爾濱150040)

1 引 言

圖像超分辨率重建[1](Super-Reconstruction，SR)是通過(guò)低分辨率 (Low Resolution, LR)圖像或者圖像序列恢復(fù)出高分辨率(High Resolution, HR)圖像的技術(shù)，由Harris[2]等人在20世紀(jì)60年代首次提出，之后在衛(wèi)星成像[3]、醫(yī)學(xué)成像[4]、光學(xué)成像[5]、圖像生成[6]、生物成像[7]等計(jì)算機(jī)視覺(jué)任務(wù)和圖像處理領(lǐng)域均取得了突出成就。目前主流方法有基于插值、基于重構(gòu)、基于學(xué)習(xí)3種。

基于插值和基于重構(gòu)的方法對(duì)自然圖像的先驗(yàn)知識(shí)具有較大的依賴(lài)性，從而導(dǎo)致處理復(fù)雜圖像時(shí)無(wú)法恢復(fù)出更多的細(xì)節(jié)信息，重建能力有限?；趯W(xué)習(xí)的方法通過(guò)建立高、低分辨率圖像兩者之間的映射關(guān)系，利用學(xué)習(xí)獲得的先驗(yàn)知識(shí)來(lái)完成高分辨率圖像的重建。目前基于學(xué)習(xí)的方法主要有基于稀疏表示、近鄰嵌入和深度學(xué)習(xí)的方法。Timofte[8]等人將稀疏字典和領(lǐng)域嵌入進(jìn)行結(jié)合，提出了錨定領(lǐng)域回歸算法和改進(jìn)后的錨定領(lǐng)域回歸(A+)算法，計(jì)算效率得到了提高，但圖像細(xì)節(jié)恢復(fù)效果較差。傳統(tǒng)學(xué)習(xí)模型的特征提取和表達(dá)能力極其有限，很大程度上限制了重建效果，而基于深度學(xué)習(xí)的方法以其強(qiáng)大的學(xué)習(xí)能力在超分辨率領(lǐng)域得到了廣泛的應(yīng)用，重建效果相較于其他方法具有大幅提升。

基于深度學(xué)習(xí)的SR研究中，Dong[9]等人首次提出了基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的超分辨率圖像重建方法SRCNN，通過(guò)端對(duì)端的訓(xùn)練學(xué)習(xí)來(lái)解決SR問(wèn)題。SRCNN具有3個(gè)卷積層，分別代表圖像塊的特征提取、表示和重構(gòu)，顯著提高了傳統(tǒng)方法的重構(gòu)進(jìn)度。但是該網(wǎng)絡(luò)學(xué)習(xí)到的特征單一且感受野太小，缺乏語(yǔ)境信息，收斂速度慢，同時(shí)計(jì)算花銷(xiāo)很大。隨后FSRCNN[10]、ESPCN[11]等利用反卷積層以及亞像素卷積層替代SRCNN 模型中雙三次插值的操作，有效減少了總計(jì)算復(fù)雜度，但是隨著網(wǎng)絡(luò)層數(shù)的加深，訓(xùn)練花銷(xiāo)和構(gòu)建難度逐漸增大。何凱明[12]于2015年提出的殘差網(wǎng)絡(luò)(Resnet)使網(wǎng)絡(luò)深度大幅加深得以實(shí)現(xiàn)，在減少訓(xùn)練時(shí)間和加快收斂速度方面展現(xiàn)了較強(qiáng)的優(yōu)勢(shì) ?；谶@一思想，Kim等人在SRCNN的基礎(chǔ)上，提出了超分辨率重建深度網(wǎng)絡(luò)[13](VDSR)和循環(huán)超分辨率神經(jīng)網(wǎng)絡(luò)[14](DRCN)。通過(guò)梯度裁剪、跳躍連接、遞歸監(jiān)督等方法，降低了深度網(wǎng)絡(luò)訓(xùn)練的難度。但是其輸入圖像需要進(jìn)行雙三次線(xiàn)性插值放大的預(yù)處理，會(huì)丟失低分辨率圖像的原始信息，導(dǎo)致最終結(jié)果出現(xiàn)偽影問(wèn)題。隨后的基于殘差網(wǎng)絡(luò)的超分辨率模型，如DRNN[15]，LapSRN[16]，SRResNet[17]，DenseNet[18]等陸續(xù)被提出。然而上述模型都是通過(guò)單尺寸卷積模塊的線(xiàn)性疊加實(shí)現(xiàn)網(wǎng)絡(luò)縱向加深，以追求其更高的表達(dá)能力和抽象能力。然而伴隨著網(wǎng)絡(luò)的加深，從原始圖像中提取到的淺層特征逐漸被淡化，在逐層卷積和過(guò)濾計(jì)算的過(guò)程中會(huì)出現(xiàn)結(jié)構(gòu)信息丟失從而出現(xiàn)偽像。2018年Li[19]等人提出了雙通道卷積神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)通過(guò)特有的深、淺雙通道提取特征信息，獲取了更多原始圖像信息，具有較好的重建效果。同年，Du[20]等人通過(guò)引入多尺度卷積濾波器競(jìng)爭(zhēng)策略來(lái)增強(qiáng)網(wǎng)絡(luò)的重建能力，可以自適應(yīng)地選擇圖像重建信息的最優(yōu)尺度，并在有限的計(jì)算資源下構(gòu)建了淺層網(wǎng)絡(luò)，擴(kuò)展性較強(qiáng)，處理實(shí)際問(wèn)題時(shí)效果很好。但是這兩種算法仍不能充分利用原始圖像信息的結(jié)構(gòu)與細(xì)節(jié)信息。

小波變換具有多分辨率分析功能和逐步分解等特性，能夠在圖像重建過(guò)程中全面利用圖像的結(jié)構(gòu)與細(xì)節(jié)信息，使得超分辨率重建后的圖像信息豐富且細(xì)節(jié)清晰。Bae[21]等人于2017年提出利用小波殘差網(wǎng)絡(luò)來(lái)進(jìn)行圖像超分辨率重建和圖像去噪；相似地，Guo[22]等人提出一種基于小波變換的深度網(wǎng)絡(luò)來(lái)恢復(fù)圖像損失的細(xì)節(jié)，并取得了較好的結(jié)果。2018年，Liu[23]等人以U-NET[24]為網(wǎng)絡(luò)基本架構(gòu)，加入小波變換來(lái)進(jìn)行圖像超分辨率重建等任務(wù)。上述3種網(wǎng)絡(luò)在小波域內(nèi)重建效果可觀，但仍然未能充分利用每一個(gè)卷積層的信息。

針對(duì)上述方法的不足，本文提出基于小波域的殘差密集網(wǎng)絡(luò)(WRDSR)。WRDSR以神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)小波系數(shù)，將圖像重建從低維到高維的映射過(guò)程轉(zhuǎn)化為同等維度的預(yù)測(cè)，能夠更有效地重建出清晰圖像。同時(shí)，網(wǎng)絡(luò)采用密集連接、跳躍連接以及特征融合來(lái)加強(qiáng)網(wǎng)絡(luò)各層次的信息交流，防止了因激活層中線(xiàn)性整流函數(shù)(Rectified Linear Unit, ReLU)的截?cái)嘈?yīng)導(dǎo)致信息在傳遞過(guò)程中出現(xiàn)丟失的現(xiàn)象[25]，更好地捕捉上下文之間的信息，最后通過(guò)亞像素卷積與小波逆變換進(jìn)行圖像重構(gòu)，緩解棋盤(pán)效應(yīng)，進(jìn)而提高圖像重建質(zhì)量。

2 模型設(shè)計(jì)

基于小波域的殘差密集網(wǎng)絡(luò)模型(WRDSR)通過(guò)空域到小波域的變換來(lái)實(shí)現(xiàn)超分辨率圖像的重建。為了更加有效地提取特征并降低運(yùn)算的復(fù)雜度，網(wǎng)絡(luò)直接將LR 圖像的小波子帶圖像作為網(wǎng)絡(luò)的輸入，最終映射到HR圖像的小波域下，共分為小波分解、特征提取和小波重建3個(gè)模塊。首先，小波分解模塊利用二維離散小波變換將低分辨率圖像分解成4個(gè)不同頻率的子帶圖像以分離結(jié)構(gòu)與細(xì)節(jié)信息，使得后續(xù)網(wǎng)絡(luò)能夠?qū)Y(jié)構(gòu)與細(xì)節(jié)分別進(jìn)行最大程度的特征提取與留存。在特征提取過(guò)程中，模塊采用殘差密集網(wǎng)絡(luò)對(duì)小波分解輸出的4個(gè)LR小波子帶圖像實(shí)現(xiàn)特征提取。最后，小波重建模塊將殘差密集網(wǎng)絡(luò)輸出的特征圖通過(guò)亞像素卷積生成4個(gè)對(duì)應(yīng)的HR小波子帶圖像，經(jīng)二維離散小波逆變換生成最終的HR圖像。整體結(jié)構(gòu)如圖1所示。

圖1 網(wǎng)絡(luò)模型結(jié)構(gòu)

2.1 小波分解

小波變換已被證明是一種高效的特征提取方法[26]。它可以充分表達(dá)和利用一張圖像在不同水平上的上下文和紋理信息，二維離散小波變換(2DDWT)如圖2所示。同時(shí)小波變換具有正交性，因而可將其應(yīng)用到圖像超分辨率重建中。

圖2 二維離散小波變換

Huang等人[27]證明，圖像的高頻小波系數(shù)會(huì)隨著其模糊程度的增加而逐漸消失，獲得清晰SR圖像的關(guān)鍵在于還原低頻信息的同時(shí)也能還原高頻小波系數(shù)。所以SR可以看作是恢復(fù)輸入LR圖像細(xì)節(jié)的問(wèn)題，這可以與小波變換相結(jié)合，如果把變換后低頻小波圖像表示為L(zhǎng)R 圖像，那么其它的小波子帶圖像就是想要的重建圖像易缺失的高頻細(xì)節(jié)。WRDSR采用哈爾小波進(jìn)行2DDWT，其具體步驟為：首先對(duì)圖像的每一行進(jìn)行1DDWT，獲得原始圖像在水平方向上的低頻分量L和高頻分量H；然后分別對(duì)L、H的每一列進(jìn)行1DDWT，獲得原始圖像的水平和垂直低頻分量LL、水平低頻和垂直高頻分量LH、水平高頻和垂直低頻分量HL以及對(duì)角線(xiàn)高頻分量HH。輸入的LR圖像經(jīng)過(guò)2DDWT得到4個(gè)小波子帶圖像LRWav，即：

LRWav={LLL,LLH,LHL,LHH}∶=2DDWT{LR}，

(1)

式中，LLL,LLH,LHL,LHH是LR圖像生成的小波子帶圖像，分別對(duì)應(yīng)低頻分量、水平低頻垂直高頻分量、水平高頻垂直低頻分量和對(duì)角線(xiàn)高頻分量，2DDWT{LR}表示對(duì)LR圖像進(jìn)行2DDWT操作。

2.2 特征提取

特征提取模塊中的網(wǎng)絡(luò)由密集連接塊(Dense Block，DB)以及特征融合層組成，擁有4個(gè)輸入通道，分別對(duì)應(yīng)于2DDWT模塊中輸出的4個(gè)小波子帶圖像LLL,LLH,LHL,LHH，通過(guò)神經(jīng)網(wǎng)絡(luò)向前傳播表示為一系列特征圖。

首先，LRWav通過(guò)一個(gè)初始3×3的卷積層對(duì)4個(gè)輸入進(jìn)行淺層特征提取操作F1，得到淺層特征ILR：

ILR=F1(LRWav)

.

(2)

ILR隨后進(jìn)入由密集連接塊組成的深度特征提取層，其中每個(gè)密集連接塊內(nèi)分別含有3個(gè)3×3用于提取特征的卷積層以及3個(gè)用于調(diào)整神經(jīng)元的活躍度，增強(qiáng)網(wǎng)絡(luò)的非線(xiàn)性的ReLU層。層與層之間采用密集連接，同時(shí)前一個(gè)DB的輸出和每一層的輸出直接連接到后一層，既保持了前饋的特性，又可以結(jié)合圖像淺層低維特征(紋理、彩色、形狀)和深層的高維語(yǔ)義特征生成質(zhì)量更好的特征表示，減少了信息流在網(wǎng)絡(luò)中傳遞的損失。隨后在末端進(jìn)行塊內(nèi)特征融合并通過(guò)1×1卷積層實(shí)現(xiàn)降維，得到每個(gè)DB塊的特征圖輸出。DB結(jié)構(gòu)如圖3所示。

圖3 DB結(jié)構(gòu)

第i個(gè)DB輸出fd表示為：

fd=(FDBi(FDBi-1(…FDB1(ILR)…)))，

(3)

式中，F(xiàn)DBi表示第i個(gè)DB的特征提取操作。

每個(gè)DB的輸出，不僅作為下一個(gè)DB的輸入，同時(shí)也輸入到塊外特征融合來(lái)充分利用原始圖像中的分層特征，通過(guò)網(wǎng)絡(luò)的不同域信息流保留盡可能多的特征，對(duì)最后特征融合層的輸出利用1×1卷積層進(jìn)行降維得到最終小波預(yù)測(cè)系數(shù)f(LRWav)：

f(LRWav)=Fconcat(f1,f2,…,fd)，

(4)

式中，F(xiàn)concat為特征融合操作，fd為第i個(gè)DB輸出。為了整個(gè)深度網(wǎng)絡(luò)訓(xùn)練的穩(wěn)定性和特征提取的高效性，在DB塊內(nèi)以及整體特征提取模塊中加入殘差鏈接來(lái)避免梯度爆炸和梯度消失的問(wèn)題。

2.3 小波系數(shù)重建損失

在相機(jī)成像過(guò)程中，由于硬件方面的限制，生成的圖像上每個(gè)像素只代表附近的顏色，而在微觀上，實(shí)際物理像素之間還存在許多像素，即亞像素。在SR過(guò)程中，無(wú)法被傳感器檢測(cè)出來(lái)的亞像素可以通過(guò)算法近似計(jì)算出來(lái)，相當(dāng)于推理出圖像缺失的紋理細(xì)節(jié)等高頻信息。

WRDSR在提取了LR空間的特征后，采用亞像素卷積用于完成將非線(xiàn)性映射得到的高維小波特征圖超分辨率重建成高分辨率小波深度圖。假設(shè)目標(biāo)倍數(shù)為r，輸入的低分辨率特征圖大小為H×W，將其與通道數(shù)為r2的H×W亞像素卷積核進(jìn)行卷積，得到H×W×r2個(gè)像素值，再將其重新排列組合成大小為rH×rW的目標(biāo)圖像。上采樣過(guò)程如圖4所示。

圖4 亞像素卷積

小波逆變換得到最終重建結(jié)果SR，即：

SR=2DIDWT{f(LRWav)}，

(5)

式中，2DIDWT{f(LRWav)}表示對(duì)f(LRWav)進(jìn)行2DIDWT操作。

2.4 小波系數(shù)重建損失

神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程是一個(gè)通過(guò)迭代不斷降低損失值并得到最優(yōu)解的過(guò)程。在圖像空間常用的損失函數(shù)是對(duì)HR圖像和SR圖像逐像素進(jìn)行均方誤差操作，本文同樣采取這種方式，不同之處在于對(duì)圖像對(duì)應(yīng)的小波系數(shù)進(jìn)行這一操作。本文針對(duì)SR采用小波系數(shù)重建損失，標(biāo)簽為 HR圖像的小波系數(shù)HRWav：

HRWav={HLL,HLH,HHL,HHH}∶=2DDWT{HR}，

(6)

式中，HLL,HLH,HHL,HHH分別對(duì)應(yīng)低頻分量、水平低頻垂直高頻分量、水平高頻垂直低頻分量和對(duì)角線(xiàn)高頻分量的小波系數(shù)。

整體網(wǎng)絡(luò)的損失函數(shù)為：

(7)

3 實(shí) 驗(yàn)

3.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)硬件設(shè)備為PC：Intel(R)Core(TM)i7-6700 CPU@3.40 GHz處理器，4G運(yùn)行內(nèi)存，利用NVIDIA GeForce RTX 2080 Ti進(jìn)行GPU加速。軟件環(huán)境為window 10 系統(tǒng)下的Tensorflow機(jī)器學(xué)習(xí)框架。

3.2 實(shí)驗(yàn)數(shù)據(jù)及實(shí)驗(yàn)參數(shù)設(shè)置

實(shí)驗(yàn)數(shù)據(jù)分為訓(xùn)練集和測(cè)試集。訓(xùn)練集采用DIV2K數(shù)據(jù)集并通過(guò)水平、垂直方向反轉(zhuǎn)以及90°旋轉(zhuǎn)來(lái)增強(qiáng)數(shù)據(jù)集，其中DIV2K是Timofte[28]等發(fā)布的2K分辨率的高質(zhì)量數(shù)據(jù)集，近幾年被廣泛運(yùn)用在超分辨率領(lǐng)域，包含800張訓(xùn)練圖片，100張驗(yàn)證圖片和100張測(cè)試圖片。為了驗(yàn)證算法的有效性，選取4個(gè)標(biāo)準(zhǔn)測(cè)試集：Set5[29]，Set14[30]，BSD100[31]，Urban100[32]進(jìn)行測(cè)試。SET5、SET14和BSD100數(shù)據(jù)集中的圖像由自然場(chǎng)景組成，URBAN100數(shù)據(jù)集包含具有挑戰(zhàn)性的城市場(chǎng)景圖像以及不同頻段的細(xì)節(jié)。

訓(xùn)練時(shí)，礙于內(nèi)存限制，DB塊采用6塊，同時(shí)利用雙三次插值法以因子k(k=2,3,4)對(duì)原始HR圖像進(jìn)行下采樣，生成相應(yīng)的低分辨率圖像，并將HR圖像對(duì)應(yīng)的小波圖像作為訓(xùn)練標(biāo)準(zhǔn)，然后對(duì)每一次迭代后的結(jié)果利用式(7)進(jìn)行損失計(jì)算，采用ADAM優(yōu)化器進(jìn)行更新權(quán)重和偏置，初始學(xué)習(xí)率設(shè)置為0.001，訓(xùn)練過(guò)程中當(dāng)連續(xù)10個(gè)epochs損失函數(shù)沒(méi)有降低時(shí)將學(xué)習(xí)率削減一半，當(dāng)學(xué)習(xí)率低于0.000 02時(shí)停止整個(gè)訓(xùn)練過(guò)程。

對(duì)于原始彩色圖像，將每張彩色圖像從RGB顏色空間轉(zhuǎn)換為YCbCr彩色空間。由于人眼視覺(jué)相比于顏色對(duì)圖像亮度更加敏感，且在Y通道做映射關(guān)系不會(huì)影響圖像的重建質(zhì)量，所以?xún)H對(duì)Y通道即亮度通道做訓(xùn)練從而得到對(duì)應(yīng)的映射關(guān)系，對(duì)Cb、Cr 顏色分量進(jìn)行簡(jiǎn)單的插值放大，這樣可以在減輕計(jì)算開(kāi)銷(xiāo)的同時(shí)保證圖像的重建質(zhì)量。

3.3 實(shí)驗(yàn)結(jié)果及分析

基于文中算法流程，分別利用訓(xùn)練集和測(cè)試集進(jìn)行了實(shí)驗(yàn)，同時(shí)對(duì)SRCNN[9]、VDSR[13]、LapSRN[16]、DWSR[22]等進(jìn)行了復(fù)現(xiàn)。由于實(shí)驗(yàn)環(huán)境等差異，復(fù)現(xiàn)后的數(shù)據(jù)可能與原文獻(xiàn)實(shí)驗(yàn)數(shù)據(jù)有些許差異。

評(píng)價(jià)超分辨率圖像質(zhì)量主要分為主觀評(píng)價(jià)和客觀評(píng)價(jià)，前者是通過(guò)觀察者的主觀感受來(lái)評(píng)價(jià)重構(gòu)圖像質(zhì)量，后者是根據(jù)量化指標(biāo)來(lái)衡量輸出圖像質(zhì)量。其中，量化指標(biāo)采用圖像超分辨率常用的峰值信噪比(Peak Signal to Noise Ratio, PSNR)和圖像的結(jié)構(gòu)相似性(Structural Similarity, SSIM)。PSNR是基于MSE定義：

.

(8)

PSNR定義為：

(9)

式中，I和K表示兩個(gè)m×n的圖像，MAXI是圖像可能的最大像素值，通常PSNR越大，失真度越小。SSIM定義：

(10)

在客觀評(píng)價(jià)上將本文算法同雙三次線(xiàn)性插值(Bicubic)、SRCNN、VDSR、LapSRN、DWSR、Du[20]和SDSR 7種方法在4個(gè)測(cè)試集上的×2、×3、×4放大倍數(shù)進(jìn)行對(duì)比，對(duì)比結(jié)果為6次實(shí)驗(yàn)的平均值，指標(biāo)最高的數(shù)據(jù)加粗顯示，如表1所示。從表1可以看出，相比傳統(tǒng)Bicubic方法，基于學(xué)習(xí)的超分辨率重建方法在PSNR和SSIM上有著顯著的優(yōu)勢(shì)。在基于深度CNN的方法中，本文算法指標(biāo)全面優(yōu)于SRCNN。相比于DWSR的10層簡(jiǎn)單網(wǎng)絡(luò)，采用殘差密集網(wǎng)絡(luò)后，圖像特征提取能力更強(qiáng)，同時(shí)獲取淺層結(jié)構(gòu)和細(xì)節(jié)信息更多，重建效果更優(yōu)。相比于VDSR、LapSRN和SDSR，WRDSR在Set5、Set14和BSD100上測(cè)試結(jié)果基本持平，Set5和Set14上個(gè)別PSNR稍稍遜色于Du[20]。相比于其他算法，WRDSR在Urban100上優(yōu)勢(shì)明顯，并且SSIM普遍高于其他算法，這得益于小波變換與殘差密集網(wǎng)絡(luò)相結(jié)合獲取到了更多圖像中不同層次的結(jié)構(gòu)性信息，并且Urban100中以城市場(chǎng)景圖像為主，富含不同頻段的細(xì)節(jié)，結(jié)構(gòu)性信息豐富，從而結(jié)構(gòu)相似性更高，重建效果更加優(yōu)秀。

表1 PSNR/SSIM結(jié)果對(duì)比表

圖5 標(biāo)準(zhǔn)測(cè)試集測(cè)試結(jié)果

在主觀評(píng)價(jià)上，為了更加清晰地對(duì)比本文算法與其他算法的重建結(jié)果，分別從Set5的×2結(jié)果、Set14的×3結(jié)果、Urban100的×4結(jié)果中分別挑選一張圖片進(jìn)行比較，如圖5所示。圖5中，Set5蝴蝶圖像測(cè)試結(jié)果很好地保留了黑色線(xiàn)條上的豁口以及紋理邊緣的不平整性，而其他結(jié)果線(xiàn)條過(guò)于平滑，并未完整保留原始圖像特征。Set14中No.1的重建結(jié)果在胡須等細(xì)節(jié)恢復(fù)優(yōu)秀的基礎(chǔ)上，整體直觀感受更接近于原圖。對(duì)于Urban100中No.92重建圖像，本文方法生成的圖像線(xiàn)條紋理更加清晰和銳利，線(xiàn)條溝壑的結(jié)構(gòu)清晰可見(jiàn)，而其他結(jié)果中線(xiàn)條邊緣比較模糊，信息損失嚴(yán)重。上述結(jié)果圖中直觀感受更強(qiáng)的原因是殘差密集網(wǎng)絡(luò)在提取圖像特征時(shí)，有效地獲取到更多由小波變換所提供的結(jié)構(gòu)性信息，使得在重建圖像時(shí)結(jié)構(gòu)性更強(qiáng)，更加接近于原始圖像。

本文算法在非標(biāo)準(zhǔn)測(cè)試集上也進(jìn)行了測(cè)試以驗(yàn)證算法的普適性。測(cè)試集數(shù)據(jù)采集地點(diǎn)為東北林業(yè)大學(xué)帽兒山實(shí)驗(yàn)林場(chǎng)，以其30～40 年生的大葉榆、大果榆、裂葉榆、春榆等榆樹(shù)上榆紫葉甲蟲(chóng)為研究對(duì)象，拍攝到200 張像素大小為500×375 的圖片數(shù)據(jù)。測(cè)試圖像進(jìn)行3倍Bicubic下采樣并通過(guò)WRDSR進(jìn)行3倍放大得到測(cè)試結(jié)果，平均PSNR為35.29 dB，平均SSIM為0.938 9，測(cè)試結(jié)果如圖6所示，其中第1行為原始圖像，第2行為退化后圖像經(jīng)WRDSR恢復(fù)后圖像。在對(duì)實(shí)際圖像進(jìn)行重建時(shí)，無(wú)論是榆紫葉甲蟲(chóng)還是樹(shù)葉等背景圖像，均得到很好地重建，樹(shù)葉紋理清晰，孔洞等結(jié)構(gòu)性信息很好地保留了下來(lái)。

圖6 非標(biāo)準(zhǔn)測(cè)試集測(cè)試結(jié)果。(a)原始圖像；(b)退化后經(jīng)WRDSR恢復(fù)圖像。

圖7 WRDSR與其他5個(gè)算法在urban100數(shù)據(jù)集×2超分辨率重建的平均運(yùn)行時(shí)間比較

(a) Learning rate： 0.01

(b) Learning rate: 0.001圖8 收斂速度對(duì)比

基于深度CNN的6個(gè)SISR方法在urban100上×3超分辨率重建的平均運(yùn)行時(shí)間對(duì)比上, WRDSR在保證了恢復(fù)質(zhì)量的同時(shí)，算法的重建速度方面也具有一定的優(yōu)勢(shì)，參見(jiàn)圖7。相較于DWSR的10層簡(jiǎn)單網(wǎng)絡(luò)，WRDSR網(wǎng)絡(luò)層數(shù)更多，結(jié)構(gòu)更復(fù)雜，所以重建速度稍慢于DWSR。同時(shí)也可看出，WRDSR和DWSR兩種基于小波變換的算法在重建速度上優(yōu)于其他非小波域算法，這是緣于小波變換的稀疏性，使得網(wǎng)絡(luò)參數(shù)大幅度減少，提高了網(wǎng)絡(luò)的整體性能。

3.4 收斂速率

本文算法除主觀評(píng)價(jià)與客觀評(píng)價(jià)外，在收斂速率上較其他算法也存在優(yōu)勢(shì)。如圖8所示，分別以0.01和0.001的學(xué)習(xí)率進(jìn)行收斂速率實(shí)驗(yàn)，其中本文算法和DWSR在小波域下進(jìn)行訓(xùn)練，Bicubic、SRCNN和VDSR在非小波域下進(jìn)行訓(xùn)練。

通過(guò)兩種學(xué)習(xí)率下的結(jié)果均可看出，小波域訓(xùn)練算法相較于非小波域訓(xùn)練算法收斂速度具有一定的優(yōu)勢(shì)，其具體原因如圖9所示。大小為40×40的原始圖像經(jīng)小波變換后分成4個(gè)20×20的子圖像，這樣在訓(xùn)練時(shí)大大減少了卷積計(jì)算量，也縮小了重建所需的最小接收域。而相較于DWSR在小波域下，本文算法通過(guò)密集連接充分獲取了各層次特征，在同等epoch下獲取到了更多重建所需的信息，因而PSNR平均增長(zhǎng)速度更快，收斂更早。

圖9 小波變換樣例

4 結(jié) 論

基于小波域的殘差密集網(wǎng)絡(luò)，可以很好地利用小波變換分離結(jié)構(gòu)與細(xì)節(jié)信息的能力，同時(shí)也利用了殘差密集網(wǎng)絡(luò)對(duì)底層信息獲取力強(qiáng)的優(yōu)點(diǎn)，有效解決了傳統(tǒng)圖像超分辨率重建算法原始圖像信息利用不足的問(wèn)題。在客觀評(píng)價(jià)上與算法Bicubic、SRCNN、VDSR、LapSRN、DWSR和SDSR相比，WRDSR在評(píng)價(jià)指標(biāo)PSNR/SSIM上平均提高了2.824 dB/0.059 5、0.747 dB/0.016 8、0.016 dB/0.002 4、0.025 dB/0.004 3、0.21 dB/0.004 7和0.20 dB/0.005 7。主觀評(píng)價(jià)上，重建圖像具有更銳利的邊緣和清晰的輪廓，更多地保留了原始圖像的信息，具有更好的圖像辨識(shí)度和視覺(jué)效果。