左龍,張鵬,荊樹旭,趙一,李凡

(1.長(zhǎng)安大學(xué)信息工程學(xué)院,710054,西安;2.西安電子科技大學(xué)通信工程學(xué)院,710071,西安)3.西安交通大學(xué)信息與通信工程學(xué)院,710049,西安)

圖像超分辨率(SR)是從一張或多張低分辨率(LR)圖像中恢復(fù)出高分辨率(HR)圖像。近些年,隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展,基于深度學(xué)習(xí)的SR技術(shù)也隨著取得了迅猛發(fā)展,并在行人識(shí)別、安全監(jiān)控、醫(yī)學(xué)成像等眾多領(lǐng)域得到了廣泛的應(yīng)用[1-3]。然而,圖像SR是一個(gè)不適定的逆問題,每個(gè)LR圖像都可能對(duì)應(yīng)多個(gè)重建方案。近些年,許多研究人員使用深度學(xué)習(xí)技術(shù)解決這種逆問題,取得了有效的成果[4-7]。最近的很多研究成果也表明,網(wǎng)絡(luò)的深度對(duì)于提升模型的重建性能至關(guān)重要,更深的網(wǎng)絡(luò)能夠從輸入的低分辨率圖像中能學(xué)習(xí)到更多信息。然而,簡(jiǎn)單地堆疊網(wǎng)絡(luò)深度并不會(huì)對(duì)網(wǎng)絡(luò)帶來太大的提升,甚至?xí)褂?xùn)練變得更加困難,使網(wǎng)絡(luò)更難以收斂。

基于此,一些學(xué)者將殘差結(jié)構(gòu)和深度網(wǎng)絡(luò)相結(jié)合,推出了一些效果十分出眾的模型,如VDSR[8]、RCAN[9]等。這些模型通過加入網(wǎng)絡(luò)之間的跳躍連接,讓圖像的低頻信息可以繞過網(wǎng)絡(luò),使網(wǎng)絡(luò)的主通道更加專注于學(xué)習(xí)圖像的高頻細(xì)節(jié),提高了重建的效果。然而,這些算法在圖像邊緣和紋理重建方面仍然不盡如人意,經(jīng)常會(huì)出現(xiàn)幾何結(jié)構(gòu)變形和扭曲、邊緣模糊、細(xì)節(jié)紋理缺失等現(xiàn)象,導(dǎo)致重建圖像的視覺效果及客觀指標(biāo)評(píng)價(jià)均不佳。

RCAN網(wǎng)絡(luò)中提出的殘差中的殘差(RIR)結(jié)構(gòu)試圖通過結(jié)合殘差網(wǎng)絡(luò)的粗粒度和細(xì)粒度信息使網(wǎng)絡(luò)專注于高頻信息的學(xué)習(xí),但是RCAN網(wǎng)絡(luò)簡(jiǎn)單地堆疊RIR結(jié)構(gòu),導(dǎo)致網(wǎng)絡(luò)訓(xùn)練過慢、參數(shù)量過大。另外,VDSR、RCAN等使用殘差結(jié)構(gòu)的網(wǎng)絡(luò)在訓(xùn)練時(shí)使用不考慮人類視覺的L1損失函數(shù),不利于網(wǎng)絡(luò)對(duì)于圖像邊緣、紋理等高頻信息的學(xué)習(xí)。

不同于傳統(tǒng)超分網(wǎng)絡(luò)使用單一通道學(xué)習(xí)圖像特征,本文設(shè)計(jì)了一種用于圖像超分辨率重建的雙通道殘差網(wǎng)絡(luò)。使用包含跳躍連接和通道注意力模塊的殘差組作為網(wǎng)絡(luò)的主通道,并在每一個(gè)殘差組之外并構(gòu)了一個(gè)包含自適應(yīng)結(jié)構(gòu)化卷積的輔助通道,為主通道提供了自適應(yīng)的感受野,增強(qiáng)了網(wǎng)絡(luò)學(xué)習(xí)圖像結(jié)構(gòu)、邊緣等高頻信息的能力,加快了網(wǎng)絡(luò)的收斂速度,極大地提高了圖像的重建質(zhì)量。為了加強(qiáng)網(wǎng)絡(luò)學(xué)習(xí)高頻信息的能力,在損失函數(shù)中引入了能保留圖像邊緣和細(xì)節(jié)的多尺度結(jié)構(gòu)相似度損失函數(shù)。實(shí)驗(yàn)結(jié)果表明,在重建效果類似的情況下,本文網(wǎng)絡(luò)的層數(shù)遠(yuǎn)低于傳統(tǒng)殘差網(wǎng)絡(luò)的。

1 相關(guān)研究

隨著深度學(xué)習(xí)的不斷發(fā)展,許多學(xué)者將深度學(xué)習(xí)技術(shù)應(yīng)用于圖像SR領(lǐng)域,提出了許多優(yōu)秀的算法,較傳統(tǒng)算法有了顯著的效果提升。Dong等在2014年提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率重建算法(SRCNN)[10]。這是一個(gè)3層的卷積神經(jīng)網(wǎng)絡(luò)(CNN),雖然網(wǎng)絡(luò)較為簡(jiǎn)單、感受野小、收斂速度慢,但是相較于傳統(tǒng)的圖像超分辨算法,其在重建效果與速度方面均有質(zhì)的提升。為了提升網(wǎng)絡(luò)的圖像SR重建效果,必然使用更寬或者更深的神經(jīng)網(wǎng)絡(luò),但是簡(jiǎn)單地提升網(wǎng)絡(luò)深度必然會(huì)帶來網(wǎng)絡(luò)難以訓(xùn)練與收斂、梯度爆炸等一系列問題,因此許多研究人員在卷積網(wǎng)絡(luò)的設(shè)計(jì)中加入了殘差結(jié)構(gòu)。Kim等在2016年提出的20層VDSR網(wǎng)絡(luò)首次將殘差結(jié)構(gòu)與卷積網(wǎng)絡(luò)相結(jié)合應(yīng)用于圖像SR任務(wù)中[8]。由于加深了網(wǎng)絡(luò)的深度,VDSR算法的學(xué)習(xí)能力顯著加強(qiáng),網(wǎng)絡(luò)重建圖像的效果也更好。Tai等在2017年提出了結(jié)合局部殘差連接和殘差單元的遞歸學(xué)習(xí)算法和52層的深度遞歸殘差網(wǎng)絡(luò)(DRRN)[11]。為進(jìn)一步加深網(wǎng)絡(luò)深度,Tai等還將記憶模塊引入圖像SR任務(wù),提出了深度達(dá)到80層的長(zhǎng)期記憶網(wǎng)絡(luò)(MemNet)[12]。Li等在2018年首次將圖像多尺度特征應(yīng)用于殘差結(jié)構(gòu)中,提出了多尺度殘差網(wǎng)絡(luò)(MSRN)[13]。Ahn等在2018年將局部級(jí)聯(lián)和全局級(jí)聯(lián)的方式引入SR網(wǎng)絡(luò)設(shè)計(jì),提出了級(jí)聯(lián)殘差網(wǎng)絡(luò)(CARN),該網(wǎng)絡(luò)使用了多級(jí)表示和快捷連接,網(wǎng)絡(luò)更加輕量化[14]。He等在2019年借鑒微分動(dòng)力學(xué)系統(tǒng)設(shè)計(jì)了一種輕量型的圖像超分辨率重建網(wǎng)絡(luò)(OISR),使用改進(jìn)的前向歐拉公式設(shè)計(jì)網(wǎng)絡(luò)的殘差塊,使網(wǎng)絡(luò)更容易收斂[15]。Zhang等在2018年首次將通道注意力機(jī)制應(yīng)用于圖像超分辨問題中,設(shè)計(jì)出殘差通道注意力網(wǎng)絡(luò)RCAN,通過自適應(yīng)的學(xué)習(xí)通道之間的相互依賴性使得網(wǎng)絡(luò)專注學(xué)習(xí)重要的通道特征,從而提高網(wǎng)絡(luò)的性能[9]。RCAN網(wǎng)絡(luò)中設(shè)計(jì)了RIR結(jié)構(gòu),通過在殘差結(jié)構(gòu)中結(jié)合使用長(zhǎng)跳連接和短跳連接,有效加快了網(wǎng)絡(luò)的收斂速度,提高了網(wǎng)絡(luò)的重建性能。但是,現(xiàn)有算法在重建圖像的幾何結(jié)構(gòu)、紋理細(xì)節(jié)方面等高頻信息方面仍然表現(xiàn)不盡如人意,所以本文提出了一種雙通道殘差網(wǎng)絡(luò)來解決這個(gè)問題。

2 用于圖像超分辨率的雙通道殘差網(wǎng)絡(luò)

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文網(wǎng)絡(luò)由淺層特征提取模塊、特征映射模塊以及重建模塊共3大模塊組成,網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。本文用ILR表示網(wǎng)絡(luò)的輸入。在特征預(yù)提取模塊中,使用了一個(gè)卷積層對(duì)輸入圖像進(jìn)行淺層特征的提取,抽象為公式

F0=HSF(ILR)

(1)

圖1 網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Network structure

式中:HSF表示提取淺層特征的卷積運(yùn)算;F0表示從ILR中提取的淺層特征。

在特征映射模塊中,使用雙通道的殘差結(jié)構(gòu)作為網(wǎng)絡(luò)的基礎(chǔ)模塊,通過堆疊基礎(chǔ)模塊加速網(wǎng)絡(luò)。這種結(jié)構(gòu)增加了殘差學(xué)習(xí)的感受野與速度,加強(qiáng)了網(wǎng)絡(luò)的學(xué)習(xí)能力。將第N個(gè)殘差組的輸入與運(yùn)算分別表示為FN-1與RN(FN-1),輔助通道的運(yùn)算表示為AN(FN-1),則第N個(gè)基礎(chǔ)模塊的輸出為主通道輸出與輔助通道輸出的點(diǎn)積,表示為

FN=RN(FN-1)?AN(FN-1)

(2)

式中:FN表示第N個(gè)基礎(chǔ)模塊的輸出結(jié)果;?表示矩陣的點(diǎn)乘運(yùn)算。特征映射模塊的輸出FFM視作圖像的深層特征,FFM由第G個(gè)基礎(chǔ)模塊的輸出FG和淺層特征得到

FFM=F0+HC(FG)

(3)

式中HC表示特征映射模塊最后的卷積層運(yùn)算。將FFM通過重建模塊即一個(gè)上采樣塊和一個(gè)卷積層后,輸出網(wǎng)絡(luò)重建的圖像

(4)

2.2 輔助通道

現(xiàn)有的圖像SR中,重建算法經(jīng)常會(huì)使自然圖像中所包含的幾何結(jié)構(gòu)以及邊緣信息出現(xiàn)斷裂、彎曲、模糊等現(xiàn)象,導(dǎo)致重建圖像難以獲得良好的視覺效果。為了在重建過程中更好地保留原始圖像的幾何結(jié)構(gòu)和邊緣信息,本文在主通道之外并構(gòu)了一個(gè)輔助通道,增大了網(wǎng)絡(luò)的寬度。在輔助通道中加入了自適應(yīng)結(jié)構(gòu)化卷積,本文改進(jìn)了傳統(tǒng)的膨脹卷積,將輸入圖像按尺寸比例劃分為不同的塊,在圖像的不同塊中采用不同的膨脹率,膨脹卷積可以適應(yīng)圖像局部結(jié)構(gòu)信息的變化,也使輔助通道有了自適應(yīng)的感受野,讓基礎(chǔ)模塊可以更加專注于圖像的高頻特征的提取。第N個(gè)殘差組的輔助通道運(yùn)算可表示為

AN(FN-1)=HC(HIC(HC(FN-1)))

(5)

式中HIC為自適應(yīng)結(jié)構(gòu)化卷積運(yùn)算,公式為

(6)

其中,I、J為圖像橫縱的分塊上限,r為膨脹卷積的膨脹率,HDC表示膨脹卷積。

2.3 殘差通道注意力塊

每一個(gè)主通道模塊都由K個(gè)殘差通道注意力塊構(gòu)成,在第g個(gè)主通道模塊中,第b個(gè)殘差通道注意力塊的輸出可表示為

Fg,b=Fg,b-1+HCA(Xg,b)

(7)

式中Xg,b和通道注意力函數(shù)HCA分別為

Xg,b=HC(δ(HC(Fg,b-1)))

(8)

HCA(Xg,b)=Xg,b?S(HC(δ(δC(HG(Xg,b)))))

(9)

其中δ、S和HG分別表示ReLU激活函數(shù)、Sigmoid激活函數(shù)和全局平均池化函數(shù)。

2.4 損失函數(shù)

Ltotal=(1-α)GguL1+αLMS_SSIM

(10)

式中:α為平衡參數(shù);Ggu為高斯分布變量。L1損失函數(shù)和LMS_SSIM損失函數(shù)的定義如下

(11)

(12)

式中:k為訓(xùn)練圖像數(shù)量;MS[17]為多尺度結(jié)構(gòu)相似性運(yùn)算。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集

本文的訓(xùn)練數(shù)據(jù)集為DIV2K,測(cè)試數(shù)據(jù)集為Set5[18]、Set14[19]、BSD100[20]、Urban100[21]。網(wǎng)絡(luò)的輸入通過對(duì)數(shù)據(jù)集中的原始圖像進(jìn)行雙3次插值下采樣得到。

3.2 參數(shù)設(shè)置

特征預(yù)提取模塊使用64個(gè)尺寸為3×3像素的卷積核。特征映射模塊的主通道由7個(gè)主通道模塊和一個(gè)額外的卷積層構(gòu)成。每個(gè)主通道模塊為3個(gè)相同的殘差通道注意力結(jié)構(gòu)的疊加,其中的卷積層均采用尺寸為3×3像素的卷積核和0填充,激活函數(shù)使用ReLU,池化層采用全局池化。特征映射模塊尾部的卷積層使用3×3像素的卷積核。輔助通道深度為3,第二層使用自適應(yīng)的膨脹卷積。重建模塊中的最后一個(gè)卷積層使用3個(gè)3×3像素的卷積核完成重建圖像輸出。平衡參數(shù)α取0.84,自適應(yīng)膨脹卷積的膨脹率上限設(shè)為4,圖像橫縱的分塊上限I、J設(shè)為10。網(wǎng)絡(luò)的搭建、訓(xùn)練與測(cè)試均在Ubuntu16.04系統(tǒng)上使用Pytorch深度學(xué)習(xí)框架完成,實(shí)驗(yàn)硬件平臺(tái)如下:CPU型號(hào)為Intel(R)Core(TM)i9-9900K CPU @3.60 GHz,內(nèi)存容量為32 GB,GPU使用兩塊RTX2080Ti。

3.3 實(shí)驗(yàn)結(jié)果及分析

3.3.1 視覺效果 將本文網(wǎng)絡(luò)與現(xiàn)有同類網(wǎng)絡(luò)SRCNN[10]、VDSR[8]、DRRN[11]、MemNet[12]、MSRN[13]、CARN[14]、OISR[15]進(jìn)行了對(duì)比,結(jié)果如圖2所示。可以看出:SRCNN網(wǎng)絡(luò)重建圖像的幾何結(jié)構(gòu)效果最差,重建二幅圖像中的框架形狀均出現(xiàn)嚴(yán)重扭曲變形;MSRN網(wǎng)絡(luò)及OISR網(wǎng)絡(luò)恢復(fù)圖像的視覺效果較好,但是重建圖像的幾何結(jié)構(gòu)仍然有部分失真;本文網(wǎng)絡(luò)可以準(zhǔn)確恢復(fù)兩幅圖像中的框架結(jié)構(gòu),重建圖像具有最佳的視覺效果,而且在紋理細(xì)節(jié)視覺效果上也優(yōu)于其他網(wǎng)絡(luò)的。這是由于本文網(wǎng)絡(luò)在主通道之外并構(gòu)了一個(gè)輔助通道和使用L1與LMS_SSIM相結(jié)合的損失函數(shù)。輔助通道使得網(wǎng)絡(luò)對(duì)于圖像高頻信息的學(xué)習(xí)能力更強(qiáng),讓網(wǎng)絡(luò)保留了更多圖像的幾何結(jié)構(gòu)信息。實(shí)驗(yàn)的視覺效果證明,本文網(wǎng)絡(luò)學(xué)習(xí)結(jié)構(gòu)信息的能力更強(qiáng),重建圖像的效果更為逼真。

圖2 自然圖像上不同網(wǎng)絡(luò)的性能比較Fig.2 Performance comparison of different networks on natural images

3.3.2 定量分析 圖像超分辨重建質(zhì)量的評(píng)價(jià)指標(biāo)分為主觀和客觀兩種。主觀評(píng)價(jià)一般采用人眼判定圖像質(zhì)量的方法,這種方式較為主觀,評(píng)價(jià)較為片面,因此一般將主觀評(píng)價(jià)作為評(píng)價(jià)圖像質(zhì)量的輔助指標(biāo)。早期人們一般采用峰值信噪比(PSNR,用符號(hào)IPSNR表示)作為客觀評(píng)價(jià)指標(biāo),其為信號(hào)最大功率與噪聲功率的比值,在本文的計(jì)算中取圖像最大像素值的平方與圖像均方誤差比值的對(duì)數(shù)。然而,峰值信噪比是對(duì)重建像素點(diǎn)誤差敏感的評(píng)價(jià)指標(biāo),沒有考慮到人眼的視覺特性。因此,常常會(huì)出現(xiàn)PSNR評(píng)價(jià)與人的主觀評(píng)價(jià)不一致的情況。所以,學(xué)界提出了另一個(gè)客觀評(píng)價(jià)指標(biāo)——結(jié)構(gòu)相似性(SSIM,用符號(hào)ISSIM表示)[22]。該指標(biāo)分別從亮度、對(duì)比度、結(jié)構(gòu)共3個(gè)方面對(duì)比與原始圖象的相似度,更注重人的主觀感受。將兩種指標(biāo)結(jié)合可以更客觀全面地評(píng)估重建圖像的質(zhì)量。

本文網(wǎng)絡(luò)與現(xiàn)有7個(gè)網(wǎng)絡(luò)在4個(gè)數(shù)據(jù)集上進(jìn)行了2、3、4倍放大重建,PSNR與SSIM如表1所示?？梢钥闯?只采用了3個(gè)卷積層的SRCNN網(wǎng)絡(luò)的重建結(jié)果客觀評(píng)價(jià)指標(biāo)最差;MSRN網(wǎng)絡(luò)將全局特征與局部多尺度特征相結(jié)合,使得網(wǎng)絡(luò)對(duì)于特征的提取更加高效;OISR網(wǎng)絡(luò)改進(jìn)了殘差塊的結(jié)構(gòu),使得網(wǎng)絡(luò)的學(xué)習(xí)能力更強(qiáng),MSRN和OISR這兩種網(wǎng)絡(luò)的客觀評(píng)價(jià)指標(biāo)更優(yōu);本文網(wǎng)絡(luò)的兩種客觀指標(biāo)均為最高,在幾何結(jié)構(gòu)內(nèi)容較多的Urban數(shù)據(jù)集上進(jìn)行放大倍數(shù)為2的重建時(shí),PSNR以及SSIM分別為32.87 dB和0.933 4,均優(yōu)于現(xiàn)有結(jié)果最好的OISR算法的,在自然景色占比更多的BSD100數(shù)據(jù)集上進(jìn)行放大倍數(shù)為2的重建時(shí),PSNR以及SSIM分別為32.31 dB和0.901 0。實(shí)驗(yàn)結(jié)果表明,本文網(wǎng)絡(luò)對(duì)于圖像幾何結(jié)構(gòu)的學(xué)習(xí)能力更強(qiáng)。

表1 不同網(wǎng)絡(luò)的峰值信噪比和結(jié)構(gòu)相似性Table 1 PSNR and SSIM of different networks

續(xù)表

為了證明本文網(wǎng)絡(luò)設(shè)計(jì)的有效性,進(jìn)行了放大倍數(shù)為2的消融實(shí)驗(yàn),結(jié)果如表2所示。可以看出:在去掉輔助通道的情況下,在Set5數(shù)據(jù)集上進(jìn)行重建,相較于雙通道網(wǎng)絡(luò)的PSNR以及SSIM分別下降了5.86 dB和0.068 1,在Urban數(shù)據(jù)集上進(jìn)行重建,相較于雙通道網(wǎng)絡(luò)的PSNR以及SSIM分別下降了6.7 dB和0.141 4;在僅使用L1損失函數(shù)的情況下,在Set5數(shù)據(jù)集上重建,相較于使用Ltotal損失函數(shù)的PSNR以及SSIM分別下降了2.98 dB和0.048 7,在Urban數(shù)據(jù)集上進(jìn)行重建,相較于使用Ltotal損失函數(shù)的PSNR以及SSIM分別下降了4.18 dB和0.112。消融實(shí)驗(yàn)證明,本文設(shè)計(jì)的輔助通道和損失函數(shù)能夠有效提升網(wǎng)絡(luò)的學(xué)習(xí)能力。

表2 消融實(shí)驗(yàn)結(jié)果Table 2 Ablation experiment results

4 結(jié) 論

(1)本文提出了一種用于圖像超分辨重建的雙通道殘差網(wǎng)絡(luò)。使用帶有跳躍連接和通道注意力模塊的殘差組作為主通道,并加入使用自適應(yīng)結(jié)構(gòu)化卷積的輔助通道,組成了雙通道的殘差塊,使得低頻信息得以更好地繞過網(wǎng)絡(luò),加強(qiáng)了高頻信息在網(wǎng)絡(luò)中的作用,為模塊增加了自適應(yīng)的感受野,獲得了更佳的重建效果。

(2)本文使用L1損失函數(shù)和多尺度結(jié)構(gòu)相似度損失函數(shù),在訓(xùn)練中即能夠較好地保持圖像的顏色和亮度,也能夠保留圖像的邊緣、紋理細(xì)節(jié)等高頻信息。

(3)實(shí)驗(yàn)結(jié)果證明,本文網(wǎng)絡(luò)在自然圖像SR重建領(lǐng)域的客觀評(píng)價(jià)指標(biāo)與視覺效果均優(yōu)于現(xiàn)有網(wǎng)絡(luò)的。本文網(wǎng)絡(luò)重建的自然圖像具有更完整、準(zhǔn)確的幾何結(jié)構(gòu)。