基于深度學(xué)習(xí)的單幅圖像超分辨率重建算法綜述

胡 誠,曹春陽,徐晨光,鄧承志

(江西省水信息協(xié)同感知與智能處理重點(diǎn)實(shí)驗(yàn)室,南昌 330099)

0 引言

單幅圖像超分重建算法是視覺任務(wù)中圖像處理技術(shù)的研究熱點(diǎn),快速有效地獲取高質(zhì)量的HR圖像是其在實(shí)際應(yīng)用中發(fā)揮作用的重要前提。深度學(xué)習(xí)技術(shù)是不斷創(chuàng)新網(wǎng)絡(luò)結(jié)構(gòu)及學(xué)習(xí)機(jī)制,實(shí)現(xiàn)復(fù)雜事務(wù)處理自動化,更加智能、出色地完成現(xiàn)實(shí)任務(wù)。近年來,基于深度學(xué)習(xí)的圖像超分算法不斷改進(jìn),網(wǎng)絡(luò)模型泛化能力和目標(biāo)圖像重建效果遠(yuǎn)優(yōu)于傳統(tǒng)算法,具有良好的應(yīng)用價值。超分辨率重建技術(shù)(Super-resolution,SR)是從硬件升級或改進(jìn)軟件角度使原始圖像分辨率有所提高的技術(shù)總稱,即由一幅或多幅模糊卻相似的低分辨率(Low Resolution,LR)退化圖像利用相應(yīng)的算法,重建出一幅或多幅清晰的高分辨率圖像(High Resolution,HR)[1]。圖像超分技術(shù)的理論基礎(chǔ)是由時間序列長度獲得空間精細(xì)程度,采集多張相同情景下的圖像來提升空間分辨率。常用的基于深度學(xué)習(xí)的圖像超分網(wǎng)絡(luò)包括卷積神經(jīng)網(wǎng)絡(luò)、深度殘差網(wǎng)絡(luò)及生成式對抗網(wǎng)絡(luò)等。綜述了淺層直連、殘差學(xué)習(xí)及博弈思想下的幾種經(jīng)典算法,并進(jìn)行了實(shí)驗(yàn)對比。

1 基于深度學(xué)習(xí)的超分模型

1.1 基于直接連接的網(wǎng)絡(luò)模型

SRCNN(Super-Resolution convolutional neural network)是超分技術(shù)在深度學(xué)習(xí)領(lǐng)域的第一次嘗試,由Dong[2]等參考稀疏編碼的理念設(shè)計而來,網(wǎng)絡(luò)結(jié)構(gòu)十分簡單,是一個僅包含三層卷積層的淺層網(wǎng)絡(luò)超分模型。該模型是典型的直連結(jié)構(gòu),采用雙三次(bicubic)插值預(yù)處理方式,將原始圖像放大至目標(biāo)尺寸,通過三次卷積核大小不同的卷積操作,實(shí)現(xiàn)低分辨率圖像到高分辨率圖像端到端的映射。三次卷積操作分別解釋為圖像塊提取與特征表示、特征非線性映射及圖像重建。使用均方誤差作為損失函數(shù)訓(xùn)練網(wǎng)絡(luò),相比于傳統(tǒng)的稀疏表示超分方法,在重建質(zhì)量和運(yùn)算速度上具有一定的優(yōu)越性。

基于網(wǎng)絡(luò)訓(xùn)練過程中內(nèi)存消耗、計算量大小及模型收斂速度等因素的考量,Dong[2]在SRCNN網(wǎng)絡(luò)模型末端加設(shè)反卷積層來實(shí)現(xiàn)上采樣操作,并于非線性映射部分采用更小的卷積核與更深的網(wǎng)絡(luò)設(shè)計,提出了FSRCNN模型,減小計算量的同時加快了訓(xùn)練時間,模型性能有所提升。2016年,Shi[3]等根據(jù)像素重新排列組合思想,提出了ESPCN(Efficient Sub-Pixel CNN)模型,將在低分辨率圖像上進(jìn)行卷積操作提取出來的特征圖輸入到亞像素卷積層,經(jīng)過通道重新排列組合得到高分辨率圖像。這種像素重組法是一種新的插值方式,通過網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)得到LR-HR之間的映射關(guān)系并隱含在前面的卷積層中,為實(shí)現(xiàn)多尺度圖像超分提供了一種新的思路。

1.2 基于殘差學(xué)習(xí)的網(wǎng)絡(luò)模型

網(wǎng)絡(luò)深度不斷增加,越深層次的網(wǎng)絡(luò)層擁有的感受野不斷增大,對上下文信息的利用率更高,具有更好的特征學(xué)習(xí)能力。網(wǎng)絡(luò)參數(shù)也逐漸增多,訓(xùn)練難度加大,模型難以收斂導(dǎo)致性能不升反降。在圖像超分問題上,原始的低分辨率圖像與重構(gòu)的高分辨率圖像之間的相似部分占比很高,即LR圖像與HR圖像之間包含大量相同的低頻信息,因此網(wǎng)絡(luò)只需學(xué)習(xí)高、低分辨率圖像之間的高頻殘差部分,在一定程度上減小了訓(xùn)練難度[4]。

Kim[5]等把殘差學(xué)習(xí)運(yùn)用到解決圖像超分問題中提出了一個20層的網(wǎng)絡(luò)模型VDSR(Very Deep CNN for SR),將預(yù)處理低分辨率圖像輸入網(wǎng)絡(luò),經(jīng)學(xué)習(xí)得到的殘差再與其相加,重構(gòu)出最終的高分辨率圖像。殘差連接很好地解決了深度網(wǎng)絡(luò)中的“退化”問題,外加自適應(yīng)梯度裁剪策略(Adjustable Gradient Clipping)的應(yīng)用,在加快模型收斂速度的同時,最大限度抑制了梯度消失或爆炸,創(chuàng)新性地提出了對不同放大倍數(shù)圖像進(jìn)行混合訓(xùn)練,以實(shí)現(xiàn)多尺度圖像超分。SRResNet在VDSR全局殘差思想的基礎(chǔ)上通過堆疊多個殘差塊來學(xué)習(xí)圖像的局部細(xì)節(jié),提高了模型深度和精度。Lim[6]等在SRResNet模型結(jié)構(gòu)上去除了殘差塊中的批量歸一化處理,提出網(wǎng)絡(luò)模型EDSR(Enhanced Deep Residual Network for SR),在相同的計算資源下可以擴(kuò)展網(wǎng)絡(luò)模型規(guī)模,以提升性能。

為了加強(qiáng)層間信息傳遞,DRCN(Deep Recursive CNN)[7]借鑒遞歸神經(jīng)網(wǎng)絡(luò)的思想,利用全局殘差學(xué)習(xí),共享遞歸層間參數(shù)。受DRCN的啟發(fā),Tai[8]等將局部殘差學(xué)習(xí)、全局殘差學(xué)習(xí)及多權(quán)重遞歸學(xué)習(xí)相結(jié)合,提出DRRN模型,其具有規(guī)模更大、計算更為復(fù)雜的52層網(wǎng)絡(luò)結(jié)構(gòu)。除了遞歸學(xué)習(xí)以外,基于密集連接的SRDenseNet、RDN(Residual Dense Network for SR)等網(wǎng)絡(luò)模型日新月異,這類網(wǎng)絡(luò)由一系列密集殘差塊串聯(lián)組成,充分利用各層級獲得的高頻局部特征進(jìn)行全局信息融合重構(gòu)HR圖像,在實(shí)際視覺環(huán)境下,為了區(qū)分一幅圖像不同通道特征的重要性,將通道注意力機(jī)制引入到400層的殘差網(wǎng)絡(luò)模型RCAN(Residual Channel Attention Networks)中,為每個殘差塊都加入了通道注意力機(jī)制,對通道之間特征的重要程度進(jìn)行自適應(yīng)學(xué)習(xí)劃分,相當(dāng)于為各通道特征賦予大小不同的權(quán)重,合理利用了特征通道,減小了計算資源的浪費(fèi)。RCAN采用RIR(Residual In Residual)結(jié)構(gòu)來降低網(wǎng)絡(luò)訓(xùn)練難度,通過跳躍連接學(xué)習(xí)粗粒度殘差信息穩(wěn)定訓(xùn)練過程,在一定程度上提升了模型的特征學(xué)習(xí)能力。

1.3 基于GAN的網(wǎng)絡(luò)模型

解決圖像超分問題時采用均方誤差作為損失函數(shù)訓(xùn)練出來的網(wǎng)絡(luò)模型,重建的高分辨率圖像往往會丟失部分高頻細(xì)節(jié),雖然能夠獲得較高的峰值信噪比,但人的視覺感受并不是很好。生成對抗網(wǎng)絡(luò)(Generative Adversarial Network,GAN)是一種生成模型,其核心思想是兩個深層網(wǎng)絡(luò)相互博弈、交替優(yōu)化,進(jìn)而達(dá)到某種平衡,在圖像合成、圖像修補(bǔ)及草稿復(fù)原等領(lǐng)域有著良好的表現(xiàn)。

SRGAN是Ledig在圖像超分領(lǐng)域GAN的初次嘗試,模型分為生成器和判別器兩個對立模塊,生成器對原始圖像添加隨機(jī)噪聲,合成出盡可能真實(shí)的高分辨率圖像,判別器則負(fù)責(zé)辨別輸入圖像是來源于生成網(wǎng)絡(luò)還是真實(shí)圖像。兩個深層網(wǎng)絡(luò)經(jīng)過聯(lián)合訓(xùn)練,博弈達(dá)到納什平衡時,即判別器無法判斷圖像真?zhèn)螘r,就可認(rèn)為生成網(wǎng)絡(luò)具有合成高質(zhì)量SR圖像的能力。SRGAN重構(gòu)出的圖像雖然沒有獲得很高的PSNR值,但其視覺感知效果更為真實(shí),在重建圖像高頻細(xì)節(jié)的方向上取得了一定的進(jìn)步。

2 實(shí)驗(yàn)方案

2.1 圖像質(zhì)量客觀評價指標(biāo)

圖像質(zhì)量的客觀評價指標(biāo)通常采用峰值信噪比(PSNR)和結(jié)構(gòu)相似度(SSIM)兩個指標(biāo)。PSNR是原圖像與輸出圖像之間的均方誤差相對于(2^n-1)^2的對數(shù)值,單位為分貝(db)。SSIM是一種衡量兩幅圖像相似度的指標(biāo),結(jié)合圖像的整體結(jié)構(gòu)、亮度及對比度3個模塊信息來估計重建圖像的失真程度[9]。

實(shí)驗(yàn)環(huán)境配置參數(shù)如表1所示。

表1 實(shí)驗(yàn)環(huán)境配置參數(shù)Tab.1 Parameters of experimental environment configuration

2.2 實(shí)驗(yàn)過程與結(jié)果分析

在公開數(shù)據(jù)集Set5、Set14、BSD100下分別對幾種基于深度學(xué)習(xí)的圖像超分模型進(jìn)行客觀實(shí)驗(yàn)及比較分析。由表2可知,傳統(tǒng)方法的代表(Bicubic)耗時最短,但圖像高頻部分難以重建,圖像失真較為嚴(yán)重,而神經(jīng)網(wǎng)絡(luò)的特征學(xué)習(xí)可解決這個問題,隨著網(wǎng)絡(luò)層數(shù)的加深與殘差學(xué)習(xí)及博弈優(yōu)化策略的引入,重建效果越來越好。VDSR與DRCN取得了較高的PSNR和SSIM值,均超過31 dB,SRGAN在這兩個指標(biāo)上稍弱,只有29.90 dB,但其改進(jìn)了損失函數(shù),通過對抗訓(xùn)練在視覺上重構(gòu)出更加真實(shí)、更貼近人類視覺感受的圖像。

表2 實(shí)驗(yàn)數(shù)據(jù)Tab.2 Experimental data

綜上所述,基于深度學(xué)習(xí)的方法在SISR問題上具有優(yōu)勢,列舉的算法中DRCN的性能最優(yōu),但在時間與感官效果上還有待提高。

3 展望

圖像超分是計算機(jī)視覺研究方向上的重要分支,對其他交叉領(lǐng)域的研究具有良好的推動作用。目前,技術(shù)重難點(diǎn)由傳統(tǒng)算法走向深度學(xué)習(xí),網(wǎng)絡(luò)模型不斷迭代更新,算法性能不斷提升,人類感官效果越來越好。但基于深度學(xué)習(xí)的圖像超分技術(shù)仍存在一些問題,包括數(shù)據(jù)集、網(wǎng)絡(luò)模型適應(yīng)性與損失函數(shù)及學(xué)習(xí)機(jī)制創(chuàng)新問題等,需要繼續(xù)加強(qiáng)研究。