楊巨成，左美然，魏 峰，孫 笑，白亞欣，王 嫄，陳亞瑞

(1. 天津科技大學(xué)人工智能學(xué)院，天津 300457；2. 天津科技大學(xué)機(jī)械工程學(xué)院，天津 300222)

人臉超分辨率(face super-resolution，F(xiàn)SR)是一種低水平的計(jì)算機(jī)視覺任務(wù)，其目標(biāo)是從低分辨率輸入中恢復(fù)高分辨率人臉圖像，提高后續(xù)人臉圖像任務(wù)的性能，如人臉對(duì)齊[1]、人臉檢測(cè)[2-3]和人臉識(shí)別[4-6].隨著深度學(xué)習(xí)的發(fā)展，盡管人臉超分辨率方法提供了很多解決方案，但是這些方法依然存在以下兩個(gè)問(wèn)題.

一方面，目前典型的方法[7-8]利用前饋結(jié)構(gòu)，從輸入的低分辨率圖像計(jì)算一系列中間特征，通過(guò)一次或有限次上采樣操作直接增加圖像分辨率到最終高分辨率結(jié)果．SRCNN[9]對(duì)輸入的低分辨率圖像直接進(jìn)行插值上采樣到最終尺寸，然后再進(jìn)行特征提取和重建．FSRNet[10]設(shè)計(jì)了編碼解碼的結(jié)構(gòu)，在編碼器中對(duì)低分辨率輸入進(jìn)行一次上采樣到中間表示，然后通過(guò)解碼器對(duì)提取的特征進(jìn)一步上采樣到最終尺寸．此外，LapSRN[11]和EDSR[12]利用多個(gè)上采樣子網(wǎng)絡(luò)，逐步對(duì)低分辨率輸入進(jìn)行上采樣．上述這些方法采用前饋結(jié)構(gòu)，然而人類視覺系統(tǒng)更傾向于使用反饋連接指導(dǎo)任務(wù)[13]．因此，這些網(wǎng)絡(luò)由于缺乏反饋難以充分表示低分辨率輸入到高分辨率結(jié)果的映射，特別是在放大倍數(shù)較大(如8倍放大)的情況下導(dǎo)致生成圖像存在模糊、紋理粗糙等問(wèn)題．

另一方面，人臉超分辨率方法的解空間隨著放大倍數(shù)的增加呈指數(shù)增長(zhǎng)，所以研究者們嘗試使用強(qiáng)大的人臉先驗(yàn)約束生成高質(zhì)量的人臉圖像.PMGMSAN[14]使用預(yù)先訓(xùn)練的網(wǎng)絡(luò)提取面部成分或解析映射圖，并將先驗(yàn)信息輸入到后續(xù)網(wǎng)絡(luò)中以恢復(fù)超分辨率結(jié)果．然而，PMGMSAN直接從低分辨率輸入中提取先驗(yàn)信息，使得獲得準(zhǔn)確的先驗(yàn)信息成為一個(gè)困難和挑戰(zhàn)．多階段人臉超分辨率方法[15]則將先驗(yàn)估計(jì)分支嵌入到超分辨率重建分支中．首先對(duì)低分辨率輸入進(jìn)行初步采樣，然后利用中間特征估計(jì)先驗(yàn)信息以進(jìn)行后續(xù)重建，并通過(guò)L2損失約束估計(jì)的先驗(yàn)信息以及由高清人臉圖像生成的先驗(yàn)信息．由于上述方法從低分辨率輸入、中間結(jié)果或特征中提取人臉先驗(yàn)信息，導(dǎo)致先驗(yàn)信息不準(zhǔn)確，并且使用像素級(jí)先驗(yàn)損失函數(shù)如L2作為約束條件，因此難以提供強(qiáng)有力的約束，使得生成的圖像模糊，感知質(zhì)量較差.

鑒于上述問(wèn)題，本文提出一種基于誤差反饋和面部后先驗(yàn)信息的人臉超分辨率重建方法(face superresolution using error feedback and facial posterior，EFBNet)，并通過(guò)一個(gè)包含通道級(jí)的面部注意力損失和相對(duì)判別器對(duì)抗損失的優(yōu)化目標(biāo)訓(xùn)練網(wǎng)絡(luò)．首先，采用一系列上下采樣操作捕獲低分辨率輸入到高分辨率結(jié)果之間的相互依賴性，提取多粒度特征，并提出誤差反饋機(jī)制優(yōu)化提取到的多粒度特征．通過(guò)上采樣操作計(jì)算生成高維特征圖與輸入之間的誤差，通過(guò)下采樣操作計(jì)算生成低維特征圖與輸入之間的誤差．誤差反饋機(jī)制可以在早期自校正特征提取，并引導(dǎo)網(wǎng)絡(luò)提取與面部細(xì)節(jié)相關(guān)區(qū)域的特征，以充分表示低分辨率輸入到高分辨率結(jié)果的映射，生成高質(zhì)量的人臉圖像．然后，為了得到精確的先驗(yàn)信息，采用面部先驗(yàn)信息提取和人臉超分辨率重建相互促進(jìn)的結(jié)構(gòu)，從超分辨率結(jié)果而不是低分辨率輸入或中間特征提取精確的先驗(yàn)信息，即后先驗(yàn)信息．先驗(yàn)估計(jì)分支利用重建的圖像提取后先驗(yàn)信息，精確的后先驗(yàn)信息進(jìn)而促進(jìn)生成更高質(zhì)量的人臉圖像．最后，為了借助精確的后先驗(yàn)信息進(jìn)一步提供強(qiáng)有力的約束，設(shè)計(jì)了一個(gè)新的優(yōu)化目標(biāo)，它在L2損失的基礎(chǔ)上引入通道級(jí)的面部注意力損失和相對(duì)判別對(duì)抗損失．面部注意力損失聚焦于后先驗(yàn)信息周圍區(qū)域的特征，相對(duì)判別對(duì)抗損失專注于銳化的邊緣，生成內(nèi)容精確、紋理逼真的超分辨率結(jié)果．在標(biāo)準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)表明，本方法在定量指標(biāo)上達(dá)到了當(dāng)前最優(yōu)性能，可視化結(jié)果進(jìn)一步表明該方法在清晰度、失真程度和紋理細(xì)節(jié)等方面具有顯著優(yōu)勢(shì)．

1 模型設(shè)計(jì)

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

提出了一種基于生成對(duì)抗網(wǎng)絡(luò)的使用誤差反饋和面部后先驗(yàn)信息的人臉超分辨率方法．其中輸入的低分辨率人臉圖像、超分辨率結(jié)果和高清人臉圖像分別表示為ILR、ISR和IHR．生成器由兩個(gè)分支組成：基于誤差反饋的迭代上下采樣重建分支(簡(jiǎn)稱重建分支)和生成后先驗(yàn)信息的人臉關(guān)鍵點(diǎn)估計(jì)分支(簡(jiǎn)稱關(guān)鍵點(diǎn)估計(jì)分支)．判別器采用ESRGAN[8]中的結(jié)構(gòu).整個(gè)網(wǎng)絡(luò)以端到端的方式進(jìn)行訓(xùn)練．基于誤差反饋和面部后先驗(yàn)信息的人臉超分辨率模型如圖1所示.

圖1 基于誤差反饋和面部后先驗(yàn)信息的人臉超分辨率模型Fig. 1 Face super-resolution using error feedback and facial posterior information

重建分支包含3個(gè)部分：粗上采樣模塊(CUM)、基于誤差反饋的迭代上下采樣模塊(EFSM)和全局跳躍連接．全局跳躍連接繞過(guò)粗上采樣模塊和基于誤差反饋的迭代上下采樣模塊，為結(jié)果提供一個(gè)插值上采樣的圖像．因此，粗上采樣模塊和基于誤差反饋的迭代上下采樣模塊用于恢復(fù)ILR的殘差圖像Ires．

由于從非常低分辨率的輸入中獲得先驗(yàn)信息不精確，因此首先通過(guò)粗上采樣模塊恢復(fù)粗糙的上采樣結(jié)果．該模塊由卷積層和像素重組層組成，輸出為

其中fCUM表示粗上采樣操作．1F與關(guān)鍵點(diǎn)估計(jì)分支的輸出 Flandmark拼接在一起作為基于誤差反饋的迭代上下采樣模塊的輸入．Fconcat是拼接的結(jié)果．

其中fconcat表示拼接操作．

在基于誤差反饋的迭代上下采樣模塊中采用循環(huán)結(jié)構(gòu)，其可以展開為T次迭代．第t次迭代(t∈T)中EFSM接收 Fconcat和上一次迭代的輸出表示EFSM的最終輸出，即

其中fEFSM表示EFSM的操作．

為了與全局跳躍連接提供的插值上采樣圖像匹配，使用卷積操作得到殘差圖像Ires，即

其中fconv表示卷積操作．

最終的輸出ISR為

其中fup表示通過(guò)全局跳躍連接提供的插值上采樣操作．

關(guān)鍵點(diǎn)估計(jì)分支的體系結(jié)構(gòu)遵循文獻(xiàn)[15]．

1.2 基于誤差反饋的迭代上下采樣模塊

基于誤差反饋的迭代上下采樣模塊由一系列上下采樣塊組成，共N個(gè)采樣塊，在低分辨率和高分辨率特征圖之間交替．此外，在此模塊中引入密集連接充分利用特征．先前所有下采樣(上采樣)塊的輸出串聯(lián)起來(lái)作為上采樣(下采樣)塊的輸入，如圖1所示．這種連接能夠有效地利用各種高分辨率成分產(chǎn)生理想的結(jié)果．

在第n個(gè)上采樣塊中：先前n?1個(gè)下采樣塊計(jì)算出的低分辨率特征圖被拼接為L(zhǎng)n?1，并作為第n個(gè)上采樣塊的輸入(n∈N)，結(jié)構(gòu)圖如圖2(a)所示，其定義為

其中：fdeconv1和fdeconv2表示s倍的上采樣操作，fconv表示s倍的下采樣操作．

第n個(gè)上采樣塊將Ln?1映射到中間高分辨率集合，然后再將其映射回低分辨率集合．產(chǎn)生的和之間的誤差再次映射到高分辨率，從而產(chǎn)生新的中間誤差集合Hen．通過(guò)將兩個(gè)中間集合相加得到該塊的最終輸出Hn．

下采樣塊的定義與上采樣塊非常相似，但它將高分辨率特征圖映射到低分辨率空間，如圖2(b)所示，定義為

圖2 上采樣塊和下采樣塊Fig. 2 Up-sampling block and down-sampling block

這些采樣塊可以理解為一種自我校正過(guò)程，該過(guò)程將誤差反饋到采樣層，并通過(guò)反饋誤差迭代地修改中間表示，有助于引導(dǎo)網(wǎng)絡(luò)更關(guān)注與面部細(xì)節(jié)有關(guān)的區(qū)域．

2 優(yōu)化目標(biāo)

為了提供強(qiáng)有力的約束，設(shè)計(jì)優(yōu)化目標(biāo)，該優(yōu)化目標(biāo)包括關(guān)鍵點(diǎn)損失、面部注意力損失、像素?fù)p失、感知損失和相對(duì)判別對(duì)抗損失．

關(guān)鍵點(diǎn)損失( Llandmark)：在關(guān)鍵點(diǎn)估計(jì)分支，使用Llandmark計(jì)算在像素級(jí)最小化ISR的關(guān)鍵點(diǎn)熱圖LSR和IHR的關(guān)鍵點(diǎn)熱圖LHR之間的距離．

面部注意力損失( Lattention)：除關(guān)鍵點(diǎn)損失外，還使用面部注意力損失關(guān)注預(yù)測(cè)的關(guān)鍵點(diǎn)周圍區(qū)域的面部細(xì)節(jié)．這使關(guān)鍵點(diǎn)估計(jì)分支自適應(yīng)地引導(dǎo)與關(guān)鍵點(diǎn)有關(guān)的特征，而不必過(guò)多關(guān)注那些特征較少的區(qū)域．

其中Mmax為L(zhǎng)HR的通道最大值．

像素?fù)p失(Lpixel)：使用L2損失作為IHR和ISR之間的像素?fù)p失．

感知損失(Lperc)：應(yīng)用感知損失增強(qiáng)超分辨率圖像的感知質(zhì)量[10,16]．采用預(yù)訓(xùn)練的人臉識(shí)別模型VGG19[17]提取圖像特征．該損失通過(guò)減小IHR和ISR特征之間的歐氏距離提高感知相似度，其中φ(ISR)和φ( IHR)分別是通過(guò)VGG19網(wǎng)絡(luò)提取的圖像特征．

相對(duì)判別對(duì)抗損失(DL)：不同于標(biāo)準(zhǔn)判別器D估計(jì)一個(gè)輸入圖像是真實(shí)和偽造的概率，本文采用RaGAN[18]的思想試圖預(yù)測(cè)真實(shí)圖像比偽造的相對(duì)更真實(shí)的概率．

其中DRa表示RaGAN的判別器．

生成器試圖欺騙判別器并最小化對(duì)抗損失Ladv．

最終，生成器的損失函數(shù)定義為

其中α、β、γ、μ、ω 均為模型的訓(xùn)練參數(shù)．

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)細(xì)節(jié)

數(shù)據(jù)集：模型在兩個(gè)常用的人臉數(shù)據(jù)集Helen[19]和CelebA[20]進(jìn)行了充分的實(shí)驗(yàn)．對(duì)于這兩個(gè)數(shù)據(jù)集，先使用OpenFace[21-22]檢測(cè)IHR的68個(gè)關(guān)鍵點(diǎn)．根據(jù)檢測(cè)的關(guān)鍵點(diǎn)，在每幅圖像中裁剪正方形區(qū)域以刪除背景，并將像素大小調(diào)整為128×128，而無(wú)需任何預(yù)對(duì)齊．然后，將這些高清人臉圖像采樣到16×16的低分辨率輸入．對(duì)于CelebA數(shù)據(jù)集，使用168854張圖像進(jìn)行訓(xùn)練，使用1000張圖像進(jìn)行測(cè)試．對(duì)于Helen數(shù)據(jù)集，使用2005張圖像進(jìn)行訓(xùn)練，使用50張圖像進(jìn)行測(cè)試．

實(shí)驗(yàn)設(shè)置和訓(xùn)練設(shè)置：本文提出的EFBNet模型在兩個(gè)分支之間進(jìn)行了4次迭代．由于Helen數(shù)據(jù)集的圖像數(shù)量很少，因此對(duì)訓(xùn)練圖像執(zhí)行數(shù)據(jù)增強(qiáng)，訓(xùn)練圖像隨機(jī)旋轉(zhuǎn)90°、180°、270°并水平翻轉(zhuǎn)．模型中的訓(xùn)練參數(shù)分別設(shè)置為α＝1、β＝0.1、γ＝0.1、μ＝0.1和ω＝0.05．該模型由ADAM優(yōu)化器[23]訓(xùn)練，其中β1＝0.9、β2＝0.999和ε＝1×10-8．初始學(xué)習(xí)率是1×10-4，并在1×104、2×104、4×104次迭代后逐次減半.實(shí)驗(yàn)基于Pytorch[24]在NVIDIA TITAN RTX(24G)上實(shí)現(xiàn)．

評(píng)估指標(biāo)：與之前的模型相似[9-10,16]，本文使用常用的評(píng)估指標(biāo)峰值信噪比(PSNR)和結(jié)構(gòu)相似度(SSIM)[25]評(píng)估重建性能．

3.2 與現(xiàn)有方法比較

在兩個(gè)常用人臉數(shù)據(jù)集CelebA和Helen上將本文提出的方法與最新方法進(jìn)行了比較．

對(duì)CelebA數(shù)據(jù)集的評(píng)估：將本文提出的EFBNet與其他方法在定性和定量上進(jìn)行比較，其中包括一般的超分辨率方法(SRCNN[9]、SRGAN[16]和EDSR[26])和人臉超分辨率方法(FSRNet[10]和SAAN[27])．所有模型都使用相同的訓(xùn)練集進(jìn)行訓(xùn)練．如表1所示，當(dāng)放大倍數(shù)為8時(shí)，EFBNet在PSNR和SSIM方面均明顯優(yōu)于其他方法．圖3為在CelebA數(shù)據(jù)集上與現(xiàn)有其他方法的可視化對(duì)比，其中GT代表高清人臉圖像．由此可見，EFBNet借助誤差反饋及時(shí)進(jìn)行自校正處理，獲得了更好的推理結(jié)果．精確的后先驗(yàn)信息和強(qiáng)有力的監(jiān)督進(jìn)一步優(yōu)化面部的紋理細(xì)節(jié)，提高圖像的視覺保真度．此外，在圖3中，EFBNet不僅能夠重建清晰的面部結(jié)構(gòu)，而且具有很強(qiáng)的魯棒性，對(duì)于姿勢(shì)和旋轉(zhuǎn)變化大的人臉具有接近真實(shí)的恢復(fù)效果．這主要得益于人臉先驗(yàn)估計(jì)使用超分辨率結(jié)果生成更準(zhǔn)確的后先驗(yàn)信息，從而鼓勵(lì)重建分支進(jìn)一步增強(qiáng)人臉圖像質(zhì)量．

表1 在CelebA數(shù)據(jù)集的定量對(duì)比Tab. 1 Quantitative comparison on CelebA datasets

圖3 在CelebA數(shù)據(jù)集上與現(xiàn)有其他方法的可視化對(duì)比Fig. 3 Visual comparison with state-of-the-art methods on CelebA datasets

對(duì)Helen數(shù)據(jù)集的評(píng)估：當(dāng)放大倍數(shù)為8時(shí)，將本文提出的EFBNet與其他人臉超分辨率方法[10,28-29]進(jìn)行了定性和定量的比較，結(jié)果如表2和圖4所示，其中圖4中LR代表輸入的低分辨率人臉圖像，GT代表高清人臉圖像．從表2中可以看出，EFBNet在Helen測(cè)試集上實(shí)現(xiàn)了最高性能，比現(xiàn)有的人臉超分辨率方法(FSRNet)高2.98dB．與其他方法的可視化結(jié)果對(duì)比可看出，受益于誤差反饋和提出的優(yōu)化目標(biāo)，EFBNet生成的人臉圖像五官結(jié)構(gòu)完整且更加清晰．由于引入面部注意力損失，其引導(dǎo)網(wǎng)絡(luò)學(xué)習(xí)更真實(shí)的面部細(xì)節(jié)，故相較于其他方法，在眼睛、嘴巴等部位的紋理細(xì)節(jié)信息更加豐富且失真程度?。?/p>

表2 在Helen數(shù)據(jù)集的定量對(duì)比Tab. 2 Quantitative comparison on Helen datasets

圖4 在Helen數(shù)據(jù)集上與現(xiàn)有方法的可視化對(duì)比Fig. 4 Visual comparison with state-of-the-art methods on Helen datasets

3.3 對(duì)比實(shí)驗(yàn)

誤差反饋的影響：為了說(shuō)明誤差反饋機(jī)制的有效性，當(dāng)放大倍數(shù)為8時(shí)，對(duì)比有和沒有誤差反饋機(jī)制(命名為EFBNet_L)對(duì)PSNR和SSIM的影響．分別用卷積和反卷積操作替換上采樣塊和下采樣塊，則基于誤差反饋的迭代上下采樣模塊類似于先前的超分辨率方法[30]．其可視化比較如圖5所示．

圖5 誤差反饋機(jī)制對(duì)實(shí)驗(yàn)結(jié)果的影響Fig. 5 Visual results using error feedback mechanism

由圖5可知，本文提出的EFBNet能夠保留像素級(jí)精度，同時(shí)提高面部圖像的感知質(zhì)量．原因是誤差反饋將引導(dǎo)特征提取關(guān)注與面部細(xì)節(jié)有關(guān)的區(qū)域，以優(yōu)化當(dāng)前預(yù)測(cè)．因此，它可以實(shí)現(xiàn)從低分辨率輸入到超分辨率結(jié)果的較優(yōu)映射，以生成更好細(xì)節(jié)的人臉圖像.

損失函數(shù)的影響：3個(gè)實(shí)驗(yàn)分析面部注意力損失和相對(duì)判別對(duì)抗損失對(duì)Helen數(shù)據(jù)集的影響，分別命名為model 1、model 2和model 3(本文的優(yōu)化目標(biāo)).表3為使用不同損失函數(shù)的定量對(duì)比．

表3 使用不同損失函數(shù)的定量對(duì)比Tab. 3 Quantitative results of using different loss functions

由表3可知，model 2的性能優(yōu)于model 1．這是由于面部注意力損失使網(wǎng)絡(luò)在通道級(jí)更關(guān)注面部的關(guān)鍵點(diǎn)區(qū)域，從而產(chǎn)生更清晰的面部圖像且失真小．此外，相對(duì)判別對(duì)抗損失有助于學(xué)習(xí)更銳利的邊緣和更詳細(xì)的紋理．因此，model 3較model 2添加相對(duì)判別對(duì)抗損失后，定量指標(biāo)幾乎沒有改善，但是面部圖像更加逼真自然，尤其是紋理細(xì)節(jié)方面(圖6).總之，model 3不僅著眼于面部關(guān)鍵點(diǎn)區(qū)域以減少失真，而且迫使網(wǎng)絡(luò)恢復(fù)更具結(jié)構(gòu)意義的面部細(xì)節(jié)以得到清晰逼真的結(jié)果．

圖6 損失函數(shù)對(duì)實(shí)驗(yàn)結(jié)果的影響Fig. 6 Visual comparisons for showing the effects of different loss function

不同先驗(yàn)信息的影響：與FSRNext[10]類似，本文使用人臉對(duì)齊模型廣泛使用的度量指標(biāo)歸一化均方根誤差(NRMSE)，探究先驗(yàn)信息提取順序?qū)Τ直媛蕡D像質(zhì)量的影響．較低的NRMSE 值表示更好的對(duì)齊精度和更高的SR圖像質(zhì)量．FSRNet在中間特征中提取面部關(guān)鍵點(diǎn)和面部解析映射圖指導(dǎo)超分辨率重建，而SAAN從輸入和中間結(jié)果中自適應(yīng)地提取面部語(yǔ)義信息作為先驗(yàn)信息．不同的先驗(yàn)信息對(duì)超分辨率圖像質(zhì)量的影響見表4．由表4可以看出，EFBNet方法均優(yōu)于其他方法．雖然其他方法也使用面部先驗(yàn)，例如面部關(guān)鍵點(diǎn)和面部解析映射圖等，但先驗(yàn)信息是從輸入的低分辨率圖像或中間特征中估計(jì)的．因此，這種面部先驗(yàn)只能為重建過(guò)程提供有限的指導(dǎo)，導(dǎo)致恢復(fù)結(jié)果存在不完整的、模糊的面部結(jié)構(gòu)．不同的是，本文提出的EFBNet使用生成的超分辨率結(jié)果估計(jì)先驗(yàn)信息，即后先驗(yàn)信息，以便為重建提供更準(zhǔn)確的指導(dǎo)信息，得到更清晰的超分辨率結(jié)果.

表4 不同的先驗(yàn)信息對(duì)超分辨率圖像質(zhì)量的影響Tab. 4 Influence of different prior information on the quality of super-resolution images

4 結(jié) 語(yǔ)

本文提出的EFBNet方法是基于生成對(duì)抗網(wǎng)絡(luò)使用誤差反饋和面部后先驗(yàn)信息指導(dǎo)網(wǎng)絡(luò)生成高質(zhì)量的人臉圖像，并通過(guò)一個(gè)新的優(yōu)化目標(biāo)訓(xùn)練網(wǎng)絡(luò)．在該方法中，人臉超分辨率重建和人臉后先驗(yàn)估計(jì)相互促進(jìn)，以產(chǎn)生準(zhǔn)確的后先驗(yàn)約束．誤差反饋機(jī)制幫助重建分支迭代的優(yōu)化中間表示．優(yōu)化目標(biāo)中的面部注意力損失，其基于強(qiáng)大的后先驗(yàn)信息在通道級(jí)約束解空間和相對(duì)判別對(duì)抗損失，其專注于恢復(fù)清晰的邊緣紋理，驅(qū)動(dòng)網(wǎng)絡(luò)生成高分辨率的、更好面部紋理細(xì)節(jié)的圖像．在公開的人臉數(shù)據(jù)集上進(jìn)行的人臉超分辨率的實(shí)驗(yàn)顯示出本文方法的顯著優(yōu)勢(shì)．

致謝：本論文還獲得了天津市企業(yè)科技特派員項(xiàng)目(20YDTPJC00560)和天津市研究生科研創(chuàng)新項(xiàng)目(人工智能專項(xiàng))(2020YJSZXB11)的資助．