基于上下文特征提取的邊緣生成三階段圖像修復算法

芮志超，郭艷艷

（山西大學 物理電子工程學院，山西 太原 030006）

0 引言

由于圖像在傳輸和獲取過程中受到人為或環(huán)境的影響會導致圖像信息丟失，需要對圖像進行修復處理，增強其視覺效果。傳統(tǒng)圖像修復是根據(jù)圖像樣本相似度、結構紋理一致性等方法，結合數(shù)學、物理理論構建算法模型修復破損圖像，主要包括基于擴散的方法［1］和基于補丁的方法［2-3］。但是，傳統(tǒng)的修復算法只能基于已有區(qū)域的信息來填充未知區(qū)域，未出現(xiàn)在已知區(qū)域的內容無法預知填充。

近年來，深度卷積網(wǎng)絡和生成式對抗網(wǎng)絡已被大量應用到圖像修復中［4-6］。Pathak D等［7］在2016年提出了上下文編碼器，該算法通過構建一個編碼器-解碼器結構完成缺損圖像的編解碼工作，并添加判別損失完成圖像的精細修復，但該算法只能修復簡單結構的破損圖像，對于人臉圖像修復遠遠不足；Yu J等［8］在2019年提出利用門控卷積層替代傳統(tǒng)卷積層，解決了傳統(tǒng)卷積層將圖像所有像素視為有效像素的缺點，該算法只適用于規(guī)則掩膜，而對于自由掩膜而言，圖像修復效果差；Nazeri K等［9］在2019年提出一種Edge-Connection模型，通過設計額外的輔助網(wǎng)絡，利用缺損區(qū)域邊緣信息輔助圖像修復；Guo X等［10］在2021年提出了一種結構約束紋理合成和紋理引導結構重建的耦合網(wǎng)絡來完成整個修復過程，并設計了雙向門控特征融合模塊來實現(xiàn)結構和紋理信息的融合。

綜上所述，現(xiàn)有修復人臉圖像的算法可以劃分為單階段修復模型、漸進式兩階段模型和基于結構先驗或者語義先驗約束的圖像修復模型。單階段修復模型在修復背景復雜、紋理精細的圖像時，容易產(chǎn)生模糊的紋理細節(jié)；漸進式兩階段模型雖然能生成紋理細節(jié)，但是圖像整體的結構會發(fā)生扭曲；而基于結構先驗或者語義先驗約束的圖像修復模型，結構與語義一致性有了保障，但修復圖像紋理細節(jié)不貼近真實圖像。

針對上述問題，本文提出了一種基于上下文特征提取的邊緣生成三階段的圖像修復算法。首先，算法利用破損圖像的上下文特征進行初步修復，并對初修復結果的邊緣進行重建；然后，將重建后的邊緣結構以及初修復結果一起作為先驗信息，來約束最后階段的精修復過程。并且，在邊緣修復網(wǎng)絡和精修復網(wǎng)絡中加入Res2net模塊［11］和自注意力機制，提取多尺度特征以提升網(wǎng)絡的表征能力，自適應計算遠距離特征之間的依賴關系以解決圖像修復區(qū)域和未缺失區(qū)域的邊界銜接問題。

1 系統(tǒng)模型

如圖1 所示，系統(tǒng)主要采用生成式對抗網(wǎng)絡框架［12］。該架構由生成器和鑒別器組成，生成器部分主要包含3個網(wǎng)絡結構：粗修復網(wǎng)絡、邊緣修復網(wǎng)絡、精修復網(wǎng)絡。鑒別器采用補丁鑒別器［8，13］。

圖1 三階段修復算法結構圖Fig.1 Structure diagram of three-stage inpainting algorithm

1.1 粗修復網(wǎng)絡

為了能初步重建大面積不規(guī)則的缺失區(qū)域，粗修復網(wǎng)絡結構參考文獻［8］中的架構，由13 個普通卷積層和4 個空洞卷積層組成，其中普通卷積層包含兩層卷積核大小為3，步長為2的下采樣層，兩層步長為1/2 的上采樣層，上采樣通過結合下采樣中提取的各層信息，還原圖像缺失區(qū)域；而4層空洞卷積層的空洞率大小分別為2，4，8，16，目的是為了擴大卷積核的感受野，提升網(wǎng)絡性能。粗修復網(wǎng)絡結構見表1 所示。

表1 粗修復網(wǎng)絡結構Tab.1 Coarse inpainting network structure

用Igt代表原始圖像，表示破損圖片，M為隨機生成的自由掩模（缺失部分為1，背景為0），粗修復網(wǎng)絡Gc生成的修復結果為

1.2 邊緣修復網(wǎng)絡

利用canny 算子對粗修復網(wǎng)絡Gc輸出的結果進行邊緣提取得到Bcanny，將Bcanny和自由掩模M輸入到邊緣修復網(wǎng)絡Ge中。

邊緣修復網(wǎng)絡由13個普通卷積層、4個Res2net層和4個自注意力機制層組成［14］，其中普通卷積層的結構與粗修復網(wǎng)絡相同。Res2net層［15-16］以分層的方式表示多尺度特征，輸出包含不同感受野大小的組合，該組合結構擴大感受野大小的同時，有效解決網(wǎng)格偽影現(xiàn)象；而自注意力機制通過自適應調節(jié)目標特征與周圍特征相關性權重的方式加強特征之間的聯(lián)系，以保證前景和背景的一致性。邊緣修復網(wǎng)絡結構見表2 所示。

表2 邊緣修復網(wǎng)絡結構Tab.2 Edge inpainting network structure

邊緣修復網(wǎng)絡Ge輸出邊緣預測結果為

1.3 精修復網(wǎng)絡

精修復網(wǎng)絡結構基于U-net 架構［17］，由13 個普通卷積層、4 個Res2net 層、4 個自注意力機制層組成，通過跳躍連接將編碼器特征直接傳輸?shù)浇獯a器中。其中普通卷積層與粗修復網(wǎng)絡中的結構相同，Res2net層、自注意力機制層與邊緣修復網(wǎng)絡中的結構相同；增加的跳躍連接結構將一些低維特征直接傳遞到后面的卷積層中，減少了特征損失。精修復網(wǎng)絡結構見表3 所示。

表3 精修復網(wǎng)絡結構Tab.3 Refinement inpainting network structure

將粗修復結果ICpre、邊緣修復結果Bpre和自由掩模M共同輸入到精修復網(wǎng)絡中。精修復網(wǎng)絡Gr的輸入分別為

1.4 損失函數(shù)

粗修復網(wǎng)絡Gc、邊緣修復網(wǎng)絡Ge和精修復網(wǎng)絡Gr的損失函數(shù)分別為

聯(lián)合損失函數(shù)定義為

鑒別器將生成的圖像以及原圖作為輸入，并判斷輸入的生成圖像是真是假。通過最大化鑒別器對抗損失訓練網(wǎng)絡，其中鑒別器D對抗損失定義為

2 實驗與分析

實驗配置為：64 位Windows 10 操作系統(tǒng)，Nvidia GeForce RTX 2080Ti，實驗框架采用TensorFlow深度學習框架，編程語言使用python3.6。本文采用Celeba-HQ人臉數(shù)據(jù)集進行訓練和測試，訓練集包含20 000張256*256大小的人臉圖像，測試集包含1 000張人臉圖像。在訓練階段，本文算法的訓練時間為62 h。在測試階段，共耗時30 min 12 s 完成測試，平均每張圖像需耗時1.812 s 完成修復。

為了驗證本文算法的有效性，將本文算法與PatchMatch 算 法［2］、Deepfill-v1 算 法［8］、Edge-Connect 算法［9］和CTSDG 算法［10］進行對比實驗，以主觀視覺對比和客觀指標分析兩種評價方法進行實驗對比分析。

2.1 主觀評價

主觀實驗對比如圖2 所示。其中第1，2行表示破損程度為[10%,20%)的實驗對比圖，第3，4 行表示破損程度為[20%,30%)的實驗對比圖，第5，6 行表示破損程度為[30%,40%)的實驗對比圖，第7，8 行表示破損程度為[40%,50%)的實驗對比圖。

圖2 Celeba-HQ測試集實驗結果Fig.2 Celeba-HQ test set experimental results

圖2 中從左到右每一列分別表示原始破損圖片，PatchMatch 算法、Deepfill-v1 算法、Edge-Connect 算法、CTSDG 算法，本文算法修復后的圖片以及原始圖像。

從修復對比圖中第2 列可以看出，Patch-Match 算法在處理小規(guī)模缺失圖像時，具有良好的性能表現(xiàn)，但隨著破損區(qū)域規(guī)模的增大，該算法會產(chǎn)生扭曲的結構和大面積的偽影，原因在于該算法僅能利用周圍已知區(qū)域來填充未知區(qū)域，當缺失部分較大時，存在的已知信息不足以修復完整的圖像。從修復對比圖中第3 列可以看出，Deepfill-v1 算法修復區(qū)域出現(xiàn)結構扭曲的現(xiàn)象，原因在于Deepfill-v1 算法只關注紋理修復，沒有考慮結構的問題。從修復對比圖中第4 列第3，4 行可以看出，修復結果產(chǎn)生了模糊的眼眶結構，原因在于Edge-Connect 算法會生成混合的邊緣，通過使用邊緣結構先驗可能會導致錯誤的紋理結構。從修復對比圖中的第4 列第7，8 行可以看出，CTSDG 算法修復結果中臉頰部分明顯存在色彩鮮艷度缺失的問題，原因在于CTSDG 算法未注重缺失部分的色彩修復。相比于PatchMatch算法、Deepfill-v1 算法、Edge-Connect 算法和CTSDG 算法，本文算法得到了更好的圖像細節(jié)與邊緣，更接近于真實圖像。

2.2 客觀評價

本文使用峰值信噪比（Peak Signal to Noise Ratio，PSNR）和結構相似性（Structural Similarity，SSIM）定量評估5 種模型的修復結果。PSNR值越大，代表圖像的失真越少；SSIM 指標值越大，代表和原始圖像的差距越小，即修復結果圖像質量越好。在相同破損程度的情況下，本文提出的修復算法的性能優(yōu)于其他 4 種圖像修復算法，如表4 所示。

表4 各算法在Celeba-HQ測試集性能指標Tab.4 Celeba-HQ test set indicators of every algorithm

2.3 消融實驗

為了說明本文所提網(wǎng)絡各模塊的有效性和必要性，對其進行消融實驗，主要包括有無Res2net模塊對比實驗和有無自注意力機制對比實驗。隨機選取Celeba-HQ 數(shù)據(jù)集中的兩幅圖進行消融實驗對比，并進行主觀與客觀指標評價。

圖3 為消融實驗的主觀實驗結果，如圖3（b）中所示，在缺少Res2net 模塊的情況下，恢復的人臉圖像紋理、細節(jié)特征不清晰；由圖3（c）可知，缺少自注意力機制將導致修復區(qū)域與已知區(qū)域缺乏一致性，出現(xiàn)前景與背景不融洽的現(xiàn)象。

圖3 消融實現(xiàn)主觀實驗結果Fig.3 Subjective results of ablation experiments

表5 數(shù)據(jù)表明本文算法在缺少Res2net 模塊情況下，PSNR 指標下降2.94%，SSIM 指標下降2.45%；在缺少自注意力機制情況下，PSNR指標下降3.32%，SSIM 指標下降1.79%。由此證明算法中加入Res2net 模塊和自注意力機制會使修復圖像的質量更好。

表5 消融實驗客觀指標對比表Tab.5 Ablation experiment objective index comparison table

3 結束語

針對人臉圖像的特征復雜多樣，細節(jié)和結構特征難以恢復等問題，提出了一種基于上下文特征提取的邊緣生成三階段的圖像修復算法。首先，將待修復圖像輸入到粗修復網(wǎng)絡中，對圖像缺損部分進行初步修復；然后，將初修復結果所提供的邊緣結構作為邊緣修復網(wǎng)絡的輸入，完成邊緣結構的細節(jié)重建；最后，將初修復結果和重建的邊緣結構一起輸入到精修復網(wǎng)絡，共同約束圖像的精修復過程，并在邊緣修復網(wǎng)絡和精修復網(wǎng)絡中加入Res2net 模塊、自注意力機制，增強了網(wǎng)絡對于有限特征的提取能力，改善了圖像目標區(qū)域與周圍區(qū)域邊界不連貫的問題。通過與4 種現(xiàn)有的修復方法在主觀、客觀方面的實驗對比分析，本文所提算法修復的人臉圖像，在SSIM 和PSNR 性能指標上優(yōu)于現(xiàn)有算法，且在邊緣細節(jié)的恢復中有著更好的視覺效果。