基于密集特征推理及混合損失函數(shù)的修復算法

李海燕 尹浩林 李鵬 周麗萍

（1.云南大學 信息學院，云南 昆明 650500；2.云南大學 云南大學學報（自然科學版）編輯部，云南 昆明 650500）

圖像修復旨在利用合理內(nèi)容填充缺失區(qū)域。傳統(tǒng)修復方法大多基于圖像塊匹配，如Efros等［1］提出了紋理合成方法，其在未缺失圖像塊中尋找與缺失部分最相似的信息補全缺失區(qū)域。該方法僅使用簡單的像素塊遷移，因此修復處與背景銜接不自然。Criminisi 等［2］提出樣例匹配方法，先對缺失區(qū)域的像素點分級，優(yōu)先填充信息豐富的區(qū)域，逐步縮小填充范圍至完成修復。該方法能修復小面積缺失區(qū)域，但修復較大面積的缺失時存在結(jié)構(gòu)失真。Barnes 等［3］提出Patch Match 最近鄰樣例塊匹配方法，將搜索填補范圍設(shè)定在缺失區(qū)域的鄰近區(qū)域，極大減小了匹配區(qū)域的范圍，但未能解決修復大面積缺失的結(jié)構(gòu)混亂問題。He等［4］提出統(tǒng)計匹配塊的偏移量，得出擁有主導偏移量的匹配塊，再用該匹配塊引導完成修復。該方法極度依賴區(qū)域的相似性，當缺失區(qū)域變大時，由于先驗信息不足，無法找到與待修復區(qū)域相匹配的像素塊，因此修復的結(jié)構(gòu)和紋理缺乏完整性和真實性。

為解決傳統(tǒng)修復方法的不足，學者們開始探索基于深度學習的修復算法。Mao 等［5］提出基于跳線連接的編碼-解碼網(wǎng)絡修復算法，對細小的受損區(qū)域能產(chǎn)生合理的語義內(nèi)容，但修復大面積缺失區(qū)域時，由于修復的數(shù)據(jù)維度較高，導致先驗不足，修復結(jié)果出現(xiàn)紋理模糊。K?hler 等［6］提出學習圖像塊映射推斷掩膜區(qū)域的修復算法，但該算法同樣在修復大面積缺失時因不能捕獲遠距離背景信息而產(chǎn)生結(jié)構(gòu)失真。為有效修復大面積缺失，Pathak 等［7］提出基于上下文編碼器的無監(jiān)督視覺特征修復算法，可修復較大面積的規(guī)則區(qū)域，但修復隨機不規(guī)則缺失區(qū)域的性能較差。Li等［8］對上下文編碼器算法進行改進，提出一種高效的人臉修復方法以期修復不規(guī)則缺失，但是該方法僅能用于背景單一的圖像修復，修復紋理細節(jié)豐富的自然圖像時，修復效果較差。李海燕等［9］提出基于混合空洞卷積的修復方法，擴大了修復網(wǎng)絡的信息感受野，能有效完成大面積規(guī)則缺失區(qū)域的修復，但是修復隨機不規(guī)則缺失時，不能很好保持細節(jié)紋理與全局的一致性。Zhao等［10］以掩碼圖像為先驗信息指導網(wǎng)絡進行多元化修復，它主要由條件編碼模塊、流形投影模塊、生成模塊組成，以生成多元化圖像，但存在結(jié)構(gòu)連貫性差等問題。

對于不規(guī)則缺失修復，Cao 等［11］提出兩階段的草圖來修復人造場景的圖像，劉微容等［12］提出一種多級解碼網(wǎng)絡利用多尺度信息生成視覺上合理的結(jié)果，但這些算法同樣存在結(jié)構(gòu)不連貫等問題。Liu 等［13］提出用部分卷積代替常規(guī)卷積，該方法不依賴于修復位置或場景復雜度，對不規(guī)則缺失有較好的修復效果；Zheng等［14］提出多元圖像修復算法，能修復各種形狀的缺失圖像并得到較合理的結(jié)果；Li等［15］添加結(jié)構(gòu)圖輔助算法對不規(guī)則孔洞進行逐步重建；Guo等［16］以雙向連接的形式進行結(jié)構(gòu)約束的紋理合成和紋理引導來重建缺失區(qū)域的結(jié)構(gòu)，該算法可生成合理的結(jié)構(gòu)和紋理。然而這些不規(guī)則修復算法大都使用批量歸一化，依賴大批量進行迭代，在使用小批量輸入訓練時效果較差。Li 等［17］提出的循環(huán)特征推理算法對大型不規(guī)則洞孔中心有極強的把控性，能有效修復大型洞孔的完整結(jié)構(gòu)，獲得清晰的紋理，然而其連接方式不能有效傳遞特征信息，特征利用率低；此外，該算法使用單一損失函數(shù)計算輸出圖像與原圖的差異，當不規(guī)則破損區(qū)域面積達30%及以上時，其修復性能急劇下降。

綜上所述，現(xiàn)有算法在修復大面積不規(guī)則缺失時，存在特征利用率低、修復結(jié)果結(jié)構(gòu)連貫性差等不足。為解決這些不足，本文提出基于密集特征推理（DFR）及混合損失函數(shù)（ML）的圖像修復算法。該方法首先將破損圖像輸入至特征推理（FR）模塊進行邊緣重建和內(nèi)容填充；隨后將該模塊的輸出與初始輸入進行通道合并后輸入至下一個FR 模塊，所有FR 模塊采用密集連接，以此對特征信息反復利用，其中包含一個傳播一致性注意力機制（PCA）用于將缺失部分信息與未缺失部分信息進行一致性匹配，并使用組歸一化（GN）［18］，利用小批量進行迭代訓練；最后將修復后的特征圖經(jīng)上采樣后得到修復圖像，使用ML 對其結(jié)構(gòu)進行引導以接近真實圖像結(jié)構(gòu)。

1 算法結(jié)構(gòu)

本文提出的基于DFR 及ML 的修復算法如圖1所示。首先將待修復圖像輸入至DFR模塊，該模塊使用多個FR模塊進行推理，每個FR模塊都使用前置FR 模塊推理出的特征信息來修復圖像；其次使用ML 比較輸出圖像與真實圖像的差異以引導網(wǎng)絡生成高質(zhì)量圖像。

圖1 本文所提算法的結(jié)構(gòu)示意圖Fig.1 Schematic diagram of the proposed algorithm structure

1.1 密集特征推理模塊

Huang 等［19］提出DenseNet，即任何網(wǎng)絡層都可以和所有后續(xù)層進行直接連接。第l層接收前面所有層的特 征映射x0，x1，…，xl-1作 為輸入：xl=Hl([x0，x1，…，xl-1])，其 中[x0，x1，…，xl-1] 是 在0，1，…，l-1 層中產(chǎn)生特征映射的連接。這種密集連接模式因為不需要重新學習冗余的特征映射，所以比傳統(tǒng)的卷積網(wǎng)絡［20］需要的參數(shù)更少。除了高效外，DenseNet 改進了整個網(wǎng)絡的信息流和梯度，易于訓練。其每一層都可以直接從損失函數(shù)和原始輸入信號中訪問梯度，有助于訓練更深層次的網(wǎng)絡架構(gòu)。

借鑒DenseNet的思想，DFR模塊將多個級聯(lián)的特征推理模塊進行密集連接，提升特征復用率，每個推理模塊修復時能夠充分利用前置推理模塊填充的特征信息，以此提高修復性能，如圖1所示。下面詳細介紹DFR模塊中的各個部分。

1.1.1 特征推理模塊

FR模塊建立在編碼解碼結(jié)構(gòu)上，借鑒U-Net［21］的思路，使用跳線連接橋接編碼層和解碼層。其中編碼器由部分卷積［13］與標準卷積組成，解碼器由標準卷積組成，另外包含一個傳播一致性注意力機制，如圖2所示。

圖2 FR模塊Fig.2 FR module

FR 模塊的目的是用盡可能高質(zhì)量的特征值填充已損壞的區(qū)域。高質(zhì)量的特征有利于后續(xù)特征推理模塊填充內(nèi)容。

1.1.2 傳播一致性注意力機制

現(xiàn)存注意力機制［17］不能夠較好匹配缺失區(qū)域像素塊與已知區(qū)域像素塊，容易導致細節(jié)紋理扭曲，精密度低，為解決此問題，借鑒Li等［17］提出的注意力機制KCA，在其中引入注意力傳播，提出傳播一致性注意力機制（PCA），其計算流程圖如圖3所示。

圖3 PCA計算流程Fig.3 PCA calculation process

首先計算前景區(qū)域與背景區(qū)域的相似度分數(shù)s：

式中，f(x，y)表示前景在(x，y)處的像素值，b(x'，y')表示背景在(x'，y')處的像素值。

因前景特征塊偏移時，相應的特征塊也進行相同的偏移，會造成前景區(qū)域與背景區(qū)域匹配不一致，因此設(shè)置注意力傳播的卷積核進行上下與左右傳播，以增加匹配一致性。新的注意力分數(shù)為

式中，k為卷積核的大小。新的注意力分數(shù)使修復網(wǎng)絡擁有更豐富的梯度，提升了修復細節(jié)的一致性。

根據(jù)相似度的值，用softmax 函數(shù)對其進行歸一化，得出注意力分數(shù)：

式中，a'為softmax函數(shù)沿通道方向計算在位置(x，y)處的注意力分數(shù)，表示PCA 模塊產(chǎn)生的第i'次的注意力分數(shù)。

將上一個PCA模塊產(chǎn)生的最終分數(shù)與本次特征推理的PCA 計算的注意力分數(shù)加權(quán)組合得到最終得分：

式中，λ為可學習的參數(shù)，ai'-1為上一個PCA 模塊計算的注意力分數(shù)。

最后利用反卷積進行特征重建：

特征圖重建后，輸入到注意力機制的特征圖F*和重建后的通道合并，卷積得到最終結(jié)果：

式中，?為逐像素卷積，|·|表示通道合并。

1.1.3 特征合并

特征圖經(jīng)所有FR 模塊推理后，若僅使用最后一個推理模塊輸出的特征圖，則會出現(xiàn)梯度消失、特征圖信息損壞等問題。因此，利用RFR［17］中的方法，將所有特征推理模塊合成的特征圖進行合并，即輸出特征圖中的值僅根據(jù)對應位置已被填充的值（被填充后的像素值為有效值，其對應的掩膜值為1）進行計算，用Fi'表示特征推理模塊產(chǎn)生的第i'張?zhí)卣鲌D，Mi'表示Fi'對應的二進制掩膜。輸出特征圖F的特征值可表示為

式中，fi'(x，y，z)為第i'張?zhí)卣鲌D在位置（x，y，z）處的特征值，mi'(x，y，z)為其對應的二進制掩膜，N為特征圖的輸入數(shù)量。

1.1.4 組歸一化

現(xiàn)有修復算法大都使用BN 進行歸一化，需大批量數(shù)迭代才能獲得較好的修復效果，但大批量訓練需要較高的GPU顯存。為解決此問題，提出使用組歸一化（GN）［21］替換BN進行歸一化。該歸一化方式不受輸入批量數(shù)影響。

GN 將輸出特征圖通道分組并在每個組內(nèi)將特征值歸一化：

式中，ε為常量，Si''為像素集合，m為集合的大小。Si''定義為

式中，G為組數(shù)，默認G=32，C/G表示每組的通道數(shù)，表示索引i''和k'在同一組通道中，沿通道軸C軸按順序分組。

本文利用GN，可在使用小批量數(shù)訓練時達到優(yōu)異的效果，并且訓練模型的收斂時間也不會增加。GPU一般來說顯存越高則價格越貴，使用該歸一化方式可以使用小顯存的GPU，節(jié)約研究成本。

1.2 混合損失函數(shù)

結(jié)合亮度、對比度與結(jié)構(gòu)的指標，即結(jié)構(gòu)相似度損失函數(shù)（SSIM）可更好引導修復網(wǎng)絡生成符合人類視覺感知的內(nèi)容［22］，結(jié)構(gòu)連貫性和合理性也更高。因此提出結(jié)合l1損失函數(shù)與SSIM的優(yōu)點組成混合損失函數(shù)（ML）。l1損失函數(shù)定義為

式中：p為像素值的索引；P為像素塊的集合；yreal(p)與ypred(p)為以p為索引的原圖與合成圖像的對應像素值；N'為像素塊集合的大小。SSIM 可以讓修復網(wǎng)絡產(chǎn)生符合人眼視覺特性的圖像，像素p點的SSIM表示為

式中：μypred與μyprede分別為原圖與預測圖像的平均值；σyreal與σypred分別為原圖與預測圖像的標準差；σyrealypred為協(xié)方差；C1與C2為常量，避免分母為零造成的不穩(wěn)定性。因局部求SSIM 指數(shù)的效果好于全局，故用標準差為1.5、加權(quán)窗口大小為11 × 11的高斯濾波器進行卷積，得到SSIM指數(shù)映射的像素矩陣，最后對整個SSIM 像素矩陣求均值得到最終結(jié)果。SSIM在像素p點的損失函數(shù)可寫為

本文所提算法結(jié)合l1損失函數(shù)與SSIM 的優(yōu)點組成混合損失函數(shù)ML，對比網(wǎng)絡輸出圖像與原圖的差異：

式中，γ為權(quán)重，設(shè)為0.25。

此外，本文所提算法還使用了其他圖像修復常用的損失函數(shù)：采用感知損失函數(shù)（perceptual loss）與風格損失函數(shù)（style loss）比較預測圖像與原圖的深度差異：

式中，?pooli'為第i'層池化層，Hi'、Wi'、Ci'分別為池化層第i'層輸出特征圖的高、寬及通道數(shù)，gt代表標簽值（原圖），pred代表預測值（預測圖像），style代表風格損失，perceptual代表感知損失。

Lvaild與Lhole使用l1損失函數(shù)分別計算掩膜區(qū)域與非掩膜區(qū)域生成圖像ypred和原圖yreal之間的差值：

式中，m'為二進制掩膜（洞孔處像素值為0），⊙為點乘。

本文所提算法用Total Variation Loss（Ltv）加強生成圖像的空間平滑性：

最后，總的損失函數(shù)為

式中，各參數(shù)設(shè)置為λstyle=120，λpreceptual=0.05，λtv=0.1，λvaild=1，λhole=6。

2 實驗結(jié)果與分析

使用國際公認的Paris StreetView 巴黎街景數(shù)據(jù)集和CelebA 人臉數(shù)據(jù)集驗證本文所提算法的有效性，前者訓練集有14 900 張，測試集有100 張，主要由城市建筑構(gòu)成。后者訓練集有180 000張左右，由人臉構(gòu)成，另外選取100張圖像作為測試集。

訓練時設(shè)置輸入批量為2，輸入圖像大小為256 × 256，優(yōu)化器函數(shù)為Adam。學習步長為2 ×10-4，訓練到一定次數(shù)時進行微調(diào)，微調(diào)時將學習步長設(shè)置為5 × 10-5。在訓練Paris StreetView 巴黎街景數(shù)據(jù)集時，迭代總次數(shù)為600 000，迭代到400 000次進行微調(diào)；在訓練CelebA人臉數(shù)據(jù)集時，迭代總次數(shù)為500 000，迭代到350 000次進行微調(diào)。

所有實驗環(huán)境均使用Python3.75、Pytorch 1.7、Windows10 操作系統(tǒng)、CPU i9-10900k 和GPU 24GB NVIDIA RTX3090。

2.1 對比實驗

將本文所提算法與PIC［14］、PRVS［15］、RFR［17］、CTSDG［16］對比，驗證其有效性。PIC 是2019 年Zheng 等［14］提出的基于并行生成對抗網(wǎng)絡的不規(guī)則洞孔修復算法；PRVS是2019年Li等［15］提出的基于視覺結(jié)構(gòu)的漸進式重建方法，對大規(guī)模洞孔有較好的修復效果；RFR 是2020 年Li 等［17］提出對圖像特征循環(huán)推理，逐步提高修復能力的修復算法；CTSDG 是2021 年Guo 等［16］提出的一種雙向結(jié)構(gòu)，通過結(jié)構(gòu)約束紋理合成和紋理引導結(jié)構(gòu)重建，以構(gòu)建精細的細節(jié)和合理的結(jié)構(gòu)。

設(shè)置了小型到超大型的各種掩膜對比實驗，掩膜率范圍分別為30%～40%、40%～50% 和50%～60%，修復結(jié)果如圖4和圖5所示。

圖4 人臉缺損圖像對比Fig.4 Comparison of facial defect images

圖5 街景缺損圖像對比Fig.5 Comparison of street view defect images

圖4（a）中，輸入圖像為掩膜率30%～40%的缺損圖像，PIC、PRVS 和CTSDG 因使用BN 進行歸一化，所以在小批量訓練時，估算不夠準確，導致修復效果較差；RFR算法使用循環(huán)特征推理將破損圖像逐步修復，但是每個推理模塊僅使用前一個推理模塊的推理信息，沒有對前面所有的信息進行復用，且沒有充分利用特征信息，此外還由于其注意力機制與損失函數(shù)的設(shè)置欠佳，故該算法在細節(jié)的精細修復上還有較大欠缺；本文所提算法能復原出清晰合理的結(jié)構(gòu)和完整的人臉五官。

圖4（b）中，輸入圖像為掩膜率40%～50%的缺損圖像，PIC 算法因錯誤填充，導致修復結(jié)果的眼睛較模糊；PRVS算法能夠隱約填充出眼睛的結(jié)構(gòu)，但未填充出正確的內(nèi)容，修復得仍不夠徹底；RFR算法能還原眼睛紋理，但因其在紋理細節(jié)上的修復不夠恰當，所以在眉毛處出現(xiàn)小范圍的紋理扭曲；CTSDG修復結(jié)果的雙眼中間處較為模糊；本文所提算法的修復結(jié)果沒有模糊感，口鼻眼紋理與全局具有較高的一致性。

圖4（c）中，輸入圖像為掩膜率50%～60%的缺損圖像，因PIC 在大面積修復上的困難，其修復的結(jié)果整體很模糊；PRVS 修復結(jié)果在下巴處出現(xiàn)較多重疊和大量冗余波紋；RFR算法雖只呈現(xiàn)出少量波紋，但波紋輪廓明顯，幾乎不能還原人臉細節(jié)，很難分辨鼻子與嘴；CTSDG 算法基本能修復出五官，但紋理出現(xiàn)較多扭曲；本文所提算法的修復結(jié)果語義完整，細節(jié)較精細。

圖5（a）中，輸入圖像為掩膜率30%～40%的缺損圖像，PIC的修復結(jié)果出現(xiàn)了明顯的錯誤填充，墻壁處顯然不符合全局結(jié)構(gòu)；PRVS與RFR算法在墻面的填充結(jié)果較模糊，結(jié)構(gòu)也不合理；CTSDG算法修復的墻面存在較多的失真現(xiàn)象；相對而言，本文所提算法能用合適內(nèi)容修復缺失區(qū)域，與背景信息銜接較自然。

圖5（b）中，輸入圖像為掩膜率40%～50%的缺損圖像，PIC 算法在上方墻壁處填充了冗余特征，紋理的整體一致性差，下方的紋理也非常模糊；PRVS、RFR、CTSDG 修復的下方墻壁均不清晰，紋理錯亂；本文所提算法修復的墻壁區(qū)域結(jié)構(gòu)較連貫，符合人眼視覺特性。

圖5（c）中，輸入圖像為掩膜率50%～60%的缺損圖像，PIC 對大面積的缺失修復出現(xiàn)了較為嚴重的錯誤填補，結(jié)構(gòu)凌亂；PRVS算法僅能修復出上方窗戶的大概輪廓，左下方出現(xiàn)了一些噪聲；RFR算法在窗戶內(nèi)填充的紋理不夠合理，下部出現(xiàn)紋理重疊；CTSDG算法未能呈現(xiàn)窗戶的明晰結(jié)構(gòu)；本文所提算法能夠得到較多的清晰紋理細節(jié)和完整結(jié)構(gòu)。

為客觀比較本文所提算法與對比算法的性能，對各種算法的平均峰值信噪比（PSNR）、平均結(jié)構(gòu)相似度（SSIM）、均方誤差（MSE）、弗雷歇距離（FID）及學習感知圖像塊相似度（LPIPS）進行對比，表1 展示了在CelebA 與Paris StreetView 測試集上不同掩膜占比的修復性能指標對比。

表1 本文所提算法與對比算法的定量指標對比Table 1 Comparison of quantitative indicators between the proposed algorithm and comparison algorithms

從表1可看出，本文所提算法的客觀指標高于對比算法，說明本文所提算法的修復性能優(yōu)于對比算法。

圖6 與圖7 主要對比了算法復雜度，其中圖6對比了各個算法的推理時間，可以看出本文所提算法的程序執(zhí)行時間較低，效率較高。圖7對比了各個算法的模型參數(shù)量，可以看出本文所提算法參數(shù)量仍處于較低水平，雖然PIC 算法參數(shù)量非常低，但是其修復性能卻較差。

圖6 本文所提算法與對比算法推理時間對比Fig.6 Comparison of inference time between the proposed algorithm and comparison algorithms

圖7 本文所提算法與對比算法模型參數(shù)量對比Fig.7 Comparison of the number of model parameters between the proposed algorithm and comparison algorithms

2.2 消融實驗

消融實驗主要比較密集連接、PCA、ML 及GN對修復效果的影響，所有實驗均在CelebA 數(shù)據(jù)集上進行。

（1）密集連接的有效性

圖8比較了不使用密集連接與使用密集連接的修復效果，可以看出兩者利用同等大小數(shù)據(jù)集訓練時，基于密集連接模式的模型因其能夠充分利用特征而重建效果更優(yōu)。

圖8 有無密集連接的效果對比Fig.8 Contrast effect with and without dense connection

（2）PCA的有效性

圖9 比較了PCA 與現(xiàn)存注意力機制的修復效果，可以看出現(xiàn)存注意力機制［17］嘴唇與眼睛處出現(xiàn)失真。本文所提算法使用了PCA，合成的嘴唇及眼睛的紋理細節(jié)更加能夠與整體保持一致性。

圖9 PCA與現(xiàn)存注意力機制的效果對比Fig.9 Comparison of PCA and existing attention mechanism

（3）ML的有效性

圖10比較了使用ML與單一損失函數(shù)的修復結(jié)果。未使用混合損失函數(shù)的修復結(jié)果中，嘴唇處修復的結(jié)果較扭曲，上嘴唇和下嘴唇銜接較差。本文所提算法使用了混合損失函數(shù)ML，在嘴唇處的結(jié)構(gòu)連貫性更好。

圖10 單一損失函數(shù)與ML的效果對比Fig.10 Comparison effect of a single loss function and ML

（4）GN的有效性

圖11 比較了同等批量數(shù)訓練時BN 與GN 兩者的效果，在鼻子與嘴唇處可以明顯看出本文所提算法使用GN時效果優(yōu)于BN。

圖11 BN與GN的效果對比Fig.11 Contrast effect of BN and GN

表2 定量對比了消融實驗的PSNR、SSIM、MSE、FID、LPIPS等指標。綜合這些指標可以看出密集連接、注意力傳播、混合損失函數(shù)以及組歸一化改善了網(wǎng)絡的修復性能。

表2 消融指標對比Table 2 Comparison of ablation metrics

3 結(jié)論

本文提出一種基于DFR 及ML 的修復算法，首先將待修補圖像輸入至密集連接的FR 模塊，逐步修復破損圖像，并對特征多次重復使用，隨后將所有FR 模塊輸出圖像進行特征合并，上采樣得到修復圖像，最后使用ML 計算生成圖像與原始圖像的差異。與現(xiàn)有的4種經(jīng)典同類算法進行定量與定性對比，結(jié)果表明本文所提算法在修復復雜場景的大面積不規(guī)則缺失時，修復的結(jié)果結(jié)構(gòu)連貫性更好，紋理細節(jié)更能與全局保持一致。