基于注意力編解碼器及多殘差網絡的逆半色調方法

摘 要： 針對當前逆半色調方法恢復的圖像存在細節(jié)不清晰甚至丟失的問題，提出了一種基于注意力編解碼器及多殘差網絡（Encoder-decoder with attention and multi-residual network， EDAMRNet）的逆半色調方法。首先，設計融合注意力機制的編解碼器結構，在其跳躍連接處添加非對稱特征融合模塊，以有效提取圖像上下文信息；然后，構造多殘差網絡，捕獲并保留圖像空間細節(jié)信息；最后，應用監(jiān)督注意力模塊對圖像上下文信息進行加強，再傳遞到多殘差網絡，以恢復出高質量的連續(xù)色調圖像。實驗結果表明：該方法與現有最優(yōu)方法相比，在Urban100和Manga109數據集下的峰值信噪比平均值均提高了0.1 dB，結構相似性平均值分別提高了0.0010和0.0005。該方法能夠在提取圖像上下文信息的同時保留圖像空間細節(jié)信息，可更好地恢復圖像紋理信息，提高圖像清晰度，為圖像逆半色調方法研究提供了一種新的方案。

關鍵詞： 逆半色調；圖像恢復；注意力機制；編解碼器；多殘差網絡；清晰度

中圖分類號： TP391

文獻標志碼： A

文章編號： 1673-3851 （2024） 05-0369-09

引文格式：鄔凡，楊俊，桂江生. 基于注意力編解碼器及多殘差網絡的逆半色調方法［J］. 浙江理工大學學報（自然科學），2024，51（3）：369-377.

Reference Format： WU Fan， YANG Jun， GUI Jiangsheng. An inverse halftoning method based on encoder-decoder with attention and multi-residual network［J］. Journal of Zhejiang Sci-Tech University，2024，51（3）：369-377.

An inverse halftoning method based on encoder-decoder with attention and multi-residual network

WU Fan1，2， YANG Jun2， GUI Jiangsheng1

（1.School of Computer Science and Technology， Zhejiang Sci-Tech University， Hangzhou 310018， China; 2.College of Information Science and Engineering， Jiaxing University， Jiaxing 314001， China）

Abstract：" An inverse halftoning method based on encoder-decoder with attention and multi-residual network （EDAMRNet） was proposed to address the issue of unclear or even lost details in image restoration using current reverse halftone methods. Firstly， the encoder-decoder structure with attention was designed， and the asymmetric feature fusion modules were added at its skip connections to effectively capture image context information. Then， the multi-residual network was constructed to capture and retain spatial details of the image. Finally， the supervised attention module was applied to enhance the image context information， which was then transmitted to multi-residual network to restore high-quality continuous-tone images. The experimental results showed that compared to the existing optimal method， the proposed method improved the average peak signal-to-noise ratio by 0.1 dB and the average structural similarity by 0.0010 and 0.0005， respectively on the Urban100 and Manga109 datasets. The method can extract image context information while preserving spatial details， better restoring image texture information and improving image clarity. It provides a new scheme for the study of image inverse halftoning.

Key words： inverse halftoning; image restoration; attention mechanism; encoder-decoder; multi-residual network; clarity

0 引 言

半色調方法是將連續(xù)色調圖像轉換為二值圖像，使得轉換后的圖像在一定距離的視覺效果與連續(xù)色調圖像相似；有序抖動和誤差擴散是兩種有效的半色調方法［1］。由于半色調圖像所需存儲空間小，傳輸速度較快，被廣泛應用于印刷和打印等領域。經半色調方法生成的圖像丟失了色調和細節(jié)等信息，導致圖像質量降低，若直接對半色調圖像進行縮放、旋轉和識別等處理，會產生圖像失真、識別精度低等問題。逆半色調方法是半色調方法的逆過程，即將二值圖像轉換為連續(xù)色調圖像。然而，通過部分已有信息恢復全部未知信息，是一個不適定問題。因此，在逆半色調處理過程中，如何恢復出高質量的連續(xù)色調圖像是一個具有挑戰(zhàn)性的任務。

傳統(tǒng)的逆半色調方法包括濾波法［2］和查找表法［3］兩類。Xiong等［4］提出了一種基于小波的逆半色調方法，該方法利用小波變換的多分辨率特性，分離出半色調圖像的高頻信息與低頻信息，然后在圖像的高頻信號中實現去噪功能，低頻信號中完成保留邊緣信息處理，最后通過小波逆變換使圖像從頻域轉換到空間域，恢復出連續(xù)色調圖像；該方法雖然比簡單的濾波方法能有效提高恢復圖像質量，但其計算速度慢，所需計算資源高。Mese等［5］提出了一種基于查找表的逆半色調方法，首先建立半色調圖像值與連續(xù)色調圖像值之間的查找表，然后通過查表的方法恢復出連續(xù)色調圖像；這種方法能快速地恢復連續(xù)色調圖像，然而恢復的圖像在平緩區(qū)域存在噪聲。

近年來，隨著人工智能技術在不同領域廣泛應用，深度學習方法在超分辨率、圖像恢復等領域已經取得了非凡的成績，為克服傳統(tǒng)逆半色調方法存在的缺陷提供了新的思路。Hou等［6］提出了一種基于U-Net的逆半色調方法，該方法的網絡結構簡單，訓練時間短，但恢復的連續(xù)色調圖像細節(jié)不清晰。Xiao等［7］提出了一種梯度引導網絡，通過輸入的半色調圖像來預測梯度圖，將獲得的梯度圖與半色調圖像融合，恢復出連續(xù)色調圖像。在Xiao等［7］的基礎上，Yuan等［8］提出了一種梯度殘差引導網絡，通過引入殘差更好地恢復出連續(xù)色調圖像細節(jié)。Xia等［9］提出了一種漸進殘差學習網絡，首先使用內容聚合模塊抑制半色調噪聲，恢復初步的連續(xù)色調圖像，然后使用細節(jié)增強模塊提取圖像的細節(jié)信息，最后將細節(jié)信息與連續(xù)色調圖像融合，恢復出連續(xù)色調圖像。Son等［10］提出了一種結構感知深度神經網絡，抑制半色調圖像在平緩區(qū)域的噪聲，恢復出連續(xù)色調圖像的紋理細節(jié)。Shao等［11］提出了一種融合注意力機制的深度神經網絡，使用注意力機制引導網絡抑制半色調噪聲，并通過多階段損失函數加速網絡優(yōu)化，恢復出連續(xù)色調圖像。李梅等［12］提出了一種融合注意力機制的多尺度殘差網絡，從不同尺度抑制半色調噪聲，提高了連續(xù)色調圖像在平滑區(qū)域和紋理細節(jié)上的質量。Li等［13］提出了一種漸進式多尺度殘差網絡，融合不同階段提取的特征信息，提升了連續(xù)色調圖像的質量。上述逆半色調方法［6-13］雖取得一定效果，但存在恢復出的連續(xù)色調圖像不夠清晰、空間細節(jié)丟失等問題。

為提升恢復的連續(xù)色調圖像清晰度，保留更多的空間細節(jié)信息，本文提出了一種基于注意力編解碼器及多殘差網絡（Encoder-decoder with attention and multi-residual network， EDAMRNet）的逆半色調方法。考慮到注意力機制能夠有選擇地處理圖像特征信息，編解碼器的層次化結構能夠提取圖像上下文信息，本文設計了融合注意力機制的編解碼器，對連續(xù)色調圖像的上下文信息進行提??；由于殘差網絡能夠捕獲圖像的空間細節(jié)信息，本文構造了多殘差網絡，提取連續(xù)色調圖像的空間細節(jié)信息。在Urban100、Manga109、Set5、Set14和Place365公開數據集上對本文提出的方法與其他方法進行對比，以驗證該方法的有效性。本文構建了EDAMRNet模型，為圖像逆半色調的網絡模型研究提供了新的角度和思路，增加該領域研究的多樣性，為學者進一步深入研究逆半色調網絡模型提供參考和基礎。

1 方法設計

本文提出了一種端到端的基于EDAMRNet的逆半色調方法，在編碼階段使用殘差塊對下采樣圖像進行特征提取，提取圖像的深層特征；在解碼階段通過特征注意力模塊（Feature attention module， FAM）［14］調整圖像特征信息的權重，提升模型對有用特征信息的關注度；在編解碼器的跳躍連接處添加非對稱特征融合模塊（Asymmetric feature fusion module， AFFM）［14］，融合不同層級輸出的特征，使模型提取到豐富的圖像上下文信息。然后，使用多殘差網絡提取并保留圖像空間細節(jié)信息。最后，采用監(jiān)督注意力模塊（Supervised attention module， SAM）［15］對圖像上下文信息進行加強，再傳遞到多殘差網絡，以端到端的方式恢復出連續(xù)色調圖像。

1.1 網絡結構

本文提出的EDAMRNet結構示意圖如圖1所示。圖像的高、寬和通道數分別為H、W和C。輸入的半色調圖像I∈RH×W×1經過卷積層和殘差塊，得到圖像淺層特征Fs∈RH×W×C。淺層特征計算過程可由式（1）表示：

Fs=MRBJ3×3I（1）

其中：J3×3表示卷積核為3×3的卷積操作，MRB表示殘差操作。淺層特征輸入到編解碼器，得到圖像上下文信息T∈RH×W×C。圖像上下文信息計算過程可由式（2）表示：

T=EED（Fs）（2）

其中：EED表示編解碼操作。圖像上下文信息和半色調圖像同時輸入到SAM，得到注意力特征Fout∈RH×W×C。注意力特征計算過程可由式（3）表示：

Fout=SSAM（T，I）（3）

其中：SSAM表示應用監(jiān)督注意力機制。注意力特征和淺層特征拼接后，經過殘差塊和卷積層，得到殘差圖像X∈RH×W×1。殘差圖像與半色調圖像相加，得到恢復的連續(xù)色調圖像I～。上述計算過程可由式（4）—（5）表示：

X=J3×3（MRB（Pconcat（Fout，Fs）））（4）

I～=XI（5）

其中：Pconcat表示特征拼接操作；表示按元素相加。

1.2 融合注意力機制的編解碼器結構

圖像上下文信息是指圖像中單個像素與其周圍像素之間相互關聯的信息。在逆半色調處理過程中，模型通過學習圖像中像素之間的關系，從而獲得更準確的語義表達。編解碼器的層次化結構有利于提取圖像上下文信息；通過注意力機制為圖像上下文信息中的元素賦予不同權重，可使圖像上下文信息被充分利用。因此，本文設計了融合注意力機制的編解碼器。首先，在編碼階段使用像素重組的方式［16］進行下采樣，以降低圖像分辨率，擴大感受野，接著使用殘差塊對下采樣圖像進行特征提取，獲取圖像的深層特征信息；然后，在解碼階段還原圖像的淺層特征時，使用反卷積增大圖像分辨率，容易產生棋盤偽影，因此采用像素重組的方式進行上采樣，上采樣圖像再經過FAM，使模型關注有價值的特征信息；最后，不同于直接連接上下采樣層，本文使用跳躍連接，將編解碼器中相同維度的層級連接起來，融合圖像的深層特征和淺層特征。為進一步提升融合效果，在跳躍連接處添加AFFM，將編碼器中不同層級提取的特征進行融合。融合編碼器融合的特征與解碼器還原的特征，使特征信息在整個編解碼器中流動，有助于提取圖像上下文信息。

1.2.1 AFFM

在傳統(tǒng)的編解碼器結構中，特征信息都是自上而下地流動，信息流動性受限。為加強特征信息在各個層級之間的流動性，在編解碼器的跳躍連接處添加AFFM。AFFM將不同層級輸出的特征信息進行融合，使模型提取豐富的圖像上下文信息。同時，通過AFFM融合不同層級輸出的特征，可有效減少圖像信息丟失。AFFM結構示意圖如圖3所示，其中：Boutn表示編碼器第n（n=1，2，3）層殘差塊輸出的特征，Resize表示對特征進行放大或縮小。為確保相同大小的特征進行拼接，將編碼器中不同層級殘差塊輸出的特征分別進行放大或縮小。然后進行拼接，再經過2個卷積層，得到融合后的特征Aoutn。上述計算過程可由式（6）—（7）表示：

Aout1=J3×3（J1×1（Pconcat（Bout1，Bout2，u，Bout3，u）））（6）

Aout2=J3×3（J1×1（Pconcat（Bout1，d，Bout2，Bout3，u）））（7）

其中：Boutn，u表示編碼器中第n（n=2，3）層殘差塊輸出的放大后的特征；Boutn，d表示編碼器中第n（n=1）層殘差塊輸出的縮小后的特征；J1×1表示卷積核為1×1的卷積操作；Aoutn表示第n（n=1，2）個AFFM輸出的特征。

1.2.2 FAM

通過注意力機制可以增加模型對圖像有用特征的關注度。為有效利用圖像恢復所需的關鍵特征信息，在上采樣之后添加FAM。FAM為圖像上下文"" 信息中的元素分配不同權重，使圖像上下文信息被充分利用。FAM結構示意圖如圖4所示。上采樣輸出的特征Fu與AFFM輸出的特征Aoutn進行相乘，然后輸入到3×3卷積層，再與Aoutn進行相加，得到有效的特征Fm。上述計算過程可由式（8）表示：

Fm=J3×3（Aoutn Fu）Aoutn（8）

其中： 表示按元素相乘。

1.3 多殘差網絡

傳統(tǒng)網絡直接學習輸入圖像和目標圖像之間的映射關系，但在網絡較深時存在梯度消失和信息丟失問題。殘差網絡通過引入跳躍連接，緩解了梯度消失，使模型更容易地捕捉圖像空間細節(jié)信息。使用跳躍連接還可以直接傳遞梯度，優(yōu)化梯度在網絡中的傳播，加速網絡收斂。

本文通過殘差塊組成的多殘差網絡處理半色調圖像，提取并保留圖像空間細節(jié)信息。多殘差網絡結構示意圖如圖5所示。半色調圖像I∈RH×W×1經過卷積層和殘差塊，得到淺層特征Fs∈RH×W×C。淺層特征再經過殘差塊和卷積層，得到殘差圖像X∈RH×W×1。為保留豐富的高分辨率圖像特征，上述過程不對圖像進行上下采樣。最后將殘差圖像和半色調圖像相加，得到恢復的連續(xù)色調圖像I～。上述計算過程可由式（9）—（11）表示：

Fs=MRB（J3×3（I））（9）

X=J3×3（MRB（Fs））（10）

I～=XI（11）

1.4 SAM

本文在編解碼器和多殘差網絡之間添加SAM，SAM引入真實圖像作為監(jiān)督信號，抑制信息量較少的特征，選擇對圖像恢復有用的特征傳遞到多殘差網絡，以更準確地恢復出連續(xù)色調圖像。SAM結構示意圖如圖6所示。首先，特征Fin∈RH×W×C經過1×1卷積層生成的圖像，與半色調圖像I相加，得到初步的連續(xù)色調圖像N∈RH×W×1。然后，圖像N經過1×1卷積層，再通過Sigmoid激活函數自適應分配權重，得到特征權重圖Q∈RH×W×C。最后，將特征權重圖Q和經過1×1卷積層的特征Fin相乘，再與特征Fin相加，得到注意力特征Fout∈RH×W×C。上述計算過程可由式（12）—（14）表示：

N=J1×1（Fin）I（12）

Q=σ（J1×1（N））（13）

Fout=（Q J1×1（Fin））Fin（14）

其中：σ表示Sigmoid激活函數。

1.5 損失函數

損失函數是衡量預測值與真實值之間的差異，數值越小說明網絡模型的性能更優(yōu)。由于L1損失可以防止?jié)撛诘奶荻缺?，因此與均方差損失相比較，L1損失對異常值更加魯棒。L1損失提供了真實連續(xù)色調圖像與恢復的連續(xù)色調圖像之間的差異度量，計算可由式（15）表示：

L1=1K∑Kk=1‖I～-Y‖1（15）

其中：Y表示真實圖像；k表示訓練集中的第幾個樣本；K表示訓練集的樣本總數。

圖像頻域包含圖像的不同頻率分量，通過快速傅里葉變換（Fast Fourier transform， FFT）［17］可將圖像從空間域轉換為頻域表示，其高頻分量對應圖像的紋理和空間細節(jié)信息。LFFT損失提供了真實連續(xù)色調圖像與恢復的連續(xù)色調圖像在頻域上的差異度量，有助于恢復圖像的高頻分量。LFFT損失計算可由式（16）表示：

LFFT=1K∑Kk=1‖VFFTI～-VFFTY‖1（16）

其中：VFFT表示將圖像從空間域轉換到頻域表示。

為綜合考慮圖像空間域和頻域的信息，本文采用的損失函數Ltotal，計算如式（17）所示：

Ltotal=L1+λLFFT（17）

其中：λ為超參數，取值為0.1。

2 結果與討論

2.1 數據集

本文使用在圖像恢復任務中被廣泛使用的公開數據集VOC2012［18］。該數據集包括20個不同類別的圖像，隨機挑選13841張圖像作為訓練集，3000張圖像作為驗證集。訓練前使用誤差擴散法生成對應的半色調圖像，形成訓練集和驗證集。訓練集和驗證集被裁剪成大小為128×128像素，通道數為1，每張圖像通過隨機水平或垂直旋轉進行數據增強。本文選擇公開數據集Urban100、Manga109、Set5、Set14和Place365作為測試集。

2.2 實驗過程

實驗設備和配置如下，硬件使用Intel（R） Core（TM） i9-10900X CPU@3.70 GHz處理器和 GeForce RTX 3090Ti顯卡，實驗環(huán)境使用64位Ubuntu系統(tǒng)、Python 3.8.0、PyTorch 1.11.0和CUDA 11.3。在實驗中，EDAMRNet中編解碼器和多殘差網絡中殘差塊的個數分別設為4和8，提取淺層特征時殘差塊的個數設為8。訓練過程中采用AdamW優(yōu)化器，批量大小設置為16，訓練輪數約460輪，初始學習率為2×10-4，使用余弦退火策略優(yōu)化學習率。

2.3 實驗結果和對比分析

為驗證本文方法的有效性，選擇逆半色調方法PRL［9］、MSPRL［13］和其他基于卷積神經網絡的圖像恢復方法［14-15，19-20］進行比較。在這些圖像恢復方法中，Lim等［19］提出了增強深度超分辨率網絡（EDSR），通過移除批量歸一化提升了網絡性能；Cho等［14］提出了單圖像去模糊網絡（MIMOUNet），采用由粗到細的策略，具有多輸入多輸出的U-Net結構，可快速和高效地實現圖像去模糊；Zamir等［15］提出了多階段漸進式圖像恢復網絡（MPRNet），通過逐步恢復每階段退化的圖像，提升了圖像恢復效果；Chen等［20］提出了非線性無激活網絡（NAFNet），網絡結構簡單且計算量低，實現了圖像去噪和圖像去模糊。這些方法可擴展用于逆半色調任務。為準確評價實驗結果，以上方法與本文方法使用相同數據集進行訓練，本文從客觀評價、主觀評價和訓練性能對恢復的連續(xù)色調圖像質量進行評估。

2.3.1 客觀評價

本文采用峰值信噪比（Peak signal-to-noise ratio， PSNR）和結構相似性（Structural similarity， SSIM）為量化指標，對不同的逆半色調方法進行客觀評估。PSNR可以量化恢復的連續(xù)色調圖像與真實連續(xù)色調圖像之間的差異程度，其值越高，表明圖像失真越少，質量越高。SSIM可以評估恢復的連續(xù)色調圖像與真實連續(xù)色調圖像之間的結構相似程度，考慮了圖像對比度和結構等因素，其值越高，表明兩幅圖像越相似。本文方法與其他方法在5個基準數據集上的PSNR和SSIM平均值見表1，從表中可以看出：本文方法相比目前最優(yōu)的逆半色調方法MSPRL［13］，PSNR平均值提高0.02～0.10 dB，SSIM平均值提高0.0001～0.0010；本文方法與最優(yōu)的圖像恢復方法MPRNet［15］相比，PSNR平均值提高0.03～0.48 dB，SSIM平均值提高0.0006～0.0008。與其他方法相比，本文方法恢復的連續(xù)色調圖像與真實連續(xù)色調圖像之間差異最小，并且結構上更加相似。

2.3.2 主觀評價

通過本文方法與其他方法恢復的連續(xù)色調圖像相比較，對圖像恢復效果進行主觀視覺評價。本文方法與其他方法恢復的連續(xù)色調圖像Urban026（Urban100數據集）和ARMS（Manga109數據集）見圖7和圖8。圖像中的小矩形框表示圖像的局部區(qū)域，大矩形框表示放大后的局部區(qū)域。從圖7前兩行可以看出：在Urban026圖像中，EDSR［19］、PRL［9］、NAFNet［20］和MIMOUNet［14］方法恢復的圖像整體上不清晰，紋理和細節(jié)較模糊；MSPRL［13］方法能夠恢復圖像的部分紋理信息，本文方法能夠恢復圖像的整體紋理信息，去除半色調噪聲更徹底。從圖8前兩行可以看出：在ARMS圖像中，EDSR［19］和PRL［9］方法恢復效果較差，部分線條之間存在黏連現象；NAFNet［20］、MIMOUNet［14］和MSPRL［13］方法恢復效果較好，但從大矩形框中可以看出，線條附近均出現偽影且邊緣較模糊。通過觀察對比圖可以發(fā)現，本文方法恢復的連續(xù)色調圖像具有最優(yōu)的視覺效果，整體上更加清晰，且不存在偽影，保留更多的空間細節(jié)信息。

2.3.3 訓練性能

為驗證本文網絡模型的訓練性能，將本文方法與基于MIMOUNet［14］、MPRNet［15］和NAFNet［20］網絡模型的方法進行對比分析。在訓練過程中，PSNR平均值隨訓練輪數的變化見圖9，從圖9中可以看出：NAFNet［20］模型收斂速度較慢，PSNR平均值較低；MIMOUNet［14］、MPRNet［15］和EDAMRNet模型均在350輪之后基本保持穩(wěn)定。上述結果說明本文網絡模型在訓練時具有較好的穩(wěn)定性，PSNR平均值最高，整體性能最好。

2.4 消融實驗

本文網絡模型主要由編解碼器、多殘差網絡和SAM組成。為驗證該網絡模型設計的合理性及有效性，在訓練中，使用Urban100作為測試數據集，迭代次數設置為10k次。對比結果見表2，從表中可以看出：相較于單一的編解碼器，采用編解碼器和多殘差網絡使PSNR平均值和SSIM平均值分別提高0.44 dB和0.0058，圖像恢復效果有明顯提升；通過在編解碼器和多殘差網絡之間引入SAM，使PSNR平均值和SSIM平均值分別提高0.06 dB和0.0007，恢復出更高質量的連續(xù)色調圖像。

在訓練中，分別采用L1損失函數和Ltotal損失函數。對比結果見表3，從表中可以看出：相較于L1損失函數，采用Ltotal損失函數使PSNR平均值和SSIM平均值分別提高0.15 dB和0.0003。上述結果說明Ltotal損失函數使模型能夠同時提取圖像空間域和頻域的信息，提升了連續(xù)色調圖像的質量。

通道數對模型的特征提取能力至關重要。在訓練中，通道數分別設為48和64。對比結果見表4，從表中可以看出：當通道數由48增加到64時，PSNR平均值和SSIM平均值分別提高0.11 dB和0.0012。上述結果說明增加通道數能夠使模型更好地提取圖像特征信息。

3 結 論

本文提出了一種基于EDAMRNet的逆半色調方法，以端到端的方式，從半色調圖像直接恢復出連續(xù)色調圖像。通過在編解碼器和多殘差網絡之間引入SAM，對圖像上下文信息進行加強，然后傳遞到多殘差網絡；采用組合損失函數優(yōu)化網絡，提高了恢復圖像的質量。本文方法與現有最優(yōu)的逆半色調方法相比，在Urban100和Manga109數據集下的PSNR平均值均提高了0.1 dB，SSIM平均值分別提高了0.0010和0.0005，恢復出的連續(xù)色調圖像保留了更多空間細節(jié)，整體更加清晰。

參考文獻：

［1］Guo J M， Sankarasrinivasan S. Digital halftone database （DHD）： A comprehensive analysis on halftone types［C］∥2018 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference （APSIPA ASC）. Honolulu， HI， USA. IEEE， 2019： 1091-1099.

［2］張燕， 張二虎. 圖像逆半色調技術研究［J］. 西安理工大學學報， 2017， 33（3）： 282-289.

［3］孔月萍， 曾平， 何波， 等. LUT 與 Elman 網絡相結合的圖像逆半調算法［J］. 中國圖象圖形學報， 2007， 12（11）： 1988-1991.

［4］Xiong Z X， Orchard M T， Ramchandran K. Inverse halftoning using wavelets［J］. IEEE Transactions on Image Processing， 1999， 8（10）： 1479-1483.

［5］Mese M， Vaidyanathan P P. Look-up table （LUT） method for inverse halftoning［J］. IEEE Transactions on Image Processing， 2001， 10（10）： 1566-1578.

［6］Hou X X， Qiu G P. Image companding and inverse halftoning using deep convolutional neural networks［EB/OL］. （2017-07-01）［2023-07-15］. https：∥arxiv.org/abs/1707.00116.

［7］Xiao Y， Pan C， Zheng Y， et al. Gradient-guided DCNN for inverse halftoning and image expanding［C］∥Asian Conference on Computer Vision. Cham： Springer International Publishing， 2019： 207-222.

［8］Yuan J， Pan C， Zheng Y， et al. Gradient-guided residual learning for inverse halftoning and image expanding［J］. IEEE Access， 2019， 8： 50995-51007.

［9］Xia M， Wong T T. Deep inverse halftoning via progressively residual learning［C］∥Computer Vision-ACCV 2018： 14th Asian Conference on Computer Vision. Perth， Australia. Cham： Springer International Publishing， 2019： 523-539.

［10］Son C H. Inverse halftoning through structure-aware deep convolutional neural networks［J］. Signal Processing， 2020， 173： 107591.

［11］Shao L H， Zhang E H， Li M. An efficient convolutional neural network model combined with attention mechanism for inverse halftoning［J］. Electronics， 2021， 10（13）： 1574.

［12］李梅， 張二虎. 融合注意力機制的多尺度深度網絡的逆半調方法［J］. 包裝工程， 2022， 43（11）： 283-291.

［13］Li F Y， Yang J. Rethinking PRL： A multiscale progressively residual learning network for inverse halftoning［EB/OL］. （2023-05-27）［2023-07-15］. https：∥arxiv.org/abs/2305.17355.

［14］Cho S J， Ji S W， Hong J P， et al. Rethinking coarse-to-fine approach in single image deblurring［C］∥2021 IEEE/CVF International Conference on Computer Vision （ICCV）. Montreal， QC， Canada. IEEE， 2022： 4621-4630.

［15］Zamir S W， Arora A， Khan S， et al. Multi-stage progressive image restoration［C］∥2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Nashville， TN， USA. IEEE， 2021： 14816-14826.

［16］Shi W Z， Caballero J， Huszr F， et al. Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network［C］∥2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Las Vegas， NV， USA. IEEE， 2016： 1874-1883.

［17］Cochran W T， Cooley J W， Favin D L， et al. What is the fast Fourier transform？［J］. Proceedings of the IEEE， 1967， 55（10）： 1664-1674.

［18］Everingham M， Ali Eslami S M， Van Gool L， et al. The pascal visual object classes challenge： A retrospective［J］. International Journal of Computer Vision， 2015， 111（1）： 98-136.

［19］Lim B， Son S， Kim H， et al. Enhanced deep residual networks for single image super-resolution［C］∥2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. Honolulu， HI， USA. IEEE， 2017： 1132-1140.

［20］Chen L Y， Chu X J， Zhang X Y， et al. Simple baselines for image restoration［C］∥17th European Conference on Computer Vision （ECCV）. Tel Aviv， Israel. Cham： Springer Nature Switzerland， 2022： 17-33.

（責任編輯：康 鋒）