摘要:湍流退化圖像復(fù)原技術(shù)旨在解決成像系統(tǒng)中因湍流效應(yīng)引起的圖像模糊和失真問題。本文介紹了湍流對圖像影響的多種模型,包括Kolmogorov湍流模型、移動平均模型、Zernike多項式模型和平均結(jié)構(gòu)函數(shù)模型。重點介紹了退化圖像盲復(fù)原技術(shù)和深度學(xué)習(xí)的圖像復(fù)原方法最新研究進(jìn)展、課題組在該領(lǐng)域的研究進(jìn)展和未來圖像復(fù)原技術(shù)研究的方向。
關(guān)鍵詞:湍流退化模型;圖像盲復(fù)原;深度學(xué)習(xí)
中圖分類號: TP391 文獻(xiàn)標(biāo)志碼:A 文章編號:1001-2443(2024)04-0301-05
引 言
成像系統(tǒng)常受到多種退化因素的影響,如相機與目標(biāo)之間的相對運動,運動(相機抖動)模糊;光學(xué)系統(tǒng)像差,失焦模糊;和大氣擾動,大氣湍流模糊等。這些退化因素平滑了圖像中灰度級的突變,降低了圖像的對比度,其作用可視為低通濾波器。湍流是一種在自然界中普遍存在的流體運動形式,其不規(guī)則的大氣折射率起伏會對光波傳輸和圖像采集產(chǎn)生影響,導(dǎo)致圖像產(chǎn)生退化和失真。湍流效應(yīng)對圖像產(chǎn)生的影響主要表現(xiàn)在這幾個方面:湍流導(dǎo)致光束傳輸路徑的不規(guī)則變化使得圖像細(xì)節(jié)丟失的模糊、湍流在圖像采集過程中增加額外噪聲使得圖像信噪比降低、湍流引起圖像形變和扭曲使得圖像幾何結(jié)構(gòu)和形狀發(fā)生變化產(chǎn)生的失真。由于湍流的因素引起的在視覺上呈現(xiàn)出不清晰的效果稱為湍流退化。圖像復(fù)原是一種通過去除圖像中的噪聲和模糊來恢復(fù)原始圖像的過程。通過對湍流退化圖像復(fù)原的研究,可以深入了解湍流對圖像的影響機制,為進(jìn)一步探索圖像復(fù)原方法和技術(shù)提供理論基礎(chǔ)和實踐指導(dǎo),具有重要的科學(xué)和應(yīng)用價值。
1 湍流退化模型
湍流對圖像影響的點擴散函數(shù)(Point Spread Function, PSF)描述了點光源在成像過程中受湍流影響擴展成一個更大的模糊斑點。PSF在湍流條件下的具體形式依賴于湍流的特性和光學(xué)系統(tǒng)的參數(shù)。以下是幾種常用的湍流PSF模型公式。
Kolmogorov湍流模型:
Kolmogorov湍流模型中的PSF為[1]
[PSF(r)=1πr20exp(-r2r20)] (1)
其中r表示圖像平面上的點與光源的距離。PSF的衰減隨著距離r的增加而迅速下降。[r0]是描述大氣湍流強度的Fried參數(shù)(相干長度)。Fried參數(shù)越小,湍流的影響越強,圖像模糊程度越大。Kolmogorov湍流模型中的PSF公式提供了一種簡單而有效的方法來描述湍流導(dǎo)致的光學(xué)圖像模糊。這個模型在天文學(xué)、成像系統(tǒng)設(shè)計以及其他需要考慮大氣湍流影響的領(lǐng)域中得到了廣泛應(yīng)用。
移動平均模型[2]:
假設(shè)湍流導(dǎo)致圖像上的點光源在一個高斯分布的范圍內(nèi)隨機移動,移動平均模型的PSF為
[PSF(x,y)=12πσ2exp(-x2+y22σ2)] (2)
其中x,y是圖像平面上的坐標(biāo),[σ]表示湍流導(dǎo)致的模糊程度的標(biāo)準(zhǔn)差。這個模型假設(shè)了光斑的擴散服從二維高斯分布,其形狀由標(biāo)準(zhǔn)差[σ]控制。標(biāo)準(zhǔn)差越大,光斑擴散的越廣,圖像模糊程度越高。PSF移動平均模型是一種簡化模型,通常用于需要快速估計湍流影響的場景,特別是在分辨率要求不高或光斑擴散相對均勻的情況下如大氣湍流對天文觀測圖像的影響等。
Zernike 多項式模型[3]:
Zernike多項式在單位圓上形成的一組正交基,可用于描述波前畸變,可以將湍流引起的波前畸變轉(zhuǎn)化為一系列Zernike模態(tài)的疊加。給定波前相位畸變后,可通過相位屏模型計算PSF:
[PSF(x,y)=F-1FP(x,y)·ei?(x,y)2] (3)
這里[P(x,y)]是系統(tǒng)的光學(xué)傳遞函數(shù),[?(x,y)]是波前畸變相位函數(shù),[F]和[F-1]分別是傅里葉變換和傅里葉逆變換。Zernike多項式表示的PSF在光學(xué)系統(tǒng)的波前畸變描述以及圖像處理領(lǐng)域中被廣泛使用。
平均結(jié)構(gòu)函數(shù)模型[4]:
平均結(jié)構(gòu)函數(shù)模型假設(shè)波前相位畸變服從Kolmogorov湍流的統(tǒng)計特征,常用于大氣湍流導(dǎo)致的光學(xué)波前畸變的建模和分析。
[PSF(f)=Fexp(-0.5D?(ρ))] (4)
其中相位結(jié)構(gòu)函數(shù)[D?(ρ)=6.88(ρr0)5/3],[ρ]是兩點間距離,f是頻率。通過該模型,可以估計湍流對光學(xué)成像的影響。
湍流對圖像影響的點擴散函數(shù)PSF(x,y)確定后,湍流退化圖像Idegraded(x,y)可看成原始圖像I(x,y)與點擴散函數(shù)的卷積再疊加加性噪聲N(x,y)生成。
Idegraded(x,y)=(I(x,y)*PSF(x,y))+N(x,y) (5)
在頻域上,上述卷積可表示成乘積。使用傅里葉變換,公式(5)變?yōu)椋?/p>
[FIdegraded(x,y)=FI(x,y)·FPSF(x,y)+FN(x,y)] (6)
傳統(tǒng)的圖像復(fù)原技術(shù)都是在退化模型如PSF確定和已知的情況下,采用逆濾波或維納濾波的方法,從觀察到的退化圖像Idegraded(x,y)中去除模糊進(jìn)行復(fù)原。由于大氣湍流對目標(biāo)影響復(fù)雜多變,導(dǎo)致點擴展函數(shù)難以確定,傳統(tǒng)方法復(fù)原效果并不理想。在實際應(yīng)用中,在未知退化過程條件下從觀測到的退化圖像中同時估計原始圖像和退化函數(shù)是一個關(guān)鍵問題。常見的復(fù)原方法包括多幀圖像疊加技術(shù)、盲去卷積技術(shù)、和深度學(xué)習(xí)技術(shù)等。
2 湍流退化圖像復(fù)原研究進(jìn)展
2.1 幸運成像技術(shù)
20世紀(jì)七十年代Fried對短曝光成像(曝光時間小于大氣湍流的相干時間)進(jìn)行深入研究,開啟了幸運成像技術(shù)(Lucky Imaging)的發(fā)展[5]。受大氣湍流影響,天文臺光學(xué)望遠(yuǎn)鏡無論口徑多大,其實際的光學(xué)分辨能力僅為1角秒左右,大氣湍流的變化相當(dāng)快,其時間尺度大約為幾十毫秒。在短曝光圖像中,總會存在一定比例接近衍射極限沒有退化的“好圖像”。選出這些時刻的圖像,通過中心點配準(zhǔn)和疊加處理,能有效抑制隨機噪聲,進(jìn)一步增強信噪比,最終可以得到分辨率遠(yuǎn)高于長曝光的圖像,這就是幸運成像技術(shù)的基本原理。幸運成像技術(shù)是一種對目標(biāo)短曝光序列圖像的篩選、配準(zhǔn)、疊加的后處理方法,主要應(yīng)用于天文學(xué),特別是行星、雙星和其他高分辨率觀測需求的天體觀測。幸運成像技術(shù)存在一些不足,該技術(shù)只適用于短曝光圖像,長曝光圖像很難出現(xiàn)幸運圖像。其次,幸運圖像出現(xiàn)比例很低,要求拍攝大量的短曝光圖像,大大增加了復(fù)原算法的計算量。此外要求曝光時間非常短,限制了其在暗弱天體觀測中的應(yīng)用,而且在大氣湍流特別嚴(yán)重的情況下,效果可能不佳。
2.2 退化圖像盲復(fù)原技術(shù)
大氣湍流退化圖像復(fù)原技術(shù)的挑戰(zhàn)在于其退化模型是未知和隨機變化的,難以用數(shù)學(xué)解析式來描述,再加上噪聲使得復(fù)原難度進(jìn)一步增加。圖像盲復(fù)原技術(shù)(Blind Image Restoration)是從觀測到的退化圖像中同時估計原始圖像和退化函數(shù)(如模糊核或PSF),不需要事先知道退化過程的圖像復(fù)原技術(shù)。常用的圖像盲復(fù)原方法有:頻域方法,即利用傅里葉變換,將公式(5)的卷積過程轉(zhuǎn)化為頻域中的乘積操作,以分離和估算點擴散函數(shù)和原始圖像,如Wiener濾波器,在頻域中通過最小化均方誤差來估計原始圖像和PSF;空域方法,直接在空間域中處理圖像,通常采用迭代優(yōu)化算法和約束條件來同時估計PSF和原始圖像,如Richardson-Lucy算法[6,7],這是一種基于最大似然估計的迭代去卷積方法,用于圖像去模糊;正則化方法,通過引入先驗知識和正則化項來解決盲復(fù)原中的欠定問題和噪聲問題,如總變差正則化通過最小化圖像梯度的總變差來平滑圖像,同時保留圖像細(xì)節(jié);交替最小二乘法(Alternating Minimization),通過交替優(yōu)化PSF和原始圖像來逼近最優(yōu)解;深度學(xué)習(xí)方法,通過訓(xùn)練神經(jīng)網(wǎng)絡(luò)來同時估計PSF和復(fù)原圖像等。
2.2.1 單幀圖像盲復(fù)原
單幀圖像盲復(fù)原(Single Image Blind Restoration)技術(shù)旨在從單個退化圖像中復(fù)原出原始圖像,同時估計退化模型(通常是PSF)。這是一個高度欠定的問題,因為沒有其他圖像信息可以用來輔助復(fù)原,引入先驗知識和正則化方法是解決該問題的關(guān)鍵。
1975年Stockhan等[8]人提出盲復(fù)原技術(shù)。Lane[9]和Bates[10]論證用單幀圖像進(jìn)行盲去卷積是可能的。1988年Ayers[11]提出迭代盲去卷積算法(Iterative Blind Deconvolution,IBD),將其應(yīng)用在大氣湍流退化圖像的復(fù)原中。在此基礎(chǔ)上,眾多學(xué)者利用點擴散函數(shù)支持域大小及頻率域等圖像的先驗知識,對IBD算法進(jìn)行修正和改進(jìn)。
為避免對先驗知識的過多依賴和點擴散函數(shù)支持域大小的苛刻限制, Kundur和Hatzinakos[12]提出遞歸逆濾波的盲去卷積算法。隨后盲去卷積的正則化理論研究和自適應(yīng)方法在克服噪聲敏感性上取得進(jìn)展,既可以平滑噪聲同時又盡可能保留圖像細(xì)節(jié)。Charles [13] 提出了一種新的盲圖像去卷積技術(shù)(Blind Atmospheric TUrbulence Deconvolution,BATUD),BATUD結(jié)合重新參數(shù)化的一個簡化版本的物理模型Fried核,使得復(fù)原圖像質(zhì)量大幅提高,計算速度更快。 Li [14]探討了利用主成分分析(Principal Components Analysis ,PCA)進(jìn)行大氣湍流退化圖像復(fù)原的方法。通過將盲圖像去卷積與PCA算法結(jié)合,實現(xiàn)了對圖像的高效復(fù)原。Furhad [15]提出了一種有效的方法來恢復(fù)受大氣湍流影響的圖像,首先通過無監(jiān)督的k均值聚類技術(shù)選擇重要的幀,然后使用基于B樣條的非剛性圖像配準(zhǔn)來抑制幾何失真。再引入局部銳利補丁概念的時空核回歸用于融合注冊的幀序列成圖像。最后應(yīng)用盲去卷積技術(shù)來去除融合圖像中的模糊。
2.2.2 多幀圖像盲復(fù)原
多幀圖像盲復(fù)原(Multi-Frame Blind Restoration)技術(shù)旨在從多幀退化圖像中復(fù)原原始圖像,同時估計退化模型。相比單幀圖像盲復(fù)原,多幀圖像盲復(fù)原利用多幀圖像提供的冗余信息,可以更有效地抑制噪聲和估計退化參數(shù)。在過去的十年中,已經(jīng)開發(fā)了用于此目的的在線盲去卷積方法(Online Blind Deconvolution, OBD)。OBD是一種迭代算法,旨在處理具有有限緩沖區(qū)大小和有限計算資源和時間的圖像流[16-17]。該算法每次處理一個圖像,利用前一張圖像的解作為對象和點擴散函數(shù)的起點。OBD適用于地面空間目標(biāo)成像的短曝光和等暈條件。Chmidt [18] 在在線盲去卷積算法基礎(chǔ)上提出了多幀在線盲去卷積算法(Multi-Frame Blind Deconvolution ,MFBD)。它能夠同時處理多幀圖像,從而實現(xiàn)真正的多幀盲去卷積。這種算法的改進(jìn)使得在實時處理中更有效地提高圖像質(zhì)量,適用于地面天體成像等應(yīng)用。Webb[19] 采用MFBD,利用一系列圖像幀來捕捉大氣湍流引起的像差,并通過分析這些圖像幀間接推斷大氣相干長度。
2.2.3 基于深度學(xué)習(xí)的圖像復(fù)原方法
深度學(xué)習(xí)在湍流退化圖像復(fù)原中具有廣泛的應(yīng)用前景,其強大的非線性建模和自適應(yīng)學(xué)習(xí)能力使其成為研究熱點。湍流退化圖像深度學(xué)習(xí)復(fù)原方法與傳統(tǒng)圖像復(fù)原方法不同點在于,深度學(xué)習(xí)方法利用合成生成的數(shù)據(jù)模擬湍流失真,通過訓(xùn)練神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)并恢復(fù)受湍流影響的圖像。
Nair[20]通過使用真實世界的LRFID數(shù)據(jù)集,采用六種模擬大氣湍流的方法合成生成的湍流退化圖像,訓(xùn)練神經(jīng)網(wǎng)絡(luò)來復(fù)原受湍流影響的圖像。并對六種模擬方法進(jìn)行了系統(tǒng)評估。Shi[21] 提出了一種基于條件生成對抗網(wǎng)絡(luò)(cGAN)的盲復(fù)原方法,構(gòu)建了一個包含4800個清晰-模糊圖像對的模擬空間目標(biāo)圖像數(shù)據(jù)集,用于訓(xùn)練神經(jīng)網(wǎng)絡(luò),實現(xiàn)了圖像復(fù)原而無需估計PSF。Chen[22] 提出了一種用于盲去模糊大氣湍流的卷積網(wǎng)絡(luò)(BDATNet),其中包括特征提取噪聲抑制塊(FENSB)、不對稱U型網(wǎng)絡(luò)和圖像重建子網(wǎng)絡(luò)(IRSubnetwork)。實驗結(jié)果表明,BDATNet可以復(fù)原圖像的細(xì)節(jié)并能抑制噪聲。Mao[23]提出的空間-時間非局部平均方法、幾何一致性和Zernike空間約束的PSF先驗?zāi)P?,幸運幀生成和盲去卷積,能有效復(fù)原靜態(tài)和動態(tài)場景圖像。甄誠[24]提出了一種基于多尺度生成對抗網(wǎng)絡(luò)的大氣湍流圖像復(fù)原方法。通過引入多尺度注意力特征提取單元和動態(tài)特征融合單元,能夠有效提高圖像復(fù)原的質(zhì)量,減少湍流效應(yīng)導(dǎo)致的圖像模糊和幾何失真。
3 課題組湍流退化圖像復(fù)原研究進(jìn)展
近幾年課題組在湍流退化圖像復(fù)原方面開展了卓有成效的研究。博士生蘇昶東基于深度學(xué)習(xí),使用改進(jìn)的擴展卷積網(wǎng)絡(luò)進(jìn)行大氣湍流退化圖像復(fù)原[25]。將DnCNN網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)與具有不同擴張數(shù)的平滑膨脹殘差塊(SmDR)相結(jié)合,提取更多的圖像特征。采用端到端的設(shè)計將去模糊和幾何變形整合在一起,降低了計算量和系統(tǒng)誤差。由Fried核合成的強、中、弱湍流強度訓(xùn)練和測試數(shù)據(jù)、以及由Ritchey–Chretien望遠(yuǎn)鏡捕獲的實時數(shù)據(jù)、開放湍流圖像集等比對結(jié)果表明,所提出的方法可有效復(fù)原湍流退化圖像。博士生郭一鳴提出了一種基于深度遷移學(xué)習(xí)的盲復(fù)原方法[26],利用GoPro數(shù)據(jù)集對網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練,然后使用少量Hot-Air數(shù)據(jù)集進(jìn)行微調(diào)。引入了Res FFT-Conv塊來整合低頻和高頻殘差信息,以提高圖像復(fù)原的效果。通過深度遷移學(xué)習(xí)框架,網(wǎng)絡(luò)學(xué)習(xí)非均勻模糊效應(yīng)和幾何變形特征,能夠有效去除圖像中的時空變化模糊和幾何失真,提高圖像的視覺質(zhì)量。還提出了一種“零樣本”自監(jiān)督學(xué)習(xí)的生成網(wǎng)絡(luò)用于湍流退化圖像復(fù)原[27]。該方法不需要預(yù)先訓(xùn)練,只需輸入單個真實湍流受損圖像,通過使用Deep Image Prior(DIP)網(wǎng)絡(luò)生成潛在的清晰圖像,再通過三層卷積神經(jīng)網(wǎng)絡(luò)(CNN)估計失真圖像的模糊核。引入正則化去噪(RED)并通過多次迭代預(yù)測的平均值來改善自監(jiān)督恢復(fù)效果,最終輸出高質(zhì)量復(fù)原圖像結(jié)果。此外,還提出了一種基于雙向多尺度特征融合的生成對抗網(wǎng)絡(luò)(GAN)[28],用于快速恢復(fù)受大氣湍流影響的地基望遠(yuǎn)鏡拍攝的目標(biāo)天體圖像。通過在訓(xùn)練過程中結(jié)合不同尺度的特征,該網(wǎng)絡(luò)能夠更好地理解圖像中的湍流退化特征,并生成更清晰、更真實的復(fù)原圖像。
4 展望
湍流退化圖像復(fù)原技術(shù)是一項復(fù)雜且具有挑戰(zhàn)性的研究領(lǐng)域,未來可從以下幾個方面展開研究:1)設(shè)計更加高效的網(wǎng)絡(luò)結(jié)構(gòu)和算法設(shè)計,提高圖像復(fù)原的速度和效率。2)改進(jìn)湍流模型,使其能夠更準(zhǔn)確地描述實際大氣的湍流效應(yīng),能夠根據(jù)不同的場景和湍流強度自動調(diào)整參數(shù),具備更好的自適應(yīng)能力滿足實時圖像監(jiān)控應(yīng)用的需求。3)開發(fā)更先進(jìn)的多幀融合算法,有效減小單幀圖像中的噪聲和失真,提高圖像的清晰度。4)開發(fā)通用的圖像復(fù)原框架,支持多種類型的湍流和不同的成像系統(tǒng),使其能夠在不同的應(yīng)用場景中廣泛使用。5)創(chuàng)建標(biāo)準(zhǔn)化的開放數(shù)據(jù)集和基準(zhǔn)測試平臺,促進(jìn)算法間的對比研究和性能評估,加速技術(shù)的發(fā)展和推廣。
參考文獻(xiàn):
[1] FRIED D L.Statistics of a geometric representation of wavefront distortion[J]. Journal of the Optical Society of America, 1965,55(11): 1427-1435.
[2] BRACEWELL R N .The Fourier Transform and Its Applications[M]. McGraw-Hill Education, 2000(5):0071160434.
[3] Noll R J . Zernike polynomials and atmospheric turbulence[J].Journal of the Optical Society of America, 1976, 66(3): 207-211.
[4] RODDIEN F . The effects of atmospheric turbulence in optical astronomy[J]. Progress in Optics, 1981(19): 281-376.
[5] FRIED D L. Probability of getting a lucky short-exposure image through turbulence[J]. Journal of the Optical Society of America, 1978,68(12): 1651-1658.
[6] LUCY L.An iterative technique for the rectification of observed distribution[J]. Astron J, 1974,79(6): 745–754.
[7] RICHARDSON W H. Bayesian-based iterative method of image restoration[J].J Opt Soc Amer A, 1972,62(1): 55–59.
[8] STOCKHAM T G ,CANNON T M, INGEBRETSEN R B.Blind deconvolution through digital signal processing[J]. Proceedings of the IEEE,1965, 63(4):678–692.
[9]BATE R H T,MCDONNELL M J.Image Restoration and Reconstruction[M].Oxford Engineering Science,Clarendon Press, Oxford,1986:16.
[10] LANE R G.Blind deconvolution of speckle images[J].J Opt Soc Am,1992,A 9(9):1508-1514.
[11] AYES G R,DAINTY J C. Iterative blind deconvolution method and its applications[J]. Opt Lett,1988(13): 547–549.
[12] KUNDUR D,HATZINAKOS D.Blind image deconvolution[J]. IEEE Signal Processing Magazine, 1996,13(3):43-64.
[13] DELEDALLE CHARLES-AIBAN, GILLES.BATUD:Blind Atmospheric TUrbulence Deconvolution[L/OL]. This paper is a preprint of a paper submitted to IET Image Processing. If accepted, the copy of record will be available at the IET Digital Library,2019:23-25.
[14] LI DL, MERSEREAU R M,SIMSKE S.Atmospheric turbulence-degraded image restoration using principal components analysis[J] . IEEE Geoscience and Remote Sensing Letters ,2007,4(3):340-344.
[15] FURHAD M D H, TAHTALI M, LAMBERT A.Restoring atmospheric-turbulence-degraded image[J].Appl Opt,2016,55(19): 5082-5090.
[16] HARARMELING S, HIRSCH M, SRA S.Online blind deconvolution for astronomical imaging[J]. IEEE International Conference on Computational Photography (ICCP) , 2009(1): 1–7.
[17] HIRSCH M, S HARMELING, S SRA.Online multi-frame blind deconvolution with super-resolution and saturation correction[J]. Astron. Astrophys. 2011(A9):531.
[18] J D SCHMIDT, JACHOVITZ K, RILEY J T, et al.Real-time image restoration for space-object imaging[J].Applied Optics,2019,58(25):6983-6995.
[19] WEBB A J, ROGGEMANN M C,WHITELEY M R.Atmospheric turbulence characterization through multiframe blind deconvolution[J]. Applied Optics,2021,60(17): 5031-5036.
[20] GOPALAKRISHNAN NAIR N, MEI K,PATE V M. A comparison of different atmospheric turbulence simulation methods for image restoration[J]. 2022 IEEE International Conference on Image Processing (ICIP), 2022(1):3386-3390.
[21] SHI J L, ZHANG R Z, GUO S P, et al.Space targets adaptive optics images blind restoration by convolutional neural network[J]. Opt Eng,2019,58(9):093102.
[22] CHEN G P, GAO Z S, WANG Q L, et al. Blind de-convolution of images degraded by atmospheric turbulence[J].Applied Soft Computing ,2020(89): 106131.
[23] MAO Z, CHIMITT N ,CHAN S H. Image reconstruction of static and dynamic scenes through anisoplanatic turbulence[J]. in IEEE Transactions on Computational Imaging,2020(6): 1415-1428.
[24] 甄 誠,楊永勝,李元祥,等. 基于多尺度生成對抗網(wǎng)絡(luò)的大氣湍流圖像復(fù)原[J] .計算機工程,2021,47(11):227-233.
[25] SU C D, WU X Q, GUO Y M. Restoration of turbulence-degraded images using the modified convolutional neural network[J]. Applied Intelligence, 2023(53):5834–5844.
[26] GUO Y M, WU X Q, QING C, et al. Blind restoration of images distorted by atmospheric turbulence based on deep transfer learning[J]. Photonics, 2022, 9(582):1-17.
[27] GUO Y M, WU X Q, QING C. Blind restoration of a single real turbulence-degraded image based on self-supervised learning[J]. Remote Sens, 2023,15(4076):1-18.
[28] 郭一鳴 ,吳曉慶 ,蘇昶東,等.基于雙向多尺度特征融合的湍流退化圖像快速復(fù)原[J]. 激光與光電子學(xué)進(jìn)展,2022,59(22): 63-73.
Review of Turbulence-Degraded Image Restoration Techniques
WU Xiao-qing1,2,3
(1. Key Laboratory of Atmospheric Optics, Anhui Institute of Optics and Fine Mechanics, HFIPS, Chinese Academy of Sciences, Hefei 230031,China; 2. Nanhu laser Laboratory, National University of Defense Technology, Changsha 410073, China; 3. Science Island Branch of Graduate School, University of Science and Technology of China, Hefei 230026, China)
Abstract: Turbulence-degraded image restoration techniques aim to address the problems of image blurring and distortion caused by turbulence effects in imaging systems. This paper introduces various models that describe the impact of turbulence on images, including the Kolmogorov turbulence model, the moving average model, the Zernike polynomial model, and the average structure function model. It highlights the latest research progress in blind image restoration techniques and deep learning-based image restoration methods. Additionally, it presents the research advancements made by our research group in this field and discusses future directions for image restoration technology research.
Key words: turbulence degradation model; blind image restoration; deep learning
(責(zé)任編輯:葉松慶)