雷 鈺,劉帥奇,3,張璐瑤,劉 彤,趙 杰
(1.河北大學(xué) 電子信息工程學(xué)院, 河北 保定 071002; 2.河北省機器視覺技術(shù)創(chuàng)新中心, 河北 保定 071002; 3.中科院自動化所 模式識別國家重點實驗室, 北京 100190)
散斑是SAR圖像中常見的一個問題,其主要來源于圖像采集,與高斯噪聲不同,散斑噪聲是空間相關(guān)和信號相關(guān)的乘性噪聲,嚴重影響了SAR圖像的分析和解譯[1-5]。因此,降低噪聲以提高SAR圖像質(zhì)量對后續(xù)SAR圖像處理任務(wù)至關(guān)重要。近年來,隨著深度學(xué)習(xí)在自然圖像去噪和復(fù)原等任務(wù)中的成功應(yīng)用,如何將其應(yīng)用在SAR圖像去噪領(lǐng)域引起學(xué)術(shù)界廣泛關(guān)注。
本文對現(xiàn)有基于深度學(xué)習(xí)方法的SAR圖像去噪進行概述與分析,目的在于深入了解該領(lǐng)域的研究現(xiàn)狀,對迄今為止基于深度學(xué)習(xí)的SAR圖像去噪方法進行評估,分析其優(yōu)勢和局限性,并展望SAR圖像去噪的發(fā)展前景。
SAR圖像中的相干斑噪聲是在雷達回波信號由于信號的衰落引起的,其形成過程與數(shù)字圖像處理中的噪聲有本質(zhì)區(qū)別。從空域角度來分析可將乘性相干斑噪聲建模為[1]:
I=MN
(1)
式中:I表示含有相干斑噪聲的SAR圖像;M表示未受到噪聲影響的理想地物目標測量值;N表示SAR系統(tǒng)成像時產(chǎn)生的相干斑噪聲,且M和N相互獨立。
通常假設(shè)乘性隨機噪聲N服從L階均值為1,方差為1/L的Gamma分布[2],則噪聲的概率密度分布函數(shù)為:
(2)
式中:L表示等效視數(shù);Γ(·)表示Gamma函數(shù)。
由于乘性噪聲模型難以分析,通常將乘性噪聲轉(zhuǎn)化為加性模型進行分析。通常采用同態(tài)濾波將式(2)轉(zhuǎn)化為加性模型[3]。首先,對式(1)兩邊進行對數(shù)變換,可得:
Log(I)=Log(M)+Log(N)
(3)
顯然,式(3)為加性噪聲模型。在進行去噪完以后需要將去噪后的圖像再指數(shù)化返回原有的空間。這一過程中需要對圖像的均值漂移進行調(diào)整。
當然,也有學(xué)者采用構(gòu)造法將乘性噪聲模型轉(zhuǎn)化為加性噪聲模型[4],其構(gòu)造過程如式(4)所示:
I=MN=M+[N-1]M=M+UM=M+V
(4)
因為M和N不相關(guān),所以和N-1也不相關(guān),因此V表示和真實圖像分布相關(guān)的噪聲。在上述模型中,噪聲均值從1變?yōu)?,方差變成隨M變化而變化的參數(shù)。V=M(N-1)表示一種與信號不獨立且均值為0的非平穩(wěn)加性噪聲。因此噪聲圖像可以表示為I-M,因此在神經(jīng)網(wǎng)絡(luò)中可以通過殘差學(xué)習(xí)策略進行噪聲去除,即得到R(i)≈V,然后得到干凈圖像M=I-R(i)。
深度學(xué)習(xí)方法主要是通過網(wǎng)絡(luò)對大量數(shù)據(jù)的特征進行學(xué)習(xí),然后對新數(shù)據(jù)進行預(yù)測的過程。深度學(xué)習(xí)在圖像處理領(lǐng)域得到了廣泛的應(yīng)用,如圖像分割、圖像識別、圖像超分辨率及圖像去噪等。其中,卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks,CNN)是最有力的工具之一,也是最早應(yīng)用于SAR圖像去噪的工具。根據(jù)近年來深度學(xué)習(xí)在SAR圖像中的應(yīng)用,本文將其主要歸為兩類:基于監(jiān)督學(xué)習(xí)的SAR圖像去噪算法和基于自監(jiān)督學(xué)習(xí)SAR圖像去噪算法。
1) 基于對數(shù)變換的SAR圖像去噪算法
Chierchia等[3]提出了第一個使用深度學(xué)習(xí)方法的SAR圖像去噪算法——SARCNN。此外,Liu等[6]提出一種基于CNN與引導(dǎo)濾波的SAR圖像去噪算法,該算法的泛化能力有所欠缺。Dalsasso等[7]利用19個卷積層對乘性噪聲圖像進行訓(xùn)練及特征處理,提出一種新的散斑抑制算法。Zhang等[8]為解決神經(jīng)網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)量較大的問題,通過卷積去噪自編碼器(convolutioal denoising autoencoder,C-ADE)重建無斑點SAR圖像。Pan等[9]利用預(yù)訓(xùn)練網(wǎng)絡(luò)(FFDNet)和MuLoG算法進行SAR圖像去噪。而Liu等[10]則提出一種將非下采樣剪切波與CNN相結(jié)合的SAR圖像去噪算法。
2) 基于直接殘差學(xué)習(xí)的SAR圖像去噪算法
上述算法需要對SAR圖像先進行對數(shù)變換,這使得網(wǎng)絡(luò)不能進行端對端訓(xùn)練,并帶來一定的復(fù)雜性,因此研究人員提出了直接通過網(wǎng)絡(luò)訓(xùn)練利用殘差進行SAR圖像去噪的思想,此類方法可以提高網(wǎng)絡(luò)模型的運算效率,同時更方便處理。例如,Zhang等[4]提出了SID-CNN算法;受編解碼網(wǎng)絡(luò)的啟發(fā),Gu等[11]針對SAR去噪問題提出一種基于殘差編解碼器的去噪算法——REDNet。通過對原始噪聲圖像和網(wǎng)絡(luò)學(xué)習(xí)到的噪聲圖像進行直接相除的ID-CNN算法[12];Zhang等[13]將7個膨脹卷積引入到一般卷積去噪網(wǎng)絡(luò)中,提出了SAR-DRN網(wǎng)絡(luò)。與SAR-DRN類似的網(wǎng)絡(luò)還有Ma等[14]提出的5層膨脹卷積和殘差學(xué)習(xí)構(gòu)成的去噪網(wǎng)絡(luò),相比于SAR-DRN該網(wǎng)絡(luò)更為簡單,網(wǎng)絡(luò)層數(shù)更淺,效果更好。Zhou等[15]提出了一種用于SAR圖像降斑的端到端深度多尺度遞歸網(wǎng)絡(luò)——MSRNet。2015年,用于圖像分割的U-Net網(wǎng)絡(luò)被提出[16]。Lattari等[17]依據(jù)SAR-DRN與U-Net網(wǎng)絡(luò)結(jié)構(gòu),將兩者進行結(jié)合改進,提出了一種基于對稱式編解碼器的U-Net殘差去噪網(wǎng)絡(luò)。由于密集連接豐富了卷積層間的信息,因此其被廣泛應(yīng)用到圖像去噪領(lǐng)域[18]。例如,Gui等[19]提出一種膨脹密集連接散斑抑制網(wǎng)絡(luò)——SAR-DDCN。
在抑制散斑的同時如何能更好地保留紋理細節(jié)是研究者一直致力于解決的問題,Gu等[20]提出了一種雙分量網(wǎng)絡(luò)以解決上述的問題,該網(wǎng)絡(luò)訓(xùn)練簡單,且對細節(jié)保持有一定提高。同樣為應(yīng)對上述問題,Vitale等[21]提出考慮空間和統(tǒng)計特性的代價函數(shù),構(gòu)造了10層卷積網(wǎng)絡(luò)(KL-DNN)。隨后Vitale等[22]又在KL-DNN的基礎(chǔ)上提出了新的代價函數(shù),效果優(yōu)于KL-DNN。同年又提出了MONet[23],將17層的卷積與一個創(chuàng)新的多視代價函數(shù)相結(jié)合進行去噪,獲得了很好的圖像細節(jié)保持能力。
3) 基于注意力網(wǎng)絡(luò)的SAR圖像去噪算法
注意力網(wǎng)絡(luò)能夠區(qū)別對待圖像中的信息,重點關(guān)注重要信息而忽略掉不重要信息,因此被廣泛地應(yīng)用于SAR圖像去噪中。例如,Li等[24]將注意力應(yīng)用于SAR圖像去噪,提出了一種膨脹殘差注意力網(wǎng)絡(luò)——HDRNet。得益于注意力強大的特征關(guān)注能力,去噪圖像在圖像細節(jié)上得到一定提升。而Lei等[25]將通道注意力與多層遞歸塊結(jié)構(gòu)相結(jié)合,提出多級殘差注意力網(wǎng)絡(luò),對真實和模擬數(shù)據(jù)進行去噪和細節(jié)保存有顯著提升。此外,Liu等[26]將密集連接與雙注意力相結(jié)合構(gòu)建新的SAR去噪網(wǎng)絡(luò),在運行時間和去噪性能上達到一種平衡。
4) 基于生成對抗網(wǎng)絡(luò)的去噪算法
生成對抗網(wǎng)絡(luò)(generative adversarial networks,GAN)作為深度學(xué)習(xí)中非殘差學(xué)習(xí)的一種模型,它主要由兩部分構(gòu)成:生成器和判別器[27],兩者會隨著網(wǎng)絡(luò)的訓(xùn)練達到一種平衡。Wang等[28]首先將GAN應(yīng)用于SAR圖像去噪,提出了ID-GAN算法。為解決大多數(shù)濾波方法需要復(fù)雜的參數(shù)調(diào)整才能達到所需的視覺效果的問題,Gu等[29]提出基于GAN的散斑抑制網(wǎng)絡(luò)。Liu等[30]為解決同態(tài)區(qū)域散斑噪聲抑制與細節(jié)保存問題,采用GAN思想進行網(wǎng)絡(luò)構(gòu)建,生成器部分采用8個卷積層實現(xiàn),判別器網(wǎng)絡(luò)采用四個步長卷積和一個全連接層實現(xiàn)。
5) 基于混合模型的SAR去噪算法
為解決應(yīng)用深度學(xué)習(xí)網(wǎng)絡(luò)可能會帶來的過平滑問題,Kim等[31]提出一種將靜態(tài)小波變換與CNN相結(jié)合的散斑抑制算法。一些學(xué)者嘗試將預(yù)訓(xùn)練好的網(wǎng)絡(luò)模型直接與基于模型的方法相結(jié)合用于SAR圖像去噪。Yang等[32]將DnCNN已訓(xùn)練好的模型遷移到SAR圖像中,提出一種使用預(yù)訓(xùn)練模型的MuLoG-CNN去噪網(wǎng)絡(luò)。Denis等[33]將基于塊的非局部濾波和深度學(xué)習(xí)相結(jié)合進行去噪處理。
受SAR-BM3D算法中非局部濾波強大去噪能力的影響[34],Cozzolino等[35]將非局部濾波與深度學(xué)習(xí)相結(jié)合,提出一種CNN-NLM去噪算法,通過利用圖像間的局部相似性評估隱藏信息,提高網(wǎng)絡(luò)性能。該算法在圖像細節(jié)保存方面具有一定優(yōu)勢。但在去噪性能上還存在一定不足。其原因在于缺乏可靠的參考圖像。Liu等[10]通過在非下采樣剪切波變換域(non-sub sample shearlet transform,NSST)應(yīng)用連續(xù)循環(huán)平移算法和CNN相結(jié)合提出一種新的混合去噪算法。在輪廓線的幫助下,Liu等[36]提出CCNN去噪算法。
自監(jiān)督學(xué)習(xí)的思想非常簡單,輸入的是一堆無監(jiān)督的數(shù)據(jù),但通過數(shù)據(jù)本身的結(jié)構(gòu)或者特性,人為構(gòu)造標簽出來。有了標簽之后,就可以類似監(jiān)督學(xué)習(xí)一樣進行訓(xùn)練?;谧员O(jiān)督思想,Yuan等[37]提出一種用于SAR圖像盲去噪自監(jiān)督密集膨脹卷積網(wǎng)絡(luò)——BDSS,訓(xùn)練過程不需要干凈圖像,通過優(yōu)化L2損失學(xué)習(xí)噪聲,其網(wǎng)絡(luò)結(jié)構(gòu)通過采用3個增強密集塊,并加入膨脹卷積以擴大感受野,較好的保存了圖像信息。Molini等[38]采用自監(jiān)督貝葉斯去噪網(wǎng)絡(luò),直接對噪聲圖像進行訓(xùn)練,學(xué)習(xí)真實圖像特征,然后進行測試,從而避免通過模擬噪聲圖像學(xué)習(xí)的不準確特征信息,產(chǎn)生信息丟失現(xiàn)象,進一步提高了真實SAR圖像的去噪效果。Molini等[39]又提出盲點卷積神將網(wǎng)絡(luò)——Speckle2Void,通過建立貝葉斯模型來描述干凈的SAR圖像中的散斑和像素的先驗分布,文中提出該算法的非局部和局部版本,通過實驗發(fā)現(xiàn),該算法優(yōu)于基于模型的去噪算法。在noise2noise模型基礎(chǔ)上[40],Dalsasso等[41]通過將時間變化補償并采用自監(jiān)督損失函數(shù),提出了一種新的去散斑網(wǎng)絡(luò):SAR2SAR獲得了較好的去噪效果。由于自監(jiān)督學(xué)習(xí)去噪算法近兩年剛應(yīng)用于SAR圖像去噪,所以相關(guān)的算法還不夠成熟,因此,也成為該方向未來發(fā)展趨勢。
本文將上述所提到的SAR圖像去噪算法進行分類總結(jié),羅列出各種算法是否使用監(jiān)督學(xué)習(xí)策略,算法中的核心關(guān)鍵詞及用到的訓(xùn)練集匯總于表1中,便于讀者更清晰快捷的了解算法相關(guān)信息。由表1可知,常用的訓(xùn)練數(shù)據(jù)集主要為UC Merced Land Use Dataset、UCID和BSD,而測試數(shù)據(jù)集包含兩大類:一類是模擬圖像,一類是真實SAR圖像。另外,從表1中可知,傳統(tǒng)的單一種類的深度學(xué)習(xí)在SAR圖像去噪中已經(jīng)逐漸減少,目前更多是結(jié)合多種網(wǎng)絡(luò)結(jié)構(gòu)(注意力、膨脹卷積、GAN等)或結(jié)合圖像的先驗知識(非局部相似性、低秩性等)進行去噪。由于訓(xùn)練數(shù)據(jù)集較少,因此,基于無監(jiān)督深度學(xué)習(xí)的SAR圖像去噪也是未來的熱點研究方向。
表1 不同去噪算法
續(xù)表(表1)
該部分首先對網(wǎng)絡(luò)訓(xùn)練及測試的整體流程圖進行描述,如圖1所示。然后對實驗所用數(shù)據(jù)集的數(shù)據(jù)獲取方式和詳細信息進行介紹,同時對網(wǎng)絡(luò)訓(xùn)練過程中常用的損失函數(shù)及性能測試時常用的去噪指標進行總結(jié)。圖1展示了采用監(jiān)督學(xué)習(xí)進行訓(xùn)練及測試的一般網(wǎng)絡(luò)結(jié)構(gòu)的實現(xiàn)流程。具體實現(xiàn)步驟如下:
1) 根據(jù)所提出的網(wǎng)絡(luò)框架設(shè)計出具體可行的網(wǎng)絡(luò)結(jié)構(gòu),并對網(wǎng)絡(luò)中的參數(shù)進行初步確定。
2) 訓(xùn)練集是從公開的數(shù)據(jù)集中選擇一定量的干凈圖像作為標簽,將訓(xùn)練集中未使用的圖像作為網(wǎng)絡(luò)訓(xùn)練過程中的測試集,并依據(jù)乘性噪聲的產(chǎn)生方式,對其加入一定的乘性噪聲得到模擬SAR圖像。
3) 依據(jù)不同的側(cè)重點,確定出網(wǎng)絡(luò)訓(xùn)練過程中所需要的損失函數(shù)及優(yōu)化算法。
4) 將噪聲-干凈圖像對輸入卷積神經(jīng)網(wǎng)絡(luò)中進行訓(xùn)練,得到一個初步處理后的去噪圖像,在這期間,損失函數(shù)和優(yōu)化算法會對標簽和去噪圖像進行比較分析,使二者盡可能的接近,即損失函數(shù)盡可能的接近于0,表明兩者區(qū)別最小,模型產(chǎn)生最好的結(jié)果。然后保存訓(xùn)練好的模型,并進行測試。
5) 測試階段,將模擬及真實的SAR圖像輸入到已訓(xùn)練好的網(wǎng)絡(luò)模型中,得到散斑抑制后的干凈圖像,然后通過相應(yīng)的指標進行性能測試。
圖1 圖像去噪流程示意圖
下面將對訓(xùn)練及測試中用到的數(shù)據(jù)集,損失函數(shù)和評價指標進行分析。
基于深度學(xué)習(xí)的SAR圖像去噪需要大量的數(shù)據(jù)來訓(xùn)練網(wǎng)絡(luò),這是所有基于深度學(xué)習(xí)的方法中非常重要的一個環(huán)節(jié)。因此,SAR圖像數(shù)據(jù)集的可用性亦是值得關(guān)注的。與以往合成孔徑雷達數(shù)據(jù)的可使用區(qū)域受限或保密性問題導(dǎo)致獲取受到限制不同,目前一些大型的合成孔徑雷達數(shù)據(jù)集已經(jīng)廣泛免費提供。我們總結(jié)了基于深度學(xué)習(xí)的SAR圖像去噪任務(wù)中常用的訓(xùn)練數(shù)據(jù)集,介紹了其主要特征及數(shù)據(jù)獲取路徑。
1)訓(xùn)練數(shù)據(jù)集:分別從以下幾個常用的數(shù)據(jù)集進行描述Berkeley Segmentation Dataset:BSD數(shù)據(jù)集,也稱伯克利分割數(shù)據(jù)集(berkeley segmentation dataset,BSD),于2001年由加州大學(xué)伯克利分校發(fā)布。BSDS300數(shù)據(jù)集分為包含200張圖像的訓(xùn)練集和100張圖像的測試集。
UC Merced land-use dataset:該數(shù)據(jù)集是一個可用于目標檢測和圖像分類研究的21類土地利用圖像遙感數(shù)據(jù)集,每類含有100張圖像,每張圖像分辨率為256*256,共有2 100張。該數(shù)據(jù)集可從以下網(wǎng)址下載獲取:http://weegee.vision.ucmerced.edu/datasets/landuse.html
The Uncompressed Colour Image Database (UCID):該數(shù)據(jù)集為一個彩色未壓縮數(shù)據(jù)集,其中包含1 338幅干凈圖像,包括自然場景和室內(nèi)室外的人造物體。通過以下網(wǎng)址下載:http://vision.doc.ntu.ac.uk/.
ISLVRC 2012:該數(shù)據(jù)集中包含訓(xùn)練數(shù)據(jù)、驗證數(shù)據(jù)和測試數(shù)據(jù)。3組數(shù)據(jù)都包含1 000類對象的圖像,總共有1 281 167張訓(xùn)練圖像、50 000張驗證圖像和10萬張測試圖像??捎蒱ttps://image-net.org/challenges/LSVRC/2012/下載。
Waterloo Exploration Databas:Ma等[52]構(gòu)建了一個大型數(shù)據(jù)集,其中包含4 744幅原始干凈自然圖像和94 880幅受損的圖像,主要包含七種類別,分別是:人、動物、植物、自然景觀、城市景觀、靜物畫和交通運輸??赏ㄟ^以下網(wǎng)址下載https://ece.uwaterloo.ca/~k29ma/exploration/
2) 真實數(shù)據(jù)集
SAR數(shù)據(jù)集的獲取比較困難,一些數(shù)據(jù)集往往需要進行支付才可以獲取。很多情況下,由于保密等問題,它們的訪問受到了限制。為了方便讀者檢索和下載SAR數(shù)據(jù)集,本文于表2中列出了常用真實圖像測試數(shù)據(jù)集及獲取方式。
表2 SAR數(shù)據(jù)獲取方式
表2中給出這些數(shù)據(jù)都是真實的SAR圖像數(shù)據(jù)集。這些網(wǎng)址也給出了數(shù)據(jù)集的描述,包括是否是星載衛(wèi)星、成像的參數(shù)等。常用的數(shù)據(jù)集為Sentinel-1和TerraSar-X,它們提供了在不同的時間時刻獲取相同的場景,并允許創(chuàng)建大型的多時間數(shù)據(jù)集。
在深度學(xué)習(xí)中,損失函數(shù)的選擇會影響網(wǎng)絡(luò)訓(xùn)練的收斂速度和優(yōu)化程度。通過梳理基于深度學(xué)習(xí)的SAR圖像去噪方法中所用到的損失函數(shù),我們發(fā)現(xiàn)大多數(shù)方法都含有一個數(shù)據(jù)保真度損失項,其大多數(shù)采用的是L1損失或L2損失。另外,在一些方法中,損失函數(shù)會包含附加項損失,一般選擇總變分損失或感知損失。依賴于生成對抗網(wǎng)絡(luò)的方法包含對抗損失。
1)L1范數(shù)損失
L1范數(shù)損失用于計算同樣大小的干凈參考和模型輸出(估計值)之間的絕對值誤差,公式如下:
(5)
在SAR圖像去噪任務(wù)中,一般來講,M表示SAR圖像的干凈參考,M″表示去噪后的圖像,它們的大小都是W×H。L1范數(shù)損失函數(shù)是非凸函數(shù),實現(xiàn)次優(yōu)化,與L2范數(shù)損失相比,對噪聲異常值的懲罰較小。
2)L2范數(shù)損失
L2范數(shù)損失用于有監(jiān)督的訓(xùn)練過程,利用最小二乘法旨在計算干凈參考圖像與估計圖像之間的距離,定義為:
(6)
可以觀察到,L2范數(shù)損失是一個可微的凸函數(shù),可使網(wǎng)絡(luò)實現(xiàn)全局最優(yōu),可以評價數(shù)據(jù)的變化程度。但它對噪聲異常值懲罰太大,易導(dǎo)致網(wǎng)絡(luò)梯度爆炸。另外,將L2作為損失函數(shù),預(yù)測的干凈圖像可能會出現(xiàn)偽影。
3) 總變分(total variation,TV)損失
總變分在圖像去噪及復(fù)原任務(wù)上有著最直接和最有效的應(yīng)用。受到噪聲污染的圖像的總變分比無噪聲圖像的總變分大,因此圖像噪聲可能就會對網(wǎng)絡(luò)學(xué)習(xí)的結(jié)果產(chǎn)生非常大的影響。因此我們需要在最優(yōu)化問題的模型中添加一些正則項來保持圖像的光滑性,總變分損失是常用的一種正則項,配合其他損失來約束噪聲,可通過以下公式計算:
(7)
該損失在一定程度上可以最小化相鄰像素值之間的絕對差異,在保持圖像邊緣細節(jié)的同時增強圖像的平滑度。
4) 感知損失
L1或L1范數(shù)損失是在像素層面對干凈圖像和估計圖像進行約束,但真實視覺感知更依賴于圖像的特征。感知損失常用于生成對抗網(wǎng)絡(luò)GAN中,計算的是輸入的噪聲圖像Y和干凈參考圖像M相對應(yīng)的深層特征的之間的距離,由選取的神經(jīng)網(wǎng)絡(luò)來提取深層特征。通過最小化感知損失,使得估計的圖像M″中含有更豐富的細節(jié)信息。其定義為:
(8)
式中:φ(·)表示預(yù)訓(xùn)練好的特征提取網(wǎng)絡(luò)模型;k表示該網(wǎng)絡(luò)的第k層。如在ID-GNN[28]中,作者選用預(yù)訓(xùn)練好的VGG16模型的ReLU7層來提取所需的特征圖。
1) 模擬SAR圖像的評價指標
模擬SAR圖像存在干凈參考圖像,一般采2個全參考指標——峰值信噪比(peak signal-to-noise ratio,PSNR)和結(jié)構(gòu)相似性指數(shù)度量(structural similarity index,SSIM)評估去散斑性能和圖像細節(jié)保存能力。
PNSR主要用于衡量去噪算法去除噪聲的能力,PNSR值越高,表明去噪算法的散斑抑制性能越好[53]。其定義為:
(9)
式中:M表示干凈參考圖像;M″表示去噪后的圖像。
SSIM主要用于衡量去噪算法對圖像紋理結(jié)構(gòu)的保持能力[54],SSIM值越接近于1,表明去噪算法去噪后圖像的紋理信息越接近于參考圖像。其計算公式為:
(10)
式中:μM″為去噪圖像M″的平均值;μM為參考圖像M的平均值;σM為M的標準偏差;σM″為M″的標準偏差;C1和C2為數(shù)值較小的2個正值,用來維持穩(wěn)定。
2) 真實SAR圖像的評價指標
由于真實圖像不存在參考圖像,因此選用無參考指標——等效視數(shù)(equivalent number of looks,ENL),基于平均比的邊緣保持度(edge preservation degree based on the ratio of average,EPD-ROA),散斑抑制指數(shù)(speckle suppression index,SSI),散斑抑制和平均保持指數(shù)(speckle suppression and mean preservation index,SMPI)進行評價。
ENL是去噪圖像同質(zhì)區(qū)域噪聲抑制指標[55],ENL值越高,表明去噪算法散斑抑制效果越好。其定義為:
(11)
式中:μM″和σM″分別表示M″同質(zhì)區(qū)域的均值和標準偏差。
EPD-ROA值越接近1,表明去噪圖像細節(jié)保存能力越強[56]。EPD-ROA計算公式如下:
(12)
SSI用于測量SAR圖像中噪聲的強度[57],表示為:
(13)
式中:σM″表示去噪圖像的標準偏差;μI表示噪聲圖像的均值;μM″表示去噪圖像的均值;σI表示噪聲圖像的標準偏差。SSI值越小,表明去噪算法散斑噪聲的抑制能力越好。
SMPI被用于同時估計散斑抑制和平均保持能力,SMPI值越小越好[58],表示為:
(14)
式中:σM″表示去噪圖像的標準偏差;σI表示噪聲圖像的標準偏差;Q=1+|μI-μM″|,μI表示噪聲圖像的均值,μM″表示去噪圖像的均值。
為了說明基于深度學(xué)習(xí)去噪算法的去噪性能,通過對表1中基于深度學(xué)習(xí)的算法進行分析,從去噪能力強、細節(jié)保持能力強以及在兩者之間最大程度實現(xiàn)平衡這三方面進行考慮,本文選用7種算法進行對比,在Sentinel-1數(shù)據(jù)集中選擇200張圖像進行測試,將其結(jié)果繪制成圖2。
圖2 200張Sentinel-1數(shù)據(jù)集測試結(jié)果平均值直方圖
在視覺圖展示上選擇兩幅真實SAR圖像進行測試,其中圖3(a)是L=3的FIXME圖像;圖4(a)是L=1的TerraSar-X圖像,其為X波段,分辨率為1.10 m×1.04 m。每種算法的運行環(huán)境如下:IDCNN、SARDRN、NeighCNN[59]、CNN-GFF、CCSNet采用MATLAB(MatConvNet工具包);MRANet、MRDANet采用Python(Pytorch框架),為了方便,將測試圖像命名為SAR1和SAR2,測試結(jié)果如圖2和圖3所示。
通過圖3和圖4的視覺效果可知,IDCNN、SARDRN和NeighCNN算法去噪效果較為明顯,但是圖像細節(jié)損失嚴重,重要信息被濾除;而CNN-GFF算法能夠保留圖像中的細節(jié)信息,但去噪能力不強;CCSNet算法算法能夠在兩者之間折中,但引入偽影;MRANet算法和MRDANet算法能夠在去除噪聲的同時保存更多圖像細節(jié)信息。
圖3 SAR1圖像去噪結(jié)果圖
圖4 SAR2圖像去噪結(jié)果圖
1) 基于深度學(xué)習(xí)的SAR圖像去噪算法正在不斷獲得研究者的關(guān)注,在深層去噪網(wǎng)絡(luò)架構(gòu)中,采用噪聲-干凈圖像對作為訓(xùn)練集的監(jiān)督學(xué)習(xí)方式與傳統(tǒng)方式的結(jié)合可提升網(wǎng)絡(luò)的局部和全局特征提取能力,在自監(jiān)督無監(jiān)督等方面不斷探索,提升去噪性能。
2) 基于深度學(xué)習(xí)的方法進一步探索確保去噪結(jié)果在性能和細節(jié)信息上的平衡,獲得更好的視覺效果。一方面,研究者不斷向無監(jiān)督學(xué)習(xí)和自監(jiān)督學(xué)習(xí)探索,或利用GAN中的生成器學(xué)習(xí)真實圖像噪聲進行模擬;另一方面,在各領(lǐng)域出現(xiàn)了許多新穎有效的網(wǎng)絡(luò)模型,將這些網(wǎng)絡(luò)模型應(yīng)用到SAR圖像去噪中,并很好地權(quán)衡去噪性能與細節(jié)保留之間的關(guān)系。