張金松 邢孟道 孫光才
(西安電子科技大學(xué)雷達(dá)信號(hào)處理國家重點(diǎn)實(shí)驗(yàn)室 西安 710071)(西安電子科技大學(xué)信息感知技術(shù)協(xié)同創(chuàng)新中心 西安 710071)
合成孔徑雷達(dá)(Synthetic Aperture Radar,SAR)具有全天時(shí)、全天候、高分辨和不受云霧影響等優(yōu)點(diǎn),被廣泛地應(yīng)用于農(nóng)業(yè)、水洋、軍事等領(lǐng)域[1]。實(shí)現(xiàn)SAR圖像的準(zhǔn)確水域分割具有重要意義,以艦船檢測為例,經(jīng)驗(yàn)信息假設(shè)艦船目標(biāo)位于海面、河流、湖泊等典型水域上,由于目標(biāo)本身散射后向系數(shù)較大,回波信號(hào)信噪比高,在純水域上檢測艦船目標(biāo)相對容易[2]。而對于水陸交接區(qū)域而言,如圖1(a)所示,由于陸地散射系數(shù)大于水域散射系數(shù),導(dǎo)致原始圖像中存在復(fù)雜的陸地背景干擾,直接利用艦船檢測方法對此類圖像進(jìn)行檢測,在實(shí)現(xiàn)水域艦船檢測的同時(shí)(圖1(a)綠色圈所示),也會(huì)導(dǎo)致地面區(qū)域出現(xiàn)多個(gè)艦船目標(biāo)(圖1(a)紅色圈所示),即造成檢測漏警率高、檢測準(zhǔn)確率低現(xiàn)象,從而嚴(yán)重影響艦船檢測的準(zhǔn)確度。因此,有必要針對SAR圖像水陸交接區(qū)域研究相應(yīng)分割算法,并將分割算法作為艦船目標(biāo)的檢測預(yù)處理步驟,如圖1(b)所示,在分割后的水域場景(綠色區(qū)域)內(nèi)檢測艦船目標(biāo),以期提高艦船目標(biāo)檢測正確率[3—5]。
現(xiàn)有水域分割算法可以概述為以下幾類:閾值分割方法、聚類方法和邊緣檢測方法以及基于馬爾科夫隨機(jī)場的分割方法。(1)閾值分割方法利用1個(gè)或多個(gè)閾值對SAR圖像按圖像灰度進(jìn)行劃分,灰度值在同一閾值范圍內(nèi)的為同一類型地物[6—8];(2)聚類分割方法采用相似度統(tǒng)計(jì)方法對SAR圖像中的具有相似特性的像素點(diǎn)進(jìn)行分類[9];(3)邊緣檢測方法利用水域和陸地區(qū)域后向散射系數(shù)的差異,提取水域和陸地交界區(qū)域的灰度值變化實(shí)現(xiàn)分割[10];(4)馬爾科夫隨機(jī)場方法基于貝葉斯理論,通過對每個(gè)像素點(diǎn)鄰域建立馬爾科夫隨機(jī)模型,并計(jì)算鄰域內(nèi)的統(tǒng)計(jì)信息估計(jì)當(dāng)前像素點(diǎn)的概率分布[11]。上述傳統(tǒng)方法具有各自的優(yōu)勢,例如閾值分割和邊緣檢測具有計(jì)算量小、速度快特點(diǎn),聚類方法和馬爾科夫隨機(jī)場方法在簡單場景SAR圖像上可獲得非常高的分割準(zhǔn)確度。但上述方法容易受噪聲影響,且算法參數(shù)調(diào)整過程需要過多人工參與,適用于簡單場景,在復(fù)雜真實(shí)的SAR圖像上,無法兼容水域分割的準(zhǔn)確性、魯棒性和實(shí)時(shí)性等要求[3]。
在深度學(xué)習(xí)用于圖像分割方面,文獻(xiàn)[12]率先開發(fā)了經(jīng)過端到端訓(xùn)練的全卷積網(wǎng)絡(luò) (Fully Convolutional Network, FCN) ,用于圖像分割,F(xiàn)CN采用任意大小的圖像作為輸入,可生成與原圖像相同大小的分割圖像。文獻(xiàn)[13]將文獻(xiàn)[12]的FCN擴(kuò)展到生物顯微鏡圖像分割,創(chuàng)建了U-net網(wǎng)絡(luò),該網(wǎng)絡(luò)由兩部分組成:卷積部分用于計(jì)算特征,擴(kuò)張部分用于對圖像進(jìn)行空間定位,下采樣部分具有類似FCN的結(jié)構(gòu),提取具有 3 ×3卷積的特征,上采樣或擴(kuò)展部分使用上卷積減少特征圖的數(shù)量,同時(shí)增加尺寸和寬度,最后采用 1 ×1卷積處理特征圖以生成分割結(jié)果,從而完成對輸入圖像的逐像素分類。此后,U-net架構(gòu)在FPN, PSPNet,Deeplabv3+等分割模型[14—17]中得到了廣泛的擴(kuò)展。
本文基于深度學(xué)習(xí)技術(shù),首先收集了原始高分三號(hào)星載SAR滑動(dòng)聚束模式數(shù)據(jù),對數(shù)據(jù)做預(yù)處理操作,建立水域分割數(shù)據(jù)集。然后研究了深度分離卷積和擴(kuò)張卷積的算法原理,基于殘差連接網(wǎng)絡(luò)架構(gòu)和密集連接網(wǎng)絡(luò)架構(gòu)構(gòu)建了基于深度分離卷積的SAR圖像特征提取網(wǎng)絡(luò),在此基礎(chǔ)上,結(jié)合特征提取網(wǎng)絡(luò)和擴(kuò)張卷積以及雙線性插值上采樣方法,構(gòu)建了基于編碼-解碼架構(gòu)的SAR圖像水域分割網(wǎng)絡(luò)架構(gòu)。測試集數(shù)據(jù)以及其他模式下的SAR圖像的分割結(jié)果,證明了所提方法的有效性以及工程的可實(shí)現(xiàn)性。
圖1 水域分割對艦船檢測意義Fig.1 Significance of water segmentation for ship detection
深度學(xué)習(xí)服從統(tǒng)計(jì)學(xué)規(guī)律,其假設(shè)測試數(shù)據(jù)和訓(xùn)練數(shù)據(jù)服從同一概率分布,即當(dāng)數(shù)據(jù)量足夠大時(shí),便可以用神經(jīng)網(wǎng)絡(luò)擬合的權(quán)重參數(shù)來準(zhǔn)確對測試數(shù)據(jù)預(yù)測,數(shù)據(jù)量越大,網(wǎng)絡(luò)泛化性能也越為優(yōu)異。為了實(shí)現(xiàn)準(zhǔn)確的水域分割,本文選取高分三號(hào)衛(wèi)星數(shù)據(jù)作為數(shù)據(jù)源。高分三號(hào)是我國首顆自主研制的C頻段多極化SAR衛(wèi)星,具有高分辨率、大成像幅寬、高輻射精度、多成像模式和長時(shí)工作等特點(diǎn)[18,19]。該衛(wèi)星共有12種成像模式,其中5種分辨率較高的成像模式對應(yīng)的成像參數(shù)如表1所示。
表1 高分三號(hào)成像模式Tab.1 The imaging modes of GF3 satellite
本文收集了10幅高分三號(hào)聚束模式的SAR圖像,用來訓(xùn)練和測試水域分割算法的性能。由于2維采樣率不一致導(dǎo)致SAR圖像出現(xiàn)形變,采用多視處理對原始SAR圖像進(jìn)行幾何校正。同時(shí)原始SAR圖像能量值起伏明顯,采用對數(shù)函數(shù)對原始圖像進(jìn)行量化,并根據(jù)量化結(jié)果手動(dòng)調(diào)整圖像灰度值至0~255像素。標(biāo)注工具采用LabelMe開源工具包進(jìn)行標(biāo)注,標(biāo)注過程中由手工記錄陸地和水域的交接邊緣,陸地區(qū)域標(biāo)記為類別“0”,水域標(biāo)記為類別“1”。另外由于各區(qū)域面積差異較大,寬幅陸地區(qū)域內(nèi)出現(xiàn)的面積較小、對艦船檢測影響可以忽略的水域統(tǒng)一標(biāo)記為陸地,對應(yīng)的標(biāo)記結(jié)果為與原始大圖尺寸完全一致的標(biāo)簽圖像。由于原始圖像尺寸較大,直接采用圖像進(jìn)行分割會(huì)造成計(jì)算量較大、運(yùn)算速度慢,因此對原始圖像和對應(yīng)標(biāo)簽進(jìn)行4倍線性降采樣處理,在損失較少圖像信息的前提下,保證圖像檢測準(zhǔn)確度。此外,由于卷積神經(jīng)網(wǎng)絡(luò)對輸入圖像的尺寸限制,以513像素為步長將原始圖像裁剪成尺寸為513 × 513像素的小圖像,尺寸不足的地方以0像素填充,填充后的區(qū)域默認(rèn)為水域。另外深度卷積神經(jīng)網(wǎng)絡(luò)具有旋轉(zhuǎn)敏感性,無法捕獲輸入圖像在多個(gè)角度的特征,以30°為間隔對裁剪后的圖像進(jìn)行多次旋轉(zhuǎn)。在旋轉(zhuǎn)的同時(shí),做了左右翻轉(zhuǎn)以及上下翻轉(zhuǎn)操作對數(shù)據(jù)進(jìn)行擴(kuò)充。除上述步驟外,不再采用其它方法對SAR圖像進(jìn)行調(diào)整和擴(kuò)充。在裁剪和擴(kuò)充過程中,圖像的數(shù)量和尺寸變化情況圖像如表2所示。為了對分割算法進(jìn)行訓(xùn)練、驗(yàn)證和測試,數(shù)據(jù)集中17102張圖片作為訓(xùn)練數(shù)據(jù)集,3019張圖片作為驗(yàn)證數(shù)據(jù)集,1059張圖片作為測試集。
表2 數(shù)據(jù)集圖像組成Tab.2 The composition of dataset
傳統(tǒng)深度神經(jīng)網(wǎng)絡(luò)中的卷積層采用的卷積方式如圖2(a)所示,其利用每個(gè)卷積核同時(shí)對特征圖的2維平面特征和通道特征進(jìn)行卷積,在尺寸維度和通道維度存在參數(shù)耦合,會(huì)造成卷積核參數(shù)較多,計(jì)算復(fù)雜。
本文所采用的卷積網(wǎng)絡(luò)以深度分離卷積網(wǎng)絡(luò)為基本架構(gòu)[20],結(jié)構(gòu)如圖2(b)所示,其將常規(guī)卷積分解為兩個(gè)獨(dú)立的卷積過程:深度卷積和逐點(diǎn)卷積。其中,深度卷積采用維度為m×n×1×C1的卷積核對輸入特征圖進(jìn)行濾波,經(jīng)卷積獲取的中間特征圖的通道個(gè)數(shù)與輸入特征圖的維度一致;而分離卷積則只考慮通道特征,不考慮圖像的兩維尺寸特征,直接采用 1 ×1×C1×C2的卷積層對中間特征圖進(jìn)行濾波,表示每個(gè)卷積核的通道個(gè)數(shù),與中間特征圖的個(gè)數(shù)一致,表示卷積核的個(gè)數(shù)。深度分離卷積最終可以得到與常規(guī)卷積方式類似的輸出特征圖,同時(shí)解耦了特征圖在2維平面特征和通道特征的相關(guān)性。
在卷積神經(jīng)網(wǎng)絡(luò)中,接收域代表著卷積輸出特征圖中的每個(gè)像素點(diǎn)對卷積輸入特征圖中像素點(diǎn)的抽象能力。如圖3(a)所示,利用尺寸為 3 ×3的卷積核對輸入特征圖進(jìn)行特征提取,輸出特征圖的接收域同樣為 3 ×3。高的接收域代表著更優(yōu)異的上下文信息提取能力,常規(guī)卷積網(wǎng)絡(luò)一般采用卷積層串聯(lián)池化層的做法,以期提高卷積結(jié)果的接收域,但對于水域分割來說,池化層的降分辨率操作會(huì)造成對原始輸入圖像的信息丟失,因此本文在卷積過程中采用擴(kuò)張卷積網(wǎng)絡(luò)提取特征[21],從而兼顧卷積網(wǎng)絡(luò)的高分辨率和高特征提取能力。擴(kuò)張卷積過程如圖3(b)所示。
可見,圖3(b)所示的擴(kuò)張卷積在不增加卷積核參數(shù)量的情況下,充分融合了特征圖的周圍像素信息,將輸出特征圖的接收域由3×3像素?cái)U(kuò)展到5×5像素,更有利于水陸分離任務(wù)中像素點(diǎn)分類的準(zhǔn)確性。
本節(jié)采用3.2節(jié)所述的深度可分離卷積和擴(kuò)張卷積構(gòu)建SAR圖像特征提取網(wǎng)絡(luò),網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。
圖2 常規(guī)卷積和深度分離卷積結(jié)構(gòu)對比圖Fig.2 Comparison of conventional convolution and depthwise separable convolution
圖3 常規(guī)卷積和擴(kuò)張卷積結(jié)構(gòu)對比圖Fig.3 Comparison of conventional convolution and dilated convolution
圖4 特征提取網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.4 The structure of feature extraction network
該特征提取網(wǎng)絡(luò)由3部分組成:輸入數(shù)據(jù)流、中間數(shù)據(jù)流和輸出數(shù)據(jù)流[22]。
3.3.1 輸入數(shù)據(jù)流
輸入流網(wǎng)絡(luò)結(jié)構(gòu)如圖4(a)所示,其采用3個(gè)卷積模塊,每個(gè)卷積模塊中包含不同的卷積層,以第1個(gè)卷積模塊為例,其以原始SAR圖像xinput作為輸入,采用殘差網(wǎng)絡(luò)連接[23]:主干支路采用3個(gè)深度分離卷積層,卷積層的結(jié)構(gòu)為4維向量 [h,w,n,s],其中[h,w]表示卷積核的尺寸,n表示采用卷積核的個(gè)數(shù),s表示卷積核的步長,卷積層的計(jì)算方式與圖3(b)保持一致,卷積結(jié)果表示為f(x),該支路用來提取xinput的高維非線性特征;跨層連接支路則采用常規(guī)卷積對xinput做尺寸降維、通道升維,保證卷積后的特征圖g(x)維度與主干支路輸出特征圖f(x)維度一致。原始SAR圖像經(jīng)過輸入數(shù)據(jù)流后,輸出特征圖尺寸降低為輸入圖像的1/8,特征圖的個(gè)數(shù)則增加到728。
3.3.2 中間數(shù)據(jù)流
中間數(shù)據(jù)流網(wǎng)絡(luò)結(jié)構(gòu)如圖4(b)所示,其由4個(gè)相同的分離卷積模塊組成,每個(gè)分離卷積模塊由基于殘差連接的3個(gè)分離卷積層組成,卷積層的步長s=1。為了提高各分離卷積模塊之間的特征映射關(guān)系,本文提出了基于密集連接的分離卷積網(wǎng)絡(luò),其網(wǎng)絡(luò)結(jié)構(gòu)如圖4(b)所示。設(shè)xl-1為上層分離卷積模塊的輸出,hl為表示對分離卷積模塊做非線性變換函數(shù),則對于傳統(tǒng)逐層連接方式而言,第l層的輸出特征圖l則表示為
3.3.1 節(jié)所述的殘差連接方式則表示為
密集連接網(wǎng)絡(luò)與殘差網(wǎng)絡(luò)區(qū)別在于,殘差網(wǎng)絡(luò)將上層網(wǎng)絡(luò)輸入特征圖xl-1和對其進(jìn)行非線性變換hl(l-1)的求和作為下層網(wǎng)絡(luò)輸入,而密集連接網(wǎng)絡(luò)則將所有前層網(wǎng)絡(luò)模塊的輸出特征圖做通道并聯(lián),并將并聯(lián)后的特征圖作為下層網(wǎng)絡(luò)輸入[24],其計(jì)算方式可以表述為
3.3.3 輸出數(shù)據(jù)流
輸出數(shù)據(jù)流結(jié)構(gòu)如圖4(c)所示,其包含2個(gè)深度分離卷積模塊,第1個(gè)卷積模塊與上節(jié)所述殘差模塊結(jié)構(gòu)類似,第2個(gè)卷積模塊聯(lián)合深度可分離卷積和擴(kuò)張卷積,擴(kuò)張卷積的擴(kuò)張率依次為(1, 2, 4)。另外,第2個(gè)分離卷積模塊的各層間不采用殘差連接,而是直接采用級(jí)聯(lián)方式。
本節(jié)所述的特征提取網(wǎng)絡(luò)中除殘差連接的跨層連接支路外,其他所有的深度分離卷積層均采用非線性修正單元函數(shù)作為激活函數(shù)[25]。另外,由于網(wǎng)絡(luò)經(jīng)過每層深度分離卷積后,網(wǎng)絡(luò)的權(quán)值參數(shù)和輸出特征圖的概率分布會(huì)發(fā)生變化,導(dǎo)致網(wǎng)絡(luò)訓(xùn)練時(shí)在反向傳播過程中出現(xiàn)梯度消失現(xiàn)象,無法訓(xùn)練得到局部最優(yōu)值。針對此問題,該網(wǎng)絡(luò)結(jié)構(gòu)采用了塊歸一化層對每層輸出特征圖的分布進(jìn)行了重新調(diào)整[26]。
原始SAR圖像經(jīng)過特征提取網(wǎng)絡(luò)的多次卷積之后,雖然特征圖通道個(gè)數(shù)增多,但特征圖的分辨率信息會(huì)下降。為了實(shí)現(xiàn)準(zhǔn)確的水域分割,必須通過卷積網(wǎng)絡(luò)逐層恢復(fù)圖像分辨率信息,以得到與原始輸入SAR圖像尺寸完全一致的分割結(jié)果。本文基于該思想,提出了基于編碼-解碼結(jié)構(gòu)的水域分割網(wǎng)絡(luò),通過雙線性插值進(jìn)行上采樣并添加多個(gè)卷積層獲得與原始SAR圖像逐像素對應(yīng)的分割結(jié)果,網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。
該網(wǎng)絡(luò)由編碼架構(gòu)和解碼架構(gòu)2部分組成,其中編碼架構(gòu)的意義在于,通過深度分離卷積和擴(kuò)張卷積等形式,提取輸入圖像在多個(gè)分辨率條件下的特征表示,而解碼架構(gòu)則利用提取的多維特征信息,構(gòu)建深度神經(jīng)網(wǎng)絡(luò),完成對輸入圖像中逐像素的類別判斷[16]。
編碼架構(gòu)由特征提取網(wǎng)絡(luò)和空洞金字塔池化模塊構(gòu)成。其中,特征提取部分采用上節(jié)所述的特征提取網(wǎng)絡(luò),輸入的SAR圖像在經(jīng)過特征提取模塊后,特征圖尺寸減小為原始輸入圖像的 1 /16,而特征圖的個(gè)數(shù)則增加到2048。
擴(kuò)張空間金字塔模塊的主要意義在于增加所提取的高維特征圖的上下文信息概括能力。如圖5所示,該模塊采用多個(gè)不同的擴(kuò)張率(6, 12, 18)對特征圖進(jìn)行擴(kuò)張卷積,使特征圖中的每個(gè)像素點(diǎn)充分融合周圍像素點(diǎn)的特征,即獲取更多的上下文信息,多個(gè)擴(kuò)張率的選擇能提取多尺度的特征信息。該模塊在采用擴(kuò)張卷積對特征圖進(jìn)行多尺度特征變化的同時(shí),也采用了 1 ×1的卷積層和全局平均池化以保留特征圖的自身原始信息。為了綜合各個(gè)卷積層提取的特征圖,該模塊按通道維度對各特征圖進(jìn)行合并,由于合并后的特征圖維度較大,采用1×1卷積對該特征圖進(jìn)行降維,并獲得編碼架構(gòu)最終的輸出特征圖。
解碼架構(gòu)如圖5所示,解碼架構(gòu)將特征提取網(wǎng)絡(luò)中輸入數(shù)據(jù)流的第2個(gè)分離卷積模塊提取的特征圖作為低維特征輸入,將輸出數(shù)據(jù)流提取的特征圖和編碼結(jié)構(gòu)的末端輸出特征圖作為高維特征輸入。
圖5 基于編碼-解碼結(jié)構(gòu)的SAR圖像水域分割網(wǎng)絡(luò)示意圖Fig.5 The structure of encoder-decoder network for water segmentation
為了將網(wǎng)絡(luò)的輸出映射到每個(gè)類別的概率值,輸出層采用softmax作為激活函數(shù)[27]
下面給出實(shí)驗(yàn)結(jié)果對比及相關(guān)分析。
5.1.1 訓(xùn)練參數(shù)設(shè)置
學(xué)習(xí)速率決定了反向傳播過程中梯度下降的速度,本文采用多項(xiàng)式算法調(diào)整學(xué)習(xí)速率,設(shè)第代學(xué)習(xí)速率為
另外,由于顯存空間限制,每次訓(xùn)練輸入的圖像數(shù)量設(shè)為4。網(wǎng)絡(luò)采用基于Imagenet數(shù)據(jù)集[29]訓(xùn)練好的模型作為分割網(wǎng)絡(luò)中特征提取網(wǎng)絡(luò)的訓(xùn)練初始值,其他參數(shù)則采用隨機(jī)初始化。
5.1.2 訓(xùn)練結(jié)果
網(wǎng)絡(luò)訓(xùn)練結(jié)果如圖6所示,其中圖6(a)表示訓(xùn)練過程中學(xué)習(xí)速率隨訓(xùn)練步長變化結(jié)果,與式(7)所示變化規(guī)律保持一致。圖6(b)則表示訓(xùn)練過程中損失函數(shù)變化情況,紅線表示具體變化,綠線表示損失值包絡(luò)。由圖中可見,隨著訓(xùn)練步數(shù)增加,損失函數(shù)逐漸收斂到最優(yōu)值。
在網(wǎng)絡(luò)訓(xùn)練完成后,本文在測試集中任意選取了1幅包含陸地和水域場景在內(nèi)的SAR圖像,如圖7(a)所示,圖7(b)為分割網(wǎng)絡(luò)對輸入圖7(a)的預(yù)測分割結(jié)果,圖中藍(lán)色區(qū)域表示水域,黑色表示陸地區(qū)域,可見圖像中水域和陸地邊緣均被有效分割,且保持了完整的邊緣輪廓。為了更直觀理解網(wǎng)絡(luò)的工作原理,輸入圖7(a)在網(wǎng)絡(luò)傳播過程中的高維特征圖,如圖7(c)到圖7(g)所示。
在第2節(jié)數(shù)據(jù)集部分,考慮到較小的原始圖像數(shù)據(jù)量,為提高水域分割網(wǎng)絡(luò)的準(zhǔn)確度,本文采用旋轉(zhuǎn)和翻轉(zhuǎn)等操作對原始SAR圖像進(jìn)行擴(kuò)充,并利用擴(kuò)充后數(shù)據(jù)集訓(xùn)練、驗(yàn)證和測試網(wǎng)絡(luò)結(jié)構(gòu)。為了驗(yàn)證數(shù)據(jù)擴(kuò)充對網(wǎng)絡(luò)的水域分割性能的影響,本文詳細(xì)比較了利用所提分割網(wǎng)絡(luò)對不同的數(shù)據(jù)所產(chǎn)生的分割結(jié)果,結(jié)果如表3所示。
由表3可見,采用未擴(kuò)充的數(shù)據(jù)訓(xùn)練分割網(wǎng)絡(luò),像素準(zhǔn)確度僅為0.9569,分割交并比為0.9497;而分別采用旋轉(zhuǎn)和翻轉(zhuǎn)操作均能提高分割準(zhǔn)確度。分割性能最為優(yōu)異的是本文采用的旋轉(zhuǎn)加翻轉(zhuǎn)的數(shù)據(jù)擴(kuò)充方式,使像素準(zhǔn)確度和分割交并比分別提高了0.03和0.035,達(dá)到了較高的分割準(zhǔn)確度。因此數(shù)據(jù)擴(kuò)充對分割性能具有著重要影響。
在3.3節(jié)特征提取網(wǎng)絡(luò)部分,為了增強(qiáng)特征提取網(wǎng)絡(luò)對SAR圖像的特征提取能力和誤差的反向傳播能力,本文分別將殘差連接和密集連接應(yīng)用到特征提取網(wǎng)絡(luò)的不同數(shù)據(jù)流部分。殘差連接和密集連接對分割網(wǎng)絡(luò)的性能影響如表4所示。
表4中的結(jié)果均為采用擴(kuò)充后的數(shù)據(jù)集訓(xùn)練的網(wǎng)絡(luò)模型的分割結(jié)果。其中直連方式代表特征提取網(wǎng)絡(luò)內(nèi)部不采用任何跨層連接方式。殘差連接代表如圖4所示的網(wǎng)絡(luò)連接,但中間數(shù)據(jù)流不再采用密集連接;密集連接方式則與其相反。而殘差加密集連接即本文所提的連接方式與圖4保持完全一致。由表4可見,分別采用殘差連接和密集連接都能有效提高分割的像素準(zhǔn)確度和交并比。而采用所提的殘差加密集的連接方式,使像素準(zhǔn)確度和分割交并比分別提高了0.057和0.055,性能明顯提升。
為了證明本文算法的分割有效性,本文采用了多種分割方法和所提算法進(jìn)行對比。首先在測試數(shù)據(jù)集中選取了2幅包含水域和陸地在內(nèi)的SAR圖像,如圖8(a)所示。輸入圖像對應(yīng)的真實(shí)標(biāo)簽如圖8(b)所示,標(biāo)簽中的黑色區(qū)域表示分割后的水域場景,白色表示分割后的陸地區(qū)域。針對傳統(tǒng)分割方法,選取了FCM方法[9]、MRF方法[11]、基于形態(tài)學(xué)操作改進(jìn)的OTSU方法[4]和Levelset[30]方法,針對深度學(xué)習(xí)方法,選取了Unet方法[13]和Deeplabv3+[16]方法,各方法的分割結(jié)果如圖8(c)到圖8(i)所示。
圖6 分割網(wǎng)絡(luò)訓(xùn)練結(jié)果示意圖Fig.6 Training results of segmentation network
圖7 網(wǎng)絡(luò)分割結(jié)果示意圖Fig.7 Segmentation results of segmentation network
表3 數(shù)據(jù)擴(kuò)充對分割性能的影響Tab.3 Segmentation effects of data augmentation
表4 網(wǎng)絡(luò)結(jié)構(gòu)對分割性能的影響Tab.4 Segmentation effects of network structure
由分割結(jié)果中可見,傳統(tǒng)方法能有效提取圖像中的輪廓變化特征,但對陸地區(qū)域存在過分割現(xiàn)象,且水域和陸地區(qū)域分割結(jié)果不明確,分割結(jié)果中錯(cuò)分類的像素點(diǎn)個(gè)數(shù)較多。而深度學(xué)習(xí)方法則普遍能準(zhǔn)確地提取水域和陸地區(qū)域,相比于傳統(tǒng)分割方法,性能大幅提升,但也存在一些問題,例如Unet方法[13]對水域和陸地交界輪廓不明確,丟失了完整的邊界信息,而Deeplabv3+方法[16]雖然分割效果較好,但仍然存在邊界信息缺失現(xiàn)象。相比于Unet和Deeplabv3+,本文所提方法將密集分離卷積網(wǎng)絡(luò)應(yīng)用于SAR圖像的特征提取,并且采用擴(kuò)張金字塔池化模塊和多個(gè)特征上采樣模塊逐層恢復(fù)輸入圖像的分辨率信息和語義信息,圖8(i)所示的分割結(jié)果證明了所提方法在實(shí)現(xiàn)準(zhǔn)確水域分割的基礎(chǔ)上,也極大程度地保留了水域和陸地邊界信息,且分割結(jié)果基本與圖8(b)所示的分割標(biāo)簽保持一致,說明了所提方法具有較高的水域分割準(zhǔn)確度。
為了定量分析各算法的分割效果,對比了像素準(zhǔn)確度(Pixel Accuracy, PA)、分割交并比(Intersection over Union, IoU)以及分割速度等多個(gè)指標(biāo),結(jié)果如表5所示。
由表5可見,在像素精度和交并比上,深度學(xué)習(xí)方法均取得了比傳統(tǒng)方法較好的結(jié)果,且本文所提方法在2個(gè)評(píng)估指標(biāo)上均領(lǐng)先于其他分割算法,與圖8所示分割結(jié)果保持一致。此外,本文所提方法在運(yùn)行速度上也具有一定優(yōu)勢,對于像素為513×513的裁剪后的輸入小圖像,處理速度為0.14 s/張,對于像素約為 1 0,000×10,000的原始寬幅SAR圖像,處理速度為3.5 s/張,可見所提方法相比于其他深度學(xué)習(xí)方法在以增加部分計(jì)算量為代價(jià)的前提下,兼顧了分割準(zhǔn)確度和分割速度,具備一定的工程實(shí)用價(jià)值。
由于不同模式下雷達(dá)工作參數(shù)有所差異,水域和陸地場景的后向散射系數(shù)會(huì)出現(xiàn)變化,進(jìn)而導(dǎo)致SAR圖像特征出現(xiàn)差異。為了證明所提算法的魯棒性,采用上述利用滑動(dòng)聚束(SL)模式的SAR圖像訓(xùn)練好的網(wǎng)絡(luò)模型,對多模式以及多極化方式下的星載SAR圖像分割效果進(jìn)行測試,結(jié)果如圖9和圖10所示。
圖8 各方法分割結(jié)果對比圖Fig.8 Segmentation results of different methods
表5 各水域分割算法性能對比Tab.5 Segmentation performance of different methods
圖9 不同工作模式分割結(jié)果對比圖Fig.9 Segmentation results of different imaging modes
圖10 不同極化方式分割結(jié)果對比圖Fig.10 Segmentation results of different imaging polarizations
由于原始圖像尺寸較大,首先將原始圖像無重疊裁剪到 5 13×513像素,然后利用所提的分割算法對裁剪后的圖像進(jìn)行分割,并將分割結(jié)果按原始裁剪位置重新合并成大圖。由圖9可見,所提分割模型在不同地區(qū)的多種工作模式下,取得了較好的分割效果,除了圖9(c)中將機(jī)場區(qū)域錯(cuò)劃分為水域外,圖中的水域和陸地區(qū)域均被有效分割。另外,同一地區(qū)不同極化模式對應(yīng)的原始SAR圖像及對應(yīng)的分割結(jié)果如圖10所示,由于不同極化方式下部分陸地區(qū)域圖像灰度值變化明顯等,所提方法將此類陸地區(qū)域錯(cuò)誤劃分成了水域,導(dǎo)致分割性能下降。除了這部分區(qū)域外,所提方法在不同極化方式下對其他區(qū)域均實(shí)現(xiàn)了有效的水域分割。
本文所提分割方法在各工作模式和極化方式下的交并比分割結(jié)果如表6所示,可見分割結(jié)果與圖9和圖10分割結(jié)果保持一致,充分說明所提方法具有較好的魯棒性,即利用滑動(dòng)聚束模式、HH極化方式的SAR圖像進(jìn)行訓(xùn)練所獲取的分割模型,能有效實(shí)現(xiàn)多種成像模式和多種極化方式下的水域分割。
表6 本文方法對多模式多極化下SAR圖像的IoU分割結(jié)果Tab.6 IoU under multi-mode and multi-polarization by the proposed method
本文針對實(shí)測SAR圖像中的水域分割難題,提出一種基于深度分離卷積和編碼-解碼架構(gòu)的分割網(wǎng)絡(luò)模型。首先收集了高分三號(hào)SAR圖像,并根據(jù)人工標(biāo)注建立水域分割數(shù)據(jù)集,研究了深度可分離卷積和擴(kuò)張卷積兩種新的卷積結(jié)構(gòu),在此基礎(chǔ)上,提出基于密集分離卷積的特征提取網(wǎng)絡(luò),并利用雙線性插值進(jìn)行上采樣和利用卷積層重構(gòu)上采樣特征圖,最終得到與輸入SAR圖像逐像素對應(yīng)的分割結(jié)果。實(shí)驗(yàn)結(jié)果證明本文所提方法在SAR圖像水域的準(zhǔn)確度、魯棒性和實(shí)時(shí)性上,均取得了較為理想的分割效果,具備較好的工程實(shí)用價(jià)值。