多模態(tài)特征融合的遙感圖像語義分割網絡

孫漢淇，潘 晨，何靈敏，胥智杰

1.中國計量大學 信息工程學院，杭州 310018

2.中國計量大學 浙江省電磁波信息技術與計量檢測重點實驗室，杭州 310018

高分辨率遙感圖像的語義分割是遙感圖像理解領域中最基本和最具挑戰(zhàn)性的任務之一。遙感圖像的語義分割是指通過解析遙感圖像上每個像素點的語義信息來給像素點分配一個語義標簽，并用不同的顏色標注，進而形成分割圖[1-2]。近年來，隨著光學傳感設備和衛(wèi)星遙感技術的發(fā)展，采集到的可供研究的高分辨率遙感圖像越來越多。同時，隨著現代化城市的發(fā)展，遙感圖像語義分割在土地資源規(guī)劃、地質災害防治、軍事安全等領域有著越來越多的應用，遙感圖像的語義分割信息成為了重大決策的關鍵參考信息之一。因此，高分辨率遙感圖像語義分割具有重要的研究意義和價值。

高分辨率遙感圖像包含豐富的語義信息，且具有目標大小尺度不一、分布密集、拓撲結構多樣、背景干擾復雜等特點，使得遙感圖像的語義分割更具挑戰(zhàn)性。遙感圖像分割的性能由三個重要因素決定：空間信息、全局上下文信息和邊界細節(jié)。為了實現高分辨率遙感圖像的精確分割，需要充分組合和利用好不同層次的信息。傳統的圖像分割以圖像像素本身為基礎，借助圖像的底層灰度和紋理等特征表示進行分割，適用于信息量較少的情況[3]。對于包含豐富語義信息的高分辨率遙感圖像，傳統的圖像分割方法分割效果不佳。深度學習領域的卷積神經網絡（CNN）具有極強的特征學習能力。CNN可以自動學習空間特征和拓撲關系，從訓練圖像中提取不同層次的表征特征，從而對圖像進行語義分割，比傳統的圖像分割方法具有更好的分割效果[4]。FCN[5]的提出是語義分割的一個巨大突破，標志著語義分割進入深度學習的時代。FCN用一個卷積層代替全連接層，允許任意大小的輸入圖像，實現端到端的訓練和預測。PSPNet[6]提出用金字塔池化模塊（pyramid pooling module，PPM）聚合不同區(qū)域的上下文信息，從而提高獲取全局信息的能力。Chen等提出了基于空洞卷積結合編碼器-解碼器結構的DeepLab系列[7-8]網絡，提出空洞空間金字塔池化模塊（atrous spatial pyramid pooling，ASPP）提取圖像的多尺度特征。DenseASPP[9]在ASPP的基礎上提出以密集連接的方式連接不同空洞率的空洞卷積，以獲得更大范圍的擴張率。HRNet[10-11]不同于以往的編碼器-解碼器結構，提出在整個特征提取和融合過程中保持高分辨率表示，通過并行的多分辨率子網絡上反復交換信息來進行多尺度的重復融合。OCRNet[12]提出對象上下文表示法，通過利用對應類的對象區(qū)域的表示來增強一個像素的表示。

單一數據源的圖像分割算法目前已經到達了比較高的分割精度，繼續(xù)通過網絡改進的精度提升是有限的。DSM圖像包含了三維空間的柵格化數據，以灰度圖的形式體現不同物體的高度信息，可以很好地作為衛(wèi)星遙感圖像的補充。高度差信息可以一定程度上體現物體類別間的差異。在分割網絡中，使用高度信息作為輔助可以增加相似地物分割時的判斷信息，降低分割的錯誤率。基于此，本文提出將IRRG圖像與DSM圖像融合的遙感圖像語義分割網絡MMFNet。本文在國際攝影測量與遙感學會（international society for photogram‐metry and remote sensing，ISPRS）提供的Vaihingen和Potsdam數據集上評估了本文提出的網絡結構，并分別獲得了90.44%和90.70%的全局精確度。綜上所述，本文的主要貢獻如下：

（1）提出了結合IRRG圖像與DSM圖像的高分辨率遙感圖像語義分割網絡MMFNet，可以準確分割高分辨率遙感圖像。

（2）提出復合空洞空間金字塔池化模塊（complexa‐trous spatial pyramid pooling，CASPP）用來提取地物的多尺度特征。CASPP相比PPM、ASPP、DenseASPP同類型模塊，具有參數量低和分割性能高的優(yōu)勢。

（3）解碼器使用殘差解碼塊（residual decoding block，RDB）提取融合后的特征，并使用密集連接的方式加強特征的傳播和復用。

1 相關工作

1.1 編碼器-解碼器結構

自從FCN問世以來，基于編碼器-解碼器的架構一直被廣泛使用。編碼器網絡通常由一個骨干CNN組成，主要由卷積層、匯聚層和批處理標準化層組成。編碼器對圖像進行卷積和下采樣，以獲得高階語義信息。解碼器通過對縮小的特征圖進行上采樣來恢復丟失的空間分辨率。UNet[13]中引入了對稱的“編碼器-解碼器”設計，多級編碼特征在解碼階段被直接連接，以聚集更多的空間信息。RefineNet[14]通過多路徑融合不同級別的特征來增強解碼器。SPFNet[15]通過融合多層次的全局上下文特征來捕獲不同的特征。由于編碼階段伴隨著圖片尺寸的縮小，存在空間細節(jié)的損失。因此，如何使解碼器有足夠的能力來恢復丟失的空間信息成為了網絡設計的關鍵。本文所提出的架構中，多級編碼特征通過CASPP模塊提取多尺度特征后輸入到解碼器。解碼器使用RDB模塊提取融合后的特征，并使用密集連接的方式加強特征的傳播和復用。

1.2 多尺度特征提取

由于尺度不一致和類內不平衡問題，提取多尺度特征對于確定對象類別至關重要。許多方法通過跳躍連接來聚合不同比例的要素，以獲得不同尺度的特征。PSPNet[6]提出PPM，采用核大小不同的平均池化，獲得不同尺度的池化特征，從而提高獲取全局信息的能力。DeepLabV3+[8]提出ASPP模塊，采用具有不同空洞率的多個并行空洞卷積并融合最終的結果，以聚合不同尺度下的信息。DenseASPP[9]在ASPP的基礎上以密集連接的方式連接不同空洞率的空洞卷積，以獲得更大范圍的擴張率。本文提出CASPP模塊，使用分組多級空洞卷積（grouped multi-level atrous convolution，GMAC）替換原始ASPP原始的空洞卷積，具有更多的空洞率組合和感受野。

2 多模態(tài)特征融合的遙感圖像語義分割網絡

高分辨率遙感圖像語義分割一直是遙感領域的長研課題[1]。由于遙感圖像存在背景復雜、目標大小尺度不一等問題，為對其進行語義分割帶來了不少的困難。本文提出一種多模態(tài)特征融合的遙感圖像語義分割網絡。通過有效結合IRRG圖像的光譜特征和DSM圖像高度特征，提高網絡的分割性能。網絡結構如圖1所示。本章將詳細介紹MMFNet的網絡結構。

2.1 MMFNet網絡結構

MMFNet結構如圖1所示。網絡采用編碼器-解碼器的結構。編碼層采用雙輸入流的方式同時提取IRRG圖像的光譜特征和DSM圖像的高度特征。提取多尺度特征對語義分割任務非常重要。Res2Net[16]在單個殘差塊內構造具有等級制的類似殘差連接，取代了通用的單個3×3卷積核，在更細粒度級別表示多尺度特征，增加了每個網絡層的感受野。同時，網絡的殘差結構可以很好地提取圖像特征和避免訓練過程中反向傳播時梯度消失的現象，非常適合在遙感圖像語義分割任務中作為主干網絡來充分提取圖像的多尺度特征。高分辨率遙感圖像背景復雜、類別信息豐富，且尺度大小不一，需要使用特征提取能力強的較為深層的網絡進行特征提取[2]。因此本文使用Res2Net系列中的Res2Net101作為提取IRRG圖像光譜特征的主干網絡。同時使用3層3×3的卷積替換原始第一層7×7的卷積，在不影響性能的情況下減少網絡的參數量。通過堆疊3個3×3卷積可以達到和7×7卷積同等規(guī)模的感受野。此外，通過3×3卷積堆疊，加深了網絡的深度和非線性因素，使網絡對復雜圖像的特征提取能力加強，有助于分割。DSM圖像相較于IRRG圖像，包含的語義信息較少，特征容易提取。因此采用較為輕量的網絡ResNet34[17]作為DSM圖像分支的特征提取器。

圖1 MMFNet網絡結構Fig.1 Network structure of MMFNet

隨著網絡的加深，語義信息越來越豐富的同時，會造成空間信息的損失[18]。為解決上述問題，傳統編碼器-解碼器結構通過跳躍連接的方式直接結合深層特征和淺層特征。然而深層特征和淺層特征之間存在較大的語義鴻溝，直接結合無法達到最好的特征利用。MMFNet在編碼器每一階段通過通道拼接操作合并IRRG分支特征圖和DSM分支特征圖。合并后的特征圖輸入到CASPP模塊提取多尺度的特征，并作為解碼器的一部分輸入。編碼器雙分支在特征提取完成之后進行通道合并，緊接著使用1×1卷積進行特征融合和降低通道數并輸送到解碼器。相比于特征圖直接相加，通道合并后進行1×1卷積操作可以自適應地融合所需要的特征，降低特征不對齊帶來的干擾。解碼器采用密集連接的方式，合并前幾級解碼器的輸出作為下一級解碼器的輸入的一部分，強化特征的復用和傳播。最后一級解碼器的輸出通過1×1卷積調整通道數為類別數，最后經過Softmax得到最終的預測圖。

2.2 復合空洞空間金字塔池化模塊（CASPP）

由于尺度不一致和類內不平衡問題，提取多尺度特征對于確定對象類別至關重要。MMFNet通過在跳躍連接處添加CASPP模塊提取淺層特征的多尺度特征，降低與深層特征之間的語義差距。ASPP模塊采用并行空洞卷積的方式提取多尺度特征。為了獲得更大的感受野以及更出色的多尺度特征提取能力，本文設計了GMAC模塊替換原始的空洞卷積。CASPP模塊和GMAC模塊如圖2所示。GMAC模塊將輸入特征圖均勻的分成4個特征圖子集。與輸入特征圖相比，每個特征圖子集含有相同的空間大小，通道數為輸入特征圖的1/4。前三個特征子集對應各自的空洞卷積，并采用類似分層殘差的方式連接。第四個特征子集采用核大小為3×3，步 長為1的平均 池 化。在MMFNet中，三個GMAC模塊的空洞卷積的擴張率分別為1、4、8。

圖2 復合空洞空間金字塔模塊Fig.2 Composite atrous spatial pyramid pooling module

GMAC各個特征子集的輸出表示如公式（1）所示：

其中，xi表示第i個特征子集，Ci表示第i個特征子集對應的空洞卷積，P表示平均池化，yi表示第i個特征子集的輸出。通過通道拼接合并四個特征子集的輸出得到最后的輸出。由于組合爆炸效應，最終的輸出含有不同數量組合的空洞卷積所提取的特征，感受野的范圍將會大大加大。

2.3 密集連接的解碼器

解碼器的輸入由兩部分構成：編碼器跳躍連接的輸入和前幾級解碼器輸出合并后的輸入，分別用EInput和DInput表示。DInput經過反卷積，特征圖放大為原來的兩倍，通道數減少到原來的一半。EInput經過1×1卷積調整通道數與反卷積后的DInput一致，并與其進行通道拼接。合并后的特征圖經過RDB模塊，細化特征提取。最后通過1×1卷積調整通道輸出。解碼器和GDB模塊結構如圖3所示。RDB模塊采用殘差結構，使用分組卷積替換原始的3×3卷積，有效降低了網絡的參數量。在殘差分支末尾添加SCSE[19]（spatial and channel“squeeze & excitation”）模塊，提高解碼器基于像素點的分類能力。SCSE是一種注意力機制模塊，通過讓網絡沿著空間和通道方向對特征圖進行重新校準并組合輸出的方式，使得網絡可以學習使用全局信息來選擇性的增強有意義的特征和抑制無意義的特征，從而達到提升網絡分類性能的目的。同時，SCSE模塊可以輕松結合在當前絕大多數CNN模型中，并且在顯著提升網絡性能的同時只需犧牲微小的計算成本[19]。

圖3 MMFNet解碼器Fig.3 Decoder of MMFNet

MMFNet解碼器采用密集連接的方式，合并前幾級解碼器的輸出作為下一級解碼器的輸入的一部分，強化特征的復用和傳播。解碼器的輸入輸出如公式（2）所示：

其中，E表示編碼層雙分支合并后的輸入，skipi表示第i個解碼器跳躍連接的輸入，di表示第i個解碼器的解碼過程，Di表示第i個解碼器的輸出。

3 實驗與分析

3.1 數據集

本文在ISPRS提供的Vaihingen和Potsdam數據集上評估本文提出的架構。Vahingen數據集拍攝于德國的Vaihingen市，地面采樣距離為9 cm，包含33個不同的城市區(qū)域。Potsdam數據集拍攝于德國的Potsdam市，地面采樣距離為5 cm，包含38個不同的城市區(qū)域。數據集的詳細信息如表1所示。

表1 數據集Table 1 Datasets

3.2 實驗設置與環(huán)境

在對高分辨率遙感圖像進行語義分割時，首先要對圖像進行分割和增強。本文使用512×512的滑動窗口以128的步幅（75%的塊間覆蓋率）對訓練圖像進行切片，并對圖像進行歸一化、隨機鏡像和傾斜度為15°的隨機旋轉。

lrmin表示最小學習率，lrmax表示最大學習率，Tcur表示當前迭代次數，Tmax表示最大迭代次數。實驗設置：lrmin=0.01,lrmax=0.001,Tmax=50。訓練總迭代次數設置為100，每50次迭代重置一次學習率。在訓練期間保存在驗證集上表現最佳的模型。

本次實驗的硬件環(huán)境：處理器Intel E5-2678V3，顯卡NVIDIA TITAN X 12 GHz，運行內存128 GB，存儲內存3 TB。本次實驗的軟件環(huán)境：Ubuntu16系統，Python3.8，Pytorch1.8和Numpy1.21.4開發(fā)環(huán)境。

3.3 評價指標

如圖4所示，本次實驗采用兩種標簽圖進行評估，分別為完整標簽圖（full_reference）和無邊界影響標簽圖（no_boundary）。no_boundary的對象邊界被半徑為3像素的像素圓點侵蝕，并在評估中忽略被侵蝕的區(qū)域，以達到減少不確定的邊界定義對評估的影響的目的。

圖4 標簽圖Fig.4 Label

為了定量評估語義分割的性能，實驗中設置了三個評估指標：F1（F1 score），MF1（Mean F1 score）和OA（Overall accuracy）。單一類型特征的評分標準使用F1，全局評分標準使用OA和MF1。F1、MF1和OA用公式（4）~（6）表示：

其中，tp、fp、tn、fn分別表示真正例、假正例、正負例、假負例的元素數量。

3.4 實驗

3.4.1 對比通用分割網絡

為了評估所提出的方法的有效性，本文將MMFNet與其他5個優(yōu)秀的通用分割網絡進行對比，分別是PSPNet[6]、DeepLabV3+[8]、HRNet[10]、OCRNet[12]和SPFNet[15]。為了確保實驗的公平性和數據的有效性，所有的網絡均在相同的軟硬件環(huán)境下進行訓練和測試。本次實驗采用相同的學習率策略，迭代次數設置為100，保存訓練過程中在驗證集上分割效果最好的模型。

Vaihingen數據集上比較結果如表2所示。結果顯示，無論是使用full_reference標簽圖還是no_boundary標簽圖進行評估，MMFNet分割表現均為最佳。在使用no_boundary標簽圖進行評估的情況下，MMFNet在Vai‐hingen數據集上的MF1指標和OA指標比表現第二好的網絡SPFNet分別高出0.21和0.44個百分點。為了增加網絡的可對比性和排除主干網絡帶來的影響，本文將IRRG圖像分支的主干網絡換成ResNet101[17]進行實驗。結果顯示，MMFNet（ResNet101）在Vaihingen數據集上的分割表然依然優(yōu)與其他5個通用分割網絡，證明了MMFNet網絡的有效性源于其網絡結構本身而非其主干網絡。

那我可以怎么做呢？解決方法是什么？她需要的是什么？“正面管教”讓我明白：所有的行為背后都有情緒/感覺——我們做什么，怎么做，源于我們的感覺是什么。于是我先辨別她的情緒，發(fā)現她要求看電視的時候，都是她沒事干的時候（基礎家務活兒她現在都能做，我讓她自己決定：想做就做，不想做也行）。

表2 Vaihingen數據集上對比通用分割網絡Table 2 Comparison of general-purpose segmentation networks on Vaihingen dataset單位：%

Potsdam數據集上比較結果如表3所示。結果顯示，在兩種標簽圖評估的情況下，MMFNet的分割表現均為最佳。在使用no_boundary標簽圖進行評估的情況下，MMFNet在Potsdam數據集所有指標均為最優(yōu)，且MF1指標和OA指標比表現第二好的網絡SPFNet分別高出0.53和0.62個百分點。

表3 Potsdam數據集上對比通用分割網絡Table 3 Comparison of general-purpose segmentation networks on Potsdam dataset 單位：%

MMFNet與通用分割網絡在兩個數據集上的部分分割效果圖對比如圖5所示。結果顯示，MMFNet的分割圖與標簽圖最接近，對建筑物和陰影遮擋地物的分割比較精細?；谏鲜龇治?，證明了所提出的方法是有效的，具有比列舉的通用分割網絡更好的分割性能，并且不受單數據集偶然性的影響。

圖5 對比通用分割網絡的分割效果圖Fig.5 Comparison of segmentation effect of general segmentation network

3.4.2 對比數據集專用網絡

為了進一步證明所提出的方法的有效性，本文將MMFNet與相同數據集專用分割網絡進行對比。本文選取四個同時公布在Vaihingen和Potsdam數據集分割排行榜中的方法進行對比，分別為SVL_3、UZ_1[21]、CVEO[22]和UFMG_4[23]。

Vaihingen數據集上比較結果如表4所示。結果顯示，在使用full_reference標簽圖和no_boundary標簽圖進行評估的情況下，MMFNet的分割表現都是最佳，且所有指標均為最優(yōu)。在使用no_boundary標簽圖進行評估的情況下，MMFNet在Vaihingen數據集上的MF1指標和OA指標比表現第二好的網絡UFMG_4分別高出1.67和1.04個百分點。

表4 Vaihingen數據集上對比專用分割網絡Table 4 Comparison of dedicated segmentation networks on Vaihingen dataset單位：%

Potsdam數據集上比較結果如表5所示。結果顯示，在兩種標簽圖評估的情況下，MMFNet的分割表現都是最佳，所有指標均為最優(yōu)。在使用no_boundary標簽圖進行評估的情況下，MMFNet在Potsdam數據集上的MF1指標和OA指標比表現第二好的網絡CVEO分別高出1.28和1.70個百分點。

表5 Potsdam數據集上對比專用分割網絡Table 5 Comparison of dedicated segmentation networks on Potsdam dataset 單位：%

MMFNet與相同數據集專用分割網絡的部分分割效果圖對比如圖6所示。結果顯示，MMFNet的分割圖最為精細，與標簽圖最接近。本次實驗中的其他四個分割網絡都不同程度地出現在大面積樹或者植被類別中分割出建筑的錯分現象，分割圖比較粗糙。MMFNet充分提取和利用全局信息和多尺度信息，并結合高度信息的輔助，達到了很好的分割效果?；谏鲜龇治?，證明了所提出的方法是有效的，具有比列舉的相同數據集的專用分割網絡更好的分割性能，并且不受單數據集偶然性的影響。

圖6 對比專用分割網絡的分割效果圖Fig.6 Comparison of segmentation effects of dedicated segmentation networks

3.4.3 CASPP與同類型模塊對比

為了證明CASPP模塊的有效性，本文將CASPP模塊與其他同類型模塊在參數量和分割性能兩方面進行對比，對 比模塊分別為PPM[6]、ASPP[8]、DenseASPP[9]。參數量對比實驗中輸入大小為（640，64，64），輸出大小為（640，64，64）。各模塊參數量如表6所示，DenseASPP模塊參數量最小，CASPP和DenseASPP模塊參數量接近。ASPP參數量最大，為CASPP模塊參數量的2.8倍。

表6 模塊參數量對比Table 6 Comparison of module parameters

在相同的軟硬件環(huán)境下，使用同類型模塊替換MMFNet中的CASPP模塊進行分割性能對比實驗。實驗在Vaihingen數據集上進行，使用相同的訓練策略和預測方式。實驗使用no_boundary標簽圖進行評估，MF1和OA作為評價指標。在Vaihingen數據集上的測試結果如表7所示。結果顯示，在相同的訓練環(huán)境下，使用CASPP模塊的MMFNet取得最高的分割精度。

表7 分割性能對比Table 7 Comparison of segmentation performance單位：%

綜合參數量對比和分割性能對比，本文提出的CASPP模塊相比改進前的ASPP模塊，參數量降低了65%，在Vaihingen數據集中MF1指標和OA指標分別提高了0.07和0.11個百分點。綜上所述，CASPP模塊相比較于PPM、ASPP、DenseASPP模塊，同時具有參數量低和分割性能高的優(yōu)勢，更適合用于本文所提出的架構中。

3.4.4 消融實驗

本文通過在Vaihingen數據集上進行消融實驗證明本文所提出的模塊的有效性。實驗采用no_boundary標簽圖進行評估，使用MF1和OA評價指標定量評估分割性能。本文在MMFNet架構的基礎上去除CASPP模塊、解碼器的密集連接和使用ResNet[17]殘差塊替換解碼器中的RDB模塊，并用這個網絡作為本次實驗的基準網絡。消融實驗結果如表8所示，Base表示基準網絡，DC表示解碼器采用密集連接的方式。結果表明，當使用RDB模塊替換傳統殘差塊，網絡在Vaihingen數據集上的OA指標提升了0.2個百分點，表明所提出的RDB模塊相比于傳統殘差塊具有更高的分類能力。在解碼器增加密集連接結構后，網絡的MF1指標和OA指標分別提高了0.78和0.31個百分點。表明解碼器的密集連接結構是有效的，可以加強特征的傳播和復用，提高網絡的分割性能。通過在跳躍連接處添加CASPP模塊，網絡的MF1指標和OA指標分別提高了0.63和0.44個百分點，表明CASPP模塊的有效性。CASPP模塊提取的多尺度信息對于提升網絡的分割性能十分有益。隨著本文所提出的關鍵模塊逐步添加在基準網絡上，分割的準確性逐漸提高。最后，添加了所有模塊的網絡達到了最佳的分割性能。實驗結果表明本文所提出的每個關鍵模塊對于MMFNet獲得最佳遙感圖像語義分割結果都是必要的。

表8 消融實驗Table 8 Ablation experiment

4 總結

高分辨率遙感圖像語義分割是遙感領域的一個重要研究課題，在國土資源規(guī)劃，地理信息系統構建和智慧地圖等領域有著十分廣泛的應用。本文提出結合IRRG圖像和DSM圖像的遙感圖像語義分割網絡MMFNet。網絡采用編碼器-解碼器的結構。編碼層采用雙輸入流的方式同時提取IRRG圖像的光譜特征和DSM圖像的高度特征。解碼器使用RDB模塊細化特征的提取，并采用密集連接的方式加強特征的傳播和復用。提出CASPP模塊用于提取跳躍連接層的多尺度特征。實驗證明，CASPP模塊相比較于PPM[6]、ASPP[8]、DenseASPP[9]同類型模塊，具有參數量低和分割性能高的優(yōu)勢。在Vaihingen和Potsdam數據集上的實驗表明，MMFNet相比DeepLabV3+[8]、HRNet[10]、SPFNet[15]等通用分割網絡和CEVO[22]、UFMG_4[23]等同數據集專用分割網絡具有更高的分割精確度。MMFNet對相似地物和遮擋地物分割精確，訓練過程簡單，具有實際應用價值。

在后續(xù)工作中，考慮設計IRRG圖像特征提取分支和DSM圖像特征提取分支相互指引的網絡，選擇性融合有用的特征，忽略無用的特征。與此同時，在分割精度不變的前提下，如何設計更輕量化的網絡也是未來的研究重點。