李海雷，胡小娟，郭 杭，吳文瑾

(1. 南昌大學信息工程學院，江西 南昌 330031； 2. 南昌大學科學技術學院，江西 南昌 330031；3. 中國科學院遙感與數(shù)字地球研究所，北京 100089)

土地利用/土地覆被變化是全球變化研究中的熱點話題。通過土地利用/土地覆被分類，不僅可以了解各種土地利用/土地覆被類型的基本屬性，還可以認識土地利用/土地覆被的區(qū)域結(jié)構(gòu)和分布特點，為進一步研究地域差異奠定基礎[1]。地表的最早描述采用土地利用分類系統(tǒng)和植被分類系統(tǒng)實現(xiàn)，隨著科技的不斷發(fā)展，遙感技術[2]成為獲取地表地物屬性的主要方法。

遙感影像分類[3]是遙感技術的重要分支，分類結(jié)果的質(zhì)量直接影響遙感數(shù)據(jù)的后期應用，因此，遙感影像分類引起學者的廣泛研究。Parea等[4]提出了一種在內(nèi)核空間中的低密度區(qū)域選擇未標記樣本對多光譜和高光譜圖像進行分類的算法。Pasolli等[5]提出將對多光譜和高光譜遙感圖像進行的分類轉(zhuǎn)化為對顯著樣本進行鑒別，同時建立相應的特征區(qū)間，從而選擇潛在有用樣本的問題。根據(jù)Demir[6]的研究，遷移學習過程中的不確定性和多樣性被用來篩選樣本以實現(xiàn)遙感圖像的分類。此外，遷移學習方法被用來實現(xiàn)不同空間分辨率的遙感圖像分類[7]。文獻[8]運用了非線性特征對跨領域的樣本集進行特征提取并通過試驗證明了其對遙感圖像的適用性。以上方法實現(xiàn)了在特定場景或分類數(shù)目較少情況下的遙感圖像分類。本文提出了利用基于遷移學習的深度殘差神經(jīng)網(wǎng)絡實現(xiàn)合成孔徑雷達(SAR)圖像分類算法。首先使用ImageNet(光學圖像)訓練深度殘差神經(jīng)網(wǎng)絡，然后將訓練好的模型遷移到遙感影像數(shù)據(jù)中進行微調(diào)，從而在SAR圖像樣本較少的情況下完成土地利用/土地覆被中闊葉林、居民區(qū)、河流、湖泊等共13類地物的快速準確的分類。

1 數(shù)據(jù)源與分類方法

1.1 數(shù)據(jù)源與系統(tǒng)設計

本文使用歐空局Sentinel-1衛(wèi)星[9]搭載的C波段合成孔徑雷達提供的SAR數(shù)據(jù)作為原始數(shù)據(jù)，從中選取闊葉林、居民區(qū)、河流、湖泊等13類具有標志性的地物構(gòu)成數(shù)據(jù)集。每類地物均采用100張224×224 的圖片作為初始數(shù)據(jù)集，利用旋轉(zhuǎn)、變換等數(shù)據(jù)增強技術，得到包含13 000張圖片的Sentinel-1數(shù)據(jù)集。將該數(shù)據(jù)集輸入改進的深度殘差網(wǎng)絡模型中進行微調(diào)，實現(xiàn)SAR圖像的高精度分類。本文的分類系統(tǒng)框圖如圖1所示。

圖1 基于Sentinel-1的分類系統(tǒng)框架

圖1中，左側(cè)為圖像采集模塊，中間為特征提取及自適應網(wǎng)絡[10]，右側(cè)為系統(tǒng)的輸出。從Sentinel-1衛(wèi)星獲取原始SAR圖像并提取目標地物；將樣本圖像輸入到特征提取器中進行特征提取，在自適應網(wǎng)絡中進行分類和識別；網(wǎng)絡中的第一層小圈代表輸入層，中間層小圈代表改進網(wǎng)絡的隱藏層(卷積、池化等)，最后層小圈代表分類器，最終將樣本分成對應的13類地物目標。

1.2 深度殘差神經(jīng)網(wǎng)絡

深度殘差神經(jīng)網(wǎng)絡(ResNet)[11]是由He等在2015年提出的，通過引入大量的殘差模塊，克服了模型訓練過程中的梯度彌散問題，使得神經(jīng)網(wǎng)絡在成百上千層時仍能夠很好地訓練，增強了模型的特征學習能力，提高了模型的分類性能。殘差模塊如圖2所示。

圖2 殘差模塊示意圖

從圖2可知，輸入x可以跨層輸入到下一層與F(x)融合，作為下一個殘差模塊的輸入。該過程可總結(jié)為

y=F(x,{Wi})+WS·x

(1)

式中，x、y分別代表該單元的輸入和輸出；Wi代表神經(jīng)網(wǎng)絡第i層的權(quán)值；F是關于x和{Wi}的函數(shù)，表示殘差單元需要學習到的映射。當殘差連接的輸入與輸出維度相同時，WS變?yōu)?；維度不同時，通過方陣WS變換到相同的維度。如果殘差y-x等于0，則y=x為恒等映射，沒有引入額外的參數(shù)和計算復雜度，神經(jīng)網(wǎng)絡的負擔不會增加；如果不等于0但是無限接近0，則神經(jīng)網(wǎng)絡需要學習的是輸入輸出的差別部分，通過這種方法簡化學習目標。訓練過程中，深層的誤差可以通過捷徑傳播到淺層，減弱了因?qū)訑?shù)過深造成的梯度彌散現(xiàn)象。本文選用Resnet-50深度殘差網(wǎng)絡作為圖像的特征提取器來學習SAR圖像的抽象特征。

1.3 遷移學習

深度殘差網(wǎng)絡模型的訓練是建立在大數(shù)據(jù)的基礎上，因此，在監(jiān)督學習[12]方式下利用深度學習方法實現(xiàn)SAR圖像自動分類，需要足夠多有標簽的SAR圖像。然而，目前SAR圖像的訓練樣本數(shù)量遠達不到訓練深度網(wǎng)絡模型的要求。

遷移學習的基本思想是：將源數(shù)據(jù)集圖像和目標數(shù)據(jù)集圖像映射到一個高維子空間中，在此子空間中，縮減源數(shù)據(jù)集圖像和目標數(shù)據(jù)集圖像的分布差異，實現(xiàn)源數(shù)據(jù)和目標數(shù)據(jù)的近似分布[13]。為此，本文選用基于中層表達的遷移學習方法，利用ImageNet中的大量光學圖像對Resnet-50進行預訓練，保留訓練好的模型參數(shù)；然后利用SAR圖像對改進的預訓練的Resnet-50進行微調(diào)，從而實現(xiàn)SAR圖像自動分類。

1.4 模型的改進

本文對Resnet-50模型進行簡化改進，以0.6的壓縮比對Resnet-50中每層的卷積模板數(shù)量進行壓縮，以減少特征提取器部分的模型參數(shù)，使得簡化的Resnet-50模型更適合13類SAR地物的快速分類；同時為提高模型的泛化能力，本文在簡化后的Resnet-50 模型后加上一個3層的自適應網(wǎng)絡，且采用LReLU作為自適應網(wǎng)絡中的激活函數(shù)。

Resnet-50中的非線性映射函數(shù)為線性整流單元(rectified linear unit，ReLU)[14]，表達式為式(2)，示意圖為圖3(a)。當輸入值x≤0時，ReLU的輸出為0，該單元處于未激活狀態(tài)，相應權(quán)值也不再更新，造成神經(jīng)元的浪費。Leaky-線性整流單元(leaky-rectified linear hidden unit，LReLU)[15]的表達式為式(3)，示意圖為圖3(b)。當輸入值x<0時，輸出值為較小的負值，神經(jīng)元仍處于激活狀態(tài)，避免了原先神經(jīng)元出現(xiàn)壞死的現(xiàn)象。LReLU的應用使得自適應網(wǎng)絡中的神經(jīng)元數(shù)目可以較少或允許Dropout以較大的比例存在，而不影響模型的分類性能。

(2)

(3)

圖3

Resenet-50簡化及添加自適應網(wǎng)絡后的模型結(jié)構(gòu)如圖4所示。其中自適應網(wǎng)絡A1層的神經(jīng)元個數(shù)為1000；A2層的神經(jīng)元個數(shù)為256，Dropout=0.8；A3層的神經(jīng)元個數(shù)為13。A1、A2每層神經(jīng)元的激活函數(shù)均采用LReLU實現(xiàn)特征的非線性映射。

2 試驗結(jié)果與分析

本文使用ENVI 5.3.1進行圖像預處理制作Sentinel-1數(shù)據(jù)集。硬件為GPU LEAD TEK Quadro k620，內(nèi)存16 GB，系統(tǒng)為Windows 7 64 bit。軟件為Anaconda3.5+Python3.5，模型框架為Tensorflow。訓練過程中的超參數(shù)見表1。Sentinel-1數(shù)據(jù)集共有13 000張圖片，按照4∶1的比例隨機分配訓練集(訓練：驗證=9∶1)和測試集。

表1 模型訓練超參數(shù)

本文使用交叉熵代價函數(shù)來監(jiān)督改進網(wǎng)絡的訓練，交叉熵主要用來度量真實樣本分布與預測得到的樣本分布的差異大小。訓練過程中的模型損失和模型準確率變化曲線如圖5所示。圖5(a)為模型訓練損失曲線，橫坐標為訓練的epochs(訓練集中的所有樣本遍歷一次稱為epoch)，縱坐標為模型損失。由圖5(a)可知，大約經(jīng)過20個epochs后，訓練集和驗證集上的模型損失均穩(wěn)定在0值附近。圖5(b)為訓練過程中模型的分類準確率變化曲線，橫坐標為epochs，縱坐標為模型分類準確率。由圖5(b)可知，大約經(jīng)過20個epochs之后，訓練集和測試集的分類準確率分別穩(wěn)定在100%和97%左右，驗證集的準確率最高可達99.23%。由此可知，本文提出的遷移模型具有較好的SAR圖像分類性能。

圖4 基于中層表達的遷移學習

圖5 模型損失和模型分類準確率變化曲線

本文利用混淆矩陣來展示模型的單類別分類準確率。列代表實際類的實例，行代表預測類的實例，對角線元素值表示對應地物的分類準確率，其他位置為對應的錯分率。混淆矩陣見表2，其中，bro為闊葉林，com為居民區(qū)，mix為針闊混交林，con為針葉林，des為沙漠，dry為旱田，gra為草地，ind為工業(yè)區(qū)，inl為內(nèi)陸湖，pad為水田，riv為河流，snow為終年積雪區(qū)，wet為濕地。

表2 混淆矩陣

從表2可知，河流的分類效果最好，準確率可達99.23%；針闊混交林的分類準確率最差，為91%；整體平均分類準確率為95.15%?？梢姳疚奶岢龅幕谶w移學習的改進版深度殘差神經(jīng)網(wǎng)絡在Sentinel-1數(shù)據(jù)集上獲得了較好的分類效果。

此外，本文將Resnet-50原始模型與本文提出的遷移學習模型進行比較，比較結(jié)果見表3。其中Resnet-50(Imagenet)是僅使用ImageNet數(shù)據(jù)集訓練獲得，Resnet-50(SAR)是僅使用Sentinel-1數(shù)據(jù)集訓練獲得，Resnet-50(遷移)是使用Imagenet訓練，遷移到Sentinel-1數(shù)據(jù)集對模型進行微調(diào)獲得； Proposed(ReLU)和Proposed(LReLU)是改進的網(wǎng)絡模型，自適應網(wǎng)絡中的激活函數(shù)分別采用ReLU和LReLU。表中模型的分類準確率均在本文的測試集上獲得。FLOPs為模型的浮點運算量。

表3 模型性能的比較

由表可知，分類準確率最差為Resnet-50 (SAR)，綜合圖5和表2可知，僅使用Sentinel-1數(shù)據(jù)集訓練模型出現(xiàn)了嚴重的過擬合現(xiàn)象。本文提出的利用ImageNet預訓練模型，然后遷移到Sentinel-1數(shù)據(jù)集上微調(diào)的方法要優(yōu)于僅使用ImageNet或Sentinel-1訓練的模型。此外，本文通過對模型進行簡化和改進，減少了模型的運算量，縮短了模型的訓練時間，而且模型分類性能相對原始模型也有所提高。自適應網(wǎng)絡中利用ReLU或LReLU對模型的效率影響不明顯，模型的分類準確率稍有提高。

3 結(jié) 語

本文使用歐空局發(fā)射的Sentinel-1衛(wèi)星提供的源數(shù)據(jù)制作了包含13類地物的Sentinel-1數(shù)據(jù)集，為了解決SAR數(shù)據(jù)不足、無法訓練深度網(wǎng)絡模型的問題，提出了基于中層表達的遷移學習模型。利用改進的深度殘差神經(jīng)網(wǎng)絡作為特征提取器，在特征提取器后添加自適應網(wǎng)絡并使用Sentinel-1數(shù)據(jù)集對模型進行微調(diào)，實現(xiàn)了13類地物的準確分類。試驗結(jié)果表明，本文提出的方法適合遙感圖像的分類，分類準確率為95.15%。通過本文試驗可見，遷移學習理論應用于空間數(shù)據(jù)信息提取具有非常大的潛力，可以實現(xiàn)土地利用/土地覆被的自動分類，為研究土地利用/土地覆被分類提供了新思路。