基于雙支路全局局部感知網(wǎng)絡的高分影像林地信息提取方法

胡永進， 韓 旭， 高小慧， 胡耀天

(江蘇農林職業(yè)技術學院，江蘇句容 212400)

森林生態(tài)系統(tǒng)覆蓋了全球陸地表面的1/3，及時準確掌握林地信息對環(huán)境保護具有重要作用[1-2]。不同于傳統(tǒng)的手工林地調查，遙感影像可以提高林地調查效率，有助于可以幫助快速提取地表信息分布情況。然而，由于遙感影像中地物特征復雜性，如何實現(xiàn)高精度的遙感影像林地信息提取仍然是當前研究所面臨的難題。

1 研究現(xiàn)狀

利用遙感影像進行林地信息提取方法主要包括目視解譯、像元計算、面向對象、機器學習及深度學習[3-5]。其中，目視解譯法需要依靠專業(yè)人員的專業(yè)知識以及經(jīng)驗對林地進行肉眼觀察并加以判讀，雖然此方法的準確度較高，但是效率低、工作量大、成本高，難以滿足應急處理的需求[6]。像元計算方法是通過分析遙感影像中林地的特征建立預定義波段模型來提取影像中的林地區(qū)域[7-8]。然而，這類方法將注意力集中在單個像元特征上，忽略了林地的其他相關屬性，如紋理、形狀、空間結構、相互關系等，可能導致整體目標影像被打碎，從而產(chǎn)生較為嚴重的“椒鹽現(xiàn)象”。之后，面向對象方法逐漸被應用，與像素方式不同，面向對象的林地提取方法是以同質對象作為最小分析單元，通過分析遙感影像中林地的光譜、形狀、紋理等多種特征，并借助認知機理來選定這些特征，保證其能夠最大程度地區(qū)分遙感影像上林地信息[9-12]。但由于光學遙感影像以非均勻區(qū)域的形式表達信息，因此對林地區(qū)域的識別產(chǎn)生干擾，耕地及草地光譜特性與林地極為相似。此外，面向對象方法需要多次對分割尺度等參數(shù)進行不斷調整，這就使得整個過程變得復雜且耗時，不適用于大批量的數(shù)據(jù)處理。此后，基于機器學習的方法被用于林地信息的提取，機器學習的方法是通過人為設計特征提取函數(shù)，并通過一定的樣本學習進行參數(shù)擬合計算樣本之間的關聯(lián)[13-14]。然而，機器學習僅限于淺層特征提取，其非線性表達能力有限，無法抽取遙感影像中林地的深層次特征。

隨著計算機視覺技術的發(fā)展，基于深度學習的遙感影像信息提取方法也逐漸被應用，相比于之前的傳統(tǒng)方法，這種方法不需要人工識別影像復雜的特征，而是由深度學習框架自動去學習，這也減少了工作量，提高了準確率[15-16]。許多深度學習方法也被用于地表信息提取。Zhang等以對象為基本結構建立了城市利用土地分類網(wǎng)絡模型[17]。Kussul等通過建立多尺度神經(jīng)網(wǎng)絡對地表土地覆蓋類型進行分類[18]。Schiefer等則利用UNet網(wǎng)絡進行了航空影像林地檢測研究[19]。Gui等建立了一種更深層次的林地提取網(wǎng)絡，并通過高分1號影像進行了試驗[20]。盡管這些研究取得了一定的進展，但林地于影像中的同物異譜及同譜異物現(xiàn)象更加顯著，現(xiàn)有網(wǎng)絡難以應對這一復雜干擾。林地具有明顯的尺度差異，既包括大面積森林也包括小面積林盤，當前缺乏可用于深度學習的遙感影像林地提取數(shù)據(jù)集。

針對上述問題，本研究提出一種用于遙感影像林地信息提取的雙支路全局局部感知網(wǎng)絡。該網(wǎng)絡從林地特征入手，在編碼階段通過全局與局部信息的提取及融合，盡可能地獲取影像不同背景下的復雜林地特征，利用深度監(jiān)督分類器進一步提高網(wǎng)絡對于不同尺度林地的感知能力，從而建立一個新的林地提取數(shù)據(jù)集以驗證方法的有效性。

2 林地提取方法

本研究提出一種雙支路全局局部感知網(wǎng)絡模型(圖1)，該模型包括編碼與解碼2個部分，是一種端到端的對稱結構。其中，編碼部分為雙支路特征提取結構，通過2條支路信息在抽取全局與局部信息的同時兼顧不同尺度之間的聯(lián)系，進一步提高網(wǎng)絡特征提取能力，這是網(wǎng)絡的核心部分。解碼部分為深度監(jiān)督分類器，該結構通過多分支輔助分類充分獲取不同層次的特征映射，進一步提高網(wǎng)絡在預測階段的判別能力。

2.1 雙支路全局局部特征提取結構

為了在特征提取階段有效提取影像中林地信息，本研究提出一種雙支路全局局部特征提取結構，包括支路1與支路2(圖2)，其中支路1主要用于提取全局語義特征，支路2則是利用深度殘差網(wǎng)絡(deep residual network，ResNet 101)提取局部局部特征，最后通過二者的層間關聯(lián)進一步提高網(wǎng)絡的特征提取能力。

2.1.1 全局特征提取 如圖2-A所示，利用1×1、5×5和7×7的卷積來獲取不同視野的信息，這有助于獲取同一尺度下不同視野的上下文信息，并對其進行初步融合以獲取更為精細化的特征，從而提高網(wǎng)絡捕獲重點特征的能力[21]，融合得到的特征可表述為公式(1)。

Ffirst(T)=ReLU(f(3×3){Con[f(1×1)(T1)，f(3×3)(T2)，f(5×5)(T3)]})。

(1)

式中：Ffirst(T)指不同視野卷積初步融合的結果；Con表示連接；f(1×1)(T1)、f(3×3)(T2)、f(5×5)(T3)則分別表示不同視野下的特征提取結果；ReLU表示修正線性單元。

在獲取精細化特征的基礎之上，本研究引入了注意力的思想，對輸入特征進行批標準化和激活函數(shù)(Sigmoid)激活，在輸入尺寸不發(fā)生變化的情況下增加網(wǎng)絡的寬度，引入更多的非線性特征，進一步增強網(wǎng)絡的上下文表達能力，并在此基礎之上通過點乘的方式對2條分支結果進行加權操作，以獲取最優(yōu)權重組合，提高網(wǎng)絡對于重點區(qū)域的關注度，如公式(2)所示。

Fsecond(T)=Mul{Ffirst(T)，Sigmoid[f(1×1)(T1)]}。

(2)

式中：Fsecond(T)指特征增強的結果；Mul表示相乘。

2.1.2 局部特征提取 如圖2-B所示，局部特征提取主要是通過不斷的卷積對圖像細節(jié)特征進行歸類分析，然而，隨著網(wǎng)絡層數(shù)的增加，單一的連接結構容易導致梯度消失，使其在反向傳播過程中無法進行參數(shù)優(yōu)化，因此，本研究在局部特征提取階段選用現(xiàn)有特征提取表現(xiàn)較好的Resnext101 結構[22]，該模塊通過跳躍連接的方式把輸入跨層連接到下一層，使得網(wǎng)絡的訓練更關注于網(wǎng)絡之間的變化，相比于原來的映射，殘差映射更容易收斂且易于訓練，通過該模塊充分獲取影像的局部特征。

2.1.3 雙支路層間特征關聯(lián)感知 如圖2-C所示。在不斷的下采樣過程中，語義信息不斷增強的同時細節(jié)信息也在不斷丟失，而現(xiàn)有的網(wǎng)絡中不同層次之間往往只有1個池化結構進行連接，層與層之間的特征關聯(lián)較弱，為了增強層與層之間的特征關聯(lián)，本研究建立了一種層間特征關聯(lián)感知模塊，首先對以上輸入進行下采樣操作，為了避免在下采樣過程中由于池化層造成的信息損失，該模塊結構中通過步長為2實現(xiàn)下采樣的目的。在進行下采樣之后，將得出的結果與下一層次中的ResNet 101特征提取結果進行融合，同時二者融合結果則作為下一個模塊的輸入，這種層間關聯(lián)關系可以建立一種更加緊密的層間結構，進一步提高了網(wǎng)絡在不斷下采樣過程中的特征提取能力。

2.2 深度監(jiān)督分類器

為了盡可能地減少尺度差異性的干擾，使網(wǎng)絡中的不同層次特征得到更加充分的訓練，本研究在最終的預測模塊中提出一種深度監(jiān)督分類器。與現(xiàn)有的常用多尺度預測方式不同，該分類器通過在不同層次的網(wǎng)絡中增加輔助分類器作為網(wǎng)絡的分支對主干網(wǎng)絡進行監(jiān)督，與多任務中的分支不同，本研究所提出的深度監(jiān)督是在同一標簽中對不同位置的損失按系數(shù)進行求和，盡可能地獲取不同層次的特征映射并將其應用于最終的預測分類，且該方法僅在原網(wǎng)絡基礎上進行特征輸出，幾乎不會增加額外的計算量和時間(圖3)。

常用的多尺度預測分支分別為預測分支1、預測分支2、預測分支3及預測分支4，在常用的多尺度預測基礎之上新添加2個監(jiān)督分支，分別為監(jiān)督分支1與監(jiān)督分支2。其中，監(jiān)督分支1是由不同尺度下直接進行的上采樣聚合得到的結果；監(jiān)督分支2則是對包括監(jiān)督分支1在內的所有預測結果進行平均加權融合，使其能夠將上采樣過程中的特征映射結合為多層次的集成特征，最后通過特征聚合獲得最終的預測結果。

3 試驗設置

3.1 試驗數(shù)據(jù)集

數(shù)據(jù)測試是驗證神經(jīng)網(wǎng)絡模型的關鍵方法，然而，由于當前研究中并沒有公開用于遙感影像林地信息提取的數(shù)據(jù)集，為驗證本研究方法的有效性，本研究通過目視解譯法建立了一個可用于林地信息提取的數(shù)據(jù)集，該數(shù)據(jù)集的構建過程如圖4所示，數(shù)據(jù)來源為高分辨率航空影像，全部數(shù)據(jù)標注大約花費2個月時間。在數(shù)據(jù)集的建立過程中主要面臨如下幾個困難：(1)遙感影像中具有較多的與林地相似的地物，如植被、耕地、草地等，這使得目視解譯中存在較大困難。(2)由于林地面積不同，于遙感影像中表現(xiàn)尺度差異性較大，既包括大面積森林也包括小面積林盤，最終形成影像和標簽共40張4 000×4 000大小圖像，影像分辨率為1 m，原始影像包含有RGB等3個波段。由于原始圖像尺寸較大，為了便于訓練，本研究將影像裁剪為256×256圖像，同時在裁剪過程中通過隨機裁剪、旋轉、模糊及噪聲等操作進行數(shù)據(jù)增強，這也可以進一步提高數(shù)據(jù)的多樣性，以提高網(wǎng)絡泛化性并減少過擬合的發(fā)生。最終形成可訓練數(shù)據(jù)集包括3個部分，分別為9 048對訓練數(shù)據(jù)、1 296張驗證數(shù)據(jù)、1 460張測試數(shù)據(jù)。

3.2 試驗環(huán)境

3.2.1 參數(shù)設置 遙感影像林地提取試驗平臺為Windows 10系統(tǒng)，網(wǎng)絡模型主要基于PyTorch學習庫進行搭建，Python版本為3.6，試驗所用的硬件配置為：AMD Ryzen 7 5800X 8-Core Processor 3.80 GHz 處理器(CPU)與Nvidia GeForce RTX 3090 24 G GPU。本研究所有試驗完成花費約4個月時間，神經(jīng)網(wǎng)絡內部參數(shù)通過訓練模型迭代獲取，而訓練時還需要人為設置部分超參數(shù)。經(jīng)過反復測試，本研究在訓練過程中參數(shù)設置如表1所示。在訓練過程中，筆者對驗證數(shù)據(jù)的損失值進行實時監(jiān)控，僅當本輪驗證數(shù)據(jù)損失值低于前一輪時才保存模型，以避免過擬合的發(fā)生。此外，在連續(xù)5次迭代之后，若損失值依舊沒有改善，則將學習率變?yōu)樵瓉淼?.8。

表1 試驗中超參數(shù)設置

3.2.2 損失函數(shù) 在深度學習模型中，損失函數(shù)是其中的重要組成部分，其可以計算預測值與真實值的差距，并通過差距來指導模型不斷進行優(yōu)化，然而若正負樣本比例不同，則會導致回傳梯度均衡問題。而遙感影像中林地則具有樣本不平衡特征，普通的損失函數(shù)會導致精度較低。因此，本研究在二元交叉熵函數(shù)[23]基礎之上引入平衡因子，如果如公式(3)所示。此外，本研究根據(jù)深度監(jiān)督分類器預測模塊中的輸出設計建立了新的損失函數(shù)，結果如公式(4)所示。在圖3預測結構中，每一層輸出皆代表不同的特征損失，同樣不同的損失也會對模型優(yōu)化產(chǎn)生不同的效果，為了充分利用這些損失，本研究將不同輸出分支的損失函數(shù)進行融合處理，以最后的綜合表達來實現(xiàn)對網(wǎng)絡每一階段損失值的最大化利用。

(3)

(4)

式中：L為平均損失函數(shù)值；yi={0，1}，表示像素類別的真實值；pi∈(0，1)，表示像素類別的預測概率值；w為平衡因子，設置為0.6，代表輸入像素總數(shù)。Loss代表最終的損失，Pi_lBCE則代表6個分支的不同損失值。

3.3 林地提取精度評價標準

遙感影像地物提取實際是圖像語義分割的一種應用，所得結果通常采用圖像語義分割的評價方法，為定量評價本研究方法并將其與現(xiàn)有網(wǎng)絡模型進行對比，筆者選取5種常用的語義分割標準對本研究方法進行評價，包括交并比(intersection over union，IOU)[公式(5)]、總精度(overall accuracy，OA)[公式(6)]、平衡分數(shù)(F1score)[公式(7)]、Precision(P，準確率)及Recall(R，召回率)[公式(8)]。

(5)

(6)

(7)

(8)

式中：TP(true positive)表示正確提取的林地像元數(shù)目；FP(false positive)表示錯判為林地的非林地像元數(shù)目；TN(true negative)表示正確提取的非林地像元數(shù)目；FN(true negative)表示錯判為非林地的林地像元數(shù)目。

4 試驗結果與分析

4.1 林地提取結果與精度分析

為全面展示本研究方法優(yōu)勢，選擇4種近年來常用的深度學習方法與本研究方法在相同條件下進行對比試驗，包括OCNet[24]、Denseaspp[25]、PSP-Net[26]、UNet[27]。通過定性分析與定量分析對本研究方法進行全面衡量。

4.1.1 定性分析 為了全面呈現(xiàn)本研究方法林地檢測結果，本研究從不同面積、場景密度及復雜度等方面對多種深度學習提取結果進行了可視化展示(圖5)。圖5中第1行與第2行為面積及密度較小的林地，第3行與第4行為復雜度較大林地，第5行為大面積林地。

從圖5中第1行與第2行可以看出，對于面積及密度較小林地，所有方法基本都能夠提取出林地的主體部分。其中，OCNet雖然能夠達到與本研究方法相近的效果，但其對于邊界的處理能力較差，邊界部分存在較多的漏檢與誤檢。Denseaspp、PSP-Net 和UNet雖然可以提取出林地的主體部分，但存在更大范圍的漏檢與誤檢，這也是由于傳統(tǒng)網(wǎng)絡對于影像中林地的復雜特征缺乏足夠的判別能力導致的。隨著林地復雜度增加各種方法均存在不同的精度下降，如圖5中的第3，第4行所示。相比于其他方法，本研究依舊能夠保持較低的漏檢率及誤檢率，這也受益于本研究所提出的雙支路全局局部感知特征提取模塊，其通過2條不同的分支同時獲取影像中林地的全局與局部特征，能夠進行更加充分的特征抽取，對于復雜的背景具有更強的判別能力。圖5中的第5行展示了大面積林地區(qū)域，從圖5可以看出，所有方法都可以提取得到大面積林地的主體部分，然而OCNet存在較多的漏檢，Denseaspp、PSP-Net 和UNet則存在大面積的誤檢情況。綜合圖5中的第1行與第2行的小尺度林地結果，可以看出本研究所提出的深度監(jiān)督分類器可以有效地對不同尺度的特征進行充分聚合，以進一步提升林地提取精度。

4.1.2 定量分析 為進一步驗證方法的有效性使對比結果更加可靠，本研究對以上多種模型進行了定量分析，需要說明的是，所有定量評價結果都是在相同數(shù)據(jù)集及計算機性能的情況下進行的，結果如表2所示。與其他算法相比，本研究方法在提取遙感影像中的建筑物方面具有最佳的性能，IOU值提高1.57～8.89百分比，F(xiàn)1提高0.97～8.68，OA提高0.89～8.98百分點，這種精度的提升是極為可觀的。除此之外，由于準確率和召回率存在相互制約的關系，如何平衡二者以獲得更好的提取結果也是評判模型好壞的重要因素，二者差距也是驗證方法是否有效的標準之一，OCNet、Denseaspp、PSP-Net、UNet方法中準確率與召回率的差值分別為1.73、3.64、5.48、4.01百分點。而本研究方法二者差距僅為0.68百分點，這也進一步驗證了本研究方法的優(yōu)勢。

表2 不同方法的林地提取結果精度對比

4.2 穩(wěn)定性分析

由于深度學習在訓練和測試時具有一定的不確定性，即便在同一條件下2次訓練所得到的模型結果也未必相同，而二者的差距也是方法穩(wěn)定性的重要條件之一。為了驗證方法的穩(wěn)定性，本研究通過利用Dropout函數(shù)在測試時進行參數(shù)的隨機丟棄，并進行了20次獨立的蒙特卡洛試驗，蒙特卡洛試驗是一種隨機抽樣技術，可以以隨機方式測試模型精度，以判斷模型是否穩(wěn)定。對20次獨立試驗進行平均值和標準差計算，結果如圖6所示。20次獨立試驗所獲得的IOU、F1、OA、P和R平均值依舊具有較高的精度，且IOU、F1和OA的標準差分別0.15、0.14和0.05，多次獨立試驗精度間的較小標準差也進一步驗證了本研究方法的穩(wěn)定性。

4.3 消融試驗

為了探討網(wǎng)絡中不同模塊的貢獻，在相同條件下對本研究方法進行詳細的消融試驗，并利用相同的5個標準進行指標評價。本研究方法分為2個主要模塊，即雙支路特征提取結構與深度監(jiān)督分類器。其中每個模塊又包含有不同組件，為了充分驗證各個組件的作用，共進行了4組消融試驗，分別驗證全局特征、局部特征、單一尺度輸出與常用的多尺度輸出，最終結果如表3所示。

4.3.1 雙支路全局局部特征提取 該部分是本研究特征提取的核心部分，包括全局特征提取(圖2-A)、局部特征提取(圖2-B)及雙支路層間特征關聯(lián)感知(圖2-C)。為驗證每個模塊的作用進行了2組試驗。首先，去除本研究的全局特征提取結構，僅利用ResNet 101作為編碼過程中的主干網(wǎng)絡進行模型訓練，從表3可以看出，在去掉全局特征提取之后，各項評價指標皆有明顯的下降，尤其的，IOU、F1和OA分別下降了2.22百分點、1.95百分點和1.57百分點，這也可以進一步證明，本研究的全局特征提取結構對于圖像特征提取是十分重要的。其次，去除本研究的局部特征提取結構，即僅利用全局特征進行特征提取，同樣這會導致網(wǎng)絡對于細節(jié)信息的提取能力不足，從表3可以看出精度下降得十分明顯，IOU、F1和OA分別下降1.53百分點、1.69百分點和2.48百分點。綜上所述，全局特征包含更多的語義信息，局部特征包含有更多的細節(jié)信息，通過雙支路結構可以將二者有效結合，進一步提高網(wǎng)絡的特征提取能力。

表3 本研究方法中不同模塊的消融試驗

4.3.2 深度監(jiān)督分類器 為了驗證本研究所提出深度監(jiān)督分類器的作用，筆者對這部分進行了2組消融試驗，分別是僅利用單一尺度作為最后的輸出和金字塔結構中的4層尺度進行聚合輸出。首先是單一尺度的輸出，即僅利用最后1層作為預測輸出，單層尺度的輸出無法充分利用不同層次的映射，在最后的預測階段特征融合能力明顯不足，這也是所有試驗中表現(xiàn)最差的1組，其IOU、F1和OA分別下降2.64百分點、4.81百分點和4.00百分點，在此基礎之上利用現(xiàn)有神經(jīng)網(wǎng)絡中常用的多尺度數(shù)據(jù)對本研究方法進行試驗，盡管相對于單一尺度輸出具有明顯的效果提升，IOU、F1和OA分別提高2.11百分點、3.62百分點和3.65百分點，這證明了多尺度的輸出是完全必要的。然而，作為網(wǎng)絡結構的最終判別器，多尺度輸出依舊無法使網(wǎng)絡得到最充分的訓練，而本研究通過多分支結構建立的深度監(jiān)督分類器可以進一步強化最終的分類效果，其提升也是極為明顯的，相對于多尺度輸出IOU、F1和OA分別提高1.71百分點、0.89百分點和0.96百分點，且該分類器僅在原網(wǎng)絡基礎上進行特征輸出，幾乎不會增加額外的計算量和時間。

5 結論

近年來，隨著深度學習的發(fā)展，CNN作為一種有效的方法被用于遙感影像中的地物信息提取。本研究提出一種基于雙支路全局局部感知網(wǎng)絡的高分影像林地信息提取方法，首先，根據(jù)林地于影像中的復雜背景特征，建立了雙支路特征提取結構，利用2條特征提取支路分別獲取影像中的全局特征與局部特征，并將二者有效結合，進一步提升網(wǎng)絡的特征提取能力。其次，考慮到林地于影像中明顯的多尺度特征，建立深度監(jiān)督分類器，通過多個分支對主干預測實現(xiàn)監(jiān)督，在不增加計算量的情況下有效提升預測精度。本試驗結果表明，與現(xiàn)有優(yōu)秀的神經(jīng)網(wǎng)絡方法相比，本研究方法的IOU值提高1.57～8.89百分點，這種提升是極具挑戰(zhàn)性的。此外，通過20組獨立的蒙特卡洛試驗深入討論了方法的穩(wěn)定性，同時通過消融試驗充分證明了方法中各個模塊的貢獻，以進一步驗證方法的有效性。

然而，對于實際的應用林地信息提取需要更高的精度，同時，進一步研究網(wǎng)絡模型對不同數(shù)據(jù)源、不同區(qū)域的可推廣性，使林地提取結果能夠應用于實際的林業(yè)管理中是我們將來研究所重點關注的問題。