改進(jìn)U-Net的小宗作物遙感圖像分割研究

陳燕生 趙麗娜 吳亞娟 田傳召 朱廣林

（1、西華師范大學(xué) 計(jì)算機(jī)學(xué)院，四川 南充637000 2、中國(guó)科學(xué)院高能物理研究所 多學(xué)科研究中心，北京100049 3、北華航天工業(yè)學(xué)院 遙感信息工程學(xué)院，河北 廊坊065000）

隨著社會(huì)的發(fā)展，人們的生活水平逐漸提高，飲食結(jié)構(gòu)的組合越來(lái)越豐富，對(duì)小宗作物的需求日益增長(zhǎng)，小宗作物在國(guó)內(nèi)外的市場(chǎng)份額也逐年增大。另外，小宗作物在期貨市場(chǎng)的經(jīng)濟(jì)、貿(mào)易價(jià)值也不容小覷。因此開(kāi)展小宗作物面積估算及產(chǎn)量估測(cè)關(guān)系到國(guó)計(jì)民生的重要研究課題，具有重要的戰(zhàn)略意義。芝麻作為一種典型的小宗作物，不但可以作為食用油料作物提取食用油、以輔料的形式出現(xiàn)在各類(lèi)食品中，同時(shí)也是期貨市場(chǎng)中的重要交易對(duì)象。中國(guó)芝麻種植區(qū)域主要在黃河及長(zhǎng)江中下游各省，其中河南產(chǎn)量最多，約占全國(guó)的30%左右[1]。在芝麻種植面積較大的地區(qū)，準(zhǔn)確地計(jì)算芝麻種植的面積，對(duì)該地區(qū)的農(nóng)業(yè)統(tǒng)籌、經(jīng)濟(jì)發(fā)展有著重要的意義，在后續(xù)的芝麻估產(chǎn)也有著鋪墊作用。

傳統(tǒng)的農(nóng)業(yè)方法中，對(duì)大面積的農(nóng)作物進(jìn)行及時(shí)和準(zhǔn)確的空間分布的測(cè)算，通常是通過(guò)大規(guī)模的實(shí)地調(diào)查獲得的。雖然實(shí)地調(diào)查的準(zhǔn)確度高，但成本也相對(duì)很大，且費(fèi)時(shí)費(fèi)力。近代遙感技術(shù)的出現(xiàn)，促使研究人員嘗試將遙感技術(shù)用于農(nóng)業(yè)中，即農(nóng)業(yè)遙感[2]。隨著遙感技術(shù)的發(fā)展，衛(wèi)星能提供分辨率越來(lái)越高的大面積遙感圖像，有研究人員嘗試使用逐像素分類(lèi)的方法獲取遙感圖像中作物大面積的空間分布信息[3]。而提高逐像素分類(lèi)精度的關(guān)鍵，是從遙感圖像中獲取更有效的像素特征[4]。

Mitra, Pabitra 等一開(kāi)始嘗試使用機(jī)器學(xué)習(xí)技術(shù)支持向量機(jī)（Support Vector Machine），來(lái)對(duì)遙感圖像實(shí)現(xiàn)逐像素分類(lèi)[5]。但由于SVM是淺層學(xué)習(xí)算法，難以提取遙感圖像中的高級(jí)語(yǔ)義特征，且SVM分割較大的遙感圖像時(shí)計(jì)算量大，所需時(shí)間長(zhǎng)。隨著計(jì)算機(jī)硬件GPU 的高速發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)（Convolution Neural Network）越來(lái)越多地用在了圖像分類(lèi)和分割上。與SVM相比，CNN 具有提取圖像高級(jí)語(yǔ)義特征的能力。標(biāo)準(zhǔn)CNN 以“圖像- 標(biāo)簽”的方式工作，通過(guò)將圖像和對(duì)應(yīng)的標(biāo)簽放入網(wǎng)絡(luò)中訓(xùn)練，得出具有分辨圖像類(lèi)別的模型。AlexNet[6]、GoogleNet[7]、VGG[8]網(wǎng)絡(luò)和ResNet[9]是典型的CNN 網(wǎng)絡(luò)。2015 年，Jonathan Long 等提出了一個(gè)名為“全卷積網(wǎng)絡(luò)（Fully Convolution Nnetwork）”的像素分類(lèi)模型[10]，F(xiàn)CN 利用卷積層提取特征，并使用反卷積層解碼特征圖將其還原為輸入圖像的大小，以實(shí)現(xiàn)圖像的逐像素分類(lèi)。在FCN 推出之后，又有一系列用于圖像像素分類(lèi)的卷積網(wǎng)絡(luò)結(jié)構(gòu)被設(shè)計(jì)出來(lái)，例如SegNet[11]、DeepLab[12]、U-Net[13]和RefineNet[14]。這些網(wǎng)絡(luò)結(jié)構(gòu)上都是由編碼層和解碼層兩個(gè)部分組成，SegNet 和U-Net 的結(jié)構(gòu)清晰且易于理解，DeepLab 使用“空洞卷積”來(lái)處理更詳細(xì)的圖像，RefineNet 采用稱為多路徑優(yōu)化的結(jié)構(gòu)，生成高分辨率的語(yǔ)義分割圖像。

由于小宗作物種植區(qū)域小且較為零散，同時(shí)原始數(shù)據(jù)較少，這些對(duì)其面積的高精度估測(cè)提出嚴(yán)峻挑戰(zhàn)。針對(duì)上述問(wèn)題，本文采用針對(duì)小數(shù)據(jù)集上仍表現(xiàn)優(yōu)異的U-Net 網(wǎng)絡(luò)，并在U-Net的基礎(chǔ)上進(jìn)行改進(jìn)，來(lái)實(shí)現(xiàn)遙感芝麻的圖像分割?；谶b感圖像不包含三維空間結(jié)構(gòu)信息，本文對(duì)傳統(tǒng)U-Net 網(wǎng)絡(luò)進(jìn)行了縮減工作以降低網(wǎng)絡(luò)的訓(xùn)練和預(yù)測(cè)花費(fèi)的時(shí)間，在此基礎(chǔ)上通過(guò)添加額外的反卷積層以融合圖像淺層和深層的特征，并且引入了殘差塊取代一部分的卷積層，緩解網(wǎng)絡(luò)多次迭代后的梯度消失問(wèn)題，進(jìn)一步提高模型的準(zhǔn)確率。最終得出結(jié)果顯示，本文改進(jìn)的mU-ResPlus 以87.4%的平均準(zhǔn)確率實(shí)現(xiàn)了遙感圖像小宗作物的更高精度、邊緣更精細(xì)化的圖像分割。

本文利用高分二號(hào)衛(wèi)星獲取的遙感影像數(shù)據(jù)，以河南省上蔡縣為研究區(qū)，經(jīng)實(shí)地調(diào)研充分掌握研究區(qū)域地物分布真實(shí)樣本基礎(chǔ)上，采用深度學(xué)習(xí)的方法，綜合利用地物光譜、紋理等特征，對(duì)芝麻進(jìn)行圖像分割研究，為研究小宗作物和作物估產(chǎn)等提供數(shù)據(jù)和參考。

1 研究區(qū)和數(shù)據(jù)處理

1.1 研究區(qū)概況

研究的區(qū)域位于河南省駐馬店市上蔡縣（東經(jīng)114°21′-114°38′和北緯33°12′－33°24′），該地區(qū)以平原為主，用地面積中農(nóng)田占據(jù)了大多數(shù)，農(nóng)作物種類(lèi)繁多，主要有大豆、芝麻、玉米、花生等。上蔡縣的衛(wèi)星圖像如圖1 所示。

河南是中國(guó)芝麻的主要產(chǎn)地之一，約占全國(guó)的30%左右。在研究區(qū)域中，芝麻的種植面積占了超過(guò)30%的總農(nóng)業(yè)用地，因此能及時(shí)準(zhǔn)確地預(yù)測(cè)芝麻種植面積，對(duì)當(dāng)?shù)剞r(nóng)業(yè)的發(fā)展和精準(zhǔn)農(nóng)業(yè)的研究有重要的意義。

1.2 遙感圖像

研究的區(qū)域是在圖1 右側(cè)方框中的大面積農(nóng)作物種植區(qū)域，使用分辨率分別為1m、4m 的高分二號(hào)2019 年8 月16 號(hào)拍攝的覆蓋研究區(qū)域的全色圖像和多光譜圖像。

1.3 數(shù)據(jù)預(yù)處理

GF-2 獲取的遙感圖像包含了全色和多光譜圖像，為了更好的利用圖像的信息，在開(kāi)展圖像分割之前需要對(duì)圖像進(jìn)行預(yù)處理。首先對(duì)遙感圖像進(jìn)行正射校正和輻射校正，然后使用FLAASH 模型進(jìn)行大氣校正，以減弱云層對(duì)衛(wèi)星圖像成像的干擾。最后，將全色影像和多光譜影像進(jìn)行融合，融合后獲得的圖像空間分辨率為1 m，融合圖像由四個(gè)波段組成，即藍(lán)色、綠色、紅色和近紅外波段。

圖1 河南省駐馬店市上蔡縣衛(wèi)星圖像

2 網(wǎng)絡(luò)結(jié)構(gòu)

2.1 U-Net 結(jié)構(gòu)

本文所使用并改進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu)是U-Net。U-Net 作為一種結(jié)構(gòu)清晰的深度卷積神經(jīng)網(wǎng)絡(luò)，一開(kāi)始被用于生物、醫(yī)療圖像的語(yǔ)義分割上。后來(lái)有研究人員嘗試用于遙感圖像的圖像分割，且分割的準(zhǔn)確度較高。Chen, Yan 等使用與U-Net 結(jié)構(gòu)相似的卷積網(wǎng)絡(luò)在遙感圖像的冬小麥空間分割上取得了很好的結(jié)果[15]。

經(jīng)典的U-Net 網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示，它由左邊的四層編碼層、中間層和右邊的四層解碼層組成。其中編碼層是典型的卷積網(wǎng)絡(luò)結(jié)構(gòu)，每層由兩個(gè)重復(fù)的卷積核為3×3 的卷積層和一個(gè)池化層組成，為使圖像在卷積的過(guò)程中保持大小不變，一般會(huì)讓padding 為1。網(wǎng)絡(luò)使用的激活函數(shù)為非線性激活函數(shù)ReLU，池化層是步長(zhǎng)為2 的2×2 最大池化操作。每經(jīng)過(guò)一個(gè)下采樣的步驟，特征通道數(shù)量都加倍。在解碼過(guò)程中，每一層都使用2×2 的卷積核進(jìn)行卷積運(yùn)算（反卷積）,用于減少一半的特征通道數(shù)量。然后將反卷積后的輸出和對(duì)應(yīng)的編碼層進(jìn)行疊加作為下一層的輸入，再由兩個(gè)重復(fù)的卷積核為3×3 的卷積層進(jìn)行卷積操作，且均使用ReLU 激活函數(shù)。在經(jīng)過(guò)了四個(gè)編碼層和四個(gè)解碼層的處理后，把最后一層輸出到1×1 卷積核、激活函數(shù)為softmax 或sigmoid 的卷積層進(jìn)行卷積運(yùn)算，將特征向量映射到網(wǎng)絡(luò)的輸出層完成圖像的逐像素分類(lèi)。根據(jù)分類(lèi)數(shù)量（多分類(lèi)或二分類(lèi)）選擇使用softmax 或sigmoid 作為激活函數(shù)。

2.2 U-Net 的改進(jìn)

在實(shí)驗(yàn)中，U-Net 網(wǎng)絡(luò)在本文的數(shù)據(jù)集上表現(xiàn)并不是很好。由于本文研究的目標(biāo)是形狀和顏色較為一致的農(nóng)田，在圖像的訓(xùn)練上網(wǎng)絡(luò)不需要學(xué)習(xí)過(guò)于深層和抽象的三維空間結(jié)構(gòu)，而是更需要注重于一些形狀和顏色等較為淺層的特征。

圖2 U-Net 網(wǎng)絡(luò)結(jié)構(gòu)

基于上述因素，在嘗試減小U-Net 的網(wǎng)絡(luò)層數(shù)后，觀察網(wǎng)絡(luò)在數(shù)據(jù)集上的表現(xiàn)發(fā)現(xiàn)，訓(xùn)練出來(lái)的模型依然能對(duì)圖像進(jìn)行預(yù)測(cè)。在將U-Net 的第四層編碼層和第六層解碼層去除并調(diào)整相應(yīng)參數(shù)后，發(fā)現(xiàn)減小網(wǎng)絡(luò)層數(shù)后的U-Net（后續(xù)簡(jiǎn)稱為mU-Net）在數(shù)據(jù)集上的表現(xiàn)反而比原始的U-Net 訓(xùn)練出來(lái)的模型準(zhǔn)確率上有略微的提高，這也驗(yàn)證了之前提到的在農(nóng)作物空間分布這一任務(wù)上較淺的網(wǎng)絡(luò)更加適合這一猜想。原始U-Net 使用的損失函數(shù)為交叉熵（Cross Entropy Loss）。交叉熵是分類(lèi)問(wèn)題常用的損失函數(shù)，它描述了兩個(gè)概率分布之間的距離，當(dāng)交叉熵越小，說(shuō)明二者之間越接近。在二分類(lèi)問(wèn)題上，一般使用二進(jìn)制交叉熵計(jì)算損失。交叉熵的數(shù)學(xué)計(jì)算公式如下：

其中pn為圖像像素預(yù)測(cè)的概率矩陣，rn為真實(shí)的概率矩陣，ε 為平滑系數(shù)，是一個(gè)極小的數(shù)，主要是預(yù)防極端情況下出現(xiàn)分母為零。

BCE + Dice loss 則是在Dice loss 的基礎(chǔ)上添加二分類(lèi)交叉熵?fù)p失函數(shù)，在保證數(shù)據(jù)不均衡的情況能學(xué)到有效的特征前提下，防止梯度變化劇烈導(dǎo)致的訓(xùn)練困難。在實(shí)驗(yàn)中發(fā)現(xiàn)，BCE+ Dice loss 雖然在損失值上比單獨(dú)使用交叉熵要高，但取得的預(yù)測(cè)效果明顯優(yōu)于交叉熵。基于此原因，在后續(xù)研究中把損失函數(shù)更改為BCE + Dice loss。

減少網(wǎng)絡(luò)層數(shù)和更換損失函數(shù)后，模型在數(shù)據(jù)集上取得了較好的表現(xiàn)，但仍然存在邊界不清晰、誤判較多的情況。2018 年周縱葦?shù)忍岢隽薝-Net++[17]，周在對(duì)U-Net 的改進(jìn)中充分融合網(wǎng)絡(luò)的淺層和深層特征，在模型的訓(xùn)練上取得了更好的效果。

圖3 本文算法的網(wǎng)絡(luò)結(jié)構(gòu)

圖4 準(zhǔn)確率與loss 值

參考U-Net++的結(jié)構(gòu)后，改進(jìn)了本文的網(wǎng)絡(luò)，在中間連接層部分添加了三次反卷積，在第三個(gè)解碼層添加了兩次反卷積，并通過(guò)concate 操作將同一層的反卷積輸出和編碼層疊加到一起，充分融合圖片淺層和深層的特征。由于網(wǎng)絡(luò)是在mU-Net的基礎(chǔ)上增加了多個(gè)反卷積層，且將其中的部分卷積層替換成ResBlock 模塊，基于此將它簡(jiǎn)稱為mU-ResPlus。網(wǎng)絡(luò)具體的結(jié)構(gòu)如圖3 所示。

在圖3 的網(wǎng)絡(luò)結(jié)構(gòu)中，把網(wǎng)絡(luò)底部的中間層多次反卷積，并與相應(yīng)的卷積層進(jìn)行一個(gè)concatenate 操作，使網(wǎng)絡(luò)能將淺層特征和深層特征融合，達(dá)到更好的圖像分割效果。將部分卷積層替換為殘差模塊（Resblock），以防止模型在訓(xùn)練中的過(guò)擬合，使得網(wǎng)絡(luò)能訓(xùn)練的更加充分。

3 實(shí)驗(yàn)流程

3.1 實(shí)驗(yàn)裝置

實(shí)驗(yàn)是在Linux Ubuntu 16.04 操作系統(tǒng)上使用Python3.6和TensorFlow框架來(lái)實(shí)現(xiàn)的，實(shí)驗(yàn)設(shè)備配備了12GB 的NVIDIA Titan XP 顯卡，在進(jìn)行深度學(xué)習(xí)訓(xùn)練時(shí)能大大減少訓(xùn)練花費(fèi)的時(shí)間。

3.2 模型的訓(xùn)練

與傳統(tǒng)的計(jì)算機(jī)視覺(jué)圖像（例如ImageNet 上的圖像）相比，遙感圖像通常具有更大的覆蓋范圍和尺寸，不能直接放入網(wǎng)絡(luò)中進(jìn)行訓(xùn)練。在訓(xùn)練之前，將標(biāo)記好的遙感圖像通過(guò)滑動(dòng)窗口的方式進(jìn)行重疊采樣，生成1500 張256×256 大小的圖像和對(duì)應(yīng)的GroundTruth?；瑒?dòng)窗口可以幫助擴(kuò)展數(shù)據(jù)集并避免過(guò)擬合。同時(shí)，本文還使用了四種形式的數(shù)據(jù)增強(qiáng)（旋轉(zhuǎn)90°、180°、270°和翻轉(zhuǎn)）進(jìn)一步將數(shù)據(jù)集擴(kuò)大到2000 張。然后，將數(shù)據(jù)集以7：2：1 的比例分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，并以0.00001 作為初始學(xué)習(xí)率，且設(shè)置學(xué)習(xí)率隨迭代次數(shù)衰減，防止過(guò)擬合。將訓(xùn)練集以圖像-標(biāo)簽的形式輸入到網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，最后通過(guò)sigmoid 層進(jìn)行像素分類(lèi)。

在訓(xùn)練過(guò)程中，將訓(xùn)練集分批送入網(wǎng)絡(luò)，每批包含4 張圖像，總共迭代了50 次，圖4(a)、(b)分別是訓(xùn)練過(guò)程中準(zhǔn)確率和損失值的變化情況。

由損失值和準(zhǔn)確率的變化可以看出，模型在迭代次數(shù)達(dá)到40 次左右時(shí)已趨于穩(wěn)定，驗(yàn)證集的損失值和準(zhǔn)確率變化的幅度已經(jīng)很小了。

3.3 模型的測(cè)試

完成模型的訓(xùn)練后，可以將測(cè)試集中的數(shù)據(jù)用來(lái)進(jìn)行模型的測(cè)試。模型的測(cè)試與模型的訓(xùn)練過(guò)程相似，也需要將測(cè)試的遙感圖像分割為256×256大小的圖片，不同的是不需要打亂。將分割后的圖片按照順序放入模型中進(jìn)行預(yù)測(cè)，將得出來(lái)的預(yù)測(cè)結(jié)果再按照順序還原成一張大的遙感圖像，這樣就得到了一張遙感圖像作物空間分布的預(yù)測(cè)結(jié)果。

4 實(shí)驗(yàn)結(jié)果與比較

參數(shù)對(duì)比:

本 文 分 別 對(duì) 原 始 U-Net、mU-Net、mU-NetPlus 以 及mU-ResPlus 訓(xùn)練了模型，來(lái)比較和觀察對(duì)網(wǎng)絡(luò)的改動(dòng)帶來(lái)的影響。網(wǎng)絡(luò)的參數(shù)量和準(zhǔn)確率如表1 所示。

表1 參數(shù)量和準(zhǔn)確度的對(duì)比

從表1 可以看出，在將U-Net 的網(wǎng)絡(luò)層數(shù)減少后，模型的參數(shù)數(shù)量減少了很多。由于U-Net 網(wǎng)絡(luò)的濾波器數(shù)量是逐層增加的，因此在刪去了第四層編碼層和解碼層后參數(shù)量有了較大幅度的減少，但在參數(shù)量減少的同時(shí)，準(zhǔn)確率卻沒(méi)有下降，這也驗(yàn)證了遙感圖像作物空間分布的提取這一任務(wù)不需要過(guò)深的網(wǎng)絡(luò)深度。在添加了多個(gè)反卷積操作后，網(wǎng)絡(luò)的參數(shù)數(shù)量變化不大，在準(zhǔn)確度上卻有了較大的提升，基于此可以看出疊加多個(gè)反卷積這一操作是有效的。之后將部分的卷積層替換為殘差塊后，網(wǎng)絡(luò)參數(shù)數(shù)量雖然有增加，但因?yàn)闅埐顗K跳連的作用減小了訓(xùn)練過(guò)程中的過(guò)擬合，網(wǎng)絡(luò)的訓(xùn)練可以迭代更多的次數(shù)，取得更高的準(zhǔn)確率。從以上的數(shù)據(jù)可以看出，本文的改動(dòng)減小了參數(shù)量，使得網(wǎng)絡(luò)的訓(xùn)練和預(yù)測(cè)更加快速，且準(zhǔn)確率在原U-Net的基礎(chǔ)上有明顯的提高。Kappa 系數(shù)是衡量一致性的參數(shù)，改進(jìn)后的模型kappa 系數(shù)由最初的0.605 提高到了0.747。

5 總結(jié)與分析

本文針對(duì)小宗經(jīng)濟(jì)作物高精度面積估測(cè)的實(shí)際難題，基于U-Net 網(wǎng)絡(luò)構(gòu)建改進(jìn)型的mU-ResPlus 網(wǎng)絡(luò)，在高分辨率的小宗作物遙感影像分割任務(wù)中能取得很好的逐像素分類(lèi)結(jié)果，在準(zhǔn)確度上高于原U-Net，且網(wǎng)絡(luò)的參數(shù)比U-Net 小很多，減少了大量的模型訓(xùn)練時(shí)間，最終獲得小宗經(jīng)濟(jì)作物的高精度、高效率面積估測(cè)方法。對(duì)比訓(xùn)練的各個(gè)模型的分類(lèi)結(jié)果，可以看出本文在U-Net 上的改進(jìn)在遙感圖像小宗作物空間分布提取這一任務(wù)上取得了很好的效果，在參數(shù)量、準(zhǔn)確率以及預(yù)測(cè)結(jié)果的圖片質(zhì)量上都有較大的提升。與傳統(tǒng)的機(jī)器學(xué)習(xí)方法相比，深度卷積網(wǎng)絡(luò)可以獲得更好的作物空間分類(lèi)結(jié)果，尤其是涉及到具有高空間分辨率的遙感圖像時(shí)。同時(shí)，U-Net 的使用，解決了傳統(tǒng)機(jī)器學(xué)習(xí)方法訓(xùn)練時(shí)間長(zhǎng)、訓(xùn)練效率低的問(wèn)題，極大地縮短了訓(xùn)練、預(yù)測(cè)所需要的時(shí)間。綜上，本文的研究在遙感圖像小宗作物分割這一任務(wù)上以87.4%的平均準(zhǔn)確率取得了成功，在小宗作物的圖像分割研究上具有較高的應(yīng)用價(jià)值。本文的研究仍存在一些需要改進(jìn)的地方。在GroundTruth 制作部分，由于存在不規(guī)則的土地，導(dǎo)致一些標(biāo)簽畫(huà)的不夠精細(xì)，且存在少量漏標(biāo)的目標(biāo)區(qū)域，雖然在制作數(shù)據(jù)集時(shí)通過(guò)篩除不含GroundTruth的標(biāo)簽圖片來(lái)減小漏標(biāo)的影響，但仍然會(huì)對(duì)訓(xùn)練的準(zhǔn)確度有所不利；遙感圖像的近紅外光譜沒(méi)有利用到，通過(guò)計(jì)算芝麻對(duì)應(yīng)的歸一化植被指數(shù)（NDVI）并將NDVI 作為參數(shù)融入網(wǎng)絡(luò)當(dāng)中，應(yīng)該能取得對(duì)芝麻分割的更優(yōu)的結(jié)果。后續(xù)的工作將會(huì)利用本文得到的分割結(jié)果，對(duì)小宗作物的產(chǎn)量估計(jì)這一任務(wù)提供數(shù)據(jù)的支持。