SAT-CNN：基于卷積神經(jīng)網(wǎng)絡(luò)的遙感圖像分類算法

張德園，常云翔，張利國(guó)，石祥濱

1(沈陽(yáng)航空航天大學(xué) 計(jì)算機(jī)學(xué)院，沈陽(yáng) 110136) 2(遼寧省通用航空研究院 人因工程研究室，沈陽(yáng) 110136) E-mail ：dyzhang@sau.edu.cn

1 引 言

遙感圖像分類是根據(jù)衛(wèi)星等遙感設(shè)備拍攝到的圖像來(lái)識(shí)別地面目標(biāo)，常用于監(jiān)測(cè)地球的地表狀況.遙感圖像受到傳感器類型、波長(zhǎng)、拍攝區(qū)域等因素的影響，使得采集到的圖像空間分辨率較低、圖像細(xì)節(jié)較模糊，因此遙感圖像分類問(wèn)題具有很大的挑戰(zhàn)性[1].鑒于遙感圖像標(biāo)注樣本數(shù)量較少，傳統(tǒng)的遙感圖像分類方法主要研究適合遙感圖像的特征提取算法[2-4]，以及小樣本分類算法[5].為了適應(yīng)不同應(yīng)用的特征普適性，人們提出了一些方法來(lái)獲取更加靈活和泛化能力更強(qiáng)的特征，比如：稀疏編碼[6]、fisher特征[7]等.

近年來(lái)深度神經(jīng)網(wǎng)絡(luò)由于其優(yōu)異的性能在計(jì)算機(jī)視覺的各個(gè)領(lǐng)域得到廣泛的研究[8，9].其主要的成功在于能夠通過(guò)端到端的方式從大量標(biāo)注的訓(xùn)練數(shù)據(jù)中學(xué)習(xí)到具有極強(qiáng)表達(dá)能力和泛化能力的特征.深度神經(jīng)網(wǎng)絡(luò)在遙感圖像領(lǐng)域的應(yīng)用正在引起研究者們的關(guān)注[10].

然而在遙感圖像分類任務(wù)上，采用遙感圖像數(shù)據(jù)集訓(xùn)練端到端神經(jīng)網(wǎng)絡(luò)尚未得到深入的研究.主要原因在于深度神經(jīng)網(wǎng)絡(luò)需要大量的訓(xùn)練數(shù)據(jù)，而遙感圖像數(shù)據(jù)集中數(shù)據(jù)量較少，無(wú)法滿足這種龐大的數(shù)據(jù)量需求[11].大規(guī)模的高分辨率遙感圖像數(shù)據(jù)集直到2015年才出現(xiàn)，Basu[12]通過(guò)對(duì)圖像提取150種不同類型的特征，采用DeepSAT深度神經(jīng)網(wǎng)絡(luò)框架分類取得了較優(yōu)的性能，然而采用端到端的神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型是否適合遙感圖像分類仍然未得到深入的研究.

本文提出了SAT-CNN，一個(gè)用于遙感圖像分類任務(wù)的端到端的深度神經(jīng)網(wǎng)絡(luò)框架.該框架有四個(gè)構(gòu)件塊構(gòu)成，其中兩個(gè)構(gòu)件塊用于提取遙感圖像局部區(qū)域的底層特征，其他兩個(gè)構(gòu)件塊用于提取遙感圖像局部區(qū)域的空間位置關(guān)系.采用三種不同網(wǎng)絡(luò)配置進(jìn)行訓(xùn)練，實(shí)驗(yàn)結(jié)果表明SAT-CNN能夠提取適合遙感圖像分類的圖像特征.對(duì)SAT-CNN的特征遷移性以及受圖像通道的影響進(jìn)行了詳細(xì)的分析，驗(yàn)證了SAT-CNN框架得到特征的泛化性和魯棒性.

2 相關(guān)工作

遙感圖像分類任務(wù)過(guò)去的工作主要集中于設(shè)計(jì)復(fù)合濾波器，研究提取具有良好表達(dá)能力的特征來(lái)描述圖像.Camps-Valls等人[13]通過(guò)對(duì)同一區(qū)域的光譜和空間特征進(jìn)行加權(quán)求和，設(shè)計(jì)了一個(gè)復(fù)合的濾波器.文獻(xiàn)[14]中提出一種基于使用貝葉斯架構(gòu)(bayes framework)的目標(biāo)檢測(cè)方法并使用Latent Dirichlet Allocation對(duì)目標(biāo)進(jìn)行后續(xù)的聚類.這種方法對(duì)檢測(cè)高度抽象的目標(biāo)群體(比如，停車場(chǎng))有較好的效果.

過(guò)去幾年，計(jì)算機(jī)視覺領(lǐng)域發(fā)生巨大變革并推進(jìn)到采取一種快速的、可擴(kuò)展的、端到端的學(xué)習(xí)架構(gòu)：卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN).基于深度卷積神經(jīng)網(wǎng)絡(luò)的方法在分類、定位、語(yǔ)義分割和動(dòng)作識(shí)別等任務(wù)上比其他方法得到遠(yuǎn)超出傳統(tǒng)方法的精度.在大規(guī)模識(shí)別任務(wù)中學(xué)習(xí)到的卷積神經(jīng)網(wǎng)絡(luò)特征已經(jīng)成功遷移到了不同的視覺任務(wù)上，比如目標(biāo)檢測(cè)、語(yǔ)義分割和動(dòng)作檢測(cè).雖然深度學(xué)習(xí)在計(jì)算機(jī)視覺應(yīng)領(lǐng)域的所有方法中精度最高，但在遙感圖像1分類任務(wù)上研究起步較晚，尚未得到充分的研究.文獻(xiàn)[14]中介紹了一種深度學(xué)習(xí)算法，結(jié)合空間和光譜信息對(duì)高分辨率圖像(VHR)進(jìn)行有監(jiān)督分類.Minh[15]等人研究了深度網(wǎng)絡(luò)對(duì)航拍圖像分類中類別標(biāo)簽噪聲的魯棒性.近幾年，Romero[16]提出了一種深度卷積分層的架構(gòu)，在AVIRS Indiana′s Indian數(shù)據(jù)集上實(shí)驗(yàn)和測(cè)試分類的精度.Tokarczyk[17]中改進(jìn)了特征提取技術(shù)和分類器提出了一種改進(jìn)的多特征學(xué)習(xí)策略.由于訓(xùn)練數(shù)據(jù)受到明顯的限制，他們的方法相比于隨機(jī)森林沒有過(guò)多的提升.文獻(xiàn)[12]中提出了一種基于深度網(wǎng)絡(luò)的遙感圖像的分類架構(gòu)DeepSat，并構(gòu)建了大規(guī)模高分辨率的遙感圖像數(shù)據(jù)集SAT-4和SAT-6.DeepSat方法從圖像中提取特征、進(jìn)行歸一化，然后采用深度置信網(wǎng)絡(luò)對(duì)這些歸一化后的特征進(jìn)行分類.當(dāng)有足夠多的訓(xùn)練數(shù)據(jù)時(shí)，DeepSat能夠得到一個(gè)很高的分類精度.在大量標(biāo)注訓(xùn)練樣本的情況下，采用端到端的神經(jīng)網(wǎng)絡(luò)是否能夠進(jìn)行遙感圖像特征提取是一個(gè)尚未充分研究的問(wèn)題.本文我們采用端到端的方式直接使用深度卷積神經(jīng)網(wǎng)絡(luò)在未經(jīng)預(yù)處理的遙感圖像數(shù)據(jù)上學(xué)習(xí)和分類，分析深度學(xué)習(xí)在遙感圖像分類任務(wù)上的性能.

3 卷積神經(jīng)網(wǎng)絡(luò)介紹

近年來(lái)卷積神經(jīng)網(wǎng)絡(luò)在圖像分類任務(wù)上大幅提升傳統(tǒng)方法的性能.卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展主要得益于海量數(shù)據(jù)以及多種隱藏層神經(jīng)元的提出，主要的隱藏層神經(jīng)元操作描述如下：

1)卷積操作conv(convolutional)：卷積操作使用滑動(dòng)窗口分割原始圖像，在每個(gè)滑窗內(nèi)使用 相同的參數(shù)進(jìn)行線性計(jì)算得到輸出圖像.在一張圖像上使用一個(gè)卷積核(kernel)的進(jìn)行卷積運(yùn)算的計(jì)算如公式(1)所示：

(1)

2)批規(guī)范化操作bnorm(batch normalization)[18]：批規(guī)范化操作通過(guò)對(duì)神經(jīng)網(wǎng)絡(luò)隱藏層的輸出進(jìn)行歸一化處理防止反向傳播過(guò)程中的梯度彌散，加速神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時(shí)的收斂速度.其計(jì)算如公式(2)所示：

(2)

3)修正線性操作ReLU(rectified linear unit)：修正線性操作是網(wǎng)絡(luò)中使用到的激活函數(shù)，其計(jì)算如公式(3)所示：

yh，w，c=max{0，xh，w，c}

(3)

其中，x∈RH×W×C為輸入圖像；y∈RH×W×C為輸出圖像.

4)最大池化mp(maxpooling)：最大池化操作采用滑動(dòng)窗口分割圖像，在每個(gè)滑窗內(nèi)取最大值作為輸出，其計(jì)算如公式(4)所示：

(4)

其中，x∈RH×W×C為輸入圖像；y∈RH″×W″×C為輸出圖像；f∈RH′×W′×C為滑窗大小，窗口每次滑動(dòng)一個(gè)窗口大小的步長(zhǎng).

5)全連接操作fc(fully connected)：全連接操作對(duì)輸入圖像的所有數(shù)據(jù)進(jìn)行加權(quán)求和的線性運(yùn)算，可以通過(guò)卷積操作的方式來(lái)實(shí)現(xiàn).公式(1)中窗口大小f∈RW′×H′×C修改為f∈RW×H×C即可將卷積操作變?yōu)槿B接操作.

4 SAT-CNN框架

4.1 SAT-CNN網(wǎng)絡(luò)設(shè)計(jì)

本文針對(duì)遙感圖像數(shù)據(jù)集的特點(diǎn)提出了用于遙感圖像分類的SAT-CNN卷積神經(jīng)網(wǎng)絡(luò)框架，主要考慮了兩方面因素：第一，遙感圖像空間分辨率較低導(dǎo)致圖像的細(xì)節(jié)較為模糊，識(shí)別遙感圖像主要依賴于遙感圖像局部區(qū)域間的整體關(guān)系，不需要過(guò)多考慮遙感圖像局部區(qū)域內(nèi)存在復(fù)雜的空間位置關(guān)系；第二，遙感圖像數(shù)據(jù)集中訓(xùn)練數(shù)據(jù)量相對(duì)較少，采用更大、更深的網(wǎng)絡(luò)結(jié)構(gòu)將導(dǎo)致SAT-CNN中有更多的參數(shù)需要訓(xùn)練，需要更大的訓(xùn)練數(shù)據(jù)量.為了便于實(shí)現(xiàn)和分析，我們依據(jù)模塊化的思想提出了具有不同功能的構(gòu)件塊用來(lái)描述SAT-CNN的網(wǎng)絡(luò)結(jié)構(gòu).SAT-CNN由四個(gè)構(gòu)件塊(block)通過(guò)線性堆疊的方式組成，每個(gè)構(gòu)件塊實(shí)現(xiàn)一個(gè)基本的功能：局部特征提取、全局特征提取和標(biāo)簽預(yù)測(cè).如圖1所示，構(gòu)件塊1和構(gòu)件塊2用于從遙感圖像的局部區(qū)域內(nèi)提取底層特征；構(gòu)件塊3用于整合不同底層特征間的非線性空間位置關(guān)系得到整張圖像的全局特征；構(gòu)件塊4根據(jù)整張圖像的特征對(duì)圖像在每種類別上的可能性做出預(yù)測(cè)，得出預(yù)測(cè)標(biāo)簽.

圖1 SAT-CNN網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 SAT-CNN network structure

SAT-CNN中根據(jù)LeNet、AlexNet和VggNet三種經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)共性，設(shè)計(jì)了四種不同類型的構(gòu)件塊，分別命名為：CM、CCM、FC和Pre.其中，CM和CCM類型構(gòu)建塊用于提取局部特征，F(xiàn)C類型構(gòu)建塊用于提取全局特征，Pre類型構(gòu)建塊用于預(yù)測(cè)類別標(biāo)簽.每個(gè)構(gòu)件塊由線性變換(conv)、批規(guī)范化(bnorm)、非線性變換(ReLU或pooling)等基本操作組成.四種不同類型構(gòu)建塊的內(nèi)部結(jié)構(gòu)如下：

1)CM：該構(gòu)件塊由一組卷積(conv)-批規(guī)范化(bnorm)-最大池化(mp)的三層結(jié)構(gòu)構(gòu)成.該構(gòu)件塊能夠提取較簡(jiǎn)單的區(qū)域內(nèi)像素關(guān)系.

2)CCM：該構(gòu)建塊由一組卷積(conv)-批規(guī)范化(bnorm)-激活函數(shù)(ReLU)-卷積(conv)-批規(guī)范化(bnorm)-最大池化(mp)組成的六層結(jié)構(gòu).其中兩個(gè)卷積操作使用相同大小、相同個(gè)數(shù)的卷積操作.與CMBLOCK相比，該構(gòu)件塊提取較復(fù)雜的區(qū)域內(nèi)像素關(guān)系.

3)FC：網(wǎng)絡(luò)中使用到的一種全連接構(gòu)件，由一組全連接(fc)-批規(guī)范化(bnorm)-激活函數(shù)(ReLU)組成的三層結(jié)構(gòu).該構(gòu)件塊能夠提取不同區(qū)域特征之間的非線性空間關(guān)系.常用于將網(wǎng)絡(luò)中所有的局部特征組合得到表示整張圖像的高層特征.

4)Pre：網(wǎng)絡(luò)中使用到的另一種全連接構(gòu)件塊，僅由一個(gè)全連接(fc)操作組成.與FCBLOCK不同，該構(gòu)件塊能夠提取不同區(qū)域特征之間的線性空間關(guān)系.常用于將網(wǎng)絡(luò)中提取到的特征輸出成對(duì)每個(gè)類別標(biāo)簽的預(yù)測(cè)值.

SAT-CNN網(wǎng)絡(luò)由以上四種類型的構(gòu)件塊線性堆疊組成，并分別借鑒圖像分類中常用的LeNet、AlexNet和VggNet網(wǎng)絡(luò)結(jié)構(gòu)，設(shè)置了三種不同參數(shù)的網(wǎng)絡(luò)結(jié)構(gòu)，分別命名為SAT-LeNet、SAT-AlexNet和SAT-VggNet.三種不同網(wǎng)絡(luò)結(jié)構(gòu)的具體配置如表1所示.

表1中采用構(gòu)件塊的方式描述網(wǎng)絡(luò)結(jié)構(gòu)，其中K為構(gòu)件塊中卷積操作使用的卷積核大小，D為使用的卷積核個(gè)數(shù)，P為填充像素?cái)?shù)量，S為每次滑動(dòng)的步長(zhǎng).

SAT-LeNet和SAT-AlexNet的網(wǎng)絡(luò)由兩個(gè)CM類型的構(gòu)建塊、一個(gè)FC類型的構(gòu)件塊和一個(gè)Pre類型的構(gòu)件塊組成.SAT-LeNet的前兩個(gè)構(gòu)件塊用5×5的卷積核“感知”圖像上的局部信息.SAT-AlexNet中采用了比SAT-LeNet更大的卷積核來(lái)提取更大區(qū)域的淺層局部特征、增加網(wǎng)絡(luò)中的參數(shù)數(shù)量，分別使用了11×11和7×7的卷積核.SAT-VggNet中使用到的卷積構(gòu)件塊為CCM類型的構(gòu)建塊，能夠在圖像的局部區(qū)域提取更復(fù)雜的特征、增加網(wǎng)絡(luò)的深度.網(wǎng)絡(luò)的前兩個(gè)構(gòu)件塊中采用3×3的卷積核.三種網(wǎng)絡(luò)結(jié)構(gòu)的后兩個(gè)構(gòu)件塊中

表1 SAT-CNN網(wǎng)絡(luò)配置Table 1 SAT-CNN network configuration

的線性操作為全連接操作，使用與前一層輸出大小相同的卷積核來(lái)“感知”整張圖像的信息.第一個(gè)全連接層輸出的128維向量為神經(jīng)網(wǎng)絡(luò)從圖像上學(xué)習(xí)到用來(lái)表示整張圖像的全局特征；最后一個(gè)全連接層為預(yù)測(cè)構(gòu)建塊，輸出4或6維的向量，對(duì)應(yīng)于我們使用的數(shù)據(jù)集中的標(biāo)簽數(shù)量.輸出的標(biāo)簽預(yù)測(cè)向量通過(guò)softmax層的計(jì)算得到一個(gè)可以用來(lái)表示圖像在每個(gè)類別可能性的后驗(yàn)概率.

4.2 訓(xùn)練方法

采用計(jì)算預(yù)測(cè)值與實(shí)際標(biāo)簽之間的對(duì)數(shù)損失(softmax log-loss)交叉熵作為優(yōu)化目標(biāo)函數(shù)，使用基于動(dòng)量的隨機(jī)梯度下降的方法進(jìn)行優(yōu)化.將訓(xùn)練數(shù)據(jù)集中的數(shù)據(jù)每500個(gè)樣本劃分成一個(gè)數(shù)據(jù)塊(mini batch)，在全部數(shù)據(jù)塊上調(diào)整參數(shù)為一輪迭代，設(shè)置迭代200輪尋找最優(yōu)的網(wǎng)絡(luò)參數(shù).網(wǎng)絡(luò)權(quán)重采用正態(tài)分布的隨機(jī)采樣來(lái)初始化，偏置系數(shù)初始化為0，學(xué)習(xí)率設(shè)置為0.001，動(dòng)量值設(shè)置為0.9.在訓(xùn)練時(shí)，輸入SAT數(shù)據(jù)集中28×28大小的四通道圖像，輸出為圖像在每個(gè)類別上的線性預(yù)測(cè)值，根據(jù)預(yù)測(cè)值的大小判斷網(wǎng)絡(luò)對(duì)圖像預(yù)測(cè)的類別.我們采用原始的圖像作為輸入數(shù)據(jù)，沒有做任何的數(shù)據(jù)增強(qiáng)和圖像預(yù)處理.文中使用到的三種網(wǎng)絡(luò)都是在SAT數(shù)據(jù)集上重新訓(xùn)練得到的.

5 實(shí) 驗(yàn)

5.1 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)在SAT-4和SAT-6數(shù)據(jù)集的訓(xùn)練集上訓(xùn)練本文提出的三種不同結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)模型，為每種類型的模型確定最優(yōu)的參數(shù)并在測(cè)試集上測(cè)試分類精度.我們的實(shí)驗(yàn)結(jié)果將與SAT-4和SAT-6數(shù)據(jù)集上其他方法的結(jié)果進(jìn)行比較.

SAT-4和SAT-6是一組公開的高分辨率遙感圖像數(shù)據(jù)集.這兩個(gè)數(shù)據(jù)集中的圖像從National Agriculture Imagery Program (NAIP)截取得到.該圖像的地面空間分辨率為1米.圖像包含4個(gè)通道，紅(R)、綠、(G)、藍(lán)(B)以及近紅外(NIR)通道.SAT-4包含共50萬(wàn)張圖片，分為貧瘠土地(barren)、樹木(trees)、草地(grass)以及除了以上三種類別的其他類別(none)共4個(gè)類別.SAT-6包含6個(gè)土地覆蓋類別：貧瘠的土地(barren)，樹木(trees)，草地(grass)，道路(road)，建筑物(building)和水體(water).SAT數(shù)據(jù)集中每個(gè)圖像大小均為28×28像素，訓(xùn)練和測(cè)試數(shù)據(jù)集使用偽隨機(jī)數(shù)生成器隨機(jī)化.

實(shí)驗(yàn)中使用SAT-4和SAT-6數(shù)據(jù)集中的80%數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)來(lái)訓(xùn)練網(wǎng)絡(luò)模型，20%作為測(cè)試數(shù)據(jù)用來(lái)測(cè)試模型的性能.SAT-4和SAT-6數(shù)據(jù)集的具體配置如表2所示.

表2 SAT數(shù)據(jù)集實(shí)驗(yàn)配置Table 2 SAT dataset configuration

實(shí)驗(yàn)使用MatConvNet19構(gòu)建文中提出的三種不同類型的卷積神經(jīng)網(wǎng)絡(luò)模型.在一塊帶有6GB顯存的Nvidia GeForce GTx980Ti顯卡上使用Nvidia提供的CuDNN加速網(wǎng)絡(luò)的訓(xùn)練過(guò)程.訓(xùn)練過(guò)程周期性地在訓(xùn)練集合的子集上評(píng)估交叉熵目標(biāo)函數(shù)，調(diào)整網(wǎng)絡(luò)參數(shù)，直到訓(xùn)練交叉熵穩(wěn)定為止.對(duì)于該部分算法，我們沒有在驗(yàn)證集合上觀察到過(guò)擬合.

5.2 SAT-CNN的分類性能比較與分析

對(duì)于文中提出的三種模型，我們分別在SAT-4和SAT-6的訓(xùn)練集上訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò).選擇每種模型在驗(yàn)證集上性能最優(yōu)的模型測(cè)試分類精度.SAT-CNN與DeepSat[12]方法和DBN方法的分類精度如表3所示.

表3 SAT-CNN在SAT-4與SAT-6上的分類精度Table 3 Accuracy of SAT-CNN on SAT-4 and SAT-6

本文提出的SAT-CNN獲得的精度均達(dá)到了98%以上，比DeepSat方法有更優(yōu)秀的表現(xiàn).三種不同類型的卷積神經(jīng)網(wǎng)絡(luò)在SAT-4和SAT-6數(shù)據(jù)集上都達(dá)到很高的分類精度，其中性能最佳的SAT-VggNet網(wǎng)絡(luò)在SAT-4和SAT-6數(shù)據(jù)集上的分類精度分別為99.98%和99.97%.可以看出，卷積神經(jīng)網(wǎng)絡(luò)可以在不對(duì)數(shù)據(jù)進(jìn)行任何預(yù)處理的情況下從原始圖像數(shù)據(jù)中進(jìn)行學(xué)習(xí).相較于傳統(tǒng)的提取特征-選擇分類器的遙感圖像分類方法，SAT-CNN在圖像分類精度上有極大的提升.

從表3的實(shí)驗(yàn)結(jié)果中可以看出，SAT-6數(shù)據(jù)集上各種網(wǎng)絡(luò)結(jié)構(gòu)的分類精度與SAT-4數(shù)據(jù)集上的相比差距不大，甚至高于SAT-4數(shù)據(jù)集上各種網(wǎng)絡(luò)結(jié)構(gòu)的分類精度.SAT-6數(shù)據(jù)集比SAT-4數(shù)據(jù)集中有更多更復(fù)雜的類別需要區(qū)分，從直覺上來(lái)說(shuō)其類精度應(yīng)低于SAT-4數(shù)據(jù)集上的分類精度.我們對(duì)SAT-VggNet在兩個(gè)數(shù)據(jù)集上的分類結(jié)果進(jìn)行分析，其迷惑矩陣分別如表4和表5所示.表中第一列為樣本的真實(shí)標(biāo)簽，第一行為樣本的預(yù)測(cè)標(biāo)簽，每行的數(shù)值表示各個(gè)類別的樣本經(jīng)過(guò)VggNet預(yù)測(cè)后分類到的各個(gè)類別的樣本數(shù)量.

表4中，SAT-4數(shù)據(jù)集中共分錯(cuò)20個(gè)樣本，barren誤分為grass的有11個(gè)；表5中，SAT-6數(shù)據(jù)集中共分錯(cuò)27個(gè)樣本，barren誤分為grass的有24個(gè).由迷惑矩陣可以看出，在SAT-4和SAT-6數(shù)據(jù)集上最容易混淆的兩類均為barren和grass.

表4 SAT-VggNet在SAT-4數(shù)據(jù)集上的迷惑矩陣Table 4 Confusiong matrix of SAT-VggNet on SAT-4

表5 SAT-VggNet在SAT-6數(shù)據(jù)集上的迷惑矩陣Table 5 Confusion matrix of SAT-VggNet on SAT-6

由于SAT-6數(shù)據(jù)集中包含的barren和grass兩個(gè)類別的樣本比例相對(duì)于SAT-4數(shù)據(jù)集包含的樣本比例要更少，所以SAT-6比SAT-4數(shù)據(jù)集要更加容易區(qū)分.圖2為數(shù)據(jù)集中標(biāo)簽為barren被分類成grass的圖像.

圖2 SAT-4數(shù)據(jù)集中barren被誤分類為grass的圖像樣例Fig.2 Barren images misclassified as grass in SAT-4

可以看出，SAT數(shù)據(jù)集中存在部分標(biāo)簽為barren實(shí)際更接近grass的圖像.主要原因在于SAT數(shù)據(jù)集在構(gòu)建時(shí)采用一張完整的大的遙感圖像進(jìn)行分割標(biāo)注，有些小區(qū)域中可能包含兩種或多種地面目標(biāo)，所以數(shù)據(jù)集中可能存在部分類別之間有交叉的樣本圖像.

5.3 SAT-CNN的特征遷移性分析

神經(jīng)網(wǎng)絡(luò)遷移是用訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)模型在新數(shù)據(jù)集上提取特征進(jìn)行分類.實(shí)驗(yàn)中，使用SAT-4數(shù)據(jù)集上訓(xùn)練得到的三種網(wǎng)絡(luò)模型和SAT-6上訓(xùn)練得到的網(wǎng)絡(luò)模型分別遷移到SAT-6和SAT-4數(shù)據(jù)集上.將遷移網(wǎng)絡(luò)的最后一個(gè)預(yù)測(cè)構(gòu)建塊移除，余下的部分作為特征提取器在遷移數(shù)據(jù)集上提取特征.然后，使用遷移數(shù)據(jù)集上網(wǎng)絡(luò)結(jié)構(gòu)中最后一個(gè)預(yù)測(cè)構(gòu)件塊作為線性分類器對(duì)特征進(jìn)行分類.簡(jiǎn)而言之就是將遷移網(wǎng)絡(luò)最后一層的預(yù)測(cè)構(gòu)件塊替換為遷移數(shù)據(jù)集上相應(yīng)的預(yù)測(cè)構(gòu)件塊.重新調(diào)整預(yù)測(cè)構(gòu)件塊的參數(shù)至最優(yōu)，并在測(cè)試集上測(cè)試分類精度.實(shí)驗(yàn)結(jié)果如表6所示.

三種SAT-CNN網(wǎng)絡(luò)結(jié)構(gòu)均有良好的遷移性能.SAT-4網(wǎng)絡(luò)模型向SAT-6數(shù)據(jù)集遷移的結(jié)果中，最高的分類精度為96.31%；SAT-6網(wǎng)絡(luò)向SAT-4數(shù)據(jù)集遷移的結(jié)果中為92.70%.雖然遷移后的方法性能有所下降，但相對(duì)于傳統(tǒng)的方法這種遷移的結(jié)果仍有較好的精度.說(shuō)明了卷積神經(jīng)網(wǎng)絡(luò)能夠從大量的數(shù)據(jù)中通過(guò)端到端的結(jié)構(gòu)學(xué)習(xí)到辨別性很強(qiáng)的高層抽象特征.這種特征能夠采用線性的方式劃分來(lái)對(duì)圖像分類，并且能夠很好地用來(lái)提升傳統(tǒng)分類器的性能.

表6 采用SAT-CNN的特征遷移的分類精度表Table 6 Accuracy of SAT-CNN′s feature transfer

5.4 圖像通道對(duì)SAT-CNN的影響分析

普通的圖像分類任務(wù)中使用到的圖像為可見光圖像，即RGB三通道圖像.遙感圖像數(shù)據(jù)集SAT-4和SAT-6中的圖像與RGB圖像相比增加了一個(gè)近紅外光線拍攝到的圖像.為了研究遙感圖像中圖像通道對(duì)SAT-CNN的影響，我們分別使用SAT數(shù)據(jù)集中四通道圖像的可見光(RGB)和近紅外(nir)通道的數(shù)據(jù)進(jìn)行分類.提取SAT-4和SAT-6數(shù)據(jù)集四通道圖像中的前三個(gè)通道生成可見光圖像，構(gòu)建新的SAT可見光數(shù)據(jù)集SAT-4-rgb和SAT-6-rgb.使用SAT-4和SAT-6數(shù)據(jù)集中圖像的第四個(gè)通道生成近紅外圖像，構(gòu)建SAT近紅外數(shù)據(jù)集SAT-4-nir和SAT-6-nir.

根據(jù)5.2節(jié)的實(shí)驗(yàn)結(jié)果，采用SAT-VggNet網(wǎng)絡(luò)結(jié)構(gòu)分別在SAT-4-rgb、SAT-6-rgb、SAT-4-nir和SAT-6-nir四個(gè)新生成的數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn).修改SAT-VggNet網(wǎng)絡(luò)中的輸入層，使卷積核的維度與新構(gòu)建的四個(gè)數(shù)據(jù)集中的數(shù)據(jù)的維度相同，保持其他網(wǎng)絡(luò)配置不變.

重新在四個(gè)數(shù)據(jù)集上采用與4.2節(jié)實(shí)驗(yàn)中相同的配置訓(xùn)練網(wǎng)絡(luò).從200輪迭代中選取在驗(yàn)證集上誤差最小的網(wǎng)絡(luò)作為測(cè)試用網(wǎng)絡(luò)模型.分別使用在SAT-4-rgb、SAT-6-rgb、SAT-4-nir和SAT-6-nir數(shù)據(jù)集上得到的網(wǎng)絡(luò)模型在相應(yīng)的測(cè)試數(shù)據(jù)集上進(jìn)行分類測(cè)試.表7為使用SAT-VggNet在四種數(shù)據(jù)集上的測(cè)試精度.

表7 SAT-VggNet采用不同通道數(shù)據(jù)的分類精度Table 7 Accuracy of SAT-VggNet classify on different channels

在使用了可見光部分SAT-4-rgb和SAT-6-rgb進(jìn)行的分類實(shí)驗(yàn)中，分類精度均達(dá)到了99.97%.與原始的四通道數(shù)據(jù)集上的測(cè)試精度相比，僅丟失了0.01%～0.02%的分類精度.使用了近紅外部分的數(shù)據(jù)集SAT-4-nir和SAT-6-nir進(jìn)行的實(shí)驗(yàn)中，分類精度分別為97.71%和98.88%.與原始數(shù)據(jù)集相比，分別丟失了2.28%和1.1%的分類精度.在SAT數(shù)據(jù)集中，地面目標(biāo)的類別較少且各類目標(biāo)間差異較為顯著，便于分類.同時(shí)，由于各個(gè)類別圖像的顏色和紋理等可見光部分的特性較明顯，采用可見光部分進(jìn)行圖像分類能夠達(dá)到較高的分類精度.此外，不同的地面目標(biāo)反射的近紅外光線不同，近紅外圖像能夠在一定程度上表現(xiàn)不同目標(biāo)間的差異從而用來(lái)進(jìn)行目標(biāo)分類.卷積神經(jīng)網(wǎng)絡(luò)能夠從不同的數(shù)據(jù)通道中學(xué)習(xí)到體現(xiàn)目標(biāo)在該光譜下得特性，提取易于分辨的特征，得到較好的分類結(jié)果.

6 結(jié) 論

本文采用模塊化的思想構(gòu)建了面向遙感圖像分類的SAT-CNN卷積神經(jīng)網(wǎng)絡(luò)框架，并設(shè)計(jì)了四種不同類型的構(gòu)件塊對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行描述和實(shí)現(xiàn).根據(jù)遙感圖像特點(diǎn)，SAT-CNN堆疊兩個(gè)卷積功能的構(gòu)件塊和兩個(gè)全連接功能的構(gòu)件塊，分別用于建模圖像局部區(qū)域內(nèi)的像素關(guān)系以及區(qū)域間的像素關(guān)系，并給出三種不同的網(wǎng)絡(luò)參數(shù)設(shè)置.實(shí)驗(yàn)分析說(shuō)明了卷積神經(jīng)網(wǎng)絡(luò)可以通過(guò)端到端的方式從圖像中學(xué)習(xí)到顯著性較強(qiáng)的特征，在SAT數(shù)據(jù)集上訓(xùn)練得到的SAT-CNN達(dá)到了較高的分類精度.針對(duì)SAT-CNN是否能夠作為遙感圖像的特征提取模塊，對(duì)遷移性的分析表明SAT-CNN作為特征提取模塊的可行性.此外，本文分析了SAT-CNN在不同圖像通道上的性能.實(shí)驗(yàn)結(jié)果表明，使用可見光部分通道時(shí)性能幾乎沒有下降；在近紅外通道仍然保持較高的分類精度，說(shuō)明了SAT數(shù)據(jù)集中的可見光部分中包含了大部分與目標(biāo)相關(guān)的特性.

[1] Panchal S，Thakker R.Implementation and comparative quantitative assessment of different multispectral image pansharpening approches[J].Journal of Virology，2015，73(6)：4622-4630.

[2] Xie Yong-hua，Yang Jing-yu.Aproach to remote-sensing image detection based on multi-direction two-scale wavelet transform[J].Mini-Micro Systems，2005，26(6)：1054-1056.

[3] Qiu Jian-bin，Li Shi-jin，Zhu Yue-long，et al.Fast hyperspectral image band selection method based on curve shape feature[J].Journal of Chinese Computer Systems，2014，35(8)：1906-1910.

[4] Mojaradi B，Abrishami-Moghaddam H，Zoej M J V，et al.Dimensionality reduction of hyperspectral data via spectral feature extraction[J].IEEE Transactions on Geoscience & Remote Sensing，2008，12(4)：579-585.

[5] Liu Meng-meng，Liu Ya-lan，Sun Guo-qing，et al.SVM land cover classification based on spectral and textural features using stratified samples[J].Remote Sensing Technology and Application，2014，29(2)：315-323.

[6] Sun Xiao-xia，Qu Qing，Nasrabadi N M，et al.Structured priors for sparse-representation-based hyperspectral image classification[J].IEEE Geoscience & Remote Sensing Letters，2014，11(7)：1235-1239.

[7] Yang Guo-peng，Yu Xu-chu，Chen Wei，et al.Hyperspectral remote sensing image classification based on kernel fisher discriminant analysis[J].Journal of Remote Sensing，2008，12(4)：579-585.

[8] Alex Krizhevsky，IIya Sutskever，Geoffrey E Hinton.Imagenet classification with deep convolutional neural networks[J].In Advances in Neural Information Processing Systems，2012：1097-105.

[9] Karen Simonyan and Andrew Zisserman.Very deep convolutional networks for large-scale image recognition[C].International Conference on Learning Representations,2015:1-14.

[10] Zhang Liang-pei，Shen Huan-feng.Progress and future of remote sensing data fusion[J].Journal of Remote Sensing，2016，20(5)：1050-1061.

[11] Zhang Liang-pei，Li Jia-yi.Development and prospect of sparse representation-based hyperspectral image processing and analysis[J].Journal of Remote Sensing，2016，20(5)：1091-1101.

[12] Basu S，Ganguly S，Mukhopadhyay S，et al.Deepsat： a learning framework for satellite imagery[C].Proceedings of the 23rd SIGSPATIAL International Conference on Advances in Geographic Information Systems，ACM，2015,37.

[13] Camps-Valls G，Gomez-Chova L，Munoz-Mari J，et al.Composite kernels for hyperspectral image classification[J].Geoscience & Remote Sensing Letters IEEE，2006，3(1)：93-97.

[14] Vaduva C，Gavat I，Datcu M.Deep learning in very high resolution remote sensing image information mining communication concept[C].Signal Processing Conference，2012：2506-2510.

[15] Mnih V，Hinton G.Learning to label aerial images from noisy data[C].International Conference on Machine Learning，2012.

[16] Romero A，Gatta C，Camps-Valls G.Unsupervised deep feature extraction of hyperspectral images[C].IEEE Workshop on Hyperspectral Image and Signal Processing，Whispers.IEEE，2014.

[17] Tokarczyk P，Montoya J，Schindler K.An evaluation of feature learning methods for high resolution image classification[J].ISPRS Annals of Photogrammetry,Remote Sensing and Spatial Information Sciences,2012,I-3：389-394.

[18] Ioffe S，Szegedy C.Batch normalization：accelerating deep network training by reducing internal covariate shift[C].Proceedings of the 32nd International Conference on Machine Learning (ICML-15)，2015：448-456.

附中文參考文獻(xiàn)：

[2] 謝永華，楊靜宇.基于多方向二進(jìn)小波變換的遙感圖像特征提取方法[J].小型微型計(jì)算機(jī)系統(tǒng)，2005，26(6)：1054-1056.

[3] 仇建斌，李士進(jìn)，朱躍龍，等.基于曲線形狀特征的快速高光譜圖像波段選擇[J].小型微型計(jì)算機(jī)系統(tǒng)，2014，35(8)：1906-1910.

[5] 劉萌萌，劉亞嵐，孫國(guó)慶，等.結(jié)合紋理特征的SVM樣本分層土地覆蓋分類[J].遙感技術(shù)與應(yīng)用，2014，29(2)：315-323.

[7] 楊國(guó)鵬，余旭初，陳 偉，等.基于核Fisher判別分析的高光譜遙感影像分類[J].遙感學(xué)報(bào)，2008，12(4)：579-585.

[10] 張良培，沈煥鋒.遙感數(shù)據(jù)融合的進(jìn)展與前瞻[J].遙感學(xué)報(bào)，2016，20(5)：1050-1061.

[11] 張良培，李家藝.高光譜圖像稀疏信息處理綜述與展望[J].遙感學(xué)報(bào)，2016，20(5)：1091-1101.