基于改進VGG16網(wǎng)絡的機載高光譜針葉樹種分類研究

汪泉 宋文龍 張怡卓 陳佳昊 蔣大鵬

摘 要：為解決針葉樹種識別上存在的分類精度較低和訓練時間較長的難點問題。本文提出一種基于卷積神經(jīng)網(wǎng)絡的機載高光譜影像針葉樹種分類的網(wǎng)絡模型。實驗選定VGG16作為基礎網(wǎng)絡進行改進，精簡了網(wǎng)絡層的結構，重新組織了卷積核的排列，更好地適應高光譜分類任務，對實驗選擇的茶壺實驗森林的機載高光譜影像數(shù)據(jù)帶進行數(shù)據(jù)增強，使用Adam優(yōu)化器進行訓練優(yōu)化，使用學習率反向時間衰減器和Early-stooping優(yōu)化器加快網(wǎng)絡擬合的速度、增加網(wǎng)絡的泛化能力。研究結果表明，在類間差距小、類內(nèi)差距大的情況下，與對比實驗效果最好的未改進VGG16網(wǎng)絡相比，針葉樹種高光譜影像多標簽分類的精度提高了8.17%，達到了94.47%的分類準確率，且訓練時長縮減了6倍多。從而得到：將卷積核數(shù)量按照從大到小的方式排列有助于高光譜信息的提取和訓練時間的縮短;網(wǎng)絡層數(shù)的精簡可以在保證模型達到擬合的前提下訓練不會過度，減小訓練時間;數(shù)據(jù)增強對針葉樹種識別準確率的提升有著很大的幫助。

關鍵詞：樹種分類;高光譜分析;卷積神經(jīng)網(wǎng)絡;梯度下降;主成分分析;VGG16

中圖分類號：S718.49;TP753 ? ?文獻標識碼：A ? 文章編號：1006-8023（2021）03-0079-09

Abstract：In order to solve the difficult problems of low classification accuracy and long training time in conifer species recognition， this paper presents a coniferous species classification network model based on convolutional neural network in airborne hyperspectral images. VGG16 was selected as the basic network to improve the experiment， which simplified the structure of the network layer， reorganized the arrangement of convolution kernel， and better adapted to the task of hyperspectral classification. The airborne hyperspectral image data band of the teapot experimental forest selected for the experiment was enhanced， the Adam optimizer was used for training optimization， and the learning rate inverse time attenuator and the Earlystooping optimizer were used to accelerate the speed of network fitting and increase the generalization ability of the network. The results showed that， in the case of small interclass gap and large intraclass gap， compared with the unimproved VGG16 network with the best comparative experiment effect， the accuracy of multilabel classification of hyperspectral images of coniferous species was improved by 8.17%， and the classification accuracy was 94.47%， and the training time was reduced by more than 6 times. It can be concluded that the arrangement of the number of convolution kernels from large to small was helpful to the extraction of hyperspectral information and shorten the training time. The simplification of network layers can ensure that the model can be fitted without excessive training and reduce the training time. Data enhancement was of great help to the improvement of coniferous species identification accuracy.

Keywords：Tree species classification; hyperspectral analysis; convolutional neural network; gradient descent; principal component analysis; VGG16

0 引言

在森林生態(tài)系統(tǒng)中，樹木屬于主要的組成部分，需要對樹木的類型以及分布特征進行分析，以此為生物多樣性保護等提供一定的依據(jù)，所以有必要結合空間上的樹種信息進行研究[1-3]。目前在針葉樹種識別上的研究逐步增多，很多學者提出了不同類型的識別方法，但是傳統(tǒng)的方法效率較低，依賴于實地調(diào)查研究，成本較大，難以達到預期的效果。隨著衛(wèi)星遙感高光譜影像技術的發(fā)展，逐步應用到了樹種識別中，盡管借助衛(wèi)星遙感影像識別植被提高了效率，但是應用中依然存在以下弊端[4]：一方面受到天氣狀況的變化導致影像質(zhì)量降低，無法保證較高的識別精度;另一方面，遠距離的探測僅適用于大范圍的樹種粗略分類，對于高精確度的樹種分類研究不適用。而機載高光譜成像儀具有機動靈活、高效快速、精細準確、低成本和普適性的特點，彌補了以上缺陷，為高精確度樹種分類提供了新的方式[5]。

高光譜遙感數(shù)據(jù)多個波段之間既有相關性也有互補性，通過多個波段的運算和組合可以形成新的特征用于分類工作[6-8]。此前逐步形成了機器學習與手工提取特征結合的傳統(tǒng)識別方法。其中已經(jīng)有人提出在樹種識別中引入了支持向量機（SVM）、隨機森林（RF）方法[9];也有人將SVM與增強植被指數(shù)（EVI）等結合來實現(xiàn)樹種的分類[10]。這種機器學習和手工提取特征結合的識別方法其效果受人為選擇特征的合理程度影響較大。

卷積神經(jīng)網(wǎng)絡（CNN）采用局部連接和權值共享的方式，是多層感知機的變種，其中網(wǎng)絡的輸入部分可以是圖像[11]。卷積作為特征提取器，神經(jīng)網(wǎng)絡作為分類器，避免了機器學習與手工提取特征結合的傳統(tǒng)識別方法中復雜的特征提取和數(shù)據(jù)重建的過程;在沒有人為干預的情況下自動地從數(shù)據(jù)中學習特征，避免了傳統(tǒng)方法中受人為選擇特征的局限性。經(jīng)過優(yōu)化處理后可以通過權值共享等策略來降低訓練參數(shù)數(shù)目，從而解決過擬合問題[12]。所以在圖像識別中可以采用CNN，將其應用到圖像識別中具有一定的優(yōu)勢，可以準確提取圖像的特征，學習效率較高[13]。部分研究者將該技術應用到了遙感影像數(shù)據(jù)分類處理中，其中Hu等[14]把CNN應用到了高分辨率遙感場景分類; Zhao等[15]結合多尺度深度學習特征進行高光譜遙感分類; Cheng等[16]使用CNN對高分辨率遙感圖像做基于場景的分類;CNN的網(wǎng)絡結構更接近生物神經(jīng)網(wǎng)絡，在視覺圖像處理領域得到了很好的應用[17-19]。

越來越多的人工神經(jīng)網(wǎng)絡被提出，但由于高光譜數(shù)據(jù)量大且處理難度高，很多網(wǎng)絡模型例如Residual Network50（ResNet50）、Inception-ResNet-v2的效果并不好[20]。問題主要集中在訓練時間長且精確度不高，不能突顯深度學習區(qū)別于傳統(tǒng)模型的優(yōu)勢。本文提出了一種基于Visual Geometry Group 16（VGG16）分類模型，對所選研究區(qū)的針葉樹種類型進行識別。該方法通過刪減VGG16中多個卷積層和池化層，對卷積核的排列進行了重新設計，在訓練時間短的情況下盡可能提升精度。選擇機載高分辨率圖像對CNN進行訓練，降維后通過CNN提取像素特征，利用像素特征和標記的標簽學習各個樹種所對應的高光譜信息，使用邏輯回歸（Softmax）網(wǎng)絡層對提取出的樹種相關特征進行分類，并預測該針葉樹種所屬類別。以此可以對不同類的一致性檢驗（Kappa）系數(shù)進行計算分析，并驗證算法可以達到的應用效果。

1 實驗數(shù)據(jù)與環(huán)境

1.1 實驗數(shù)據(jù)

數(shù)據(jù)研究區(qū)處于太平洋西南研究區(qū)域。選取了茶壺實驗森林的一條從南到北的高光譜數(shù)據(jù)帶，長16 km，寬1 km，位于內(nèi)華達山脈南部（36°58′N，119°01′E），在加利福尼亞州弗雷斯諾東方向80 km處。高光譜數(shù)據(jù)覆蓋海拔1 935～2 630 m，覆蓋了茶壺實驗森林組成區(qū)的過渡區(qū)。

實驗數(shù)據(jù)是De Havilland DHC-6 Twin Otter飛機使用美國航空航天局的噴氣實驗室設計和制造的推掃帚收集工具（下一代AVIRIS）收集的高光譜數(shù)據(jù)。以5 nm的光譜采樣間隔測量從280 nm搭配2 510 nm的426個光譜帶的反射光。

針葉混交林約占茶壺實驗森林面積的65%，主要集中在高程為1 900～2 300 m處。如圖1所示。樹種分成8類：白杉（Abies concolor）、紅杉（Abies magnifica）、香柏木（Calocedrus decurrens）、杰弗里松（Pinus jeffreyi）、糖松（Pinus lambertiana）、黑橡樹（Quercus kelloggii）、紅松（Pinus contorta）和死樹（Dead -任何樹種）。共采集樣本713個，創(chuàng)建了以每棵樹的莖為中心的圓形多邊形，并對其進行柵格化處理，每個圓圈都僅包括冠層，避免了背景、土壤或其他冠層的影響，把它定義為數(shù)字化后的“純像素”。每個多邊形內(nèi)的像素被視為同一類，CNN從高光譜數(shù)據(jù)中提取標記像素來訓練模型。

需要對訓練樣本和測試樣本采用隨機選擇的方式進行劃分，二者的比例分別為90%、10%。樹種影像在樹密度、樹齡、樹種、光照和背景等類間差距大小以及樹種訓練樣本數(shù)量等多種因素干擾下，分類難度較大。

1.2 實驗環(huán)境

實驗環(huán)境主要是Macos Catalina操作系統(tǒng);基于GDAL2.3.3完成影像數(shù)據(jù)處理過程;同時采用了TensorFlow2.2.0，Keras2.4.3進行學習訓練;利用TensorBoard2.2.0，Matplotlib3.1.1實現(xiàn)數(shù)據(jù)展示;編程語言使用Python3.7。

2 研究方法

2.1 VGG16基本網(wǎng)絡

CNN結構如圖2所示，圖中包括卷積層、降采樣層和全連接層。每一層都有多個特征圖，每個特征圖有多個神經(jīng)元，通過卷積濾波器提取輸入的特征[21]。

研究以VGG16網(wǎng)絡作為基礎，對該網(wǎng)絡進行優(yōu)化改進。VGG16網(wǎng)絡中卷積神經(jīng)網(wǎng)絡的深度增加和小卷積核的使用對網(wǎng)絡的最終分類識別效果有很大的影響。卷積層均采用相同3尺寸的卷積核參數(shù)，池化層均采用相同的池化核參數(shù)。多個3×3的卷積層組合不僅計算量小，還能同時獲得大卷積核相同的感受野。深層網(wǎng)絡結構驗證了通過不斷加深網(wǎng)絡結構可以提升網(wǎng)絡性能的猜想。但對于一些數(shù)據(jù)，過深的網(wǎng)絡僅僅大幅增加了訓練時長，卻不會提升精度。

VGG16的卷積核從64個依次遞增到512個，圖像的通道數(shù)先降低到64再遞增到512，但由于高光譜圖像數(shù)據(jù)量大的特性，通道數(shù)的這種變化會使得高光譜數(shù)據(jù)損失大量的信息，增加訓練的時間成本，且VGG16的網(wǎng)絡結構對于本研究任務來說，增加網(wǎng)絡深度的同時，不能提升網(wǎng)絡精度。

2.2 具體模型

3 實驗流程和評價指標

3.1 實驗流程圖

在本次研究中基于實驗方法驗證了模型分類 的可行性，其中采用的數(shù)據(jù)源是針葉樹種影像數(shù)據(jù)，并結合樹種識別的結果分析算法的應用效果。在評價算法性能時需要選擇合適的指標，這里選取了Kappa系數(shù)、總體精度、混淆矩陣，對比分析了各種模型的分類效果，并與所提CNN進行效果對比。在本節(jié)中，介紹模型流程結構如圖6所示。

3.2 實驗過程

在實驗過程中采用可視化學習（TensorBoard）實現(xiàn)數(shù)據(jù)可視化，便于對實驗結果進行直觀地分析。

首先利用網(wǎng)絡從高光譜數(shù)據(jù)集中提取出針葉樹種樣本和標簽。然后針對全部數(shù)據(jù)設置對應的標簽，任意混合所有的訓練數(shù)據(jù)，然后輸入到模型中完成訓練的過程，具體的訓練步驟如下。

步驟5：計算實際數(shù)據(jù)與輸出結果的偏差，并進行反向傳播的過程。

步驟6： 判斷是否結束迭代過程，如果確定未結束，則跳轉到步驟（3），在結束時將最終的結果輸出。

實驗中出現(xiàn)了訓練結果精度較高，但是測試結果不佳的現(xiàn)象，存在過擬合問題。需要通過一定的方式進行處理。在本次研究中經(jīng)過分析采用了參數(shù)正則（Dropout）函數(shù)，基于該函數(shù)能夠對隱含層的神經(jīng)元激活狀態(tài)進行控制，最終使得模型達到更高的泛化性能。

3.3 實驗評價指標

4 實驗結果與分析

4.1 數(shù)據(jù)增強

CNN的相繼提出，刷新了神經(jīng)網(wǎng)絡在項目中的準確率。不同網(wǎng)絡的不同結構導致網(wǎng)絡在不同類型任務中的準確率和速度存在差別。深度學習具有強表達能力，容易犧牲對未來數(shù)據(jù)的解釋能力，導致測試數(shù)據(jù)的效果不理想。為了防止這種過擬合現(xiàn)象的出現(xiàn)，需要更多的數(shù)據(jù)來訓練網(wǎng)絡。本研究把數(shù)據(jù)的標簽補丁進行90°旋轉和水平翻轉，將數(shù)據(jù)擴增到了原來的8倍進行模型的訓練。模型在數(shù)據(jù)增強前和數(shù)據(jù)增強后的測試集準確率見表3。

4.2 模型性能對比

在研究過程中針對不同模型的針葉樹種分類性能進行了對比分析，將本文設計的模型與ResNet50、VGG16、 Inception-ResNet-v2進行對比。在訓練過程中各個模型采用性能參數(shù)對比見表4。

表4中展示了具體的分類結果。前3種模型的平均準確率為84.34%，平均Kappa系數(shù)為0.802 8，本文所提模型的針葉樹種準確率比其高10.13%，而Kappa系數(shù)則比其高0.130 0。

結果表明，增加Mish算法基于訓練數(shù)據(jù)迭代更新神經(jīng)網(wǎng)絡權重，可以解決含大規(guī)模數(shù)據(jù)和參數(shù)優(yōu)化問題。各層卷積核數(shù)量的改變使得高光譜數(shù)據(jù)保留了盡可能多的有用數(shù)據(jù)，并加快網(wǎng)絡訓練速度，進一步優(yōu)化模型。由此驗證了本文所提模型的應用效果。

4.3 模型效果

結合實驗結果可知，較小的CNN網(wǎng)絡獲得了較好的效果，這主要是因為針葉樹種影像不存在復雜的語義特征。

圖7為改進后模型測試集的結果曲線，根據(jù)圖7（a）可知，樹種識別結果與迭代數(shù)有關，在迭代數(shù)逐步增大的過程中，分類結果準確率逐步提高，特別是在達到600次時基本保持在99%以上。

為了進一步得到每一個針葉樹種的分類情況，然后利用訓練得到的模型進行測試，并獲得最終的混淆矩陣數(shù)據(jù)見表5。

表5計算結果表明，所提出的模型在收斂速度以及分類精度上都明顯優(yōu)于VGG16和ResNet50網(wǎng)絡。通過比較各樹種的分類精度以及錯分、漏分誤差可以看出，杰弗里松和糖松的分布比較集中，光譜曲線比較容易區(qū)分，錯分比較少;受地面調(diào)查數(shù)據(jù)的限制，黑橡木的樣本數(shù)量相對較少，導致錯分的誤差比較大，降低了識別的精度。所有類別的樹種死亡以后都會被分類為死樹，但是樹木的死亡周期比較短，殘留的樹種特征量較多，錯分的比較多。總體而言，總體分類精度達到了94.47%，糖松達到了100%識別，較好地實現(xiàn)了樹種識別。

各模型訓練的速度如圖8所示。

由于Inception-ResNet-v2訓練時間最短，為了方便比較，將Inception-ResNet-v2的訓練時長設為基數(shù)1。如圖8所示，提出網(wǎng)絡的速度僅僅比結構最簡單的Inception-ResNet-v2慢，是 VGG16網(wǎng)絡訓練速度的6.5倍。

5 結論

本文使用CNN對遙感影像樹種類型進行識別和分類，針對多數(shù)卷積神經(jīng)網(wǎng)絡訓練精度低、訓練時間長的問題在VGG16的基礎上提出一個適合樹種分類的網(wǎng)絡結構。使用機載高光譜數(shù)據(jù)利用HDF5生成文件的方法制作針葉樹種數(shù)據(jù)集，再丟棄無用的像素補丁和標簽、利用PCA主成分分析方法在降低數(shù)據(jù)維度的基礎上進行實驗。

實驗結果表明：

（1）改變各層卷積核數(shù)量并精簡網(wǎng)絡層，將卷積核數(shù)量按照從大到小的方式排列有助于高光譜信息的提取和訓練時間的縮短，使得高光譜數(shù)據(jù)保留盡可能多的有用數(shù)據(jù)。采用Mish激活函數(shù)，加入反向時間衰減學習率的優(yōu)化器。加快了網(wǎng)絡訓練速度，訓練時長縮短了85.8%。

（2）進行數(shù)據(jù)增強將模型準確率從91.95%提升到94.47%，證明了利用數(shù)據(jù)增強增加針葉樹種數(shù)據(jù)量對模型的準確率有著很大的提升，可進一步優(yōu)化模型。

本文所提網(wǎng)絡模型對比ResNet50、Inception-ResNet-v2、Our Model 3種網(wǎng)絡模型的平均精度高出10.13%。證明了CNN在遙感機載高光譜影像針葉樹種分類方法的優(yōu)勢，能夠有效地對各針樹種進行識別和分類任務。

【參 考 文 獻】

[1]GEORGE R， PADALIA H， KUSHWAHA S P S. Forest tree species discrimination in western Himalaya using EO-1 Hyperion [J]. International Journal of Applied Earth Observation and Geoinformation， 2014， 28： 140-149.

[2]CHEN J， SAUNDERS S C， CROW T R， et al. Microclimate in forest ecosystem and landscape ecology[J]. BioScience， 1999， 49（4）： 288-297.

[3]胡馨月，倪海明，戚大偉.基于無人機影像的樹木株數(shù)提取[J].森林工程，2021，37（1）：6-12.

HU X Y， NI H M， QI D W. Tree number extraction based on UAV image [J]. Forest Engineering， 2021， 37（1）：6-12.

[4]馬有國，杜學惠.森林健康評價的遙感技術研究[J].森林工程，2019，35（2）：37-44.

MA Y G， DU X H. Study on remote sensing technology for forest health assessment[J]. Forest Engineering， 2019， 35（2）：37-44.

[5]SCHIEFER F， KATTENBORN T， FRICK A， et al. Mapping forest tree species in high resolution UAV-based RGB-imagery by means of convolutional neural networks [J]. ISPRS Journal of Photogrammetry and Remote Sensing， 2020， 170： 205-215.

[6]SCHLERF M， ATZBERGER C. Inversion of a forest reflectance model to estimate structural canopy variables from hyperspectral remote sensing data [J]. Remote Sensing of Environment， 2006， 100（3）： 281-294.

[7]岳振興，岳彩榮，鄒會敏.基于KPCA的AISA Eagle Ⅱ機載高光譜數(shù)據(jù)的降維與樹種識別[J].西部林業(yè)科學，2020，49（4）：83-90.

XUE Z X， YUE C R， ZOU H M. Dimension reduction and tree species recognition of AISA Eagle II airborne hyperspectral data based on KPCA[J]. Journal of West China Forestry Science， 2020， 49（4）：83-90.

[8]KOCH B. Status and future of laser scanning， synthetic aperture radar and hyperspectral remote sensing data for forest biomass assessment [J]. ISPRS Journal of Photogrammetry and Remote Sensing， 2010， 65（6）： 581-590.

[9]YAN S J， JING L H， WANG H. A new individual tree species recognition method based on a convolutional neural network and high-spatial resolution remote sensing imagery[J]. Remote Sensing， 2021， 13（3）： 479.

[10]YAO F， FENG L， ZHANG J. Corn area extraction by the integration of MODIS-EVI time series data and Chinas environment satellite （HJ-1） data[J]. Journal of the Indian Society of Remote Sensing， 2014， 42（4）： 859-867.

[11]BEYSOLOW T. Introduction to deep learning using R： a step-by-step guide to learning and implementing deep learning models using R [M]. Berkeley： Apress， 2017.

[12]GEETHA G， KIRTHIGADEVI T， PONSAM G G， et al. Image captioning using deep convolutional neural networks （CNNs）[J]. Journal of Physics： Conference Series， 2020， 1712： 012015.

[13]CHAUHAN R， GHANSHALA K K， JOSHI R C. Convolutional Neural Network （CNN） for image detection and recognition[C]// 2018 First International Conference on Secure Cyber Computing and Communication （ICSCCC）， Jalandhar， India： IEEE， 2018： 278-282.

[14]HU F， XIA G S， HU J W， et al. Transferring deep convolutional neural networks for the scene classification of high-resolution remote sensing imagery[J]. Remote Sensing， 2015， 7（11）： 14680-14707.

[15]ZHAO W， GUO Z， YUE J， et al. On combining multiscale deep learning features for the classification of hyperspectral remote sensing imagery [J]. International Journal of Remote Sensing， 2015， 36（13）： 3368-3379.

[16]CHENG G， MA C C， ZHOU P C， et al. Scene classification of high resolution remote sensing images using convolutional neural networks[C]// 2016 IEEE International Geoscience and Remote Sensing Symposium （IGARSS）， Beijing， China： IEEE， 2016： 767-770.

[17]HAN W， FENG R Y， WANG L Z， et al. Adaptive spatial-scale-aware deep convolutional neural network for high-resolution remote sensing imagery scene classification[C]// IGARSS 2018-2018 IEEE International Geoscience and Remote Sensing Symposium， Valencia， Spain： IEEE， 2018： 4736-4739.

[18]ZHANG X X， GUO Y， ZHANG X. High-resolution remote sensing image scene classification by merging multilevel features of convolutional neural networks[J]. Journal of the Indian Society of Remote Sensing， 2021（11）：1-13.

[19]ZHONG Y F， FEI F， ZHANG L P. Large patch convolutional neural networks for the scene classification of high spatial resolution imagery[J]. Journal of Applied Remote Sensing， 2016， 10（2）： 025006.

[20]THECKEDATH D ， SEDAMKAR R R. Detecting affect states using VGG16， ResNet50 and SE-ResNet50 networks[J]. SN Computer Science， 2020， 1（2） ： 18-37.

[21]KETKAR N. Convolutional neural networks. In： deep learning with Python[M]. Berkeley， CA： Apress， 2017.

[22]LE BRIS A， CHEHATA N， BRIOTTET X， et al. Extraction of optimal spectral bands using hierarchical band merging out of hyperspectral data[J]. ISPRS - International Archives of the Photogrammetry， Remote Sensing and Spatial Information Sciences， 2015， XL-3/W3： 459-465.