羅仙仙,許松芽,嚴(yán)洪,肖美龍,陳正超
(1.泉州師范學(xué)院 數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院,福建 泉州 362000;2.福建省大數(shù)據(jù)管理新技術(shù)與知識(shí)工程重點(diǎn)實(shí)驗(yàn)室,福建 泉州 362000;3.泉州師范學(xué)院教育科學(xué)學(xué)院,福建 泉州 362000;4.福建省林業(yè)調(diào)查規(guī)劃院,福建 福州 350000;5.泉州市林業(yè)局森林資源管理站,福建 泉州 362000;6.中國(guó)科學(xué)院空天信息創(chuàng)新研究院,北京 100094)
隨著“數(shù)字林業(yè)”不斷推進(jìn),遙感用于森林資源調(diào)查與監(jiān)測(cè)取得豐碩成果.航空遙感和衛(wèi)星遙感運(yùn)行高度高,云霧天氣影響樹(shù)種識(shí)別的遙感數(shù)據(jù)獲取與識(shí)別精度.因此,提高樹(shù)種識(shí)別精度是國(guó)際性關(guān)注的學(xué)術(shù)問(wèn)題.解決這一問(wèn)題突破口在于[1-2]:一是獲取好的遙感數(shù)據(jù)源,二是采取好的數(shù)據(jù)處理方法,包括遙感圖像預(yù)處理與選擇合適的分類(lèi)方法.
無(wú)人機(jī)(unmanned aerial vehicle,UAV)作為一種低空遙感工具,具有全天候、高分辨率、實(shí)時(shí)性、操作靈活、拍攝時(shí)間自由、飛行成本低等優(yōu)點(diǎn)[3-4],與傳統(tǒng)遙感相比,無(wú)人機(jī)低空航拍受天氣影響小,作業(yè)方式靈活;平臺(tái)建設(shè)與后期維護(hù)成本低;飛行高度較低,獲取的影像比例尺大、精度高、重疊率高,提高了后期處理影像的可靠性,這為林業(yè)遙感研究提供了新的技術(shù)手段.然而,傳統(tǒng)人工目視解譯方法和遙感圖像處理方法,并不能地對(duì)無(wú)人機(jī)遙感圖像進(jìn)行自動(dòng)識(shí)別,而且精度難以保證.深度學(xué)習(xí)是人工智能研究的一個(gè)重要分支,于2006年由多倫多大學(xué)Hinton教授提出[5],是一種有效的特征提取及分類(lèi)方法.其在計(jì)算機(jī)視覺(jué)領(lǐng)域快速發(fā)展,并取得了良好的效果,這為遙感圖像處理等領(lǐng)域提供了一種新的技術(shù)方法.深度學(xué)習(xí)方法用于無(wú)人機(jī)影像樹(shù)種識(shí)別初見(jiàn)端倪,該研究領(lǐng)域既可以實(shí)現(xiàn)計(jì)算機(jī)對(duì)樹(shù)種自動(dòng)識(shí)別,也可以進(jìn)行森林調(diào)查自動(dòng)區(qū)劃.總結(jié)無(wú)人機(jī)影像用于樹(shù)種識(shí)別的研究成果,指出當(dāng)前研究存在問(wèn)題,展望未來(lái)研究方向,以期為無(wú)人機(jī)技術(shù)在樹(shù)種識(shí)別、森林資源調(diào)查提供參考,以期更好改進(jìn)和完善我國(guó)森林資源監(jiān)測(cè)體系.
無(wú)人機(jī)主要根據(jù)大小和飛行動(dòng)力進(jìn)行區(qū)分,根據(jù)飛行原理和結(jié)構(gòu)可分為固定翼、旋翼和特殊構(gòu)型無(wú)人機(jī)[6].無(wú)人機(jī)遙感系統(tǒng)由無(wú)人機(jī)平臺(tái)、無(wú)人機(jī)載荷、地面控制系統(tǒng)與遙感數(shù)據(jù)處理系統(tǒng)組成[7].無(wú)人機(jī)可以搭載不同類(lèi)型的傳感器,如普通數(shù)碼相機(jī)(可見(jiàn)光)、激光雷達(dá)掃描儀、多光譜影像儀、高光譜影像儀等,利用不同數(shù)據(jù)源應(yīng)用于林業(yè)病蟲(chóng)監(jiān)測(cè)、林火監(jiān)測(cè)、野生動(dòng)植物監(jiān)測(cè)與識(shí)別、森林資源調(diào)查、林業(yè)執(zhí)法等[8].在林業(yè)中,最常用的是旋翼無(wú)人機(jī),可實(shí)現(xiàn)目標(biāo)懸停,更容易獲取森林的樹(shù)冠信息.
采集影像質(zhì)量直接影響后續(xù)分類(lèi)效果.根據(jù)機(jī)器學(xué)習(xí)方法所需要訓(xùn)練樣本與測(cè)試樣本,確定每個(gè)樹(shù)種所要拍攝相片的張數(shù),根據(jù)研究區(qū)域大小、樹(shù)種分布情況合理規(guī)劃好無(wú)人機(jī)飛行計(jì)劃,包括總體飛行次數(shù)、每次飛行區(qū)域大小、飛行的預(yù)計(jì)時(shí)間.為考慮樣本多樣性,飛行季節(jié)在春、秋兩季較多;為減少陰影對(duì)分類(lèi)影響,飛行時(shí)間盡量選擇正午時(shí)間;飛行高度是無(wú)人機(jī)外業(yè)飛行的重要參數(shù),根據(jù)文獻(xiàn)[11-19],無(wú)人機(jī)樹(shù)種識(shí)別飛行高度在20~280 m,應(yīng)根據(jù)研究目的、研究區(qū)域大小來(lái)確定.
高光譜具有非常窄的光譜波段,高空遙感的高光譜圖像常常用于樹(shù)種識(shí)別與提取.但因設(shè)備昂貴,搭載無(wú)人機(jī)的高光譜樹(shù)種識(shí)別研究較少.以高光譜遙感圖像為數(shù)據(jù)源的樹(shù)種識(shí)別算法主要分為基于光譜特征、基于光譜匹配和基于統(tǒng)計(jì)分析方法[20].楊禮基于無(wú)人機(jī)獲取的高光譜正射影像,在最小噪聲分離變換的基礎(chǔ)上,采用光譜角匹配方法對(duì)5個(gè)樹(shù)種進(jìn)行識(shí)別研究,總體精度達(dá)54.05%[21].四川雙利合譜科技有限公司運(yùn)用大疆的無(wú)人機(jī)M600 Pro自主研發(fā)的高光譜相機(jī)GaiaSky-mini2在上海交通大學(xué)閔行校區(qū)植物園進(jìn)行數(shù)據(jù)采集,采用最佳指數(shù)法進(jìn)行3個(gè)波段的特征選取,并采用see5.0決策樹(shù)方法進(jìn)行自動(dòng)分類(lèi),但未對(duì)拼接好的無(wú)人機(jī)高光譜影像數(shù)據(jù)進(jìn)行不同樹(shù)種的分類(lèi)識(shí)別[22].
機(jī)器學(xué)習(xí)方法可分為監(jiān)督分類(lèi)、非監(jiān)督分類(lèi)、半監(jiān)督分類(lèi)和強(qiáng)化學(xué)習(xí)[23].無(wú)人機(jī)樹(shù)種分類(lèi)常用監(jiān)督分類(lèi)方法,包括隨機(jī)森林、決策向量機(jī)、決策樹(shù)等.Franklin等選取加拿大安大略省東部0.1 km2硬闊林為研究區(qū)域,采用隨機(jī)森林方法,對(duì)4種成熟落葉樹(shù)種(糖槭、紅槭、白樺、山楊)進(jìn)行研究,總體精度達(dá)78%[14].Brovkina等選取捷克共和國(guó)中2個(gè)50 m×50 m方形樣地,同時(shí)進(jìn)行無(wú)人機(jī)多光譜數(shù)據(jù)獲取與地面調(diào)查,地面調(diào)查因子包括基本林分因子、枯立木與活立木、活力因子.基于對(duì)象圖像分析方法對(duì)云杉、冷杉、山毛櫸、枯死木總體分類(lèi)精度達(dá)78.4%[15].Liu等選取廣東省韶關(guān)市丹霞山內(nèi)12 km2為研究區(qū)域,采用8波段多光譜成像系統(tǒng)搭載無(wú)人機(jī),包括3個(gè)RGB通道和5個(gè)多光譜波段(550、600、700、750、850 nm),拍照721次.采用支持向量機(jī)與植被指數(shù)等構(gòu)成3級(jí)分類(lèi)方法,對(duì)稀少瀕危樹(shù)種——丹霞梧桐進(jìn)行提取,識(shí)別精度達(dá)76.9%[13].Sothe等以巴西南部約25 ha亞熱帶森林研究對(duì)象,采用支持向量機(jī)對(duì)12個(gè)樹(shù)種進(jìn)行識(shí)別研究.研究表明,結(jié)合3D高光譜點(diǎn)云數(shù)據(jù)、可見(jiàn)光/近紅外波段、冠層高度模型、植被指數(shù)4類(lèi)特征識(shí)別效果最佳,總體精度達(dá)到72.4%,Kappa達(dá)到70%[19].
卷積神經(jīng)網(wǎng)絡(luò)典型模型包括Let5、Caffenet、AlexNet、VGG[1].近年來(lái),卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)不斷改進(jìn)與優(yōu)化,2014年Goodfellow等提出生成對(duì)抗網(wǎng)絡(luò)(generative adversarial networks,GAN)[24],其核心思想是用神經(jīng)網(wǎng)絡(luò)來(lái)指導(dǎo)神經(jīng)網(wǎng)絡(luò),彼此之間通過(guò)相互學(xué)習(xí)和對(duì)抗達(dá)成一種納什均衡的狀態(tài).2015年Girshick等提出區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(region-based CNN,R-CNN)[25]、Ren等提出Faster R-CNN[26]、Long等提出全卷積神經(jīng)網(wǎng)絡(luò)(fully convolutional neural networks,F(xiàn)CN)[27]、Ronneberger提出U-Net[28]、Szegedy提出GoogleNet[29].2016年Dai等提出區(qū)域全卷積神經(jīng)網(wǎng)絡(luò)(R-FCN)[30].2017年Howard等提出MobileNets[31]、Tsung等提出RetinaNet[32]、Chen等提出DeepLabV3[33]、Huang等提出DenseNet[34]、Jégou等提出FC-DenseNet[35]、Badrinarayanan等提出SegNet[36].2018年Redmo等提出YOLOv3[37].
數(shù)據(jù)集質(zhì)量、大小決定了卷積神經(jīng)網(wǎng)絡(luò)用于無(wú)人機(jī)樹(shù)種識(shí)別精度.無(wú)人機(jī)樹(shù)種識(shí)別數(shù)據(jù)集總結(jié)如表1所示,研究區(qū)域面積在0.2 km2以下;識(shí)別樹(shù)種類(lèi)型最多為7類(lèi);樣本總數(shù)在[225,15 786],遠(yuǎn)遠(yuǎn)少于1 400萬(wàn)的大型可視化數(shù)據(jù)庫(kù)ImagNet和6萬(wàn)條數(shù)據(jù)的手寫(xiě)數(shù)字識(shí)別數(shù)據(jù)集MNIST;從具體樹(shù)種分類(lèi)上看,國(guó)外研究多于國(guó)內(nèi)研究,南方樹(shù)種識(shí)別較多,尚未見(jiàn)北方樹(shù)種識(shí)別;從總體精度上看,最低精度75.67%,最高精度為97.8%,精度與訓(xùn)練樣本、測(cè)試樣本大小有直接關(guān)系,部分研究尚未介紹外業(yè)采集方式、每個(gè)樹(shù)種樣本大小,這不利于數(shù)據(jù)集建設(shè)與共享.
表1 無(wú)人機(jī)樹(shù)種識(shí)別數(shù)據(jù)集Tab.1 Datasets of tree species identification from UAV
無(wú)人機(jī)樹(shù)種識(shí)別數(shù)據(jù)采集應(yīng)考慮季節(jié)、時(shí)間、高度、光照強(qiáng)度等因素,以增加樣本的多樣性,提高卷積神經(jīng)網(wǎng)絡(luò)識(shí)別能力和泛化能力.同時(shí),應(yīng)采取數(shù)據(jù)增強(qiáng)技術(shù)進(jìn)行樣本擴(kuò)充,減少外業(yè)數(shù)據(jù)采集工作和提升模型識(shí)別效果,數(shù)據(jù)增強(qiáng)通常采用幾何運(yùn)算中的平移、旋轉(zhuǎn)、縮放、鏡像、栽剪、扭曲、加噪中的一種或幾種.戴鵬欽等對(duì)原始圖像及其水平翻轉(zhuǎn)后分別旋轉(zhuǎn)90°、180°、270°將訓(xùn)練樣本量增加到原來(lái)的8倍[10].Onishi等采用隨機(jī)旋轉(zhuǎn)、高度和寬度變換、剪切、縮放、翻轉(zhuǎn)等對(duì)原始樣本擴(kuò)充至21倍[16].林志瑋等采用隨機(jī)角度旋轉(zhuǎn)的方式對(duì)影像進(jìn)行10次旋轉(zhuǎn),將原數(shù)據(jù)集數(shù)量擴(kuò)充10倍,同時(shí),采用水平鏡像和垂直鏡像將原數(shù)據(jù)集數(shù)量擴(kuò)充2倍[12].生成對(duì)抗網(wǎng)絡(luò)生成的圖像也可以作數(shù)據(jù)增強(qiáng),但尚未見(jiàn)文獻(xiàn)報(bào)道利用此方法作無(wú)人機(jī)樹(shù)種識(shí)別數(shù)據(jù)增強(qiáng).
3.3.1 卷積神經(jīng)網(wǎng)絡(luò)用于無(wú)人機(jī)樹(shù)種識(shí)別研究現(xiàn)狀 卷積神經(jīng)網(wǎng)絡(luò)用于無(wú)人機(jī)樹(shù)種識(shí)別剛處于超步階段.Onishi等對(duì)日本京都大學(xué)神木實(shí)驗(yàn)站的北部(0.11 km2)為研究區(qū)域,于2016年11月20日,利用大疆精靈4搭載1/2.3CMOS傳感器,獲取RGB圖像,采用GoogleNet方法對(duì)7類(lèi)樹(shù)種進(jìn)行分類(lèi),總體識(shí)別精度達(dá)89.0%[16].林志瑋以福建省安溪縣崩崗區(qū)為研究區(qū)域,采用無(wú)人機(jī)獲取20 m和40 m高的光學(xué)圖像,研究表明隨著航拍高度的上升,分類(lèi)正確率呈現(xiàn)下降趨勢(shì).隨著模型網(wǎng)絡(luò)層數(shù)的增加,模型分類(lèi)精度出現(xiàn)下降現(xiàn)象,DenseNet121 模型分類(lèi)精度高于DenseNet169模型分類(lèi)精度[12].同時(shí),林志瑋利用FC-DenseNet-103對(duì)馬尾松、檸檬桉和芒萁3 類(lèi)優(yōu)勢(shì)樹(shù)種進(jìn)行分類(lèi),分類(lèi)精度分別為79%、70%和78%.利用Dense模塊提取樹(shù)種圖像特征并增強(qiáng)深層網(wǎng)絡(luò)信息,上下采樣層的功能也有所不同,上層主要采集數(shù)據(jù)特征信息,而下層則是為了凸顯圖像的特征信息.實(shí)驗(yàn)表明FC-DenseNet-103在進(jìn)行優(yōu)勢(shì)樹(shù)種分類(lèi)任務(wù)中有良好的表現(xiàn),同時(shí)該方法還能夠有效解決數(shù)據(jù)集樣本數(shù)量不足、模型分割結(jié)果邊緣存在噪聲所導(dǎo)致的實(shí)驗(yàn)精度不足的問(wèn)題[38].Natesan等以加拿大安大略省彼得華華保護(hù)林為研究對(duì)象利用無(wú)人機(jī)搭載尼康D810單反相機(jī),采集等紅松、白松、香脂冷杉、白云杉、東方白柏等5個(gè)樹(shù)種共9 772個(gè)樣本,采用DenseNet121網(wǎng)絡(luò)進(jìn)行樹(shù)種識(shí)別,總體精度達(dá)84%[39].Santos等選取巴西中西部城市3個(gè)研究區(qū)域,利用大疆精靈4搭載CMOS傳感器,于2018年8月至2019年2月,進(jìn)行6次飛行任務(wù),對(duì)城市瀕危樹(shù)種巴魯仁進(jìn)行識(shí)別研究,獲取RGB圖像(2 000萬(wàn)像素)392張,共110棵樹(shù).比較3種卷積神經(jīng)網(wǎng)絡(luò)(Faster R-CNN、YOLOv3、RetinaNet)樹(shù)種識(shí)別優(yōu)劣,研究表明RetinaNet取得最好識(shí)別精度,總體精度達(dá)到92.64%[18].Torres等借用Santos創(chuàng)建的數(shù)據(jù)集,選取其中225個(gè)樣本,比較五種全卷積神經(jīng)網(wǎng)絡(luò)(SegNet、U-Net、FC-DenseNet、DeepLabv3+Xception、DeepLabv3+MobileNetV2),研究表明FC-DenseNet網(wǎng)絡(luò)結(jié)構(gòu)取得最好識(shí)別精度,總體精度達(dá)到96.7%[40].戴鵬欽等基于Res-U-Net 模型的全卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行5類(lèi)樹(shù)種識(shí)別,發(fā)現(xiàn)融合了可見(jiàn)光差異植被指數(shù)VDVI和過(guò)紅減過(guò)綠指數(shù)ExG-ExR的Res-U-Net方法可提高馬尾松與杉木的區(qū)分度[10].
3.3.2 利用遷移學(xué)習(xí)的無(wú)人機(jī)樹(shù)種識(shí)別研究現(xiàn)狀 遷移學(xué)習(xí)是運(yùn)用已存有的知識(shí)對(duì)不同但相關(guān)領(lǐng)域問(wèn)題進(jìn)行求解的一種新的機(jī)器學(xué)習(xí)方法[41].將經(jīng)過(guò)一項(xiàng)任務(wù)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)的知識(shí)“遷移”到訓(xùn)練相關(guān)任務(wù)的另一個(gè)網(wǎng)絡(luò),根據(jù)卷積神經(jīng)網(wǎng)絡(luò)的可解釋性,其紋理、輪廓、形狀、顏色等特征提取器是通用的,將訓(xùn)練好的模型中的一些權(quán)值和中間層遷移到新模型中,可以節(jié)省訓(xùn)練時(shí)間和提高識(shí)別精度.近兩年,有遷移學(xué)習(xí)用于無(wú)人機(jī)樹(shù)種識(shí)別引起相關(guān)研究者的關(guān)注與應(yīng)用.王莉影等運(yùn)用遷移學(xué)習(xí)方法,采用ImageNet上訓(xùn)練的Inception-v3模型進(jìn)行對(duì)樹(shù)種圖像進(jìn)行特征提取,利用東北林業(yè)大學(xué)實(shí)驗(yàn)林場(chǎng)數(shù)據(jù)集重新訓(xùn)練一個(gè)新的全連接層和Softmax層,進(jìn)行針葉林、闊葉林分類(lèi)研究,樣本1 300張低空遙感數(shù)據(jù),總體分類(lèi)精度為98.4%,Kappa系數(shù)為0.987[42].滕文秀等以江蘇省東臺(tái)市東臺(tái)林場(chǎng)為研究區(qū)域,對(duì)4類(lèi)樹(shù)種進(jìn)行識(shí)別研究,提出了樹(shù)種分類(lèi)與制圖的深度遷移學(xué)習(xí)方法,采用在ImageNet數(shù)據(jù)集上性能較好的VGG16作為預(yù)訓(xùn)練模型,利用全局平均池化壓縮特征并與全連接層每個(gè)節(jié)點(diǎn)連接.采用簡(jiǎn)單線性迭代聚類(lèi)(SLIC)算法,對(duì)原始無(wú)人機(jī)高分影像進(jìn)行超像素分割,最終生成樹(shù)種專(zhuān)題地圖.較好解決數(shù)據(jù)量不足引起的過(guò)擬合問(wèn)題[9].Natesan等以加拿大安大略省彼得華華保護(hù)林為研究對(duì)象,采用在ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練過(guò)的ResNet50模型,并外加最大池化層與4層全連接層,基于Kera框架對(duì)3類(lèi)樹(shù)種進(jìn)行識(shí)別,總體精度達(dá)80%,研究表明當(dāng)樣本量增大時(shí),可以提高識(shí)別精度[17].目前,2020年5月谷歌推出計(jì)算機(jī)視覺(jué)領(lǐng)域先進(jìn)的遷移學(xué)習(xí)模型BigTransfer(BiT),BiT是一組經(jīng)過(guò)預(yù)先訓(xùn)練的模型,在新數(shù)據(jù)集上進(jìn)行簡(jiǎn)單的遷移學(xué)習(xí)就能獲得優(yōu)秀的性能[43].
深度學(xué)習(xí)方法用于無(wú)人機(jī)樹(shù)種識(shí)別研究初見(jiàn)端倪,與人工智能技術(shù)融合將加速發(fā)展,但阻礙該研究領(lǐng)域的是無(wú)人機(jī)樹(shù)種識(shí)別數(shù)據(jù)集建設(shè)與共享.目前,尚沒(méi)開(kāi)放的無(wú)人機(jī)樹(shù)種識(shí)別數(shù)據(jù)集,國(guó)家或行業(yè)應(yīng)加強(qiáng)此項(xiàng)領(lǐng)域建設(shè),以促進(jìn)智慧林業(yè)研究.同時(shí),應(yīng)充分利用對(duì)抗生成網(wǎng)絡(luò)作數(shù)據(jù)增強(qiáng).
卷積神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)不斷優(yōu)化,針對(duì)無(wú)人機(jī)采集不同數(shù)據(jù)源及不同樹(shù)種,應(yīng)逐步建立基于卷積神經(jīng)網(wǎng)絡(luò)的無(wú)人機(jī)影像樹(shù)種識(shí)別的技術(shù)體系、標(biāo)準(zhǔn)與規(guī)范,包括建立優(yōu)化的網(wǎng)絡(luò)結(jié)構(gòu)標(biāo)、超參數(shù)配置等.利用遷移學(xué)習(xí)方法,在相關(guān)數(shù)據(jù)集訓(xùn)練完成模型的權(quán)重參數(shù)作為新模型訓(xùn)練時(shí)的初始權(quán)重,以提升訓(xùn)練時(shí)間與識(shí)別精度.利用谷歌的遷移學(xué)習(xí)模型BigTransfer用于無(wú)人機(jī)樹(shù)識(shí)別也是一個(gè)重要方向.
針對(duì)無(wú)人機(jī)采集圖像快、影像分辨率高、數(shù)據(jù)量大等特點(diǎn),采用嵌入式設(shè)備,集成GPU資源,采用框架技術(shù)(如Spark-streaming流式處理組件)進(jìn)行實(shí)時(shí)與批量計(jì)算,從而實(shí)現(xiàn)實(shí)時(shí)動(dòng)態(tài)監(jiān)測(cè).在此基礎(chǔ)上,應(yīng)拓展研究?jī)?nèi)容,如復(fù)雜林分樹(shù)種識(shí)別、天然林演替、森林資源調(diào)查中小班自動(dòng)勾劃、森林火災(zāi)監(jiān)測(cè)等,在樣地、林分尺度,甚至更大尺度開(kāi)展森林健康監(jiān)測(cè),從而改進(jìn)和完善森林資源監(jiān)測(cè)體系.