劉世川,王慶,唐晴,劉浪,何輝羽,蘆佳飛,戴秀清
(長(zhǎng)江大學(xué)地球科學(xué)學(xué)院,武漢 430100)
森林病蟲(chóng)害是森林健康和林業(yè)生產(chǎn)的宿敵。松材線蟲(chóng)是對(duì)松樹(shù)危害較大的外來(lái)入侵物種之一,感染松樹(shù)后會(huì)造成松樹(shù)針葉黃褐色或紅褐色,在6個(gè)月內(nèi)即可導(dǎo)致病樹(shù)整株干枯死亡,且繁殖速度快、傳播途徑廣、傳播范圍廣、難以防治,是使松林大片被毀的重要害蟲(chóng)。因此,及時(shí)發(fā)現(xiàn)松材線蟲(chóng)病樹(shù)至關(guān)重要,可以利用遙感技術(shù)實(shí)現(xiàn)高效率監(jiān)測(cè)松材樹(shù)木的健康情況。
已有許多學(xué)者對(duì)遙感技術(shù)在松材線蟲(chóng)病樹(shù)識(shí)別上進(jìn)行了研究。N?si等[1]基于個(gè)體樹(shù)分析和經(jīng)過(guò)校準(zhǔn)的高光譜遙感圖像識(shí)別出被樹(shù)皮甲蟲(chóng)侵?jǐn)_的樹(shù)木。通過(guò)單個(gè)樹(shù)級(jí)別的高光譜UAV成像的機(jī)器視覺(jué)技術(shù)可以識(shí)別樹(shù)木的不同階段。Hilker等[2]通過(guò)多角度觀察高光譜分辨率的遙感圖像檢測(cè)樹(shù)葉狀況通過(guò)提取與冠層反射有關(guān)的擾動(dòng)變化,進(jìn)而在時(shí)間和頻譜上密集的數(shù)據(jù)中檢測(cè)到葉綠素含量的變改。
近年來(lái),深度學(xué)習(xí)逐漸成為人工智能領(lǐng)域的研究熱點(diǎn)和主流發(fā)展方向,利用多個(gè)處理層組成的計(jì)算模型,學(xué)習(xí)具有多個(gè)抽象層次數(shù)據(jù)表示的機(jī)器學(xué)習(xí)技術(shù),促進(jìn)了松材線蟲(chóng)病樹(shù)遙感影像識(shí)別的發(fā)展。卷積神經(jīng)網(wǎng)絡(luò)作為最熱門(mén)的深度學(xué)習(xí)模型算法,其不需要人為設(shè)計(jì)目標(biāo)特征,不僅提高了模型的訓(xùn)練和測(cè)試速度,且會(huì)根據(jù)海量數(shù)據(jù)和標(biāo)注自行進(jìn)行有效特征提取和學(xué)習(xí),在訓(xùn)練數(shù)據(jù)充足的情況下,模型具有良好的泛化能力,能夠在復(fù)雜多變的條件下依然保持良好的穩(wěn)健性。Guirado等[3]使用卷積神經(jīng)網(wǎng)絡(luò)識(shí)別Google Earth中影像的植被覆蓋區(qū)域,識(shí)別范圍雖然廣,但識(shí)別精度粗糙,影像拍攝時(shí)間也不一定利于識(shí)別,故遙感影像數(shù)據(jù)源需要更加可控靈活,例如無(wú)人機(jī)遙感技術(shù)。孫鈺等[4]基于Faster R-CNN神經(jīng)網(wǎng)絡(luò)模型設(shè)計(jì)了監(jiān)測(cè)油松紅脂大小蠹的病害樹(shù)木,并結(jié)合了無(wú)人機(jī)技術(shù),實(shí)現(xiàn)了高效的無(wú)人機(jī)實(shí)時(shí)監(jiān)測(cè),但對(duì)于光譜信息沒(méi)有初步篩選,會(huì)對(duì)神經(jīng)網(wǎng)絡(luò)模型識(shí)別效率產(chǎn)生影響,在識(shí)別中加入特征篩選步驟后將提高識(shí)別效率。針對(duì)松材線蟲(chóng)病樹(shù),Deng等[5]結(jié)合了無(wú)人機(jī)技術(shù),并對(duì)VGG16網(wǎng)絡(luò)模型進(jìn)行優(yōu)化,最終達(dá)到較高的準(zhǔn)確度,但網(wǎng)絡(luò)模型的結(jié)構(gòu)還有優(yōu)化的空間,可將網(wǎng)絡(luò)模型識(shí)別的注意力集中,再增加識(shí)別準(zhǔn)確度。Iordache等[6]利用航拍的高光譜影像和多光譜影像相結(jié)合,由于其具有一般影像更多的光譜信息,結(jié)合隨機(jī)樹(shù)機(jī)器學(xué)習(xí)方法得到了較高的識(shí)別準(zhǔn)確度,但由于單株樣本數(shù)據(jù)量較大,隨機(jī)樹(shù)模型的處理速度也會(huì)受到影響,松材線蟲(chóng)病樹(shù)光譜特征較為明顯,可選用高分辨率影像替換高光譜影像進(jìn)行識(shí)別。
因此,本研究采用較為成熟的卷積神經(jīng)網(wǎng)絡(luò)模型VGG(visual geometry group network)的簡(jiǎn)化模型VGG-S(simplification,即針對(duì)松材線蟲(chóng)病樹(shù)進(jìn)行簡(jiǎn)化)作為深度學(xué)習(xí)模型,以高分辨率遙感影像為提取對(duì)象,對(duì)松材線蟲(chóng)病樹(shù)的植被指數(shù)、顏色模型、空間分布特征進(jìn)行多特征分析,以速度快、針對(duì)性強(qiáng)的方法篩選疑似病樹(shù);并結(jié)合注意力機(jī)制神經(jīng)網(wǎng)絡(luò)VGG-A(attention module,即結(jié)合注意力機(jī)制)的深度學(xué)習(xí),從疑似病樹(shù)樣本中自動(dòng)識(shí)別病樹(shù),在保證高效率的同時(shí)提高識(shí)別精度。
通過(guò)人工篩選高分辨率航空樣本影像(含紅色、綠色、藍(lán)色和近紅外波段),取樣得到病樹(shù)、健康樹(shù)、房屋、裸土地和柏油路的樣本像元區(qū)域。計(jì)算樣本像元區(qū)域的光譜特征,利用Relief特征選擇算法,得到二分類病樹(shù)和非病樹(shù)的最佳特征。將最佳特征的病樹(shù)像元樣本集進(jìn)行統(tǒng)計(jì)分析,取得合適閾值構(gòu)建病樹(shù)的光譜特征模型,用以在目標(biāo)影像上篩選出病樹(shù)像元。再運(yùn)用空間聚類算法對(duì)像元進(jìn)行聚類分析,并剔除周圍一定范圍內(nèi)不附著健康樹(shù)像元的病樹(shù)像元,得到疑似病樹(shù)像元集。再將疑似病樹(shù)像元集和位置相同的原始影像進(jìn)行人工判讀,將被判讀為病樹(shù)的原始影像裁剪成為病樹(shù)樣本集,反之裁剪健康樹(shù)樣本集。把這兩個(gè)樣本集分別作為VGG-S訓(xùn)練樣本,將VGG-S與注意力機(jī)制相結(jié)合(VGG-A),從而得到松材線蟲(chóng)病樹(shù)影像識(shí)別準(zhǔn)確率較高的識(shí)別模型。最后把識(shí)別模型放入完整的松材線蟲(chóng)影像中進(jìn)而得到一個(gè)完整病樹(shù)的分布范圍,如圖1所示。
圖1 技術(shù)路線Fig. 1 Technical route
由于松材線蟲(chóng)的侵染能明顯引起寄主植株葉綠素、類胡蘿卜素發(fā)生改變,導(dǎo)致植物光譜特征發(fā)生變化。健康松樹(shù)的反射光譜在綠光區(qū)(510~570 nm)有一個(gè)較低的反射峰值;紅光區(qū)(640~680 nm)有一個(gè)較低的吸收谷值;感染松材線蟲(chóng)后松樹(shù)綠光區(qū)的反射峰會(huì)逐漸減弱,紅光區(qū)的吸收谷卻會(huì)逐漸增強(qiáng)。高分辨率影像上的病樹(shù)像元會(huì)表現(xiàn)出聚集性的空間特性,由此可篩去部分噪點(diǎn),并且滿足周圍一定范圍內(nèi)有健康樹(shù)木的空間分布特性,獲取疑似病樹(shù)像元集,利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)疑似病樹(shù)像元集進(jìn)行進(jìn)一步的識(shí)別,從而得到一個(gè)識(shí)別率高的松材線蟲(chóng)病樹(shù)的范圍分布圖。
1.2.1 植被指數(shù)
植被指數(shù)是利用綠色植被在不同波段的反射和吸收特性,對(duì)傳感器不同波段進(jìn)行組合運(yùn)算,增強(qiáng)植被的信息。它本質(zhì)上是綜合考慮各有關(guān)光譜信號(hào),把多波段反射率做一定的數(shù)學(xué)變換,使其在增強(qiáng)植被信息的同時(shí),使非植被信息最小化。目前較為常見(jiàn)的歸一化植被指數(shù)NDVI(normalized vegetation index,INDV)、比值植被指數(shù)RVI(ratio vegetation index,IRV)、差值植被指數(shù)DVI(difference vegetation index,IDV)、增強(qiáng)型植被指數(shù) EVI(enhanced vegetation index,IEV)、歸一化綠紅差異指數(shù)NGRDI(normalized green-red difference index,INGRD)、仿照NGRDI構(gòu)造的歸一化綠藍(lán)差異指數(shù)NGBDI(normalized green-blue difference index,INGBD)及紅綠比值指數(shù) RGRI(red-green ratio index,IRGR)[7],計(jì)算公式如表1所示。
表1 植被指數(shù)計(jì)算公式Table 1 The vegetation index calculation formula
1.2.2 顏色空間模型
在可見(jiàn)光范圍,松材線蟲(chóng)病樹(shù)死亡前的顏色變化主要包括:先是褪色發(fā)黃,此現(xiàn)象可以出現(xiàn)在單枝或少量枝條上,也可出現(xiàn)在整株,針葉進(jìn)而枯萎變成紅褐色。現(xiàn)在絕大部分的彩色圖像是基于RGB顏色三基色的模型,但RGB空間中3個(gè)分量之間存在很強(qiáng)的相關(guān)性,因而不適合直接用于基于3個(gè)分量獨(dú)立運(yùn)算的圖像分割。利用各種變換,可以由RGB空間推導(dǎo)出其他顏色空間(表2)。
表2 顏色空間模型Table 2 Color space model
1.2.3 Relief特征選擇算法
Relief算法是一種高效的過(guò)濾式特征選擇方法,由Kira等[8]提出用于二分類問(wèn)題的特征選擇算法,根據(jù)各個(gè)特征和類別的相關(guān)性賦予特征不同的權(quán)重,權(quán)重小于某個(gè)閾值的特征將被移除。Relief算法中特征和類別的相關(guān)性是基于特征對(duì)近距離樣本的區(qū)分能力。計(jì)算公式如下:
式中:樣本集為S,特征集為A,設(shè)抽樣次數(shù)為n,xi為樣本集S中的單個(gè)樣本;aj為特征集A中的單個(gè)特征;Nh為與xi同類別的最近鄰;Nm為與xi非同類別的最近鄰。若xi與Nh在特征aj上的距離小于xi與Nm的距離,則說(shuō)明aj對(duì)區(qū)分同類與異類樣本是有利的,反之則不利,Wj為aj的權(quán)重,Wj的值越大則說(shuō)明該屬性的分類能力越強(qiáng)[9]。
利用Relief特征選擇算法得到單個(gè)樣本對(duì)每個(gè)特征的評(píng)價(jià)值,將所有樣本對(duì)同一個(gè)特征的評(píng)價(jià)值進(jìn)行平均就得到了該屬性的相關(guān)統(tǒng)計(jì)分量,分量值越大,分類能力就越強(qiáng),從而選出最優(yōu)特征用以分類病樹(shù)像元和非病樹(shù)像元。
1.2.4 多尺度卷積神經(jīng)網(wǎng)絡(luò)病樹(shù)識(shí)別
卷積神經(jīng)網(wǎng)絡(luò)是一種包含卷積計(jì)算并且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò),是深度學(xué)習(xí)算法的其中之一。多尺度輸入是指輸入任意大小的影像以及將卷積神經(jīng)網(wǎng)絡(luò)所有中間層的特征融合到最后提取結(jié)果中。多尺度輸入卷積神經(jīng)網(wǎng)絡(luò)包括輸入層、隱含層和輸出層。
輸入層:輸入一般為整張影像或影像中的一部分區(qū)域。
隱含層:對(duì)輸入層的數(shù)據(jù)進(jìn)行特征提取、特征選擇以及信息過(guò)濾,包括卷積層、池化層、全連接層。
輸出層:采用邏輯函數(shù)或歸一化函數(shù)輸出分類標(biāo)簽。
本研究以VGG為參考模型建立一個(gè)專門(mén)識(shí)別松材線蟲(chóng)病樹(shù)的神經(jīng)網(wǎng)絡(luò)模型——VGG-S[10-11],該模型擁有4個(gè)卷積層和1個(gè)全連接層。其中的卷積層中第1層使用1個(gè)3×3的卷積核,第2層使用2個(gè)3×3的卷積核,第3層使用3個(gè)3×3的卷積核,提高學(xué)習(xí)精度。該模型經(jīng)過(guò)上層采樣后傳遞給全連層進(jìn)行特征分類,最后再由Softmax輸出分類結(jié)果。
注意力機(jī)制是由Yann等[12]首先應(yīng)用于神經(jīng)機(jī)器翻譯,主要內(nèi)容是選擇關(guān)注所有信息的一部分并忽略其他可見(jiàn)的信息。在卷積神經(jīng)網(wǎng)絡(luò)中,CBAM(convolutional block attention module)是一種結(jié)合了空間和通道的注意力機(jī)制模塊(圖2)。
圖2 CBAM模型Fig. 2 CBAM model
圖3 通道注意力Fig. 3 Channel attention
通道注意力模塊:關(guān)注的是這張圖上哪些內(nèi)容是有重要作用的。通過(guò)輸入的特征圖在空間維度進(jìn)行壓縮,得到一個(gè)一維矢量后再進(jìn)行操作。在空間維度上進(jìn)行壓縮時(shí),不僅考慮到了平均值池化還考慮了最大值池化。平均值池化對(duì)特征圖上的每一個(gè)像素點(diǎn)都有反饋,而最大值池化在進(jìn)行梯度反向傳播計(jì)算時(shí),只有特征圖中響應(yīng)最大的地方有梯度的反饋(圖3)。
Mc(F)=σ{MLP[AvgPool(F)]+
MLP[MaxPool(F)]}Mc(F)
空間注意力模塊:關(guān)注“哪里”是最具信息量的部分,對(duì)通道進(jìn)行壓縮,在通道維度分別進(jìn)行了平均值池化和最大值池化。MaxPool的操作就是在通道上提取最大值,提取的次數(shù)為高乘以寬;AvgPool的操作就是在通道上提取平均值,提取的次數(shù)也是高乘以寬;接著將前面所提取的特征圖(通道數(shù)都為1)合并得到一個(gè)2通道的特征圖[13](圖4)。
圖4 空間注意力Fig. 4 Spatial attention
MS(F)=σ(f7×7([AvgPool(F);MaxPool(F)]))
將CBAM添加到VGG-S的relu激活函數(shù)之后、最大池化層之前[14-15],得到VGG-A模型(圖5)。
圖5 VGG-A結(jié)合模型Fig. 5 VGG-A combination model
研究區(qū)位于湖北省松滋市北部,該地是松材線蟲(chóng)病暴發(fā)的重點(diǎn)監(jiān)測(cè)區(qū)。松材線蟲(chóng)病樹(shù)的遙感監(jiān)測(cè)的窗口期包括春秋兩季,春季宜在4月下旬至5月初進(jìn)行,此時(shí)健康植被處于茂盛階段,易于和病樹(shù)區(qū)分;秋季宜在9月下旬至10月上旬進(jìn)行,此時(shí)是發(fā)病的高峰期[16],且10月中下旬后,楓香、山胡椒等許多落葉闊葉樹(shù)也開(kāi)始變色,對(duì)病樹(shù)的監(jiān)測(cè)帶來(lái)極大干擾[17],通常春季監(jiān)測(cè)用于上年度病樹(shù)除治效果的評(píng)估,而秋季監(jiān)測(cè)用于當(dāng)年除治計(jì)劃的制定[18]。本研究數(shù)據(jù)采集時(shí)間為2019年10月初,由無(wú)人直升機(jī)搭載徠卡ADS100航空攝影系統(tǒng)進(jìn)行采集,拍攝地點(diǎn)30°1′33″~30°1′46″N、111°43′9″~111°44′24″E和30°38′6″~30°38′23″N、111°33′48″~111°34′16″E附近,獲取包含紅、綠、藍(lán)、近紅外4個(gè)波段,空間分辨率0.1 m的高分辨率遙感影像數(shù)據(jù)。
該區(qū)域地物類別主要為房屋、道路、草地、空地和健康樹(shù)木和病樹(shù)。由于高分辨率遙感影像中地物顏色更明顯、輪廓更清晰,故將房屋細(xì)分為藍(lán)頂房屋和灰頂房屋,道路分為柏油路面和水泥路面。采用人工取樣的形式,得到病樹(shù)、健康樹(shù)、藍(lán)頂房屋、灰頂房屋、裸土、柏油路和小路的像元區(qū)域(圖6),并統(tǒng)計(jì)出像元樣本數(shù)量(表3)。
圖6 人工取樣示意圖Fig. 6 Manual sampling schematic
在表3的地物分類中,之所以將非病樹(shù)分開(kāi)標(biāo)注,是為了研究病樹(shù)與各類地物的特征差異,有利于本研究能應(yīng)用于不同的場(chǎng)景,比如DVI指標(biāo)很難區(qū)分病樹(shù)和草地,但如果有松林圖斑數(shù)據(jù),可以將草地篩選掉,那么DVI就能更好地識(shí)別病樹(shù);而在深度學(xué)習(xí)訓(xùn)練階段,因?yàn)樯疃葘W(xué)習(xí)強(qiáng)大的學(xué)習(xí)能力,無(wú)須進(jìn)一步區(qū)分能適應(yīng)不同情況,因此將非病樹(shù)樣本合在一起和病樹(shù)構(gòu)成兩類進(jìn)行訓(xùn)練。
表3 各地物像元樣本總數(shù)Table 3 Total number of samples of objects in various places
特征:將各植被指數(shù)和各顏色模型所包含的各分量作為單獨(dú)特征種類,總計(jì)20種特征。
數(shù)量:由于樣本數(shù)量參差不齊,以及考慮到運(yùn)算耗時(shí),各類地物選取300份樣本,總計(jì)2 100份樣本。
Relief特征選擇算法得出各特征所對(duì)應(yīng)的權(quán)重(表4)。
表4 各特征權(quán)重Table 4 Weights for each feature
圖7 各參數(shù)箱線圖Fig. 7 Box line chart situ
取權(quán)重大于0.1的8個(gè)特征進(jìn)行特征選擇數(shù)量2~8的討論,對(duì)拍攝于30°1′44.54″~30°1′55.88″N、111°43′13.58″~111°43′28.80″E,圖幅大小為3 495×4 079,人工識(shí)別177個(gè)病樹(shù)的圖片利用不同數(shù)量的特征進(jìn)行病樹(shù)識(shí)別,識(shí)別結(jié)果見(jiàn)表5。
當(dāng)選擇權(quán)重前3的DVI、I2、I3作為病樹(shù)模型參數(shù)時(shí),漏選率較低且錯(cuò)選率也同時(shí)較低,保證錯(cuò)誤數(shù)盡量低的同時(shí)正確數(shù)也是最高。DVI、I2、I3各參數(shù)的箱線圖見(jiàn)圖7。
表5 各數(shù)量特征識(shí)別結(jié)果Table 5 Recognition results of various quantitative features
本實(shí)驗(yàn)中,所用訓(xùn)練樣本的計(jì)算機(jī)配置為lntel(R) Core(TM)i7-7700HQ CPU @2.80Hz 2.81 GHz 處理器,8 GB內(nèi)存和Windows版本的Pycharm平臺(tái)。CNN模型包含4次卷積和池化,1個(gè)全連接層,全連接層后采用Softmax進(jìn)行分類。
本研究中VGG-A算法的訓(xùn)練和驗(yàn)證都是基于Keras神經(jīng)網(wǎng)絡(luò)庫(kù),訓(xùn)練階段利用自制尺寸為80×80的影像數(shù)據(jù)集對(duì)VGG-A進(jìn)行訓(xùn)練操作,然后基于多次實(shí)驗(yàn)參數(shù)設(shè)置比較以及鑒于本實(shí)驗(yàn)計(jì)算機(jī)配置,整個(gè)算法BatchSize設(shè)為256,設(shè)初始學(xué)習(xí)率設(shè)置為0.001,epochs設(shè)置為50。最終訓(xùn)練精度達(dá)到96.68%,驗(yàn)證集平均精度在90.15%。
對(duì)拍攝地點(diǎn)30°1′N、111°43′E附近的3幅高分辨率遙感影像篩選病樹(shù),在中央處理器為i7-7700HQ、圖形處理器為GTX1050Ti、ROM為8 GB的計(jì)算機(jī)上分別進(jìn)行多特征識(shí)別、VGG-S識(shí)別以及VGG-A識(shí)別,將結(jié)果與人工目判結(jié)果進(jìn)行對(duì)比(圖8),得到統(tǒng)計(jì)結(jié)果(表6),其中多特征方法的平均檢準(zhǔn)率為78.23%,平均檢全率為95.05%;VGG-S方法的平均檢準(zhǔn)率為82.61%,平均檢全率為94.06%;VGG-A方法的平均檢準(zhǔn)率為85.45%,平均檢全率為93.07%;VGG-S與VGG-A兩個(gè)模型的訓(xùn)練和預(yù)測(cè)耗時(shí)如表7所示。
圖8 識(shí)別結(jié)果對(duì)比Fig. 8 Comparison of recognition results
表6 多特征、VGG-S和VGG-A檢測(cè)數(shù)據(jù)統(tǒng)計(jì)Table 6 Multi-feature, VGG-S and VGG-A test data statistics
表7 VGG-S和VGG-A模型訓(xùn)練和預(yù)測(cè)耗時(shí)Table 7 VGG-S and VGG-A model training and prediction time-consuming
利用多特征提取高分辨率遙感影像中的松材線蟲(chóng)病樹(shù),平均檢測(cè)準(zhǔn)確率為78.23%、平均檢全率為95.05%,由于后續(xù)識(shí)別模型都是在多特征識(shí)別的基礎(chǔ)上,平均檢全率無(wú)法提高;結(jié)合使用VGG-S神經(jīng)網(wǎng)絡(luò)模型的深度學(xué)習(xí)后,平均檢測(cè)準(zhǔn)確率提高至82.61%;再將CBAM加入VGG-S模型后得到VGG-A模型,進(jìn)一步將平均檢測(cè)準(zhǔn)確率提高至85.45%,但平均檢全率下降至93.07%。
由于高分辨率遙感影像獲取方式的靈活性,雖然實(shí)驗(yàn)數(shù)據(jù)在不同拍攝條件下得到的光譜特征不同從而可能導(dǎo)致結(jié)果的改變,例如在實(shí)驗(yàn)過(guò)程中,影像1和影像3的光照強(qiáng)度不足,導(dǎo)致部分林木在影像上無(wú)法被識(shí)別,從而導(dǎo)致漏檢率較高;但是可以通過(guò)無(wú)人機(jī)航拍等方式進(jìn)行快速獲取遙感影像數(shù)據(jù),從所獲得的影像數(shù)據(jù)中篩選出質(zhì)量更高的影像進(jìn)行識(shí)別。
針對(duì)3種不同的識(shí)別方法,要實(shí)現(xiàn)大面積、及時(shí)地監(jiān)測(cè)松材樹(shù)木的健康狀況,采用基于多特征提取和注意力機(jī)制神經(jīng)網(wǎng)絡(luò)的高分辨率遙感影像識(shí)別技術(shù)在傳統(tǒng)多特征提取的基礎(chǔ)上實(shí)現(xiàn)了高準(zhǔn)確率、高精度監(jiān)測(cè),更有利于保護(hù)松材樹(shù)木的森林資源。