結(jié)合高光譜特征與語義分割的水稻產(chǎn)量分類*

盧 柱 齊 亮 李邦昱，2

（1.江蘇科技大學(xué)電子信息學(xué)院 鎮(zhèn)江 212003）

（2.中國科學(xué)院自動化研究所 北京 100190）

1 引言

水稻育種是一個(gè)極其復(fù)雜的過程，在常規(guī)育種的選擇過程中，準(zhǔn)確估算農(nóng)作物的生物量十分重要，目前估算農(nóng)作物的生物量的工作主要依靠人工測量。然而，人工測量農(nóng)作物生物量是主觀的，缺乏魯棒性或可重復(fù)性，并且對于較大面積的農(nóng)田來說非常耗時(shí)［1］。隨著無人機(jī)技術(shù)和光譜成像技術(shù)的發(fā)展，基于無人機(jī)的高光譜相機(jī)在農(nóng)作物生物量測量的高通量表型領(lǐng)域的應(yīng)用越來越廣泛［2］。

目前，基于高光譜數(shù)據(jù)預(yù)測出高產(chǎn)的水稻品種通常是通過預(yù)測回歸模型來實(shí)現(xiàn)的［3～5］，如最大似然分類方法、最小錯(cuò)誤概率的貝葉斯分類器［6］、SVM［7］等。

近年來，深度學(xué)習(xí)的發(fā)展給利用農(nóng)作物高光譜圖像進(jìn)行分類預(yù)測帶來了新的機(jī)遇。2015 年，Hu等［8］將卷積神經(jīng)網(wǎng)絡(luò)（CNN）引入高光譜分類中，該方法利用了光譜信息作為分類依據(jù)。閆苗等［9］通過分析不同CNN 模型對高光譜圖像的分類效果，證實(shí)了CNN 模型在高光譜遙感地物分類中具有較高的識別率。2019 年，魏祥坡等［10］結(jié)合殘差網(wǎng)絡(luò)和密集網(wǎng)絡(luò)設(shè)計(jì)了殘差密集網(wǎng)絡(luò)模型（ResDen-Net），該模型充分利用了所有分層特征，增強(qiáng)了分類方法的穩(wěn)定性。

本文的研究中，我們結(jié)合了高光譜數(shù)據(jù)和深度學(xué)習(xí)語義分割算法來分類預(yù)測出高產(chǎn)水稻品種。高光譜數(shù)據(jù)的分類器通過deeplabv3+算法訓(xùn)練獲得。我們先分析水稻高光譜中各波段的相關(guān)性，然后提取高光譜的通道特征向量以構(gòu)成偽RGB 圖，最后將偽RGB 訓(xùn)練集和標(biāo)簽導(dǎo)入搭建的deeplabv3+網(wǎng)絡(luò)中進(jìn)行訓(xùn)練并保存模型，利用模型對目標(biāo)數(shù)據(jù)進(jìn)行有效分類。

2 研究方法

本節(jié)介紹了本文所提出的稻田產(chǎn)量分類方法：deeplabv3+。該算法包括兩個(gè)部分：編碼器架構(gòu)和解碼器架構(gòu)。

2.1 編碼器架構(gòu)

deeplabv3+算法將deeplabv3 網(wǎng)絡(luò)作為編碼模塊來提取特征，然后通過解碼模塊來實(shí)現(xiàn)語義分割。在deeplabv3 網(wǎng)絡(luò)中，deeplabv3 使用深度殘差網(wǎng)絡(luò)（ResNet_101）［11］提取語義信息，同時(shí)采用空洞卷積（Atrous Convolution）來控制輸出特征圖的分辨率并擴(kuò)大卷積核的感受野。以二維特征圖為例，假設(shè)卷積核為W，當(dāng)空洞卷積作用于輸入特征圖x，對于輸出特征圖y中的每個(gè)位置i，有：

其中：r表示膨脹率。對應(yīng)于我們采樣信號的步長（stride），這等效于在每個(gè)空間維度上，將輸入x與兩個(gè)連續(xù)的卷積核之間插入r-1 個(gè)零而產(chǎn)生的上采樣卷積核進(jìn)行卷積。如圖2 所示，在卷積核中插入0，相當(dāng)于對卷積核進(jìn)行了上采樣，其中，標(biāo)準(zhǔn)卷積r=1。空洞卷積允許我們通過膨脹率來控制感受野的大小。

圖1 deeplabv3+網(wǎng)絡(luò)結(jié)構(gòu)圖

圖2 高光譜數(shù)據(jù)采集地

2.2 解碼器架構(gòu)

deeplabv3+網(wǎng)絡(luò)中非常巧妙地使用了一個(gè)雖然簡單但很有效的解碼方式：在deeplabv3+網(wǎng)絡(luò)對目標(biāo)圖像進(jìn)行分割時(shí)，首先對編碼器特征進(jìn)行雙線性插值4 倍上采樣，然后將計(jì)算后的編碼器特征與來自網(wǎng)絡(luò)主干的具有相同空間分辨率的低級特征連接起來。然后，采用3×3 的卷積核和因子為4的雙線性插值上采樣來將輸出特征圖的大小轉(zhuǎn)化成與輸入一樣的形狀，最終經(jīng)Softmax 分類層得到對應(yīng)的分割結(jié)果。

整個(gè)網(wǎng)絡(luò)采用逐像素的交叉熵誤差函數(shù)作為損失函數(shù)，對于每個(gè)像素x，Softmax 分類器的輸出為

其中：x為二維平面上的像素位置；k為總類別數(shù)；αk(x)表示Softmax輸出的像素x對應(yīng)的第k個(gè)通道的值；Pk(x)表示像素x屬于第k類的概率。于是整個(gè)網(wǎng)絡(luò)的損失函數(shù)可表示為

其中：tx為像素x的正確解監(jiān)督數(shù)據(jù)；Pl(x)為像素x屬于真實(shí)類別l的概率。

3 水稻高光譜數(shù)據(jù)的獲取和預(yù)處理

3.1 水稻高光譜數(shù)據(jù)的獲取

3.1.1 高光譜數(shù)據(jù)采集地點(diǎn)

在中國寧夏永寧縣寧夏農(nóng)業(yè)科學(xué)院進(jìn)行了水稻栽培和高光譜圖像數(shù)據(jù)采集（圖2）。寧夏6月至9月的平均月降雨量為34.3mm，此期間的平均溫度在15.9℃～23.4℃之間。水稻幼苗于2018 年6 月1日移栽，并于2018 年9 月9 日收獲。水稻種植地點(diǎn)和種植情況如圖2所示。

3.1.2 根據(jù)人工測量產(chǎn)量對水稻品種進(jìn)行分類

本研究中所使用的數(shù)據(jù)集來自13 個(gè)晚熟早粳稻品系，每個(gè)品系有3 組，共39 個(gè)樣本單元。根據(jù)每畝人工測量的平均糧食產(chǎn)量對不同樣本單元中的水稻品系進(jìn)行標(biāo)記。據(jù)中國國家標(biāo)準(zhǔn)（編號：20000011），擁有產(chǎn)量超過750kg/畝，750kg/畝和700kg/畝之間，以及小于700kg/畝分別為high 類、mid類和low類。分類情況如表1所示。

將13 個(gè)水稻品種按人工測量的產(chǎn)量分為高產(chǎn)、中產(chǎn)、低產(chǎn)三個(gè)類別，其中紅色標(biāo)簽代表中產(chǎn)，綠色標(biāo)簽代表低產(chǎn)、黃色標(biāo)簽代表高產(chǎn)。具體標(biāo)記情況如圖3所示。

圖3 數(shù)據(jù)分類和標(biāo)記

3.2 高光譜特征波段選擇和數(shù)據(jù)集的制作

3.2.1 特征波段選擇在高光譜圖像分類中的作用

高光譜數(shù)據(jù)有上百個(gè)波段，波段間距窄，提供了豐富的地物光譜信息，但波段越多，波段間的相關(guān)性就越大，數(shù)據(jù)的冗余度也越大，同時(shí)也帶來了海量數(shù)據(jù)存儲和處理的技術(shù)難題。合適的光譜特征波段選擇方法可使高光譜圖像數(shù)據(jù)的維數(shù)降低、運(yùn)算復(fù)雜度減小，分類算法的訓(xùn)練和測試時(shí)間也隨之降低［12］。

3.2.2 分步選擇法提取特征波段

實(shí)現(xiàn)最佳波段組合，需要考慮波段信息量豐富、波段間相關(guān)性小、波段組合對目標(biāo)地物的光譜反映差異大三個(gè)因素。波段相關(guān)性和波段信息量的提取有組法和分步法，組合法要求在一個(gè)評價(jià)準(zhǔn)則或公式里求得最小相關(guān)性和最大信息量，如最優(yōu)索引因子（Optimal Index Factor，OIF）的波段選擇法和自適應(yīng)波段選擇法（Adaptive Band Selection，ABS）的兩種組合波段選擇方法。

有研究指出OIF 和ABS 法選取的特征波段難以兼顧信息量和相關(guān)性的問題［13］，本研究采用分步選擇法提取水稻高光譜圖的特征波段。分步法采取分別考慮波段信息量和波段間相關(guān)性的方法來尋找最優(yōu)波段組合，其流程圖如圖4所示。

圖4 分步選擇法提取特征波段的流程圖

通過無人機(jī)采集的水稻高光譜數(shù)據(jù)集的高光譜波段有176 個(gè)，其靈敏度高于分析要求。首先，通過對高光譜的各波段進(jìn)行相關(guān)性分析，可以得出使該高光譜數(shù)據(jù)的相關(guān)性系數(shù)最大的連續(xù)波段數(shù)為8。因此，本文使用8 個(gè)相鄰頻段的平均值作為中心頻段將176 個(gè)波段按照植被光譜的特征分為相關(guān)性較弱的22 個(gè)子集，然后在各個(gè)子集內(nèi)尋找信息量最大的波段作為子集的代表波段。

其次，在選出的幾個(gè)代表波段中，以任意3 個(gè)波段為一組，計(jì)算所有波段組合的最優(yōu)索引因子OIF。將這些波段組合用3 波段分別合成假彩色圖像，并通過JM距離計(jì)算假彩色圖像中各類水稻特征的可分性M，其計(jì)算公式如式（4）所示。

式中，JM代表JM距離；X代表像元；ωi，ωj代表類別號；p(X/ωi)代表類條件概率密度，即第i個(gè)像元屬于第ωi個(gè)類別的幾率。JM的值在0～2 之間時(shí)，其大小代表樣本間的可分離程度。當(dāng)JM位于0.0～1.0 之間時(shí)，認(rèn)為樣本間不可分；JM位于1.0～1.8 之間時(shí)，樣本間具有一定的可分性，但存在錯(cuò)分現(xiàn)象；位于1.8～2.0 之間時(shí)，樣本間具有較好的可分性［14］。

最后，最佳特征波段組合通過選擇OIF 最大且JM 距離大于1.8、相關(guān)性系數(shù)小于0.3 的一組波段確定［15］。

通過這樣的三步來獲取最優(yōu)波段組合，雖然分步選擇法比OIF 法過程稍顯繁瑣，但只計(jì)算波段子集內(nèi)兩兩波段的相關(guān)系數(shù)，計(jì)算量并不大，更重要的是該方法確保了所選波段相關(guān)性小、信息量大，因而更合理。

通過分布選擇法，我們從水稻田數(shù)據(jù)集的176個(gè)高光譜波段中提取有效的特征組合，獲取了1291 張可供深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練的偽RGB 圖。如圖5所示。

圖5 各波段組合生成的偽RGB數(shù)據(jù)集

3.2.3 訓(xùn)練數(shù)據(jù)集的制作

我們的水稻田數(shù)據(jù)集包含1291 張偽RGB 圖片。為了使用深度學(xué)習(xí)網(wǎng)絡(luò)對其進(jìn)行有效訓(xùn)練，我們對該數(shù)據(jù)集進(jìn)行了相應(yīng)的劃分，其中訓(xùn)練集有833張圖，驗(yàn)證集有358張圖，測試集有100張圖。

最后，我們使用語義分割專用的標(biāo)記工具labelme對預(yù)處理好的數(shù)據(jù)集進(jìn)行人工標(biāo)記。每張圖片中的水稻田塊有3組，每一組有13塊地。我們先對水稻成熟后的產(chǎn)量進(jìn)行人工統(tǒng)計(jì)，再根據(jù)各田塊產(chǎn)量的統(tǒng)計(jì)數(shù)據(jù)，將39 塊稻田劃分成高、中、低三類，分別用黃、紅、綠三種顏色標(biāo)記，標(biāo)簽名分別為mid，low，high，其余無關(guān)背景的標(biāo)簽名為backgroud。

4 實(shí)驗(yàn)和評估

4.1 實(shí)驗(yàn)的實(shí)施

實(shí)驗(yàn)軟件環(huán)境為Windows10-64 位系統(tǒng)，采用目前流行的tensorflow 深度學(xué)習(xí)開源框架。計(jì)算機(jī)內(nèi)存為16GB，搭載AMD R7-4800H CPU，GPU 采用英偉達(dá)的GTX1650 對深度學(xué)習(xí)模型進(jìn)行加速。試驗(yàn)中訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)的批次大小都設(shè)置為1。訓(xùn)練模型時(shí)采用了momentum 優(yōu)化器來實(shí)現(xiàn)網(wǎng)絡(luò)參數(shù)的快速更新。為防止過擬合，采用了常用的權(quán)值衰減（weight decay）方法，權(quán)值衰減系數(shù)設(shè)置為0.00004，初始學(xué)習(xí)率設(shè)置為0.0001，每迭代100 次學(xué)習(xí)率減小為原來的10%。。訓(xùn)練過程中的損失函數(shù)值的變化與評估結(jié)果分別如圖6、圖7所示。

圖6 損失函數(shù)的變化曲線

圖7 評估結(jié)果

4.2 評估

在水稻高光譜數(shù)據(jù)測試集上，我們評估了deeplabv3+分類的性能，并與其他傳統(tǒng)的用于圖像分類的語義分割方法進(jìn)行了比較。具體的deeplabv3+網(wǎng)絡(luò)以及其他網(wǎng)絡(luò)對測試集圖片的分割效果分別由圖11 所示以及由表1 給出。在圖8 中，（a）是用于預(yù)測的原始圖像；（b）是用于驗(yàn)證的標(biāo)簽圖；（c）是deeplabv3+分割結(jié)果圖；其中，低中高三種產(chǎn)量的水稻地塊分布用綠、紅、黃三種顏色標(biāo)記。

實(shí)驗(yàn)中，我們比較了不同的深度學(xué)習(xí)網(wǎng)絡(luò)對水稻的數(shù)據(jù)集的分類效果。我們使用IOU＞0.6 作為評估是否正確區(qū)分出水稻類別的依據(jù)。使用MIOU來評價(jià)所使用的深度學(xué)習(xí)網(wǎng)絡(luò)的優(yōu)劣。它們的定義如下：

其中，A表示標(biāo)簽中的像素，它由人工標(biāo)記時(shí)進(jìn)行定義，B表示網(wǎng)絡(luò)的預(yù)測結(jié)果。

其中nc為總類別數(shù)，nji表示實(shí)際類別為i、被預(yù)測類別為j的像素?cái)?shù)量，為類i的像素總數(shù)，MIOU為真實(shí)值與預(yù)測值的交集比并集，通常為語義分割最終的評價(jià)標(biāo)準(zhǔn)。

其他兩個(gè)指標(biāo)是precision和recall，它們的定義如下：

其中，TP表示真正樣本，F(xiàn)P表示假正樣本，F(xiàn)N表示假負(fù)樣本。

在水稻產(chǎn)量實(shí)驗(yàn)中，我們將目標(biāo)水稻田像素作為正類，以背景像素為負(fù)類，真正樣本表示網(wǎng)絡(luò)正確推斷出各自的產(chǎn)量類別像素，真負(fù)樣本表示網(wǎng)絡(luò)推斷背景像素正確，假正樣本是指網(wǎng)絡(luò)錯(cuò)誤地推斷出水稻或?qū)⒈尘跋袼赝茢酁樗?，最后一個(gè)假負(fù)樣本表示網(wǎng)絡(luò)錯(cuò)誤地推斷了水稻像素為背景。最后，表2 給出了評價(jià)指標(biāo)，它由MIOU、Recall、F1-measure組成。

表2 不同水稻產(chǎn)量預(yù)測算法的比較

5 結(jié)語

在本文中，我們對水稻的高光譜數(shù)據(jù)采用了當(dāng)前最流行的語義分割算法deeplabv3+，以實(shí)現(xiàn)分類出高產(chǎn)產(chǎn)量水稻。此外，我們還比較了幾種不同的語義分割方法對水稻高光譜圖片分類的效果。deeplabv3+算法的總體精度高于其他分類算法。相比于原有的deeplabv3 架構(gòu)的分類算法，它保持了較高的分類精度，同時(shí)，也明顯提升了稻田邊緣的細(xì)節(jié)信息。實(shí)驗(yàn)結(jié)果表明，對于水稻高光譜數(shù)據(jù)集，deeplabv3+可以實(shí)現(xiàn)非常好的分類效果。為提高農(nóng)業(yè)生產(chǎn)中的產(chǎn)量估算和育種等工作的速度和效果提供了更為準(zhǔn)確有效的技術(shù)支持。