深度學(xué)習(xí)方法在水稻氮素營養(yǎng)診斷中的應(yīng)用初探

姚強 粟超 李波 易婧 敬廷桃 呂斌

摘 要 為解決傳統(tǒng)水稻氮素營養(yǎng)診斷方法需要采集水稻植株葉片，損傷水稻植株，需到指定實驗室測定，耗時費力，手持葉綠素儀不穩(wěn)定、誤差大等問題，對使用深度學(xué)習(xí)方法開展水稻氮素營養(yǎng)診斷開展了初步探索。簡介了深度學(xué)習(xí)模型的建立和訓(xùn)練，對模型識別效果的驗證。參與模型訓(xùn)練的水稻樣本圖片共10 173張，通過調(diào)整訓(xùn)練參數(shù)，得到多個模型，保留準(zhǔn)確率達(dá)到80%以上的模型9個，其中返青期3個、分蘗期3個、拔節(jié)孕穗期2個、灌漿期1個;對精度最高的返青期模型開展了模型識別效果驗證。初步結(jié)果顯示，使用深度學(xué)習(xí)方法開展水稻氮素營養(yǎng)診斷有效可行。

關(guān)鍵詞 深度學(xué)習(xí);數(shù)字圖像;水稻葉片;氮;營養(yǎng)診斷

中圖分類號：S126 文獻(xiàn)標(biāo)志碼：A DOI：10.19415/j.cnki.1673-890x.2021.31.029

水稻是我國最主要的糧食作物，全國60%以上人口以稻米為主食。水稻生產(chǎn)在我國農(nóng)業(yè)生產(chǎn)上和糧食安全方面具有舉足輕重的地位。氮素是作物生長發(fā)育周期中需要量最多的營養(yǎng)元素之一，也是對作物生長、產(chǎn)量和品質(zhì)影響最為顯著的營養(yǎng)元素之一[1]。在種植水稻的過程中，錯誤地施用氮肥或是施氮經(jīng)驗不足，會使水稻氮素營養(yǎng)失調(diào)，從而導(dǎo)致水稻產(chǎn)量和品質(zhì)的降低[2]。傳統(tǒng)的氮素營養(yǎng)診斷以田間采集植株樣品、實驗室化學(xué)分析為主，這種方法在樣品的采集、測試及數(shù)據(jù)處理等方面需耗費大量的人力、物力和財力，時效性差，不利于推廣應(yīng)用[3]。近年來，隨著互聯(lián)網(wǎng)+、大數(shù)據(jù)、人工智能等新技術(shù)的發(fā)展和應(yīng)用，數(shù)字農(nóng)業(yè)、智慧農(nóng)業(yè)應(yīng)運而生，運用數(shù)字技術(shù)、人工智能技術(shù)開展作物氮素營養(yǎng)診斷的研究取得了很多成果。如：李嵐?jié)葢?yīng)用數(shù)字圖像技術(shù)進行了水稻氮素營養(yǎng)診斷方面的研究[3];吳剛等采用一種基于卷積神經(jīng)網(wǎng)絡(luò)的方法對采集的多光譜玉米植株圖像進行氮素含量、水分含量等分析識別[4];魏全全等運用數(shù)字圖像技術(shù)對馬鈴薯氮素營養(yǎng)開展估測及驗證[5];魏雪等開展了智能手機圖像參數(shù)與玉米氮素營養(yǎng)狀況關(guān)聯(lián)解析[6];李紅軍等利用數(shù)碼相機對小麥冠層進行拍照，分析色彩參數(shù)與作物氮素營養(yǎng)狀況之間的關(guān)系[7]。本文探索采用深度學(xué)習(xí)的方法開展水稻氮素營養(yǎng)診斷。

1 ?試驗方案及數(shù)據(jù)采集

1.1 ?試驗方案

試驗在重慶市農(nóng)業(yè)科學(xué)院高科技園區(qū)（九龍坡區(qū)白市驛鎮(zhèn)高峰寺村）開展。水稻品種為重慶市當(dāng)前栽培面積較大的主栽品種渝香203。為了產(chǎn)生不同含氮量的水稻植株和群體，為水稻葉片與冠層圖像采集和植株氮素含量分析提供樣本，共設(shè)置7個處理、3次重復(fù)。7個處理分別是空白對照、低氮、低中氮、中氮、中高氮、高氮和超高氮，3次重復(fù)按設(shè)定順序排列試驗區(qū)組。試驗前對3個重復(fù)田塊的土壤養(yǎng)分基本情況進行了化驗分析（結(jié)果見表1）。

試驗田小區(qū)間設(shè)立隔離肥水田埂。各處理施氮量（均為純N量）分別為：空白對照（0 kg·hm-2）、低氮（70 kg·hm-2）、低中氮（105 kg·hm-2）、中氮（140 kg·hm-2）、中高氮（210 kg·hm-2）、高氮（280 kg·hm-2）和超高氮（420 kg·hm-2）。試驗田的水分管理、磷肥和鉀肥施用量各個處理保持一致。磷肥施用量（P2O5）為50 kg·hm-2，鉀肥施用量（K2O）為100 kg·hm-2。

施肥方式：氮肥按照7∶3的重量比例分2次施入，分別為基肥（7）和分蘗肥（3）;磷肥、鉀肥作基肥1次性施入，在揚花后期葉面噴施0.5%磷酸二氫鉀1次。

1.2 ?數(shù)據(jù)采集

試驗數(shù)據(jù)包括水稻圖像數(shù)據(jù)和氮營養(yǎng)含量數(shù)據(jù)。圖像數(shù)據(jù)作為深度學(xué)習(xí)算法的輸入，氮營養(yǎng)含量數(shù)據(jù)用于數(shù)據(jù)集的標(biāo)定。在水稻的返青期、分蘗期、拔節(jié)孕穗期及灌漿期開展圖像數(shù)據(jù)采集，利用國產(chǎn)安卓智能手機獲取水稻葉片和冠層圖像，每個處理采集100～200幅圖像，拍攝角度包含與地面成60°和90°。照片長寬比設(shè)置為4∶3，測光方式設(shè)置為矩陣測光，ISO模式設(shè)置為自動，對焦方式設(shè)置為自動對焦（AF-C），圖像保存格式為JPG格式。

采集圖像數(shù)據(jù)的同時，對水稻植株葉片進行同步取樣，選擇長勢適中的水稻植株第三完全展開葉作為樣本葉片，每個處理采集40～50個葉片（鮮重約200 g）放入提前編號的專用樣品袋中，送回實驗室進行氮素含量化學(xué)測定。

2 ?深度學(xué)習(xí)建模、訓(xùn)練

2.1 ?準(zhǔn)備數(shù)據(jù)集

數(shù)據(jù)集是深度學(xué)習(xí)模型的輸入，模型的訓(xùn)練和測試圍繞數(shù)據(jù)集開展。好的數(shù)據(jù)集是豐富的高質(zhì)量數(shù)據(jù)的集合。

2.1.1 ?圖像數(shù)據(jù)歸類

在水稻的返青期、分蘗期、拔節(jié)孕穗期及灌漿期采集了約10 000幅圖像數(shù)據(jù)，取得處理樣本葉片氮營養(yǎng)含量測定結(jié)果84個。對3個重復(fù)的氮營養(yǎng)含量測定結(jié)果取平均值，分別得到各生長期空白對照、低氮、低中氮、中氮、中高氮、高氮、超高氮的氮營養(yǎng)含量值。將同一生長期3個重復(fù)采集的圖像歸為一類，以計算得到的氮營養(yǎng)含量值標(biāo)定分類，最終將每個生長期的圖像劃分為7類，每個分類約有圖像350幅。

2.1.2 ?圖像處理

在圖像采集過程中，會有一些圖像因拍攝位置導(dǎo)致水稻圖像在整個畫面中占比較小，這部分圖像會降低模型識別的準(zhǔn)確率，因此需要對這部分?jǐn)?shù)據(jù)進行裁剪，使水稻圖像在整個畫面中的占比大于50%。另外，拔節(jié)孕穗期及灌漿期的圖像會存在部分過度曝光，這部分圖像會影響模型的有效性，因此需將這部分圖像剔除。

2.1.3 ?劃分訓(xùn)練集和測試集

按水稻生長期將所有圖像數(shù)據(jù)分為4個數(shù)據(jù)集，每個數(shù)據(jù)集7個分類，由訓(xùn)練集和測試集組成，訓(xùn)練集用來訓(xùn)練神經(jīng)網(wǎng)絡(luò)中的參數(shù)，測試集用于客觀評價神經(jīng)網(wǎng)絡(luò)的性能。從每個分類中隨機選取20%的圖像數(shù)據(jù)作為測試集，剩余圖像數(shù)據(jù)作為訓(xùn)練集。

2.2 ?建立模型

2.2.1 ?模型設(shè)計

基于卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建深度學(xué)習(xí)模型，模型設(shè)計如圖1所示。

卷積層和池化層分別設(shè)置3層，輸入層神經(jīng)元7個（對應(yīng)7個分類），神經(jīng)元激活函數(shù)用Relu，分類器使用Softmax。

2.2.2 ?模型創(chuàng)建

目前流行的深度學(xué)習(xí)工具有：Keras、TensorFlow、Torch等，其中Keras是使用最為廣泛的深度學(xué)習(xí)工具之一。Keras是一個高層神經(jīng)網(wǎng)絡(luò)API，由純Python編寫，將TensorFlow、theano、CNTK等作為底層庫進行封裝。為了快速搭建實驗環(huán)境，減少因程序包與包之間的依賴關(guān)系造成的大量錯誤，使用Anaconda結(jié)合PyCharm進行搭建，Anaconda版本用Anaconda3-5.3.1，Python版本用3.7.0，TensorFlow版本用2.3.0。

使用Keras創(chuàng)建卷積神經(jīng)網(wǎng)絡(luò)模型有3種方法，分別是：使用Sequential API創(chuàng)建、使用Functional API創(chuàng)建、模型子類化。本研究使用Sequential API創(chuàng)建圖1所示模型，部分代碼如下：

model.add（Conv2D（20，（3， 3）， padding="same"， input_ shape=shape， name='filter1'））

model.add（Activation（"relu"））

model.add（MaxPooling2D（strides=（2，2），name="max1"））

model.add（Dropout（0.5））

# 以上是添加卷積層1和池化層1激活函數(shù)是relu

model.add（Conv2D（30， （3， 3）， padding="same"， name='filter2'））

model.add（Activation（"relu"））

model.add（MaxPooling2D（strides=（2，2），name="max2"））

#以上是添加卷積層2和池化層2

model.add（Conv2D（50， （5， 5）， padding="same"， name='filter3'））

model.add（Activation（"relu"））

model.add（MaxPooling2D（strides=（2，2），name="max3"））

model.add（Dropout（0.5））

#以上是添加卷積層3和池化層3

model.add（Flatten（））

model.add（Dense（250））

model.add（Dropout（0.5））

model.add（Activation（"relu"））

model.add（Dense（classes））

#以上是添加全連接層

model.add（Activation（"softmax"））

#以上是添加分類器

2.3 ?模型訓(xùn)練

分別對4個數(shù)據(jù)集中的圖像開展模型訓(xùn)練，生成模型參數(shù)，用于分生長期水稻氮營養(yǎng)診斷。模型訓(xùn)練過程如下。

1）將一個生長期的數(shù)據(jù)集放入Python項目中。

2）設(shè)置訓(xùn)練所需的參數(shù)，如圖像大小、分類數(shù)、batchsize和epoch等。參數(shù)設(shè)定沒有確切的最優(yōu)值，只能在實驗中不斷調(diào)整以得到更好的模型參數(shù)。

3）指定模型優(yōu)化器、參數(shù)名稱、訓(xùn)練集擴充方法等。因采集的圖像數(shù)量有限，為了提高模型的泛化能力，需通過圖像旋轉(zhuǎn)、水平平移、上下平移和圖像翻轉(zhuǎn)等方法擴充訓(xùn)練集。

4）將圖像數(shù)據(jù)矩陣化。將縮放后的圖像數(shù)據(jù)轉(zhuǎn)化為矩陣形式的數(shù)據(jù)，便于計算機運算。

5）調(diào)用keras.model的fit_generator函數(shù)開始執(zhí)行模型訓(xùn)練，訓(xùn)練過程由計算機自行完成。

3 ?結(jié)果與分析

參與模型訓(xùn)練的水稻樣本圖片共10 173張，其中：返青期訓(xùn)練樣本1 981張，測試樣本496張;分蘗期訓(xùn)練樣本2 146張，測試樣本536張;拔節(jié)孕穗期訓(xùn)練樣本1 888張，測試樣本472張;灌漿期訓(xùn)練樣本2 123張，測試樣本531張。

3.1 ?模型精準(zhǔn)度分析

模型的精準(zhǔn)度受多種因素影響，當(dāng)測試集圖像數(shù)據(jù)不變的情況下，同一模型在不同訓(xùn)練參數(shù)下，模型精準(zhǔn)度會有很大的差別。影響訓(xùn)練結(jié)果精度的參數(shù)包括：batch_size、epoch、learning_rate及圖像縮放比例。

通過調(diào)整訓(xùn)練參數(shù)，得到了多個模型，保留準(zhǔn)確率達(dá)到80%以上的模型9個，其中返青期3個、分蘗期3個、拔節(jié)孕穗期2個、灌漿期1個。返青期訓(xùn)練參數(shù)和模型精度見表2，分蘗期訓(xùn)練參數(shù)和模型精度見表3，拔節(jié)孕穗期訓(xùn)練參數(shù)和模型精度見表4，灌漿期訓(xùn)練參數(shù)和模型精度見表5。4個生長期精度最高模型訓(xùn)練時的epoch、loss、accuracy關(guān)系分別見圖2、圖3、圖4、圖5。

3.2 ?模型識別效果驗證

從每個生長期的圖像數(shù)據(jù)中各隨機選取70張圖像分別組成各生長期最佳模型的驗證集，開展模型識別效果驗證，以精度最高的返青期模型為例，驗證結(jié)果列于表6。

可以看出，低中氮的準(zhǔn)確率最低，10張驗證圖片有7張被識別為低氮。結(jié)合葉片樣本氮營養(yǎng)含量測定值發(fā)現(xiàn)，低氮為33.78 g·kg-1，低中氮為33.71 g·kg-1，兩個等次的氮營養(yǎng)含量非常接近，因此導(dǎo)致分類出錯，如果根據(jù)氮營養(yǎng)含量來劃分等次，則低中氮的準(zhǔn)確率為90%。高氮準(zhǔn)確率不高的原因與低中氮相似。

4 ?討論與小結(jié)

本研究使用智能手機自帶的照相機在可見光下采集水稻各生長期圖像數(shù)據(jù)，應(yīng)用深度學(xué)習(xí)的方法探索水稻氮營養(yǎng)診斷的新途徑。初步結(jié)果顯示，該方法有效可行，與采用多光譜圖像數(shù)據(jù)的方法對比，在保證較高準(zhǔn)確率的情況下，大大降低了診斷成本;與傳統(tǒng)采集植株樣本進行實驗室測定的方法相比，優(yōu)勢在于對水稻植株的無損診斷;與使用手持葉綠素儀進行診斷的方法相比，優(yōu)勢在于結(jié)果穩(wěn)定、誤差小。該方法的難點和不足在于需要針對不同的水稻品種建立各個生長期的圖像數(shù)據(jù)集和深度學(xué)習(xí)模型。

后續(xù)可開發(fā)出基于Web的水稻氮營養(yǎng)診斷系統(tǒng)，對水稻圖像開展批量診斷。也可將深度學(xué)習(xí)模型遷移到移動端，開發(fā)用于水稻氮營養(yǎng)診斷的手機APP，讓用戶可以通過手機隨時隨處開展診斷。

參考文獻(xiàn)：

[1] 孫棋.基于數(shù)字圖像處理技術(shù)的水稻氮素營養(yǎng)診斷研究[D].杭州：浙江大學(xué)，2008.

[2] 楊紅云，羅建軍，萬穎，等.計算機視覺技術(shù)在水稻氮素營養(yǎng)診斷中應(yīng)用的研究進展[J].中國農(nóng)學(xué)通報，2020，36（16）：149-155.

[3] 李嵐?jié)?，張萌，任濤，?應(yīng)用數(shù)字圖像技術(shù)進行水稻氮素營養(yǎng)診斷[J].植物營養(yǎng)與肥料學(xué)報，2015，21（1）：259-268.

[4] 吳剛，彭要奇，周廣奇，等.基于多光譜成像和卷積神經(jīng)網(wǎng)絡(luò)的玉米作物營養(yǎng)狀況識別方法研究[J].智慧農(nóng)業(yè)（中英文），2020，2（1）：111-120.

[5] 魏全全，李飛，張萌，等.基于數(shù)字圖像技術(shù)的馬鈴薯氮素營養(yǎng)估測及驗證[J].生態(tài)學(xué)雜志，2021，40（9）：3017-3024.

[6] 魏雪，賈彪，蘭宇，等.智能手機圖像參數(shù)與玉米氮素營養(yǎng)狀況關(guān)聯(lián)解析[J].生態(tài)學(xué)雜志，2021，40（8）：2656-2664.

[7] 李紅軍，張立周，陳曦鳴，等.應(yīng)用數(shù)字圖像進行小麥氮素營養(yǎng)診斷中圖像分析方法的研究[J].中國生態(tài)農(nóng)業(yè)學(xué)報，2011，19（1）：155-159.

（責(zé)任編輯：丁志祥）

收稿日期：2021-09-16

基金項目：重慶市農(nóng)業(yè)發(fā)展資金項目“手機+圖像識別構(gòu)建水稻氮素營養(yǎng)診斷系統(tǒng)研究”（NKY-2021AB009）。

作者簡介：姚強（1981—），男，河南南陽人，碩士，高級工程師，從事農(nóng)業(yè)信息技術(shù)、物聯(lián)網(wǎng)集成開發(fā)研究。E-mail：94388062@qq.com。

為通信作者，E-mail：479996341@qq.com。