農(nóng)業(yè)信息成像感知與深度學(xué)習應(yīng)用研究進展

孫 紅 李 松 李民贊 劉豪杰 喬 浪 張 瑤

(1.中國農(nóng)業(yè)大學(xué)現(xiàn)代精細農(nóng)業(yè)系統(tǒng)集成研究教育部重點實驗室，北京100083;2.中國農(nóng)業(yè)大學(xué)農(nóng)業(yè)農(nóng)村部農(nóng)業(yè)信息獲取技術(shù)重點實驗室，北京100083)

0 引言

智慧農(nóng)業(yè)是以信息和知識為核心要素，將物聯(lián)網(wǎng)、大數(shù)據(jù)、云計算、人工智能等現(xiàn)代信息技術(shù)與農(nóng)業(yè)深度融合，實現(xiàn)農(nóng)業(yè)信息感知、定量決策、智能控制、精準投入、個性化服務(wù)的全新農(nóng)業(yè)生產(chǎn)方式［1］。以光學(xué)成像技術(shù)為代表的新型傳感器在農(nóng)業(yè)信息感知各環(huán)節(jié)被大量應(yīng)用［2-3］。如何通過分析圖像以達到識別和檢測對象的目的并為農(nóng)業(yè)決策和管理提供支持，是當前農(nóng)業(yè)信息化技術(shù)研究領(lǐng)域的熱點問題［4］。

在農(nóng)業(yè)生產(chǎn)中，以彩色RGB、可見光-近紅外(Near infrared，NIR)光譜、3D 與熱紅外等圖像為數(shù)據(jù)源［5-6］，量化并分析顏色、形態(tài)、紋理、反射光譜等特征，結(jié)合機器學(xué)習(Machine learning，ML)理論形成了數(shù)據(jù)預(yù)處理、特征提取、分類識別與回歸診斷等相關(guān)方法［7-8］。但是由于樣本量和特征抽象層級的局限性，在應(yīng)對復(fù)雜背景和環(huán)境變化，以及未知樣本檢測模型泛化等問題時，還廣泛存在著噪聲抑制魯棒性不足、特征抽象和量化的數(shù)據(jù)有限、識別與檢測精度不高等問題［9-10］。

深度學(xué)習(Deep learning，DL)是ML 研究的重要分支之一，它結(jié)合神經(jīng)網(wǎng)絡(luò)對樣本集進行學(xué)習，通過組合底層特征，形成抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征與屬性［11］。該技術(shù)在語義分割、特征識別等領(lǐng)域取得了重大的進步［12］，在農(nóng)業(yè)問題研究中也備受關(guān)注。KAMILARIS等［13］、呂盛坪等［14］、ZHU 等［15］圍繞DL 的基本概念與發(fā)展歷程、形成的各類網(wǎng)絡(luò)算法和架構(gòu)模型、應(yīng)用的框架等內(nèi)容，從不同的側(cè)面進行了綜述。從不同的研究問題出發(fā)，SINGH 等［16］、翁楊等［17］討論了DL 在作物脅迫與表型診斷中的應(yīng)用，ZHU 等［10］、MA 等［18］和PAOLETTI 等［19］分別調(diào)研了DL 在遙感和高光譜成像分類研究中的現(xiàn)狀和趨勢，KOIRALA等［20］關(guān)注果實在體識別與估產(chǎn)研究中DL 應(yīng)用的進展，NOROUZZADEH 等［21］則對比了主流DL 架構(gòu)在動物圖像識別中性能的差異。大量研究指出DL 在農(nóng)業(yè)信息檢測精度與應(yīng)用魯棒性方面比傳統(tǒng)方法均有所提升，因此不僅應(yīng)用DL 的研究課題日益增多，而且新的成果不斷涌現(xiàn)。

為了深入分析應(yīng)用DL 技術(shù)驅(qū)動智慧農(nóng)業(yè)繼續(xù)發(fā)展的潛力，本文從農(nóng)業(yè)信息成像感知的數(shù)據(jù)源與DL 技術(shù)應(yīng)用相結(jié)合的角度出發(fā)，分析DL 用于解決農(nóng)業(yè)圖像信息檢測中難點問題的領(lǐng)域，通過梳理DL在農(nóng)業(yè)信息檢測中最新的應(yīng)用進展與發(fā)展方向，以加深對DL 應(yīng)用研究過程的理解，為研究者開展同類研究提供參考，共同促進農(nóng)業(yè)信息感知技術(shù)的發(fā)展。

1 深度學(xué)習概述

1.1 深度學(xué)習的網(wǎng)絡(luò)模型基礎(chǔ)

DL 拓展了傳統(tǒng)ML 模型的神經(jīng)網(wǎng)絡(luò)“深度”，利用卷積、池化層、全連接層、激活函數(shù)、門、記憶單元、編解碼器等組件，呈現(xiàn)了更為復(fù)雜的層級表示，通過多模塊組合來抽象和表達待測目標中較高層的屬性與特征，從而為復(fù)雜模式學(xué)習與重要特征識別提供支持［22］。

DL 具有特征學(xué)習的能力，即從原始數(shù)據(jù)中自動提取特征的能力主要通過“網(wǎng)絡(luò)”來實現(xiàn)［23］。當前主要的網(wǎng)絡(luò)類型有多層感知器(Multi-layer perceptron，MLP)或深度神經(jīng)網(wǎng)絡(luò)(Deep neural network，DNN)、卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network，CNN)、循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent neural networks，RNN)等［24］。此外還形成了相關(guān)的改進網(wǎng)絡(luò)，如長短期記憶網(wǎng)絡(luò)(Long short-term memory，LSTM)和門控循環(huán)單元(Gate recurrent unit，GRU)即引入了門控機制改進了RNN 對短時時序數(shù)據(jù)處理的局限性［25］。

在上述網(wǎng)絡(luò)中CNN 網(wǎng)絡(luò)應(yīng)用最為廣泛，它通常包括卷積層、池化層和全連接層。卷積層利用圖像中信息的局部相關(guān)性來提取特征，它以“卷積核”為中介，在神經(jīng)元與上一級多通道特征圖部分相連中進行卷積運算，再通過激活函數(shù)輸入到該神經(jīng)元，還引入了局部卷積核權(quán)值共享策略，減小了“參數(shù)數(shù)量膨脹”和“過擬合”的可能性。池化層通過采樣從上層特征圖中選擇特征，同時使得模型具有平移、旋轉(zhuǎn)、縮放等不變性，常見的有最大池化或平均池化。應(yīng)用中卷積層和池化層常交替出現(xiàn)。全連接層的每個神經(jīng)元都與上層神經(jīng)元相連，綜合多維特征并轉(zhuǎn)換為一維特征交給分類器進行識別或檢測［17，22，26］。

此外，與CNN、RNN、MLP 等判別模型以尋找不同類別之間的最優(yōu)分類面為目標不同，深度置信網(wǎng)絡(luò)(Deep belief network，DBN)、生 成 對 抗 網(wǎng) 絡(luò)(Generative adversarial networks，GAN)、變分自編碼器(Variational auto-encoders，VAE)等生成模型則通過對聯(lián)合概率進行建模，從統(tǒng)計的角度來表示或推斷樣本的分布［23，26］。其中，DBN 基于堆疊的限制性波爾茲曼(Restricted Boltzmann machines，RBMs)和前饋網(wǎng)絡(luò)來逐漸抽取圖像的復(fù)雜特征，從而在神經(jīng)網(wǎng)絡(luò)中訓(xùn)練以提升模型在分類檢測中的性能［19，23-24，26］。這些網(wǎng)絡(luò)的發(fā)展也為對象識別和檢測提供了重要的支持。

1.2 深度學(xué)習的網(wǎng)絡(luò)架構(gòu)與應(yīng)用框架

針對對象識別和目標檢測任務(wù)，DL 研究中先后發(fā)展了基于CNN 的各類網(wǎng)絡(luò)架構(gòu)方式，為分類與識別、對象分割與檢測等任務(wù)提供了相應(yīng)的網(wǎng)絡(luò)模型［13-14，16］。

在對象識別方面，LetNET、AlexNet、VGGNet(Visual geometry group network)、GoogleNet、ResNet(Residual neural network)等具有應(yīng)用代表性。其中，AlexNet 以ReLU 作為CNN 的激活函數(shù)，使用重疊的最大池化層，在全連接層中使用Dropout 策略，LRN(Local response normalization)對局部神經(jīng)元活動創(chuàng) 建 競 爭 機 制，提 升 了 網(wǎng) 絡(luò) 的 規(guī) 模［13，26-27］。VGGNet 架構(gòu)中，從VGG 16、VGG 19 到MSRANet 網(wǎng)絡(luò)深度不斷增加，體現(xiàn)了網(wǎng)絡(luò)層級深度是提升DL網(wǎng)絡(luò)性能的重要因素［28］。GoogleNet 研究者則開發(fā)了“Inception”模塊，增強卷積模塊的功能與網(wǎng)絡(luò)的寬度和深度［29］。ResNet 引入殘差學(xué)習加速收斂解決深度網(wǎng)絡(luò)的退化問題，從而也將網(wǎng)絡(luò)層級由幾十層提高到了百層以上［30］。

關(guān)注于目標檢測任務(wù)，以區(qū)域特征為基礎(chǔ)［31］，R-CNN(RegionCNN)、Fast R-CNN、Faster R-CNN 等框架形成先獲得區(qū)域再內(nèi)部識別的Two-stage 檢測法［32］。YOLO(You only look once)、SSD(Single shot multibox detector )、R-FCN (Region-based fully convolutional networks)等則在無區(qū)域建議下對整幅圖像進行目標識別與定位，形成了One-stage 檢測［20，33］。像 素 級 圖 像 分 割 任 務(wù) 中，F(xiàn)CN (Fully convolutional networks)、SegNet、DeepLab、PSPNet(Pyramid scene parsing network)等引入上采樣操作，通過調(diào)整CNN 特征提取下采樣與反卷積網(wǎng)絡(luò)(Deconvolution network)上采樣中的 Encoder-Decoder 策略、池化策略、激活函數(shù)、網(wǎng)絡(luò)結(jié)構(gòu)等，實現(xiàn)了端到端(End-to-End)的語義分割［34］。網(wǎng)絡(luò)改進的同時，模型的存儲和預(yù)測速度成為影響基于CNN 的網(wǎng)絡(luò)模型應(yīng)用效率的問題，除了通過對訓(xùn)練好的模型進行壓縮來解決外，也發(fā)展了如SqueezeNet、MobileNet、Xception 等輕量化的CNN 網(wǎng)絡(luò)模型［35］。

DL 模型可以利用Python、C/C + +和Java 等語言編程實現(xiàn)。開源的DL 框架則提供了一系列應(yīng)用程序編程接口，支持模型設(shè)計，并輔助部署網(wǎng)絡(luò)與算法，避免了代碼重復(fù)編寫［36］。DL 框架模式為農(nóng)業(yè)信息檢測提供了支持，作物與雜草識別、病蟲害檢測、果實識別、遙感分類等研究中Tensorflow、Caffe、Keras、Theano、CNTK、MXNet 和PyTorch 等被廣泛應(yīng)用［13，16，19］。

2 農(nóng)業(yè)信息檢測與深度學(xué)習

2.1 農(nóng)業(yè)信息感知與深度學(xué)習

數(shù)據(jù)感知是開展農(nóng)業(yè)檢測的基礎(chǔ)，農(nóng)業(yè)中常用的成像感知手段與DL 結(jié)合應(yīng)用的部分研究進展如表1 所示。利用手持、物聯(lián)網(wǎng)或無人機平臺采集數(shù)據(jù)外［78-79］，航空和衛(wèi)星遙感影像數(shù)據(jù)可以通過在線下載或定制服務(wù)的方式獲得［19］。盡管可以獲取的圖像屬性、空間分辨率、光譜范圍與分辨率等數(shù)據(jù)源具有異質(zhì)性，但CNN 網(wǎng)絡(luò)在不同的任務(wù)中均得到了應(yīng)用［80-81］。典型的CNN 在農(nóng)業(yè)對象識別與分類中的應(yīng)用如圖1 所示，對高階特征的提取為高精度的對象識別奠定了基礎(chǔ)［82］。

如表1 所示，在作物、雜草、果園果實等外觀識別任務(wù)中RGB 和深度圖像應(yīng)用較多［83］，傳統(tǒng)研究中人工篩選的特征數(shù)量相對有限［4，7］，主要包括顏色、形狀、大小、紋理、SIFT (Scale-invariant feature transform)、HoG (Histogram of oriented gradient)、SURF (Speeded-up robust features)、LBP (Local binary pattern)等。以此為基礎(chǔ)建立邏輯回歸、偏最小二乘回歸、最鄰近算法(k-nearest neighbor，KNN)、支持向量機(Support vector machine，SVM)、隨機森林(Random forest，RF)等ML 分類和回歸模型的精度和泛化能力不高［8］。應(yīng)用“數(shù)據(jù)集”訓(xùn)練DL 深度網(wǎng)絡(luò)的模式降低了對復(fù)雜噪聲與干擾差異化剔除的要求，一方面CNN、VGGNet 等被用于突破手工特征篩選的局限，提取特征后用于輸入分類器;另一方面Faster R-CNN、YOLO V3 可直接輸出對象識別與定位的檢測結(jié)果［12，15，23-24］。開展農(nóng)作物長勢、植被覆蓋、病蟲害發(fā)展、產(chǎn)量估測等檢測時，多光譜、高光譜和熱輻射等傳感器被用于分析隨時間發(fā)展的外觀與內(nèi) 部 信 息 動 態(tài)［10，82，84］。此 類 研 究 中 AlexNet、GoogleNet 等常被用于特征提取和對象識別，CNN3D網(wǎng)絡(luò)對高光譜圖像立方體數(shù)據(jù)分析具有優(yōu)勢［73，85］，LSTM、GRU 等通過對時序關(guān)系的捕捉輔助估測產(chǎn)量［25，86］。

綜上可知，在農(nóng)業(yè)成像數(shù)據(jù)分析中基于CNN 的DL 深度網(wǎng)絡(luò)模型既可以作為特征提取的工具，又可以用于建立端到端的分割與檢測模型［86-87］，從而提供了農(nóng)業(yè)信息識別與檢測技術(shù)支持。

2.2 農(nóng)業(yè)信息數(shù)據(jù)集與深度學(xué)習

充足的標簽數(shù)據(jù)樣本是DL 訓(xùn)練的基礎(chǔ)，農(nóng)業(yè)數(shù)據(jù)的獲取有自行采集、網(wǎng)絡(luò)收集和使用公開數(shù)據(jù)庫3 種途徑?？捎糜谵r(nóng)業(yè)的公開數(shù)據(jù)庫種類豐富，按照農(nóng)業(yè)對象分類，常用的植物與花卉、雜草與病蟲害脅迫的圖像數(shù)據(jù)集有ImageNet、Plant Village［29-30，34］、Syngenta Crop Challenge 2017、Flavia Leaf、Crop/Weed Field Image、 Leafsnap、 LifeCLEF［87-88］、MalayaKew、PPBC (Plant photo bank of China)、BJFU100［13，17］;對土地覆蓋分類的數(shù)據(jù)有UC Merced Land Use、Land Use/Land Classification classes(LULC)、Africa Soil Information Service (AFSIS)、RSSCN7 等［80］;高光譜遙感領(lǐng)域，IEEE(Institute of Electrical and Electronics Engineers)地理與遙感協(xié)會數(shù)據(jù)與算法評價標準數(shù)據(jù)庫(DASE，dase. grssieee. org)包括Pavia Unversity (PU)、Indian Pines(IP)、Salinas、University of Houston(UH)等［19，24，86］。除ImageNet 外Fruits 360［89］、RGB-Ddataset［57］是果實圖像數(shù)據(jù)集。PASCAL VOC (Pattern analysis，statistical modeling and computational learning visual object classes)、Snapshot Serengeti［90］等可用于訓(xùn)練動物識別模型。此外，越來越多的學(xué)者也開放了研究采集的圖像。

表1 農(nóng)業(yè)信息成像感知與深度學(xué)習應(yīng)用Tab.1 Application of image sensing and deep leaning in agriculture

圖1 作物識別CNN 應(yīng)用示意圖Fig.1 Application of CNN in crop recognition

與公開的標準庫相比，自行采集的數(shù)據(jù)集規(guī)模小且對數(shù)據(jù)的標注費時費力［57］。數(shù)據(jù)不足時，神經(jīng)網(wǎng)絡(luò)很難穩(wěn)定訓(xùn)練且泛化能力較弱。部分研究通過引入新的學(xué)習方式或數(shù)據(jù)增強方法，從不同的角度來解決這一問題［16］。遷移學(xué)習(Transfer learning，TL)利用圖像邊緣、紋理等屬性的共通性，對新采集的無標簽樣本開發(fā)模型時，可以先以與它具有相似或分布重疊的已知數(shù)據(jù)集訓(xùn)練的模型為起點［91］，例如以ImageNet 為代表的標準數(shù)據(jù)庫上訓(xùn)練完成的模型為基礎(chǔ)，參數(shù)微調(diào)或組件修改后即可以應(yīng)用于本地化的植物種類識別、病蟲害檢測［32，91-92］。數(shù)據(jù)增強方面，盡管圖像顏色、亮度或?qū)Ρ榷茸儞Q、剪裁與仿射變換(旋轉(zhuǎn)、縮放、位移)等是常見的手段，但GAN 和VAE 網(wǎng)絡(luò)可生成更加多樣的樣本用于豐富有限的數(shù)據(jù)集［15，93］。

2.3 農(nóng)業(yè)數(shù)據(jù)處理與DL 運算平臺

在獲取農(nóng)業(yè)數(shù)據(jù)集后，應(yīng)用DL 開展農(nóng)業(yè)對象識別與檢測研究的總體過程如圖2 所示，包括數(shù)據(jù)集準備、網(wǎng)絡(luò)架構(gòu)、訓(xùn)練與驗證評估［13］。其中，準備數(shù)據(jù)集時包括數(shù)據(jù)標注、數(shù)據(jù)增強、數(shù)據(jù)清洗、標準化或規(guī)范化處理［14］。檢測目的或問題的復(fù)雜性、數(shù)據(jù)大小和類型等都是設(shè)計網(wǎng)絡(luò)架構(gòu)的基礎(chǔ)［80-81］。對訓(xùn)練網(wǎng)絡(luò)超參數(shù)的優(yōu)化則包括協(xié)議、網(wǎng)絡(luò)架構(gòu)、批處理容量、目標函數(shù)、學(xué)習率和正則化的設(shè)計等［16］。

圖2 應(yīng)用DL 開展農(nóng)業(yè)檢測的過程示意圖Fig.2 Application of deep learning in agriculture detection

評價DL 模型需要足夠的驗證數(shù)據(jù)外，在擾動條件下檢查模型的魯棒性也很重要，常采用的評價指標包括:分類準確率(Classification accuracy，CA)、真正率(True positive rate，TPR)、真負率(True negative rate，TNR)、精度(Precision，P)、召回率(Recall，R)、平均正確率(Mean average precision，mAP)、交并比(Intersection over union，IoU)、均方根誤 差(Root mean square error，RMSE)、F1 值等［13-14，19］。

由于“深度”層級中使用矩陣相乘、卷積、循環(huán)等計算量龐大，對計算硬件的并行性、內(nèi)存帶寬等指標提出較高的要求。可選的硬件有中央處理器(Central processing unit，CPU)、圖 形 處 理 器(Graphics processing unit，GPU)、現(xiàn)場可編程門陣列和專用集成電路［94-95］，當前農(nóng)業(yè)檢測中主要應(yīng)用了CPU 和GPU。面向單片機的Coral Dev Board、支持Raspberry Pi 或Debian Linux 計算機的USB 加速器等為本地化移動終端運行提供了平臺［96-97］。此外，不同平臺的運算能力、支持的計算框架和可用的資源有所差異，直接影響農(nóng)業(yè)檢測中DL 網(wǎng)絡(luò)訓(xùn)練和運行的時間［98］。因此，運算時間是又一綜合評價DL 網(wǎng)絡(luò)應(yīng)用潛力的重要評價指標。

3 深度學(xué)習在農(nóng)業(yè)檢測中的應(yīng)用進展

通過文獻檢索DL 在農(nóng)業(yè)檢測中最新的研究成果，分析近3 年主要發(fā)表的相關(guān)論文，按照研究目的總體呈現(xiàn)出5 個方向，包括:植物識別與檢測［13，16-17，99］、病蟲害診斷與識別［100］、遙感區(qū)域分類與監(jiān)測［10，18，24］、果實在體檢測與產(chǎn)品分級［20］、動物識別與姿態(tài)檢測［21］。

3.1 植物識別與檢測

3.1.1 作物識別與營養(yǎng)檢測

作物識別包括作物品種的識別與植株體上關(guān)鍵器官的識別。NAMIN 等［101］提出了一種CNN-LSTM分類模型用于識別4 種不同品種的擬南芥，基于ImageNet 數(shù)據(jù)集訓(xùn)練的網(wǎng)絡(luò)對自主拍攝的生育期RGB 圖像的分類準確率位于76.8% ～93%之間，高于以顏色和紋理特征為輸入的SVM 分類模型。QUIROZ 等［53］應(yīng)用CNN 提取特征識別藍莓育苗植株，平均準確度、精確度和召回率均高于85%。楊洋等［102］以履帶自走式熱霧機為平臺獲取玉米作物田間圖像，在預(yù)訓(xùn)練網(wǎng)絡(luò)模型VGG16 的基礎(chǔ)上進行遷移學(xué)習，建立玉米根莖檢測網(wǎng)絡(luò)，并采用最小二乘法擬合根莖位置指導(dǎo)農(nóng)機對行作業(yè)。馮海林等［103］以AlexNet、VggNet-16、InceptionV3 及ResNet-50 構(gòu)建深層網(wǎng)絡(luò)，在ImageNet 上提取圖像特征并預(yù)訓(xùn)練網(wǎng)絡(luò)模型，結(jié)合自主拍攝和網(wǎng)絡(luò)爬蟲獲取的樹種數(shù)據(jù)集以遷移學(xué)習優(yōu)化模型，對TreesNet 公開的10 種樹木識別的準確率達99.15%。對比SVM、DBN 和CNN方法，鄭一力等［104］指出基于AlexNet 和InceptionV3的植物葉片識別模型識別準確率均達到95.0%以上。

作物器官識別研究中，常以RGB 圖像為數(shù)據(jù)源。對包括雜草和光照影響的10 800 幅玉米秧苗圖像，劉慧力等［37］基于TensorFlow 構(gòu)建了多尺度分層特征的CNN 模型，田間玉米秧苗的識別準確率為99.65%，并進一步通過圖像分割識別玉米莖稈，準確率為98.93%?；贔aster R-CNN，宗澤等［52］對苗期玉米識別和質(zhì)心定位的準確率為92.9%，檢測一幀圖像的平均時間為0.17 s;孫哲等［38］則對比ResNet101、ResNet50 與VGG16 網(wǎng)絡(luò)，優(yōu)化選取了ResNet101 網(wǎng)絡(luò)識別雜草背景下西蘭花冠層，其平均準確率為90.89%，檢測時間249 ms。段凌鳳等［39］對正常生長及干旱脅迫兩個不同環(huán)境下的483 個品種的水稻圖像進行分割和特征提取后，建立生物量DBN 檢測模型的精度優(yōu)于傳統(tǒng)的逐步回歸模型。張領(lǐng)先等［105］構(gòu)建了冬小麥麥穗識別CNN模型，總體識別正確率達到99.6%，其中麥穗識別正確率為99.9%，葉片識別正確率為99.3%。

作物營養(yǎng)診斷中常采用RGB 或光譜成像數(shù)據(jù)。熊俊濤等［97］利用Mask R-CNN 模型對固定RGB 攝像頭采集的大豆生長期葉片進行圖像分割后，利用VGG16 模型實現(xiàn)了對2 類缺氮和4 類缺磷特征的分類。ZHU 等［65］采用棧式自動編碼器(Stacked autoencoder，SAE)對油菜冠層高光譜圖像進行分析，認為攝像角度對其品種分類具有影響，且在25°時分類結(jié)果的綜合評價指標最優(yōu)。岳學(xué)軍等［66，106］以作物特征光譜、灰度共生矩陣紋理和CNN 紋理等特征為輸入，建立了 ICA-DNNs (Independent component analysis-Deep neural networks)和SSAEDLNs (Stacked sparse autoencoder-Deep learning networks)分別用于檢測龍眼葉片的葉綠素含量和柑橘葉片鉀含量。

3.1.2 雜草識別

雜草識別的準確性對指導(dǎo)田間除草作業(yè)至關(guān)重要。KNOLL 等［55］采集500 幅RGB 田間蘿卜和雜草圖像，擴充數(shù)據(jù)集后采用CNN 對其進行分類識別，平均識別精度與召回率高于99.5%，F(xiàn)1 值達0.996 2。對自主采集的906 幅油菜與雜草圖像，ASAD 等［40］引入SegNet 和UNET 等學(xué)習單元比較VGG16 和ResNet-50 模型，選取了基于ResNet-50 的SegNet 雜草識別模型。彭明霞等［107］采用融合特征金字塔網(wǎng)絡(luò)(Feature pyramid network，F(xiàn)PN)的Faster R-CNN 實現(xiàn)了棉田雜草的識別。對德國波爾大學(xué)開放的RGB-NIR 多光譜圖像數(shù)據(jù)集，孫俊等［63］以深度可分離卷積以及殘差塊構(gòu)成分割模型的卷積層，用于識別甜菜與雜草。姜紅花等［41］和王璨等［42］利用CNN 提取圖像特征，對玉米田間雜草識別準確率均達到98%以上。FERREIRA 等［48］采用開源的巴西大豆種植園數(shù)據(jù)集和Deepweeds 數(shù)據(jù)集，在Pytorch 框架測試了兩類無監(jiān)督深度聚類法，指出數(shù)據(jù)擴充與遷移學(xué)習有助于提高模型對雜草識別的能力，而采用半自動數(shù)據(jù)標簽的方法可以減少手工數(shù)據(jù)標記的工作量。

上述植物識別研究中基于CNN 的網(wǎng)絡(luò)模型主要被用于提取對象的特征進行分類，而在作物檢測中DL 模型用于提供高精度的目標分割或定位，為作物表型測量奠定基礎(chǔ)。盡管基于CNN 提取高階特征為輸入所建立的識別模型精度顯著高于傳統(tǒng)圖像顏色與紋理特征所建立的同類模型，但是研究中數(shù)據(jù)采集的方式、數(shù)據(jù)擴充的選擇等與數(shù)據(jù)集涵蓋的多樣性緊密相關(guān)，會直接影響網(wǎng)絡(luò)訓(xùn)練的結(jié)果。此外，對網(wǎng)絡(luò)架構(gòu)的比較研究也表明，不同的網(wǎng)絡(luò)架構(gòu)與深度對特征識別的差異顯著。說明還需要繼續(xù)開展針對特定研究對象的數(shù)據(jù)集構(gòu)建以及DL 模型設(shè)計、比較與優(yōu)化。

3.2 作物病蟲害診斷與識別

3.2.1 作物病害診斷與識別

對于病蟲害診斷、類型識別和發(fā)生預(yù)測方面，DL 技術(shù)被用于分析不同尺度和維度的圖像數(shù)據(jù)［97］。龍滿生等［43］利用智能手機在室內(nèi)補光條件下拍攝葉片圖像并進行預(yù)處理作為輸入，基于TensorFlow 的AlexNet 模型對藻斑病、軟腐病、煤污病和黃化病4 種油茶病害癥狀的分類準確率高達96.53%。黃雙萍等［68］利用便攜式高光譜成像儀(Gaia Field-F-V10 型)拍攝田間水稻穗株圖像，將1 467 株樣本經(jīng)數(shù)據(jù)增強，輸入以隨機梯度下降算法優(yōu)化的GoogleNet 模型檢測水稻穗瘟病的準確率為92%。針對彩色數(shù)碼相機拍攝的果樹葉片樣本，LIU等［44］調(diào)整了卷積核大小，將全連接層替換為卷積層，建立4 種蘋果葉片病害的AlexNet Inspired 網(wǎng)絡(luò)模型，總體識別率為97.62%。KERKECH 等［108］利用無人機拍攝葡萄樹冠層的RGB 圖像，以顏色空間參數(shù)和植被指數(shù)為輸入，利用CNN LeNet-5 模型對葡萄樹的藤蔓疾病進行了檢測，正確率達92%。

公開的數(shù)據(jù)集常用于訓(xùn)練病蟲害識別模型，COULIBALY 等［91］以ImageNet 訓(xùn)練VGG16 網(wǎng)絡(luò)，使用TL 策略對本地小米病害特征識別的準確率高于95%?；赑lantVill，MA 等［109］對自主采集的圖像進行數(shù)據(jù)集擴充后，使用深度卷積網(wǎng)絡(luò)(Deep-CNN，DCNN)識別炭疽病、霜霉病、白粉病和目標葉斑病4 種黃瓜疾病癥狀，準確率為93.4%。KHAN等［110］結(jié)合PlantVill 和普渡大學(xué)的CASC IFW(Internal feeding worm database of the comprehensive automation for specialty crops )數(shù)據(jù)集，在圖像增強與背景分割的基礎(chǔ)上，建立VGG-VD-16 和Caffe-AlexNet 模型，檢測蘋果和香蕉葉片葉斑和果實病斑的準確率為98.6%。類似的，以PlantVill 數(shù)據(jù)集為基礎(chǔ)，KARTHIK 等［111］采用TensorFlow 框架建立了基于CNN 的殘留漸進特征提取模型，對番茄早疫病、晚疫病和葉霉病的整體識別準確率為98%。FERENTINOS 等［112］在Torch 框架下，基于VGG 和AlexNet 建立了58 種不同類別組合的病害與健康植物的識別模型，最佳準確率達到了99.53%。許景輝等［113］基于ImageNet 圖像數(shù)據(jù)集訓(xùn)練VGG16 模型的卷積層，通過遷移學(xué)習對玉米健康葉、大斑病葉、銹病葉圖像的平均識別準確率為95.33%。

ZHONG 等［114］利用AI-Challenger 公開數(shù)據(jù)集訓(xùn)練了DenseNet-121 網(wǎng)絡(luò)，提出了3 類模型的分類準確率分別為93.51%、93.31%和93.71%，均優(yōu)于基于交叉熵損失函數(shù)的分類結(jié)果(92.29%)。LU等［115］建 立 了WDD2017 (Wheat disease database 2017)數(shù)據(jù)集，提出了弱監(jiān)督深度學(xué)習框架，設(shè)計VGG-FCN-VD16 和VGG-FCN-S 模型，對小麥疾病平均識別準確率分別達到97.95%和95.12%，效果優(yōu)于傳統(tǒng)的CNN 模型。在研究香蕉病蟲害脅迫的過程中，SELVARAJ 等［116］以含有18 000 幅圖像的CIAT 香蕉數(shù)據(jù)集訓(xùn)練了DCNN 網(wǎng)絡(luò)，采用深度遷移學(xué)習實現(xiàn)了對香蕉葉、果等病害發(fā)生在線診斷的功能。

3.2.2 作物蟲害識別與預(yù)測

針對田間蟲害，XIE 等［117］使用數(shù)碼相機(Canon 和Nikon)和手機拍攝了4 500 幅含有40 種田間昆蟲的圖像，并開放了DLFautoinsects 數(shù)據(jù)集，采用無監(jiān)督特征提取的方法從大量未標記的圖像中學(xué)習昆蟲特征，與顏色、紋理、SIFT、HOG 有限特征分類的結(jié)果相比，對蟲害的識別精度顯著提高。CHENG 等［118］基于Caffe 框架以DRL(Deep residual learning)優(yōu)化AlexNet 網(wǎng)，對10 類蟲害的識別準確率達到了98.67%。劉文定等［119］提出一種基于FCN 的林區(qū)航拍圖像蟲害區(qū)域識別方法，與K-means、脈沖耦合神經(jīng)網(wǎng)絡(luò)、復(fù)合梯度分水嶺算法相比，識別準確率分別提高44.93%、20.73% 和6.04%，單幅圖像分割時間縮短47.54、19.70、11.39s。此外，劉德營等［120］基于CNN 識別了白背飛虱，孫鈺等［51］利用Faster R-CNN 和SSD 檢測了森林中冠層紅脂大小蠹蟲害。

作物病蟲害診斷與識別研究中，田間作物病蟲害發(fā)生的類型、頻次與規(guī)模影響圖像樣本采集的方式與數(shù)據(jù)集屬性，因此公開的數(shù)據(jù)集被大量使用，進而遷移學(xué)習成為訓(xùn)練病蟲害識別模型的重要手段。CNN、VGG、DenseNet-121 等網(wǎng)絡(luò)用于建立作物病蟲害識別模型，其本質(zhì)是對脅迫發(fā)生時葉片和植株、不同的害蟲對象之間等差異化特征的分類，由有監(jiān)督分類到弱監(jiān)督分類，從發(fā)生狀況的識別到引入環(huán)境數(shù)據(jù)的預(yù)測，DL 技術(shù)為研究人員利用有限認知逐步探索病蟲害發(fā)生的誘因與屬性提供了分析手段。

3.3 遙感區(qū)域分類與監(jiān)測

在遙感地物分類和監(jiān)測等研究中，應(yīng)用DL 技術(shù)主要是針對高光譜或多光譜時序圖像展開分析［10，18］。

PAOLETTI 等［19］基于DASE 開源遙感數(shù)據(jù)集提供的 Pavia Unversity (PU)、Indian Pines (IP)、Salinas、University of Houston(UH)的高光譜成像數(shù)據(jù)(High spetral image，HSI)，比較了傳統(tǒng)有監(jiān)督的HSI 分類與DL 模型在玉米、小麥、大豆、林木等多種地物分類中的性能。實驗中涉及到RF、SVM、MLP、RNN、GRU、LSTM、CNN、CNN2D、CNN3D 等多類模型和5 種深層架構(gòu)，結(jié)果指出CNN3D 模型較優(yōu)，且說明了數(shù)據(jù)集分布和標記對模型結(jié)果影響的重要性。齊永鋒等［121］提出了基于局部保留降維卷積神經(jīng)網(wǎng)絡(luò)的高光譜圖像分類算法。采用局部保留判別式分析對高光譜數(shù)據(jù)降維，經(jīng)二維Gabor 濾波器生成空間信息，CNN 提取光譜特征，融合空間與光譜信息進行分類，對IP 和PU 數(shù)據(jù)的分類結(jié)果比傳統(tǒng)CNN 方法準確率分別提高了3.81%與6.62%。

韓立欽等［64］提出利用層棧式自編碼神經(jīng)網(wǎng)絡(luò)模型提取HSI 特征，混合蛙跳算法優(yōu)化最佳端元組合，實現(xiàn)了對基于AVIRIS 傳感器獲取的農(nóng)田影像端元的提取?；贚andsat 衛(wèi)星影像，ZHONG 等［74］采用Conv1D(One-dimensional convolutional)分析增強植被指數(shù)的時序特征，利用RF 和SVM 等分類算法實現(xiàn)了作物的分類。楊建宇等［75］基于SegNet 語義模型對World View-2 高分辨率遙感影像進行分析，對農(nóng)村建設(shè)用地提取的精度為96.61%。

產(chǎn)量估測方面，JIANG 等［86］基于LSTM 開發(fā)了玉米估產(chǎn)模型，輸入空間異質(zhì)的作物物候、氣象和遙感數(shù)據(jù)，以美國玉米帶2006 年至2017 年共7 232 條縣級觀測為數(shù)據(jù)集，驗證了深度學(xué)習模型比嶺回歸和隨機森林模型在季中和季末玉米產(chǎn)量預(yù)測的結(jié)果有明顯的提升。周亮等［76］建立了基于MODIS 數(shù)據(jù)的中國北方冬小麥遙感估產(chǎn)CNN 模型，訓(xùn)練集和測試集R2分別為0.98 和0.71。類似的，融合氣象數(shù)據(jù)、TRMM(Tropical rainfall measuring mission)和MODIS 遙感影像、數(shù)字高程模型等數(shù)據(jù)，SHEN等［77］以2001—2010 年間的數(shù)據(jù)為訓(xùn)練集、2011—2012 年數(shù)據(jù)為測試集，構(gòu)建了DFNN(Deep feed forward neural network)作物干旱脅迫監(jiān)測模型。

除衛(wèi)星遙感外，DL 技術(shù)也應(yīng)用于基于無人機遙感圖像的分割與地物分類研究中。利用無人機平臺采集RGB 圖像，陳鋒軍等［50］基于TensorFlow 框架，以VGG16 為基礎(chǔ)建立了云杉分割FCN 模型，與顏色空間閾值分割以及K 均值聚類分割算法比較，平均IoU 分別提高0.10 和0.38。MAIMAITIJIANG等［72］利用無人機平臺在收獲前采集RGB、多光譜和熱紅外多源圖像，比較研究表明DNN 提取特征農(nóng)作物產(chǎn)量預(yù)測的能力高于組合光譜、紋理和熱輻射強度的特征。劉文萍等［49］基于Pytorch 比較并改進了DeepLabV3 模型，如引入Xception 替換ResNet，改進編碼器等，對土地覆蓋率的的分割準確率和平均IoU 分別為95.06%和81.22%。

地物分類方面，尼加提·卡斯木等［45］利用VGGN 和ResNet 對無人機采集的塊圖像的特征進行抽象與學(xué)習，實現(xiàn)了綠洲植物群落自動分類。楊紅艷等［69］基于無人機采集400 ～1 000 nm 波段草原退化指示物種的高光譜圖像信息，采用特征波段提取與CNN 相結(jié)合的方式，對草原短花針茅、冷蒿等物種的平均分類精度為94%。汪傳建等［62］應(yīng)用CNN 模型提取無人機獲取的RGB 和多光譜圖像特征，對棉花、西葫蘆和玉米作物的總體分類精度為97.75%。孫鈺等［122］通過多尺度融合的方法構(gòu)建FCN(Fully convolutional network)模型，使用帶動量的隨機梯度下降算法訓(xùn)練模型，自動提取并分類農(nóng)業(yè)大棚和地膜農(nóng)用地影像特征，結(jié)果表明FCN 模型優(yōu)于傳統(tǒng)的基于像素的分類和面向?qū)ο蟮姆诸惙椒?，平均整體正確率為97%。

遙感區(qū)域分類與監(jiān)測研究以多維多時相的光譜成像數(shù)據(jù)為基礎(chǔ)，區(qū)別于RGB 圖像特征的分析，針對不同遙感尺度提供的圖像和光譜多維屬性展開特征提取與分類是DL 應(yīng)用研究的關(guān)鍵。目標識別與分類研究中，CNN、DNN、VGG、DeepLabV3、SegNet 等被用于區(qū)域特征的提取和分割，SAE、FCN、CNN3D等被用于譜圖特征融合與HSI 特征提取。在時相關(guān)聯(lián)分析中，引入Conv1D、LSTM 等輔助提升了關(guān)聯(lián)高維特征的挖掘?，F(xiàn)有研究主要利用DL 網(wǎng)絡(luò)通過學(xué)習特征提升區(qū)域分類與識別模型的能力，基于“端到端”網(wǎng)絡(luò)的區(qū)域內(nèi)對象檢測的問題還有待深入研究。

3.4 果實在體檢測與產(chǎn)品分級

3.4.1 果實在體檢測

高精度的對象識別與定位是果實采收機械實施作業(yè)的基礎(chǔ)。研究中主要采用Faster R-CNN、YOLO等檢測模型識別自然場景下果實對象。

基于Faster R-CNN 檢測模型，INKYU 等［32］利用遷移學(xué)習將在ImageNet 訓(xùn)練好的模型應(yīng)用于田間彩椒和甜瓜的檢測，其中討論了融合RGB 和NIR 兩類圖像提高果實定位檢測的方法。WAN等［89］以Fruit360 樣本集為基礎(chǔ)訓(xùn)練改進的Faster R-CNN 模型，對蘋果、芒果和橙子識別的mAP 為86.41%，高于YOLOv3 的84.89%。閆建偉等［123］用雙線性插值方法和感興趣區(qū)域校準改進Faster R-CNN 中的卷積神經(jīng)網(wǎng)絡(luò)，VGG16 網(wǎng)絡(luò)訓(xùn)練模型，對自然場景下刺梨果實11 種形態(tài)識別的準確率最高達95.53%，F(xiàn)1 值位于87.50% ～94.99%之間，平均檢測速度0.2 s/幅。穆龍濤等［54］采用Im-AlexNet 為特征提取層的Faster R-CNN 目標檢測算法，通過遷移學(xué)習微調(diào)AlexNet 網(wǎng)絡(luò)，對晴天逆光、陰天和夜間補光等環(huán)境下獼猴桃目標識別的精度達96.0%。

熊俊濤等［124］利用Faster R-CNN 檢測綠色柑橘后，進一步探索了利用YOLO v2 對無人機采集的綠色芒果圖像進行識別［125］，對含不同果實數(shù)、順光和逆光條件圖像的識別正確率都達到87%以上?；贒enseNet 改進YOLO v3 網(wǎng)絡(luò)模型，TIAN 等［33］在3 個不同生育期開展在體蘋果的識別與定位研究，指出改進后的模型對3 000 像素×3 000 像素圖像的處理時間為0.304 s，且不易受果實發(fā)育過程中大小、顏色和密度等變化、環(huán)境光照與遮擋等影響。趙德 安 等［126］采 用 YOLO v3 識 別 蘋 果 mAP 為87.71%，召回率為90%，IoU 為83.61%，一幅圖像在GPU 下的檢測時間為16.69 ms，在CPU 下的檢測時間為105.21 ms，實際檢測視頻的幀率達到了60 f/s 和15 f/s。劉小剛等［127］的研究表明，對原始圖像進行增強后，有助于提升YOLO v3 網(wǎng)絡(luò)對夜視條件下草莓的識別準確率并縮短檢測時間。

其它模型應(yīng)用與優(yōu)化方面，KANG 等［61］提出了一種包括自動標簽生成模塊和LedNet (Light encoder-decoder network)檢測器的水果檢測DL 框架，蘋果園中的應(yīng)用實驗結(jié)果顯示召回率和分類準確度分別為82%和85.3%。畢松等［128］采用深層CNN 網(wǎng)絡(luò)，基于遷移學(xué)習完成了柑橘目標識別模型訓(xùn)練，對采集的測試圖像mAP 為86.6%。王丹丹等［46］設(shè)計了包含有ResNet-44 全卷積網(wǎng)絡(luò)、區(qū)域生成網(wǎng)絡(luò)和感興趣區(qū)域子網(wǎng)的R-FCN 結(jié)構(gòu)，用于蘋果對象識別，召回率為85.7%，準確率為95.1%。彭紅星等［47］利用ResNet-101 替換SSD 架構(gòu)中的VGG16，對自然環(huán)境下蘋果、荔枝、臍橙、皇帝柑4 類水果識別的mAP 為88.4%，高于改進前SSD 模型的86.38%。

將在體果實識別與采摘機器人作業(yè)相結(jié)合，楊長輝等［59］構(gòu)建了基于YOLOv3 網(wǎng)絡(luò)和Kinect V2 相機的柑橘目標及周圍障礙物識別定位系統(tǒng)，對障礙物和可采摘柑橘果實的識別綜合評價指數(shù)分別為83.6%和91.9%，定位誤差5.9 mm，單幀圖像的處理時間為0.4 s，采摘成功率和避障成功率分別達到80.51%和75.79%。同時，也提出了一種基于Mask R-CNN 模型與多參數(shù)變量約束的柑橘果樹枝干識別與重建方法［129］，在測試集下的平均識別精確率為98.15%，果樹枝干整體平均重建準確率為88.64%。

3.4.2 農(nóng)產(chǎn)品品質(zhì)分級

機器視覺技術(shù)已經(jīng)成為農(nóng)產(chǎn)品分級檢測的重要基礎(chǔ)［130］，DL 技術(shù)為農(nóng)產(chǎn)品圖像特征提取和分類建模提供了支持。倪超等［67］使用堆疊自適應(yīng)加權(quán)自編碼器提取短波紅外高光譜數(shù)據(jù)中的高階特征，用于剔除棉籽中的地膜雜質(zhì)。孫俊等［70］對5 個品種的茶葉樣本高光譜圖像數(shù)據(jù)，運用低秩自動編碼器(Low-rank stacked auto-encoder，LR-SAE)對原始光譜數(shù)據(jù)進行降維后，建立了LR-SAE-SVM 分類模型，準確率為99.37%。

新鮮度檢測方面，CAVALLO 等［131］提出了一種對包裝鮮切生菜分析的方法，利用CNN 網(wǎng)絡(luò)識別生菜的檢測區(qū)域與最小失真顏色，并按照從新鮮到腐敗5 個等級進行了分類。謝忠紅等［71］基于高光譜圖像進行菠菜新鮮度檢測，設(shè)計了CNN 網(wǎng)絡(luò)，包含有1 個輸入層、4 個卷積層和池化層組合、1 個全連接層、2 個Dropout 層和1 個輸出層，融合389、742、1 025 nm 波長處的圖像檢測的準確率大于80%。高震宇等［132］則建立了7 層的CNN 模型，對鮮茶葉的識別正確率不低于90%。

在線品質(zhì)分級方面，基于自適應(yīng)的卷積神經(jīng)網(wǎng)絡(luò)(Adaptive structure convolutional neural networks，ASCNNs)和隨機權(quán)向量函數(shù)連接網(wǎng)絡(luò)分類器(Random vector functional-link net，RVFL)，李帷韜等［133］建立了青梅圖像由整體到局部有明確品級特征表征映射關(guān)系的特征空間數(shù)據(jù)結(jié)構(gòu)與分類準則，針對1 008 幅青梅圖像的平均識別率為98.15%。曾窕俊等［134］基于“Bagging”集成學(xué)習方式訓(xùn)練并優(yōu)化集成卷積神經(jīng)網(wǎng)絡(luò)模型(Ensemble-convolution neural network，E-CNN)，對視頻圖像中紅棗缺陷檢測的正確率和召回率分別達到98.48%和98.39%，該結(jié)果優(yōu)于傳統(tǒng)顏色特征分類模型(86.62%)和紋理特征分類模型(86.40%)。

果園果實的在體識別是當前農(nóng)產(chǎn)品檢測研究的熱點，通過對遮擋、光照等自然場景下果實圖像的學(xué)習，F(xiàn)aster R-CNN、YOLO 等模型可以輸出高精度的識別與定位檢測結(jié)果，為了提高檢測模型在未來果園采摘機械中應(yīng)用的性能，大量的研究對Faster RCNN、YOLO 等架構(gòu)中的CNN、VGG、AlexNet 等識別網(wǎng)絡(luò)環(huán)節(jié)進行改進，并優(yōu)化模型的收斂速度以提高檢測精度與速度。而在農(nóng)產(chǎn)品分級檢測中，仍然以提高DL 圖像特征提取和分類精度為主。集成DL檢測模型進行在體果實識別與農(nóng)產(chǎn)品分級檢測的可行性已經(jīng)得到證實，DL 檢測模型與機械控制系統(tǒng)的結(jié)合將會極大的提升農(nóng)業(yè)生產(chǎn)的智能化水平。

3.5 動物識別與姿態(tài)檢測

在動物養(yǎng)殖環(huán)節(jié)，何東健團隊［135-136］基于CNN模型開展了奶牛發(fā)情行為和個體身份的識別研究。在動物目標分割與識別方面，鄧寒冰等［137］通過優(yōu)化FCN 提升了RGB-D 圖像中肉牛的分割精度。對低對比度和模糊的水下河蟹圖像，趙德安等［56］的研究結(jié)果表明YOLO v3 對河蟹的識別準確率為96.65%。為了實現(xiàn)多目標生豬的分割，高云等［138］在DCNN 的基礎(chǔ)上建立了Pig-Net 分割豬群粘連豬體，對獨立豬體的分辨和定位準確率為85.4%。劉巖等［139］利用生豬圖像的二值化規(guī)范梯度(BING)訓(xùn)練兩級線性SVM 生成候選區(qū)，并利用改進的CNN模型對候選區(qū)生豬圖像前景和背景的分類正確率為96%，高于傳統(tǒng)CNN 模型的72.29%，進一步對生豬目標跟蹤的成功率平均值達89.17%。

在姿態(tài)識別與行為分析中，常以視頻或深度相機為數(shù)據(jù)源。NOROUZZADEH 等［21］以Snapshot Serengeti 動物觀測數(shù)據(jù)集為基礎(chǔ)，應(yīng)用AlexNet、VGG、GoogleNet、ResNet-152 等10 種網(wǎng)絡(luò)架構(gòu)開展了動物識別與計數(shù)研究，結(jié)果顯示VGG 模型對是否存在動物鑒定的準確度達96%，ResNet-152 則對動物種類、計數(shù)和姿態(tài)分析的準確率最高?；赗GBD 相機采集的圖像，CHAN 等［60］、李丹等［140］分別利用Faster-RCNN 和Mask R-CNN 實現(xiàn)了泌乳母豬姿勢和豬只爬行行為的識別;，PU 等［58］和葉長文等［141］則分別基于CNN 和Faster-RCNN 網(wǎng)絡(luò)開展了養(yǎng)殖雞群行為跟蹤與肉雞擊暈狀態(tài)的檢測。

與其它研究領(lǐng)域中目標對象相對靜止或發(fā)展緩慢不同，養(yǎng)殖環(huán)節(jié)中動物的運動屬性對動物身份識別與姿態(tài)檢測提出了挑戰(zhàn)，因此獲取數(shù)據(jù)通常以RGB-D 和運動視頻圖像為主，研究中基于FCN、DCNN、YOLO 等實現(xiàn)了個體的識別、定位和計數(shù)?；贒L 提取的圖像特征可建立動物姿態(tài)識別模型，這為下一步開展動物行為與健康診斷奠定了基礎(chǔ)。

4 討論與展望

農(nóng)業(yè)信息成像感知與DL 技術(shù)在農(nóng)業(yè)信息檢測中的最新研究進展表明，在植物識別與檢測、病蟲害診斷與識別、遙感區(qū)域分類與監(jiān)測、果實在體檢測與農(nóng)產(chǎn)品分級、動物識別與姿態(tài)檢測領(lǐng)域，DL 技術(shù)體現(xiàn)了目標特征挖掘的優(yōu)勢，但是還有如下問題值得繼續(xù)研究。

對DL 模型的影響因素方面還有待進一步深入。當前的研究大多采用同一類型的數(shù)據(jù)源展開［142］，還未涉及對RGB、光譜、深度等多源成像原理與感知屬性的融合分析。智慧農(nóng)業(yè)體系中“星-機-地”農(nóng)業(yè)信息感知平臺與技術(shù)應(yīng)用日益成熟，在多平臺獲取數(shù)據(jù)量與數(shù)據(jù)變異性、數(shù)據(jù)對特征的表達形式、訓(xùn)練與驗證樣本集的分布、圖像包括的背景與拍攝圖像的條件、圖像的分割預(yù)處理等存在復(fù)雜性，也對DL 網(wǎng)絡(luò)信息提取、分析和檢測結(jié)果的影響與優(yōu)化提出了挑戰(zhàn)。

基于DL 的農(nóng)業(yè)對象特征挖掘與理解方面有待進一步明確。隨著任務(wù)目標從簡單分類到精確檢測的要求不斷提高，一方面構(gòu)建的DL 網(wǎng)絡(luò)層級不斷加深，另一方面各類網(wǎng)絡(luò)與架構(gòu)常?；旌鲜褂?。盡管大量研究表明深層網(wǎng)絡(luò)對高階特征的學(xué)習模式比傳統(tǒng)有限特征提取具有優(yōu)勢，以CNN 為代表被廣泛應(yīng)用于圖像特征的提取，各類網(wǎng)絡(luò)架構(gòu)在農(nóng)業(yè)對象識別中發(fā)揮了重要作用，但是還應(yīng)該加強中間特征的可視化并提升模型的解釋性，以增強對農(nóng)業(yè)對象生長發(fā)育等動態(tài)變化過程的挖掘與理解，為建立農(nóng)業(yè)管理決策提供支持。

基于DL 的農(nóng)業(yè)檢測的應(yīng)用模型與實踐有待進一步加強?，F(xiàn)有的DL 開發(fā)模式和硬件條件支持下，已經(jīng)形成了各類農(nóng)業(yè)對象識別與檢測方法，為在線檢測等環(huán)節(jié)奠定了基礎(chǔ)，但是基于DL 識別模型的智能控制裝備還處于起步階段。構(gòu)建針對具體農(nóng)業(yè)檢測目標的“端到端”的網(wǎng)絡(luò)模型，將DL 模型輸出與控制環(huán)節(jié)相結(jié)合，為農(nóng)業(yè)水肥藥等管理決策、變量作業(yè)實施以及反饋評價等環(huán)節(jié)提供支持，是加速智能作業(yè)體系構(gòu)建的方向。