趙獻立 王志明
摘要:主要通過介紹機器視覺技術(shù)在農(nóng)業(yè)中的發(fā)展狀況,然后闡述機器視覺系統(tǒng)的組成和工作原理,并基于當前機器視覺研究在農(nóng)業(yè)中的應(yīng)用,總結(jié)近幾年使用農(nóng)業(yè)機器視覺研究中用到的機器學習技術(shù),包括有監(jiān)督學習、無監(jiān)督學習、人工神經(jīng)網(wǎng)絡(luò),詳細討論這些技術(shù)的原理、優(yōu)劣以及在農(nóng)業(yè)領(lǐng)域中的應(yīng)用,最后討論機器視覺技術(shù)面臨的問題和挑戰(zhàn),以及未來應(yīng)用場景與發(fā)展方向。
關(guān)鍵詞:農(nóng)業(yè);機器視覺;機器學習算法;監(jiān)督機器學習;無監(jiān)督機器學習;人工神經(jīng)網(wǎng)絡(luò)
機器視覺技術(shù)是通過模擬人的視覺功能,利用光學設(shè)備采集客觀事物的圖像并獲得圖像信息,最終用于實際的檢測、測量和控制[1]。該技術(shù)具有可靠性高、速度快、功能多等特點,被廣泛應(yīng)用于工業(yè)、農(nóng)業(yè)、制造業(yè)、交通業(yè)等領(lǐng)域[2]。
目前來說,在農(nóng)業(yè)上主要著力于解決如何合理使用農(nóng)業(yè)資源、降低農(nóng)業(yè)生產(chǎn)成本,改善農(nóng)業(yè)生態(tài)條件、提高農(nóng)作物的質(zhì)量等問題[3],而機器視覺技術(shù)以其高效、無損傷的特點被廣泛應(yīng)用于農(nóng)產(chǎn)品的質(zhì)量分級和檢測、農(nóng)田病蟲草害的控制、農(nóng)業(yè)自動采摘系統(tǒng)、農(nóng)作物生長過程檢測、農(nóng)業(yè)機械導航等領(lǐng)域[4- 9]。而在農(nóng)業(yè)生產(chǎn)應(yīng)用中,采用機器視覺技術(shù)能夠有效合理地利用農(nóng)業(yè)資源,降低成本以及提高農(nóng)作物的產(chǎn)量和質(zhì)量。
伴隨著計算機軟硬件、圖像采集裝置、圖像處理技術(shù)的發(fā)展,機器視覺技術(shù)在農(nóng)業(yè)的應(yīng)用領(lǐng)域?qū)粩嗤卣?。目前,歐美日等國家已將機器視覺系統(tǒng)應(yīng)用到農(nóng)業(yè)的各個領(lǐng)域,大幅提高了生產(chǎn)效率、節(jié)約了勞動成本[10]。相比較而言,國內(nèi)的相關(guān)研究大多處于試驗階段,但也取得了一定的研究成果。目前我國正處于由農(nóng)業(yè)機械化到“智慧農(nóng)業(yè)”的關(guān)鍵期,機器視覺技術(shù)在推動農(nóng)業(yè)產(chǎn)業(yè)升級和農(nóng)業(yè)現(xiàn)代化過程中會發(fā)揮重要作用。
1 機器視覺系統(tǒng)
機器視覺就是利用相機等圖像采集裝置來代替人眼對目標進行識別、跟蹤、測量,然后進行各種運算,獲取目標特征,得到能夠觀察到或者儀器能夠檢測到的圖像,輸出信號并控制末端機構(gòu)輸出。一個典型的機器視覺系統(tǒng)包括光源、鏡頭、工業(yè)相機(CCD、CMOS相機)、圖像處理單元、圖像處理軟件、監(jiān)視器、通訊/輸入輸出單元等[11](圖1)。
由圖2可知,機器視覺系統(tǒng)在工作時,通過圖像攝取裝置(工業(yè)相機等)獲得被攝取目標的圖像,傳送給專用的圖像處理系統(tǒng)進行處理,這個過程包括圖像的預(yù)處理(圖像去噪、圖像對比增強、圖像分割等操作)、圖像分割(圖像閾值分割、圖像區(qū)域分割、圖像梯度分割等)、提取特征(提取出物體的尺寸、形狀、紋理、顏色等信息),然后通過機器學習算法進行統(tǒng)計運算,根據(jù)運算得到的判別結(jié)果來進一步控制現(xiàn)場的設(shè)備動作。
機器視覺系統(tǒng)是一門比較綜合的學科,綜合了光學、機械、計算機軟硬件等方面的技術(shù),而圖像處理、模式識別和人工智能等技術(shù)的發(fā)展,也會推動機器視覺技術(shù)的進步。
2 機器學習技術(shù)
使用機器學習技術(shù)對圖像進行分析與理解是研究熱點[12],機器學習就是通過輸入一定量的數(shù)據(jù),通過一定的邏輯規(guī)則,在給定的判斷準則下,來實現(xiàn)對數(shù)據(jù)的分析預(yù)測功能。對于機器視覺系統(tǒng)來說,輸入的數(shù)據(jù)是圖片。并按照輸入時是否對數(shù)據(jù)添加一定的標簽,機器學習可以分為監(jiān)督學習、非監(jiān)督學習等,在機器學習算法中均有一定的應(yīng)用。
典型的機器學習算法首先需要一定的訓練樣本集,往往是提取圖像的特征,然后通過機器學習算法進行訓練得到訓練模型,不同的算法會有不同的訓練精度,而在預(yù)測的過程中,新的樣本通過使用已知的模型,會得到預(yù)測的結(jié)果。機器學習的算法過程如圖3所示。
2.1 監(jiān)督機器學習
監(jiān)督機器學習算法是利用帶標簽的樣本來構(gòu)建模型,以此來預(yù)測未知樣本的類別。該學習算法從分析一個已識別的訓練數(shù)據(jù)集開始,生成一個推斷函數(shù)來預(yù)測所需的輸出值。該模型經(jīng)過訓練,可以為任何新的樣本提供精確的、預(yù)期的輸出,同時能發(fā)現(xiàn)錯誤,進而調(diào)整模型。
2.1.1 樸素貝葉斯算法 樸素貝葉斯(naive bayesian,簡稱NB)算法是一種生成概率模型,基于預(yù)測變量和特征之間的條件獨立性假設(shè),給定的訓練數(shù)據(jù)集,基于特征條件獨立假設(shè)學習輸入/輸出的聯(lián)合概率密度,然后基于此模型,對給定的輸入,利用貝葉斯定理求出后驗概率最大的輸出。
樸素貝葉斯算法多用于分類分級的研究中,在實際應(yīng)用中,會與其他分類算法對比使用。王永波等在對鳶尾花數(shù)據(jù)進行分類研究中指出,對花的花兒長度、花兒寬度、花瓣長度和花瓣寬度等4個特征進行建模,其中使用人工神經(jīng)網(wǎng)絡(luò)、樸素貝葉斯算法、支持向量機等3種算法,其準確度分別為92.2%、94.1%、98.0%,人工神經(jīng)網(wǎng)絡(luò)易出現(xiàn)局部最小化現(xiàn)象,導致分類的準確度降低,而樸素貝葉斯的方法雖然簡單,但準確度較高,支持向量機算法由于能夠有效克服局部最小化的問題,因而準確度最高[13]。周軍等在研究核桃仁的分級中,首先獲取顏色和完整度等的特征,得到特征矩陣并進行篩選,最后使用支持向量機、決策樹和樸素貝葉斯算法進行分類,得到測試精度分別為80.67%、93.33%、94.67%,而通過使用樸素貝葉斯預(yù)測的精度達到97.33%[14]。
樸素貝葉斯算法對小規(guī)模的數(shù)據(jù)表現(xiàn)很好,能夠處理多分類的任務(wù),有比較穩(wěn)定的分類效率,但是樸素貝葉斯假設(shè)屬性之間是相互獨立的,而實際中往往有一定的關(guān)聯(lián)程度的,而且樸素貝葉斯方式需要先驗概率,而這也會導致預(yù)測的精確度不佳[15]。
2.1.2 K近鄰算法 K近鄰法(K-nearest neighbor,簡稱K-NN)是一種分類和回歸的方法,在使用時,輸入實例的特征向量,也即是對應(yīng)的特征的點集,通過k值的選擇、距離的度量和分類的規(guī)則來輸出的是實例的類別,然后如果有新的實例產(chǎn)生,則會根據(jù)訓練的模型選擇最近的實例集所在的類,從而完成預(yù)測。
Kurtulmu等在使用機器學習算法對油菜籽進行分類的研究中,分別使用灰度共生矩陣(GLCM)、灰色線性回歸模型(GLRM)和局部二值模式(local binary pattern,簡稱LBP)的方式提取的14、11、59個紋理特征作為描述符,并使用K-NN算法進行分類,結(jié)果表明,k=3時K-NN算法的分類精度最高,達到97.8%[16]。Li等對自然環(huán)境下藍莓的生長階段圖像進行識別,首先構(gòu)建圖像像素的數(shù)據(jù)集,然后獲得圖像的紅、藍、色調(diào)3個顏色分量,通過K近鄰(K-NN)和樸素貝葉斯分類器對藍莓的成熟階段進行識別分類,結(jié)果表明,使用K-NN分類的精度最高達到98%[17]。在研究對不同類型的香菇自動分類檢測時,夏青采用K-NN的方式,使用香菇的紋理特征作為參數(shù),對香菇類型自動分選,試驗中的模型的分選準確度在91%以上[18]。
2.3.2 卷積神經(jīng)網(wǎng)絡(luò) 卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks,簡稱CNN)是一類包含卷積計算的具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò),對于神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元,只與部分鄰層的神經(jīng)元連接。一個卷積層中,卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)包括2層,分別是卷積層、池化層[32-33]。通過卷積和池化把局部特征結(jié)合成全局特征,并與全連接層相連,最后進行分類和預(yù)測。卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展很快,并且有很多成員,比如AlexNet、GoogleLeNet、VGGNet、ResNet等,隨著卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展,大大推動了機器視覺的發(fā)展[34]。目前,卷積神經(jīng)網(wǎng)絡(luò)的預(yù)測準確度已經(jīng)很高,但由于卷積神經(jīng)網(wǎng)絡(luò)有很高的深度,運算速度上有待提升,在應(yīng)用中更多的是希望速度和準確度上均有提高。
在農(nóng)業(yè)應(yīng)用上,卷積神經(jīng)網(wǎng)絡(luò)主要應(yīng)用在病蟲害檢測、分類分級、導航定位上,如Ramcharan等利用坦桑尼亞田間木薯病害圖像數(shù)據(jù)集,應(yīng)用轉(zhuǎn)移學習訓練深層卷積神經(jīng)網(wǎng)絡(luò),識別木薯的3種病害和2類害蟲危害。訓練好的模型獲得的褐斑病、木薯褐條病、木薯花葉病檢測精度分別為98%、98%、96%,對紅螨害的檢測精度為96%,綠螨害的檢測精度為95%, 測試集總準確率為93%[35]。孫俊等使用AlexNet改進的卷積神經(jīng)網(wǎng)絡(luò)算法,得到8種改進模型,訓練識別14種植物共計26種病蟲害,選擇最優(yōu)模型。所使用的模型與原來相比精簡了運行所需要的內(nèi)存,同時提高了運行的泛化能力,測試準確度達到99.56%,具有很好的適應(yīng)性和魯棒性,能夠?qū)Χ喾N植物的多種病害進行識別[36]。楊洋等在對玉米根莖進行精準定位和識別研究中,通過履帶自走式熱霧機獲取圖像,構(gòu)成訓練樣本,使用神經(jīng)網(wǎng)絡(luò)訓練,在試驗中能夠取得較好的規(guī)劃路徑和定位精度[37]。
神經(jīng)網(wǎng)絡(luò)具有很強的并行計算能力,與人腦類似,人工神經(jīng)網(wǎng)絡(luò)具有自學習和自組織能力,在神經(jīng)網(wǎng)絡(luò)中,神經(jīng)元部分消失在整個神經(jīng)網(wǎng)絡(luò)系統(tǒng)仍能夠進行工作,因此神經(jīng)網(wǎng)絡(luò)具有很強的容錯能力。但神經(jīng)網(wǎng)絡(luò)要求比較多的樣本進行訓練,而且訓練結(jié)果會有時間過長、過度擬合的問題,因此也具有一定的局限性。
3 總結(jié)和展望
機器學習技術(shù)在農(nóng)業(yè)機器視覺中具有重要的作用,目前已經(jīng)應(yīng)用到農(nóng)產(chǎn)品質(zhì)量檢測和分級、雜草和植物病蟲害檢測、土壤分析等方面,預(yù)計未來機器視覺會在農(nóng)業(yè)領(lǐng)域得到越來越廣泛的應(yīng)用。但也存在一些問題和挑戰(zhàn),一是在農(nóng)業(yè)領(lǐng)域的大規(guī)模數(shù)據(jù)集亟須構(gòu)建,目前的研究成果多是依賴研究者自身采集數(shù)據(jù)集,得到的結(jié)果沒有可比性。二是在面對不同的環(huán)境,如何提高機器視覺系統(tǒng)的魯棒性,也是面臨的挑戰(zhàn)。比如,在不同的光照條件、不同的背景條件、不同作物的不同生長階段、不同的天氣條件等給機器視覺的研究帶來難題。
未來的農(nóng)業(yè)機器視覺發(fā)展主要體現(xiàn)在:一是農(nóng)業(yè)機器視覺系統(tǒng)會體現(xiàn)在整合在人工智能、機器人、傳感器、物聯(lián)網(wǎng)中的一部分,能夠展示農(nóng)作物的生長信息情況,并能夠提前預(yù)測。二是嵌入式機器視覺具有易使用、易維護、易安裝的特點,且具有低功耗的優(yōu)勢,會結(jié)合機器學習和深度學習方法,在對圖像的定位和處理方向上得到長足發(fā)展,同時在農(nóng)業(yè)機械裝備中得到普及。
參考文獻:
[1]陳兵旗,吳召恒,李紅業(yè),等. 機器視覺技術(shù)的農(nóng)業(yè)應(yīng)用研究進展[J]. 科技導報,2018,36(11):54-65.
[2]周 航,杜志龍,武占元,等. 機器視覺技術(shù)在現(xiàn)代農(nóng)業(yè)裝備領(lǐng)域的應(yīng)用進展[J]. 中國農(nóng)機化學報,2017,38(11):86-92.
[3]付玉志. 基于ZigBee技術(shù)的智慧農(nóng)業(yè)實時采集和遠程控制系統(tǒng)[D]. 杭州:浙江大學,2015.
[4]刁智華,王會丹,魏 偉. 機器視覺在農(nóng)業(yè)生產(chǎn)中的應(yīng)用研究[J]. 農(nóng)機化研究,2014,36(03):206-211.
[5]王福娟. 機器視覺技術(shù)在農(nóng)產(chǎn)品分級分選中的應(yīng)用[J]. 農(nóng)機化研究,2011,33(5):249-252.
[6]曹樂平. 基于機器視覺的植物病蟲害實時識別方法[J]. 中國農(nóng)學通報,2015,31(20):244-249.
[7]陳 軍,張繼耀,張 欣. 基于機器視覺的草莓自動采摘機的設(shè)計[J]. 農(nóng)機化研究,2020,42(2):141-145.
[8]楊 斯,黃鋁文,張 馨. 機器視覺在設(shè)施育苗作物生長監(jiān)測中的研究與應(yīng)用[J]. 江蘇農(nóng)業(yè)科學,2019,47(6):179-187.
[9]曹 倩,王 庫,楊永輝,等. 基于TMS320DM642的農(nóng)業(yè)機器人視覺導航路徑檢測[J]. 農(nóng)業(yè)機械學報,2009,40(7):171-175.
[10]鄭文鐘. 國內(nèi)外智能化農(nóng)業(yè)機械裝備發(fā)展現(xiàn)狀[J]. 現(xiàn)代農(nóng)機,2015(6):4-8.
[11]姚 綴,呂建秋,向 誠,等. 計算機視覺在農(nóng)產(chǎn)品外部品質(zhì)檢測中的應(yīng)用研究[J]. 食品工業(yè)科技,2019,40(14):363-368.
[12]許憲東,王亞東,運海紅. 統(tǒng)計學習在圖像分類中的應(yīng)用研究綜述[J]. 黑龍江科技信息,2012(32):108.
[13]王永波,鄺炳洽. 基于機器學習的花卉分類算法研究[J]. 現(xiàn)代計算機,2013(13):21-24.
[14]周 軍,蔡 建,郭俊先,等. 基于機器視覺的核桃仁特征提取與分級方法研究[J]. 江蘇農(nóng)業(yè)科學,2018,46(11):175-179.
[15]丁 月,汪學明. 基于改進特征加權(quán)的樸素貝葉斯分類算法[J]. 計算機應(yīng)用研究,2019,36(12):3597-3600,3627.
[16]Kurtulmu F,nal H. Discriminating rapeseed varieties using computer vision and machine learning[J]. Expert Systems with Applications,2015,42(4):1880-1891.
[17]Li H,Lee W S,Wang K. Identifying blueberry fruit of different growth stages using natural outdoor color images[J]. Compute Electron Agriculture,2014,106:91-101.
[18]夏 青. 基于圖像處理的干香菇分級方法研究[D]. 武漢:華中農(nóng)業(yè)大學,2014.
[19]徐 奐. 基于支持向量機的開放式作物模型(SBOCM)研究[D]. 杭州:浙江大學,2012.
[20]Mokhtar U,Ali M A S,Hassanien A E,et al. Tomato leaves diseases detection approach based on Support Vector Machines[C]. Computer Engineering Conference,2016:246-250.
[21]羅匡男,彭 琳,齊偉恒. 基于機器視覺的三七葉片病斑識別[J]. 江蘇農(nóng)業(yè)科學,2017,45(24):209-212.
[22]劉永娟. 基于計算機視覺技術(shù)的玉米發(fā)育期識別研究[D]. 無錫:江南大學,2017.
[23]Zhang S W,Wu X W,You Z H,et al. Leaf image based cucumber disease recognition using sparse representation classification[J]. Compute Electron Agriculture,2017,134:135-141.
[24]歐垚江. 基于高斯混合模型的圖像分割的研究[D]. 北京:北京交通大學,2015.
[25]程相康,朱宏擎. 一種基于高斯混合模型的快速水平集圖像分割方法[J]. 華東理工大學學報(自然科學版),2015,41(6):808-814.
[26]董 騰. 基于機器視覺的水果分揀系統(tǒng)的研究[D]. 聊城:聊城大學,2018.
[27]田 杰,韓 冬,胡秋霞,等. 基于PCA和高斯混合模型的小麥病害彩色圖像分割[J]. 農(nóng)業(yè)機械學報,2014,45(7):267-271.
[28]鄭 春,張繼山. 基于神經(jīng)網(wǎng)絡(luò)的機器視覺圖像識別算法應(yīng)用[J]. 哈爾濱師范大學自然科學學報,2018,34(4):41-45.
[29]梁培生,孫 輝,張國政,等. 基于主成分分析和BP神經(jīng)網(wǎng)絡(luò)的蠶蛹分類方法[J]. 江蘇農(nóng)業(yè)科學,2016,44(10):428-430,582.
[30]黃喜梅. 基于機器視覺技術(shù)的小麥葉片含水量無損檢測研究[D]. 泰安:山東農(nóng)業(yè)大學,2018.
[31]譚穗妍,馬 旭,吳露露,等. 基于機器視覺和BP神經(jīng)網(wǎng)絡(luò)的超級雜交稻穴播量檢測[J]. 農(nóng)業(yè)工程學報,2014,30(21):201-208.
[32]牛亞茜,冀小平. 基于卷積神經(jīng)網(wǎng)絡(luò)的圖像檢索算法研究[J]. 計算機工程與應(yīng)用,2019,55(18):201-206.
[33]趙 軼,劉堂友. 基于卷積神經(jīng)網(wǎng)絡(luò)的田間雜草識別方法研究[J]. 計算機仿真,2019,36(4):440-444.
[34]李國和,喬英漢,吳衛(wèi)江,等. 深度學習及其在計算機視覺領(lǐng)域中的應(yīng)用[J]. 計算機應(yīng)用研究,2019,36(12):3521-3529,3564.
[35]Ramcharan A,Baranowski K,Mccloskey P,et al. Deep learning for image-based cassava disease detection[J]. Frontiers in Plant Science,2017,8:1852.
[36]孫 俊,譚文軍,毛罕平,等. 基于改進卷積神經(jīng)網(wǎng)絡(luò)的多種植物葉片病害識別[J]. 農(nóng)業(yè)工程學報,2017,33(19):209-215.
[37]楊 洋,張亞蘭,苗 偉,等. 基于卷積神經(jīng)網(wǎng)絡(luò)的玉米根莖精確識別與定位研究[J]. 農(nóng)業(yè)機械學報,2018,49(10):46-53.伏文卓,魏 鑫,高艷明. 新型保溫被結(jié)構(gòu)溫室冬季環(huán)境性能測試評價[J]. 江蘇農(nóng)業(yè)科學,2020,48(12):231-237.