黃藩,劉飛,王云,羅凡
四川省農(nóng)業(yè)科學(xué)院茶葉研究所,四川 成都,610066
茶產(chǎn)業(yè)是中國農(nóng)業(yè)增效、農(nóng)民增收、鄉(xiāng)村增綠的重要產(chǎn)業(yè)。雖然近年來取得了長足的進步[1-2],但隨著消費者對茶葉產(chǎn)品多樣、安全、優(yōu)質(zhì)的要求提升,發(fā)展高效、精準、環(huán)保、智能的現(xiàn)代化茶產(chǎn)業(yè)已經(jīng)成為供給側(cè)結(jié)構(gòu)性改革的必然要求[3-4]。在生產(chǎn)鏈中,實時狀態(tài)下茶葉的視覺屬性(又稱外觀屬性,主要包括顏色、形狀、紋理等)對于栽培、植保、加工、審評等來說,是一項非常重要的基礎(chǔ)信息,不僅直接反映了茶葉的物理特性,也是采摘標準、加工程度、感官評價中重要的判斷依據(jù)。但傳統(tǒng)的檢測方法都是采用肉眼觀察、手工接觸等方式進行,這些方法易受經(jīng)驗、習(xí)慣、偏好等主觀因素和外部環(huán)境的影響,致使檢測過程耗時費力,檢測結(jié)果主觀性強、一致性差、差錯率高、量化難[5]。因此,研發(fā)高效、實時、動態(tài)、無損的檢測方法,在現(xiàn)代化茶產(chǎn)業(yè)發(fā)展中至關(guān)重要。
計算機視覺技術(shù),是一門涉及圖像處理、圖像分析、模式識別和人工智能等多種技術(shù)的新興交叉學(xué)科,具有快速、實時、經(jīng)濟、一致、客觀、無損等檢測特點。在田間雜草識別和作物病蟲害監(jiān)測診斷[6-8]、作物生長量和營養(yǎng)信息監(jiān)測[9-10]、作物智能收獲和果蔬智能采摘[11-12]、農(nóng)產(chǎn)品品質(zhì)無損檢測和分級[13-15]等農(nóng)業(yè)領(lǐng)域,取得了良好的效果。但計算機視覺技術(shù)在茶葉領(lǐng)域的應(yīng)用起步較晚,還具有較大的發(fā)展空間。本文簡述了計算機視覺技術(shù)在茶產(chǎn)業(yè)應(yīng)用的可行性、現(xiàn)狀和發(fā)展前景,為計算機視覺技術(shù)在茶葉領(lǐng)域中的應(yīng)用提供參考。
計算機視覺技術(shù)(Computer vision,CV)的基本原理是利用圖像傳感器來代替人的視覺,獲得目標對象的圖像信號,然后傳輸給專用的圖像處理系統(tǒng),將像素分布、顏色、亮度等圖像信息轉(zhuǎn)換成數(shù)字信號,并對這些信號進行多種運算與處理,提取出目標的特征信息進行分析和理解,最終實現(xiàn)對目標的識別、檢測和控制等[16]。
計算機視覺技術(shù)首先由CCD攝像頭采集高質(zhì)量圖像,實現(xiàn)高精度測量,然后通過圖像數(shù)字化模塊、數(shù)字圖像處理模塊、智能判斷決策模塊等軟件模塊的精確數(shù)理統(tǒng)計運算和分析,包括參數(shù)經(jīng)過線性回歸(Linear Regression)、主成分分析方法(Principal Component Analysis)[17]、學(xué)習(xí)型矢量法、貝葉斯決策(Bayesian Decision Theory)[18]、支持向量機(Support Vector Machine)[19]、遺傳算法(Genetic Algorithm)[20]、BP神經(jīng)網(wǎng)絡(luò)(Back Propagation Neural Network)、人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network)[21]等,構(gòu)建判別模型,為圖像目標某一方面的判斷提供依據(jù)。
顏色特征是基于顏色空間分割方法和顏色坐標的一種表達方式;形狀特征是對單個嫩芽、葉片或者整株冠層的邊緣、區(qū)域的描述;紋理特征是將數(shù)字圖像中相鄰像素的灰度或顏色的空間相關(guān)性,或是圖像灰度和顏色隨空間位置變化的視覺表現(xiàn)。顏色、形狀、紋理等視覺屬性是計算機視覺技術(shù)檢測應(yīng)用的原始數(shù)據(jù),而茶鮮葉、在制品、茶產(chǎn)品的圖像特征參數(shù)受多種因素影響。由于品種、輪次、生長周期等內(nèi)因和光照、水肥、病害、蟲害等外因的影響,茶鮮葉的葉色深淺和亮度、茶樹長勢、葉片形狀和質(zhì)感、茶樹冠層和葉片的紋理等都會發(fā)生相關(guān)改變;茶葉在加工過程中,由于水分散失、外力擠壓、酶促反應(yīng)、高溫加熱等一系列條件作用,伴隨著劇烈的生理、化學(xué)、物理變化,在制品的顏色、形狀、紋理等圖像特征參數(shù)隨之變化;而采用不同茶鮮葉原料,通過不同工藝加工制成的茶產(chǎn)品,在最終的產(chǎn)品外觀特征上也千差萬別。
目前計算機視覺技術(shù)主要應(yīng)用于茶葉機采。采茶機器人的茶園作業(yè),首先要識別茶行和茶垅,才能及時、準確規(guī)劃行走路徑,實現(xiàn)茶園的自動化采摘需求。茶行和茶垅在亮度上存在的明顯區(qū)別,茶行和土壤的顏色也有較大不同。機器人在茶園工作時,首先通過高斯濾波處理減少圖像噪聲,再通過計算機視覺系統(tǒng)采集茶園圖像,將RGB顏色參數(shù)通過不同的算法,實現(xiàn)圖像灰度化處理來分離作物和背景;根據(jù)茶行、茶垅、土壤在亮度和顏色上的不同,記錄茶垅左右邊緣點,并判別壟間還是壟頭,最終通過最小二乘法或基本蟻群算法擬合導(dǎo)航線來規(guī)劃采茶路徑的流程[22-24]。
采茶機器人進入茶園后,執(zhí)行作業(yè)的首要任務(wù)是利用計算機視覺系統(tǒng)根據(jù)芽葉在顏色、形狀和紋理上的明顯區(qū)別對目標芽葉的識別與定位。由于芽葉嫩度的不同,其顏色差異最大。韋佳佳等[25]和張浩等[26]利用自然環(huán)境下茶樹嫩梢與背景(土壤、老葉、莖等)之間的顏色差異,在不同的顏色空間分別選擇R-B、I、b、S、Cb因子對圖像進行灰度化,并根據(jù)灰度化結(jié)果對比采用OTSU、迭代閾值或固定閾值法中進行圖像分割,運用面積濾波、腐蝕膨脹的方法去除噪聲,得到嫩芽的二值圖像,并采用質(zhì)心法求取嫩梢的中心位置,提供水平方向坐標,實現(xiàn)了茶葉嫩梢的自動識別。楊福增等[27]在利用顏色不同區(qū)分嫩葉和老葉的同時,根據(jù)邊緣輪廓提取茶葉的形狀特征,從圖像左上角開始逐行掃描,直至檢測到老葉葉片的上邊緣,記錄下所有老葉上邊緣點坐標值后,經(jīng)過計算勾勒出老葉和嫩葉的分割線,區(qū)別老葉和嫩葉,使采摘更準確。
目前茶園病蟲害防治主要依靠農(nóng)技人員的肉眼監(jiān)測,但隨著全球氣候變暖、新品種推廣、種植制度改革等變化,病蟲害發(fā)生種類趨于增加,農(nóng)技人員的經(jīng)驗已經(jīng)不能滿足現(xiàn)實需求。用計算機視覺技術(shù)將茶樹病蟲害的診斷防治技術(shù)固化在儀器中,發(fā)展先進和全面的病蟲害監(jiān)測技術(shù)與手段,將能滿足現(xiàn)代化茶園建設(shè)的需要。計算機視覺在茶園病蟲害的監(jiān)測上起步較晚。李潔[28]掃描了茶赤葉斑病的茶樹病葉,根據(jù)受害部位顏色的不同進行圖像分割,記錄直方圖中的像素值,并換算成葉面積,進而計算受害面積百分率,雖然較傳統(tǒng)人工測定法效率提高10倍以上,但并沒有建立計算機視覺識別模型。陳晶等[29]將計算機視覺技術(shù)引入到了茶小綠葉蟬的自動識別領(lǐng)域,通過Lab顏色空間來準確描述顏色深淺以及亮度的變化,體現(xiàn)色相間的差異,進而實現(xiàn)茶園中茶小綠葉蟬的準確及時預(yù)報,但圖像的閾值分割方法要根據(jù)茶園環(huán)境和蟲害情況人為選擇,目前還沒有通用模式。相比計算機視覺技術(shù)在玉米[30]、大麥[31]、水稻[32]、葡萄[33]、番茄[34]、黃瓜[35]等植物上通過對植物病斑圖像進行分割,提取顏色、紋理、形狀等特征參數(shù),對病蟲害種類及危害程度進行識別,進而采取相應(yīng)的農(nóng)業(yè)綜合防治措施而言,在茶園病蟲害的監(jiān)測方面,計算機視覺技術(shù)的應(yīng)用相對落后,還需要進一步探索。
2.3.1 鮮葉分級
鮮葉采后分級是加工的首道工序,也是提高茶葉品質(zhì)的關(guān)鍵步驟。目前利用計算機視覺分級分類方法的研究集中在實驗室,通過拍攝無重疊的芽葉圖像,提取RGB顏色參數(shù)[36-37],面積、周長、等二階矩橢圓長、短軸長度等形狀特征參數(shù)[38],圖像的對比度/平滑度等紋理特征[39],然后搭建神經(jīng)網(wǎng)絡(luò)識別模型,實現(xiàn)芽葉識別及分選。由于實驗室和生產(chǎn)線環(huán)境的不同,應(yīng)用效率較低,但為生產(chǎn)線的應(yīng)用提供了理論依據(jù)。江才華等[40]通過對生產(chǎn)線機制茶葉進行研究,其基于灰度共生矩陣(GLCM)方法,提取鮮葉的方向為 0°、像素距離為 10的紋理能量、對比度、相關(guān)性、逆差距4個特征值,再應(yīng)用支持向量機(SVM)來實現(xiàn)茶鮮葉的在線分類。這種基于鮮葉表面紋理特征進行分類的識別方法,需要進一步結(jié)合生產(chǎn)線的工藝參數(shù),完成茶鮮葉的嫩度情況和工藝參數(shù)的映射組合,實現(xiàn)多目標靶向的鮮葉處理,更好地制作茶葉產(chǎn)品。
2.3.2 初加工監(jiān)測
在毛茶制作過程中,通過含水量、顏色、成條率等常用的監(jiān)測指標,判斷某種工序進程。例如,通過含水量監(jiān)測萎凋和干燥工序,顏色特征變化監(jiān)測紅茶發(fā)酵工序,成條率監(jiān)測茶葉揉捻工序。但是傳統(tǒng)的手摸法或快速水分測定儀測定在制品的含水量,肉眼觀察法既定顏色變化,肉眼觀察法估計成條率等對監(jiān)測指標測定的方法均較為粗放。計算機視覺技術(shù)利用采集到的在制品圖像信息,提取顏色、形狀、紋理特征參數(shù),分析各個參數(shù)的變化規(guī)律,結(jié)合主成分分析,建立圖像特征參數(shù)與含水量的回歸方程,與在制品含水量相關(guān)性最大的圖像特征參數(shù)即可來監(jiān)測萎凋或干燥的工序進程[41-45]。李文萃等[46]利用計算機視覺技術(shù)對貴州綠茶連續(xù)化生產(chǎn)線加工中的在制品進行色澤在線監(jiān)測,發(fā)現(xiàn)顏色參數(shù) G變動幅度較大,能較好地反映綠茶加工中的色澤變化,且與含水量、茶多酚總量、水浸出物3種品質(zhì)成分的相關(guān)系數(shù)分別達到 0.953、-0.925和0.931。Borah等[47-48]和楊龍[49]對紅茶發(fā)酵圖像進行處理后,提取圖像的 RGB均值、HSI均值以及3類顏色的區(qū)域大小,結(jié)合紅茶品質(zhì)特征值(茶多酚、茶黃素、茶湯Lab值)對茶樣進行了感官審評,利用BP神經(jīng)網(wǎng)絡(luò)的方法對提取的圖像顏色特征值進行了訓(xùn)練,得到了神經(jīng)網(wǎng)絡(luò)預(yù)測茶葉發(fā)酵程度的判別模型。李莎莎等[50]采集紅茶不同發(fā)酵時間的在制品和發(fā)酵適度的標準品的圖像信息,計算在制品圖像R、G、B 3種顏色分量直方圖與標準品圖像的Manhattan距離,當 Manhattan距離小于設(shè)定閾值時,則判斷為發(fā)酵適度。結(jié)合感官審評結(jié)果,認為這種基于RGB直方圖對比算法判別紅茶發(fā)酵適度的方法判別準確率達到93.2%。揉捻中在制品的成條率跟圖像特征參數(shù)存在密切關(guān)系,劉飛[51]在紅茶揉捻中發(fā)現(xiàn)紋理特征參數(shù)中的平均周長和平均面積,均隨成條率的升高而逐漸降低;色澤特征參數(shù)中的G值、2G-R-B值、HUE值、Hab*值隨成條率的升高而減小,而 R/G值隨成條率的升高而增大,但是沒有建立基于計算機視覺技術(shù)的揉捻工序監(jiān)測方法。
2.3.3 毛茶分級
計算機視覺系統(tǒng)通過毛茶茶葉和茶梗的形狀、含水量及顏色的不同,進行分選分級,提高了毛茶精制的效率和茶葉品質(zhì)。計算機視覺分級分選系統(tǒng)的研發(fā),一直是農(nóng)產(chǎn)品行業(yè)研究的熱點[52-54],但在茶產(chǎn)業(yè)起步較晚。吳正敏等[55]針對機采大宗綠茶的形狀特征進行試驗,對無重疊擺放的干茶進行圖像采集,提取出干茶樣品凸包面積、凸包周長、長軸長度、短軸長度等圖像特征參數(shù),同時設(shè)計三級的BP神經(jīng)網(wǎng)絡(luò)算法對提取的參數(shù)進行分析,實現(xiàn)了干茶的全芽、一芽一葉和一芽二葉共3類等級的分選,但效率極低。陳筍[56]對采集的圖像進行處理(矩陣分析、特征降維)、比對后得到了茶葉茶梗的1個顏色特征和4個幾何特征,結(jié)合支持向量機和最小風(fēng)險貝葉斯分類器兩者各自優(yōu)勢,組合成多分類器分揀方法,初步探索了提高茶葉色選精度的方法。胡焦[57]通過綜合茶葉顏色和形狀特征以及貝葉斯分類器等技術(shù),開發(fā)出上位機人機交互軟件,提高了茶葉色選機的智能化水平。雖然計算機視覺毛茶分級技術(shù)有更高的精度,也更加的智能,但還處于轉(zhuǎn)化階段,需要進一步研究。
在茶葉生產(chǎn)和貿(mào)易流通領(lǐng)域,感官審評是茶葉品質(zhì)和價格評判的重要手段,但是對審評人員的專業(yè)能力要求高,且受審評人員的嗜好性和環(huán)境影響較大。為了克服感官審評技術(shù)的隨機性大、主觀性強、重復(fù)性差等弊端,科技工作者通過尋找感官品質(zhì)與視覺特征的相關(guān)性,區(qū)別不同類型和等級的茶葉,拓展茶葉感官審評定量分析的方法。計算機視覺技術(shù)采集干茶的圖像信息,提取 RGB、HSI、Lab等顏色特征,長、寬、面積等形狀特征和粗糙度、對比度、方向度、平滑度、一致性等紋理特征[58-60],再利用主成分分析、多層神經(jīng)網(wǎng)絡(luò)、支持向量機等方法對圖像特征進行分類,實現(xiàn)茶葉等級的區(qū)分。
計算機視覺技術(shù)定量化分析最早是根據(jù)茶葉色澤上的差異進行區(qū)分。張景林[61]在白色背景下,采集了無重疊的鐵觀音干茶圖像,分析了R、G、B、H、S、V、(R-G)、(R-B) 8個顏色特征的分布情況,依據(jù)Fisher判別分析理論構(gòu)建特征向量函數(shù)并使用 K-means聚類算法,最終完成對鐵觀音干茶色澤上的定量化分析。蔡健榮[62]采集不同年份生產(chǎn)的龍井茶的干茶色澤圖像,發(fā)現(xiàn)可以通過HSI顏色系統(tǒng)參數(shù)定量地描述茶葉色澤隨儲藏時間的變化規(guī)律。吳瑞梅[63]在碧螺春審評中,不僅提取了12個顏色特征,而且提取了28個紋理特征,同時進行感官審評,建立這些圖像特征變量與名優(yōu)綠茶外觀感官評分之間的 BP神經(jīng)網(wǎng)絡(luò)(BP-ANN)模型,該模型對預(yù)測集樣本的預(yù)測均方根誤差(RMSEP)為2.396,相關(guān)系數(shù)(Rp)為0.937。俞輝[64]通過“扁條形茶及芽茶色形品質(zhì)指標分析軟件”,能直接讀出掃描范圍內(nèi)的每片茶葉的長度L、寬度W、周長P、面積A、紅R、綠G、藍B指標,以及所有葉片各參數(shù)的平均值及標準差,通過對以上圖像特征參數(shù)的分析,實現(xiàn)扁條形茶及芽茶的品質(zhì)判斷和分級。董春旺等[65]在采集機制綠茶的干茶顏色、紋理特征以及外觀感官評分的同時,采集樣品制作中的17個工藝參數(shù),通過聯(lián)合線性的偏最小二乘法(PLS)和非線性的極限學(xué)習(xí)機神經(jīng)網(wǎng)絡(luò)(ELM),建立的綠茶外觀品質(zhì)的儀器化表征方法,同時可以為智能化生產(chǎn)中的工藝決策提供理論依據(jù)。
開展計算機視覺技術(shù)的研究,實現(xiàn)茶產(chǎn)業(yè)全過程的自動控制及精細化調(diào)控管理,對于保證茶產(chǎn)業(yè)的高產(chǎn)、高效、優(yōu)質(zhì)、安全、健康,實現(xiàn)可持續(xù)發(fā)展具有重要意義。綜合前期研究現(xiàn)狀不難發(fā)現(xiàn),計算機視覺技術(shù)僅在茶樹蟲害、嫩芽識別、色選技術(shù)、初加工在線監(jiān)測、感官審評量化分析等方面有初步探索,但是在應(yīng)用的廣度和深度上,還存在很多問題。例如圖像信息在復(fù)雜背景條件下的穩(wěn)定性、可獲取性變差;圖像處理技術(shù)與田間精準農(nóng)具結(jié)合欠佳,精準定位效果差;圖像特征參數(shù)與內(nèi)含物質(zhì)成分的關(guān)系,缺乏深入細致的研究;計算機對圖像信息的處理和傳輸速度慢,結(jié)果滯后等都限制了實時監(jiān)測的應(yīng)用效果。以上都是計算機視覺技術(shù)從單一靜態(tài)的實驗室應(yīng)用到實踐生產(chǎn)中,需要解決的實際問題。
目前,傳統(tǒng)的基于灰度圖像的算法已難以勝任復(fù)雜圖像處理的需要,為了提高計算機視覺技術(shù)檢測應(yīng)用的深度,模糊邏輯、人工元神經(jīng)元網(wǎng)絡(luò)以及遺傳進化計算等智能算法已在計算機視覺領(lǐng)域獲得廣泛應(yīng)用,故以智能理論與技術(shù)為手段,能夠適合農(nóng)業(yè)復(fù)雜環(huán)境、處理復(fù)雜圖像、具有啟發(fā)式的且高效的彩色圖像處理技術(shù)將會成為計算機視覺技術(shù)應(yīng)用于農(nóng)業(yè)領(lǐng)域的研究熱點[66]。為了實現(xiàn)對茶葉種植、加工、質(zhì)檢、流通等執(zhí)行全方位、全角度、全流程的品質(zhì)檢測,需要進一步增強計算機視覺技術(shù)與電子鼻、電子舌、近紅外技術(shù)、高光譜成像技術(shù)、太赫茲技術(shù)和遙感技術(shù)等檢測技術(shù)的有機結(jié)合,實現(xiàn)多種圖像技術(shù)、圖像模式和非成像傳感器技術(shù)等的集成應(yīng)用,通過不同的信息源對某一性狀進行檢測,不僅能提高檢測結(jié)果的客觀性和準確度,還能提高檢測系統(tǒng)的穩(wěn)健性。在提升圖像處理技術(shù)和融合多種檢測技術(shù)的基礎(chǔ)上,更需要結(jié)合植物生理學(xué)、病理學(xué)、食品化學(xué)等多種知識,根據(jù)拍攝對象的多元特征參數(shù),建立科學(xué)、完整、系統(tǒng)的數(shù)據(jù)圖像特征參數(shù)組合模型,組成特征矢量,提高識別的準確性,才能更好地為農(nóng)業(yè)的精準化和智能化服務(wù)。另外,通過互補信息提高計算機視覺系統(tǒng)檢測的廣度,提高系統(tǒng)性狀評判的綜合性,便于實現(xiàn)茶園和茶廠的數(shù)字化信息管理,形成品質(zhì)信息流,實現(xiàn)茶葉質(zhì)量的可追溯性,從而保證種植、加工、質(zhì)檢、流通等各環(huán)節(jié)的產(chǎn)品供給質(zhì)量,優(yōu)化整個產(chǎn)業(yè)鏈的生產(chǎn)流程,提高產(chǎn)品質(zhì)量,增加產(chǎn)業(yè)鏈經(jīng)濟效益[67]。