胡迎思 于躍 朱鳳武
摘 要:自20世紀(jì)80年代,基于圖像處理的相關(guān)技術(shù)開始被應(yīng)用于農(nóng)業(yè)生產(chǎn),隨著相關(guān)學(xué)科與硬件技術(shù)的發(fā)展,在田間雜草的識別定位這一方向已取得顯著成績。結(jié)合國內(nèi)外的研究現(xiàn)狀,對現(xiàn)階段的研究成果進(jìn)行總結(jié)分析,列出了田間雜草識別定位的各項技術(shù)的關(guān)鍵技術(shù)和存在的問題,最后對我國田間雜草識別定位研究的發(fā)展趨勢進(jìn)行了預(yù)測。
關(guān)鍵詞:圖像處理;雜草識別;雜草定位;機(jī)器視覺
中圖分類號:S-1 文獻(xiàn)標(biāo)識碼:A DOI:10.11974/nyyjs.20180329008
前言
精細(xì)農(nóng)業(yè)的發(fā)展,對農(nóng)業(yè)生產(chǎn)的增產(chǎn)、減少浪費(fèi)、生產(chǎn)效率的提高、農(nóng)藥使用量的減少、耕地環(huán)境的保護(hù)已經(jīng)取得了顯著的成果。其中,田間雜草的識別與定位技術(shù)的發(fā)展已成為精細(xì)農(nóng)業(yè)的重要組成部分[1]。目前,我國對田間雜草識別定位技術(shù)的主要研究成果集中在圖像處理領(lǐng)域,利用色彩空間、形態(tài)特征、光譜特性等原理。多應(yīng)用雙目視覺技術(shù),相較于單目視覺技術(shù),雙目視覺技術(shù)系統(tǒng)更為復(fù)雜。
隨著相關(guān)領(lǐng)域新成果的不斷問世,在雜草的識別定位方面的技術(shù)亦更加成熟,本文討論的是基于圖像處理的雜草識別定位相關(guān)技術(shù)。
1 雜草定位技術(shù)發(fā)展歷史及國內(nèi)外研究現(xiàn)狀
1.1 發(fā)展歷史
數(shù)字圖像處理出現(xiàn)于20世紀(jì)50年代,作為一門學(xué)科大約形成于20世紀(jì)60年代初期。從20世紀(jì)70年代中期開始,隨著各國的重視與研究力度的加大,圖像處理技術(shù)在各個領(lǐng)域取得了長足發(fā)展。同時在該時期,出現(xiàn)了第一部關(guān)于圖像處理的著作,結(jié)合Marr發(fā)表的視覺計算理論,主導(dǎo)了近20a的研究方法[2]。在隨后的20世紀(jì)80年代,隨著相關(guān)硬件、軟件技術(shù)的發(fā)展,圖像處理技術(shù)開始在農(nóng)業(yè)生產(chǎn)中大量應(yīng)用。從作物生長狀態(tài)的監(jiān)測、病蟲害的監(jiān)測,到農(nóng)業(yè)機(jī)器人領(lǐng)域關(guān)于果實(shí)采摘、雜草識別、雜草定位給藥,涌現(xiàn)出了大量的成果。
1.2 發(fā)展現(xiàn)狀
該研究因其基于圖像處理的特性,在進(jìn)行識別時往往在目標(biāo)的形態(tài)特征、紋理特征、顏色特征等之中選擇一種或綜合多種來進(jìn)行處理,因此如何選擇特征與如何準(zhǔn)確快速的利用算選特征進(jìn)行識別就成為了研究的關(guān)鍵所在。國內(nèi)外的研究人員在這兩方面進(jìn)行了大量的嘗試。
1.2.1 國外研究現(xiàn)狀
歐美等發(fā)達(dá)國家在該領(lǐng)域起步比我國早很多,在1986年就開始利用圖像處理技術(shù)進(jìn)行植物的識別定位研究,目前很多成熟的方法已實(shí)際應(yīng)用。
美國加利福尼亞大學(xué)戴維斯分校推出了一種基于圖像的精確自動除草裝置[3],通過攝像裝置獲得目標(biāo)區(qū)域的圖像,識別出其中的雜草,在利用農(nóng)藥噴嘴在雜草區(qū)域進(jìn)行精準(zhǔn)噴藥,或用激光槍將雜草直接殺死。
2000年,Majumdar.S 等[4]分別應(yīng)用形狀、紋理、顏色3個特征進(jìn)行研究。綜合常規(guī)參數(shù)和無量綱參數(shù),用24個形態(tài)參數(shù)對作物葉片進(jìn)行了分級研究。面積、長寬比、橢圓的短軸長度、長軸長度、葉片的周長、最大半徑、最小半徑和半徑的標(biāo)準(zhǔn)差等。在進(jìn)行了大量試驗后,得到了效果顯著的參數(shù)組合,在理論上達(dá)到了極高的準(zhǔn)確率。
Meyer 等[5]利用均勻度、慣性和角二次積率對2種禾本科雜草[牛筋草(Eleusine indica)、狐尾草(Alopecurus pratensis L.)]和2種闊葉雜草[絨毛葉(Abutilon theophrasti)、紅根藜(Amaranthus retroflexus)]進(jìn)行識別,識別率分別為 93.3%和 85%。
美國堪薩斯州大學(xué)El-Faki等[6]根據(jù)目標(biāo)作物與其伴生雜草顏色上的差別,設(shè)計了不同的顏色組合區(qū)分雜草和農(nóng)作物,在設(shè)計分類器時又用人工神經(jīng)網(wǎng)絡(luò)和判別式分析法進(jìn)行了對比試驗,雖然試驗結(jié)果表明,統(tǒng)計分析分類算法更精確,但結(jié)果差強(qiáng)人意。利用統(tǒng)計分類法對大豆和小麥的識別率分別為54%和62.2%。
1.2.2 國內(nèi)研究現(xiàn)狀
我國在該領(lǐng)域的研究投入開始略晚,但在國家大力度支持之下,近些年也取得了理想成果。
2009年,夏利兵等[7]人提出了針對角點(diǎn)特征檢測,基于SUSAN的棋盤角點(diǎn)檢測算法及基于連通域的改進(jìn)角點(diǎn)算法的想法。其思路是在角點(diǎn)處多個頂角相交一起時角點(diǎn)處的USAN不符合SAUN算法的要求而可以通過多個連通域的方法來檢測該角點(diǎn)。在選擇研究方法時,作者對比了基于邊緣、基于參數(shù)模型、基于灰度3種方法?;谶吘壍姆椒ㄓ嬎懔看笄艺`差較大;基于參數(shù)模型的方法由于其通用性差,最后考慮了應(yīng)用環(huán)境對于實(shí)時性的較高要求,選擇了基于灰度的SUSAN算子。
但是該方法研究的是純雜草環(huán)境,在真實(shí)田間環(huán)境中未進(jìn)行試驗,在區(qū)分雜草與作物方面還有待研究;且真實(shí)田間作業(yè)時,機(jī)械震動、光照、天氣等影響因素也有待解決。
2015年,陳亞軍等[8]利用逆向思維提出了雜草逆向定位的方法。針對研究環(huán)境中伴生雜草在種類與數(shù)量上都大于經(jīng)濟(jì)作物這一事實(shí),將識別對象從傳統(tǒng)的雜草改為經(jīng)濟(jì)作物,使多目標(biāo)定位問題簡化為單目標(biāo)定位問題。應(yīng)用HU不變矩,設(shè)計了8項無量綱指標(biāo)(矩形度、圓形度、偏心率等)。定位出作物的位置,然后將其他綠色植物均認(rèn)定為雜草。
該方法在進(jìn)行大豆田間試驗時,綜合準(zhǔn)確率達(dá)到90%。產(chǎn)生識別錯誤的原因是作物與雜草的葉片重疊所導(dǎo)致,因為在作物幼生期伴生雜草也比較小,所以該方法在作物生長早期取得了效果,而在中后期,由于作物葉片與雜草葉片重疊現(xiàn)象的出現(xiàn),試驗效果受到了明顯影響。
2009年,沈?qū)殗萚9]采用針孔成像模型和攝像機(jī)隱參數(shù)矩陣的定位方法,在標(biāo)定靶圖像中,獲取48個靶點(diǎn)質(zhì)心的坐標(biāo),確定攝像機(jī)的隱參數(shù)矩陣。為獲得實(shí)際的田間雜草定位作業(yè)精度,同時準(zhǔn)備有序與無序雜草圖像。利用攝像機(jī)隱參數(shù)矩陣,分別獲取了靶點(diǎn)、有序雜草和無序雜草的定位精度為0.15cm、1.92cm和2.28cm。經(jīng)比較分析,確定最大定位誤差為2.3cm,該方法不但滿足除草劑精確噴施的要求,同時簡化了標(biāo)定算法。
試驗中,致使產(chǎn)生較大誤差的原因是算法上的。算法中近似的將雜草的分生組織處與區(qū)域的質(zhì)心認(rèn)定為同一點(diǎn),事實(shí)上并非如此。
2 基于圖像處理的雜草定位研究的關(guān)鍵技術(shù)
2.1 定位特征提取
在實(shí)際作業(yè)環(huán)境中,植物與土壤背景、不同植物的形態(tài)顏色之間有著顯著不同的圖像特征。因此利用這些特征為研究提供數(shù)據(jù)是非??尚械??;趫D像處理的雜草識別定位研究重要利用的就是顏色、紋理、形態(tài)特征。
2.1.1 顏色特征
在所有的視覺特征中,最直觀、最穩(wěn)定的就是顏色特征,相比形態(tài)特征,顏色特征對對象的大小和位姿不敏感,魯棒性強(qiáng)。圖像的顏色特征信息提取與處理方式,在很大程度上決定了系統(tǒng)識別的速度和精度。顏色特征提取方法常規(guī)的直方圖、顏色集、顏色矩、顏色聚合向量以及顏色相關(guān)圖等[10]。
由于雜草識別定位系統(tǒng)對實(shí)時性的要求,必須考量算法的復(fù)雜程度。如果目標(biāo)作物與其伴生雜草在顏色上高度接近,那么,單一的使用顏色特征是不可取的。通常情況下,還是需要結(jié)合其他特征。
2.1.2 形態(tài)特征
田間雜草識別中形態(tài)特征的應(yīng)用同樣很多,形態(tài)特征包括形狀特征與矩特征2部分。形狀特征參數(shù)主要包括面積、周長、長度、寬度等常規(guī)參數(shù),以及其衍生的無量綱形狀特征參數(shù),如分散度(compactness)、圓度(roundness)、伸長度(elongation)、葉狀(location)等[11]。矩特征常用的有質(zhì)心、等效橢圓的長軸和短軸、環(huán)度(cir)、朝向比(aspect ratio)、中心矩等[12]。形態(tài)特征參數(shù)的提取相對于顏色與紋理參數(shù)來說,既簡化了算法,又提高了效率。
2.1.3 紋理特征
紋理特征只與灰度值相關(guān),表現(xiàn)了圖像在局部區(qū)域內(nèi)呈現(xiàn)的不規(guī)則性和在整體上表現(xiàn)出的某種規(guī)律性。描述圖像區(qū)域紋理的方法主要有4種,統(tǒng)計分析法、模型分析法、結(jié)構(gòu)分析法和頻譜分析方法[13]。在雜草識別研究中,常用的方法是頻譜分析和以灰度級的空間相關(guān)矩陣為基礎(chǔ)的灰度共生矩陣?;叶裙采仃嚪从沉藞D像灰度關(guān)于方向、相鄰間隔、變化幅度等綜合信息,是分析圖像的局部模式和排序規(guī)則的基礎(chǔ)[14]。
應(yīng)用紋理特征參數(shù)識別雜草的準(zhǔn)確率雖然很高,但是,紋理分析算法比較復(fù)雜,影響試驗效果,因此,如何優(yōu)化紋理特征提取算法,提高執(zhí)行速度是該方法的研究重點(diǎn)。
2.2 雜草定位技術(shù)
2.2.1 雙目視覺定位
雙目立體視覺是一種模擬人類視覺成像原理的計算機(jī)視覺技術(shù)。它利用2臺平行放置的攝像機(jī)模擬人的雙目,用于重構(gòu)場景的三維信息。該研究已在實(shí)際生產(chǎn)生活中發(fā)揮了重要的作用,在移動機(jī)器人的自主導(dǎo)航系統(tǒng)、航空及遙感測量、工業(yè)自動化、農(nóng)業(yè)自動化等場合中起到了關(guān)鍵作用。雙目立體視覺技術(shù)在應(yīng)用中主要有圖像獲取、攝像機(jī)標(biāo)定、圖像預(yù)處理和特征提取、立體匹配、三維重建等5個步驟[15]。
雙目視覺技術(shù)在進(jìn)行空間坐標(biāo)計算時多利用極線幾何這一數(shù)學(xué)模型。由相機(jī)投影原理,對于空間物體表面上任意一點(diǎn),通過一臺照相機(jī)能夠看到它在成像圖像上的投影點(diǎn),但是反過來卻無法由投影點(diǎn)得知物體上點(diǎn)的三維位置,只能知道空間點(diǎn)位于相機(jī)光心和投影點(diǎn)的連線上,即圖像上一點(diǎn)對應(yīng)空間中一條直線,無法僅由一幅圖像重建出三維空間的結(jié)構(gòu)。于是研究者模擬人類視覺成像原理,用2個相機(jī)同時觀察物體點(diǎn),在2幅圖像上獲得空間中同一點(diǎn)的2個對應(yīng)點(diǎn),獲得經(jīng)過空間點(diǎn)的2條不同直線上,因此,物體點(diǎn)就是兩條直線的交點(diǎn),它的三維位置是唯一確定的,這就是三維空間位置計算的基本原理。
由于2臺攝像機(jī)的視角不同,其獲得的信號光強(qiáng)存在差異,使各攝像機(jī)的增益、電平無法完全同步;而且即使是同一張圖像采集卡,其不同信道的物理誤差也不同,這些都會導(dǎo)致獲得立體圖像時同一場景的圖像其灰度值存在差異。這一問題的出現(xiàn),對圖像預(yù)處理的要求增加。
2.2.2 單目視覺定位
單目視覺技術(shù)作為最基礎(chǔ)的視覺形式,在具體的實(shí)現(xiàn)過程中,特征提取與圖像匹配、攝像機(jī)標(biāo)定、深度估計、位姿參數(shù)估計是關(guān)鍵的技術(shù)環(huán)節(jié),是單目視覺技術(shù)研究的關(guān)鍵問題。單目視覺定位技術(shù)目前有2種研究思路,一種是利用雙幀或多幀圖像,利用攝像機(jī)在運(yùn)動中捕捉同一場景不同時刻的多幀圖像,根據(jù)拍攝圖像像素間的位置偏差實(shí)現(xiàn)目標(biāo)的定位。此定位方法類似雙目視覺定位中的非平行光軸模型。一種是單幀圖像定位。利用透視畸變原理,還原三維場景,通過特征匹配進(jìn)行定位[16]。
3 發(fā)展中面臨的困難
3.1 雜草特征的多樣性和復(fù)雜性
為了盡量精確地識別出雜草進(jìn)而進(jìn)行定位,特征的選取成為了減少計算量的關(guān)鍵所在。如果利用多特征組合的方式,那么如何進(jìn)行圖像分割以及特征優(yōu)化又成了一大難點(diǎn)。在今后的研究中,智能算法與組合優(yōu)化理論應(yīng)該成為研究的重點(diǎn)。
3.2 硬件的處理速度有待于提高
由于計算機(jī)視覺技術(shù)對于硬件性能的依賴,硬件性能必然很大程度上影響運(yùn)算速度,而該領(lǐng)域的研究對于實(shí)時性又有著較高要求,在研究者改進(jìn)算法的同時,對于硬件的性能與成本也提出了更高的要求。
4 結(jié)論
歸納了我國目前在雜草識別定位領(lǐng)域的研究現(xiàn)狀,發(fā)現(xiàn)多數(shù)研究都是針對作物幼生期的伴生雜草,此時雜草植株較小,識別定位結(jié)果理想;當(dāng)雜草較大時雜草與作物的葉片重疊現(xiàn)象顯著影響了識別定位結(jié)果。且多數(shù)研究應(yīng)用雙目視覺原理,這使整個定位系統(tǒng)的硬件設(shè)計更加復(fù)雜,2臺或以上的攝像機(jī)使需要處理的數(shù)據(jù)量增加,而拖慢了數(shù)據(jù)處理的速度,降低了定位實(shí)時性。
隨著數(shù)據(jù)處理技術(shù)的升級,單目視覺技術(shù)已經(jīng)可以完成雜草定位的目的,通過算法的選擇優(yōu)化,對葉片重疊現(xiàn)象也有較好表現(xiàn)。同時單目視覺技術(shù)本身的特性又使系統(tǒng)的硬件設(shè)計更簡單,在實(shí)時性上可以滿足要求。
參考文獻(xiàn)
[1]陳德潤,王叔茂,王秀.農(nóng)田雜草識別技術(shù)的現(xiàn)狀與展望[J].中國農(nóng)機(jī)化,2001,5(04):30.
[2]李紅俊,韓冀皖.數(shù)字圖像處理技術(shù)及其應(yīng)用[J].計算機(jī)測量與控制,2002.10(9):620-622.
[3]吉林農(nóng)機(jī)網(wǎng).信息革命將農(nóng)業(yè)引入“精確”時代[EB/OL].http://www.amic.agri.gov.cn/pages/infopage.asp ino=3570.2003.
[4]YANG C C,PRASHER S O.Development of Neural Networks for Weed Recognition in Corn Fields[J].Transactions of the ASAE,2002,45(3):859-864.
[5]Meyer G E ,Mehta T,Kocher M F ,et al.Textural imaging and discriminant analysis for distinguishing weeds for spot spraying[J].Transaction of the ASAE,1998,41(4):1189-1197.
[6]El-Faki,Zhang,Peterson D.Weed detection using colormachine vision[J].Transactions of the ASAE,2000,43(6):1969-1978.
[7]夏利兵.基于角點(diǎn)特征的雙目視覺雜草定位系統(tǒng)研究[D].江蘇大學(xué).2009.
[8]陳亞軍.趙博.李樹君.劉磊.苑嚴(yán)偉.張延立.基于多特征的雜草逆向定位方法與試驗[J].農(nóng)業(yè)機(jī)械學(xué)報,2015(16):09.
[9]沈?qū)殗?,陳樹人,尹建?基于機(jī)器視覺的棉田雜草精確定位研究[C].紀(jì)念中國農(nóng)業(yè)工程學(xué)會成立30周年暨中國農(nóng)業(yè)工程學(xué)會2009年學(xué)術(shù)年會(CSAE 2009)論文集,2009.
[10]陳琴,邰曉英,巴特爾.基于鄰域顏色矩直方圖的胃窺鏡圖像檢索[J].計算機(jī)工程與應(yīng)用,2008,44(11):205-207.
[11]D M Woebbecke,G E Meyer,K Von Bargen,D A Mortensen.Shape features for identifying young weeds using image analysis.Transactions of ASAE,1995,38(1):271~281.
[12]劉立.基于多尺度特征的圖像匹配與目標(biāo)定位研究[D].武漢:華中科技大學(xué),2008.
[13]王龍.圖像紋理特征提取及分類研究[D].中國海洋大學(xué),2014.
[14]B.L.Steward,L.F.Tian.Machine-Vision weed density estimation for realtime,outdoor lighting conditions[J].Transaction of the ASAE.1999,42(6):1897-1909.
[15]Marr,D.and Poggio,T.A computational theory of human stereo vision[J].Proc.R.Soc.Lond B.1979(204):301-328.
[16]張治國.基于單目視覺的定位系統(tǒng)研究 [D].武漢:華中科技大學(xué),2009.
作者簡介:胡迎思(1989-),男,吉林省公主嶺,吉林農(nóng)業(yè)大學(xué)工程技術(shù)學(xué)院,碩士研究生,農(nóng)業(yè)電氣化及其自動化;于躍(1992-),女,遼寧省錦州市,吉林農(nóng)業(yè)大學(xué)工程技術(shù)學(xué)院,碩士研究生,農(nóng)業(yè)電氣化及其自動化;朱鳳武(1968-),男,吉林省公主嶺,吉林農(nóng)業(yè)大學(xué)工程技術(shù)學(xué)院,教授,農(nóng)業(yè)電氣化及其自動化。