馬嘯,陳鵬飛
基于無人機多光譜影像的小麥封壟前種植行識別方法改進
1中國科學院地理科學與資源研究所/資源與環(huán)境信息系統(tǒng)國家重點實驗室,北京 100101;2中國科學院大學,北京 100049;3國家科技資源共享服務(wù)平臺國家地球系統(tǒng)科學數(shù)據(jù)中心,北京 100101
【目的】為實現(xiàn)小麥精準管理,準確識別其種植行位置具有重要意義。本研究分別針對傳統(tǒng)Hough變換法和綠色像元累積法存在的缺陷進行改進,并對改進前、后不同方法在小麥種植行識別上的精度進行對比分析,為小麥種植行精準提取提供技術(shù)支撐。【方法】本研究開展了小麥水、氮耦合試驗,在小麥拔節(jié)前期,基于四旋翼無人機攜帶RedEdge M傳感器獲取小麥不同生長條件下多光譜影像?;谏鲜鰯?shù)據(jù),首先采用超綠超紅差分指數(shù)和Otsu方法對影像分割、分類,獲取植被/土壤二值圖;其次,采用3×1線型模板進行形態(tài)學開運算,降低邊界不規(guī)則度并去除噪音;然后,結(jié)合無人機影像中小麥種植行排布特點,分別針對傳統(tǒng)Hough變換法的峰值檢測過程和綠色像素累積法的角度檢測過程進行優(yōu)化,提出改進的小麥種植行識別方法;最后,分別將兩種方法改進前、后的識別結(jié)果與目視解譯種植行位置結(jié)果進行對比,基于檢出率和作物行識別精度(crop row detection accuracy,CRDA)評價4種方法的優(yōu)劣。【結(jié)果】采用超綠超紅差分指數(shù)與Otsu方法可以很好對植被/土壤進行分類,分類結(jié)果的總體精度達到93.75%,Kappa系數(shù)為0.87;形態(tài)學運算可以很好地去除圖像噪聲,減少后期種植行識別誤差;改進后Hough變換法通過利用先驗知識對峰值檢測范圍進行約束,有效提升了種植行檢測精度,種植行平均檢出率從30%提升至67%,CRDA平均值從0.22提升至0.44;改進后綠色像元累積法通過考察整幅影像的綠色像元累積特征,有效提升角度檢測精度,種植行平均檢出率從14%提升至93%,CRDA平均值從0.12提升至0.69;4種方法的識別精度從高到低依次為改進后綠色像元累積法、改進后Hough變換法、改進前Hough變換法、改進前綠色像元累積法?!窘Y(jié)論】本研究較好地改進了傳統(tǒng)種植行識別方法,為種植密度大、行間距小的小麥種植行識別提供了技術(shù)支撐。
小麥;種植行;Hough變換法;綠色像元累積法;無人機影像
【研究意義】小麥是我國重要的糧食作物,其播種面積約占全國糧食作物總播種面積的21.4%,產(chǎn)量約占22.8%[1]。為增加光暴露、提供換氣通道、方便進行除草與施肥作業(yè),其往往成行種植[2]?;谟跋褡R別小麥種植行對于其雜草地圖繪制、估產(chǎn)、斷壟識別、出苗評價、表型分析等長勢精準監(jiān)測與管理都具有重要意義?!厩叭搜芯窟M展】目前,作物種植行識別研究多集中于利用田間農(nóng)機攜帶傳感器拍攝影像,對影像中作物種植行位置進行實時解析,指導智能農(nóng)機自主導航領(lǐng)域[3-6]。但搭載于農(nóng)機上的傳感器觀測范圍小[7],不宜用來制作農(nóng)情地圖(雜草地圖、缺苗地圖、長勢地圖等)。相對于其他遙感平臺,無人機攜帶傳感器對地物目標進行探測,具有機動靈活、成本低,且可實現(xiàn)高時間、空間分辨率影像獲取的優(yōu)勢,尤其適合田塊尺度農(nóng)情遙感監(jiān)測[8]。因此,基于無人機實現(xiàn)田間作物種植行識別具有重要意義。已有基于無人機影像的作物種植行識別研究中,依托Hough變換與綠色像元累積的思想設(shè)計方法識別種植行位置的研究最多。其中,基于Hough變換思想,Pérez-Ortiz等[9]設(shè)計方法識別了向日葵的種植行位置信息,作為繪制田間雜草地圖的數(shù)據(jù)支撐;鄭曉嵐等[10]識別了棉花苗的種植行位置信息;Oliveira等[11]設(shè)計方法獲取了咖啡的行位置信息,為咖啡的斷壟識別提供基礎(chǔ)數(shù)據(jù)。基于綠色像元累積的思想,Hassanein等[12]設(shè)計方法對油菜的種植行位置進行識別;Pe?a等[13]識別了向日葵的種植行位置信息,并以一定緩沖區(qū)劃定影像中屬于作物行的區(qū)域,以有效識別雜草?!颈狙芯壳腥朦c】現(xiàn)有基于Hough變換與綠色像元累積思想設(shè)計的無人機影像中種植行的識別方法存在缺陷。它們在識別行與行間冠層有相互遮蔽的種植行時,容易出現(xiàn)較大誤差[14-15]。小麥就具有種植密度大、行間距小,行與行間冠層容易遮蔽的特征。針對這一現(xiàn)象需要設(shè)計優(yōu)化的種植行提取方法?!緮M解決的關(guān)鍵問題】本研究設(shè)計了不同水、氮處理的冬小麥田間試驗,以獲取具有不同長勢的小麥田塊,針對已有基于Hough變化思想和綠色像元累積思想設(shè)計的種植行提取方法的缺陷,提出優(yōu)化的種植行識別方法,以為小麥田間精細化管理提供技術(shù)支撐。
田間試驗于2018—2019年設(shè)置于中國科學院禹城農(nóng)業(yè)綜合實驗站(116°34′9″E,36°49′44″N),所用冬小麥品種為濟麥22(圖1)。試驗包含2個水分處理和5個氮肥處理,共32個小區(qū),各小區(qū)面積為10 m×5 m。小麥為條播,種植行間距為20 cm。其中,水分處理的灌溉量分別為80%和60%田間持水量;氮肥處理的施氮量分別為0、70、140、210、280 kg N·hm-2。除水、氮處理外,各小區(qū)其他處理措施一致。
審圖號:GS(2021)5447號
W1:80%田間持水量;W2:60%田間持水量;N1:0;N2:70 kg N·hm-2;N3:140 kg N·hm-2;N4:210 kg N·hm-2;N5:280 kg N·hm-2
W1: 80% field capacity; W2: 60% field capacity; N1: 0; N2: 70 kg N·hm-2; N3: 140 kg N·hm-2; N4: 210 kg N·hm-2; N5:280 kg N·hm-2
圖1 冬小麥田間試驗
Fig. 1 The winter wheat field experiment
1.2.1 無人機遙感影像獲取 無人機影像的獲取在小麥拔節(jié)前期(Feekes 6-7)進行,該時期是小麥肥、水管理的關(guān)鍵期[16]。基于3DR Solo無人機(3DR,加利福尼亞,美國)搭載RedEdge M多光譜傳感器(MicaSense,華盛頓,美國)獲取無人機影像數(shù)據(jù)。RedEdge M傳感器共包含5個波段,中心波長和波寬分別為藍光波段(475 nm,20 nm)、綠光波段(560 nm,20 nm)、紅光波段(668 nm,10 nm)、紅邊波段(717 nm,10 nm)和近紅外波段(840 nm,40 nm)。飛行試驗于上午11點左右,在天氣晴朗無云的情況下進行。無人機飛行高度為30 m,航向重疊率與旁向重疊率均為75%,對應(yīng)影像的空間分辨率約為2.03 cm。在無人機起飛前拍攝標準反射板影像,用于后續(xù)根據(jù)標準反射板的反射率和DN(digital number)值計算轉(zhuǎn)換系數(shù),將影像DN值轉(zhuǎn)換為反射率。使用Pix4Dag軟件(Pix4D,洛桑,瑞士)進行無人機影像的拼接和反射率計算[17]。此外,基于厘米級誤差GPS天寶GEO 7X(Trimble,加利福尼亞,美國)所采集的高精度地面樣點數(shù)據(jù)對影像進行幾何精校正。本研究所用無人機平臺與獲取的一張影像如下圖2所示。
圖2 無人機平臺與所拍攝的一張影像
1.2.2 小麥真實行位置 根據(jù)S?gaard等[18]的研究,真實行位置被定義為由相鄰的行間空間所確定的作物行的中線。本研究小麥真實種植行位置采用ArcMap軟件(ESRI,加利福尼亞,美國),基于目視解譯的方法獲得。小麥種植行位置目視識別結(jié)果如圖3所示。
圖3 小麥種植行位置目視識別結(jié)果
針對小麥種植行的田間分布特征,本研究分別基于已有Hough變換、綠色像元累積的作物行識別方法,對它們進行改進,設(shè)計新方法開展種植行識別研究。
1.3.1 傳統(tǒng)基于Hough變換思想的種植行識別方法及本研究的改進 Hough變換法的基本原理是基于一定映射規(guī)則,將圖像空間中的點映射為參數(shù)空間中的線,參數(shù)空間中一系列直線的交點即對應(yīng)于圖像空間中共線點所在的直線[19],從而將圖像空間中線檢測問題轉(zhuǎn)換為參數(shù)空間中的交點檢測問題。傳統(tǒng)基于Hough變換思想的方法,基本包括以下流程:(1)通過光譜指數(shù)來增強植被像元與土壤像元的對比度,并生產(chǎn)相應(yīng)灰度圖;(2)對上述灰度圖進行植被與土壤分類,實現(xiàn)圖像二值化;(3)基于Hough變換的作物種植行識別[20]。但目前傳統(tǒng)方法存在峰值檢測困難、易受噪聲干擾等缺陷。為了克服相關(guān)缺陷,本研究基于影像提前識別種植行角度、行數(shù)等信息,并將它們作為先驗知識對峰值檢測過程進行約束,以提高種植行識別精度。改進前、后種植行識別的流程圖如圖4所示,詳細描述如下(改進前方法不包含步驟4):
(1)植被/土壤分類。首先,為有效區(qū)分影像中植被區(qū)域與土壤區(qū)域,本研究利用植被與土壤在綠、紅、藍3個波段上反射率的差異,計算超綠超紅差值指數(shù)(excess green minus excess red index,ExGR)[21]以增強植被與土壤間的差異,并實現(xiàn)影像的灰度化,計算公式如(1)—(4)所示[22]。超綠超紅差值指數(shù)已被證明是一種可以較好區(qū)分植被與土壤信息的光譜指數(shù)[23]。然后,使用Otsu法計算影像灰度直方圖的最佳分割閾值,將影像像素劃分為植被與土壤兩類,生成二值圖。Otsu法由日本學者OTSU于1979年提出[24],是最常用的自動確定圖像二值化分割閾值的方法之一。Otsu法依據(jù)最大類間方差和最小類內(nèi)方差的原則,確定圖像灰度直方圖的最佳分割閾值,實現(xiàn)灰度圖的二值化。
圖4 改進前、后Hough變換法流程圖
=(2--)-(1.4-) (4)
式中,、、分別對應(yīng)于紅、綠、藍3個波段的光譜反射率歸一化后的值。
(2)形態(tài)學運算。拔節(jié)前期小麥雖未封壟,但因種植密度大、行間距小,相鄰冠層間容易重疊,并在二值圖中形成連接區(qū)域,對后續(xù)特征點識別造成干擾。為打斷相鄰小麥行間的細小連接,并消除田間噪聲干擾,本研究選擇3×1線型模板對影像進行開運算處理。形態(tài)學開運算,通過對影像先腐蝕再膨脹,可以有效消除圖中散點、毛刺,打斷細小連接,并保證不改變影像中地物的位置與形狀[25]。
(4)小麥行總體排布角度與行數(shù)識別。假設(shè)影像中每條種植行的排布方向幾乎一致,上一步所識別的特征點均位于種植行中央,且同屬于一條小麥行的特征點近似排布于一條直線上。由此,可以將特征點最聚集的方向視為種植行排布方向,而統(tǒng)計圖中特征點聚集熱點的個數(shù)則為種植行行數(shù)。為識別種植行總體排布角度與行數(shù),本研究首先將特征點圖從0°至180°以0.1°為步長旋轉(zhuǎn),每一步均統(tǒng)計特征點在列方向上的累加數(shù),并以列號為x軸,特征點累加數(shù)為y軸,繪制如圖5所示的統(tǒng)計圖。當特征點圖旋轉(zhuǎn)至使小麥行與圖像行垂直的角度時,特征點的聚集度最大,統(tǒng)計圖中局部峰值與谷值之間存在最大差異(圖5-b)。因此,統(tǒng)計每次圖像旋轉(zhuǎn)后統(tǒng)計圖中峰有效高度(峰高與峰谷之差)的平均值,將峰值高度平均值最大值所對應(yīng)的旋轉(zhuǎn)角度視為原始影像中種植行總體排布角度,而對應(yīng)統(tǒng)計圖中有效峰值的個數(shù)即為影像中小麥種植行的行數(shù)。
(5)Hough變換。改進前Hough變換方法,直接使用步驟3識別的小麥行特征點作為輸入數(shù)據(jù)進行Hough變換,識別小麥行位置;改進后Hough變換方法,則通過設(shè)定最小間隔(小麥播種間隔的75%)、行角度范圍(種植行總體排布角度±5°)、行數(shù)3個參數(shù)對Hough變換峰值檢測過程進行約束,降低峰值檢測誤差。
a:小麥無人機影像;b:圖像旋轉(zhuǎn)至小麥行與圖像行垂直時;c:圖像未旋轉(zhuǎn)至小麥行與圖像行垂直時
1.3.2 傳統(tǒng)基于綠色像元累積思想的種植行識別方法及本研究的改進 綠色像元累積法的基本原理是假定在沿種植行方向上會存在最大的植被像元累積,從而將存在的綠色像元最大累積的方向認定為種植行排布方向,并基于綠色像素在排布方向上的聚集情況確定種植行位置[27]。已有基于綠色像元累積思想的方法,基本包括以下流程:(1)通過光譜指數(shù)來增強植被像元與土壤像元的對比度,并生產(chǎn)相應(yīng)灰度圖;(2)對上述灰度圖進行植被與土壤分類,實現(xiàn)圖像二值化;(3)識別種植行角度;(4)基于掃描框識別種植行位置[13]。由于在不知道種植行位置的前提下,無法針對每條種植行進行角度識別,傳統(tǒng)方法往往以圖像中心為原點旋轉(zhuǎn)掃描框,通過檢測綠色像素在不同方向上的聚集情況確定作物行角度。但當田間相鄰種植行間存在冠層遮蔽現(xiàn)象時,綠色像素分布情況發(fā)生變化,這種角度識別精度很低,影響最終種植行檢測精度。為克服相關(guān)缺陷,本研究通過先識別種植行的特征點排除干擾,并旋轉(zhuǎn)特征點圖,統(tǒng)計所有特征點在不同方向上的聚集程度,取所有特征點綜合聚集度最大的方向為種植行綜合排布方向,采用取眾數(shù)的思想,以提高種植行識別精度。改進前綠色像元累積法和改進后綠色像元累積法的流程如圖6所示。其中,影像的灰度化、二值化、形態(tài)學運算的過程與Hough變換法的相關(guān)過程相同。在作物行角度識別方面,改進前的方法通過在二值圖中創(chuàng)建的一個寬度為0.75倍小麥種植間距、長度足夠長的掃描框,將掃描框從0°至180°以0.1°為步長旋轉(zhuǎn),統(tǒng)計每步掃描框內(nèi)植被像素比例,取植被占比最大的角度為小麥行總體排布角度;改進后的方法則按照前面改進Hough方法中的過程,通過識別種植行特征點及識別統(tǒng)計圖中平均峰值最高時的角度來實現(xiàn)。在基于掃描框的種植行檢測過程中,改進前、后綠色像元累積法均使用與種植行總體排布方向一致,寬度略窄于種植間隔的掃描框掃描整幅影像,并基于掃描框內(nèi)植被像素占比的變化規(guī)律確定小麥行位置。其中,掃描框的寬度為0.75倍行間距,掃描框移動步長為1像素。以步數(shù)為x軸,植被像元在掃描框內(nèi)所占比例為y軸繪制統(tǒng)計圖。圖中每一個有效峰值的位置即對應(yīng)于原始影像中一個小麥行的位置。當峰值處出現(xiàn)平峰,即連續(xù)幾步綠色像元占比相等時,將平峰中間位置所對應(yīng)的直線視為種植行位置。
圖6 改進前、后綠色像元累積法流程圖
1.3.3 識別精度評估 本研究通過對比種植行自動識別結(jié)果與目視解譯獲得的真實行位置之間的差異,基于檢出率和作物行識別精度(crop row detection accuracy,CRDA)[28]兩個指標對不同方法種植行識別精度進行評估。檢出率為正確檢出的種植行個數(shù)與真實行個數(shù)的比值。是否正確檢出通過距離誤差與角度誤差進行綜合判定。僅當真實種植行直線與檢出行直線之間的距離誤差小于0.25倍小麥種植間隔且角度誤差小于5°時,判定為正確檢出。其中,距離誤差通過計算每對真實直線與識別直線在圖像每行上距離的平均值確定;角度誤差則通過比較真實行直線與識別行直線之間的斜率差異進行判定,具體計算如公式(5)所示[29]。CRDA是Vidovi?等[28]定義的用于判定種植行識別精度的綜合參數(shù),該參數(shù)通過統(tǒng)計圖像上每一行中每對識別作物行像元與真實作物行像元的距離與作物種植間距的比值,應(yīng)用一定的判定規(guī)則對識別精度進行評價,具體計算如公式(6)和(7)所示。
式中,1和2分別為真實種植行直線與檢測種植行直線的斜率,則為兩直線之間的角度誤差。
式中,為真實種植行的個數(shù),為真實種植行所占圖像的行數(shù),u為真實種植行上某像元的水平坐標,為識別種植行上對應(yīng)像元的水平坐標,為用戶定義的識別精度參數(shù)(本研究取=0.25),為以像元表示的小麥行間距。
不同水、氮處理下小麥長勢變化情況如圖7所示。運用雙因素方差分析法研究施氮量與灌溉量對田間生物量的影響(為確保文章清晰,數(shù)據(jù)未顯示)。結(jié)果表明,施氮量對小麥田間長勢具有顯著影響,而灌溉量則對田間長勢影響不顯著。從圖中可以看出,隨氮肥施用量增加,小麥長勢變好,小區(qū)內(nèi)封壟現(xiàn)象增加,小麥種植行目視識別難度增加??傮w來說,本研究獲取了拔節(jié)前期小麥不同生長條件下的種植行情景,可為方法驗證提供支撐。
本研究利用超綠超紅差分指數(shù)增強影像中植被區(qū)域與土壤區(qū)域的差異,生成灰度圖,并通過Otsu法計算出植被/土壤的最優(yōu)分割閾值,實現(xiàn)影像二值化。植被/土壤分類結(jié)果示例如圖8所示。為驗證分類方法的準確性,本研究在每個小區(qū)內(nèi)隨機選取100個樣本點,通過目視識別的方式對3 200個樣本點所對像素進行判別,并將目視解譯結(jié)果與分類結(jié)果進行對比,建立混淆矩陣如表1所示。由混淆矩陣可知,植被的用戶分類精度和生產(chǎn)者分類精度分別達到93.28%和92.89%,土壤的用戶分類精度和生產(chǎn)者分類精度分別達到94.14%和94.46%,總體分類精度(overall accuracy,OA)達到93.75%,Kappa系數(shù)為0.87,分類效果良好。
a-e對應(yīng)于N1-N5施氮量
表1 植被/土壤分類精度
a:無人機影像;b:植被/土壤二值圖
如前所述,使用3×1線型模板進行開運算,最終形態(tài)學運算結(jié)果局部示例如圖9所示。從圖中可以看出,經(jīng)過形態(tài)學運算處理,有效打斷相鄰小麥行間的細小連接,并使小麥行邊界的不規(guī)則程度下降,有效去除噪音,提高特征點的識別精度。
本研究通過逐像素掃描種植行、尋找左右邊緣點,并應(yīng)用規(guī)則刪除無效邊緣點,計算種植行特征點,處理結(jié)果示例如圖10所示。從圖中可以看出,當相鄰行間冠層彼此分離時所識別的特征點可以準確標識種植行位置,而當相鄰冠層之間相互重疊時也不會生成干擾點。此外,通過對特征點排布規(guī)律的分析可知,大部分特征點位于種植行中央,同屬于一條種植行的特征點近似排布于一條直線上,符合假設(shè)。因此,所識別的特征點可以準確標識種植行中心位置,并可用于總體種植行排布角度識別。
a:原始植被/土壤二值圖;b:形態(tài)學運算結(jié)果 a: Original vegetation/soil binary image; b: Morphological operation result
a:植被/土壤二值圖;b:小麥行特征點
不同水分處理下,小麥冠層覆蓋度總體呈隨施氮量增加而上升的趨勢(圖11)。對于改進前Hough變換法來說,其種植行的檢出率和CRDA值與覆蓋度的變化趨勢相反,大致呈現(xiàn)出隨施氮量上升而下降的趨勢,值分別介于23%—37%和0.16—0.27(圖11-a,b)。其中,W1N1處理比W1N5處理的檢出率和CRDA值分別高了11.36%和0.08,W2N1處理比W2N5處理的CRDA值高了0.01。改進后Hough變換法在不同水、氮處理下,提取種植行的精度得到了顯著提升,檢出率和CRDA值分別介于57%—72%和0.36—0.51(圖11-a,b)。對于改進前綠色像元累積法來說,其種植行的檢出率和CRDA值與覆蓋度的變化趨勢相反,呈現(xiàn)明顯的隨覆蓋度增加而下降的趨勢,值分別介于0—51%和0.01—0.39(圖11-c,d)。其中,W1N1處理比W1N5處理的檢出率和CRDA值分別高了33%和0.21,W2N1處理比W2N5處理的檢出率和CRDA值分別高了41%和0.32。改進后綠色像元累積法在不同水、氮處理下,提取種植行的精度得到了顯著提升,檢出率和CRDA值分別介于80%—100%和0.59—0.79(圖11-c,d)。
a:改進前后Hough變換法檢出率;b:改進前后Hough變換法CRDA;c:改進前后綠色像元累積法檢出率;d:改進前后綠色像元累積法CRDA
傳統(tǒng)Hough變換法將田間種植行視為隨機排布的一系列直線,通過識別圖像空間中所有可能存在的直線的方式,來識別種植行位置。當作物行間距比較大、行間冠層不存在遮蔽時,這種方法可以很好識別每條種植行位置,但作物行間距比較小、行間冠層存在遮蔽時,這種方法易出現(xiàn)角度誤差與位置誤差,甚至常出現(xiàn)錯檢、漏檢問題。因此,本研究在已有方法的基礎(chǔ)上,通過自動識別種植行總體排布角度與行個數(shù),并引入最小間隔作為先驗知識對Hough變換的峰值檢測過程進行約束,降低峰值檢測過程的盲目性,有效提升檢測精度。優(yōu)化后,不同肥、水條件下,小麥種植行平均檢出率從原本的30%提升至67%,CRDA平均值從0.22提升至0.44。綠色像元累積法結(jié)合田間作物種植特點,將種植行視為平行排布的一系列直線,從而在確定種植行角度后,依照植被像素在種植行排布方向上的聚集情況識別其位置信息。因此,種植行排布角度的識別精度對綠色像元累積法的檢測精度具有決定性影響。傳統(tǒng)方法在檢測種植行排布角度時,往往采用前述單一掃描框的方式,易受噪聲干擾,影響種植行檢測精度。本研究針對綠色像元累積法角度識別過程進行優(yōu)化,先識別特征點降低噪聲干擾,然后根據(jù)圖像中所有特征點的聚集方向采用取眾數(shù)的思想來識別種植行角度,大大提高了種植行角度識別精度。優(yōu)化后,不同水、肥條件下小麥種植行平均檢出率從原本的14%提升至93%,CRDA平均值從0.12提升至0.69。綜上所述,本研究為基于無人機影像準確識別小麥種植行位置信息提供了新的技術(shù)手段。
如前所述,目前關(guān)于作物種植行的提取,多集中在玉米、咖啡、葡萄等種植間距較大的作物,鮮有關(guān)于小麥種植行提取的報道。基于Hough變換方法和無人機遙感技術(shù),蘇偉等[20]在玉米苗期、拔節(jié)期、成熟期的種植行檢出率分別為97.67%、100%、95.45%;Pusdá-Chulde等[30]基于無人機影像,識別玉米播種后4周的種植行,檢出率為85%。Bah等[31]基于Hough變換法識別無人機影像中甜菜行位置信息,平均檢出率為93.58%。與前人研究相比,本研究在提取種植密度大、行間隔小的小麥種植行時,基于改進綠色像元累積法的平均檢出率同樣能達到93%的精度,獲得較好的結(jié)果。另外,從本研究的結(jié)果看,受到行與行間冠層重疊的影響,拔節(jié)前期小麥種植行的識別精度往往隨覆蓋度的增加而下降。這與已有研究結(jié)果相一致,蘇偉等[20]對比不同生育期的玉米種植行識別結(jié)果,發(fā)現(xiàn)苗期玉米植株過小,成熟期玉米相鄰行間葉片相互交叉均會降低種植行識別精度;陳子文等[32]指出,在進行生菜與綠甘藍的種植行檢測中,隨著移栽時間增加,識別準確率降低。此外,Comba等[33]與王僑等[34]也指出相鄰冠層相互遮蓋會降低種植行識別精度。
目前,生產(chǎn)中主要采用的小麥種植方式是機器條播,種植行大體成直線分布。本研究針對Hough變換法與綠色像元累積法的優(yōu)化策略,適合于這種種植方式下封壟前小麥種植行的提取。根據(jù)算法的基本原理,本文所提方法同樣具有在水稻、玉米、棉花等作物種植行提取中應(yīng)用的潛力。需要注意的是,算法的精度受到田間作物覆蓋度的影響,而覆蓋度主要受作物播種密度、生育期的影響,目前的結(jié)果表明它們在小麥肥、水管理的關(guān)鍵期拔節(jié)前期應(yīng)用具有較高的精度,對于在其他生育期中的應(yīng)用情況,今后還需要收集多生育期數(shù)據(jù)做充分驗證。另外,對于小麥種植行彎曲的情景,根據(jù)曲線可以由若干直線拼接而成的原理,可以將影像進行切塊細分,利用本研究所提方法分塊識別并拼接的方式來實現(xiàn)。但為提高識別效率,今后還需要開發(fā)可以識別彎曲小麥行的方法。
針對種植密度大、行間距較小,行間冠層容易遮蔽的小麥,本研究對傳統(tǒng)基于Hough變換和綠色像元累積思想設(shè)計的作物種植行識別方法進行改進,并結(jié)合不同水、氮處理下的小麥無人機影像對改進前、后方法進行對比。結(jié)果表明,針對Hough變換峰值檢測過程,利用從圖像得到的先驗知識進行約束可以有效降低峰值檢測過程的盲目性,降低錯檢、漏檢概率,使得改進后Hough變換法的檢出率和CRDA值較改進前有明顯提升;針對綠色像元累積法角度識別過程的改進,可以有效減少田間噪聲干擾的影響,提升角度識別精度,使得改進后綠色像素累積法的檢出率和CRDA值較改進前有明顯提升。此外,對不同方法的小麥種植行識別效果進行系統(tǒng)比較,結(jié)果表明4種方法的識別精度從高到低依次為改進后綠色像元累積法、改進后Hough變換法、改進前Hough變換法、改進前綠色像素累積法。本研究可為小麥種植行精準識別提供技術(shù)支撐,有效服務(wù)于精準農(nóng)業(yè)管理。
致謝:感謝中國科學院禹城農(nóng)業(yè)生態(tài)綜合試驗站和李靜老師為本研究的開展提供小麥試驗基地。
[1] 劉兆輝, 吳小賓, 譚德水, 李彥, 江麗華. 一次性施肥在我國主要糧食作物中的應(yīng)用與環(huán)境效應(yīng). 中國農(nóng)業(yè)科學, 2018, 51(20): 3827-3839.
LIU Z H, WU X B, TAN D S, LI Y, JIANG L H. Application and environmental effects of one-off fertilization technique in major cereal crops in China. Scientia Agricultura Sinica, 2018, 51(20): 3827-3839. (in Chinese)
[2] 霍李龍, 苗芳, 賈麗芳, 王長發(fā). 種植方式對關(guān)中灌區(qū)冬小麥冠層光合及產(chǎn)量性狀的影響. 麥類作物學報, 2017, 37(8): 1098-1104.
HUO L L, MIAO F, JIA L F, WANG C F. Effect of planting pattern on canopy photosynthesis and yield traits of winter wheat in the irrigation area of central Shaanxi. Journal of Triticeae Crops, 2017, 37(8): 1098-1104. (in Chinese)
[3] Zhang X Y, Li X N, Zhang B H, Zhou J, Tain G Z, Xiong Y J, Gu B X. Automated robust crop-row detection in maize fields based on position clustering algorithm and shortest path method. Computers and Electronics in Agriculture, 2018, 154: 165-175.
[4] 李祥光, 趙偉, 趙雷雷. 缺株玉米行中心線提取算法研究. 農(nóng)業(yè)工程學報, 2021, 37(18): 203-210.
LI X G, ZHAO W, ZHAO L L. Extraction algorithm of the center line of maize row in case of plants lacking. Transactions of the Chinese Society of Agricultural Engineering, 2021, 37(18): 203-210. (in Chinese)
[5] PLA F, SANCHIZ J M, MARCHANT J A, BRIVOT R. Building perspective models to guide a row crop navigation vehicle. Image and Vision Computing, 1997, 15(6): 465-473.
[6] García-Santillán I D, Montalvo M, Guerrero J M, Pajares G. Automatic detection of curved and straight crop rows from images in maize fields. Biosystems Engineering, 2017, 156: 61-79.
[7] 趙學觀, 馬偉, 高原源, 臧云飛, 何義川, 王秀. 基于逆透視變換的條播作物早期作物行識別. 江蘇大學學報(自然科學版), 2019, 40(6): 668-675.
ZHAO X G, MA W, GAO Y Y, ZANG Y F, HE Y C, WANG X. Identification of early crop row for drillcrops based on reverse perspective transformation. Journal of Jiangsu University(Natural Science Edition), 2019, 40(6): 668-675. (in Chinese)
[8] 孫剛, 黃文江, 陳鵬飛, 高帥, 王秀. 輕小型無人機多光譜遙感技術(shù)應(yīng)用進展. 農(nóng)業(yè)機械學報, 2018, 49(3): 1-17.
Sun G, Huang W J, Chen p F, Gao S, Wang X. Advances in UAV-based multispectral remote sensing applications. Transactions of the Chinese Society for Agricultural Machinery, 2018, 49(3): 1-17. (in Chinese)
[9] Pérez-Ortiz M, Pe?a J M, Gutiérrez P A, Torres- Sánchez J, Hervás-Martínez C, López-Granados F. A semi-supervised system for weed mapping in sunflower crops using unmanned aerial vehicles and a crop row detection method. Applied Soft Computing, 2015, 37: 533-544.
[10] 鄭曉嵐, 張顯峰, 程俊毅, 任翔. 利用無人機多光譜影像數(shù)據(jù)構(gòu)建棉苗株數(shù)估算模型. 中國圖象圖形學報, 2020, 25(3): 520-534.
Zheng X L, Zhang X F, Cheng J Y, Ren X. Using the multispectral image data acquired by unmanned aerial vehicle to build an estimation model of the number of seeding stage cotton plants. Journal of Image and Graphics, 2020, 25(3): 520-534. (in Chinese)
[11] Oliveira H C, Guizilini V C, Nunes I P, Souza J R. Failure detection in row crops from UAV images using morphological operators. IEEE Geoscience and Remote Sensing Letters, 2018, 15(7): 991-995.
[12] Hassanein M, Khedr M, El-Sheimy N. Crop row detection procedure using low-cost UAV imagery system. International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2019, XLII-2/W13: 349-356.
[13] Pe?a J M, Torres-Sánchez J, Serrano-Pérez A, De Castro A I, López-Granados F. Quantifying efficacy and limits of unmanned aerial vehicle (UAV) technology for weed seedling detection as affected by sensor resolution. Sensors, 2015, 15(3): 5609-5626.
[14] Tenhunen H, Pahikkala T, Nevalainen O, Teuhola J, Mattila H, Tyystj?rvi E. Automatic detection of cereal rows by means of pattern recognition techniques. Computers and Electronics in Agriculture, 2019, 162: 677-688.
[15] Chen P F, Ma X, Wang F Y, Li J. A new method for crop row detection using unmanned aerial vehicle images. Remote Sensing, 2021, 13(17): 3526.
[16] ZHAO C J, CHEN P F, HUANG W J, WANG J H, WANG Z J, JIANG A N. Effects of two kinds of variable-rate nitrogen application strategies on the production of winter wheat (). New Zealand Journal of Crop and Horticultural, 2009, 37(2): 149-155.
[17] OLSON D, CHATTERJEE A, FRANZEN D W, DAY S S. Relationship of drone-based vegetation indices with corn and sugarbeet yields. Agronomy Journal, 2019, 111(5): 2545-2557.
[18] S?gaard H T, Olsen H J. Determination of crop rows by image analysis without segmentation. Computer and Electronics in Agriculture, 2003, 38(2): 141-158.
[19] Hough P V C. Method and means for recognizing complex patterns: US Patent 3069654. 1962-12-18 [2021-12-07].
[20] 蘇偉, 蔣坤萍, 閆安, 劉哲, 張明鄭, 王偉. 基于無人機遙感影像的育種玉米壟數(shù)統(tǒng)計監(jiān)測. 農(nóng)業(yè)工程學報, 2018, 34(10): 92-98.
Su W, Jiang K P, Yan A, Liu Z, Zhang M z, Wang W. Monitoring of planted lines for breeding corn using UAV remote sensing image. Transactions of the Chinese Society of Agricultural Engineering, 2018, 34(10): 92-98. (in Chinese)
[21] Meyer G E, Neto J C. Verification of color vegetation indices for automated crop imaging applications. Computers and Electronics in Agriculture, 2008, 63(2): 282-293.
[22] Kerkech M, Hafiane A, Canals R. Deep leaning approach with colorimetric spaces and vegetation indices for vine diseases detection in UAV images. Computers and Electronics in Agriculture, 2018, 155: 237-243.
[23] 高銘陽, 張錦水, 潘耀忠, 段雅鳴, 張杜娟. 結(jié)合植被指數(shù)與作物高度反演冬小麥葉面積指數(shù). 中國農(nóng)業(yè)資源與區(qū)劃, 2020, 41(8): 49-57.
GAO M Y, ZHANG J S, PAN Y Z, DUAN Y M, ZHANG D J. Retrieval of winter wheat leaf area index based on vegetation index and crop height. Chinese Journal of Agricultural Resources and Regional Planning, 2020, 41(8): 49-57. (in Chinese)
[24] Otsu N. A threshold selection method from gray-level histograms. IEEE Transactions on Systems, Man, and Cybernetics, 1979, 11: 62-66.
[25] 王寧, 陳方, 于博. 基于形態(tài)學開運算的面向?qū)ο蠡绿崛》椒ㄑ芯? 遙感技術(shù)與應(yīng)用, 2018, 33(3): 520-529.
WANG N, CHEN F, YU B. A object-oriented landslide extraction method based on morphological opening operation. Remote Sensing Technology and Application, 2018, 33(3): 520-529. (in Chinese)
[26] 姜國權(quán), 柯杏, 杜尚豐, 陳嬌. 基于機器視覺和隨機方法的作物行提取算法. 農(nóng)業(yè)機械學報, 2008, 39(11): 85-88, 93.
Jiang G Q, Ke X, Du S F, Chen J. Detection algorithm of crop rows based on machine vision and randomized method. Transactions of the Chinese Society for Agricultural Engineering, 2008, 39(11): 85-88, 93. (in Chinese)
[27] Zhao H X, Wang Y X, Sun Z B, Xu Q, Liang D. Failure detection in eucalyptus plantation based on UAV images. Forests, 2021, 12(9): 1250.
[28] Vidovi? I, Cupec R, Hocenski Z. Crop row detection by global energy minimization. Pattern Recognition, 2016, 55: 68-86.
[29] Jiang G Q, Wang Z H, Liu H M. Automatic detection of crop rows based on multi-ROIs. Expert Systems with Applications, 2015, 42(5): 2492-2441.
[30] Pusdá-Chulde M, ROBAYO A, GIUSTI A D, García- Santillán I. Detection of crop lines and weeds in corn fields based on images obtained from a drone//Naiouf M, Rucci E, Chichizola F, De Giusti L. Cloud Computing, Big Data & Emerging Topics. Cham: Springer, 2021: 31-45.
[31] BAH M D, HAFIANE A, CANALS R. Crownet: Deep network for crop row detection in UAV image. IEEE Access, 2020, 8: 5189-5200.
[32] 陳子文, 李偉, 張文強, 李云伍, 李明生, 李慧. 基于自動Hough變換累加閾值的蔬菜作物行提取方法研究. 農(nóng)業(yè)工程學報, 2019, 35(22): 314-322.
CHEN Z W, LI W, ZHANG W Q, LI Y W, LI M S, LI H. Vegetable crop row extraction method based on accumulation threshold of Hough transformation. Transactions of the Chinese Society of Agricultural Engineering, 2019, 35(22): 314-322. (in Chinese)
[33] COMBA L, GAY P, PRIMICERIO J,AIMONINO D R. Vineyard detection from unmanned aerial systems images. Computers and Electronics in Agriculture, 2015, 114: 78-87.
[34] 王僑, 孟志軍, 付衛(wèi)強, 劉卉, 張振國. 基于機器視覺的玉米苗期多條作物行線檢測算. 農(nóng)業(yè)機械學報, 2021, 52(4): 208-220.
WANG Q, MENG Z J, FU W Q, LIU H, ZHANG Z G. Detection algorithm of multiple crop row lines based on machine vision in maize seedling stage. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(4): 208-220. (in Chinese)
Improvement of row detection method Before wheat Canopy Closure using multispectral images of UAV image
MA Xiao1, 2, CHEN PengFei1, 3
1Institute of Geographic Sciences and Natural Resources Research, Chinese Academy of Sciences/State Key Laboratory of Resources and Environment Information System, Beijing 100101;2University of Chinese Academy of Science, Beijing 100049;3National Earth System Science Data Center, National Science and Technology Infrastructure of China, Beijing 100101
【Objective】In order to make precise management of wheat, it is of great significance to accurately identify the location of its rows. In this study, the aim was to improve the traditional Hough transform-based methods and the green pixel accumulation- based methods respectively, and then to analyze the different methods before and after the improvement for wheat row detection, so as to provide the technical support for accurate detection of wheat rows.【Method】A wheat water-nitrogen coupling experiment was established. During the early jointing stage, the multispectral images of wheat under different growth conditions was obtained by the RedEdge M sensors mounted on a four rotor unmanned aerial vehicle (UAV). First, based on these data, these images of the excess green minus excess red (ExGR) index were calculated, and then the Otsu method was performed on it to classify image pixels into vegetation and soil. Second, 3×1 line template was used for morphological opening operation to reduce boundary irregularity and remove noise. Third, according to the characteristics of the wheat rows in the image, the modified wheat row extraction methods were proposed based on the optimization of the peak detection process of the traditional Hough transform-based method and the angel detection process of the traditional green pixel accumulation-based method, respectively. Finally, the detection results before and after improving the two methods were compared with the result of visually interpreted wheat rows, and their performances were evaluated by using the detection rate and crop row detection accuracy (CRDA). 【Result】The combination of the ExGR index and OTSU method could accurately identify the vegetation pixels and soil pixels automatically, and the overall accuracy was 93.75% and the Kappa was 0.87. The morphological opening operation could remove the pattern noise and reduce the error of later crop row detection. The modified Hough transform-based method effectively improved the peak detection accuracy by restricting the peak detection range with prior knowledge; Compare with traditional Hough transform-based methods, the averaged detection rate has increased from 30% to 67%, and the averaged CRDA has increased from 0.22 to 0.44. The modified green pixel accumulation-based method investigated the accumulation characteristics of the green pixels of the entire image, which effectively improved the angel detection accuracy; Compare with traditional green pixel accumulation-based method, the averaged detection rate has increased from 14% to 93%, and the average CRDA has increased from 0.12 to 0.69. The identification accuracy of the four methods from high to low were the modified green pixel accumulation-based method, the modified Hough transform-based method, the traditional Hough transform-based method, and the traditional green pixel accumulation-based method. 【Conclusion】This study improved the traditional crop row detection methods, which provided the technical support for the identification of wheat rows with high planting density and small row spacing.
wheat; planting rows; Hough transform-based method; green pixel accumulation-based method; UAV image
10.3864/j.issn.0578-1752.2022.20.005
2021-12-10;
2022-02-28
國家自然科學基金(41871344)、中國科學院戰(zhàn)略先導科技專項(XDA23100100)、高分辨率對地觀測系統(tǒng)重大專項(21-Y20B01-9001-19/22)、國家科技基礎(chǔ)條件平臺項目(2005DKA32300)
馬嘯,E-mail:maxiao20@mails.ucas.ac.cn。通信作者陳鵬飛,E-mail:pengfeichen@igsnrr.ac.cn
(責任編輯 楊鑫浩)