基于機(jī)器視覺的農(nóng)田地頭邊界線檢測(cè)方法

王 僑 劉 卉 楊鵬樹， 孟志軍

(1.國(guó)家農(nóng)業(yè)智能裝備工程技術(shù)研究中心，北京100097;2.首都師范大學(xué)信息工程學(xué)院，北京100048)

0 引言

農(nóng)業(yè)生產(chǎn)機(jī)器人化是解決農(nóng)業(yè)勞動(dòng)力短缺、促進(jìn)農(nóng)業(yè)機(jī)械精準(zhǔn)化和智能化、提高農(nóng)業(yè)生產(chǎn)效率和經(jīng)濟(jì)效益的關(guān)鍵舉措。農(nóng)田作業(yè)機(jī)器人化是農(nóng)業(yè)生產(chǎn)機(jī)器人化的重要組成部分，非結(jié)構(gòu)農(nóng)田作業(yè)環(huán)境中農(nóng)機(jī)全程自主導(dǎo)航行走技術(shù)是當(dāng)前農(nóng)田作業(yè)由自動(dòng)化過渡至機(jī)器人化的關(guān)鍵技術(shù)之一。

實(shí)現(xiàn)農(nóng)機(jī)田間作業(yè)過程中的全程自主導(dǎo)航行走，主要包括實(shí)現(xiàn)其田內(nèi)正常作業(yè)時(shí)的自主導(dǎo)航行走［1-4］、田內(nèi)遇障時(shí)的自主導(dǎo)航避障［5-8］以及地頭處的自主導(dǎo)航轉(zhuǎn)彎［9-12］三部分。隨著農(nóng)田場(chǎng)景的變化，田內(nèi)障礙物通常表現(xiàn)出隨機(jī)性、不確定性和非必然存在性，故針對(duì)農(nóng)機(jī)田內(nèi)遇障時(shí)的自主導(dǎo)航避障技術(shù)研究暫不具有迫切性。而針對(duì)農(nóng)機(jī)田內(nèi)正常作業(yè)時(shí)的自主導(dǎo)航行走，目前基于全球衛(wèi)星導(dǎo)航定位系統(tǒng)(Global navigation satellite system，GNSS)［13］的田內(nèi)直線作業(yè)導(dǎo)航技術(shù)已較成熟，相關(guān)產(chǎn)品已實(shí)現(xiàn)批量銷售。但是，農(nóng)機(jī)抵達(dá)地頭處的轉(zhuǎn)向掉頭過程，目前仍需人工操作來實(shí)現(xiàn)。因此，研究地頭處的自主導(dǎo)航轉(zhuǎn)彎技術(shù)，是目前實(shí)現(xiàn)農(nóng)機(jī)田間作業(yè)過程中全程自主導(dǎo)航行走最為緊迫的任務(wù)。

在非結(jié)構(gòu)化的農(nóng)田作業(yè)環(huán)境中，為實(shí)現(xiàn)農(nóng)機(jī)在地頭處的自主導(dǎo)航轉(zhuǎn)彎，首先要感知地頭的空間位置信息。目前，國(guó)內(nèi)外針對(duì)農(nóng)機(jī)在地頭處的轉(zhuǎn)彎路徑規(guī)劃和轉(zhuǎn)向控制進(jìn)行了較多研究，但是針對(duì)地頭空間位置信息檢測(cè)方面的研究卻較少，且相關(guān)研究主要基于機(jī)器視覺感知技術(shù)來判斷是否到達(dá)地頭［12，14-15］或完成對(duì)地頭邊界線的定位檢測(cè)［16-20］。地頭邊界線是描述地頭空間位置的關(guān)鍵參數(shù)，在短距離范圍內(nèi)通常近似呈線性特征，在農(nóng)機(jī)田間作業(yè)過程中，實(shí)時(shí)探測(cè)地頭邊界線的位置，可為后續(xù)規(guī)劃地頭轉(zhuǎn)彎路徑、實(shí)施自主轉(zhuǎn)向掉頭提供關(guān)鍵的參考線或基準(zhǔn)線。文獻(xiàn)［16 -17］中分別針對(duì)土質(zhì)田埂和水泥田埂，研究了水田中田埂線的視覺檢測(cè)方法，主要依據(jù)秧苗插種之前水田內(nèi)外邊緣紋理特征的差異來獲取對(duì)應(yīng)分界線，檢測(cè)準(zhǔn)確率在98%以上，但該方法并不適用于旱田環(huán)境。對(duì)于旱田環(huán)境中的地頭邊界線，已有研究［18-20］主要依據(jù)農(nóng)田內(nèi)外的亮度或顏色差異，通過尋找跳變行確定其位置，所獲得的地頭邊界線在圖像中往往呈水平直線狀。很顯然，相關(guān)方法僅適用于檢測(cè)地頭邊界與農(nóng)機(jī)作業(yè)方向近似垂直(此時(shí)地頭邊界近似呈水平延伸狀)、較規(guī)整的地頭場(chǎng)景，對(duì)于實(shí)際農(nóng)田環(huán)境中較常見的非垂直、呈傾斜延伸狀、非規(guī)整地頭邊界類型并不適用，具有較大的應(yīng)用局限性。并且所檢測(cè)的邊界線也無法保證農(nóng)機(jī)在其內(nèi)實(shí)施自主轉(zhuǎn)向掉頭操作時(shí)安全可靠。目前，關(guān)于地頭邊界線的視覺檢測(cè)算法所涉及的地頭場(chǎng)景單一、特殊，算法的魯棒性較差，無法適應(yīng)實(shí)際農(nóng)田中復(fù)雜多變的地頭環(huán)境，且所檢測(cè)的地頭邊界線并不能直接用于農(nóng)機(jī)在地頭處掉頭轉(zhuǎn)向的基準(zhǔn)線。

本文面向農(nóng)機(jī)實(shí)現(xiàn)地頭處自主導(dǎo)航轉(zhuǎn)彎的信息感知需求，基于機(jī)器視覺技術(shù)，針對(duì)耕播時(shí)期的幾種典型地頭場(chǎng)景，研究非規(guī)整地頭邊界線的檢測(cè)方法，為農(nóng)機(jī)在地頭處實(shí)現(xiàn)自主轉(zhuǎn)向掉頭提供可靠的轉(zhuǎn)向基準(zhǔn)線，為實(shí)現(xiàn)農(nóng)機(jī)田間作業(yè)過程中全程自主導(dǎo)航行走提供技術(shù)支撐。

1 農(nóng)田地頭圖像樣本采集

本質(zhì)上，地頭屬于農(nóng)機(jī)田間作業(yè)過程中一種必然存在的障礙。每個(gè)自然農(nóng)田地塊均存在4 條以上邊界，通常由防護(hù)林、田埂、農(nóng)田道路、溝渠等包圍農(nóng)田地塊形成。其中，阻礙農(nóng)機(jī)正常前行作業(yè)或中斷農(nóng)機(jī)連續(xù)作業(yè)的田塊邊界(即壟行末端的田塊邊界)視為地頭邊界所在位置。本研究所檢測(cè)的地頭邊界線，主要產(chǎn)生于自然田塊邊界位置。農(nóng)機(jī)田間作業(yè)過程中，需在抵達(dá)地頭邊界線之前完成轉(zhuǎn)向掉頭，同時(shí)需在開始轉(zhuǎn)向掉頭之前完成地頭邊界線的探測(cè)。

非結(jié)構(gòu)農(nóng)田環(huán)境中，地頭類型呈現(xiàn)復(fù)雜多樣性，本研究選取耕播時(shí)期的3 類典型地頭場(chǎng)景進(jìn)行地頭邊界線檢測(cè)算法的研究:①植被田埂/農(nóng)田，如灌叢、雜草、樹木等植被田埂。②泥土路/農(nóng)田。③水泥路/農(nóng)田。

選用USB 接口的TXY_616_1080P 型高清彩色數(shù)碼攝像機(jī)，輸出分辨率為800 像素×600 像素。于2018 年10 月在小湯山精準(zhǔn)農(nóng)業(yè)示范基地，針對(duì)3 類共9 種農(nóng)田場(chǎng)景，由田內(nèi)至田外以20 f/s 的速率連續(xù)采集獲取視頻圖像，圖1 為采集的3 類共9 種場(chǎng)景下地頭出現(xiàn)時(shí)的圖像樣本，圖2 為相應(yīng)地頭出現(xiàn)前的田內(nèi)場(chǎng)景圖像樣本。

圖1 不同地頭場(chǎng)景圖像樣本Fig.1 Image samples of different headland scenes

2 地頭邊界線視覺檢測(cè)算法

圖2 圖1 中不同地頭場(chǎng)景下的田內(nèi)場(chǎng)景圖像樣本Fig.2 Image samples of field scenes corresponding to headland scenes in Fig.1

面向非結(jié)構(gòu)復(fù)雜農(nóng)田環(huán)境，結(jié)合農(nóng)機(jī)田間動(dòng)態(tài)作業(yè)過程以及農(nóng)機(jī)在地頭處安全可靠地實(shí)施自主轉(zhuǎn)向掉頭的實(shí)際應(yīng)用需求，基于Matlab 平臺(tái)進(jìn)行非規(guī)整地頭邊界線視覺檢測(cè)算法的研究，完成以下3 項(xiàng)檢測(cè)任務(wù):①首要檢測(cè)任務(wù):判斷地頭出現(xiàn)與否。②根本檢測(cè)任務(wù):獲取非規(guī)整地頭邊界的主體延伸方位線。③關(guān)鍵檢測(cè)任務(wù):獲取地頭轉(zhuǎn)向基準(zhǔn)線。

2.1 地頭出現(xiàn)與否判斷

農(nóng)機(jī)田內(nèi)動(dòng)態(tài)作業(yè)過程中，需實(shí)時(shí)判斷其前方視野范圍內(nèi)是否出現(xiàn)地頭，只有在確定地頭出現(xiàn)的前提下，才需進(jìn)行地頭邊界線的檢測(cè)。尤其是當(dāng)田外場(chǎng)景較明顯地出現(xiàn)在圖像中時(shí)，再檢測(cè)地頭邊界線，較為穩(wěn)妥。

同一地塊中地頭還未出現(xiàn)時(shí)的田內(nèi)場(chǎng)景以及地頭出現(xiàn)后的地頭場(chǎng)景的行灰度平均值(即水平方向像素灰度平均值)分布如圖3 所示，每組圖中，左側(cè)為地頭圖像的行灰度平均值，右側(cè)為田內(nèi)圖像的行灰度平均值，對(duì)于田內(nèi)圖像，其分布圖整體變化較為平穩(wěn)，而對(duì)于地頭圖像，對(duì)比地頭邊界兩側(cè)區(qū)域，其行灰度平均值通常存在較明顯的跳變。因此，基于該跳變特征判斷地頭是否出現(xiàn)。

圖3 不同農(nóng)田場(chǎng)景下的地頭圖像和田內(nèi)圖像的行灰度平均值變化曲線Fig.3 Curves of row gray average values of different headland images and their corresponding field images

具體檢測(cè)步驟如下:

(1)彩色圖像灰度化。根據(jù)計(jì)算式

式中 R(i，j)、G(i，j)、B(i，j)——原彩色圖像中(i，j)處像素點(diǎn)的R、G、B 分量值

f(i，j)——綠色分量增強(qiáng)后的(i，j)處像素點(diǎn)的灰度

對(duì)彩色圖像進(jìn)行灰度化。

(2)計(jì)算行灰度平均值的分散程度。從上往下逐行掃描灰度圖，第j 行像素的灰度平均值為

所有像素的灰度平均值為

正向分布偏差為

負(fù)向分布偏差為

式中 xsize——圖像寬度 ysize——圖像高度

(3)判斷地頭是否出現(xiàn)。若正向分布偏差D+＞Dth(判斷閾值)，或者負(fù)向分布偏差D - ＞Dth，則表明出現(xiàn)跳變特征，即認(rèn)為地頭出現(xiàn)，繼續(xù)執(zhí)行后續(xù)檢測(cè)步驟。否則認(rèn)為地頭未出現(xiàn)，結(jié)束當(dāng)前幀圖像的檢測(cè)。

其中，地頭判斷閾值Dth主要取決于田內(nèi)場(chǎng)景圖像中上述行灰度平均值數(shù)據(jù)的正、負(fù)向分布偏差的分布范圍，尤其是分布范圍的上限值。

另外，定義跳變方向標(biāo)志量f1，初始化為0。在判斷出現(xiàn)地頭的前提下，若D+≥D -，則表明地頭邊界處表現(xiàn)為正向跳變特征，令f1=1，否則認(rèn)為表現(xiàn)為負(fù)向跳變特征，令f1= -1。

2.2 非規(guī)整地頭邊界的主體延伸方位線獲取

非結(jié)構(gòu)復(fù)雜農(nóng)田環(huán)境中，地頭邊界通常呈非規(guī)則曲線性，但在短距離范圍內(nèi)可近似擬合為直線，擬合直線的方位即可視為當(dāng)前段地頭邊界的主體延伸方位。實(shí)際農(nóng)田環(huán)境中，地頭邊界的主體延伸方向不垂直壟行方向的情況較常見，在圖4 所示地頭場(chǎng)景圖像中，黑色箭頭、黑色曲線和橙色直線分別示意壟行方向、實(shí)際地頭邊界和曲形地頭邊界的主體延伸方位。此時(shí)，采用求取跳變行的方法［18-20］來確定地頭邊界在圖像中的位置，僅能獲得一條紅色虛線所示的位于地頭邊界附近的水平行線，該行線并不能真實(shí)地展現(xiàn)地頭邊界的主體延伸方位。

圖4 非規(guī)整地頭邊界線獲取示意圖Fig.4 Schematic of acquisition of irregular headland boundary line

本研究擬將圖像沿水平方向平均分成8 個(gè)子處理區(qū)域，如圖4 所示，分別針對(duì)各子處理區(qū)域求取跳變位置處的特征點(diǎn)(圖4 中紅色小圓圈)，最后再針對(duì)這些特征點(diǎn)進(jìn)行線性擬合，獲取實(shí)際非規(guī)整地頭邊界的主體延伸方位線(圖4 中橙色直線)。具體求取過程如下:

(1)分區(qū)求取跳變位置處特征點(diǎn)。將灰度圖沿圖像寬度方向均分為8 個(gè)子處理區(qū)域，第m 個(gè)子處理區(qū)域沿寬度方向的像素區(qū)間范圍為

式中 xsm、xem——第m 個(gè)子處理區(qū)域沿圖像寬度方向的起始、終止像素位置

定義標(biāo)志變量f2，初始化為0。從第1 個(gè)子處理區(qū)域開始，從左往右依次針對(duì)各子處理區(qū)域進(jìn)行檢測(cè):

步驟1:參照式(2)求取當(dāng)前子區(qū)域中每一行像素的灰度平均值，存儲(chǔ)于數(shù)組Fa中?；趕mooth 函數(shù)利用局部加權(quán)回歸方法對(duì)Fa中數(shù)據(jù)進(jìn)行平滑處理，平移窗口寬度設(shè)置為60 像素，平滑后的數(shù)據(jù)存儲(chǔ)于數(shù)組Fs中。以Fs數(shù)據(jù)作為縱坐標(biāo)，各數(shù)據(jù)所對(duì)應(yīng)的行數(shù)作為橫坐標(biāo)，繪制行灰度平均值平滑曲線，尋找該曲線上的所有波峰點(diǎn)和波谷點(diǎn)，存儲(chǔ)其位置坐標(biāo)。

步驟2:結(jié)合當(dāng)前地頭邊界跳變方向的不同(即f1的取值)，確定位于跳變位置處的波峰點(diǎn)和波谷點(diǎn)方法如下:

若f1=1，則針對(duì)上述所有波峰點(diǎn)，按照其行數(shù)(即其橫坐標(biāo))從大到小的順序，對(duì)其進(jìn)行排列，并基于排序后的波峰點(diǎn)的縱坐標(biāo)數(shù)據(jù)來確定位于跳變位置處的波峰點(diǎn)，從第2 個(gè)數(shù)據(jù)開始，按序計(jì)算當(dāng)前數(shù)據(jù)的離群度，計(jì)算式為

式中 yi、yi-1——排序后的第i 和第i-1 個(gè)波峰點(diǎn)或波谷點(diǎn)的縱坐標(biāo)，i∈［2，N］，N表示波峰點(diǎn)或波谷點(diǎn)的總數(shù)

直至尋找到首個(gè)滿足不等式R ＞Rth(判斷閾值)的數(shù)據(jù)為止，則該數(shù)據(jù)所對(duì)應(yīng)的波峰點(diǎn)即為跳變波峰點(diǎn)，記其位置坐標(biāo)為(k，yk)，同時(shí)本文將排于其之前的相鄰波峰點(diǎn)稱之為預(yù)跳變點(diǎn)(即其靠近田內(nèi)一側(cè)的相鄰波峰點(diǎn)，亦即行數(shù)較大的相鄰波峰點(diǎn))，記其坐標(biāo)位置為(p，yp)。同時(shí)，在步驟1 中的行灰度平均值平滑曲線上，尋找點(diǎn)(k，yk)右側(cè)最鄰近的波谷點(diǎn)，稱之為跳前波谷點(diǎn)，記其位置坐標(biāo)為(h，yh)。

若f1= -1，則針對(duì)上述所有波谷點(diǎn)，按照同樣的方式，尋找滿足條件的跳變波谷點(diǎn)，記其位置坐標(biāo)為(h，yh)，同樣將排于其之前的相鄰波谷點(diǎn)稱之為預(yù)跳變點(diǎn)，記其位置坐標(biāo)為(p，yp)。同樣地，在步驟1中的行灰度平均值平滑曲線上，尋找點(diǎn)(h，yh)右側(cè)最鄰近的波峰點(diǎn)，稱之為跳前波峰點(diǎn)，記其位置坐標(biāo)為(k，yk)。

其中，跳變特征判斷閾值Rth主要取決于田內(nèi)場(chǎng)景中的上述對(duì)應(yīng)曲線下的波峰和波谷點(diǎn)的按序離群程度，即其所對(duì)應(yīng)的|R|的分布范圍的上限值。

若不存在滿足R ＞Rth的跳變波峰點(diǎn)或跳變波谷點(diǎn)，則認(rèn)為當(dāng)前子處理區(qū)域中無跳變特征點(diǎn)，結(jié)束當(dāng)前幀圖像的檢測(cè)。

步驟3:基于跳變波峰點(diǎn)和跳前波谷點(diǎn)或跳變波谷點(diǎn)和跳前波峰點(diǎn)的位置坐標(biāo)，確定當(dāng)前子處理區(qū)域中跳變特征點(diǎn)的像素坐標(biāo)位置。取跳變特征點(diǎn)所在行數(shù)為(k+h)/2，跳變特征點(diǎn)所在列為當(dāng)前子處理區(qū)域的中心列。若當(dāng)前為第m 個(gè)子處理區(qū)域，則當(dāng)前子處理區(qū)域中跳變特征點(diǎn)的像素坐標(biāo)為((xsm+xem)/2，(k+h)/2)。

另外，定義標(biāo)志變量f2，初始化為0。當(dāng)6 個(gè)以上子處理區(qū)域均存在跳變特征點(diǎn)時(shí)，令f2=1，同時(shí)記有效子處理區(qū)域個(gè)數(shù)(即存在跳變特征點(diǎn)的子處理區(qū)域個(gè)數(shù)，亦即跳變特征點(diǎn)個(gè)數(shù))為M，否則令f2= -1。

(2)線性擬合跳變特征點(diǎn)，獲取主體延伸方位線。若f2=1，則針對(duì)上述求取的跳變特征點(diǎn)，基于穩(wěn)健回歸法［21-22］進(jìn)行線性擬合，獲取擬合直線，從而獲得地頭邊界的主體延伸方位線。

2.3 地頭轉(zhuǎn)向基準(zhǔn)線獲取

從實(shí)際應(yīng)用的角度看，上述主體延伸方位線并不能直接用作農(nóng)機(jī)在當(dāng)前地頭處轉(zhuǎn)向掉頭的基準(zhǔn)線。如圖4 所示，當(dāng)農(nóng)機(jī)以橙色直線作為轉(zhuǎn)向基準(zhǔn)線(即要求農(nóng)機(jī)在抵達(dá)該轉(zhuǎn)向基準(zhǔn)線之前完成轉(zhuǎn)向掉頭)時(shí)，A 點(diǎn)處凸向該基準(zhǔn)線以內(nèi)的田外場(chǎng)景(如田埂或道路等)很可能會(huì)對(duì)農(nóng)機(jī)當(dāng)前的正常轉(zhuǎn)向掉頭造成阻礙，導(dǎo)致轉(zhuǎn)向掉頭失敗，甚至產(chǎn)生碰撞等安全事故。

為此，本研究擬將上述主體延伸方位線向下平行移動(dòng)，使之經(jīng)過甚至跨越最遠(yuǎn)的邊界位置(以下簡(jiǎn)稱安全位置，圖4 中的A 點(diǎn)處)，以此獲取在當(dāng)前地頭處安全轉(zhuǎn)向掉頭的基準(zhǔn)線，如圖4 中綠色直線所示。由此，該轉(zhuǎn)向基準(zhǔn)線既順沿實(shí)際地頭邊界的主體延伸方向，又將當(dāng)前所有凸向田內(nèi)的外部區(qū)域分割在外，可保證農(nóng)機(jī)在該轉(zhuǎn)向基準(zhǔn)線之內(nèi)實(shí)施自主轉(zhuǎn)向掉頭操作時(shí)安全可靠。操作步驟如下:

(1)在前述M 個(gè)預(yù)跳變點(diǎn)中，尋找對(duì)應(yīng)行數(shù)最大(即橫坐標(biāo)值最大)的預(yù)跳變點(diǎn)，并記該預(yù)跳變點(diǎn)所屬的子處理區(qū)域?yàn)殛P(guān)鍵子處理區(qū)域。

(2)基于關(guān)鍵子處理區(qū)域的行灰度平均值平滑曲線，求取曲線上預(yù)跳變點(diǎn)左側(cè)數(shù)據(jù)的平均值和標(biāo)準(zhǔn)偏差D0。

(3)在關(guān)鍵子處理區(qū)域內(nèi)，以主體延伸方位線的初始位置作為起始位置，將其逐行往下平移，同時(shí)逐行計(jì)算線上像素的灰度平均值，并存儲(chǔ)于數(shù)組FL中。同樣基于smooth 函數(shù)，設(shè)置平移窗口寬度為60像素，利用局部加權(quán)回歸方法對(duì)FL中數(shù)據(jù)進(jìn)行平滑處理，將平滑后的數(shù)據(jù)存儲(chǔ)于數(shù)組FLs中。以FLs中數(shù)據(jù)作為縱坐標(biāo)，以對(duì)應(yīng)的平移行數(shù)作為橫坐標(biāo)，繪制灰度平均值平滑曲線。

(4)再次結(jié)合當(dāng)前地頭邊界跳變方向的不同，分別采取以下方法將主體延伸方位線平移至安全位置處:

當(dāng)f1= -1 時(shí)，在上述平滑曲線上，從左往右按序?qū)ふ沂讉€(gè)滿足縱坐標(biāo)值大于-D0的點(diǎn)，該點(diǎn)所對(duì)應(yīng)的平移行數(shù)即可認(rèn)為是原主體延伸方位線抵達(dá)安全位置處所需向下平移的最小行數(shù)，本文將滿足以上平移條件的平移方案稱之為平移途徑1。

當(dāng)f1=1 時(shí)，根據(jù)D -與Dth-關(guān)系，采取平移方法如下:①若D -≤Dth-，則首先在上述平滑曲線上，尋找到第1 個(gè)波谷點(diǎn)，然后在該波谷點(diǎn)之前的平滑曲線上尋找到縱坐標(biāo)值小于且最接近+ D0的點(diǎn)，該點(diǎn)所對(duì)應(yīng)的平移行數(shù)，即可認(rèn)為是原主體延伸方位線抵達(dá)安全位置處所需向下平移的最小行數(shù)，本文將滿足以上平移條件的平移方案稱之為平移途徑2。②若D - ＞Dth-，則在上述平滑曲線上，首先尋找到第1 個(gè)波谷點(diǎn)，然后以第1 個(gè)波谷點(diǎn)為起點(diǎn)，向后按序?qū)ふ业绞讉€(gè)滿足縱坐標(biāo)值大于的點(diǎn)，同樣地，該點(diǎn)所對(duì)應(yīng)的平移行數(shù)，即可認(rèn)為是原主體延伸方位線抵達(dá)安全位置處所需向下平移的最小行數(shù)，本文將滿足以上平移條件的平移方案稱之為平移途徑3。

依據(jù)上述3 種平移途徑所獲取的最小平移行數(shù)，將主體延伸方位線平移到位后，即可獲得當(dāng)前地頭處轉(zhuǎn)向掉頭的基準(zhǔn)線，即為本研究最終所要求取的用于農(nóng)機(jī)自主導(dǎo)航的地頭邊界線。

2.4 總體檢測(cè)流程

總體檢測(cè)流程如圖5 所示。

3 試驗(yàn)與結(jié)果分析

3.1 閾值確定

從前述3 類共9 種農(nóng)田場(chǎng)景視頻圖像中，截取各場(chǎng)景下的田內(nèi)場(chǎng)景視頻段，從第1 幀開始，以每20 幀選取一幀的方式，從截取的每段田內(nèi)場(chǎng)景視頻中，各選取50 幀圖像。

圖5 總體檢測(cè)流程圖Fig.5 Flow chart of detection method

(1)地頭判斷閾值

分別針對(duì)上述9 種田內(nèi)場(chǎng)景下的各50 幀圖像樣本，計(jì)算每幀圖像的行灰度平均值數(shù)據(jù)間的正向分布偏差DIn+和負(fù)向分布偏差DIn-，并統(tǒng)計(jì)這50 組DIn+和DIn-的分布區(qū)間，設(shè)兩分布區(qū)間上限值中的最大值為Dmax，最后根據(jù)Dmax確定當(dāng)前場(chǎng)景下的地頭判斷閾值Dth。事實(shí)上，本研究設(shè)置Dth=1.3Dmax，通過預(yù)留一定的余量以便地頭較明顯地出現(xiàn)在圖像上方后再確認(rèn)地頭出現(xiàn)并進(jìn)行后續(xù)檢測(cè)，以此提高地頭邊界線的可見性，便于后續(xù)對(duì)其進(jìn)行準(zhǔn)確檢測(cè)。由此，當(dāng)圖像中僅冒出少部分地頭時(shí)本研究視之為地頭未出現(xiàn)的情況。9 種田內(nèi)場(chǎng)景下的DIn+和DIn-分布區(qū)間、Dmax以及對(duì)應(yīng)的Dth見表1。

表1 地頭判斷閾值和跳變特征判斷閾值Tab.1 Determination of headland judgement threshold and jumping feature judgement threshold

農(nóng)機(jī)田間作業(yè)過程中，在作業(yè)前期，通常不會(huì)遇見地頭，所采集的圖像一般為田內(nèi)場(chǎng)景圖像，由此在實(shí)際應(yīng)用中，可基于前期連續(xù)采集的圖像樣本集確定地頭判斷閾值。

(2)跳變特征判斷閾值

針對(duì)上述9 種田內(nèi)場(chǎng)景下的各50 幀圖像樣本，計(jì)算每幀圖像的行灰度平均值平滑曲線上波峰點(diǎn)間和波谷點(diǎn)間的按序離群程度|R|的取值范圍，其中f1取1。并統(tǒng)計(jì)這100 組取值范圍的分布區(qū)間，設(shè)分布區(qū)間上限值為Rmax，根據(jù)Rmax確定當(dāng)前場(chǎng)景下的跳變特征判斷閾值Rth。本研究設(shè)置Rth=1.3Rmax，同樣通過預(yù)留一定的余量以避免凸起的農(nóng)田道路其側(cè)面非均質(zhì)的小段斷層陰影對(duì)田內(nèi)外灰度跳變特征的判斷造成負(fù)向干擾，如圖1c(場(chǎng)景9)所示的水泥地頭場(chǎng)景，從其行灰度平均值分布(圖3d)可知，水泥道路相對(duì)田內(nèi)存在明顯的灰度正向跳變，而其側(cè)面小段的斷層陰影相對(duì)田內(nèi)存在局部灰度負(fù)向跳變。由此，針對(duì)植被田埂類地頭場(chǎng)景和非凸起的道路類地頭場(chǎng)景，通過獲取田埂或道路與田內(nèi)分界處的灰度跳變特征來確定地頭邊界的主體延伸方位，而針對(duì)凸起的道路類地頭場(chǎng)景，基于道路與其側(cè)面斷層區(qū)分界處的灰度跳變特征來確定地頭邊界的主體延伸方位。9 種田內(nèi)場(chǎng)景下的Rmax以及對(duì)應(yīng)的Rth見表1。

在實(shí)際應(yīng)用中，同樣地，可基于作業(yè)前期連續(xù)采集的田內(nèi)圖像樣本集來確定跳變特征判斷閾值。

3.2 地頭出現(xiàn)與否判斷結(jié)果

針對(duì)圖1 中的3 類共9 種地頭場(chǎng)景圖像樣本，計(jì)算獲得其正向分布偏差D+和負(fù)向分布偏差D -依次為:17.63、43.83;20.07、46.54;50.95、15.04;32.11、24.95;36.65、17.23;20.70、12.12;25.00、19.43;54.88、25.04;20.69、18.49。結(jié)合表1 可知，圖1a 中場(chǎng)景1、2 的D -，圖1a 中場(chǎng)景3 的D+，圖1b中場(chǎng)景4、5 的D+，以及圖1c 中場(chǎng)景7、8 的D+，均小于對(duì)應(yīng)場(chǎng)景下的閾值Dth，由此判斷上述圖像均為地頭出現(xiàn)時(shí)的場(chǎng)景，符合實(shí)際情況，均判斷正確。對(duì)于圖1b 中場(chǎng)景6 和圖1c 中場(chǎng)景9，由于圖像中僅有少部分地頭冒出，導(dǎo)致其D+雖然大于對(duì)應(yīng)場(chǎng)景下的Dmax，但卻均小于對(duì)應(yīng)場(chǎng)景下設(shè)置的閾值Dth，由此均判斷為地頭未出現(xiàn)時(shí)的場(chǎng)景，此時(shí)停止當(dāng)前幀圖像的檢測(cè)。而當(dāng)這2 種場(chǎng)景下對(duì)應(yīng)的地頭較明顯地出現(xiàn)在圖像上方后，如圖6 所示，分別為場(chǎng)景6、9各自所對(duì)應(yīng)場(chǎng)景下地頭出現(xiàn)較明顯后的圖像樣本，計(jì)算獲得其D+和D -依次為:38.32、16.09;42.33、24.10。此時(shí)圖6a 和圖6b 的D+均小于對(duì)應(yīng)場(chǎng)景下的閾值Dth，由此均判斷為地頭出現(xiàn)時(shí)的場(chǎng)景，此時(shí)執(zhí)行后續(xù)檢測(cè)步驟。由此可見，本研究的地頭判斷閾值設(shè)置合理，判斷結(jié)果符合預(yù)期效果。

圖6 出現(xiàn)較明顯地頭時(shí)的圖像樣本Fig.6 Image samples of headland scenes after obvious headland appeared at top of image

同樣地，針對(duì)圖2 中的3 類共9 種田內(nèi)場(chǎng)景圖像樣本，計(jì)算獲得其正向分布偏差D+和負(fù)向分布偏差D - 依次為:8.58、10.33;10.22、13.52;6.71、6.04;18.60、12.59;8.07、10.57;10.14、10.02;11.00、15.23;11.47、13.35;9.42、9.65。結(jié)合表1可知，以上各值均小于對(duì)應(yīng)場(chǎng)景下的閾值Dth，由此判斷上述圖像均為地頭未出現(xiàn)時(shí)的場(chǎng)景，符合實(shí)際情況，均判斷正確。

3.3 主體延伸方位線檢測(cè)結(jié)果

(1)跳變特征點(diǎn)求取結(jié)果

以圖6b 為例，其灰度圖如圖7a 所示，其跳變方向標(biāo)志量f1=1，將其灰度圖沿水平方向平均分成8個(gè)子處理區(qū)域，圖7a 中紅色方框區(qū)域表示首個(gè)子處理區(qū)域。該子處理區(qū)域所對(duì)應(yīng)的行灰度平均值見圖7b 中藍(lán)色曲線。該平滑曲線上共計(jì)有14 個(gè)波峰點(diǎn)和14 個(gè)波谷點(diǎn)。按照行數(shù)從大到小的順序，14 個(gè)波峰點(diǎn)的位置坐標(biāo)依次為:(546，148)、(530，147)、(483，130)、(469，133)、(413，134)、(403，130)、(336，145)、(274，145)、(235，138)、(197，147)、(182，148)、(135，118)、(47，213)、(29，215)。從以上第2 個(gè)波峰點(diǎn)開始，依次計(jì)算并獲得其縱坐標(biāo)值的按序離群度R 分別為:-1.29%、-11.15%、2.34%、0.65%、- 2.68%、10.54%、- 0.21%、-5.01%、6.44%、0.80%、- 21.36%、68.47%、1.46%。

結(jié)合表1 可知，第13 個(gè)波峰點(diǎn)的R 值大于當(dāng)前的跳變特征判斷閾值19.44%，由此確定波峰點(diǎn)(47，213)為跳變波峰點(diǎn)，波峰點(diǎn)(135，118)為預(yù)跳變波峰點(diǎn)。另外，結(jié)合波谷點(diǎn)的位置坐標(biāo)，確定跳變前波谷點(diǎn)的位置坐標(biāo)為(104，92)。由此，基于跳變波峰點(diǎn)和跳變前波谷點(diǎn)位置坐標(biāo)確定首個(gè)子處理區(qū)域中跳變特征點(diǎn)的像素坐標(biāo)為(50，76)。同理依次獲得剩余7 個(gè)子處理區(qū)域中跳變特征點(diǎn)的像素坐標(biāo)為(150，67)、(250，65)、(350，70)、(450，66)、(550，75)、(650，67)、(750，80)。

如圖7b 所示，紅色和綠色小圓圈中心分別表示所獲取的波谷點(diǎn)、波峰點(diǎn)位置，藍(lán)色、青綠色和黑色小圓圈中心分別表示所獲取的跳變波峰點(diǎn)、跳變前波谷點(diǎn)和預(yù)跳變點(diǎn)。8 個(gè)跳變特征點(diǎn)在原圖中的位置如圖7c 中紅色圓圈中心所示，由圖可知，檢測(cè)獲取的跳變特征點(diǎn)定位較準(zhǔn)確。

圖7 圖6b 地頭場(chǎng)景圖下的跳變特征點(diǎn)檢測(cè)過程示意圖Fig.7 Schematics of detection process of jump feature points for Fig.6b

(2)主體延伸方位線擬合結(jié)果

上述8 個(gè)跳變特征點(diǎn)線性擬合結(jié)果如圖8i 中黃色直線所示，該直線即為圖6b 中地頭場(chǎng)景的主體延伸方位線。另外，圖1a、1b 中場(chǎng)景4、5 和圖6a、1c中場(chǎng)景7、8 的地頭主體延伸方位線檢測(cè)結(jié)果如圖8中黃色直線所示。其中，圖1c 中場(chǎng)景8 和圖6b 為凸起的道路類地頭場(chǎng)景，由檢測(cè)結(jié)果可知，所獲取的主體延伸方位線較好地?cái)M合了道路與其側(cè)面斷層區(qū)之間的分界位置，而對(duì)于剩余的地頭場(chǎng)景圖像，所獲取的主體延伸方位線也較好地?cái)M合了田內(nèi)與田外區(qū)域之間的分界位置，檢測(cè)結(jié)果均較準(zhǔn)確。

3.4 轉(zhuǎn)向基準(zhǔn)線檢測(cè)結(jié)果

同樣地，以圖6b 中地頭場(chǎng)景圖像為例，8 個(gè)預(yù)跳變點(diǎn)中，第2 和第5 個(gè)子處理區(qū)域的預(yù)跳變點(diǎn)所對(duì)應(yīng)的行數(shù)最大，兩者任選其一作為關(guān)鍵子區(qū)域。選取第5 個(gè)子處理區(qū)域作為關(guān)鍵子區(qū)域。在該關(guān)鍵子區(qū)域的行灰度平均值平滑曲線上，計(jì)算獲得預(yù)跳變點(diǎn)左側(cè)數(shù)據(jù)的平均值為137.34。在關(guān)鍵子區(qū)域內(nèi)，將主體延伸方位線逐行向下平移，并逐行計(jì)算平移后的線上像素灰度平均值，如圖9a 中黃色曲線所示，獲得其平滑曲線如圖中藍(lán)色曲線所示。另外，圖中紅色小圓圈中心表示平滑曲線上的波谷點(diǎn)。鑒于圖6b 中地頭場(chǎng)景圖像下f1=1，且D - =24.10 ＞Dth= 23.39，由此依據(jù)平移途徑3 進(jìn)行平移。由圖9a 可知，藍(lán)色小圓圈中心所示位置處，其縱坐標(biāo)值為139.71，為平滑曲線上第1 個(gè)波谷點(diǎn)之后首個(gè)大于的值，所對(duì)應(yīng)的平移行數(shù)為112 行，故原主體延伸方位線抵達(dá)安全位置處所需向下平移的最小行數(shù)為112 行。

另外，對(duì)于圖1a 中地頭場(chǎng)景1 和圖1b 中地頭場(chǎng)景5，其f1、D -、Dth、關(guān)鍵子區(qū)域、D0依次為-1、43.83、18.31、第5 個(gè)子處理區(qū)域、150.82、16.76，1、17.23、21.55、第5 個(gè)子處理區(qū)域、137.11、18.26。同樣地，在各自的關(guān)鍵子區(qū)域內(nèi)，計(jì)算并獲得各自的主體延伸方位線逐行向下平移過程中其線上灰度平均值數(shù)據(jù)的平滑曲線，分別如圖9b、9c 所示。結(jié)合平滑曲線，確定上述3 類地頭場(chǎng)景圖像下所需采取的平移途徑依次為平移途徑1 和平移途徑2。由圖9 可知，以上兩類地頭場(chǎng)景圖像下，原主體延伸方位線抵達(dá)安全位置處所需向下平移的最小行數(shù)分別為42、19 行。

圖9 主體延伸方位線平移行數(shù)確定示意圖Fig.9 Determination of row number of downward translation of main-body extended azimuth line

按照上述最小平移行數(shù)將圖6b 場(chǎng)景9、圖1a中場(chǎng)景1、圖1b 中場(chǎng)景5 的主體延伸方位線分別平移至安全位置處，由此獲得相應(yīng)地頭處轉(zhuǎn)向掉頭的基準(zhǔn)線，分別如圖8i、8a、8e 中綠色直線所示。

此外，剩余地頭場(chǎng)景圖像的轉(zhuǎn)向基準(zhǔn)線獲取結(jié)果如圖8 中綠色直線所示。由圖8 可知，檢測(cè)獲取的轉(zhuǎn)向基準(zhǔn)線，可保證農(nóng)機(jī)在該轉(zhuǎn)向基準(zhǔn)線以內(nèi)完成掉頭轉(zhuǎn)向操作時(shí)安全可靠，即為本研究所要求取的用于農(nóng)機(jī)自主導(dǎo)航的地頭邊界線。

3.5 總體檢測(cè)結(jié)果

從前述采集的3 類共9 種農(nóng)田場(chǎng)景視頻中，針對(duì)每種場(chǎng)景，從中截取地頭出現(xiàn)前的田內(nèi)連續(xù)圖像幀共計(jì)2 000 幀，并截取地頭出現(xiàn)較明顯后的連續(xù)圖像幀共計(jì)100 幀。針對(duì)每種場(chǎng)景下的2 100 幀圖像，逐幀檢測(cè)地頭是否出現(xiàn)，并判斷檢測(cè)結(jié)果的準(zhǔn)確性，同時(shí)針對(duì)每種場(chǎng)景下的上述100 幀圖像，逐幀進(jìn)行地頭邊界線檢測(cè)，僅當(dāng)能檢測(cè)出地頭邊界線且所檢測(cè)出的地頭邊界線可保證農(nóng)機(jī)在其內(nèi)實(shí)施自主轉(zhuǎn)向掉頭操作安全可靠時(shí)，才視當(dāng)前幀地頭邊界線檢測(cè)正確，同時(shí)統(tǒng)計(jì)單幀圖像檢測(cè)處理的最長(zhǎng)時(shí)間，試驗(yàn)結(jié)果如表2 所示。

表2 檢測(cè)結(jié)果Tab.2 Test results

由表2 可知，地頭出現(xiàn)與否判斷準(zhǔn)確率不低于96%，地頭邊界線檢測(cè)準(zhǔn)確率不低于92%，基于Matlab 平臺(tái)單幀圖像處理時(shí)間不高于0.52 s。試驗(yàn)結(jié)果表明，本算法可準(zhǔn)確地判斷是否抵達(dá)地頭，并快速檢測(cè)出用于農(nóng)機(jī)自主導(dǎo)航的地頭邊界線，所檢測(cè)出的地頭邊界線可保證農(nóng)機(jī)在該轉(zhuǎn)向基準(zhǔn)線以內(nèi)完成轉(zhuǎn)向掉頭操作時(shí)安全可靠。

4 結(jié)論

(1)基于農(nóng)田內(nèi)外像素灰度值的跳變特征來判斷地頭是否出現(xiàn)。建立并計(jì)算正向分布偏差和負(fù)向分布偏差兩個(gè)度量，分別用以描述圖像行灰度平均值數(shù)據(jù)的正向和負(fù)向分散程度，當(dāng)兩度量之一大于判斷閾值(即數(shù)據(jù)分布較為分散)時(shí)，即可認(rèn)為出現(xiàn)跳變特征，判斷地頭出現(xiàn)。該判斷方法主要適用于農(nóng)田內(nèi)外具有灰度跳變特性且田內(nèi)勻質(zhì)分布的農(nóng)田場(chǎng)景，檢測(cè)準(zhǔn)確率不低于96%。當(dāng)田內(nèi)存在大塊異物或雜質(zhì)，或存在其他導(dǎo)致田內(nèi)局部區(qū)域灰度差異較大的影響因素(如陰影、灌溉不均勻等)時(shí)，則會(huì)造成判斷準(zhǔn)確性下降，同時(shí)也將影響后續(xù)檢測(cè)。

(2)將圖像沿水平方向平均分成8 個(gè)子處理區(qū)域，針對(duì)各子處理區(qū)域求取行灰度平均值分布圖，基于局部加權(quán)回歸法對(duì)該分布圖進(jìn)行平滑處理。針對(duì)存在正向(或負(fù)向)跳變特征的場(chǎng)景，基于平滑曲線上的波峰點(diǎn)(或波谷點(diǎn))，引入按序離群度，用以描述按行數(shù)大小倒序排列后的波峰點(diǎn)或波谷點(diǎn)其所對(duì)應(yīng)的行灰度平均值的按序離群程度，將首個(gè)離群度較大的波峰點(diǎn)或波谷點(diǎn)視為跳變波峰點(diǎn)或跳變波谷點(diǎn)。基于跳變波峰點(diǎn)和跳變前波谷點(diǎn)或跳變波谷點(diǎn)和跳變前波峰點(diǎn)位置坐標(biāo)，確定跳變特征點(diǎn)的像素坐標(biāo)位置。最后，基于穩(wěn)健回歸法對(duì)跳變特征點(diǎn)進(jìn)行線性擬合，獲取實(shí)際非規(guī)整地頭邊界的主體延伸方位線。試驗(yàn)結(jié)果表明，所獲取的主體延伸方位線較好地?cái)M合了田內(nèi)與田外區(qū)域之間的分界位置，檢測(cè)結(jié)果較為準(zhǔn)確。

(3)根據(jù)預(yù)跳變點(diǎn)所對(duì)應(yīng)的行數(shù)確定田外區(qū)域凸向田內(nèi)程度最大的關(guān)鍵子區(qū)域，基于該子區(qū)域的行灰度平均值擬合曲線，求取預(yù)跳變點(diǎn)左側(cè)數(shù)據(jù)的平均值和標(biāo)準(zhǔn)差，確定田內(nèi)像素的灰度分布特征。將主體延伸方位線向下平行移動(dòng)，當(dāng)其線上像素的灰度平均值接近于田內(nèi)像素的灰度分布特征時(shí)，認(rèn)為抵達(dá)安全位置處，由此獲取農(nóng)機(jī)在當(dāng)前地頭處安全轉(zhuǎn)向掉頭的邊界線。試驗(yàn)結(jié)果表明，3 類共9 種農(nóng)田場(chǎng)景下，地頭邊界線檢測(cè)準(zhǔn)確率不低于92%。本研究可為農(nóng)機(jī)在地頭處實(shí)施自主導(dǎo)航轉(zhuǎn)彎提供較為準(zhǔn)確、可靠的地頭信息感知技術(shù)支持。