陳 浩,任奕林,歐陽家樂,陳佃貞,王浩杰,徐 洋
(華中農(nóng)業(yè)大學(xué)工學(xué)院/農(nóng)業(yè)農(nóng)村部長江中下游農(nóng)業(yè)裝備重點實驗室,湖北 武漢 430070)
不同圖像分割方法在各類大田經(jīng)濟作物性狀研究中有所應(yīng)用,傳統(tǒng)分割方法中,基于區(qū)域的分割方法在大田經(jīng)濟作物中應(yīng)用較少,大多采用基于閾值和邊緣檢測的方法。結(jié)合特定理論工具的圖像分割算法中,基于主動輪廓模型的分割方法較少用于大田經(jīng)濟作物研究。大田經(jīng)濟作物在我國占有重要地位。目前,我國已形成大豆、棉花、油菜、花生等大田經(jīng)濟作物優(yōu)質(zhì)高效生產(chǎn)技術(shù)體系。以優(yōu)質(zhì)良種和農(nóng)業(yè)機械為載體,形成油菜免耕栽培、大豆機械化“深、窄、密”栽培和春花生機播覆膜高產(chǎn)栽培等多種技術(shù)模式。隨著機械化程度和數(shù)字化農(nóng)業(yè)的不斷加強,從播種、生長、收獲到加工各個環(huán)節(jié),大田經(jīng)濟作物的性狀至關(guān)重要,直接影響其生產(chǎn)效率和產(chǎn)品質(zhì)量。大田經(jīng)濟作物的性狀研究內(nèi)容復(fù)雜多樣,傳統(tǒng)研究主要依靠人工手段,以感官檢驗為主,檢驗結(jié)果易受人為因素影響,準(zhǔn)確度不高,而且效率低下,一定程度上限制了大田經(jīng)濟作物的生產(chǎn)。計算機、圖像處理和模式識別等技術(shù)和理論的飛速發(fā)展,為實現(xiàn)大田經(jīng)濟作物性狀研究提供了基礎(chǔ)。數(shù)字圖像處理技術(shù)作為一種新的數(shù)據(jù)采集和測量技術(shù),在作物病蟲害葉片檢測[1-8]、根系形態(tài)[9-10]、農(nóng)作物苗期生長監(jiān)測[10-11]、油菜大豆花生的籽粒形態(tài)參數(shù)識別[12]等方面展現(xiàn)出高效、客觀、可重復(fù)和成本低等優(yōu)勢,是較為重要的研究手段和技術(shù)工具,顯示出廣闊的應(yīng)用前景。本文綜合分析了近年來不斷改進的圖像分割方法,按照傳統(tǒng)分割方法和結(jié)合特定工具的圖像分割算法兩大類,分析列舉了各類算法在油菜、棉花、大豆和花生等經(jīng)濟作物性狀研究中的應(yīng)用;最后對圖像分割技術(shù)在大田經(jīng)濟作物中的應(yīng)用存在問題進行分析并提出展望,旨在為作物生產(chǎn)和加工提供指導(dǎo)。
基于圖像處理技術(shù)的大田經(jīng)濟作物性狀研究屬于多學(xué)科交叉研究,涉及植物學(xué)、圖像處理技術(shù)、模式識別和人工智能等。國內(nèi)外學(xué)者利用這些技術(shù)和理論對大田經(jīng)濟作物性狀作了一些研究,研究對象包括各類經(jīng)濟作物的根、莖、葉、花及整體,研究目的也從單純的作物種類分類發(fā)展到病蟲害識別等實際應(yīng)用。雖然研究對象和研究目的的不同,導(dǎo)致具體采用的方法有所不同,但基于圖像處理技術(shù)的作物性狀研究步驟均包括作物圖像采集、圖像預(yù)處理、作物特征提取與優(yōu)化、模式識別與解釋以及結(jié)果輸出等模塊(圖1)。
圖1 圖像分析系統(tǒng)的構(gòu)成Fig.1 Structure of image analysis system
數(shù)字圖像分割是數(shù)字圖像分析中的一項關(guān)鍵技術(shù),將圖像空間按照一定要求分割成“有意義”的區(qū)域,根據(jù)圖像本身的特征(如灰度值、空間紋理、幾何形狀、RGB 值等)將圖像劃分成若干個互不相交的區(qū)域,在同一塊區(qū)域內(nèi)使得這些特征呈現(xiàn)出一致性或相似性,而在不同區(qū)域間呈現(xiàn)出特別明顯的不同,在一幅圖像中將目標(biāo)從背景中分離出來。通常為進一步對圖像進行表達與描述,識別與解釋等處理的圖像中級處理環(huán)節(jié),其分割的精確度與準(zhǔn)確度直接影響之后處理的有效性,因此在圖像分析系統(tǒng)中具有十分重要的意義[13]。
從20 世紀(jì)70 年代起,圖像分割問題開始引起許多學(xué)者關(guān)注。截至目前,對圖像分割的一般性規(guī)律已達成基本共識,逐漸形成各種圖像分割的方法,已提出上千種圖像分割的方法,并且隨著各種算法研究的進行,圖像分割的精度也越來越高。但是圖像分割技術(shù)至今仍然沒有通用理論,人們大多根據(jù)實際需要采用不同分割方法。
圖像分割技術(shù)可以分為傳統(tǒng)分割方法和結(jié)合特定理論工具的圖像分割算法。傳統(tǒng)的圖像分割技術(shù)多為基于圖像局部特征的分割方法,是根據(jù)圖像局部區(qū)域中像元的特征來實現(xiàn)圖像分割,主要有基于閾值、基于區(qū)域和基于邊緣檢測等分割方法。結(jié)合特定理論工具的圖像分割算法,這些特定的理論工具通常包括小波分析變換、遺傳算法、主動輪廓模型、聚類、深度學(xué)習(xí)等。
閾值分割方法常在目標(biāo)和背景灰度有明顯對比的圖像時應(yīng)用且分割效果明顯、計算簡單、效率較高。俞浩等[14]采用二值圖像閾值分割算法首先識別油菜角果輪廓進而來定位油菜角果蚜蟲的侵染部位;吳蘭蘭等[15]采用基于植被組合指數(shù)COM 的閾值分割算法與其他5 種植被指數(shù)算法相比較,選擇出合適的植被指數(shù)來分割大田油菜圖像;翟瑞芳等[16]選取45 幅不同天氣狀況、不同發(fā)育階段的油菜圖像作為樣本,確定了基于高斯HI 顏色算法的閾值,并將該算法與CIVE、EXG-EXR、EXG 和VEG 算法相比較,結(jié)果表明該算法具有更優(yōu)的誤割率和相對面積誤差,能夠穩(wěn)定地分割出大田油菜圖像;劉金亞等[9]提出基于色彩與高斯模型確定閾值來分割大田油菜圖像的根系部位;彭碧野等[17]采用OSTU 分割方法得到去除髓腔區(qū)域的灰度圖,從而得到最終的表皮的二值圖像,分析油菜莖稈微觀結(jié)構(gòu);趙蕓等[1]采用先對圖像作中值濾波再用閾值分割的方法監(jiān)測油菜早期病蟲害;周康韻等[18]采用基于RGB2 色彩模式的特征提取算法將油菜葉片準(zhǔn)確分離;王昌等[19]采用OSTU 分割方法獲得僅包含油菜和雜草區(qū)域的二值化圖像;李錦衛(wèi)等[12]采用OSTU 閾值法和雙峰閾值法作為研究油菜種子信息的主要圖像分割方法;秦淑芬等[20]采用基于彩色空間模型的閾值分割算法研究甘藍型油菜葉片圖像蟲害程度的檢測方法。石玉秋等[21]采用OSTU 算法確定閾值將花生從圖像背景中分離出來;陳煜等[2]提出一種基于改進的超綠算法的閾值分割方法,即先用自適應(yīng)中值濾波去除花生圖像中的噪聲,然后再用超綠算法,該方法能夠有效地還原花生病斑的原始數(shù)。為適應(yīng)不同的分割環(huán)境和分割精度,需要對傳統(tǒng)閾值法進行改進,自適應(yīng)閾值法和最佳熵法是其中改進比較成功的算法,其在大田經(jīng)濟作物的圖像分割中應(yīng)用也比較廣泛。劉雙喜等[22]采用自適應(yīng)閾值法得到棉花的二值化圖像進而提取出棉花中的異性纖維;姚慶昌等[23]采用自適應(yīng)閾值法完成棉花圖像,中異性纖維的分割;張豪等[24]采用最佳熵法確定分割閾值,再進行去噪、填充等處理,將棉花從復(fù)雜背景中提取出來。楊洋等[11]采用基于K-均值聚類的圖像自適應(yīng)顏色閾值法,實現(xiàn)將花生苗圖像從土壤背景中準(zhǔn)確提取出來。在實際應(yīng)用中,閾值分割一般都會將兩種或兩種以上的方法結(jié)合起來確定閾值,這也成為今后閾值分割的趨勢之一[25]。李方一等[26]采用雙峰法和基于超綠變換的全閾值法分割油菜葉片,從而進行油菜葉片氮素營養(yǎng)檢測;習(xí)智華等[3]采用基于改進型超紅特征和面積閾值的分割算法,實現(xiàn)棉花害螨病斑圖像的分割;熊馨等[27]采用全局閾值法和邊緣閾值法相結(jié)合的方法提取出棉花中的異性纖維,從而提高棉花中異性纖維的識別精度。
綜上可以看出,閾值分割方法的關(guān)鍵在于閾值選擇。若將智能遺傳算法應(yīng)用在閥值篩選上,選取能最優(yōu)分割圖像的閥值,這可能是基于閥值分割的圖像分割法的發(fā)展趨勢。
邊緣檢測是圖像處理與識別中最基礎(chǔ)、最重要的內(nèi)容之一,也是實現(xiàn)圖像分割、特征提取和圖像理解的基礎(chǔ),常用的微分算子有Sobel 算子、Roberts 算子、拉普拉斯算子、Prewitt 算子、Kirsch 算子和Robinson 算子等[28]。在各種邊緣檢測算子中,Sobel 算子可對邊緣方向進行準(zhǔn)確定位;Roberts 算子的水平、垂直兩個方向的邊緣檢測效果優(yōu)于斜邊緣檢測,對邊緣定位的準(zhǔn)確率較高,對復(fù)雜背景噪聲更敏感;拉普拉斯算子對階躍突變邊緣具有較好的定位精度,但是由于沒有考慮方向因素,因此不能很好地獲得邊緣方向,而且對噪聲較敏感;Canny 算子會使圖像平滑,而且邊緣輪廓定位較準(zhǔn)確[29]。
基于邊緣檢測的分割方法在大田經(jīng)濟作物研究中應(yīng)用十分廣泛。張閃閃等[30]比較了閾值法和基于Log 算法的邊緣檢測方法,發(fā)現(xiàn)基于Canny 算法的邊緣檢測方法能更有效檢測棉花中的異性纖維。李錦衛(wèi)等[12]研究發(fā)現(xiàn)采用Canny算子分割出的油菜種子區(qū)域最大。金守峰等[31]和鮑義東等[32]采用Canny 邊緣檢測算法來檢測棉花中的異性纖維。Revathi 等[4]采用Canny 和Sobel 算子來識別棉花葉片邊緣,將提取出的邊緣特征加以分類從而識別病斑,最后向農(nóng)戶提供害蟲種類以幫助提高產(chǎn)量。ZHANG 等[5]通過Canny 邊緣檢測算法來識別棉花葉片,從而提取出病變的棉花葉片進行棉蟲的防治。于紅彬等[33]采用基于Canny 的雜質(zhì)圖像處理算法有效抑制了雜質(zhì)圖像虛邊緣的產(chǎn)生,實現(xiàn)了棉花表面雜質(zhì)的精準(zhǔn)檢測與識別,不同的邊緣檢測方法對同一幅圖像所產(chǎn)生的邊緣提取效果不盡相同,都有各自的優(yōu)缺點和使用范圍。近年來也提出了許多新的邊緣檢測算法。張馨等[34]通過改進的數(shù)學(xué)形態(tài)學(xué)的邊緣檢測方法得到棉花異性纖維灰度梯度圖從而實現(xiàn)灰度梯度圖的分割。
小波變換是一種多尺度信號分析方法,它克服了傅里葉變換固定分辨率的弱點,圖像經(jīng)過小波變換后,每次分解產(chǎn)生4 個子圖像,分別表示低通濾波圖像、水平的高頻子圖像、垂直方向的高頻子圖像以及對角方向的高頻子圖像[35]。由于小波變換能夠在不同尺度上對信號進行分析,可以在圖像分割上應(yīng)用。二維小波變換可以檢測二元函數(shù)的局部突變,因此可作為圖像邊緣檢測工具。
近年來,基于小波分析變換的圖像分割方法在大田經(jīng)濟作物研究中應(yīng)用也越來越廣泛。劉坤等[36]為了采棉機器人能夠快速進行棉桃的邊緣檢測,提出一種快速多尺度邊緣檢測算法來提取棉桃邊緣,經(jīng)過3 級小波變換,能夠快速檢測出棉桃邊緣。該法克服了直接從灰度圖像中提取所帶來的算法復(fù)雜、耗時長的缺點,而且對噪聲的敏感度比一般的邊緣檢測算法低,提高了采棉機器人的識別精度和速度。小波變換在做逆變換之前,可根據(jù)需要改變分量的大小,從而增強圖像,為圖像進一步分割提供方便。李寒等[37]在棉花葉片邊緣的檢測過程中,對用mean-shift 算法平滑后的圖像進行提升小波變換,使圖像灰度增強,最后用邊緣檢測算子進行分割,該算法能有效減少非邊緣噪聲,并且能夠有效提取相互重疊葉片的邊緣。師紅宇等[38]對棉花中的異性纖維檢測中,先利用小波的多分辨率特性差分,提高異性纖維低頻、高頻信息與棉花低頻、高頻信息的對比度,然后利用Otsu 算法對各差分圖像分割出局部異性纖維,然后再對各分割子圖進行融合檢測出棉花中的異性纖維,該方法有準(zhǔn)確率較高。
遺傳算法是一種隨機搜索和優(yōu)化的方法,通過模擬大自然的生物進化過程,在種群不斷進化過程中逐步淘汰不適應(yīng)個體,而迭代中的種群進行不斷交叉、重組、變異又能產(chǎn)生新的個體[39]。其算法框架如圖2 所示,該算法簡單、通用,魯棒性強,適于并行處理。
圖2 遺傳算法框架Fig.2 Genetic algorithm framework
當(dāng)前遺傳算法在大田經(jīng)濟作物圖像分割中的一個研究熱點,是結(jié)合一些啟發(fā)算法進行改進或者結(jié)合其他的算法充分發(fā)揮遺傳算法并行機制的潛力。當(dāng)前大部分研究都將遺傳算法與神經(jīng)網(wǎng)絡(luò)算法結(jié)合來進行圖像分割。祁廣云等[6]利用改進后的遺傳算法訓(xùn)練 BP 神經(jīng)網(wǎng)絡(luò)實現(xiàn)了大豆葉斑病病斑區(qū)域的提取,試驗結(jié)果表明,應(yīng)用該方法識別病斑區(qū)域的準(zhǔn)確率可達 90%。金寶石[40]和沈維政等[7]都在大豆病葉的病斑問題上,通過引入遺傳算法去優(yōu)化神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值,提高了網(wǎng)絡(luò)訓(xùn)練速度。通過對大豆灰斑病病斑圖像分割的實驗表明,該方法速度快且穩(wěn)定性好,精度高且魯棒性好。王星等[41]在YCbCr 顏色空間中利用遺傳算法(GA)優(yōu)化BP 算法,可以實現(xiàn)全局優(yōu)化,對強光、陰影等復(fù)雜環(huán)境下的棉花圖像進行有效分割,分割準(zhǔn)確率達到91.9%。
主動輪廓模型是當(dāng)前圖像分割算法研究領(lǐng)域的熱點,在分割邊緣模糊、強度抑制、含有噪聲等復(fù)雜圖像時,展示出一定優(yōu)越性[42],其算法流程如圖3 所示。按照能量函數(shù)構(gòu)造方式的不同,可以將主動輪廓模型分為基于邊緣和基于區(qū)域兩類,同時也有人提出基于邊緣和區(qū)域相結(jié)合的主動輪廓模型。經(jīng)典的邊緣主動輪廓模型有Snake 模型,基于圖像的梯度信息來判斷目標(biāo)的邊緣,當(dāng)圖像背景復(fù)雜或目標(biāo)邊緣模糊時,無法準(zhǔn)確定位目標(biāo)邊緣,造成檢測結(jié)果不準(zhǔn)確。而基于區(qū)域的主動輪廓模型有CV 模型、LBF 模型、Mumford-shah 模型和LIF 模型等。劉晨等[43]提出一種新的活動輪廓模型圖像分割方法,對椒鹽噪聲和高斯噪聲圖像進行試驗,結(jié)果表明該方法比CV 模型、LBF 模型和LIF 模型更具有優(yōu)勢,具有更好的抗噪性能?;谥鲃虞喞P偷姆指罘椒ㄖ饕獞?yīng)用于醫(yī)學(xué)圖像處理,在大田經(jīng)濟作物研究中應(yīng)用較少。
圖3 主動輪廓算法流程Fig.3 Active contour algorithm process
基于聚類的圖像分割算法應(yīng)用十分廣泛,其核心聚類思想與其他分割方法相融合。聚類法從灰度等像素基本特征出發(fā),按照一定規(guī)則對圖像進行區(qū)域劃分,判斷像素所屬的區(qū)域,加以標(biāo)記、分割[44]。最常用的聚類方法有Mean-shift 聚類、模糊C 均值聚類(FCM)和K 均值聚類(K-means)。K-means 算法分類流程如圖4 所示。
圖4 K-means 算法分類流程Fig.4 K-means algorithm classification process
聚類算法在大田經(jīng)濟作物研究中應(yīng)用甚廣。胡維煒等[8]在使用K-均值聚類算法分割大豆葉片時,發(fā)現(xiàn)能實現(xiàn)背景與葉片的分類時聚類數(shù)為2,當(dāng)聚類數(shù)為3 時能有效分割健康葉片與病斑區(qū)域。楊洋等[11]采用 K-均值聚類算法對花生苗提取算子進行聚類,有效解決了氣候環(huán)境對圖像識別精度的影響,能夠有效地把花生苗從土壤中提取出來。吳文華[10]用K-means 聚類的圖像分割算法將油菜植株較為完整準(zhǔn)確地分割出來。
隨著算法的進一步研究與更復(fù)雜的分割情況,傳統(tǒng)的聚類算法已經(jīng)不能滿足分割要求,改進的聚類算法和將聚類算法與其他算法結(jié)合起來的研究得到進一步發(fā)展。任磊[45]將K-means 聚類算法與HSV 模型結(jié)合起來對棉花圖像進行分割,該算法原理簡單,能夠?qū)⒚藁ㄖ黧w較好地分割出來,但是對邊緣的分割效果還有待加強。時顥等[46]在YcbCr 顏色空間下對棉花圖片進行粒子群與K 均值混合聚類分割,能夠有效克服光照、陰影帶來的影響,實現(xiàn)了全局解搜索能力與收斂速度的平衡,其分割穩(wěn)定性、分割精度優(yōu)于傳統(tǒng)PSO 聚類的分割方法,可以將各種復(fù)雜環(huán)境下的棉花圖像準(zhǔn)確有效地分割。李凱等[47]提出將K均值聚類算法與PSO 優(yōu)化算法混合的分割方法來對棉花葉片圖像進行分割。結(jié)果表明此方法在RGB 顏色空間模式下比傳統(tǒng)的K-means 算法分割精度更高,能夠?qū)υ趶?fù)雜背景與天氣條件下的棉花葉片圖像實現(xiàn)準(zhǔn)確分割。張新良等[48]將K 均值聚類算法與標(biāo)記分水嶺算法結(jié)合起來對棉花圖像進行分割,能夠有效解決棉花目標(biāo)的過分割問題,顯著提高了識別率。
深度學(xué)習(xí)的本質(zhì)是通過構(gòu)建多隱層的模型和海量訓(xùn)練數(shù)據(jù)(可為無標(biāo)簽數(shù)據(jù)),學(xué)習(xí)更有用的特征,從而提升分類或預(yù)測的準(zhǔn)確性,“深度模型”是手段,“特征學(xué)習(xí)”是目的。近年來,基于深度學(xué)習(xí)的圖像分割方法也是許多學(xué)者研究的熱門。
3.5.1 基于特征編碼分割方法 在特征提取領(lǐng)域中VGGnet 和ResNet 有各自的優(yōu)缺點。VGG Net 是一種深度卷積神經(jīng)網(wǎng)絡(luò),該模型是2014 年ILSVRC 競賽的第二名。到目前為止,VGG Net 還是經(jīng)常被用來提取圖像特征。VGGNet 的結(jié)構(gòu)非常簡潔,但是VGGNet 的參數(shù)量達140 M 左右,需要更多的儲存空間。隨著深度學(xué)習(xí)的應(yīng)用,各種深度學(xué)習(xí)模型隨之出現(xiàn),ResNet 成為深度學(xué)習(xí)發(fā)展歷程中一個重要的轉(zhuǎn)折點。ResNet 由微軟研究院的Kaiming He 等4 名華人提出[49],ResNet在語義分割領(lǐng)域是最受歡迎且運用最廣泛的神經(jīng)網(wǎng)絡(luò)。
在對不同形態(tài)的棉花識別過程中,王見等[50]提出了基于遷移模型(AlexNet、GoogleNet 和ResNet)的特征提取與極限學(xué)習(xí)機相結(jié)合的方法對棉花進行識別,具有較高準(zhǔn)確率。陶震宇等[51]通過比較VGG-16 模型和ResNet-50 模型在花生主要害蟲圖像樣本集識別率上的表現(xiàn),對表現(xiàn)更好的ResNet-50 網(wǎng)絡(luò)模型進行改進。結(jié)果表明改進后的ResNet-50 模型在花生害蟲圖像識別領(lǐng)域具有較高的識別水平。
3.5.2 基于上采樣/反卷積的分割方法 比較著名的卷積神經(jīng)網(wǎng)絡(luò)分割模型有FCN、SegNet、R-CNN 等。卷積神經(jīng)網(wǎng)絡(luò)在進行采樣的時候會丟失部分細節(jié)信息,其目的是得到更具特征的價值,但是這個過程是不可逆的,有的時候會導(dǎo)致后面進行操作的時候圖像的分辨率太低、出現(xiàn)細節(jié)丟失等問題。
劉立波等[52]用一種改進的全卷積網(wǎng)絡(luò)(FCN)算法對棉田冠層圖像進行分割,在背景復(fù)雜、光照條件復(fù)雜等環(huán)境下可以準(zhǔn)確分割出冠層目標(biāo)區(qū)域,魯棒性較好。黃云等[53]提出基于SegNet 網(wǎng)絡(luò)來實現(xiàn)花生種植區(qū)域的分類。經(jīng)測試,檢測準(zhǔn)確率為89.20%,檢測召回率為79.22%。吳文華[10]提出了一種基于FCN 模型的油菜苗期主根分割算法,并將其與 K-means 聚類算法、Otsu 算法作比較,發(fā)現(xiàn)其分割的像素精度(PA)與交互比(IoU)均優(yōu)于其他兩種算法。樊湘鵬等[54]通過選取預(yù)訓(xùn)練的VGG16 結(jié)構(gòu)作為Faster R-CNN 模型的特征提取網(wǎng)絡(luò),并采用Dropout 算法避免過擬合,以實現(xiàn)對雜草目標(biāo)的檢測。與較流行的YOLO 和SSD 算法相比,優(yōu)化后的Faster R-CNN 算法有一定優(yōu)勢,對棉花苗期雜草識別率達到88.67%且滿足實時性要求。熊俊濤等[55]利用Mask R-CNN基礎(chǔ)特征網(wǎng)絡(luò)提取大豆葉片圖像的特征圖,然后使用區(qū)域候選網(wǎng)絡(luò)生成建議框,通過ROI Align層使每個ROI 生成固定尺寸特征圖,然后對每個ROI 預(yù)測類別、位置和對應(yīng)葉片的掩碼,并利用VGG16 模型進行缺素分類。該方法對復(fù)雜背景下大豆葉片缺素分類有較好的檢測效果。張小青等[56]在傳統(tǒng) Faster R-CNN 的基礎(chǔ)上構(gòu)建殘差單元,使用 ResNet50 作為新的特征提取網(wǎng)絡(luò)來對Faster R-CNN 進行優(yōu)化,以實現(xiàn)對復(fù)雜田間環(huán)境下玉米出苗識別和計數(shù)。
雖然FCN 對圖像進行了像素級的分類,從而解決了一定級別的圖像分割問題,可以接受任意尺寸的輸入圖像,可以保留下原始輸入圖像中的空間信息,但是得到的結(jié)果由于上采樣的原因比較模糊和平滑,對圖像中的細節(jié)不敏感,而且對各個像素分別進行分類,沒有充分考慮像素與像素的關(guān)系,缺乏空間一致性。而Faster R-CNN 的原始ROI pooling 兩次取整會帶來精度的丟失,因此改變這個定位池化或者特征尺度輸出的問題需要改進。同時在RPN 產(chǎn)生Proposal 時為了避免重疊的候選框,以分類得分為標(biāo)準(zhǔn),使用了NMS 進行后處理。事實上,該方法對于遮擋的目標(biāo)很不友好,即有可能是兩個目標(biāo)的Proposal 很可能會被過濾掉一個造成漏檢,F(xiàn)aster R-CNN 檢測流程如圖5 所示。
圖5 Faster R-CNN 檢測流程Fig.5 Faster R-CNN detection process
3.5.3 基于MRF 的分割方法 Markov Random Field(Markov Random Field,MRF)模型[57]是基于無向概率圖模型的圖像分割方法,以圖像特征的統(tǒng)計學(xué)和先驗知識為理論基礎(chǔ),將空間關(guān)系和隨機變量進行關(guān)聯(lián),在圖像分割中利用后驗極大化準(zhǔn)則獲取圖像標(biāo)號場的最佳后驗分布以實現(xiàn)圖像分割。MRF 模型的獨特之處在于它能夠表達圖像像素間的空間信息,因此成為人們的研究熱點。將MRF 應(yīng)用于多種場景,也產(chǎn)生出多種改進的算法。陳康等[58]提出一種結(jié)合馬爾可夫隨機場(MRF)的自適應(yīng)加權(quán)FCM 改進算法,用于分割DTI 圖像,可以得到邊緣清晰且細節(jié)信息保留良好的分割結(jié)果。韓子碩等[59]提出了基于改進模糊C 均值聚類(fuzzy C-means clustering,F(xiàn)CM)與馬爾可夫隨機場(Markov random field,MRF)的分割算法,能夠快速有效地分割多類SAR 圖像。
MRF 在大田經(jīng)濟作物的圖像分割的研究中應(yīng)用較多。李凱等[60]提出一種基于馬爾可夫隨機場最優(yōu)化模型的聯(lián)合分割算法,來實現(xiàn)自然光條件下棉花葉片的自動、普適和精確分割。龍金輝等[61]提出融合馬爾可夫隨機場與量子粒子群聚類的圖像分割算法來對棉花圖像進行分割,并將其與Otsu 算法、模糊聚類圖像分割算法、量子粒子群圖像分割算法和馬爾可夫隨機場圖像分割算法進行效果比較,結(jié)果發(fā)現(xiàn)該算法處理的棉花圖像具有更高的峰值信噪比和分割精度。龍金輝[62]提出融合同態(tài)濾波與馬爾可夫隨機場的圖像分割算法,對棉花圖像進行分割,通過與OTSU 算法、FCM 算法和MRF 算法比較,發(fā)現(xiàn)在分割精度、峰值信噪比和運行時間上均具有明顯優(yōu)勢。
圖像分割算法的研究已有幾十年歷史,借助各種理論至今已提出了上千種各種類型的分割算法,在大田經(jīng)濟作物的研究中也發(fā)揮著重要的作用。盡管人們在圖像分割方面做了許多研究工作,但由于尚無通用分割理論,因此現(xiàn)已提出的分割算法大都針對具體問題,并沒有一種適合于所有圖像的通用分割算法。而大田經(jīng)濟作物的研究由于多方面的原因,在進行圖像分割處理時更為復(fù)雜,影響了圖像分割的穩(wěn)定性、精確性和魯棒性:一是周圍環(huán)境的復(fù)雜性和多樣性。在大田環(huán)境下,一方面需要把把大田經(jīng)濟作物從雜草背景中分割出來;另一方面,作物葉片和莖稈之間相互交叉覆蓋,也給圖像分割帶來了一定的難度。二是復(fù)雜多變的天氣情況。大田經(jīng)濟作物在田間圖像的獲取受到自然天氣情況的影響,尤其是在需要有顏色特征的算法中影響更為嚴(yán)重,增加了圖像分割的難度。三是作物生長變化的實時性。大田經(jīng)濟作物生長期間,圖像數(shù)據(jù)一直處于變化過程中,影響了圖像分割試驗的可重復(fù)性和精度。四是農(nóng)作物固有的生物多樣性?!笆澜缟蠜]有兩片完全相同的樹葉”,生物的復(fù)雜多樣性影響了圖像分割的穩(wěn)定性和精確性。以上種種因素,限制了圖像分割技術(shù)在大田經(jīng)濟作物性狀研究中的應(yīng)用。
目前,深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)等技術(shù)手段發(fā)展迅速且日益成熟,結(jié)合一些經(jīng)典的圖像分割思想,如閾值分割、樣本聚類、區(qū)域生長等,有利于提高圖像分割的穩(wěn)定性、精確性和魯棒性,減少時間的消耗。同時,無人平臺、目標(biāo)識別、自動駕駛等研究領(lǐng)域的關(guān)注度仍在不斷升高,對圖像分割等基本處理技術(shù)的要求也隨之提高,在未來很長一段時間內(nèi),如何快速、自主、準(zhǔn)確地按照要求分割圖像,減少人工消耗仍是圖像處理研究的熱點之一??梢灶A(yù)見,圖像分割方法正朝著更快速、更精確的方向發(fā)展,通過各種新理論和新技術(shù)結(jié)合將不斷取得突破和進展。