鮑文霞，張 鑫，胡根生，黃林生，梁 棟，林 澤

基于深度卷積神經(jīng)網(wǎng)絡(luò)的田間麥穗密度估計(jì)及計(jì)數(shù)

鮑文霞，張 鑫，胡根生，黃林生※，梁 棟，林 澤

（安徽大學(xué)農(nóng)業(yè)生態(tài)大數(shù)據(jù)分析與應(yīng)用技術(shù)國(guó)家地方聯(lián)合工程研究中心，合肥 230601）

小麥的最終產(chǎn)量可由單位面積的小麥麥穗數(shù)側(cè)面反映，為了快速準(zhǔn)確統(tǒng)計(jì)小麥麥穗數(shù)，該研究給出一種在單幅圖像上利用深度卷積神經(jīng)網(wǎng)絡(luò)估計(jì)田間麥穗密度圖并進(jìn)行麥穗計(jì)數(shù)的方法。首先對(duì)采集的田間小麥圖像進(jìn)行直方圖均衡化及閾值分割預(yù)處理，以減少圖像中光照及一些復(fù)雜背景對(duì)計(jì)數(shù)的影響；然后根據(jù)灌漿期田間小麥圖像麥穗密集的特點(diǎn)，引入擁擠場(chǎng)景識(shí)別網(wǎng)絡(luò)（Congested Scene Recognition Network，CSRNet）構(gòu)建麥穗密度圖估計(jì)模型，并采用遷移學(xué)習(xí)方法，利用小麥圖像公開(kāi)數(shù)據(jù)集對(duì)模型進(jìn)行預(yù)訓(xùn)練，再用所采集的小麥圖像數(shù)據(jù)集進(jìn)行模型參數(shù)調(diào)整和優(yōu)化；利用得到的模型生成單幅小麥圖像的麥穗密度圖，根據(jù)密度圖中所有密度值的總和對(duì)圖像進(jìn)行麥穗計(jì)數(shù)。最后根據(jù)對(duì)單幅麥穗圖像的試驗(yàn)數(shù)據(jù)，構(gòu)建田間麥穗計(jì)數(shù)函數(shù)模型，實(shí)現(xiàn)田間小麥麥穗數(shù)估計(jì)。通過(guò)對(duì)所采集的安農(nóng)170、蘇麥188、樂(lè)麥608和寧麥24這4個(gè)品種共296幅小麥圖像進(jìn)行試驗(yàn)，平均絕對(duì)誤差（Mean Absolute Error，MAE）和均方根誤差（Root Mean Squared Error，RMSE）分別為16.44和17.89，4個(gè)品種小麥的麥穗計(jì)數(shù)值與真實(shí)值的決定系數(shù)R均在0.9左右，表明該方法對(duì)單幅圖像小麥麥穗計(jì)數(shù)精度較高。此外，通過(guò)對(duì)田間小麥麥穗數(shù)進(jìn)行估計(jì)試驗(yàn)，結(jié)果表明，隨面積的增大麥穗估計(jì)的誤差越小，研究結(jié)果可以為小麥的產(chǎn)量自動(dòng)估計(jì)提供參考。

卷積神經(jīng)網(wǎng)絡(luò)；機(jī)器視覺(jué)；密度圖估計(jì)；麥穗計(jì)數(shù)；擁擠場(chǎng)景識(shí)別網(wǎng)絡(luò)；遷移學(xué)習(xí)

0 引 言

作物產(chǎn)量估計(jì)對(duì)農(nóng)業(yè)生產(chǎn)起著至關(guān)重要的作用。小麥?zhǔn)鞘澜缛筠r(nóng)作物之一，也是中國(guó)主要糧食來(lái)源之一，對(duì)其進(jìn)行產(chǎn)量估計(jì)是非常必要且有意義的。單位面積的麥穗數(shù)、每穗粒數(shù)和千粒質(zhì)量是估計(jì)小麥產(chǎn)量的3個(gè)重要參數(shù)[1]，農(nóng)學(xué)專家也給出小麥理論產(chǎn)量用如下公式來(lái)計(jì)算：小麥畝產(chǎn)量=畝穗數(shù)×穗粒數(shù)×千粒質(zhì)量×85%。其中單位面積的麥穗數(shù)可在小麥成長(zhǎng)期測(cè)定，用于對(duì)小麥產(chǎn)量做出早期估計(jì)。目前小麥麥穗數(shù)的統(tǒng)計(jì)主要靠人工計(jì)算，耗時(shí)且繁瑣，耗費(fèi)大量的人力物力[2]。因此近年來(lái)基于圖像處理技術(shù)的小麥麥穗自動(dòng)計(jì)數(shù)得到了廣泛研究。

基于圖像的小麥麥穗自動(dòng)計(jì)數(shù)方法分為傳統(tǒng)機(jī)器學(xué)習(xí)方法和深度學(xué)習(xí)方法。基于傳統(tǒng)機(jī)器學(xué)習(xí)方法的小麥麥穗計(jì)數(shù)[3-6]多數(shù)依賴顏色、紋理等特征，并充分利用形態(tài)學(xué)操作的特性，以達(dá)到區(qū)分背景的結(jié)果。如Zhou等[7]基于顏色、紋理、邊緣直方圖等特征，提出一種雙支持向量分割方法，分割圖像中可見(jiàn)的小麥麥穗，最后進(jìn)行計(jì)數(shù)，計(jì)數(shù)精度為79%～82%。劉哲等[8]提出了基于改進(jìn)-means的小麥麥穗計(jì)數(shù)方法，以顏色特征聚類為基礎(chǔ)，把聚類區(qū)域內(nèi)的子區(qū)域數(shù)作為麥穗數(shù)估計(jì)值，計(jì)數(shù)精度達(dá)到94.69%。雖然上述這些方法相較于傳統(tǒng)的手工計(jì)算節(jié)省了大量人力物力，且正確性提高，但是這些方法對(duì)顏色、紋理等依賴性較強(qiáng)，受光照、麥葉及土壤等影響較大。

近年來(lái)，深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)的分割、識(shí)別、檢測(cè)等方面取得了很大的進(jìn)步，同時(shí)也逐漸開(kāi)始應(yīng)用到農(nóng)作物的計(jì)數(shù)方面，也包括小麥麥穗計(jì)數(shù)[9-12]。Fernandez-Gallego等[13]利用熱成像技術(shù)和深度學(xué)習(xí)進(jìn)行圖像分割，對(duì)小麥麥穗進(jìn)行計(jì)數(shù)，麥穗計(jì)數(shù)值和真實(shí)值的決定系數(shù)2達(dá)到0.83；Sadeghi-Tehran等[14]利用簡(jiǎn)單線性迭代聚類（Simple Linear Iterative Clustering，SLIC）將圖像分割成超像素，提取冠層相關(guān)特征，然后構(gòu)造一個(gè)合理的特征模型，并將其加入到CNN分類中進(jìn)行小麥穗的語(yǔ)義分割，最后對(duì)分割出的麥穗計(jì)數(shù)，麥穗計(jì)數(shù)值和真實(shí)值的決定系數(shù)2最高達(dá)到0.94。

雖然這些研究取得了一些研究成果，但對(duì)于灌漿期的小麥來(lái)說(shuō)，基于圖像的小麥麥穗計(jì)數(shù)仍面臨著一些挑戰(zhàn)。此時(shí)的田間小麥除了生長(zhǎng)密集的特點(diǎn)外，小麥的葉片和莖稈與麥穗顏色相近，且莖葉繁茂，具有復(fù)雜背景。葉片對(duì)麥穗部分遮擋以及麥穗之間的相互重疊，也增加了麥穗計(jì)數(shù)的難度。

而近年來(lái)，基于密度圖[15]的方法在密集對(duì)象計(jì)數(shù)的問(wèn)題中頗受青睞，它通過(guò)對(duì)整個(gè)密度圖求和來(lái)反映對(duì)象的總數(shù)，重疊的對(duì)象就會(huì)被算在其中。密度圖估計(jì)的方法在密集人群計(jì)數(shù)[16]中應(yīng)用較多，文獻(xiàn)[17]在計(jì)算玉米須時(shí)，也借鑒了密度圖估計(jì)的方法，并取得了令人滿意的結(jié)果。因此密度圖估計(jì)方法，對(duì)灌漿期田間麥穗計(jì)數(shù)中麥穗部分重疊提供了更多可能性。在此啟發(fā)下，本文以灌漿期小麥為研究對(duì)象，提出一種基于卷積神經(jīng)網(wǎng)絡(luò)密度圖估計(jì)的單幅圖像麥穗計(jì)數(shù)方法。該方法通過(guò)對(duì)所采集的單幅小麥圖像進(jìn)行預(yù)處理，同時(shí)引入CSRNet網(wǎng)絡(luò)構(gòu)建麥穗密度圖估計(jì)模型，實(shí)現(xiàn)對(duì)復(fù)雜擁擠場(chǎng)景下的麥穗計(jì)數(shù)。在訓(xùn)練過(guò)程中采用遷移學(xué)習(xí)的方法，利用小麥圖像公開(kāi)數(shù)據(jù)集對(duì)麥穗密度估計(jì)網(wǎng)絡(luò)模型進(jìn)行預(yù)訓(xùn)練，再用所采集的小麥圖像數(shù)據(jù)集進(jìn)行模型參數(shù)調(diào)整和優(yōu)化。同時(shí)根據(jù)小麥麥穗數(shù)與種植面積的關(guān)系構(gòu)建了田間麥穗計(jì)數(shù)函數(shù)模型，以此來(lái)實(shí)現(xiàn)田間小麥麥穗數(shù)估計(jì)。

1 材料與方法

1.1 數(shù)據(jù)獲取及標(biāo)注

1.1.1 數(shù)據(jù)采集

試驗(yàn)的研究區(qū)域是安徽省合肥市廬江縣郭河鎮(zhèn)安農(nóng)大產(chǎn)學(xué)研基地（31°25′～31°42′N，117°09′～117°16′E）的小麥種植區(qū)域，如圖1所示。該基地種植了10多個(gè)品種的小麥。對(duì)小麥種植區(qū)域中的4塊種植地D1、D2、D3和D4進(jìn)行了數(shù)據(jù)采集，D1～D4分別種植了安農(nóng)170、蘇麥188、樂(lè)麥608和寧麥24這4個(gè)品種的小麥。數(shù)據(jù)采集時(shí)間在2019年5月4日－6日，此時(shí)小麥正處于灌漿期，采集數(shù)據(jù)的具體時(shí)間是9:00－16:00，溫度范圍在18～25 ℃，相對(duì)濕度范圍在30%～50%，且以多云和陰天為主，避免了強(qiáng)光照對(duì)數(shù)據(jù)采集的影響，但由于采集時(shí)拍攝角度的不同，造成圖像出現(xiàn)光照不均勻的情況。

圖1 研究區(qū)域

制作40 cm×50 cm的紙盒，用以固定0.2 m2范圍內(nèi)的小麥，并使用佳能EOS80D數(shù)碼相機(jī)進(jìn)行拍攝，每張圖像均為5 184像素×3 456像素，拍攝4個(gè)不同品種的小麥麥穗圖像，如圖2所示。從采集的圖像中選取了296幅圖像，共14 964個(gè)麥穗，構(gòu)建了WEE（Wheat Ear Estimated）數(shù)據(jù)集，數(shù)據(jù)集各品種小麥具體圖像數(shù)量及麥穗個(gè)數(shù)如表1所示。

圖2 WEE數(shù)據(jù)集D1-D4不同品種小麥麥穗示例

表1 WEE數(shù)據(jù)集

1.1.2 公開(kāi)數(shù)據(jù)集

本文所用數(shù)據(jù)還包括Madec等[10]提供的公開(kāi)數(shù)據(jù)集WEDD（Wheat Ears Detection Dataset），包含236幅 6 000×4 000像素的高分辨率小麥圖像，共有30 729個(gè)小麥麥穗。該數(shù)據(jù)采集使用索尼ILCE-6000數(shù)碼相機(jī)，并將相機(jī)固定在吊桿上距離地面2.9m進(jìn)行拍攝。WEDD數(shù)據(jù)集圖像示例如圖3所示。

圖3 WEDD數(shù)據(jù)集圖像示例

1.1.3 數(shù)據(jù)標(biāo)注

本文采用點(diǎn)標(biāo)注的方式[17]（即在每個(gè)小麥麥穗的位置標(biāo)記一個(gè)點(diǎn)，標(biāo)注點(diǎn)所占區(qū)域大小為6個(gè)像素）對(duì)小麥麥穗圖像進(jìn)行標(biāo)注。由于這種標(biāo)注方式利用的是圖像中小麥麥穗的位置信息，對(duì)圖像的品質(zhì)沒(méi)有要求，圖像的分辨率對(duì)標(biāo)注無(wú)影響，而在標(biāo)注過(guò)程中讀取高品質(zhì)的圖像需要更多的計(jì)算資源和時(shí)間。因此為節(jié)約計(jì)算資源和標(biāo)注時(shí)間，在進(jìn)行標(biāo)注前，利用MATLAB中的resize函數(shù)，將2個(gè)數(shù)據(jù)集中的圖像大小統(tǒng)一調(diào)整為800像素× 602像素的圖像。圖4是2個(gè)數(shù)據(jù)集（WEDD和WEE）的一個(gè)標(biāo)注示例，左側(cè)為標(biāo)注樣本，右側(cè)為樣本中某一標(biāo)注區(qū)域的放大。

圖4 WEDD數(shù)據(jù)集和WEE數(shù)據(jù)集標(biāo)注示例

1.1.4 真值密度圖

將標(biāo)注好的數(shù)據(jù)用于生成真值密度圖。假設(shè)某個(gè)麥穗的標(biāo)注點(diǎn)的位置為x，脈沖函數(shù)(?x)表示此標(biāo)注麥穗的信息，那么具有個(gè)麥穗標(biāo)注點(diǎn)的圖像可以被表示為

把這個(gè)函數(shù)與高斯核G[15]做卷積使其從離散函數(shù)轉(zhuǎn)換成連續(xù)函數(shù)，則密度函數(shù)表示為

理論上，式（2）可表示一幅被標(biāo)注小麥麥穗圖像的密度圖，然而事實(shí)上由此得到的密度圖中，高斯分布是固定的，而在獲取到的數(shù)據(jù)集中，每幅圖像中的麥穗大小都是不同的，顯然這就會(huì)使得圖像中麥穗標(biāo)注點(diǎn)x相關(guān)的像素與圖像中實(shí)際麥穗所占區(qū)域有較大差異，不能準(zhǔn)確獲得麥穗大小。因此為了得到精確的估計(jì)密度，利用幾何自適應(yīng)核[18]，根據(jù)麥穗分布情況改變高斯分布參數(shù)，使之與局部鄰近的麥穗密度相關(guān)。首先計(jì)算當(dāng)前麥穗標(biāo)注點(diǎn)與一些鄰近麥穗標(biāo)注點(diǎn)之間的距離，然后由這些距離的平均距離的值構(gòu)造高斯核的方差，得到幾何自適應(yīng)高斯核。

這樣就能獲得更精確的密度圖，在本文的試驗(yàn)中，取=0.3，在此值取得的效果較好。

圖5是分別在WEDD數(shù)據(jù)集和WEE數(shù)據(jù)上試驗(yàn)得到的熱力圖顯示的密度圖示例，其中圖5a是原始圖像；5b是得到的真值密度圖；5c是密度圖在原圖上的顯示結(jié)果。

注：圖中的顏色是密度值大小的反映，顏色越深，密度值越大。

1.2 田間麥穗數(shù)密度估計(jì)及計(jì)數(shù)方法

為了減少光照、葉片等因素的對(duì)麥穗計(jì)數(shù)的影響，對(duì)小麥麥穗圖像進(jìn)行了直方圖均衡化和預(yù)分割處理，然后構(gòu)建麥穗密度估計(jì)網(wǎng)絡(luò)模型，將訓(xùn)練圖像和真值密度圖一起用于訓(xùn)練該網(wǎng)絡(luò)模型。在訓(xùn)練過(guò)程中采用遷移學(xué)習(xí)方法，利用小麥圖像公開(kāi)數(shù)據(jù)集WEDD對(duì)模型進(jìn)行預(yù)訓(xùn)練得到預(yù)訓(xùn)練模型，再用所采集的小麥圖像數(shù)據(jù)集WEE進(jìn)行模型參數(shù)調(diào)整和優(yōu)化訓(xùn)練。最后利用得到的模型，生成單幅測(cè)試小麥麥穗圖像的密度圖，密度圖中所有密度值的總和即為對(duì)應(yīng)圖像中小麥的總數(shù)量。根據(jù)單幅測(cè)試圖像中麥穗計(jì)數(shù)結(jié)果及其對(duì)應(yīng)的面積，建立田間麥穗計(jì)數(shù)函數(shù)模型，算法流程如圖6所示。

圖6 田間麥穗數(shù)估計(jì)流程圖

本文按4:1的比例將WEE數(shù)據(jù)集分為訓(xùn)練集和測(cè)試集，模型訓(xùn)練參數(shù)設(shè)置如下：學(xué)習(xí)率lr=0.000 1，迭代次數(shù)epochs=200，批次處理大小batch size=2，采用隨機(jī)梯度下降優(yōu)化算法（Stochastic Gradient Descent，SGD）優(yōu)化訓(xùn)練模型。試驗(yàn)的硬件條件為NVIDIA GTX2070 GPU，Intel i7處理器，試驗(yàn)使用Pytorch的開(kāi)源軟件框架、Python和MATLAB編程實(shí)現(xiàn)。

1.2.1 小麥圖像預(yù)處理

灌漿期的小麥麥穗和小麥葉片、莖稈顏色相近，為減少計(jì)數(shù)的誤差，對(duì)小麥麥穗圖像進(jìn)行了預(yù)分割處理，去除部分葉片、莖稈及光照等因素的干擾。將所有數(shù)據(jù)先經(jīng)過(guò)直方圖均衡化[19]，然后閾值分割二值化，再做形態(tài)學(xué)處理。圖7是進(jìn)行數(shù)據(jù)預(yù)處理的流程示例。首先利用MATLAB中histeq函數(shù)分別對(duì)圖像、、3個(gè)通道的圖像進(jìn)行直方圖均衡化，再利用cat函數(shù)將3個(gè)通道直方圖均衡化后的圖像合成最終的圖像，如圖7b所示；再利用MATLAB中g(shù)raythresh函數(shù)和im2bw函數(shù)實(shí)現(xiàn)對(duì)圖像的閾值分割二值化；最后利用MATLAB中imerode、imdilate函數(shù)實(shí)現(xiàn)形態(tài)學(xué)處理過(guò)程。

圖7 數(shù)據(jù)預(yù)處理流程示例

考慮到灌漿期的小麥麥穗顏色特征與小麥葉片、莖稈區(qū)別不大，以及采集數(shù)據(jù)時(shí)的環(huán)境因素（如光照不均勻等）對(duì)所采集到的數(shù)據(jù)的影響，使用增強(qiáng)對(duì)比度的方法來(lái)加強(qiáng)小麥麥穗和其他背景信息的區(qū)別，并利用了直方圖均衡化對(duì)圖像做了初步處理，以達(dá)到將麥穗分割出來(lái)的更好效果。經(jīng)過(guò)直方圖均衡化對(duì)圖像的初步處理，再對(duì)圖像進(jìn)行分割，與沒(méi)有經(jīng)過(guò)處理直接對(duì)圖像進(jìn)行分割相比，如圖8a、8c所示，分割后的圖像在去除了小麥葉片、小麥莖稈等信息的同時(shí)，不會(huì)丟失小麥麥穗的信息。圖8b、8d所示是經(jīng)過(guò)直方圖均衡化后的分割效果圖，可以看到最終的分割圖保留了所有的麥穗信息。

1.2.2 麥穗密度估計(jì)網(wǎng)絡(luò)模型

灌漿期小麥麥穗圖像具有麥葉、麥稈背景復(fù)雜以及麥穗密集的特點(diǎn)，而擁擠場(chǎng)景識(shí)別網(wǎng)絡(luò)（Congested Scene Recognition Network，CSRNet）[20]是一種為識(shí)別高密度場(chǎng)景而設(shè)計(jì)的網(wǎng)絡(luò)模型，用于精確完成擁擠場(chǎng)景計(jì)數(shù)，因此本文利用CSRNet來(lái)構(gòu)建麥穗密度估計(jì)網(wǎng)絡(luò)模型。CSRNet網(wǎng)絡(luò)主要分為前端和后端網(wǎng)絡(luò)，前端使用預(yù)訓(xùn)練模型VGG-16進(jìn)行特征提取，后端使用擴(kuò)張卷積[21]，在擴(kuò)大感受野的同時(shí)，生成分布密度圖，最后采用一層1×1的普通卷積層輸出結(jié)果。研究表明[22-23]，對(duì)于相同大小的感知域，卷積核越小，卷積層數(shù)越多的模型優(yōu)于有著更大卷積核且卷積層數(shù)較少的模型。為了平衡準(zhǔn)確性和減少硬件資源開(kāi)銷，前端網(wǎng)絡(luò)剔除了VGG-16網(wǎng)絡(luò)的全連接層，采用10個(gè)卷積核大小為3×3的卷積層和3個(gè)2×2的池化層的組合。后端網(wǎng)絡(luò)采用擴(kuò)張卷積，在保持分辨率的同時(shí)擴(kuò)大感知域，生成高質(zhì)量的分布密度圖。二維擴(kuò)張卷積[24]可以定義為

式中y(m,n)表示卷積輸出，x(m,n)是輸入，w(i,j)表示一個(gè)濾波器，m和n是卷積的長(zhǎng)度和寬度，參數(shù)表示擴(kuò)張率，當(dāng)r=1時(shí)，擴(kuò)張卷積即變?yōu)檎５臉?biāo)準(zhǔn)卷積。擴(kuò)張卷積的原理就是在kernel各個(gè)像素點(diǎn)之間加入0值像素點(diǎn)，增大核的尺寸從而增大感受野。在本文采用的CSRNet網(wǎng)絡(luò)模型中，后端網(wǎng)絡(luò)擴(kuò)張率r=2，卷積核大小為3×3，相當(dāng)于將卷積核的大小變成了7×7。

用擴(kuò)張卷積來(lái)代替池化層，可以避免使用池化層造成的空間分辨率降低，進(jìn)而導(dǎo)致的特征圖空間信息丟失，生成低質(zhì)量的密度圖，最終影響到麥穗的計(jì)數(shù)。同時(shí)擴(kuò)張卷積可以聚合多尺度的上下文信息，充分提取特征，并能保證與輸入圖像保持相同的分辨率，提高密度估計(jì)的準(zhǔn)確度。本文利用CSRNet實(shí)現(xiàn)麥穗密度估計(jì)網(wǎng)絡(luò)模型結(jié)構(gòu)如圖9所示。

在本文的模型訓(xùn)練過(guò)程中，還借用了遷移學(xué)習(xí)[25-26]。首先從WEDD數(shù)據(jù)集上訓(xùn)練麥穗密度估計(jì)網(wǎng)絡(luò)模型的前端網(wǎng)絡(luò)即VGG-16網(wǎng)絡(luò)，得到預(yù)訓(xùn)練模型，然后將預(yù)訓(xùn)練模型加載到CSRNet中，再?gòu)腤EE數(shù)據(jù)集上訓(xùn)練CSRNet，在訓(xùn)練過(guò)程中，凍結(jié)前端網(wǎng)絡(luò)預(yù)訓(xùn)練模型參數(shù)，只對(duì)后端網(wǎng)絡(luò)進(jìn)行重新訓(xùn)練和更新參數(shù)。

圖9 麥穗密度估計(jì)網(wǎng)絡(luò)模型

1.2.3 田間麥穗計(jì)數(shù)函數(shù)模型

田間麥穗計(jì)數(shù)函數(shù)模型建立方法如下：首先，根據(jù)麥穗密度估計(jì)網(wǎng)絡(luò)模型生成的密度圖通過(guò)計(jì)算密度圖中所有值的總和得到單幅圖像的小麥麥穗個(gè)數(shù)，并計(jì)算所有圖像的麥穗數(shù)總和；然后計(jì)算每幅圖像小麥麥穗的估計(jì)平均個(gè)數(shù)，即得到每0.2 m2內(nèi)小麥麥穗個(gè)數(shù)；最后根據(jù)推測(cè)出的每0.2 m2內(nèi)小麥麥穗個(gè)數(shù)構(gòu)建估計(jì)模型估計(jì)田間小麥麥穗個(gè)數(shù)。

1.2.4 評(píng)價(jià)指標(biāo)

平均精確度（Accuracy，ACC）、平均絕對(duì)誤差（Mean Absolute Error，MAE）能反映計(jì)數(shù)的準(zhǔn)確性，均方根誤差（Root Mean Squared Error，RMSE）可以反映計(jì)數(shù)方法的魯棒性，常被用來(lái)量化計(jì)數(shù)性能[26]，MAE和RMSE的值越低，ACC值越高表示計(jì)數(shù)性能越好。決定系數(shù)2的值可判斷模型的好壞，取值范圍為[0，1]，2值越大越靠近1，模型擬合效果越好。本文使用這4個(gè)指標(biāo)對(duì)小麥圖像的麥穗計(jì)數(shù)效果做評(píng)判。假設(shè)有幅測(cè)試圖像，則ACC、MAE、RMSE和2定義如下：

本文用準(zhǔn)確率（Accuracy rate，A_r）和誤差率（Error rate，E_r）作為對(duì)田間不同種植面積的小麥進(jìn)行麥穗估計(jì)的評(píng)價(jià)指標(biāo)。準(zhǔn)確率、誤差率定義如下：

式中表示田間麥穗估計(jì)數(shù)，表示田間麥穗真實(shí)值。

2 結(jié)果及分析

2.1 不同品種的麥穗計(jì)數(shù)結(jié)果

本文分別將WEE數(shù)據(jù)集中D1、D2、D3和D4 4塊種植地4個(gè)不同品種的小麥麥穗圖像輸入訓(xùn)練好的麥穗密度估計(jì)網(wǎng)絡(luò)模型中進(jìn)行測(cè)試，得到麥穗估計(jì)密度圖，并根據(jù)密度圖，得到麥穗個(gè)數(shù)。對(duì)每個(gè)品種的小麥麥穗圖像中麥穗計(jì)數(shù)值與真實(shí)值進(jìn)行對(duì)比分析。圖10給出了本文方法在WEE數(shù)據(jù)集中對(duì)D1～D4 4塊種植地的4個(gè)不同品種小麥的麥穗生成密度圖結(jié)果。圖10a是麥穗原圖，圖10b，圖10c分別是真值密度圖和模型生成的密度圖，圖10d是將生成密度圖在原小麥麥穗圖像上顯示的結(jié)果。從圖10中可以看出，生成的密度與真值密度圖比較接近，并且能夠與麥穗圖像很好的對(duì)應(yīng)起來(lái)。

注：D1～D4為安農(nóng)170、蘇麥188、樂(lè)麥608、寧麥24。

根據(jù)所得密度圖，對(duì)其進(jìn)行積分求和得到每幅圖像的麥穗個(gè)數(shù)。將WEE中4類小麥品種的單幅小麥麥穗數(shù)計(jì)數(shù)值與真實(shí)值進(jìn)行對(duì)比，采用線性回歸對(duì)結(jié)果進(jìn)行分析。各品種單幅圖像麥穗計(jì)數(shù)值與真實(shí)值的擬合結(jié)果如圖11所示，從擬合結(jié)果看，決定系數(shù)2值均在0.9左右，表明本文算法對(duì)各品種小麥的麥穗數(shù)計(jì)數(shù)值與真實(shí)值具有顯著的線性相關(guān)性。

2.2 預(yù)處理對(duì)計(jì)數(shù)結(jié)果的影響分析

考慮到受光照和灌漿期小麥生理特征以及其他因素的影響，為減少計(jì)數(shù)的錯(cuò)誤率，本文對(duì)數(shù)據(jù)集中圖像做了麥穗預(yù)分割，進(jìn)行直方圖均衡和分割等預(yù)處理。試驗(yàn)分別用未分割處理的數(shù)據(jù)集與進(jìn)行過(guò)預(yù)分割處理的數(shù)據(jù)集對(duì)麥穗密度估計(jì)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到2個(gè)不同的訓(xùn)練模型，用以檢驗(yàn)分割預(yù)處理對(duì)計(jì)數(shù)結(jié)果的影響。

表2給出了分割預(yù)處理和未進(jìn)行分割處理的圖像在模型上的MAE值和RMSE值，從結(jié)果可以看到，進(jìn)行初步分割預(yù)處理的圖像在4個(gè)品種小麥的測(cè)試集上的MAE值和RMSE值均比未進(jìn)行分割處理的低，表現(xiàn)出進(jìn)行分割的優(yōu)異性和有效性。

2.3 不同方法的計(jì)數(shù)結(jié)果對(duì)比

選取了3種基于密度圖的計(jì)數(shù)方法與本文方法進(jìn)行單幅圖像麥穗計(jì)數(shù)結(jié)果對(duì)比。

MCNN（Multi-column Convolutional Neural Network）是Zhang等[27]在2017年提出的一個(gè)網(wǎng)絡(luò)，用來(lái)估計(jì)人群的密度圖，Wang等[28]在2019年將MCNN應(yīng)用到麥穗計(jì)數(shù)上，并與其自己提出的麥穗計(jì)數(shù)方法做對(duì)比。

TasselNet是Lu等[17]對(duì)玉米穗密度估計(jì)而設(shè)計(jì)的網(wǎng)絡(luò)模型，作者提出了LeNet-like、AlexNet-like和VGG-VD16-Net-like 3種TasselNet模型結(jié)構(gòu)，并在文中證明了AlexNet-like架構(gòu)的TasselNet實(shí)現(xiàn)了對(duì)玉米穗計(jì)數(shù)的最佳計(jì)數(shù)性能。因此在本對(duì)比試驗(yàn)中，本文將AlexNet-like架構(gòu)的TasselNet模型與本文方法對(duì)小麥麥穗密度估計(jì)做了對(duì)比。

TasselNetv2是Xiong 等[29]在2019年提出的融合上下文信息的局部計(jì)數(shù)模型，其用來(lái)實(shí)現(xiàn)對(duì)小麥麥穗的田間計(jì)數(shù)。

上述幾種方法MCNN、TasselNet和TasselNetv2在GitHub上均有開(kāi)源代碼，表3所示是本文方法與其他方法在WEE數(shù)據(jù)集上的表現(xiàn)結(jié)果。

表3 不同方法在WEE數(shù)據(jù)集上的結(jié)果

從表3可以看出，MCNN、TasselNet和TasselNetv2在一定程度上對(duì)小麥麥穗計(jì)數(shù)都能有較好的結(jié)果。其中MCNN的結(jié)果相比其他2種方法要差一些，這可能與其訓(xùn)練方式有關(guān)，這里的訓(xùn)練數(shù)據(jù)是通過(guò)裁剪原圖像來(lái)增加訓(xùn)練集數(shù)量的，這樣就會(huì)導(dǎo)致裁剪后的圖像麥穗密度減小，且會(huì)存在同個(gè)麥穗分布在不同子圖像中，導(dǎo)致對(duì)同個(gè)麥穗重復(fù)計(jì)數(shù)，增加了計(jì)數(shù)誤差。TasslNetv2的結(jié)果要優(yōu)于TasselNet，這與TasselNetv2在網(wǎng)絡(luò)中融合了上下文信息有關(guān)。本文方法的結(jié)果MAE和RMSE值比TasselNetv2更低，驗(yàn)證了本文模型以及引入遷移學(xué)習(xí)的有效性。

表2 有無(wú)預(yù)處理在WEE數(shù)據(jù)集上的結(jié)果

2.4 田間小麥麥穗估計(jì)結(jié)果分析

為驗(yàn)證田間小麥麥穗函數(shù)估計(jì)模型的精度，隨機(jī)選取種植區(qū)域來(lái)分析。在試驗(yàn)基地隨機(jī)間隔抽樣統(tǒng)計(jì)了[1, 10]m2范圍內(nèi)的田間小麥麥穗數(shù)真實(shí)值，并以此作為田間小麥麥穗估計(jì)對(duì)比的基準(zhǔn)。根據(jù)式（6），可以得到所選區(qū)域內(nèi)不同面積范圍的小麥麥穗數(shù)。圖12為田間麥穗計(jì)數(shù)函數(shù)模型估計(jì)的準(zhǔn)確率和誤差率，從圖中可以看出，隨著田間小麥面積的增加，估計(jì)的準(zhǔn)確率總體上呈上升趨勢(shì)，誤差率降低。在實(shí)際應(yīng)用中，小麥的田間種植面積要遠(yuǎn)遠(yuǎn)大于試驗(yàn)所選擇的面積，估計(jì)的準(zhǔn)確率也會(huì)進(jìn)一步提高，因此，本文的提出的田間麥穗計(jì)數(shù)函數(shù)模型方法對(duì)能夠?yàn)樾←湲a(chǎn)量估計(jì)提供參考。

圖12 田間小麥麥穗估計(jì)準(zhǔn)確率及誤差率

3 結(jié) 論

本文基于密度圖估計(jì)的方法對(duì)自然環(huán)境下灌漿期的小麥進(jìn)行麥穗計(jì)數(shù)，提出了一種在單幅麥穗圖像上利用CSRNet估計(jì)麥穗密度圖并進(jìn)行計(jì)數(shù)的方法。通過(guò)數(shù)據(jù)預(yù)處理將麥穗初步從背景中分離出來(lái)，來(lái)提高密度圖估計(jì)的質(zhì)量。在訓(xùn)練模型過(guò)程中，利用了遷移學(xué)習(xí)的方法在公共數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，將所采集的數(shù)據(jù)用于模型的調(diào)參和優(yōu)化。同時(shí)根據(jù)試驗(yàn)所獲得的數(shù)據(jù)構(gòu)建了小麥種植面積和小麥麥穗數(shù)的函數(shù)關(guān)系模型。試驗(yàn)表明：

1）該算法對(duì)不同品種小麥的單幅麥穗圖像的計(jì)數(shù)均具有較高的精度，平均精確度達(dá)到0.94，小麥麥穗計(jì)數(shù)值和真實(shí)值的決定系數(shù)為0.95。

2）預(yù)分割處理對(duì)麥穗計(jì)數(shù)有一定有效性，相比未進(jìn)行預(yù)分割處理的數(shù)據(jù)，計(jì)數(shù)精度提高了3個(gè)百分點(diǎn)，MAE值和RMSE值也都有所降低。

3）構(gòu)建的田間小麥麥穗函數(shù)估計(jì)模型，隨小麥種植面積的增大，麥穗估計(jì)的準(zhǔn)確度提高。

研究結(jié)果為實(shí)際應(yīng)用過(guò)程中自動(dòng)估計(jì)小麥麥穗數(shù)及小麥產(chǎn)量估計(jì)提供了參考。

[1] Ferrante A, Cartelle J, Savin R, et al. Yield determination, interplay between major components and yield stability in a traditional and a contemporary wheat across a wide range of environments[J]. Field Crops Res. 2017, 203: 114-127.

[2] 李毅念，杜世偉，姚敏，等. 基于小麥群體圖像的田間麥穗計(jì)數(shù)及產(chǎn)量預(yù)測(cè)方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(21)：185-194.

Li Yinian, Du Shiwei, Yao Min, et al. Method for wheatear counting and yield predicting based on image of wheatear population in field[J]. Transactions of the Chinese Society of Agricultural Engineering (Tsansactions of CSAE), 2018, 34(21): 185-195. (in Chinese with English abstract)

[3] 趙鋒，王克儉，苑迎春. 基于顏色特征和AdaBoost算法的麥穗識(shí)別的研究[J]. 作物雜志，2014(1)：141-144.

Zhao Feng, Wang Kejian, Yuan Yingchun. Study on wheat spike identifiction based on color features and Adaboost algorithm[J]. Crops, 2014(1): 141-144. (in Chinese with English abstract)

[4] Fernandez-Gallego A, Kefauver C, Gutiérrez, et al. Wheat ear counting in-field conditions: High throughput and low-cost approach using RGB images[J]. Plant Methods, 2018, 14(22): 21-33.

[5] Marcus Jansen, Tino Dornbusch, Stefan Paulus, et al. Field Scanalzyer-high precision phenotyping of field crops[C]// 4th International Plant Phenotyping Symposium 2016, CIMMYT, El Batan, Mexico, 2016: 1-2.

[6] Zhou C, Liang D, Yang X, et al. Recognition of wheat spike from field based phenotype platform using multi-sensor fusion and improved maximum entropy segmentation algorithms[J]. Remote Sens, 2018, 10(2): 246-270.

[7] Zhou C, Liang D, Yang X, et al. Wheat ears counting in field conditions based on multi-feature optimization and TWSVM[J]. Frontiers in Plant Science, 2018, 9: 1024-1040.

[8] 劉哲，黃文準(zhǔn)，王利平. 基于改進(jìn)K-means聚類算法的大田麥穗自動(dòng)計(jì)數(shù)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(3)：174-181.

Liu Zhe, Huang Wenzhun, Wang Liping. Field wheat ear counting automatically based on improved K-means clustering algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(3): 174-181. (in Chinese with English abstract)

[9] Hasan M M, Chopin J P, Laga H, et al. Detection and analysis of wheat spikes using convolutional neural networks[J]. Plant Methods, 2018, 14(1): 100-113.

[10] Madec S, Jin X, Lu H, et al. Ear density estimation from high resolution RGB imagery using deep learning technique[J]. Agric Forest Meteorol, 2019, 264: 225-234.

[11] Pound M P, Atkinson J A, Wells D M, et al. Deep learning for multi-task plant phenotyping[C]//2017 IEEE International Conference on Computer Vision Workshop, 2017: 2055-2063.

[12] 張領(lǐng)先，陳運(yùn)強(qiáng)，李云霞，等. 基于卷積神經(jīng)網(wǎng)絡(luò)的冬小麥麥穗檢測(cè)計(jì)數(shù)系統(tǒng)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2019，50(3)：144-150.

Zhang Lingxian, Chen Yunqiang, Li Yunxia, et al. Detection and counting system for winter wheat ears based on convolutional neural network[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(3): 144-150. (in Chinese with English abstract)

[13] Fernandez-Gallego J, Buchaillot M, Aparicio Gutiérrez, et al. Aparicio Gutiérrez, et al. Automatic wheat ear counting using thermal imagery [J]. Remote Sensing. 2019, 11(7): 751-764.

[14] Sadeghi-Tehran P, Virlet N, Ampe E M, et al. DeepCount: in-field automatic quantification of wheat spikes using simple linear iterative clustering and deep convolutional neural networks[J]. Frontiers in Plant Science, 2019, 10: 1176-1192.

[15] Lempitsky V, Zisserman A. Learning to count objects in images[C]// Proceedings of the 23rd International Conference on Neural Information Processing Systems. Vancouver, British Columbia, Canada: Curran Associates Inc, 2010: 1324-1332.

[16] Sindagi V A, Patel V M. A survey of recent advances in cnn-based single image crowd counting and density estimation[J]. Pattern Recognition Letters, 2018, 107: 3-16.

[17] Lu H, Cao Z, Xiao Y, et al. TasselNet: Counting maize tassels in the wild via local counts regression network[J]. Plant Methods, 2017, 13(1): 79-95.

[18] Daniel Ooro-Rubio, Roberto J López-Sastre. Towards perspective-free object counting with deep learning[C]// Proceedings of the 14th European Conference on Computer Vision. Amsterdam, The Netherlands: Spinger, 2016: 615-629.

[19] Aedla R, Siddaramaiah D G, Reddy D V. A comparative analysis of histogram equalization based techniques for contrast enhancement and brightness preserving[J]. Int. J. Signal Process. Image Process. Pattern Recognit, 2013, 6(5): 353-366.

[20] Li Y, Zhang X, Chen D. CSRNet: Dilated convolutional neural networks for understanding the highly congested scenes[C]//Proceedings of 2018 IEEE conference on computer vision and pattern recognition, 2018: 1091-1100.

[21] Yu F, Koltun V. Multi-scale context aggregation by dilated convolutions[C]//International Conference on Learning Representations, 2016: 1-13.

[22] Simonyan K , Zisserman A . Very deep convolutional networks for large-scale image recognition[C]// International Conference on Learning Representations, 2015: 1-14.

[23] Boominathan L, Kruthiventi S S S, Babu R V. Crowdnet: A deep convolutional network for dense crowd counting[C]// Proceedings of 2016 ACM International Conference on Multimedia. Amsterdam, The Netherlands: ACM, 2016: 640-644.

[24] Weiss K, Khoshgoftaar T M, Wang D D. A survey of transfer learning[J]. Journal of Big Data, 2016, 3(1): 1-40.

[25] Tan C, Sun F, Kong T, et al. A survey on deep transfer learning [J]. Computer Science, 2018, 11141: 270-279.

[26] Wu J, Guijun Y, Han L, et al. Automatic counting of in situ rice seedlings from UAV images based on a deep fully convolutional neural network[J]. Remote Sensing, 2019, 11(6): 691-710.

[27] Zhang Y Y, Zhou D S, Chen S Q, et al. Single-image crowd counting via multi-column convolutional neural network[C]// Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA: IEEE, 2016: 589-597.

[28] Wang D, Fu Y, Yang G, et al. Combined use of FCN and Harris corner detection for counting wheat ears in field conditions[J]. IEEE Access, 2019, 7: 178930-178941.

[29] Xiong H, Cao Z, Lu H, et al. TasselNetv2: In-field counting of wheat spikes with context-augmented local regression networks[J]. Plant Methods, 2019, 15: 150-164.

Estimation and counting of wheat ears density in field based on deep convolutional neural network

Bao Wenxia, Zhang Xin, Hu Gensheng, Huang Linsheng※, Liang Dong, Lin Ze

(,,230601,)

Wheat is one of the most important grain crops in the world. The stability of wheat yield is crucial to global food security. The final yield of wheat can be calculated by the number of ears per unit area. Using deep learning technology to accurately and automatically count the number of wheat ears can save a lot of manpower and material resources. The images of wheat ears from four different wheat varieties during grain filling period were collected, and 296 images with a total of 14 964 ears of wheat were selected to construct the WEE data set. The method of point labeling was used to label the wheat ears in the images. In order to quickly and accurately count the number of wheat ears in complex crowded scenes, a method of estimating the density map and counting the number of wheat ears in field wheat images was proposed. Firstly, histogram equalization and threshold segmentation were used to preprocess the collected field wheat images to reduce the influence of light and some complex backgrounds on counting. Then, according to the characteristics of dense wheat growth at grain filling period, the Congested Scene Recognition Network (CSRNet) was introduced to construct the wheat ear density map estimation model. The CSRNet network was composed of front-end and a back-end networks. The front-end network uses the pre-training model VGG16 to extract the features of the wheat images, and the back-end network uses the dilation convolution to generate the distribution density map while expanding the receptive field. In order to improve the accuracy of the model in the training process, the transfer learning method was used to pre-train the model by using the public wheat image data set, and the collected wheat image data set was used to adjust and optimize the model parameters. The trained model was used to generate the wheat ear density map of a single wheat image, and the wheat ears were counted according to the sum of all density values in the density map. Finally, according to the test data of a single wheat ear image, a wheat ear counting function was constructed to estimate the number of wheat ears in the field. Experiments were conducted on a total of 296 wheat images collected from four varieties (Annong170, Sumai 188, Lemai 608 and Ningmai 24). The Mean Absolute Error (MAE) and Root Mean Square Error (RMSE) were 16.44 and 17.89, respectively. The correlation coefficientRbetween the ear count values and the true values of the four varieties of wheat was about 0.9, indicating that the method in this paper has a higher accuracy for counting wheat ears in a single image. In addition, the experiment of estimating the number of wheat ears in the field showed that the error of estimation of wheat ears was smaller with the increase of area. The results of this study can provide the possibility of automatic estimation of the number of wheat ears in practical application process, and also provide a reference for wheat yield estimation.

convolutional neural network; computer vision; density map estimation; wheat ears counting; congested scene recognition network; transfer learning

鮑文霞，張?chǎng)?，胡根生，? 基于深度卷積神經(jīng)網(wǎng)絡(luò)的田間麥穗密度估計(jì)及計(jì)數(shù)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(21)：186-193. doi：10.11975/j.issn.1002-6819.2020.21.022 http://www.tcsae.org

Bao Wenxia, Zhang Xin, Hu Gensheng, et al. Estimation and counting of wheat ears density in field based on deep convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(21): 186-193. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2020.21.022 http://www.tcsae.org

2020-07-13

2020-10-18

國(guó)家自然科學(xué)基金（61672032，41771463）；安徽省高等學(xué)校自然科學(xué)研究重點(diǎn)項(xiàng)目（KJ2019A0030）；農(nóng)業(yè)生態(tài)大數(shù)據(jù)分析與應(yīng)用技術(shù)國(guó)家地方聯(lián)合工程研究中心開(kāi)放課題項(xiàng)目（AE2018009）資助

鮑文霞，博士，副教授，主要從事農(nóng)業(yè)與生態(tài)視覺(jué)分析與模式識(shí)別研究。Email：bwxia@ahu.edu.cn

黃林生，博士，教授，主要從事農(nóng)業(yè)遙感技術(shù)與應(yīng)用。Email：linsheng0808@163.com

10.11975/j.issn.1002-6819.2020.21.022

TP391.41

A

1002-6819(2020)-21-0186-08