基于機(jī)器視覺的蘋果重量檢測(cè)研究

劉忠超 范靈燕 蓋曉華

摘要：蘋果的采后分級(jí)能夠提高其經(jīng)濟(jì)價(jià)值和市場(chǎng)競(jìng)爭(zhēng)力，為了實(shí)現(xiàn)基于重量的無(wú)接觸蘋果智能分級(jí)，提出了基于機(jī)器視覺的蘋果重量檢測(cè)方法。首先，采集蘋果圖像進(jìn)行預(yù)處理，得到平滑無(wú)噪聲的蘋果二值圖像。然后，用最小外接矩形方法獲得蘋果的橫徑和縱徑等主要幾何外形特征，建立以蘋果外形幾何特征為參數(shù)的重量檢測(cè)回歸模型。結(jié)果表明，蘋果重量檢測(cè)值相對(duì)誤差低于2%，最大絕對(duì)誤差不超過(guò)4 g，檢測(cè)準(zhǔn)確性較高。采用非接觸式的檢測(cè)可以克服傳統(tǒng)機(jī)械式接觸對(duì)蘋果造成的損害，能保證分級(jí)后蘋果的質(zhì)量，滿足蘋果分級(jí)生產(chǎn)要求。

關(guān)鍵詞：機(jī)器視覺;蘋果;重量;最小外接矩形;擬合;分級(jí)

中圖分類號(hào)： TP242.6? 文獻(xiàn)標(biāo)志碼： A

文章編號(hào)：1002-1302（2021）21-0201-04

收稿日期：2021-03-19

基金項(xiàng)目：國(guó)家自然科學(xué)基金（編號(hào)：61504072）;河南省科技攻關(guān)項(xiàng)目（編號(hào)：202102110124）;南陽(yáng)理工學(xué)院博士科研啟動(dòng)基金項(xiàng)目（編號(hào)：NGBJ-2019-07）;南陽(yáng)理工學(xué)院高等教育教學(xué)改革新工科專題研究資助項(xiàng)目（編號(hào)：NIT2020XGKJY-02）。

作者簡(jiǎn)介：劉忠超（1979—），男，河南南陽(yáng)人，博士，副教授，主要從事農(nóng)業(yè)機(jī)器人、智能化檢測(cè)與控制研究。E-mail：fly200578@sina.com。

我國(guó)是重要的蘋果生產(chǎn)大國(guó)，蘋果產(chǎn)后分級(jí)可以提高蘋果的經(jīng)濟(jì)價(jià)值[1]。目前蘋果分級(jí)主要采用人工分級(jí)和機(jī)械分級(jí)，人工分級(jí)勞動(dòng)強(qiáng)度大、效率低，易受個(gè)人心理因素的影響[2];機(jī)械分級(jí)效率較高，主要依據(jù)蘋果的果徑或重量進(jìn)行分級(jí)，重量是評(píng)定蘋果等級(jí)的一個(gè)重要依據(jù)[3]。目前，市場(chǎng)上的蘋果重量測(cè)定通常采用稱重法，即采用機(jī)械秤或電子秤對(duì)蘋果逐一稱重以獲得其重量參數(shù)。這樣的重量測(cè)定方法操作繁瑣且存在一定誤差，并且在水果分揀時(shí)需要耗費(fèi)大量人力和物力。此外，頻繁接觸果實(shí)會(huì)對(duì)果實(shí)表皮造成損傷，同時(shí)易使果實(shí)受細(xì)菌及污穢物污染，造成果實(shí)的鮮度與品質(zhì)受損[4]。

基于機(jī)器視覺的無(wú)損檢測(cè)技術(shù)具有檢測(cè)速度快、非接觸式的優(yōu)點(diǎn)，可以克服接觸式系統(tǒng)對(duì)蘋果造成的損傷，保證分級(jí)后的蘋果質(zhì)量，為蘋果的采后分級(jí)提供了有效的解決方案[5]。因此，本研究選取紅富士蘋果為樣本，利用最小外接矩形法獲取蘋果的最大橫徑與最大縱徑，通過(guò)蘋果體積與其重量擬合的方式，建立蘋果重量預(yù)測(cè)模型，能借助機(jī)器視覺系統(tǒng)實(shí)現(xiàn)對(duì)蘋果重量的實(shí)時(shí)、快速、準(zhǔn)確、無(wú)損檢測(cè)。

1 蘋果圖像視覺采集系統(tǒng)

蘋果重量檢測(cè)的機(jī)器視覺系統(tǒng)主要以計(jì)算機(jī)為處理核心，由視覺傳感器、視覺采集和計(jì)算機(jī)處理系統(tǒng)組成。圖1為蘋果圖像采集的視覺系統(tǒng)原理。其中計(jì)算機(jī)配置為英特爾Core i7處理器，運(yùn)行內(nèi)存8 G，64位操作系統(tǒng)，Windows 7操作系統(tǒng)。圖像采集模塊：深圳萬(wàn)瑞興科技有限公司W(wǎng)RX-M162型號(hào)攝像頭模組，1080P像素，USB 2.0接口方式，工作電壓+5 V。

在蘋果圖像采集獲取系統(tǒng)中，光源的布置和背景的選擇影響著成像的質(zhì)量。為了使采集的蘋果圖像清晰，經(jīng)過(guò)對(duì)比研究，圖像采集背景采用PVC黑色發(fā)泡板制作而成。光源模塊：2個(gè)LED補(bǔ)光燈置于暗箱頂部側(cè)面，額定功率6 W。設(shè)計(jì)的蘋果圖像采集系統(tǒng)見圖2。

2 蘋果重量檢測(cè)系統(tǒng)

蘋果重量預(yù)測(cè)系統(tǒng)主要有蘋果圖像檢測(cè)模塊、圖像預(yù)處理模塊、蘋果特征參數(shù)檢測(cè)模塊、重量預(yù)測(cè)模塊組成，圖3所示為蘋果重量檢測(cè)系統(tǒng)流程圖。

2.1 蘋果圖像預(yù)處理

將采集的彩色蘋果圖像先進(jìn)行灰度化處理，并將采集到的彩色蘋果圖像通過(guò)二值化處理，轉(zhuǎn)換為像素值為0的黑色背景和像素值為1的目標(biāo)圖像。同時(shí)，借助于高斯濾波和形態(tài)學(xué)處理，得到清晰的蘋果目標(biāo)邊緣輪廓，如圖4-a、圖4-b所示為蘋果原始圖像和預(yù)處理圖像對(duì)比效果。

2.2 蘋果形態(tài)分析

選取紅富士蘋果作為試驗(yàn)樣本，其果形近似球形，果實(shí)遍體通紅，比較有利于圖像采集及后續(xù)處理。雖然不同種類的蘋果果型稍有差異，但通過(guò)分析不同品種蘋果外形，可知蘋果幾何結(jié)構(gòu)近似球體，理論上可以用計(jì)算球體體積的方法預(yù)測(cè)蘋果體積。但是蘋果實(shí)際外形與圓球形狀仍存在一定差異，使蘋果體積預(yù)測(cè)產(chǎn)生較大誤差[6]。因此，采用最小外接矩形對(duì)球形體積公式進(jìn)行了改進(jìn)，采用公式（1）所示的一種冪函數(shù)模型實(shí)現(xiàn)蘋果的體積估算[7]。

V=aR3+bR2。（1）

式中：V表示蘋果體積;R表示蘋果橫、縱徑平均值，其值取為（橫徑+縱徑）/2;a、b表示模型系數(shù)。

蘋果圖像最小外接矩形示意圖見圖5，通過(guò)最小外接矩形法可以獲得蘋果的橫徑和縱徑。

2.3 蘋果特征參數(shù)提取

蘋果的橫、縱徑大小是衡量單個(gè)蘋果大小的重要幾何特征，這一特征可以通過(guò)近似蘋果的最小外接矩形來(lái)獲得。最小外接矩形法[8]比較適用于機(jī)器視覺技術(shù)在線檢測(cè)蘋果的橫、縱徑，其算法實(shí)現(xiàn)過(guò)程如下：確定蘋果的形心，使其邊緣繞蘋果形心旋轉(zhuǎn)，每次旋轉(zhuǎn)3°，對(duì)旋轉(zhuǎn)之后的蘋果作外接矩形，旋轉(zhuǎn)1周后，尋找面積最小的矩形即為最小外接矩形，其中最小外接矩形的最大邊長(zhǎng)為蘋果的橫徑，最小邊長(zhǎng)為蘋果的縱徑[9-10]。

在Windows 10 64位操作系統(tǒng)下，基于PyCharm 2018和OpenCV 3.4.6，用Python 3.6.4設(shè)計(jì)的蘋果橫徑、縱徑測(cè)量結(jié)果如圖6所示。圖中通過(guò)最小外接矩形法[11]得到的蘋果橫徑、縱徑的單位為像素，而蘋果實(shí)際直徑單位是mm，因此需要進(jìn)行圖像標(biāo)定實(shí)現(xiàn)單位轉(zhuǎn)換。圖中采用標(biāo)準(zhǔn)的5角硬幣作為圖像標(biāo)定的參考物體，標(biāo)準(zhǔn)尺寸大小為20 mm，綠色線框?yàn)樽钚⊥饨泳匦危?個(gè)藍(lán)色小圓點(diǎn)分別為最小外接矩形4條邊的中點(diǎn)，中間2條線分別為蘋果的橫徑和縱徑，經(jīng)標(biāo)定轉(zhuǎn)換可得到實(shí)際蘋果的橫徑長(zhǎng)度為 71 mm，縱徑長(zhǎng)度為63 mm。

試驗(yàn)選取20個(gè)紅富士蘋果作為樣本用于建立重量預(yù)測(cè)模型，為驗(yàn)證機(jī)器視覺對(duì)蘋果橫、縱徑檢測(cè)結(jié)果的準(zhǔn)確性，采用剖面測(cè)量法測(cè)量蘋果實(shí)際橫縱徑尺寸，方法如下：將蘋果縱向剖開，采用精度為0.02 mm的游標(biāo)卡尺測(cè)量其中一個(gè)剖面，檢測(cè)X值即為蘋果的實(shí)際橫徑，檢測(cè)Y1、Y2值并求其平均值即為蘋果的實(shí)際縱徑（圖7）。

表1為20個(gè)蘋果樣本經(jīng)機(jī)器視覺和剖面測(cè)量法檢測(cè)出的蘋果橫、縱徑數(shù)據(jù)。在線檢測(cè)的橫徑與人工檢測(cè)的實(shí)際橫徑平均誤差為0.94 mm，在線檢測(cè)的縱徑與人工檢測(cè)的實(shí)際縱徑平均誤差為 0.81 mm，誤差值較小，表明基于機(jī)器視覺獲取的蘋果特征參數(shù)與真實(shí)值接近度高， 能夠真實(shí)地反映蘋果的實(shí)際特征。

2.4 蘋果體積預(yù)測(cè)模型

為了獲得蘋果體積計(jì)算公式（1）的模型系數(shù)a、b，自制測(cè)量工具獲得蘋果實(shí)際體積，建立體積模型。由于蘋果沉于水且不溶于水，可采用排水法或者溢水法測(cè)量蘋果體積[12]，排水法通過(guò)直接測(cè)量所溢出的水的體積得到待測(cè)蘋果體積，操作簡(jiǎn)單方便，因此系統(tǒng)采用排水法測(cè)量蘋果果實(shí)的體積。

排水法測(cè)量蘋果實(shí)際體積操作步驟如下：（1）將自制排水燒杯、載物臺(tái)、量杯按圖8所示物品擺放位置擺放好。（2）向排水燒杯中加水至排水口，液面與排水口平齊并且沒有水流出。（3）將待測(cè)蘋果緩緩放入水中，由于蘋果密度與水相差不大，不能完全沉入水中，此時(shí)可采用一根細(xì)針將其壓入水中，待出水口沒有水流出時(shí)記錄量杯刻度，并按照編號(hào)記錄數(shù)據(jù)。

為了驗(yàn)證式（1）的預(yù)測(cè)蘋果體積模型的準(zhǔn)確性，將樣本蘋果通過(guò)近似球體計(jì)算、式（1）計(jì)算和排水法測(cè)定。由表2可知，以橫、縱徑平均值R為自變量構(gòu)建的蘋果體積預(yù)測(cè)模型與蘋果實(shí)際體積測(cè)量值之間的平均誤差為0.04。采用近似球體公式估算的蘋果體積預(yù)測(cè)值與蘋果實(shí)際體積測(cè)量值之間的平均相對(duì)誤差為0.14。由此可見，以蘋果橫徑、縱徑的平均值構(gòu)建的蘋果體積預(yù)測(cè)模型可靠性更高。

如圖9所示是20個(gè)蘋果樣本的橫、縱徑均值與蘋果體積之間的冪函數(shù)擬合曲線。

經(jīng)過(guò)MATLAB軟件擬合之后，可得到蘋果的體積預(yù)測(cè)模型系數(shù)a、b分別為0.000 215 3、0.024 86，因此蘋果體積預(yù)測(cè)模型如公式（2）所示：

V=0.000 215 3R3+0.024 86R2。（2）

2.5 蘋果重量檢測(cè)

基于機(jī)器視覺技術(shù)的重量預(yù)測(cè)關(guān)鍵在于尋找影響蘋果重量的因素。由文獻(xiàn)[13]可知，蘋果的成熟度、鮮度、橫縱徑、體積均有可能影響蘋果質(zhì)量預(yù)測(cè)值。

考慮到蘋果重量預(yù)測(cè)應(yīng)用到蘋果分級(jí)加工銷售的特殊性，按照水果市場(chǎng)上鮮果加工常識(shí)來(lái)看，蘋果果實(shí)都是已經(jīng)成熟而且鮮度高、含水量高的，因此蘋果的重量主要考慮蘋果的橫、縱徑和體積。

利用MATLAB軟件對(duì)蘋果的實(shí)際重量分別與蘋果橫、縱徑和體積作相關(guān)性分析，可知蘋果橫、縱經(jīng)與蘋果實(shí)際重量的相關(guān)系數(shù)為0.863 6，體積與蘋果實(shí)際重量的相關(guān)系數(shù)為0.872 9，兩者相關(guān)性均較好，可以將蘋果橫、縱徑和體積確定為影響蘋果預(yù)測(cè)重量的因素。

3 蘋果重量的機(jī)器視覺檢測(cè)模型

由分析可知，蘋果的橫縱徑均值與蘋果體積相關(guān)性較好，是影響蘋果重量的重要因素，選取蘋果橫縱徑均值R、蘋果體積V作為自變量，蘋果實(shí)際重量M為因變量，建立如式（3）、式（4）所示的蘋果重量多元線性函數(shù)模型和多元混合函數(shù)模型[14]。

M=a1+b1R+c1V;（3）

M=a2+b2R+c2V+b3R2+c3V2;（4）

式中：a1、a2、b1、b2、b3、c1、c2、c3為待定常數(shù)。

選取20個(gè)試驗(yàn)樣本用于確定式（3）、式（4）中的待定常數(shù)，以建立蘋果重量的檢測(cè)模型。利用MATLAB軟件擬合數(shù)據(jù)之后，可得多元線性擬合模型如式（5）所示：

M=-125.2+3.266R+0.381 7V。（5）

多元混合函數(shù)擬合模型如式（6）所示：

M=2 851-156R-90.94V+5.207R2+0.013 66V2。（6）

2個(gè)蘋果重量擬合模型的相關(guān)性如表3所示。多元線性函數(shù)回歸模型的相關(guān)系數(shù)為0.938 6，表明采用此模型可以比較準(zhǔn)確地檢測(cè)蘋果重量。

4 試驗(yàn)結(jié)果及分析

為了驗(yàn)證蘋果重量預(yù)測(cè)多元線性回歸模型的準(zhǔn)確性，隨機(jī)選取60個(gè)成熟的紅富士蘋果組成測(cè)試集，來(lái)驗(yàn)證蘋果重量和體積、橫縱徑等體型特征之間模型的準(zhǔn)確性。結(jié)果表明，蘋果重量檢測(cè)的相對(duì)誤差低于2%，絕對(duì)誤差均在4 g以內(nèi)，能滿足蘋果重量檢測(cè)精度的要求。

5 結(jié)束語(yǔ)

本研究基于機(jī)器視覺技術(shù)，提出了基于圖像的蘋果重量預(yù)測(cè)方法，可以實(shí)現(xiàn)基于重量對(duì)蘋果進(jìn)行無(wú)損檢測(cè)分級(jí)，增強(qiáng)我國(guó)蘋果的國(guó)際市場(chǎng)競(jìng)爭(zhēng)力;建立了蘋果重量與蘋果體積、橫縱徑間的模型，相關(guān)系數(shù)為0.938 6，相關(guān)關(guān)系顯著，重量檢測(cè)值相對(duì)誤差低于2%，檢測(cè)準(zhǔn)確性較高;蘋果重量檢測(cè)的絕對(duì)誤差均在4 g以內(nèi)，能滿足檢測(cè)精度的要求，可用于蘋果分級(jí)生產(chǎn)，也可為其他鮮果的機(jī)器視覺分級(jí)和分選等設(shè)備研發(fā)提供理論支撐。

參考文獻(xiàn)：

[1]劉忠超，劉勇軍，常有周. 基于S7-300 PLC和Matlab的蘋果自動(dòng)分級(jí)系統(tǒng)設(shè)計(jì)[J]. 江蘇農(nóng)業(yè)科學(xué)，2018，46（14）：197-200.

[2]李 頎，胡家坤. 基于機(jī)器視覺的蘋果在線分級(jí)[J]. 食品與機(jī)械，2020，36（8）：123-128，153.

[3]王維，劉東琴，王 佩. 果品分級(jí)檢測(cè)技術(shù)的研究現(xiàn)狀及發(fā)展[J]. 包裝與食品機(jī)械，2016，34（6）：55-58.

[4]吳曉強(qiáng)，黃云戰(zhàn)，趙永杰. 基于運(yùn)動(dòng)控制器的蘋果質(zhì)量分級(jí)系統(tǒng)[J]. 食品與機(jī)械，2015，31（5）：114-116.

[5]徐 賽，孫瀟鵬，張倩倩. 大型厚皮水果的無(wú)損檢測(cè)技術(shù)研究[J]. 農(nóng)產(chǎn)品質(zhì)量與安全，2019（5）：30-35，48.

[6]喬 陸，陳 靜. 基于SOPC水果分級(jí)檢測(cè)系統(tǒng)研究[J]. 食品與機(jī)械，2016，32（8）：95-97，201.

[7]韓 偉，曾慶山. 基于計(jì)算機(jī)視覺的水果直徑檢測(cè)方法的研究[J]. 中國(guó)農(nóng)機(jī)化，2011，32（5）：108-111.

[8]杜 云，鄭羽綸，張效瑋. 基于圖像處理的蘋果大小分級(jí)研究[J]. 河北工業(yè)科技，2019，36（6）：410-414.

[9]王風(fēng)云，鄭紀(jì)業(yè)，趙 佳，等. 基于機(jī)器視覺的雙孢蘑菇分級(jí)算法[J]. 江蘇農(nóng)業(yè)科學(xué)，2018，46（13）：193-197.

[10]馬 聰，陳學(xué)東，周 慧. 基于圖像處理技術(shù)的枸杞外形參數(shù)測(cè)量算法研究[J]. 寧夏農(nóng)林科技，2020，61（8）：60-63.

[11]戴建民，曹 鑄，孔令華，等. 基于多特征模糊識(shí)別的煙葉品質(zhì)分級(jí)算法[J]. 江蘇農(nóng)業(yè)科學(xué)，2020，48（20）：241-247.

[12]謝洪起. 基于RGB-D相機(jī)的獼猴桃外形和體積檢測(cè)方法研究[D]. 楊凌：西北農(nóng)林科技大學(xué)，2018.

[13]杜 云，鄭羽綸，張效瑋. 基于圖像處理的蘋果大小分級(jí)研究[J]. 河北工業(yè)科技，2019，36（6）：410-414.

[14]饒秀勤，岑益科，應(yīng)義斌. 基于外形幾何特征的雞蛋重量檢測(cè)模型[J]. 中國(guó)家禽，2007，29（5）：18-20.