馬慶修 和二斌

摘?要：為了實(shí)現(xiàn)桂圓干的快速、精準(zhǔn)分級(jí)，采用自行構(gòu)建的基于機(jī)器視覺技術(shù)的桂圓干檢測(cè)系統(tǒng)獲取3種不同等級(jí)的桂圓圖像，通過(guò)均值濾波、圖像二值化和形態(tài)學(xué)運(yùn)算對(duì)桂圓干和背景進(jìn)行處理、分割和特征參數(shù)選取，獲取桂圓大小、顏色和缺陷特征參數(shù)。將提取的特征參數(shù)輸入BP神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，可以獲得識(shí)別成功率達(dá)到91%的桂圓分級(jí)能力。該系統(tǒng)綜合運(yùn)用數(shù)字圖像處理和基于神經(jīng)網(wǎng)絡(luò)的分級(jí)技術(shù)，對(duì)桂圓的等級(jí)檢測(cè)具有低時(shí)延、高準(zhǔn)確度、低功耗等特點(diǎn)，因此利用該模型對(duì)桂圓等級(jí)的檢測(cè)識(shí)別具有較高的可行性。

關(guān)鍵詞：桂圓干;機(jī)器視覺;BP神經(jīng)網(wǎng)絡(luò)

Research?on?Dried?Longan?Classification?Technology

Based?on?Neural?Network

Ma?Qingxiu?He?Erbin*

College?of?Physics?and?Telecommunications?Engineering，Yunlin?Normal?University?GuangxiYulin?537000

Abstract：In?order?to?achieve?the?rapid?and?accurate?classification?of?dried?longan，the?image?information?of?dried?longan?is?processed?to?obtain?the?size，color?and?defect?characteristic?parameters?of?dried?longan.By?inputting?the?extracted?feature?parameters?into?BP?neural?network?for?training，the?classification?ability?of?dried?longan?with?91%?recognition?success?rate?can?be?obtained.Therefore，it?is?feasible?to?use?this?model?to?detect?and?identify?the?grade?of?dried?longan.

Keywords：dried?longan;BP?neural?network;image?processing

桂圓干性溫味甜，益氣補(bǔ)血，有良好的滋補(bǔ)作用，是深受廣大消費(fèi)者喜歡的營(yíng)養(yǎng)滋補(bǔ)品，具有廣闊的市場(chǎng)前景[12]。隨著經(jīng)濟(jì)的發(fā)展和人們生活水平的提高，消費(fèi)者對(duì)桂圓干的品質(zhì)提出了更高的要求。桂圓干一般根據(jù)其直徑大小和色澤進(jìn)行分級(jí)，方便以不同的價(jià)格進(jìn)行售賣，現(xiàn)有的分級(jí)方法大多采用家庭作坊式手工操作為主，這種傳統(tǒng)方法主要基于人工觀測(cè)，分級(jí)速度慢、效率低、受主觀影響大，桂圓的顏色和缺陷等問(wèn)題僅靠人的視覺很難做到精確識(shí)別，桂圓的品質(zhì)很難得到保證。因此，加快桂圓干產(chǎn)業(yè)化發(fā)展，提高桂圓分級(jí)處理能力受到高度重視。我國(guó)是世界上最大的桂圓干消費(fèi)國(guó)，實(shí)現(xiàn)桂圓干自動(dòng)分級(jí)對(duì)于加速桂圓相關(guān)產(chǎn)業(yè)的發(fā)展具有重要意義。

對(duì)桂圓干的分級(jí)屬于模式識(shí)別問(wèn)題，隨著圖像識(shí)別和人工智能技術(shù)的快速發(fā)展，使桂圓干的可視化自動(dòng)檢測(cè)分級(jí)成為可能。目前，通過(guò)圖像處理技術(shù)進(jìn)行外形檢測(cè)和幾何特征分析已有許多報(bào)道[36]，本項(xiàng)目利用MatLab圖像處理技術(shù)對(duì)桂圓干的圖像進(jìn)行處理并提取其大小、顏色和缺陷的特征參數(shù)，將獲得的特征參數(shù)輸入神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，可以獲得較高的桂圓干分級(jí)能力，從而為桂圓干可視化的自動(dòng)分級(jí)處理提供技術(shù)支持。

1?材料與方法

1.1?材料

本實(shí)驗(yàn)所用的桂圓干樣品購(gòu)買于玉林中藥港，按品質(zhì)將其人為分為三個(gè)等級(jí)。所使用實(shí)驗(yàn)設(shè)備為：尼康D7500單反相機(jī)，2088萬(wàn)有效像素;鏡頭焦距為18～140mm，光圈范圍為f/3.55.6;圖像處理軟件為Matlab?R2012a。

1.2?圖像采集

為了避免出現(xiàn)與桂圓干顏色相同或相近的背景，本實(shí)驗(yàn)設(shè)計(jì)采用白色背景實(shí)驗(yàn)臺(tái)，能更好地凸顯桂圓干本身的顏色，光源采用色溫為6500K的LED燈。為了解決圖像陰影對(duì)圖像后續(xù)處理的影響，采集圖像時(shí)理想的環(huán)境為一個(gè)密閉且光照均勻的封閉箱。本項(xiàng)目利用光學(xué)級(jí)亞克力板材作為導(dǎo)光板，將點(diǎn)光源變?yōu)槊婀庠?，?shí)現(xiàn)光源的均勻照射，從而將圖像的陰影降低到最小，使采集的圖像符合圖像處理的標(biāo)準(zhǔn)。

在設(shè)定好光源之后，用數(shù)碼相機(jī)對(duì)桂圓干進(jìn)行靜態(tài)的圖像采集。采集圖像時(shí)保持鏡頭與桂圓干距離均為20cm，采集好的桂圓干彩色圖像為之后的圖像預(yù)處理提供了原始的數(shù)據(jù)。

1.3?桂圓干原始圖像的預(yù)處理

采集的桂圓干原始彩色圖像往往會(huì)受到各種隨機(jī)因素的影響，在對(duì)圖像進(jìn)行進(jìn)一步分析之前需對(duì)原始圖像進(jìn)行針對(duì)性的預(yù)處理。圖像的預(yù)處理過(guò)程包括彩色圖像的灰度化、圖像增強(qiáng)、二值化以及形態(tài)學(xué)去噪。

1.3.1?圖像的灰度化處理

將彩色圖像轉(zhuǎn)換為灰度圖像就是圖像的灰度化，灰度圖像只包含亮度信息，和彩色圖像相比所包含的信息量大大減少，用于圖像處理的計(jì)算量也相應(yīng)降低，極大地減少處理時(shí)間，方便對(duì)圖像進(jìn)行后續(xù)的計(jì)算。原始彩色圖像的每個(gè)像素在RGB顏色空間中是由R、G、B三個(gè)分量共同決定的，當(dāng)R、G、B這三個(gè)分量值相同時(shí)就是灰度圖像。

本實(shí)驗(yàn)對(duì)圖像灰度化處理的過(guò)程為：讀取桂圓干原始RGB圖像GY1=imread（‘guiyuan.jpg’），然后利用Matlab自帶的rgb2gray函數(shù)對(duì)圖像進(jìn)行灰度化轉(zhuǎn)換，使用的語(yǔ)句為GY2=rgb2gray（GY1）。灰度化處理前后的圖像如圖1所示。為方便對(duì)桂圓干圖像進(jìn)行進(jìn)一步處理，需要對(duì)桂圓干圖像和背景進(jìn)行分割，圖像的灰度直方圖能為后續(xù)的圖像二值化處理提供有利的信息，有助于進(jìn)一步處理圖像。

1.3.2?圖像噪聲去除和二值化處理

在圖像的獲取和傳輸過(guò)程中，不可避免地會(huì)產(chǎn)生噪聲污染，降低了圖像的質(zhì)量。在對(duì)桂圓干RGB圖像進(jìn)行灰度化處理后，需要去除圖像中的噪聲，以使圖像更適合處理與分析。本實(shí)驗(yàn)使用的圖像增強(qiáng)算法是先對(duì)灰度圖像進(jìn)行中值濾波處理，基本原理是把數(shù)字圖像中一點(diǎn)的值用該點(diǎn)的一個(gè)鄰域中各點(diǎn)值的中值進(jìn)行代換，在Matlab圖像工具箱中，使用GY3=medfilt2（GY2，[3，3]）命令進(jìn)行中值濾波，輸出圖像如圖2（a）所示。

圖像的二值化就是把圖像用黑白兩種顏色呈現(xiàn)出來(lái)，圖像上點(diǎn)的值為0或1。將桂圓干的灰度圖像進(jìn)行二值化處理是為了將背景信息濾除，保留目標(biāo)輪廓，從而獲取桂圓干的幾何特征信息。Matlab自帶的BW4=im2bw（GY3，level）函數(shù)可以將灰度圖像GY3轉(zhuǎn)換成二值圖像，level值來(lái)自于函數(shù)level=graythresh（GY3），輸出圖像如圖2（b）所示。

1.3.3?圖像的形態(tài)學(xué)去噪

灰度圖轉(zhuǎn)換為二值圖后，其邊界一般是不平滑的，在目標(biāo)物體上會(huì)有一些噪聲孔，背景區(qū)域也會(huì)帶有一些小的噪聲。為解決該問(wèn)題，通過(guò)形態(tài)學(xué)閉運(yùn)算可以填充桂圓干表面的細(xì)小空洞，平滑桂圓干邊界又不明顯改變桂圓干的面積。本實(shí)驗(yàn)利用形態(tài)學(xué)的閉運(yùn)算填充桂圓干表面的細(xì)小空洞平滑其圖像的輪廓。形態(tài)學(xué)處理后的二值圖像平滑了圖像邊緣，為后續(xù)的幾何特征提取提供保障。

2?桂圓干外觀特征提取

運(yùn)用機(jī)器視覺技術(shù)建立桂圓干品質(zhì)檢測(cè)模型，特征參數(shù)的選取是對(duì)桂圓干進(jìn)行品質(zhì)檢測(cè)的關(guān)鍵，能夠直接影響最終識(shí)別效果，為實(shí)現(xiàn)桂圓干檢測(cè)自動(dòng)化奠定基礎(chǔ)。通常，人們將桂圓干大小、表面缺陷和色澤作為桂圓干品質(zhì)的主要特征。

2.1?桂圓干面積提取

本實(shí)驗(yàn)中的數(shù)字圖像都是由像素點(diǎn)組成，只要知道每個(gè)像素點(diǎn)代表的實(shí)際面積，就可以通過(guò)桂圓干的像素求出其面積。在本實(shí)驗(yàn)中，通過(guò)圖像處理技術(shù)計(jì)算桂圓干圖像所包含的像素?cái)?shù)量來(lái)計(jì)算桂圓干的大小，在圖像的獲取過(guò)程中，首先計(jì)算單個(gè)像素所對(duì)應(yīng)的實(shí)際面積，通過(guò)對(duì)形態(tài)學(xué)去噪后的二值圖像中像素值為0的像素點(diǎn)進(jìn)行計(jì)數(shù)，可以獲得桂圓干的面積與像素?cái)?shù)量的關(guān)系，從而提取的桂圓干面積為2.6cm2，通過(guò)對(duì)多幅桂圓干圖像進(jìn)行計(jì)算表明，該方法簡(jiǎn)單易行，提高了檢測(cè)效率，避免了人工篩選過(guò)程中主觀因素的干擾，使得實(shí)驗(yàn)結(jié)果更加準(zhǔn)確可靠。

2.2?桂圓干表面缺陷信息提取

桂圓干表面在生長(zhǎng)、制作和運(yùn)輸過(guò)程不可避免地會(huì)造成表面損傷，損傷的大小決定了桂圓干的等級(jí)。桂圓干表面損傷的直觀表現(xiàn)就是顏色的不均勻分布，實(shí)驗(yàn)通過(guò)對(duì)桂圓干的損傷表面進(jìn)行提取，然后對(duì)其損傷部分的面積進(jìn)行填充，根據(jù)填充面積在桂圓干圖像中的所占比例的大小作為桂圓干品質(zhì)等級(jí)判斷依據(jù)。將待檢測(cè)的桂圓干原始灰度圖像的對(duì)比度通過(guò)Matlab系統(tǒng)函數(shù)“I1=imadjust（GY2，[0?0.6]，[0?1]）”進(jìn)行調(diào)整，使圖像變得更加清晰，隨后通過(guò)函數(shù)I2=im2bw（I1，0.5）轉(zhuǎn)換為二值圖像，使用函數(shù)BW5=imfill（I2，’holes’）對(duì)損傷部分進(jìn)行填充并對(duì)填充結(jié)果進(jìn)行濾波，處理結(jié)果如圖3所示。將填充后圖像與填充前圖像進(jìn)行對(duì)比并計(jì)算所填充的像素點(diǎn)個(gè)數(shù)，所填充的像素點(diǎn)個(gè)數(shù)占桂圓干總像素的百分比作為實(shí)驗(yàn)判斷的依據(jù)[7]。

2.3?桂圓干顏色特征提取

顏色是識(shí)別優(yōu)質(zhì)桂圓干和劣質(zhì)桂圓干的一個(gè)顯著特征，正常的桂圓干在制作過(guò)程中可放于太陽(yáng)底下自然曬干或者使用干樹枝等燃料進(jìn)行烘焙，此時(shí)的果肉顏色多呈現(xiàn)褐黃色或栗褐色。一些使用硫黃或者煤球熏制的桂圓干果肉顏色發(fā)白或者明亮透黃，這樣烘焙的桂圓干的顏色與正常烘焙的桂圓干顏色的各分量存在明顯差異。在具體的圖像處理過(guò)程中，想要提取到圖像相關(guān)顏色區(qū)域，就需要建立一個(gè)顏色模型。HSI模型可以從圖像中的彩色信息里消除強(qiáng)度分量的影響，使得對(duì)彩色的描述更加直觀、自然。因此，將采集的桂圓干圖像的RGB顏色模型轉(zhuǎn)換成HSI模型，得到桂圓干顏色的色調(diào)、飽和度和亮度。

特級(jí)桂圓干的顏色特征主要表現(xiàn)為色澤統(tǒng)一，顏色明黃。通過(guò)對(duì)多幅圖像進(jìn)行分析、計(jì)算得到色度均值和色度范圍作為特征參數(shù)，作為桂圓干分級(jí)的依據(jù)。

3?基于BP神經(jīng)網(wǎng)絡(luò)的等級(jí)分類模型

BP（Back?Propagation）神經(jīng)網(wǎng)絡(luò)是誤差反向傳播的多層前饋網(wǎng)絡(luò)結(jié)構(gòu)，主要功能包括函數(shù)逼近、模式識(shí)別和信息分類。本實(shí)驗(yàn)的模式識(shí)別采用BP神經(jīng)網(wǎng)絡(luò)來(lái)完成，輸入?yún)?shù)包括桂圓干圖像面積，缺陷大小，色度均值和色度范圍[8]。輸入層神經(jīng)元個(gè)數(shù)由參數(shù)數(shù)量確定，輸入層神經(jīng)元個(gè)數(shù)為4，隱含層神經(jīng)元數(shù)目h根據(jù)經(jīng)驗(yàn)公式h=?m+n+a確定，m和n為輸入層和輸出層節(jié)點(diǎn)的數(shù)目，a為1～10之間的調(diào)節(jié)常數(shù)。網(wǎng)絡(luò)輸出為3種桂圓干等級(jí)，目標(biāo)輸出模式為100、010和001，分別代表一級(jí)、二級(jí)和三級(jí)。

以BP神經(jīng)網(wǎng)絡(luò)的輸入神經(jīng)元個(gè)數(shù)為4，輸出神經(jīng)元個(gè)數(shù)為3，該系統(tǒng)的識(shí)別結(jié)果如表格所示。由表格的識(shí)別結(jié)果可以看出，使用BP神經(jīng)網(wǎng)絡(luò)模型對(duì)桂圓干進(jìn)行識(shí)別時(shí)，模型能夠?qū)饒A干等級(jí)進(jìn)行有效識(shí)別。

結(jié)語(yǔ)

該研究以桂圓干為研究對(duì)象，通過(guò)對(duì)采集到的桂圓干彩色圖像進(jìn)行均值濾波、圖像分割和形態(tài)學(xué)運(yùn)算等預(yù)處理，可以較好地實(shí)現(xiàn)圖像增強(qiáng)和消除噪聲的目的，能夠滿足圖像特征提取的要求。通過(guò)對(duì)原始RGB圖像及其處理后的圖像進(jìn)行大小、缺陷和顏色特征提取，可以獲得桂圓干的品質(zhì)特征信息。

通過(guò)建立三層BP神經(jīng)網(wǎng)絡(luò)模型，利用測(cè)試樣品對(duì)所建模型進(jìn)行驗(yàn)證，根據(jù)不同等級(jí)桂圓干特征信息的差異，通過(guò)訓(xùn)練集得到不同等級(jí)桂圓干的相應(yīng)信息，并根據(jù)提取的測(cè)試集樣本信息對(duì)桂圓干進(jìn)行等級(jí)劃分。研究表明，基于Matlab的BP神經(jīng)網(wǎng)絡(luò)對(duì)桂圓干品質(zhì)進(jìn)行分類處理的方法是可行的，研究結(jié)果表明該方法簡(jiǎn)便、實(shí)用，簡(jiǎn)化并優(yōu)化了計(jì)算過(guò)程，效率高、數(shù)值穩(wěn)定性好，為桂圓干的分級(jí)奠定了基礎(chǔ)。

參考文獻(xiàn)：

[1]蔡長(zhǎng)河，唐小浪，張愛玉，等.龍眼肉的食療價(jià)值及其開發(fā)利用前景[J].食品科學(xué)，2002（08）：328330.

[2]黃志其，李兵，韋建華，等.桂圓的化學(xué)成分研究[J].廣西師范大學(xué)學(xué)報(bào)（自然科學(xué)版），2016，34（04）：4649.

[3]伍鎣芮，張志勇，韓小平，等.基于圖像處理技術(shù)的番茄成熟度檢測(cè)研究[J].農(nóng)業(yè)技術(shù)與裝備，2021（04）：5051+54.

[4]朱明秀.采摘機(jī)器人水果檢測(cè)及定位研究——基于圖像處理和卷積神經(jīng)網(wǎng)絡(luò)[J].農(nóng)機(jī)化研究，2022，44（04）：4953.

[5]張玉榮，陳賽賽，周顯青，等.基于圖像處理和神經(jīng)網(wǎng)絡(luò)的小麥不完善粒識(shí)別方法研究[J].糧油食品科技，2014，22（03）：5963.

[6]鐘小清，易施光.基于Halcon機(jī)器視覺藥品分揀系統(tǒng)設(shè)計(jì)[J].電子技術(shù)與軟件工程，2020（06）：9698.

[7]羅雪寧，彭云發(fā)，代希君，等.基于MATLAB的紅棗圖像處理研究[J].農(nóng)機(jī)化研究，2015，37（03）：183186.

[8]蔡健榮，趙杰文.自然場(chǎng)景下成熟水果的計(jì)算機(jī)視覺識(shí)別[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2005（02）：6164.

基金項(xiàng)目：廣西高等教育本科教學(xué)改革工程項(xiàng)目（2019JGB313，2020JGA281）;玉林師范學(xué)院高等教育本科教學(xué)改革工程重點(diǎn)項(xiàng)目（2020XJJGZD19）

作者簡(jiǎn)介：馬慶修（1990—?），男，漢族，上海人，碩士，助教，研究方向：嵌入式控制。

*通訊作者：和二斌（1980—?），男，漢族，河南焦作人，博士，副教授，研究方向：圖像處理、計(jì)算物理。