戴建民 曹鑄 孔令華
摘要:煙葉品質(zhì)等級(jí)大多是由人工通過觸摸手感及視覺感官主觀地進(jìn)行判斷。以煙葉為研究對(duì)象,設(shè)計(jì)了一種基于機(jī)器視覺的煙葉自動(dòng)分級(jí)系統(tǒng)。首先通過機(jī)器視覺采集B2F、B3F、C2F、C3F、X2F、X3F各等級(jí)煙葉圖像,再將圖像進(jìn)行中值濾波法預(yù)處理。提取煙葉的長度、長寬比、圓形度、紋理等幾何特征;提取煙葉RGB(red,green,blue)顏色空間及HSV(hue,saturation,value)顏色空間各通道的顏色特征。利用多特征模糊識(shí)別方法進(jìn)行煙葉自動(dòng)分級(jí),選用Matlab平臺(tái)進(jìn)行編程運(yùn)行,得到煙葉各項(xiàng)特征值數(shù)據(jù)及分級(jí)結(jié)果。系統(tǒng)驗(yàn)證試驗(yàn)表明,分級(jí)正確率可達(dá)到煙葉分級(jí)標(biāo)準(zhǔn)。
關(guān)鍵詞:煙葉分級(jí);煙葉外表特征;模糊識(shí)別;Matlab
中圖分類號(hào): TS47? 文獻(xiàn)標(biāo)志碼: A? 文章編號(hào):1002-1302(2020)20-0241-06
煙葉分級(jí)是煙草公司產(chǎn)業(yè)運(yùn)作中的一個(gè)至關(guān)重要的環(huán)節(jié)。隨著煙草行業(yè)的不斷發(fā)展,人們對(duì)煙葉品質(zhì)的要求也不斷提高,而煙葉分級(jí)的準(zhǔn)確與否直接影響著后期生產(chǎn)的卷煙品質(zhì)。為了解決人工煙葉分級(jí)存在的主觀性、模糊性與低效率等問題,市場(chǎng)急需一套可以進(jìn)行煙葉智能分級(jí)的設(shè)備?!爸袊圃?025”概念的提出,在工業(yè)發(fā)展趨勢(shì)的探索之路上,點(diǎn)燃了一盞明燈。隨著機(jī)器視覺技術(shù)的發(fā)展在煙草行業(yè)越來越受到重視,檢測(cè)產(chǎn)品的質(zhì)量可以滿足客觀、精準(zhǔn)等要求。
莊珍珍應(yīng)用機(jī)器視覺提取煙葉的外觀特征,采用梯形和半階梯隸屬函數(shù)計(jì)算各個(gè)外觀特征對(duì)煙葉等級(jí)空間的隸屬度,利用最大隸屬識(shí)別算法進(jìn)行煙葉自動(dòng)分級(jí)[1]。陳朋利用圖像處理技術(shù)進(jìn)行煙葉分級(jí),值得一提的是其基于Gabor小波變換對(duì)煙葉表面紋理進(jìn)行分析研究,提取紋理平均值和標(biāo)準(zhǔn)差,最后基于支持向量機(jī)一對(duì)多的思想進(jìn)行煙葉的自動(dòng)分級(jí)模型的搭建[2]。趙世民等對(duì)比了常用的顏色模型特點(diǎn),分析得到HIS顏色空間更貼近人的視覺原理,同時(shí)可以一定程度上避免彩色信息的影響。其中3個(gè)分量相互獨(dú)立、互不影響[3]。從上述的各項(xiàng)研究來看,目前在煙葉分級(jí)檢測(cè)技術(shù)上有著許多研究成果,但是不足之處仍存在;采集煙葉圖片是在一個(gè)密閉的空間里,其中的光照系統(tǒng)強(qiáng)度需要進(jìn)行實(shí)時(shí)調(diào)整使其一直處于最佳狀態(tài)。相機(jī)的標(biāo)定以及焦距的調(diào)整也會(huì)影響煙葉圖片的質(zhì)量,尤其是在動(dòng)態(tài)的生產(chǎn)線上,獲取精準(zhǔn)優(yōu)質(zhì)的煙葉圖像較困難[4]。為解決這類問題需要更精準(zhǔn)的煙葉定位及算法的優(yōu)化,以期待能早日應(yīng)用于實(shí)際生產(chǎn)。
1 研究對(duì)象及圖像處理算法
1.1 研究對(duì)象
6級(jí)煙草樣本(共計(jì)121份)由福建武夷煙葉有限公司在2018年提供。樣品如下:B2F、B3F、C2F、C3F、X2F、X3F。其中訓(xùn)練樣本60件,測(cè)試樣本61件,試驗(yàn)中的選擇遵循隨機(jī)選取的原則。本研究設(shè)計(jì)采用高分辨率工業(yè)數(shù)字CCD攝像機(jī)(MV-CA050-20GM型)拍攝煙草圖像。選用光源型號(hào)為MV-ML182×17-V的4個(gè)白色條形光源,選用SV-AP2U4CH四路光源控制器,用于調(diào)節(jié)所需的光照強(qiáng)度。選用PIXCIELIDB采集卡裝插在計(jì)算機(jī)上,將相機(jī)與計(jì)算機(jī)連接起來,實(shí)現(xiàn)實(shí)時(shí)拍照獲取煙葉圖片。
1.2 圖像的預(yù)處理
采集圖像的過程中,由于環(huán)境中光照因素的影響以及圖片掃描的過程本身就會(huì)引入噪聲。在圖像數(shù)據(jù)進(jìn)行傳輸過程中也會(huì)引入噪聲。而噪聲會(huì)影響煙葉特征值的提取,可能存在較大誤差,影響分級(jí)結(jié)果。為了保證特征值提取的有效性,有必要進(jìn)行圖片的去噪預(yù)處理。
1.2.1 中值濾波法 中值濾波法以非線性的方法將圖像中一個(gè)像素點(diǎn)的值用該點(diǎn)的周圍領(lǐng)域各個(gè)像素點(diǎn)的中值替代[5]。中值的定義如下:一組數(shù)據(jù)x1,x2,…,xn,把n個(gè)數(shù)按值的大小順序排列:x1≤x2≤…≤xn。
1.2.2 自適應(yīng)濾波法 自適應(yīng)濾波法是將圖像中某一個(gè)區(qū)域方差調(diào)整其輸出值。當(dāng)區(qū)域方差大時(shí),平滑效果較差;當(dāng)區(qū)域方差小時(shí),濾波器的平滑效果較好。像素的區(qū)域矩陣和方差:
從以上幾幅試驗(yàn)圖形可以很明顯地看出中值濾波法更適合于本研究,經(jīng)過濾波的煙葉圖形條理更加清晰,更有利于后期的煙葉特征的提取。本研究選用中值濾波的方法進(jìn)行圖像的預(yù)處理。
1.3 煙葉形態(tài)特征及顏色特征的提取
本研究根據(jù)福建武夷煙葉有限公司技術(shù)中心清選車間分級(jí)要求和國家煙葉分級(jí)標(biāo)準(zhǔn),對(duì)煙葉質(zhì)量進(jìn)行分級(jí)。
煙葉的形態(tài)結(jié)構(gòu)特征包括煙葉長度、寬度、長寬比、周長、面積、圓形度,都可提取作為煙葉分級(jí)的重要特征。根據(jù)國家煙葉分級(jí)標(biāo)準(zhǔn)在主組中,分為上部、中部、下部。在特殊情況下,部位的劃分可以通過脈相,葉型為依據(jù)。其中上部的煙葉脈相較粗,較顯露至突起;葉面稍折皺至平坦,可以通過煙葉的紋理特征值進(jìn)行部位的區(qū)分,使其更具說服力;葉型較寬或較窄都比較極端,葉尖部較銳說明角度較小成銳角,可以通過提取煙葉葉尖的邊緣曲線所成的角度特征值來區(qū)分煙葉的部位。中部煙葉葉脈較上部煙葉略細(xì)一些,只能略微清晰看到大致脈絡(luò),葉尖處微微彎曲;葉面較皺縮;葉型一般較寬,葉尖部較鈍說明邊緣曲線的角度較大。下部煙葉較上、中部更纖細(xì),葉型較寬圓;葉面較平坦。
綜上所述,須要提取的煙葉形態(tài)特征值有長度、寬度、長寬比、周長、面積、圓形度、紋理特征值等。
1.3.1 煙葉長度、寬度和長寬比的提取 然而在煙葉分級(jí)生產(chǎn)線上,煙葉經(jīng)過傳送帶傳入視覺檢測(cè)裝置時(shí),并不能完全保證煙葉是水平放置在載物臺(tái)上,所放位置和煙葉主葉脈方向均有所不同,增加特征提取的難度,要求能夠提取擺放任何角度的煙葉的長度特征。本研究采用最小外接矩形法進(jìn)行長度和寬度的特征提取。
首先得到煙葉圖像邊界線的點(diǎn)集,通過Matlab 的convhull()函數(shù)得到點(diǎn)集的多邊形凸包,計(jì)算凸包的所有邊與相鄰邊的夾角θ,選取其中一條邊作為起始邊,尋找距離該邊最遠(yuǎn)點(diǎn),重合該邊且過該點(diǎn)計(jì)算最小外接矩形,保存矩形4個(gè)端點(diǎn)坐標(biāo)和面積;逆時(shí)針旋轉(zhuǎn)θ到相鄰邊,用相同的方法計(jì)算重合該邊的最小外接矩形,保存矩形4個(gè)端點(diǎn)坐標(biāo)和面積;將凸包的所有的外接矩形求出存入1張表,再將表中的面積進(jìn)行比較,選取最小值作為最小面積外接矩形[6]。同時(shí)將對(duì)應(yīng)的最小面積外接矩形的坐標(biāo)輸出。該方法可以解決煙葉不同擺放位置,也可計(jì)算出準(zhǔn)確的長寬值。設(shè)輸出的最小面積矩形的4個(gè)端點(diǎn)坐標(biāo)分別為(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4),長度、寬度計(jì)算公式為若A>B,則規(guī)定A為煙葉的長度值,B為煙葉的寬度值;若A 1.3.2 煙葉周長、面積和圓形度的提取 煙葉周長指煙葉的邊界長度,本研究用邊界線上每個(gè)像素之和作為周長,f(x,y)為煙葉圖像邊界的坐標(biāo)像素,公式如下:
1.3.3 煙葉的紋理特征提取 煙葉紋理的量化是一種重要的區(qū)域描述方法。而煙葉在做部位分級(jí)時(shí)可以通過葉面的平坦、皺縮的紋理特征準(zhǔn)確區(qū)分上中下部,為煙葉的準(zhǔn)確分級(jí)提供了一種可行的方法。本研究的紋理特征提取利用統(tǒng)計(jì)法[8],統(tǒng)計(jì)法是基于圖像的灰度直方圖的特征來描述紋理?;叶染祄的n階距可以用下式來計(jì)算:
式中:L為圖像可能的灰度級(jí)數(shù),zi為表示灰度的隨機(jī)數(shù),p(zi)為區(qū)域灰度直方圖。μ2表示方差;μ3表示直方圖的偏斜度;μ4則描述了直方圖的相對(duì)平坦性。紋理的統(tǒng)計(jì)度量有:
1.4 煙葉顏色特征的提取
我國煙葉分級(jí)標(biāo)準(zhǔn)是采用部位、顏色2個(gè)分組因素對(duì)煙葉進(jìn)行分組,根據(jù)煙葉在煙株上的著生位置不同,分為上部(B)、中部(C)、下部(X)3個(gè)部位組,劃分依據(jù)因素是外觀葉片結(jié)構(gòu)特征。根據(jù)煙葉顏色分為檸檬黃(L)、橘黃(F)、紅棕(R)。煙葉顏色是非常直觀的外觀特征,不同顏色的煙葉通過肉眼便可非常容易區(qū)分出來。因此,把顏色作為劃分煙葉質(zhì)量等級(jí)的重要分組因素。在人工煙葉分級(jí)中,通過肉眼觀察對(duì)煙葉顏色進(jìn)行定性描述。而要通過視覺檢測(cè)技術(shù)實(shí)現(xiàn)煙葉自動(dòng)化分級(jí),則需要對(duì)煙葉的顏色特征進(jìn)行定量化描述,進(jìn)而提取煙葉顏色特征值。
1.4.1 RGB通道 自然界的各種顏色光都可以由紅、綠、藍(lán)(R、G、B)這3種顏色的光按不同比例合成[9]。通過配色公式可配出任意顏色,公式如下:
1.4.2 HSV通道 顏色模型是一個(gè)三維坐標(biāo)系統(tǒng),表示一個(gè)彩色空間。采用不同的基本量來表示顏色就可以得到不同的顏色模型,不同的顏色模型都能表示同一種顏色,因此它們之間可以相互轉(zhuǎn)換的。利用以下算法可以實(shí)現(xiàn)RGB通道與HSV通道之間的轉(zhuǎn)換。H、S、V分量可以由r、g、b表示為在研究中,采集的煙葉圖像是RGB顏色通道和HSV顏色通道的數(shù)字圖像。
2 基于模糊識(shí)別的煙葉分級(jí)系統(tǒng)
2.1 模糊模式識(shí)別算法
提取和量化信息是利用計(jì)算機(jī)進(jìn)行模式識(shí)別的前提,在計(jì)算機(jī)中具有時(shí)空分布的信息,在形式上表現(xiàn)為向量或數(shù)組,向量或數(shù)組中的序號(hào)可以對(duì)應(yīng)時(shí)間與空間,當(dāng)然也可以對(duì)應(yīng)其他的標(biāo)識(shí)[10]。
人類生活中,常常使用一些含義模糊的語言表述,正如煙葉的顏色特征常用的表述有偏黃、偏紅等。應(yīng)用模糊數(shù)學(xué)都可以得到較好地表達(dá)。模糊識(shí)別是在模糊數(shù)學(xué)理論的基礎(chǔ)上,結(jié)合特殊的數(shù)學(xué)方法解決分類的問題,在特征空間的各個(gè)模式之間不存在明確的邊界[11]。本研究采用模糊模式識(shí)別算法實(shí)現(xiàn)煙葉分級(jí)系統(tǒng)識(shí)別,選用擇近原則識(shí)別法實(shí)現(xiàn)煙葉分級(jí)。
2.1.1 貼近度 貼近度是通過比對(duì)2個(gè)模糊子集,統(tǒng)計(jì)相似的部分計(jì)算相似的百分值[12]。設(shè)A、B為U上的2個(gè)模糊子集,它們之間的貼近度定義為理想的貼近度應(yīng)當(dāng)具備以下性質(zhì):σ(A,A)=1;σ(A,B)=σ(B,A)≥0;若對(duì)任意的x∈U,有μA(x)≤μB(x)≤μC(x)或μA(x)≥μB(x)≥μC(x),則σ(A,C)≤σ(B,C)。
2.1.2 擇近原則識(shí)別法 設(shè)U上有n個(gè)模糊子集A1、A2、…、An及另一模糊子集B,若貼近度則稱B與Ai最貼近,則B屬于Ai類。在該方法中樣本和類都用模糊子集來表示,取值范圍U中的每個(gè)元素代表了一個(gè)特征維度。
2.2 基于模糊識(shí)別算法的煙葉分級(jí)試驗(yàn)
2.2.1 建立等級(jí)標(biāo)準(zhǔn)庫及各參數(shù)權(quán)重的確定 通過大量的試驗(yàn)觀察得到影響各標(biāo)準(zhǔn)的以下特征量更適合煙葉的分級(jí),分別為長度值、長寬比、紋理特征的均值、標(biāo)準(zhǔn)差、RGB分量、HSV分量。將這些特征量分別用X1、X2、X3、X4、X5、X6、X7、X8、X9、X10來表示。通過對(duì)60個(gè)訓(xùn)練樣本進(jìn)行試驗(yàn)得到煙葉的標(biāo)準(zhǔn)模型庫見表1。
由于各項(xiàng)特征參數(shù)影響該標(biāo)準(zhǔn)的程度不同,所以在實(shí)際操作中,其權(quán)重也不同[13]。分配權(quán)重如下:長度權(quán)重為 0.08,長寬比權(quán)重為0.12,紋理特征均值、標(biāo)準(zhǔn)差權(quán)重分別為0.10、0.09,RGB分量權(quán)重分別為0.11、0.12、0.09,HSV分量權(quán)重分別為016、0.06、0.07。權(quán)重矩陣為 ω=[0.08,0.12,0.10,0.09,0.11,0.12,0.09,0.16,0.06,0.07]。
2.2.2 標(biāo)準(zhǔn)庫數(shù)據(jù)、待測(cè)樣本數(shù)據(jù)歸一化處理 由于各特征向量的量綱不同,為方便計(jì)算,對(duì)表1中的
3 結(jié)果與分析
分別采集6個(gè)等級(jí)的煙葉樣本,其中每個(gè)等級(jí)有10張,提取各個(gè)等級(jí)煙葉的長度、長寬比、圓形度,求出10張煙葉的長度、長寬比均值,即為該等級(jí)煙葉的長度、長寬比均值。圖3、圖4分別為提取的煙葉長度、長寬比均值。
從煙葉長度均值直方圖可以看出,從部位上中下來看,長度在逐漸減少,其中C2F數(shù)據(jù)存在較大誤差。因此,在已確定主組的情況下,通過煙葉長度來劃分等級(jí)有非常好的效果。
從煙葉長寬比均值直方圖可以看出,上部位煙葉與中部位和下部位的長寬比均值差距明顯,上部位煙葉長寬比均值明顯大于中部位和下部位。上部位的長寬比均值范圍是4.54~5.53,中部位的長寬比均值范圍是3.05~3.27,下部位的長寬比均值范圍是3.33~3.53。因此,通過煙葉長寬比均值劃分上部位與中部位、上部位與下部位,有非常好的效果。
同理統(tǒng)計(jì)紋理特征的均值、標(biāo)準(zhǔn)差平均值見圖5。
從紋理特征直方圖可以看出,同一主組煙葉,等級(jí)越高,其紋理均值越高,特別是上部位煙葉和中部位煙葉,這個(gè)規(guī)律較明顯;上部位、中部位各等級(jí)煙葉的紋理均值都低于下部位的,這對(duì)于區(qū)分出下部位煙葉有效果。
同理求出RGB分量均值直方圖,如圖6所示。
由于HSV分量數(shù)據(jù)較其他分量的數(shù)據(jù)差距較大,放在一張直方圖中不方便進(jìn)行分析,故將其分成2張分量,分別見圖7、圖8。
從RGB分量直方圖可以看出:一是在各主組煙葉中,各等級(jí)的R和G通道顏色特征值依次遞減,相鄰等級(jí)之間數(shù)值變化梯度大;二是上部位煙葉的R和G通道顏色特征值均小于中部位和下部位。因此,R和G通道顏色特征值對(duì)劃分部位都是有幫助的,它們能將上部位煙葉劃分出來,且在已劃分好主組的情況下,R和G通道顏色特征值還對(duì)劃分等級(jí)有明顯效果。
從HSV分量直方圖可以看出:中部位煙葉的H通道顏色特征值均明顯小于上部位和下部位的,即可通過H通道顏色特征值把中部位煙葉有效地劃分出來,因此認(rèn)為H通道顏色特征值對(duì)劃分部位是有幫助的,考慮把它作為后續(xù)訓(xùn)練煙葉質(zhì)量等級(jí)分類模型的重要參數(shù)。在各主組煙葉中,各等級(jí)的S通道顏色特征值依次遞減,相鄰等級(jí)之間數(shù)值變化梯度非常大。因此,在已劃分好主組的情況下,S通道顏色特征值還對(duì)劃分等級(jí)有明顯效果,將它作后續(xù)訓(xùn)練煙葉質(zhì)量等級(jí)分類模型的重要因素。分析V通道顏色特征均值直方圖可得到2個(gè)明顯的規(guī)律:一是在各主組煙葉中,各等級(jí)的V通道顏色特征值依次遞減,相鄰等級(jí)之間數(shù)值變化梯度大;二是上部位煙葉的V通道顏色特征值均小于中部位和下部位。因此,V通道顏色特征值對(duì)劃分部位都是有幫助的,它們能將上部位煙葉劃分出來,且在已劃分好主組的情況下,它還對(duì)劃分等級(jí)有明顯效果。在后續(xù)訓(xùn)練煙葉質(zhì)量等級(jí)分類模型時(shí),考慮把V通道顏色特征值作為重要因素。
4 結(jié)論
通過機(jī)器視覺采集B2F、B3F、C2F、C3F、X2F、X3F各等級(jí)煙葉圖像,將圖像進(jìn)行自適應(yīng)濾波法等預(yù)處理。提取最優(yōu)幾何分級(jí)特征:長度、長寬比、圓形度、紋理等幾何特征;提取煙葉顏色特征:RGB顏色空間分量和HSV顏色空間分量。采用模糊識(shí)別擇近原則法進(jìn)行煙葉分級(jí),通過訓(xùn)練試驗(yàn)表明,分級(jí)正確率可達(dá)到煙葉分級(jí)標(biāo)準(zhǔn)。
參考文獻(xiàn):
[1]莊珍珍. 基于機(jī)器視覺的煙葉自動(dòng)分級(jí)方法研究[D]. 重慶:西南大學(xué),2016.
[2]陳 朋. 煙葉紋理表面的視覺檢測(cè)技術(shù)研究與應(yīng)用[D]. 貴陽:貴州大學(xué),2017.
[3]趙世民,王 惠,董昆樂,等. 顏色模型在煙葉自動(dòng)分級(jí)中的應(yīng)用[J]. 科技視界,2017(1):35-36.
[4]馬文杰,賀立源,徐勝祥,等. 基于烤煙透射特征的煙葉圖像分割研究[J]. 農(nóng)業(yè)工程學(xué)報(bào),2006,22(7):134-137.
[5]劉華波. 基于計(jì)算機(jī)視覺的煙葉自動(dòng)分級(jí)研究[D]. 武漢:華中農(nóng)業(yè)大學(xué),2009.
[6]胡厚利. 圖像處理技術(shù)與支持向量機(jī)在煙葉分級(jí)中的應(yīng)用研究[D]. 昆明:昆明理工大學(xué),2014.
[7]殷蘇民,朱錦萍,王祖聲,等. 基于頂帽變換和最大類間方差法的圖像分割方法研究[J]. 科學(xué)技術(shù)與工程,2014(7):60-64.
[8]臧 帥. 基于模糊規(guī)則的煙葉分級(jí)方法研究[D]. 鄭州:鄭州大學(xué),2015.
[9]楊曉娟. 基于最近鄰的煙葉智能分級(jí)研究[D]. 鄭州:鄭州大學(xué),2015.
[10]劉 鵬. 無損檢測(cè)技術(shù)在食品品質(zhì)檢測(cè)中的應(yīng)用[J]. 現(xiàn)代食品,2016,5(9):43-44.
[11]Blu T. Iterated filter banks with rational sampling factors:links with discrete wavelet transforms[J]. IEEE Transactions on Signal Processing,1993,41(12):3232-3244.
[12]Kumar A,Pang G K. Defect detection in textured materials using optimized filters[J]. IEEE Trans on Systems,Man and Cybernetics Part B,2002,32(5):553-570.
[13]劉自遠(yuǎn),劉成福. 綜合評(píng)價(jià)中指標(biāo)權(quán)重系數(shù)確定方法探討[J]. 中國衛(wèi)生質(zhì)量管理,2006,13(2):44-46,48.羅 巍,陳曙東,王福濤,等. 基于深度學(xué)習(xí)的大型食草動(dòng)物種群監(jiān)測(cè)方法[J]. 江蘇農(nóng)業(yè)科學(xué),2020,48(20):247-255.