基于改進的C-V模型的東北松子外部品質等級檢測研究

仇遜超,曹　軍

(東北林業(yè)大學機電工程學院,黑龍江哈爾濱 150040)

?

基于改進的C-V模型的東北松子外部品質等級檢測研究

仇遜超,曹軍*

(東北林業(yè)大學機電工程學院,黑龍江哈爾濱 150040)

提出了東北松子外部品質的無損等級劃分方法。利用CCD相機獲取松子圖像,采用改進的C-V模型實現(xiàn)松子輪廓特征的提取;利用數(shù)學形態(tài)學的方法,提取松子的果長、橫徑特征參數(shù),并與實際測量值間構建數(shù)學模型;根據(jù)提取出的特征參數(shù),建立松子外部品質綜合等級評定標準。實驗結果表明,采用本文方法能夠實現(xiàn)同時對多個東北松子外部品質的等級劃分,且劃分的平均準確率為97.2%。

東北松子,改進的C-V模型,多目標等級劃分

我國是松子產(chǎn)量大國,又以東北的紅松子最為著名,目前東北紅松子已銷往多個國家和地區(qū),為我國帶來的經(jīng)濟效益十分可觀[1]。然而,松子只有經(jīng)過產(chǎn)后商品化處理,才能創(chuàng)造更大的經(jīng)濟價值,品質分級作為商品化處理的第一個步驟,起到至關重要的作用[2]。

隨著計算機技術的不斷發(fā)展,農副產(chǎn)品的分級技術逐漸向自動化和可視化方向發(fā)展。研究人員將人工智能的方法應用到農副產(chǎn)品的等級劃分中,通過提取果實大小、缺陷、顏色等數(shù)字特征,并對特征參數(shù)進行進一步的智能分析,實現(xiàn)了良好的分級結果[3-9]。在堅果類方面,研究人員已實現(xiàn)了基于機器視覺的山核桃等級劃分[10],然而目前對于松子的外部品質等級劃分仍多采用人工分選或機械振動篩選的方法實現(xiàn)。人工分級不僅需要大量的勞動力,且勞動強度大,分級結果會受到主觀經(jīng)驗的影響;振動篩選雖在分級效率方面有所提高,但由于較大的級差,使得分級的精準度不高[11],且在分級過程中會對松子產(chǎn)生一定程度的碰撞磕傷。本研究將偏微分方程的方法應用到松子果實的分級中,利用改進的多水平集C-V模型實現(xiàn)多目標松子輪廓的提取,根據(jù)提取到的輪廓信息,進一步獲得松子的果長、橫徑等特征參數(shù),根據(jù)特征參數(shù),進而構建出松子外部品質綜合等級評定模型。本研究不僅要實現(xiàn)對單個松子的外部品質等級劃分,還要實現(xiàn)同時對多個松子的外部品質等級劃分,使分級效率有所提升的同時,還為東北松子的外部品質無損等級劃分提供新的方法和思路。

1　材料與方法

1.1材料與設備

實驗裝置的硬件系統(tǒng)如圖1所示,由松下WV-CP484/CH高清攝像頭,精工SSV02812GNB 2.8～12 mm鏡頭,嘉恒OK_MC10A-E圖像采集卡以及一臺thinkpad t430 PC機組成。

圖1　圖像采集系統(tǒng)Fig.1　Image collection system注：1.CCD相機;2.遮光罩;3.松子果實;4.載物臺;5.光源;6.PC。

其中遮光罩內壁表有一層反光熱貼膜,載物臺背景為淺灰色絨布。設定圖像尺寸的標準為516×516。生的東北松子樣品由東寧縣北域良人貿易有限公司提供。

1.2實驗方法

1.2.1相機標定由于CCD相機的鏡頭是一塊光學透鏡,因此采集到的投影圖像會呈現(xiàn)鏡頭畸變的現(xiàn)象,多數(shù)情況下,透鏡的徑向畸變起主要作用,并且在相機標定的過程中引入過多的非線性參數(shù)會導致解的不穩(wěn)定[12],因此,本文僅對鏡頭的徑向畸變進行考慮?；兡Ｐ涂梢酝ㄟ^多項式的形式表達出來,且畸變系數(shù)k1對徑向畸變起主要作用[13],因此,本文僅考慮前兩個畸變系數(shù)k1、k2,則徑向畸變模型如式1所示。

xd=x·[1+k1(x2+y2)2+k2(x2+y2)4]

yd=y·[1+k1(x2+y2)2+k2(x2+y2)4]K

式(1)

式中(x,y)表示實際圖像點(畸變)投影坐標,(xd,yd)表示線性模型的圖像點(非畸變)理想坐標,ki表示畸變系數(shù)。

本文采用張正友標定法[14]實現(xiàn)對相機參數(shù)的標定,從而實現(xiàn)投影圖像的徑向畸變的修正,圖2所示為經(jīng)過標定后的東北松子果實圖像。

圖2　東北松子修正圖像Fig.2　Modification image of northeastern pine nuts

1.2.2多目標松子輪廓的提取根據(jù)松子果實目標與背景間的平均灰度的不同,利用閉合曲線,可以實現(xiàn)圖像內部區(qū)域和外部區(qū)域的劃分,使在曲線內部和外部的灰度平均值反應出目標與背景間的灰度平均值的區(qū)別,則該閉合曲線就可以看做為松子果實的輪廓[15]。多水平集C-V模型的能量泛函如式2所示[16]。

式(2)

式中ci為松子目標和背景的平均灰度值,n為不同分割區(qū)域的個數(shù),m為水平集的個數(shù),H(Φi)為引入的Heaviside函數(shù),xl為各區(qū)域的特征函數(shù),u(x,y)為關于圖像的嵌入函數(shù)。

由于初始化的嵌入函數(shù)u0(x,y)是距離函數(shù),在經(jīng)過少量的迭代后會發(fā)生背離,就需要對其再次進行初始化,因此,在多水平集C-V模型的能量泛函中引入一個控制單元,用以提高松子輪廓的提取效率:

式(3)

則改進的多水平集C-V模型為:

En(c1,c2,…cn,Φ1,Φ2,…Φn)

=En(c1,c2,…cn,Φ1,Φ2,…Φn)+P(u)

式(4)

圖3a所示為定義的多個水平集的初始圓閉合曲線,圖3b所示為采用多水平集C-V模型獲得的多個松子果實對象的輪廓,并將輪廓結果疊加到原始灰度圖像上,便于觀察提取到的松子輪廓信息的準確性。

圖3　東北松子輪廓提取圖像Fig.3　Contour extraction image of northeastern pine nuts

1.2.3特征參數(shù)的提取計算機想要完成對松子果實的外部品質等級劃分,就必須實現(xiàn)從采集到的圖像中獲取所需的特征參數(shù)。如圖4所示,從形狀上看,松子果頂尖、果底寬,呈倒卵狀三角形。松子果實上、下果頂間的距離稱為“果長”;垂直于果長方向,松子的最大寬度距離稱為“橫徑”,通過松子的果長和橫徑能夠比較全面、準確的表征松子果實的特征。因此,本文采用數(shù)學形態(tài)學的方法對松子果實的果長、橫徑等特征進行提取,從而實現(xiàn)松子果實的等級劃分。

圖4　特征參數(shù)描述Fig.4　Description of feature parameters

松子特征參數(shù)提取的具體步驟為:

(1)松子果實果長的確定:根據(jù)提取出的松子輪廓信息,計算松子輪廓上兩點之間的最大距離,進而實現(xiàn)松子果長特征的提取,兩點之間的距離計算公式為:

式(5)

式中(x1,y1)、(x2,y2)為松子輪廓上的兩點坐標,果長提取結果如圖5a所示。

(2)松子果實最大脫蒲橫徑的確定:以松子果長的一個端點為起點,另一個端點為終點,進行遍歷,過這些遍歷點作垂直于果長直線的垂線,并對垂線與松子輪廓相交的點的坐標進行求取,根據(jù)遍歷及交點的坐標計算垂線的長度,則垂線長度的最大值即為松子果實的最大脫蒲橫徑。橫徑提取結果如圖5b所示。

圖5　特征參數(shù)的求解Fig.5　Solution of feature parameters

1.2.4算法描述東北松子外部品質無損等級檢測的流程圖如圖6所示,等級檢測部分分為輪廓提取、特征提取、等級判定及結果顯示,整個系統(tǒng)在Matlab 7.10.0軟件上實現(xiàn)。

圖6　算法流程圖Fig.6　The flow diagram of algorithm

2　結果與分析

采用以上所介紹的方法,進行松子輪廓的提取,并根據(jù)提取出的輪廓信息,進一步提取松子的果長、橫徑特征參數(shù);利用游標卡尺,多次反復測量獲取松子的實際果長、橫徑測量值,建立松子數(shù)字特征參數(shù)與實際測量值之間的線性關系,用于驗證采用本文方法提取到的松子特征參數(shù)的可靠性,并為松子的外部品質無損等級劃分提供依據(jù)。圖7所示為松子多目標果長、橫徑特征參數(shù)的提取結果。

圖7　多松子目標特征參數(shù)的提取Fig.7　Extraction of multiple pine’s feature parameters

需要說明的是,在對多個松子果實進行外部品質等級劃分的過程中,計算機的判別順序是從左向右,從下向上依次給出的,即如圖7b所標注的順序,進行結果的顯示。

選取各形態(tài)東北松子91粒,用于數(shù)學模型的建立,利用實際測量值和機器測量值進行一元線性回歸,則松子果長的回歸方程為:y=0.1580x+0.4900,松子橫徑的回歸方程為:y=0.1577x+0.1130。圖8a所示為松子果長機測值和實測值的對應關系,圖8b所示為松子橫徑機測值和實測值的對應關系。

圖8　機測值和實測值的對應關系Fig.8　The correspondences between the values of the machine measurement and that of the measured

將機測值與實測值進行對比,以評價預測值的精準度M,則精準度M的計算公式為:

式(6)

式中Dr為實測值,Df為機測值,則果長和橫徑的平均機測精準度分別為98.4824%和97.7218%。

需要說明的是,松子外部品質等級劃分是一個比較模糊的概念,目前尚無一個明顯的界限,為此本文依據(jù)消費者的選購規(guī)律,結合松子的果長、橫徑來進行東北松子的等級劃分,劃分標準如表1所示。

表1　東北松子的外部品質建議分級標準

根據(jù)松子的果長、橫徑對松子的外部品質進行三個等級的劃分,即一等品、二等品和等外品,果長和橫徑在綜合等級評定標準中分別占55%和45%的權重,綜合等級劃分的計算公式為:

W=0.55D果長+0.45D橫徑K

式(7)

式中W綜合等級評分,建議一等品得分大于13.3,二等品得分在10.25～13.3之間;三等品得分小于10.25。

為了驗證本文方法等級劃分的準確性及可靠性,任意選取2000粒松子并進行標記,采用傳統(tǒng)的機械振動篩選,得一等品:543粒,二等品:1272粒,等外品:185粒;采用本文方法進行等級劃分,得一等品:527粒,二等品:1295粒,等外品:178粒。分級結果基本一致,準確率分別為:97.1%、98.2%、96.2%,平均準確率為97.2%。分級結果存在差異的原因是,本文分級方法對松子果實的綜合特性進行了考慮,而傳統(tǒng)的機械振動篩選僅依賴松子的單一方向果徑進行劃分,本文的分級結果更符合消費者的視覺習慣和心理需求。對單個松子果實進行外部品質等級劃分所需要的時間平均為0.78 s,同時對7個松子果實進行外部品質等級劃分所需要的時間平均為4.42 s;對一個松子進行單獨的外部品質等級劃分與將該松子放入其它6個松子中同時進行外部品質等級劃分的結果是一樣的,由此表明,采用本文方法可以實現(xiàn)同時對多個松子的外部品質等級劃分,在保證了分級的準確性的同時,提高了松子等級劃分的效率。

3　結論

本文采用改進的C-V模型獲取松子果實的輪廓信息,根據(jù)提取到的松子果長、橫徑數(shù)字特征,對東北松子的外部品質等級進行無損劃分,實驗結果表明:采用改進的多水平集C-V模型能夠實現(xiàn)同時對多個松子果實目標輪廓的提取;通過對松子形狀的分析,結合數(shù)學形態(tài)學的方法,實現(xiàn)了對松子果長和最大脫蒲橫徑的數(shù)字特征參數(shù)的提取,并且對機器測量值和實際測量值進行一元線性回歸,分別構建了松子的果長和最大脫蒲橫徑的數(shù)學模型;采用本文方法可以同時實現(xiàn)對多個松子的外部品質等級劃分,與對松子進行單獨的等級劃分相比,在分級效率上有所提高;采用本文提出的東北松子外部品質綜合等級評定的建議標準,對東北松子進行等級劃分,分級結果的平均準確率在97%以上,分級結果是可靠的,并且更加符合購買者的視覺習慣。

本文的進一步研究方向是,將松子出仁率、脂肪和蛋白質等含量標準融入到等級劃分中,以更全面的實現(xiàn)東北松子內部品質和外部品質的檢測。

[1]陳寶,南江,王星,等.松子的開發(fā)與利用[J].現(xiàn)代農業(yè)科學,2010,1(20):160.

[2]張道東.基于機器視覺技術的蜜桔、臍橙外部品質在線檢測分級研究[D].杭州：浙江大學,2011.

[3]Sergio C,Nuria A,Enrique M,et al.Advances in machine vision applications for automatic inspection and quality evaluation of fruits and vegetables[J].Food and Bioprocess Technology,2011,4(5):487-504.

[4]Devrim U,Bernard G,Olivier K,et al.Automatic grading of Bi-colored apples by multispectral machine vision[J].Computers and Electronics in Agriculture,2011,75(1):204-212.

[5]Muhammad M,Peeyush S.Detecting rottenness caused by Penicillium genus fungi in citrus fruits using machine learning techniques[J].Computers and Electronics in Agriculture,2012,39(1):780-785.

[6]饒秀勤,應義斌.水果按表面顏色分級的方法[J].浙江大學學報(工學版),2009,43(5):869-871.

[7]Yudong Z,Lenan W.Classification of Fruits Using Computer Vision and a Multiclass Support Vector Machine[J].Sensors,2012,12(9):12489-12505.

[8]Krishna K P.A.Kar S N,Jha M A.Machine vision system:a tool for quality inspection of food and agricultural products[J].Food Science and Technology,2012,49(2):123-141.

[9]Lorente D,Aleixos N,Gomez-Sanchis J,et al.Recent advances and applications of hyperspectral imaging for fruit and vegetable quality assessment[J].Food and Bioprocess Technology,2012,5(4):1121-1142.

[10]劉建軍,姚立健,彭樟林.基于機器視覺的山核桃等級檢

測技術[J].浙江農業(yè)學報,2010,22(6):854-858.

[11]葛亮,陳紅,任金海,等.機器視覺在香菇品質分級中的應用[J].中國食用菌,2011,30(1):8-9.

[12]山海濤,郝向陽,馬淑宇,等.影像畸變對基本矩陣估計精度的影響分析[J].測繪科學技術學報,2010,27(1):50-53.

[13]馬廣彬,章文毅,陳甫.圖像幾何畸變精校正研究[J].計算機工程與應用,2007,43(9):45-48.

[14]Zhang Z Y.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(11):1330-1334.

[15]王大凱,侯榆青,彭進業(yè). 圖像處理的偏微分方程方法[M].北京:科學出版社,2008:103-105.

[16]Chan T,Vese L. Active contour without edges[J]. IEEE Image Processing,2001,10(2):266-277.

A research of the external quality grading detection for northeastern pine nuts based on improved C-V model

QIU Xun-chao,CAO Jun*

(School of Mechanic and Electronic Engineering,Northeast Forestry University,Harbin 150040,China)

A nondestructive gradation method has been introduced for the external quality of northeastern pine nuts in this paper.Images of pine nuts were got by a CCD camera with improved C-V model to extract contour features.Feature parameters of pine nuts’ length and width were extracted by the method of mathematical morphology,and according to those and the measured values the mathematical model was established,and a comprehensive evaluation standard for the external quality of pine nuts grade was established too.The results were demonstrated that the external quality of multiple northeastern pine nuts could be graded simultaneously by the method in this paper with the accuracy of 97.2%.

northeastern pine nuts;improved C-V model;multiple targets classification

2015-11-16

仇遜超(1986-),女,在讀博士研究生,研究方向:農、林業(yè)機械化工程研究,E-mail:ldqiuxunchao@126.com。

曹軍(1956-),男,博士,教授,研究方向:傳感技術與智能測控技術、機電一體化,E-mail:ldcaojun@126.com。

國家自然科學基金(31270757)。

TS255.6

A

1002-0306(2016)11-0289-05

10.13386/j.issn1002-0306.2016.11.051