杜曉晨 張 幸 陸國權(quán)
(浙江農(nóng)林大學(xué)信息工程學(xué)院1,臨安 311300)
(浙江農(nóng)林大學(xué)薯類作物研究所2,臨安 311300)
(浙江農(nóng)林大學(xué)生物種業(yè)研究中心3,臨安 311300)
(浙江省農(nóng)產(chǎn)品品質(zhì)改良技術(shù)研究重點實驗室4,臨安 311300)
甘薯是一種重要的農(nóng)作物,遍布我國各地。由于甘薯的品種繁多,不同品種的甘薯經(jīng)濟價值不同,存在魚龍混雜現(xiàn)象,因此對甘薯加工、生產(chǎn)機構(gòu)來說,如何智能、便捷、有效地對薯塊進行薯種識別具有重要的應(yīng)用價值。目前國內(nèi)對薯塊種類的識別主要還是依靠人工和化學(xué)的方式進行[1-2]。人工方式是通過觀察薯塊的外形、顏色等信息來進行判斷。這種方式比較便捷,但需要專業(yè)知識,實際操作中工人未必具有相應(yīng)的經(jīng)驗,另外這種方式具有人為因素,判斷結(jié)果的準確性不能保證?;瘜W(xué)方式是對薯塊中的淀粉含量進行化學(xué)分析,并將結(jié)果用于相應(yīng)薯種的化學(xué)特性進行比對[3]。這種方法的準確性有保證,但不夠簡便,且成本過高。
利用圖像處理技術(shù)對農(nóng)作物、農(nóng)產(chǎn)品進行識別能兼顧準確性和便捷性,目前已經(jīng)在很多農(nóng)作物上得到了應(yīng)用,如玉米、花生等[4]。對甘薯進行相關(guān)的研究較少,主要集中在質(zhì)量分級和疫病檢測。如:Tao等[5]進行了基于傅里葉描述子的甘薯形狀檢測,能將薯塊分為非常好、良好、一般、差4種類型,與人工分級一致率達89%;孔彥龍等[6]通過馬鈴薯俯視圖像的面積和側(cè)視圖像的周長為特征,實現(xiàn)了馬鈴薯質(zhì)量與形狀檢測分級;郝敏等[7]使用Zernike矩方法對甘薯圖像進行了提取特征,能對薯塊形狀進行分類,檢測出薯形良好和正常的薯塊;馬曉丹等[8]針對馬鈴薯的疫病,提取了馬鈴薯葉片病斑圖像中的形狀、顏色等特征,并采用了量子神經(jīng)網(wǎng)絡(luò)作為分類器實現(xiàn)了馬鈴薯早期疫病的診斷。但對薯種的識別研究鮮見報道。
考慮到甘薯的橫切面圖像中包含著自身品種特有的顏色、紋理信息,本研究提出了一種基于圖像顏色和紋理特征相結(jié)合的甘薯薯種識別方法。該方法組合了顏色直方圖法、灰度共生矩陣法和Gabor濾波法提取的圖像特征,融合各種方法的優(yōu)勢,能方便、準確地通過圖像信息進行薯種識別。
數(shù)字圖像質(zhì)量會直接影響特征選取與薯種識別的結(jié)果。為了統(tǒng)一焦距和光源等因素,在圖像獲取環(huán)節(jié)中,自行構(gòu)建了圖像采集環(huán)境,它包括圖像采集箱、CMOS相機、光源,如圖1所示。其中,圖像采集箱由木板搭建,箱內(nèi)貼黑色啞光紙;相機采用OLYM-PUS(型號 E-PL5,30 mm焦距,1 600萬像素,JPG圖像格式),固定在圖像采集箱頂部,距離樣品50 cm;光源由一對LED燈組成,位于相機左右兩邊,功率6W,色溫5 000 K。
圖1 圖像采集
采集甘薯橫切原始圖像之后,在圖像預(yù)處理環(huán)節(jié),首先找到原始圖像的中心像素點所在區(qū)域,然后截取周圍256×256像素范圍的鄰域圖像作為本研究的樣本圖像。
肉質(zhì)顏色是甘薯的重要屬性之一,可以作為識別甘薯種類的依據(jù)之一。常用的顏色空間有RGB和HSV等[9-10],其中,HSV顏色空間是一種面向視覺感知的顏色模型,對比從計算機硬件角度提出的RGB顏色模型,它能更好與人眼主觀感受相匹配,轉(zhuǎn)換公式如下:
本試驗使用多特征融合的方法進行薯種識別,為了減少特征量,將HSV空間非等間隔量化(H量化成16級,S量化成4級,V量化成4級),再將HSV3個分量合成為1個分量:
式中:Qs Qv分別是S和V的量化級數(shù),C取值范圍為[0,255],最后對C構(gòu)建直方圖。圖2中的a和b顯示了浙紫薯1號和心香薯塊的橫切面圖像;d和e顯示了其對應(yīng)的HSV空間顏色直方圖,顯然2類薯種的肉質(zhì)在HSV顏色統(tǒng)計值上差異明顯。所以本試驗將C中出現(xiàn)頻率最高的值(即圖2中縱坐標最大值所對應(yīng)的橫坐標值)作為顏色特征,記為f1。
圖2 薯種樣本的顏色特征
圖2中的浙紫薯1號和心香2類薯種在肉質(zhì)顏色存在較大差別,但有很多薯種之間的顏色差別并不明顯,如圖2中的心香和美國紅,肉質(zhì)的視覺直觀感受都呈黃色,兩者的HSV顏色直方圖也較為相近。由此可見,僅靠圖像的顏色信息不足以進行薯種識別??紤]到不同薯種的肉質(zhì)存在差異,如:緊實程度、淀粉含量、含水率等,體現(xiàn)到圖像中,可以發(fā)現(xiàn)不同薯種的圖像紋理信息存在規(guī)律性的差異。故本研究進一步對薯塊圖像提取紋理特征,采用顏色特征和紋理特征相結(jié)合的手段來識別薯種。
灰度共生矩陣是一種經(jīng)典的圖像紋理分析方法,它是基于統(tǒng)計方法,根據(jù)圖像中各個像素之間的距離、方向關(guān)系構(gòu)造而成[11]。這種灰度共生矩陣能根據(jù)圖像灰度值的空間信息計算出距離(Dx,Dy)的2個像素點同時存在的聯(lián)合分布概率,它表達了各像素點對之間的空間關(guān)系的相關(guān)性。
從圖像中灰度值為i、坐標值為x,y的像素點位置開始,計算灰度值為j,生成方向 θ(可以選擇0°、45°、90°和 135°4個方向)為距離為 d(位置在 x+Dx,y+Dy)的像素點同時出現(xiàn)在紋理圖像中的頻數(shù)P(i,j,d,θ)。那么,灰度共生矩陣的數(shù)學(xué)表達式為:
p(i,j,d,θ)={[(x,y),(x+dx,y+dy)]|f(x,y)=i;f(x+dx,y+dy)=j(luò)} (5)
圖3 在2個方向生成的步長為4的灰度共生矩陣
圖3顯示了心香和美國紅薯塊的橫切面圖像在2個在0°和90°方向生成的灰度共生矩陣圖。結(jié)果顯示,雖然這兩類薯種的肉質(zhì)顏色相近,但無論在0°或90°方向,它們的灰度共生矩陣均差異明顯,表明它們的肉質(zhì)紋理特性存在區(qū)分度,可以作為有效的薯種識別依據(jù)之一。Haralick等[11]通過灰度共生矩陣進一步提取了若干個通用的紋理特征:均值和、方差、熵、對比度、角二階矩、逆差矩、相關(guān)、方差和、差的方差、和熵、差熵。根據(jù)文獻[12-13]的仿真試驗,在這些基于灰度共生矩陣方法得到紋理特征值中,對比度和角二階矩最有代表性,能夠很好的表示出薯塊肉質(zhì)紋理的粗細均勻程度和強弱程度。本研究僅保留這2個紋理特征,分別記為f2和f3,這樣最終生成的混合特征向量維數(shù)能保持在較低的水平,從而提高識別算法性能。
生成方向參數(shù)θ和步長參數(shù)d是GLCM算法的應(yīng)用過程中的2個重要參數(shù),直接影響生成的紋理特征優(yōu)劣。文獻[12]驗證了在實際應(yīng)用中,θ取0°或90°合適,d取4合適(圖像大小為256×256像素)。本研究也采用相同的參數(shù)設(shè)置進行薯種識別試驗。
依靠紋理特征對顏色相近的薯種進行分類是本試驗方法的關(guān)鍵。由于灰度共生矩陣法僅考慮了基于圖像空域的紋理信息,單獨使用未必能得到最佳效果[13]。因此,本研究擬將灰度共生矩陣與經(jīng)典的Gabor濾波法相結(jié)合使用,以進一步提高識別率。Gabor濾波法與灰度共生矩陣法不同,它是基于圖像的時域和頻域信息進行紋理分析,能有效提取圖像的整體特征并突出局部紋理信息[14],兩種算法能有效互補。
針對圖像f(x,y),首先定義二維小波變換:
式中:Δx、Δy表示距離間隔,一般為1;p和 q表示某像素點的坐標;m和l表示了小波變換的方向、尺度(m=0,…,M-1,l=0,…,L-1)。
φml(x,y)則可表示為:式中:x′=a-m(x cosθ+y sinθ),y′=a-m(-x sinθ+y cosθ),y′=a-m(-x sinθ+y cosθ)。φ(x,y)為母波,它根據(jù)a-m的尺度進行調(diào)整,方向θ的調(diào)整可表示為:
當母波為Gabor函數(shù)時,Gabor濾波就可以表示為:
式中:W為濾波器窗寬。
圖4 W=0.5,θ=3π/4時的 Gabor濾波結(jié)果
根據(jù)文獻[15]的研究,W取0.5較為合適,此時的濾波結(jié)果圖像符合人的視覺感知系統(tǒng)。圖4顯示了心香薯塊橫切面圖像的Gabor濾波結(jié)果,可以明顯發(fā)現(xiàn),通過濾波后,圖像中的紋理細節(jié)體現(xiàn)的更加明顯,這有利于后續(xù)特征提取。最后,對變換后的圖像提取統(tǒng)計特征均值和能量(即:一致性),分別記為f4和f5。
采用HSV顏色直方圖法提取1個顏色特征值f1;然后,將圖像轉(zhuǎn)為灰度圖,在90°的方向上生成灰度共生矩陣,分別提取共生矩陣的對比度和角二階矩作為紋理特征值,分別記為f2,f3;最后,對圖像進行Gabor變換(窗寬設(shè)為0.5,方向設(shè)為3π/4),并對變換后的圖像提取均值和能量作為另一組紋理特征值,分別記為f4,f5。這樣,得到了薯種圖像的混合特征向量 F=[f1,f2,…f5]。
由于本研究用到了3種特征提取算法,得到特征值區(qū)間并不一致,需要進行歸一化處理。這個環(huán)節(jié)本文使用高斯歸一化法,如果向量F=[f1,f2,…f5]符合高斯分布,則歸一化計算可表示為:
式中:m為F的均值,σ為F的標準差。這樣F最終落入[-1,1]區(qū)間內(nèi)。在得到最終的特征向量F′=[f1′,f2′,…,f5′]后,建立薯種圖像樣本集,然后應(yīng)用BP人工神經(jīng)網(wǎng)絡(luò)作為分類器進行薯種識別。
人工神經(jīng)網(wǎng)絡(luò)是一種由大量神經(jīng)元連接而構(gòu)成的自適應(yīng)非線性學(xué)習(xí)、分類系統(tǒng)[16]。其中,BP人工神經(jīng)網(wǎng)絡(luò)由輸入層、隱層、輸出層構(gòu)成,采用反向傳播算法訓(xùn)練神經(jīng)網(wǎng)絡(luò),具有較強學(xué)習(xí)和抗噪聲能力,已被廣泛應(yīng)用于各種分類或預(yù)測研究。本研究應(yīng)用BP人工神經(jīng)網(wǎng)絡(luò)對混合特征向量的5個分量進行融合,通過大量樣本使其學(xué)習(xí)各類薯種中各項特征值的相應(yīng)取值范圍,從而“掌握”各類薯種的綜合屬性,訓(xùn)練得到甘薯薯種的識別模型,并最終應(yīng)用于薯種的識別。
針對浙紫薯1號、心香、美國紅、川薯924、徐薯26、泰中10號、北京553等10類薯種,每個薯種采集15個薯塊。由于農(nóng)產(chǎn)品生長受環(huán)境等因素的影響較大,為了檢驗本方法的適應(yīng)性,這些薯塊取自不同年份(2012年、2013年)和產(chǎn)地(浙江、江蘇、北京等地),并統(tǒng)一在薯塊出土1周左右進行圖像獲取,總共采集了150個樣本圖像。為了驗證算法性能,針對每類薯種隨機選擇12幅樣本圖像作為訓(xùn)練樣本,另外3幅圖像作為測試樣本。
分別單獨使用顏色直方圖法、灰度共生矩陣、Gabor濾波和本文方法對10種甘薯種類在Matlab 7.0的環(huán)境中進行了薯種識別試驗。其中,BP人工神經(jīng)網(wǎng)絡(luò)中的期望誤差設(shè)置為0.000 1,最大迭代次數(shù)設(shè)置為5 000次,隱層的神經(jīng)元個數(shù)設(shè)置對分類結(jié)果有一定影響,當隱層神經(jīng)元個數(shù)取25時,本試驗的融合模型訓(xùn)練效果最好,試驗結(jié)果如表1所示??梢钥吹剑瑔为毷褂没叶裙采仃嚪ɑ騁abor濾波法也能取得一定的正確識別率,說明針對甘薯橫切面圖像中存在大量紋理信息,可以被充分利用于甘薯的薯種識別或檢測研究;而顏色直方圖法由于只考慮了圖像的顏色信息,不少薯種的肉質(zhì)顏色幾乎一樣,所以單獨在本應(yīng)用中的識別結(jié)果不理想,這與前文中主觀預(yù)計一致。將3種方法融合使用后,本文方法的識別成功率得到明顯提升,平均識別成功率達到了90%。這說明將灰度共生矩陣法和Gabor濾波法結(jié)合后,算法不僅提取了圖像空域中的紋理,還能有效分析圖像時域和頻域中的局部信息,再結(jié)合顏色直方圖法綜合考慮了圖像的顏色特征,使得本文方法充分利用了圖像中的可用信息進行識別。
表1反映了本方法在算法準確性方面的性能。除了隱層的神經(jīng)元個數(shù),樣本個數(shù)也對BP人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練結(jié)果有一定影響。圖5反映了本方法的對樣本個數(shù)的適應(yīng)能力。由于算法在設(shè)計時已經(jīng)充分考慮了特征向量在訓(xùn)練、分類時的計算復(fù)雜度,所以在提取特征時已經(jīng)進行了優(yōu)化選擇,5個特征值能簡潔、有效地協(xié)同工作,就10種薯類而言,當樣本數(shù)量接近70個開始,本方法得到的識別成功率就趨于穩(wěn)定,這說明算法具備較好的魯棒性。綜上所述,本研究提出的識別方法在準確性、魯棒性方面的表現(xiàn)令人滿意。
圖5 試驗結(jié)果
試驗中的樣本圖像統(tǒng)一在薯塊出土1周左右的時間進行采集。為了進一步分析本方法的適應(yīng)性,再次對不同時間采集的薯塊進行薯種識別試驗。仍然以上述試驗中的訓(xùn)練樣本為訓(xùn)練樣本,每類薯種另取3個薯塊的橫切圖像為測試樣本,這些測試薯塊的出土?xí)r間為0.5周、1周或2周,試驗結(jié)果如表2所示??梢园l(fā)現(xiàn),薯塊出土?xí)r間的不同,顏色直方圖法的識別成功率并未下降,這是因為薯塊肉質(zhì)的顏色在2周時間內(nèi)變化并不明顯;但薯塊出土?xí)r間的不同,對2種紋理特征方法和本文的融合特征方法有一定影響,其中,GLCM法的識別成功率下降了6.6%,Gabor法由于突出了圖像紋理細節(jié)所以僅下降了3.4%,而本文方法也下降了3.3%。這表明隨著薯塊出土?xí)r間的增加,淀粉含量、含水率等因素的變化會導(dǎo)致薯塊橫切圖像中紋理特征產(chǎn)生細微變化,但變化的程度仍可接受。
表1 不同方法的試驗結(jié)果
表2 不同時間獲取測試樣本的試驗結(jié)果
本研究提出了一種基于圖像處理技術(shù)的甘薯種類識別方法。通過試驗驗證了將顏色直方圖方法、灰度共生矩陣方法以及Gabor濾波方法相結(jié)合能成功地用于薯種識別,平均識別成功率達到了90%。該方法有望應(yīng)用于甘薯加工、生產(chǎn)、銷售行業(yè)。研究表明,通過圖像的顏色、紋理等信息對甘薯進行識別應(yīng)用是完全可行的,這類方法具備更深、更廣的研究空間。
[1]Chen Z,Schols H A,Voragen A G J.Physicochemical properties of starches obtained from three varieties of Chinese sweet potatoes[J].Journal of Food Science,2003,68(2):431-437
[2]Abegunde O K,Mu T H,Chen JW.Physicochemical characterization of sweet potato starches popularly used in chinese starch industry[J].Food Hydrocolloids,2013,33(2):169-177
[3]Tsakama M,Mwangwela A M,Manani T A,et al.Physicochemical and pasting properties of starch extracted from eleven sweetpotato varieties[J].African Journal of Food Science and Technology,2010,1(4):90-98
[4]萬鵬,孫鐘雷,宗力.基于計算機視覺的玉米粒形檢測方法[J].中國糧油學(xué)報,2011,26(5):107-110
[5]Tao Y,Morrow C T,Heinemann PH,etal.Fourier-based separation technique for shape grading of potatoes using machine vision[J].Transactions of the ASAE,1995,38(3):949-957
[6]孔彥龍,高曉陽,李紅玲,等.基于機器視覺的馬鈴薯質(zhì)量和形狀分選方法[J].農(nóng)業(yè)機械學(xué)報,2012,28(17):142-148
[7]郝敏,麻碩士,郝小冬.基于Zernike矩的甘薯薯形檢測[J].農(nóng)業(yè)工程學(xué)報,2010,26(2):347-350
[8]馬曉丹,譚峰,許少華.基于量子神經(jīng)網(wǎng)絡(luò)的馬鈴薯早疫病診斷模型[J].農(nóng)業(yè)機械學(xué)報,2011,42(6):174-178
[9]章毓晉.圖像工程上冊-圖像處理[M].北京:清華大學(xué)出版社,1999
[10]Vimina E R,Jacob K P.Content based image retrieval using low level features of automatically extracted regions of interest[J].Journal of Image and Graphics,2013,1(1):7-11
[11]Haralick R M.Statistical and structural approaches to texture[J].Proceeding of IEEE,1975,67(5):786-504
[12]白雪冰,王克奇,王輝.基于灰度共生矩陣的木材紋理分類方法的研究[J].哈爾濱工業(yè)大學(xué)學(xué)報,2005,37(12):1667-1670
[13]尹建新,祁亨年,馮海林,等.一種基于混合紋理特征的木板材表面缺陷檢測方法[J].浙江農(nóng)林大學(xué)學(xué)報,2011,28(6):937-942
[14]Jain A K,F(xiàn)arrokhnia F.Unsupervised texture segmentation using gabor filters[J].Pattern Recognition,1991,24(12):238-241
[15]Lee T S.Image representation using 2D gabor wavelets[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1996,18(10):959-971
[16]Goyal S.Artificial neural networks in vegetables:a comprehensive review[J].Scientific Journal of Crop Science,2013,2(7):75-94.