基于正則表達(dá)式融合語(yǔ)義的農(nóng)產(chǎn)品自動(dòng)識(shí)別方法

蘆 兵, 孫 俊, 許曉東

(1. 江蘇大學(xué) 信息化中心, 江蘇 鎮(zhèn)江 212013; 2. 江蘇大學(xué) 電氣信息工程學(xué)院, 江蘇 鎮(zhèn)江 212013)

中國(guó)是農(nóng)產(chǎn)品生產(chǎn)大國(guó),在農(nóng)業(yè)種植基地每天都有成千上萬(wàn)的農(nóng)產(chǎn)品需要按類分揀運(yùn)輸,實(shí)現(xiàn)農(nóng)產(chǎn)品準(zhǔn)確、高效的自動(dòng)分揀,是農(nóng)產(chǎn)品供應(yīng)鏈提升的重要一環(huán)[1].目前對(duì)農(nóng)產(chǎn)品自動(dòng)分揀方法的研究主要分為兩個(gè)方向:一是預(yù)置識(shí)別分類方向[2-3],主要通過(guò)條碼技術(shù)或RFID技術(shù)將產(chǎn)品信息預(yù)先寫入產(chǎn)品包裝信息區(qū),供自動(dòng)分揀設(shè)備讀取相關(guān)信息,實(shí)現(xiàn)自動(dòng)分揀;二是圖像識(shí)別方向[4],主要通過(guò)圖像設(shè)備抓取并分析農(nóng)產(chǎn)品的圖像特征,進(jìn)行特征提取,完成自動(dòng)分揀.圖像識(shí)別技術(shù)的自動(dòng)化程度更高,通用性更好,但是在提取目標(biāo)特征時(shí),其效率及精度還有待提高.尺度不變特征變換(SIFT)[5]和加速魯莽特征(SURF)算法[6]因其優(yōu)秀的特征表述能力和較強(qiáng)的魯莽性被廣泛應(yīng)用于特征匹配領(lǐng)域,但此類算法更多關(guān)注于圖像的底層特征,而分揀環(huán)境中實(shí)際提取到的底層特征往往存在較多的噪聲干擾和冗余.對(duì)提取到的底層特征進(jìn)行二次整合,使得整合過(guò)的圖像數(shù)字化表征能夠更好地反映圖像目標(biāo)的語(yǔ)義內(nèi)容,采用基于語(yǔ)義的目標(biāo)特征構(gòu)建技術(shù),可以提高匹配模板的生成效率.文獻(xiàn)[7]在圖像顏色、邊緣等底層局部特征的基礎(chǔ)上,提出了一種層次化的高級(jí)語(yǔ)義映射關(guān)系,利用Bayes分類方法建立特征模型.文獻(xiàn)[8]通過(guò)神經(jīng)網(wǎng)絡(luò)算法,以目錄分類的語(yǔ)義形式對(duì)圖像進(jìn)行組織,然后通過(guò)非層次的分類方法進(jìn)行圖像目標(biāo)檢測(cè).文獻(xiàn)[9]提出了一種基于屬性的圖像目標(biāo)描述方法,通過(guò)圖像屬性語(yǔ)義進(jìn)行圖像目標(biāo)特征匹配.文獻(xiàn)[10]提出了一種增量構(gòu)建大規(guī)模圖像內(nèi)容檢索的方法,通過(guò)反饋學(xué)習(xí)機(jī)制提升圖像語(yǔ)義屬性.

上述幾種方法在構(gòu)建目標(biāo)特征模型的時(shí)候,均需要圖像庫(kù)中具備所有特征屬性的完備信息,忽視了圖像庫(kù)中特征屬性元素之間的相互組合利用,當(dāng)新增產(chǎn)品分揀線或者傳送線上農(nóng)產(chǎn)品物理特征發(fā)生變化的時(shí)候,需要重新訓(xùn)練以完善圖像庫(kù)中的屬性特征信息,顯然,這將極大地影響自動(dòng)分揀的效率.

為此,文中引入計(jì)算機(jī)文本檢測(cè)領(lǐng)域內(nèi)具有較高效率的正則表達(dá)式[11],對(duì)其在圖像目標(biāo)特征模型構(gòu)建上的語(yǔ)義描述進(jìn)行引申定義.由于正則表達(dá)式具有較強(qiáng)的靈活性和適配性,其語(yǔ)法規(guī)則可以融合多種屬性特征,當(dāng)被識(shí)別農(nóng)產(chǎn)品發(fā)生變化時(shí),利用正則表達(dá)式的語(yǔ)義規(guī)則能夠?qū)D像庫(kù)中相關(guān)特征屬性元素進(jìn)行快速地重新組織,對(duì)于從圖像特征上難以區(qū)分的農(nóng)產(chǎn)品,可以在規(guī)則中融合振動(dòng)等特征,從而實(shí)現(xiàn)對(duì)不同類別農(nóng)產(chǎn)品高效、正確地自動(dòng)識(shí)別和分揀.

1 正則表達(dá)式的語(yǔ)義

1.1 正則表達(dá)式的通俗語(yǔ)義

正則表達(dá)式是計(jì)算機(jī)科學(xué)中用于檢索、替換某些符合描述規(guī)則的文本所使用的一個(gè)概念.正則表達(dá)式是對(duì)字符串進(jìn)行描述和通配操作的一種邏輯公式,實(shí)現(xiàn)過(guò)程是賦予某些字符以及這些特定字符的組合某種特殊意義,通過(guò)事先定義好的語(yǔ)義規(guī)則組成一個(gè)“規(guī)則字符串”,這個(gè)“規(guī)則字符串”用來(lái)表達(dá)對(duì)字符串的一種過(guò)濾邏輯.如果給定一個(gè)定義好的正則表達(dá)式和另一個(gè)待識(shí)別字符串,可以達(dá)到如下目的: ① 判斷給定的字符串是否符合正則表達(dá)式的過(guò)濾邏輯(稱作“匹配”); ② 如果匹配,通過(guò)正則表達(dá)式從字符串中獲取想要的特定部分,如果不匹配則重新組織通配符.

1.2 正則表達(dá)式的特點(diǎn)

正則表達(dá)式的靈活性和邏輯性非常強(qiáng),可以迅速使用極簡(jiǎn)單的方式達(dá)到字符串的復(fù)雜控制.傳統(tǒng)正則表達(dá)式的描述因子均為文本模式的字符,包括a-z之間的字母等普通字符和一些特殊符號(hào)(稱為“元字符”).通過(guò)正則表達(dá)式定義出來(lái)的描述模式在搜索文本時(shí)會(huì)匹配一個(gè)或多個(gè)滿足正則語(yǔ)義的字符串.表1中包含了部分元字符以及它們?cè)谡齽t表達(dá)式上下文中的行為.

表1 正則表達(dá)式示例

表1中通過(guò)對(duì)傳統(tǒng)正則表達(dá)式字元符規(guī)則的應(yīng)用,可以檢測(cè)和匹配到特定內(nèi)容的文本,極大地提高內(nèi)容檢索效率.

1.3 圖像中的引申語(yǔ)義

相對(duì)于文本對(duì)象,用于描述圖像特征的“字元素”可以用線條、顏色、形狀、位置等來(lái)定義.用于描述圖像特征的“字元素”可以稱之為基礎(chǔ)“像元素”, 部分像元素如表2所示.

表2 圖像特征的像元素

表中線條按線形可以分為水平直線、斜線、直角線、弧線、S形弧線等常規(guī)線條及其他自定義線形,形狀包含正方形、長(zhǎng)方形、圓形、半圓形、菱形、心形等常規(guī)形狀及其他自定義非常規(guī)圖形.顏色通過(guò)字母加數(shù)字的方式表示,如W12,表示白色 12色號(hào),其中第一位字母代表色系,后面數(shù)字代表亮度,取值范圍為0～255之間.振動(dòng)特征為通過(guò)分析振動(dòng)頻譜特征分布后得到的譜密度均值.位置由完全自定義的符號(hào)來(lái)描述圖像中的相對(duì)位置信息,如“|(x1)->(x2)|”代表從像元x1位置開始一直水平向右到像元x2結(jié)束,而“|(x1)-＾(K)(x2)||”則表示從像元x1開始到其垂直下方像元x2的K處,其中K為可變系數(shù),可取0～1數(shù)值,如0.25表示x1到x2之間距離的1/4處.此處只是給出了水平和垂直位置信息的基礎(chǔ)定義,位置信息的定義符號(hào)和定義規(guī)則可視實(shí)際情況自行添加.像元素庫(kù)是一個(gè)開放式的元素庫(kù),用于描述物理特性的技術(shù)指標(biāo)均可作為像元素庫(kù)的一個(gè)基礎(chǔ)指標(biāo),如角度、溫度,音量、振動(dòng)等特征信息均可以擴(kuò)展為元素庫(kù)的一個(gè)指標(biāo).將這些像元素按正則表達(dá)式的語(yǔ)法進(jìn)行組織,能夠快速地定義出圖像的局部特征.比如:|O(B12)->O(B12)||該表達(dá)式可以表示圖像中匹配水平方向上兩個(gè)藍(lán)色圓形的部分.也可以像定義文本正則表達(dá)式一樣,用一些更加簡(jiǎn)潔的字符代表圖像正則的像元素.

2 基于正則表達(dá)的特征提取

2.1 角點(diǎn)特征提取

Harris角點(diǎn)檢測(cè)是通過(guò)數(shù)學(xué)計(jì)算在圖像上發(fā)現(xiàn)角度特征的一種算法[12],且具有旋轉(zhuǎn)不變的特質(zhì).在建立特征模型正則表達(dá)式之前,先通過(guò)Harris角點(diǎn)[11]檢測(cè)出圖像特征的字元素,數(shù)學(xué)原理如下:

I(x,y)]2,

(1)

式中:w(x,y)用以表示移動(dòng)窗口;I(x,y)表示圖像中像素灰度值強(qiáng)度,取值范圍為0～255.依據(jù)泰勒級(jí)數(shù)計(jì)算1到N階的偏導(dǎo)數(shù)[12],最后得到Harris矩陣公式:

(2)

按照上式Harris的矩陣計(jì)算矩陣特征值λ1,λ2,然后計(jì)算獲得Harris角度響應(yīng)值:

(3)

式中變量因子K為系數(shù)值,通常取值范圍為0.04～0.06.

2.2 距離特征提取

為了提高對(duì)位置信息的描述效率,在計(jì)算特征向量位置信息時(shí),采用D4模型[13]進(jìn)行計(jì)算:

D4(P,Q)=|xp-xq|+|yp-yq|,

(4)

D4距離也稱街區(qū)距離,它只選擇橫豎兩個(gè)方向計(jì)算相對(duì)距離.

2.3 顏色特征提取

對(duì)每種顏色通道提取一階、二階和三階矩進(jìn)行統(tǒng)計(jì)分析[14],設(shè)hij表示第i個(gè)顏色通道分量中灰度為j的像素出現(xiàn)的概率,n為總像素?cái)?shù)目,則顏色矩的3個(gè)低階矩?cái)?shù)學(xué)表達(dá)式為

(5)

(6)

(7)

這3個(gè)低階矩分別稱為均值、方差和偏斜度.

2.4 振動(dòng)波頻譜特征提取

使用RS-3101壓電式振動(dòng)傳感器采集農(nóng)產(chǎn)品在傳送帶上的振動(dòng)信息,再通過(guò)SPEK軟件分析其頻域特征.此處采用歐拉伯努利梁模型[15]來(lái)分析其振動(dòng)特征,單負(fù)載時(shí)的模型結(jié)構(gòu)如圖1所示.

圖中剛度Ks=(Ls/Kp+1/Kt)-1/Ls,Kp是傳送層剛度系數(shù),Kt是傳送層單位長(zhǎng)度(m)的剛度系數(shù).該系統(tǒng)的運(yùn)動(dòng)方程為

(8)

式中:EI是傳送軌道的抗撓勁度;w(x,t)是軌道偏斜度;F是軌道上移動(dòng)負(fù)載;δ為狄拉克函數(shù);x代表負(fù)載物重心位置到達(dá)傳送帶邊緣的距離;t是時(shí)間.

圖1 振動(dòng)模型示意圖

傳送帶和傳送軸撓度之間可以通過(guò)變換下式表示:

ws(x,t)/w(x,t)=Ks/Kt,

(9)

從而可以得到振動(dòng)特征方程:

(10)

式中β=(Ks/(4EI))1/4,表示成量綱一形式為

(11)

式11給出了單個(gè)負(fù)載的特征提取公式,多個(gè)同類負(fù)載的頻譜特征可以通過(guò)量綱一化處理得到,如下:

(12)

最終可以得到兩個(gè)不同類別農(nóng)產(chǎn)品的譜特征分布曲線,如圖2所示,從而計(jì)算出譜密度均值:

(13)

譜密度均值是頻譜特征分布的具體量化指標(biāo),不同分布的頻譜特征對(duì)應(yīng)不同的譜密度均值,該均值作為基礎(chǔ)像元素庫(kù)中的成員,在正則表達(dá)式中描述被識(shí)別農(nóng)產(chǎn)品振動(dòng)信息的頻譜特征.

圖2 振動(dòng)頻譜特征分布圖

2.5 特征模型提取

首先檢測(cè)被識(shí)別物的邊緣連通情況,如圖3所示.

圖3 匹配目標(biāo)原始圖

通過(guò)選擇最能夠描述圖像特征的特征點(diǎn),參照像元素庫(kù)中的定義提取像元素.首先對(duì)目標(biāo)外圍特征點(diǎn)進(jìn)行連通性連接,然后在連通圖內(nèi)部按照最大相似性原則[16]進(jìn)行像元素的切割,即切割后的局部特征能夠在像元素庫(kù)中找到最相似的像元素.從切割后的圖像中提取到形狀像元素:矩形、橢圓形，提取到顏色像元素:G12(綠12號(hào)),提取到位置像元素:“|-＾||”(從上邊位置到下邊位置)、“|-＾(0.25)||”(從上邊位置到下面位置的1/4處)、“|-＾|(0.75)|”(從上邊位置到下邊位置的3/4處).最終提取到的基礎(chǔ)像元素集如表3所示.

表3 基礎(chǔ)像元素集

基于表3中的像元素,可以構(gòu)建出基于像元素的目標(biāo)匹配模型正則表達(dá)式:

Preg_match=|∏(G9)-＾||∩|?-＾(0.25)Ο||∩
|∏-＾|(0.75)Ο|∩[Fp(632)],

(14)

按照表達(dá)式(14)中表達(dá)的正則語(yǔ)義可以快速構(gòu)建出待匹配農(nóng)產(chǎn)品的特征模型,如圖4所示.

通過(guò)特征模型和待匹配目標(biāo)最大相似性比較[17],可以確定出待匹配目標(biāo)在圖中所在位置.通過(guò)選取中心列的特征分布,可以對(duì)特征模型和待匹配對(duì)象進(jìn)行特征相似度比較,如圖5所示.

通過(guò)比較可以看出,在目標(biāo)所在區(qū)域(121～426行)模型特征的分布和待識(shí)別目標(biāo)特征分布較一致,說(shuō)明利用像元素作為基元的正則表達(dá)式完全可以定義出待匹配目標(biāo)的模型.

圖4 特征模型

圖5 匹配模型特征分布

3 結(jié)果與分析

為了分析基于正則表達(dá)式融合語(yǔ)義的農(nóng)產(chǎn)品自動(dòng)識(shí)別方法的效果,使用固定視角下梨子和橙子圖像進(jìn)行試驗(yàn).試驗(yàn)中,選取能夠最大化反映目標(biāo)物理特征的視角進(jìn)行圖像采集,然后通過(guò)選取特征像元素庫(kù)中的基礎(chǔ)像元素,在正則表達(dá)式的語(yǔ)法組織下融合振動(dòng)特征快速建立農(nóng)產(chǎn)品特征匹配模型,實(shí)現(xiàn)對(duì)不同農(nóng)產(chǎn)品的快速識(shí)別,如圖6所示.

圖6 部分訓(xùn)練樣本示例

本試驗(yàn)使用SIFT和SURF兩種識(shí)別方法作為對(duì)比,SPEK軟件環(huán)境中完成振動(dòng)采集和分析,Matlab11中完成特征建模和目標(biāo)匹配.

試驗(yàn)結(jié)果如表4所示,由于正則表達(dá)式區(qū)域強(qiáng)制驗(yàn)證的特性,在視角不變情況下,文中方法在識(shí)別率和識(shí)別時(shí)間上均優(yōu)于傳統(tǒng)的SURF和SIFT算法.

表4 識(shí)別率和效率對(duì)比

4 結(jié) 論

基于字符元的正則表達(dá)式因其匹配效率高,適配性好,已在文本字符檢索中得到了廣泛的應(yīng)用,圖像匹配和字符匹配雖然在匹配內(nèi)容上存在較大差異,但在匹配方法上可以找到共同性,即都可以通過(guò)有規(guī)律的組織基礎(chǔ)元素構(gòu)建匹配模型的方法,對(duì)目標(biāo)進(jìn)行識(shí)別.基于此點(diǎn)共同性,文中將正則表達(dá)式的語(yǔ)義通過(guò)賦予圖形屬性特征進(jìn)行了引申定義,引入了“像元素”的新概念和語(yǔ)義規(guī)則,并融入振動(dòng)頻譜特征信息.基于正則語(yǔ)義的圖像目標(biāo)識(shí)別體系是一個(gè)比較龐大的工程,還有很多后繼工作需要完成,比如健全特征元素庫(kù)、編寫正則語(yǔ)言規(guī)則類庫(kù)、建立分類訓(xùn)練模型等,文中通過(guò)一個(gè)具體應(yīng)用場(chǎng)景證實(shí)了此種方法的可行性.試驗(yàn)表明,通過(guò)編寫合適的農(nóng)產(chǎn)品特征模型正則表達(dá)式,能夠快速、便捷的構(gòu)建特征匹配模型,實(shí)現(xiàn)對(duì)不同農(nóng)產(chǎn)品目標(biāo)的快速自動(dòng)識(shí)別.

參考文獻(xiàn)(References)

[ 1 ] LI Z J,SHAN S D.A research on logistics packaging culture and environmental packaging[C]∥15th IAPRI Word Conference on Packaging.Vancouver,Canada: IEEE,2006:225-230.

[ 2 ] DI Y J,SHI J P,MAO,G Y.A QR code identification technology in package auto-sorting system[J].Modern Physics Letters B, 2017,31:19-21.

[ 3 ] KOSIOR E,MITCHELL J,DAVIES K,et al.Intelligent labels as a basis for auto-sorting of plastic packaging[C]∥73rd Annual Technical Conference.Orlando,USA:IEEE, 2015:2112-2118.

[ 4 ] HUANG K Y,CHENG J F.A novel auto-sorting system for Chinese cabbage seeds[J].Sensors,2017,17(4):622-628.

[ 5 ] TEKIN N,NAZL I,PEKER K A,et al.Matching day and night location images using SIFT and logistic regression[C]∥23rd Signal Processing and Applications.TURKEY:IEEE,2015:1615-1618.

[ 6 ] 林曉帆,林立文,鄧濤.基于SURF描述子的遙感影像配準(zhǔn)[J].計(jì)算機(jī)工程,2010,36(12):216-218.

LIN X F,LIN L W,DENG T.Remote sensing image re-gistration based on SURF descriptor[J].Computer Engineering,2010,36(12):216-218.(in Chinese)

[ 7 ] 宋芳琴.基于Union-Find的圖像聚類方法[J].計(jì)算機(jī)應(yīng)用與軟件,2015,32(7):319-322.

SONG F Q.Image clustering method based on Union-Find[J].Computer Applications and Software,2015,32(7):319-322. (in Chinese)

[ 8 ] YU S Q,JIA S,XU C Y.Convolutional neural networks for Hyperspectral image classification[J].Neurcompu-ting,2017,219:88-98.

[ 9 ] JR E S, GU Q. Automatic content based image retrieval using semantic analysis[J]. Journal of Intelligent Information Systems, 2014, 43(2):247-269.

[10] FARHADI H,ENDRES I,HOIEM D,et al.Describing objects by their attributes[C]∥12th Conference on Computer Vision and Pattern recognition.Leeds Britain:IEEE,2009:1778-1785.

[11] LU P,BREMER J,CHEN H M.Deciding determinism of regular languages[J].Theory of Computering Systems,2015,57(1):97-139.

[12] RYU J B, LEE C G,PARK H H.Formula for Harris corner detector[J].Electronics Letters,2011,47(3):180-181.

[13] 陳世偉,楊小岡,張勝修,等.基于自適應(yīng)上下文信息的目標(biāo)相對(duì)定位方法[J]. 系統(tǒng)工程與電子技術(shù),2016,38(5):984-989.

CHEN S W,YANG X G,ZHANG S X,et al.Relative positioning method of target based on adaptive context information[J].Systems Engineering and Electronics,2016,38(5):984-989. (in Chinese)

[14] 王峰,陳敏,陳小平.面向機(jī)器人室內(nèi)建圖的RGB-D圖像對(duì)齊算法[J].機(jī)器人,2015,37(2):129-135.

WANG F,CHEN M,CHEN X P.An RGB-D image alignment algorithm for robotic mapping in indoor environments[J].Robot,2015,37(2):129-135. (in Chinese)

[15] FERNANDEZ S,ZAERA R.Vibrations of Bernoulli-Eu-ler beams using the two-phase nonlocal elasticity theory[J].International Journal of Engineering Science,2017，119:232-248.

[16] ZHAI Y H,NEUHOFF D L.Similarity of scenic bilevel image[J].IEEE Transactions on Image Processing,2016,25(11):5063-5076.