曹 霞, 李岳陽, 羅海馳, 蔣高明, 叢洪蓮

(1. 江南大學(xué) 教育部針織技術(shù)工程研究中心， 江蘇 無錫 214122；2. 江南大學(xué) 輕工過程先進(jìn)控制教育部重點(diǎn)實(shí)驗(yàn)室， 江蘇 無錫 214122)

蕾絲花邊的改進(jìn)型紋理特征檢索方法

曹 霞1, 李岳陽1, 羅海馳2, 蔣高明1, 叢洪蓮1

(1. 江南大學(xué) 教育部針織技術(shù)工程研究中心， 江蘇 無錫 214122；2. 江南大學(xué) 輕工過程先進(jìn)控制教育部重點(diǎn)實(shí)驗(yàn)室， 江蘇 無錫 214122)

針對(duì)傳統(tǒng)的蕾絲花邊檢索主要依賴于人的視覺檢測及文本檢索，存在信息不穩(wěn)定、效率低、檢索效果不可靠的現(xiàn)象，提出了一種基于層次匹配下多特征融合的蕾絲花邊檢索方法。通過運(yùn)用圖案紋理特征標(biāo)識(shí)圖像，首先分別用灰度共生矩陣、灰度梯度共生矩陣、局部二進(jìn)制算子提取紋理特征進(jìn)行匹配。然后將3種提取紋理特征方法，分別結(jié)合形狀特征、不變矩特征量進(jìn)行逐層匹配。最后將層次匹配下各個(gè)紋理特征進(jìn)行融合，彌補(bǔ)了單個(gè)匹配方法的不足，同時(shí)在蕾絲花邊庫中驗(yàn)證所用檢索方法的正確率。分析結(jié)果表明，這種方法優(yōu)于任意單個(gè)的蕾絲花邊匹配方法，能較好地實(shí)現(xiàn)蕾絲花邊檢索，有效地提高圖案檢索的可靠度和準(zhǔn)確率。

圖像檢索； 蕾絲花邊； 紋理特征匹配； 層次匹配； 特征融合； 特征提取

近年來，由于蕾絲花型的多變性及蕾絲花邊數(shù)據(jù)庫的龐大，一般生產(chǎn)企業(yè)或中間商的數(shù)據(jù)庫存儲(chǔ)蕾絲花邊多達(dá)幾千到上萬。傳統(tǒng)的基于文本檢索方法采用人工標(biāo)注，其檢索結(jié)果受主觀因素影響大，從而導(dǎo)致檢索準(zhǔn)確度不高，效率低。如何快速、精確地實(shí)現(xiàn)蕾絲花邊管理與檢索是一亟待解決的行業(yè)難題。

蕾絲花邊經(jīng)編鏈、襯緯形成地組織，再配合賈卡形成網(wǎng)孔變化不一的底布紋理，配合多把梳櫛的不同墊紗運(yùn)動(dòng)，再通過局部襯緯、壓紗及色紗線編織形成平坦、立體及繡花圖案，呈現(xiàn)出不同的織物肌理，在數(shù)字圖像處理領(lǐng)域表現(xiàn)為不同的紋理，因此本文運(yùn)用紋理特征對(duì)蕾絲花邊進(jìn)行標(biāo)注，提出一種新的基于內(nèi)容的蕾絲花邊檢索方法。

織物紋理特征可用一階到高階統(tǒng)計(jì)屬性來進(jìn)行描述，如平均值、方差、直方圖、共生矩陣等[1]。研究表明，圖像紋理特征與其周圍的灰度變化規(guī)律密切相關(guān)，越平滑區(qū)域像素灰度變化越小，越粗糙區(qū)域像素灰度變化越大[2]。Haralick等定義了14個(gè)用于紋理分析的灰度共生矩陣(GLCM)特征參數(shù)，應(yīng)用在織物編織圖案上的識(shí)別率為80%[1,3]。Alvarenga等用灰度共生矩陣分析超聲圖像紋理特征，提高了夜間非接觸式的溫度估計(jì)方法的性能[4]。Hu等利用灰度共生矩陣分析織物紋理特征，即利用自適應(yīng)選取紋理圖像的主方向方法，描述出大量的紋理信息和旋轉(zhuǎn)不變屬性，提高了紋理特征的精度和非歧義性[5]。洪繼光將圖像梯度信息加入到灰度共生矩陣，使紋理具有方向特征，利用灰度梯度共生矩陣(GGCM)方法提取5類白血球樣本紋理特征，進(jìn)行分類檢索后的識(shí)別率為77.8%[6]。Ojala等提出一種局部二值模式(LBP)紋理算子[7]，具有顯著紋理特征描述能力。然而經(jīng)試驗(yàn)得出，上述單一的基于全局或局部紋理特征匹配方法，仍然受花型紋理結(jié)構(gòu)復(fù)雜和紋理周期截取誤差的影響，導(dǎo)致最終匹配識(shí)別率較低。

為解決上述問題，本文提出一種基于層次匹配下多特征融合的蕾絲花邊檢索方法，將3種基于不同的圖像紋理特征的方法分別進(jìn)行層次匹配并融合，優(yōu)化現(xiàn)有識(shí)別性能，提高檢索的準(zhǔn)確率。

1 蕾絲花邊檢索系統(tǒng)

1.1 系統(tǒng)框圖

蕾絲花邊檢索包括2種模式：注冊(cè)模式和辨識(shí)模式。其中注冊(cè)模式由圖像采集、圖像預(yù)處理、特征提取3個(gè)功能模塊組成；辨識(shí)模式由圖像采集、圖像預(yù)處理、特征提取、特征匹配和決策5個(gè)功能模塊組成。注冊(cè)模式指1 008幅無重復(fù)蕾絲花邊圖案經(jīng)過注冊(cè)過程得到模板特征向量，存儲(chǔ)到蕾絲花邊數(shù)據(jù)庫。辨識(shí)模式指蕾絲花邊數(shù)據(jù)庫中圖案依次作為測試圖案，與數(shù)據(jù)庫中的蕾絲花邊進(jìn)行 “一對(duì)多匹配”，即待檢測的蕾絲花邊特征向量需要與特征數(shù)據(jù)庫中所有樣本特征向量進(jìn)行匹配，最后按照特征向量間的相似度做出決策，即由大到小進(jìn)行排序，檢索出待測蕾絲花邊，這2種模式圖如圖1所示。

1.2 蕾絲花邊圖像采集和數(shù)據(jù)庫的建立

為避免獲取的樣本圖案發(fā)生畸變及外界光照等不利因素的影響，采用掃描儀獲取蕾絲花邊圖案，保證試驗(yàn)外界環(huán)境一致。選取200 dpi的分辨率掃描樣品，將圖片縮放至621像素×439像素，分辨率為96 dpi。掃描時(shí)作如下優(yōu)化操作，首先選擇與花邊顏色相對(duì)應(yīng)的背景色，若蕾絲花邊顏色較淺，背景選取為黑色；蕾絲花邊顏色較深，背景選取為白色，處理結(jié)果如圖2所示。

其次由于蕾絲花邊的紋理分布呈現(xiàn)周期循環(huán)，為提高檢索的效率和準(zhǔn)確率，本文利用圖像預(yù)處理的方法，經(jīng)過圖像閾值分割，然后根據(jù)蕾絲花邊中的一個(gè)完全組織2個(gè)參考點(diǎn)坐標(biāo)進(jìn)行圖像矯正、截取出一個(gè)完全組織圖案，得到最終的蕾絲花邊數(shù)據(jù)庫，如圖3所示。式中H表示蕾絲花型的花高，W表示蕾絲花型的花寬。

1.3 圖像特征提取與匹配方法

1.3.1 形狀特征匹配方法

(1)

即同時(shí)滿足測試圖案的花高與樣本圖案的花高差值不超過t，測試圖案的花寬與樣本圖案的花寬差值不超過2t。其中Sk為滿足篩選條件的樣本圖案的特征向量k=1,2,…,n,n為樣本圖案的個(gè)數(shù)。

1.3.2 紋理特征匹配方法

1.3.2.1 基于灰度共生矩陣的紋理特征匹配 在圖像紋理特征提取方法中，共生矩陣描述了圖像灰度分布關(guān)于方向、變化幅度和局部領(lǐng)域的綜合信息[8]。通過分析蕾絲花邊圖案的紋理特征，即圖案的像素值分布規(guī)律，取圖像中任意一點(diǎn)(x,y)及其位置方向θ(0°，45°，90°，135°)上另一點(diǎn)(x+△x,y+△y)，形成一個(gè)點(diǎn)對(duì)，其灰度值設(shè)為(i,j)，即點(diǎn)(x,y)的灰度為i，點(diǎn)(x+△x,y+△y) 的灰度為j。當(dāng)△x和△y恒定時(shí)，遍歷圖像各個(gè)點(diǎn)(x,y)。為減少計(jì)算量和提高紋理特征的識(shí)別效果，將原圖像的灰度級(jí)256量化為128，即L=128。統(tǒng)計(jì)圖像中每對(duì)像素點(diǎn)在灰度共生矩陣出現(xiàn)的概率為Pij，其中[Pij]L×L為灰度概率聯(lián)合概率矩陣，即灰度共生矩陣[9-10]。

(2)

式中：#表示集合中元素的數(shù)目；Q表示總的灰度級(jí)對(duì)數(shù)目?；贕LCM的紋理特征中對(duì)比度和熵具有最大識(shí)別能力,其中角二階矩、對(duì)比度、相關(guān)性是不相關(guān)的[11]，本文選取角二階矩fasm、對(duì)比度fcon、相關(guān)度fcor、熵fent4個(gè)特征量來表示紋理特征。

(3)

(4)

對(duì)比度、角二階矩、熵、相關(guān)度各個(gè)均值，方差，共同組成最終蕾絲花邊圖案的紋理特征向量。

(5)

(6)

U(LBPE,R)=|s(ge-1-gc)-s(g0-gc)|+

(7)

1.3.3 不變矩特征匹配方法

考慮到圖像的主要信息由圖像的邊緣輪廓提供，文獻(xiàn)[12]證明了不變矩特征量具有尺度、旋轉(zhuǎn)、平移不變特性，因此本文將不變矩作為圖像的匹配特征量。首先采用Canny算子提取蕾絲花邊圖案的邊緣特征，運(yùn)用3×3Sobel模板算子進(jìn)行濾波，低滯后閾值為3，高滯后閾值為9。選取圖案邊緣特征的7個(gè)不變矩特征量[13]h1～h7，式中的η是歸一化矩。

h1=η20+η02

h2=(η20-η02)2+4η112

h3=(η30-3η12)2+(3η21-η03)2

h4=(η30+η12)2+(η21+η03)2

h5=(η30-3η12)(η30+η12)[(η30+η12)2-

3(η21+η03)+(3η21-η03)(η21+η03)

[3(η30+η12)2-(η21+η03)2]

h6=(η20-η02)[(η30+η12)2-(η21+η03)2]+

4η11(η30+η12)(η21+η03)

h7=(3η21-η03)(η30+η12)[(η30+η12)2-

3(η21+η03)2]-(η30-3η12)(η21+η03)

[3(η30+η12)2-(η21+η03)2]

(8)

1.4 層次匹配算法

基于多特征的層次匹配方法可顯著地提高特征提取與匹配的效率，可在大數(shù)據(jù)庫下由粗到精逐層實(shí)現(xiàn)圖案特征匹配與識(shí)別，有效地提高匹配的效率和精確度[14]，因此針對(duì)不同的層次分別采用不同的匹配方法。層次1：形狀特征匹配；層次2：紋理特征匹配；層次3：不變矩特征匹配。

假設(shè)蕾絲花邊數(shù)據(jù)庫中有n個(gè)樣本圖案，即有n個(gè)模板特征向量，記為S1,S2，…,Sn。某個(gè)模板特征向量Sk，k=1,2，…,n，其對(duì)應(yīng)的排序值定義為rk。

首先按照具體節(jié)圖像預(yù)處理方法截取蕾絲花邊一個(gè)完全組織圖案，采用形狀特征匹配算法篩選出滿足第1層形狀特征匹配的蕾絲花邊，然后采用上述第2層紋理特征匹配算法中各個(gè)紋理特征提取方法，計(jì)算出測試圖案特征向量與經(jīng)過第1層形狀特征匹配篩選后蕾絲花邊圖案數(shù)據(jù)庫中所有需要進(jìn)行匹配的特征向量的距離，根據(jù)相似程度由大到小排序，相似度最大的模板特征向量所對(duì)應(yīng)的蕾絲花邊圖案作為匹配的第1候選。然后按照實(shí)際測試圖案與樣本圖案的對(duì)應(yīng)關(guān)系，分別驗(yàn)證上述GLCM、GGCM、LBP紋理特征對(duì)所有模板特征向量排序的結(jié)果。

假設(shè)實(shí)際與測試圖案相對(duì)應(yīng)的某模板的特征向量為Su，u=1,2,…,n，Su的排序值為ru，當(dāng)模板特征向量Su為非第1候選時(shí)，即ru≠1，定義返回的模板特征向量為Sback={Sk|ru≥rk}，其中對(duì)Sback中模板特征向量進(jìn)行第3層不變矩特征匹配，重新排序，得到3種層次匹配下的不同紋理特征的匹配結(jié)果，再分別用2種融合方法對(duì)3種層次匹配結(jié)果進(jìn)行篩選、融合，得到最終的匹配結(jié)果，如圖4所示。圖中，D1

1.5 多特征融合方法

表1 用于融合的蕾絲花邊匹配方法及其編號(hào)Tab.1 Lace matching method for fusion and classifier

1.5.1 融合方法1

(9)

將m個(gè)分類器對(duì)Sk的Borda數(shù)排序中最高的2個(gè)排序值求和，作為融合后對(duì)Sk的排序輸出值，即

(10)

(11)

1.5.2 融合方法2

(12)

重新排序，得到各個(gè)分類器融合后的所有模板特征向量的排序，排序最高的模板即為第1候選。

2 試驗(yàn)結(jié)果

利用1.2節(jié)方法獲取到1 008幅蕾絲花邊圖案，對(duì)這些圖像進(jìn)行預(yù)處理，將提取的每幅圖像的一個(gè)完全組織的模板特征向量存儲(chǔ)到蕾絲花邊數(shù)據(jù)庫來測試文中提出的算法。蕾絲花邊數(shù)據(jù)庫中圖案依次作為測試圖案，分別運(yùn)用上述各種匹配方法進(jìn)行測試，返回匹配效果最優(yōu)的前M個(gè)模板作為候選。前M個(gè)候選中若含有實(shí)際與測試圖案相對(duì)應(yīng)的模板圖案，即識(shí)別正確。識(shí)別率為正確識(shí)別的圖案個(gè)數(shù)占測試圖案總數(shù)目的百分比，定義評(píng)價(jià)指標(biāo)有M=1，M=5，M=10，3種情況正確識(shí)別率、一幅蕾絲花邊識(shí)別的平均時(shí)間，即一幅測試圖案與數(shù)據(jù)庫中所有的模板特征向量匹配得到識(shí)別結(jié)果的時(shí)間。綜合各種匹配方法測試結(jié)果如表2所示。

表2 8種蕾絲花邊識(shí)別方法的測試結(jié)果Tab.2 Test results of eight kinds of lace recognition methods

表2示出了3種單一紋理特征匹配方法、3種基于層次匹配下紋理特征匹配方法，以及2種基于層次匹配下多種紋理特征融合匹配方法對(duì)測試集合中圖案進(jìn)行檢測的結(jié)果。從試驗(yàn)結(jié)果可發(fā)現(xiàn)，基于層次匹配下各種紋理特征準(zhǔn)確率高于任一單一紋理特征匹配方法，其中基于層次匹配下GGCM紋理特征匹配方法效果最好。2種基于層次匹配下多種紋理特征融合匹配方法準(zhǔn)確率較高于層次匹配下各種紋理特征匹配方法，其中基于加權(quán)的Borda計(jì)數(shù)法略好于第1種融合方法。在識(shí)別速率上，因蕾絲花邊數(shù)據(jù)庫中各個(gè)完全組織的花高與花寬的不同，所以要遍歷樣本圖案每一個(gè)單位分塊，提取LBP紋理算子特征進(jìn)行匹配，導(dǎo)致LBP紋理算子特征的匹配速率明顯比其他單一的蕾絲花邊識(shí)別方法要慢。由于在單一紋理特征匹配方法基礎(chǔ)上結(jié)合層次匹配及特征融合，存在重復(fù)的步驟，因此基于層次匹配下3種紋理特征匹配方法及2種多特征融合方法識(shí)別時(shí)間要略高于單一紋理特征匹配方法。

3 結(jié) 語

本文針對(duì)單一紋理特征匹配方法識(shí)別率低下及提取紋理特征不全面的問題，分別運(yùn)用GLCM、GGCM、LBP紋理算子提取紋理特征，結(jié)合形狀特征與不變矩特征向量，進(jìn)行逐層次匹配，得到層次匹配下各個(gè)紋理特征匹配的結(jié)果。又將層次匹配下各個(gè)紋理特征進(jìn)行融合，提出了一種基于層次匹配下多特征融合的蕾絲花邊檢索方法，彌補(bǔ)了單個(gè)匹配方法的不足，增強(qiáng)了識(shí)別效果。分析結(jié)果表明，該方法優(yōu)于任意單一的蕾絲花邊匹配方法，能較好地實(shí)現(xiàn)蕾絲花邊檢索，有效地提高圖案檢索的可靠度和準(zhǔn)確率。

FZXB

[1] JEFFREY Kuo Chungfeng, SHIH Chungyang, HO Chengen, et al. Application of computer vision in the automatic identification and classification of woven abric weave patterns[J]. Textile Res J, 2010, 80(20): 2144-2157.

[2] 焦蓬蓬，郭依正，劉麗娟,等.灰度共生矩陣紋理特征提取的MatLab實(shí)現(xiàn)[J]. 計(jì)算機(jī)技術(shù)與發(fā)展，2012， 22(11):169-172. JIAO Pengpeng, GUO Yizheng, LIU Lijuan, et al. Extract matrix texture of gray level co-occurrence based on the Matlab[J]. Computer Technology and Development, 2012, 22(11): 169-172.

[3] HARALICK R M, SHAUNMMUGAM K, DINSTEIN I. Textural features for image classification[J]. IEEE Transactions on Systems, Man and Cybernetics, 1973, 3(6): 610-621.

[4] ALVARENGA A V, TEIXEIRA C A, RUANO M G, et al. Influence of temperature variations on the entropy and correlation of the gray-level co-occurrence matrix from B-mode images[J]. Ultrasonics, 2010, 50(2): 290-293.

[5] HU Y, ZHAO C X, WANG H N. Directional analysis of texture images using gray level co-occurrence matrix [C]// 2008 IEEE Pacific-Asia Workshop on Computational Intelligence and Industrial Application. Wuhan: ACM, 2008: 277-281.

[6] 洪繼光. 灰度-梯度共生矩陣紋理分析方法[J]. 自動(dòng)化學(xué)報(bào),1984,10(1): 22-25. HONG Jiguang. Analysis texture based on gray-gradient co-occurrence matrix[J]. Acta Automatica Sinica, 1984, 10(1): 22-25.

[7] OJALA T, PIETIKANINEN M, MAENPAA T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(7): 971-987.

[8] 常利利,馬俊,鄧中民,等.基于灰度共生矩陣的織物組織結(jié)構(gòu)差異分析[J]. 紡織學(xué)報(bào), 2008, 29(10): 43-46. CHANG Lili, MA Jun, DENG Zhongmin, et al. Analysis fabric structure variance based on gray level co-occurrence matrix[J]. Journal of Textile Research, 2008, 29(10): 43-46.

[9] JEFFREY Kuo Chungfeng, TSAI Chengchih. Automatic recognition of fabric nature by using the approach of texture analysis[J]. Textile Res J, 2006, 76(5): 375-382.

[10] LIN J J. Applying a co-occurrence matrix to automatic inspection of weave density for woven fabrics[J]. Textile Res J, 2002, 72(6): 486-490.

[11] 王知鷙.基于紋理及光譜信息融合的遙感圖像分類方法研究[D].西安：西安電子科技大學(xué)，2010:19-21. WANG Zhizhi. Research remote sening image classification based on texture and spectral information fushion[D]. Xi′an: Xidian University, 2010: 19-21.

[12] HU M K. Visual pattern recognition by moment invariants[J]. IRE Transactions on Information Theory, 1962, 8(2): 179-182.

[13] 張偉，何金國.Hu不變矩的構(gòu)造與推廣[J].計(jì)算機(jī)應(yīng)用，2010, 30(9): 2449-2452. ZHANG Wei, HE Jinguo. Construction and generalization of Hu moment invariants[J]. Journal of Computer Applications, 2010, 30(9): 2449-2452.

[14] JANE You, KONG Waikin, ZHANG David, et al. On hierarchical palmprint coding with multiple features for personal identification in large databases[J]. IEEE Transactions on Circuits and Systems For Video Technology, 2004, 14(2): 234-243.

Lace retrieval method based on improved texture feature

CAO Xia1, LI Yueyang1, LUO Haichi2, JIANG Gaoming1, CONG Honglian1

(1. Engineering Research Center of Knitting Technology, Ministry of Education, Jiangnan University, Wuxi, Jiangsu 214122, China; 2. Key Laboratory of Advanced Process Control for Light Industry, Ministry of Education, Jiangnan University, Wuxi, Jiangsu 214122, China)

Conventional lace pattern retrieval mainly relies on the manual retrieval and text retrieval, while the text retrieval marks image by language description which leads to the unstable annotation information, low efficiency and unreliable retrieval results. This work marked image by texture pattern feature. A lace retrieval algorithm containing classification selection and classifier fusion by hierarchical matching was proposed, and it made up the deficiency of the single matching method. Three image-based methods, such as gray level co-occurrence matrix, gray level-gradient co-occurrence matrix and local binary pattern operator, were fused by means of geometry features and invariant moments for match-by-level, respectively. Experimental results indicate that the performance of fusion-based method is better than any single method, and it can achieve the lace retrieval and improves the reliability and accuracy of image retrieval effectively.

image retrieval; lace; texture feature matching; hierarchical matching; feature fusion; feature extraction

10.13475/j.fzxb.20160602807

2015-06-12

2016-01-06

中央高校基本科研業(yè)務(wù)費(fèi)專項(xiàng)資金項(xiàng)目(JUSRP51404A，JUSRP211A38)；江蘇省產(chǎn)學(xué)研聯(lián)合創(chuàng)新資金-前瞻性聯(lián)合研究項(xiàng)目(BY2015019-11，BY2013015-14)；江蘇省高校優(yōu)勢學(xué)科建設(shè)工程資助項(xiàng)目(蘇政辦[2014]37號(hào))

曹霞(1990—)，男，碩士生。主要研究方向?yàn)閳D像處理技術(shù)在針織上的應(yīng)用。李岳陽，通信作者，E-mail： lyueyang@jiangnan.edu.cn。

TP 391.41

A