• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

      融合高級(jí)語義特征的色紡織物圖像快速檢索

      2022-03-28 10:37:24楊亞莉劉軍平
      紡織學(xué)報(bào) 2022年3期
      關(guān)鍵詞:紡織物查全率檢索系統(tǒng)

      谷 遷, 袁 理, 楊亞莉, 劉軍平

      (1. 武漢紡織大學(xué) 電子與電氣工程學(xué)院, 湖北 武漢 430200; 2. 武漢紡織大學(xué) 湖北省功能纖維加工及檢測(cè) 工程技術(shù)研究中心, 湖北 武漢 430200; 3. 武漢紡織大學(xué) 數(shù)學(xué)與計(jì)算機(jī)學(xué)院, 湖北 武漢 430200)

      隨著信息化技術(shù)的發(fā)展,圖像數(shù)據(jù)量隨之增加。如何利用數(shù)字圖像處理技術(shù)對(duì)大量的紡織品圖像進(jìn)行高效地檢索與數(shù)字化管理,是目前紡織企業(yè)亟待解決的問題。

      圖像檢索可分為基于文本和基于內(nèi)容的2種檢索方法。其中,基于內(nèi)容的圖像檢索方法是當(dāng)前研究的主流方向。方珍紅等[1]提出了利用模糊C均值聚類的方式構(gòu)造加權(quán)主顏色直方圖實(shí)現(xiàn)圖像檢索方法,在Corel圖像庫上的實(shí)驗(yàn)結(jié)果表明,該算法檢索性能優(yōu)于基于傳統(tǒng)顏色直方圖的檢索方法;崔紅靜等[2]提出基于分塊顏色直方圖和邊緣方向直方圖的檢索算法,該算法對(duì)織物圖像的檢索準(zhǔn)確率達(dá)80.83%;向忠等[3]針對(duì)織物印花花型存在同形不同色和同形異構(gòu)的特點(diǎn),提出了一種融合花型邊緣和顏色特征的圖像檢索算法,結(jié)果表明,該算法對(duì)圖片的平移、縮放、旋轉(zhuǎn)具有魯棒性,平均準(zhǔn)確率可達(dá)93.17%。上述圖像檢索算法均是基于圖像的淺層視覺特征進(jìn)行相似性度量從而進(jìn)行圖像檢索,但根據(jù)淺層視覺特征無法完整地表征紡織品的圖像信息;同時(shí),由于這種檢索方式缺少自主學(xué)習(xí)能力,且非常依賴特征提取模型的架構(gòu)設(shè)計(jì)和優(yōu)化[4],因此,當(dāng)圖像語義屬性和樣本數(shù)量增加時(shí),檢索效果不佳。

      近年來利用深度學(xué)習(xí)的方式能夠克服淺層特征的局限性,消除圖像特征與高級(jí)語義特征之間存在的“語義鴻溝”[5],并廣泛應(yīng)用于復(fù)雜模型的表征與圖像檢索。孫潔等[6]對(duì)淺層特征以及高級(jí)語義特征在織物圖像檢索中的應(yīng)用進(jìn)行了對(duì)比分析,指出深度卷積神經(jīng)網(wǎng)絡(luò)可以克服淺層視覺特征在大樣本數(shù)據(jù)集檢索中存在的局限性,具有理想的魯棒性;徐慧等[7]提出了基于多尺度特征融合的服裝款式檢索與推薦系統(tǒng),該系統(tǒng)在圖像語義分割的基礎(chǔ)上,利用深度卷積神經(jīng)網(wǎng)絡(luò)(CNN)提取服裝款式語義信息,并結(jié)合空洞空間金字塔池化(ASPP)對(duì)圖像進(jìn)行多尺度特征提取,很大程度上提高了服裝相似性語義推薦的效率。上述基于深度學(xué)習(xí)的方式在一定程度上提升了圖像檢索的效果,但缺失了對(duì)于圖像淺層視覺特征的描述。

      值得注意的是,色紡織物因其特殊的織造工藝[8-9],同時(shí)具備表征色紡織物顏色、形狀以及紋理等特性的淺層視覺特征和描述色紡織物宏觀風(fēng)格等特性的高級(jí)語義特征。為全面表征色紡織物所具備的多層特征,本文提出一種融合淺層視覺特征和高級(jí)語義特征的圖像檢索算法;同時(shí),為提高檢索系統(tǒng)的時(shí)效性,采用二進(jìn)制哈希編碼對(duì)高級(jí)語義特征進(jìn)行降維處理。在此基礎(chǔ)上,構(gòu)建層次化特征分類器,充分利用2類特征的描述特性對(duì)織物圖像進(jìn)行檢索,以期為色紡織物圖像數(shù)字化管理以及產(chǎn)品開發(fā)提供技術(shù)支持。

      1 融合特征提取算法及檢索流程

      1.1 淺層紋理特征提取算法

      局部二值模式(LBP)[10]是描述圖像局部紋理特征的經(jīng)典算法,其基本原理是比較中心像素與其鄰域像素的灰度值大小,鄰域像素值大于或等于中心像素值則編碼為1,小于則編碼為0,具體定義為:

      (1)

      (2)

      式中:LP,R為編碼后的二進(jìn)制值;gc為中心像素點(diǎn)的灰度值;gi為其鄰域像素點(diǎn)的灰度值;P為鄰域像素點(diǎn)個(gè)數(shù);R為鄰域半徑;s(x)為符號(hào)函數(shù)。通過調(diào)整LBP的參數(shù)及編碼規(guī)則可以獲得不同的紋理特征。

      與此同時(shí),提取織物的方向梯度直方圖(HOG)特征。具體過程為:首先將圖像轉(zhuǎn)化為灰度圖,對(duì)整個(gè)圖像進(jìn)行Gamma壓縮來降低圖像局部的陰影和光照變化;然后,將織物圖像分割為若干個(gè)像素的單元,并按照梯度方向平均劃分為9個(gè)區(qū)間進(jìn)行直方圖統(tǒng)計(jì),每相鄰的若干個(gè)單元構(gòu)成1個(gè)塊。色紡織物典型淺層特征如圖1所示。

      圖1 色紡織物淺層特征Fig.1 Low order characteristics of colored spun fabrics.(a) Original image of fabric; (b) LBP pseudo gray spectrum; (c) HOG feature map

      1.2 高級(jí)語義特征提取算法

      卷積神經(jīng)網(wǎng)絡(luò)(CNN)具備理想的高級(jí)語義特征提取能力,被廣泛應(yīng)用于圖像分類與目標(biāo)檢測(cè)等復(fù)雜模式識(shí)別場景。本文采用經(jīng)典的AlexNet網(wǎng)絡(luò)提取色紡織物圖像的高級(jí)語義特征。需要指出的是,該網(wǎng)絡(luò)含65萬個(gè)神經(jīng)元,數(shù)千萬個(gè)參數(shù),模型收斂過程很慢。針對(duì)此問題,采用遷移學(xué)習(xí)策略[11-12],將預(yù)訓(xùn)練的網(wǎng)絡(luò)作為一個(gè)特征提取器,指定AlexNet網(wǎng)絡(luò)的第2個(gè)全連接層fc7的輸出結(jié)果作為輸入圖片的特征向量,實(shí)現(xiàn)CNN網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化。

      在此基礎(chǔ)上,使用深度學(xué)習(xí)二進(jìn)制哈希(DLBH)算法對(duì)提取的高級(jí)語義特征進(jìn)行降維,從而提高檢索效率。高級(jí)語義特征提取過程如圖2所示。

      網(wǎng)絡(luò)模型的損失函數(shù)為SoftMax損失函數(shù),見下式:

      (3)

      注:fc6、fc7、fc8均為卷積神經(jīng)網(wǎng)絡(luò)的全連接層。圖2 高級(jí)語義特征提取過程Fig.2 Advanced semantic feature extraction

      1.3 基于融合特征的檢索流程

      檢索流程分為2個(gè)階段:第1階段為初步檢索,使用深度哈希網(wǎng)絡(luò)得到查詢樣本和數(shù)據(jù)庫圖像的哈希編碼,并按照漢明距離查找最相似的圖像得到Top-20;第2階段將分別提取查詢樣本和Top-20的淺層特征和高級(jí)語義特征,進(jìn)行特征融合后排序,得到最終的檢索結(jié)果Top-10。

      同時(shí),為了保證特征間的有效融合,需要對(duì)Top-20樣本特征進(jìn)行歸一化處理,見下式:

      (4)

      在此基礎(chǔ)上,根據(jù)式(5)進(jìn)行特征相似度融合:

      (5)

      式中:ωi為3種特征的權(quán)重;sij為Top-20圖像中第j張圖像與樣本第i種特征之間的相似度。

      (6)

      最后根據(jù)式(5)得到Top-20中第j張圖像與樣本的最終距離,排序得到Top-10,見下式:

      (7)

      式中,Dj表示Top-20中第j張圖像與樣本的最終距離。

      2 實(shí)驗(yàn)與結(jié)果

      2.1 實(shí)驗(yàn)樣本及系統(tǒng)參數(shù)

      委托合作企業(yè)提供了684份色紡針織物樣本用于測(cè)試分析,織造過程中的工藝參數(shù)和樣本具體數(shù)量如表1所示。

      表1 樣本參數(shù)Tab.1 Sample parameter

      全部樣本在相對(duì)濕度為65%狀態(tài)下平衡后,通過DigiEye Digital Imaging System系統(tǒng)進(jìn)行圖像采集,并在采集前通過白板和標(biāo)準(zhǔn)色卡對(duì)DigiEye系統(tǒng)相機(jī)進(jìn)行白平衡和顏色校正。每份織物樣本獲取其不同區(qū)域的3張標(biāo)準(zhǔn)圖像;同時(shí),對(duì)采集到的圖像進(jìn)行水平鏡像翻轉(zhuǎn),得到4 104張色紡織物圖像,其中3 800張圖像作為訓(xùn)練集,304張圖像作為測(cè)試集。部分樣本圖像如圖3所示。

      圖3 部分色紡織物樣本圖Fig.3 Sample drawing of colored spun fabrics.(a)Budding heather yarn;(b)Home spun heather yarn;(c)Mirage mini heather yarn;(d)Siro heather yarn

      實(shí)驗(yàn)測(cè)試系統(tǒng)為Windows10操作系統(tǒng);算法開發(fā)環(huán)境為Python3.7與MATLAB2016a,并安裝Tensor Flow-gpu1.14.0、CUDA Toolkit10.0與cuDNN7.4。

      2.2 實(shí)驗(yàn)結(jié)果評(píng)估標(biāo)準(zhǔn)

      本文選擇查全率與平均準(zhǔn)確率(mAP)對(duì)檢索結(jié)果進(jìn)行評(píng)估。查全率定義如下:

      (8)

      式中:P為查全率,%;b為檢索結(jié)果中正確查詢到的圖片數(shù)量;a為相似的圖片數(shù)量。查全率只能反映有多少正確的結(jié)果被檢索出,而平均準(zhǔn)確率能補(bǔ)充對(duì)檢索位置信息的評(píng)估,計(jì)算公式為

      (9)

      式中:Q1為平均準(zhǔn)確率,%;m為檢索樣本的數(shù)量;i表示第i張;Q2為每次查詢的檢索精度,其計(jì)算公式為

      (10)

      式中:ni表示第i張圖像的返回結(jié)果中正確查詢到的圖片總數(shù);x為正確查詢到的圖片在相似圖片中的位置;y為正確查詢到的圖片在返回的檢索結(jié)果中的位置。

      2.3 參數(shù)優(yōu)化

      能夠影響檢索系統(tǒng)性能的參數(shù)很多,包括哈希碼的長度、LBP算子以及HOG算子參數(shù)等。以訓(xùn)練集為基礎(chǔ),對(duì)檢索系統(tǒng)核心參數(shù)進(jìn)行優(yōu)化,結(jié)果如表2~4所示。

      表2 哈希碼長度與Top-10檢索結(jié)果Tab.2 Hash codes length and Top-10 search results

      表3 LBP算子參數(shù)與Top-10檢索結(jié)果Tab.3 LBP operator parameters and Top-10 search results

      從表2可以看出,哈希碼的長度越大,其檢索效果越好。但考慮到系統(tǒng)的實(shí)時(shí)性要求,本文將fc7層的特征映射為128位二進(jìn)制哈希碼,可以兼顧其查全率與執(zhí)行效率。

      表4 HOG算子參數(shù)與Top-10檢索結(jié)果Tab.4 HOG operator parameters and Top-10 search results

      由表3可知,旋轉(zhuǎn)不變統(tǒng)一模式的LBP算子參數(shù)R和P,即算子的領(lǐng)域像素點(diǎn)數(shù)量與可變區(qū)域大小會(huì)對(duì)識(shí)別結(jié)果產(chǎn)生影響。當(dāng)P=8,R=2時(shí),算子的紋理表征能力可以達(dá)到最優(yōu)。

      從表4可以看出,當(dāng)c=64,b=4時(shí),檢索系統(tǒng)的查全率和平均準(zhǔn)確率都為最高。

      綜上分析,檢索系統(tǒng)的關(guān)鍵參數(shù)設(shè)定為哈希碼長度128位;LBP算子P=8,R=2;HOG算子c=64,b=4。

      2.4 實(shí)驗(yàn)結(jié)果與分析

      對(duì)304張具有不同風(fēng)格類型的色紡織物圖像進(jìn)行檢索測(cè)試,結(jié)果如表5所示??梢钥闯?,對(duì)于9種不同風(fēng)格的色紡織物圖像,本文檢索方法的查全率均能達(dá)到95%及以上,平均準(zhǔn)確率均在85%以上,說明本文融合淺層視覺特征和高級(jí)語義特征的算法能夠?qū)哂袕?fù)雜顏色和紋理特性的色紡織物圖像進(jìn)行有效檢索。

      表5 檢索實(shí)驗(yàn)結(jié)果Tab.5 Search experimental results

      迷你幻影紗Top-10檢索結(jié)果如圖4所示,編號(hào)越小說明與原圖越相似。可以看出,與檢索樣本相似的待檢圖片均已返回,且排名均靠前。

      需要指出的是,在上述Top-10檢索結(jié)果中,第5號(hào)樣本圖像(水紋蠅帶紗)與檢測(cè)樣本不屬于同一類,屬于異常結(jié)果。經(jīng)過對(duì)比分析,發(fā)現(xiàn)該樣本存在大量的褶皺區(qū)域,從而導(dǎo)致特征提取出現(xiàn)偏差,如圖5所示。

      圖4 相似色紡織物檢索結(jié)果Fig.4 Retrieval results of similar colored spun fabrics.(a) Retrieval image; (b) Similarity Top-10 result image

      圖5 色紡織物褶皺圖像Fig.5 Colored spun fabric wrinkle image

      為進(jìn)一步驗(yàn)證織物褶皺對(duì)檢索結(jié)果的影響,對(duì)褶皺樣本進(jìn)行檢索測(cè)試,結(jié)果如圖6所示??梢钥闯?,在返回的Top-10結(jié)果中,只有Top-3、Top-6、Top-7與檢索樣本較為相似,其他返回結(jié)果差異較大。說明褶皺影響了圖像本身的平整度,進(jìn)而導(dǎo)致圖像的特征發(fā)生改變,影響了最終的實(shí)驗(yàn)結(jié)果。

      2.5 對(duì)比實(shí)驗(yàn)結(jié)果

      為充分驗(yàn)證融合高級(jí)語義特征檢索方法的有效性與實(shí)用性,建立對(duì)比實(shí)驗(yàn)Ⅰ。其中:將未微調(diào)的AlexNet卷積神經(jīng)網(wǎng)絡(luò),記為方法1;將使用遷移學(xué)習(xí)并微調(diào)AlexNet卷積神經(jīng)網(wǎng)絡(luò)模型參數(shù),記為方法2;將直接提取圖像HOG特征進(jìn)行檢索,記為方法3;將利用LBP與HOG融合特征進(jìn)行檢索,記為方法4。對(duì)比實(shí)驗(yàn)結(jié)果如表6所示。

      圖6 異常色紡織物檢索結(jié)果Fig.6 Retrieval results of abnormal colored spun fabrics.(a) Retrieval image; (b) Similarity Top-10 result image

      從表6可以看出,本文檢索方法查全率和平均準(zhǔn)確率分別為97.37%,87.54%。相較于單一淺層特征,對(duì)多特征進(jìn)行融合能提高系統(tǒng)的檢索性能,但由于缺乏對(duì)織物圖像風(fēng)格屬性的語義表征,檢索結(jié)果還有待提高。與其他方法對(duì)比,本文將淺層特征與高級(jí)語義特征相融合能有效提高檢索系統(tǒng)的查全率和平均準(zhǔn)確率。

      表6 對(duì)比實(shí)驗(yàn)Ⅰ結(jié)果Tab.6 Contrast experiment Ⅰ results

      同時(shí),為驗(yàn)證本文系統(tǒng)的實(shí)時(shí)性,結(jié)合對(duì)比方法建立對(duì)比實(shí)驗(yàn)Ⅱ。其中,對(duì)比方法為在圖像數(shù)據(jù)庫中直接提取圖像的淺層視覺特征及高級(jí)語義特征,并將2種特征融合后進(jìn)行圖像檢索。結(jié)果發(fā)現(xiàn),本文方法的檢索時(shí)間為0.8 ms,對(duì)比方法的檢索時(shí)間為605 ms,執(zhí)行效率提升約750倍??梢钥闯觯疚膶⒏呔S特征量化為二進(jìn)制哈希碼,能有效提高檢索系統(tǒng)的執(zhí)行效率,具有顯著優(yōu)勢(shì)。

      3 結(jié) 論

      為提高色紡織圖像檢索系統(tǒng)的有效性與實(shí)時(shí)性,本文建立了一種融合淺層紋理特征與高級(jí)語義特征的檢索系統(tǒng)。該系統(tǒng)利用深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)色紡織物圖像的花型風(fēng)格等語義特征進(jìn)行表征,同時(shí)融合圖像的局部二值模式與方向梯度直方圖等淺層紋理特征,從而構(gòu)建層次化檢索系統(tǒng)。在此基礎(chǔ)上,通過二進(jìn)制哈希編碼對(duì)高維特征向量進(jìn)行降維,降低檢索特征的匹配時(shí)間。對(duì)具有9種不同紋理風(fēng)格的色紡織物樣本圖像進(jìn)行檢索發(fā)現(xiàn),該檢索系統(tǒng)的Top-10查全率與平均準(zhǔn)確率分別達(dá)到了97.37%和87.54%;同時(shí),執(zhí)行效率提升約750倍,能夠滿足實(shí)時(shí)性要求。但該檢索系統(tǒng)對(duì)織物圖片褶皺區(qū)域的抗干擾能力較弱,如何提升其抗干擾能力將是下一步研究的重點(diǎn)內(nèi)容。

      猜你喜歡
      紡織物查全率檢索系統(tǒng)
      采用二甲基甲酰胺(70℃溶解法)測(cè)定棉/氨綸混紡織物纖維含量
      使用尺度不變特征變換和K最近臨算法快速自動(dòng)識(shí)別混紡織物的棉毛纖維
      毛紡科技(2021年8期)2021-10-14 06:51:32
      醋酯纖維氨綸混紡織物定量分析方法探討
      海量圖書館檔案信息的快速檢索方法
      收錄《信號(hào)處理》的檢索系統(tǒng)及數(shù)據(jù)庫
      收錄《信號(hào)處理》的檢索系統(tǒng)及數(shù)據(jù)庫
      本刊被以下檢索系統(tǒng)及數(shù)據(jù)庫收錄
      本刊被以下檢索系統(tǒng)及數(shù)據(jù)庫收錄
      基于詞嵌入語義的精準(zhǔn)檢索式構(gòu)建方法
      低發(fā)射率涂料的研制及其在滌/棉混紡織物熱紅外偽裝中的應(yīng)用
      絲綢(2014年2期)2014-02-28 14:54:40
      宜黄县| 宁陵县| 政和县| 循化| 文安县| 武强县| 南安市| 梁山县| 泗阳县| 平江县| 东城区| 宝坻区| 邯郸县| 塘沽区| 高雄县| 土默特左旗| 皋兰县| 资源县| 卓尼县| 新源县| 东乌| 奇台县| 定西市| 嘉黎县| 肇源县| 佛坪县| 什邡市| 奉新县| 浪卡子县| 开平市| 筠连县| 岳西县| 西城区| 平武县| 台州市| 洛隆县| 宁国市| 惠安县| 青冈县| 宜都市| 孟津县|