基于圖像處理的紡織品耐摩擦色牢度評級

安亦錦，薛文良，丁 亦，張順連

(1.東華大學(xué) 紡織面料技術(shù)教育部重點實驗室，上海 201620；2.東華大學(xué) 紡織學(xué)院，上海 201620；3.廣州檢驗檢測認(rèn)證集團有限公司，廣東 廣州 511447)

色牢度是紡織品生產(chǎn)質(zhì)量控制和成品檢驗中極為重要的指標(biāo)，是指紡織品的顏色在加工、穿著、使用和洗滌等過程中所能承受外界作用力的大小[1-4]。在評定原樣和試樣的色差時基本沿用目測法[5]，即檢驗人員利用人眼對模擬實驗后的紡織品進行灰度差別轉(zhuǎn)換，再與標(biāo)準(zhǔn)灰色樣卡[6-7]對照，判斷色差等級。該過程存在極大的主觀因素，易受外界環(huán)境以及主觀因素的影響[8]，需要一種能代替人眼判斷、提高效率和準(zhǔn)確度并降低工作量的評級方式。

目前解決方式是采用儀器測定法來實現(xiàn)色牢度自動評級，所用的測色儀器主要基于光譜分析測色[9-10]；但儀器法的測色方法和色差計算等理論研究在應(yīng)用方面還不成熟，國外進口設(shè)備昂貴且在國內(nèi)實際應(yīng)用中存在顏色標(biāo)準(zhǔn)不一致性等問題，使得儀器法評級不能作為最終色牢度判斷的依據(jù)[11-13]，且測試時間較長，探測頭取樣面積固定、單一，有必要探索和研究一種更智能便捷的紡織品色牢度輔助評級方法。實質(zhì)上，色牢度評級是對圖像進行識別的過程，而深度學(xué)習(xí)可自主、準(zhǔn)確地實現(xiàn)這一過程，因此，本文嘗試以紡織品耐摩擦色牢度評級為例，利用圖像處理技術(shù)對采集圖像進行增強和分割，規(guī)避目前儀器方法存在的顏色空間不足、取樣面積單一等問題，且處理準(zhǔn)確快速；利用深度學(xué)習(xí)對訓(xùn)練樣本進行客觀高效的圖像識別，實現(xiàn)過程智能化，取代傳統(tǒng)的人眼評級方法，降低檢驗人員工作和心理壓力，提高效率，得出一種基于圖像處理和深度學(xué)習(xí)的色牢度評級新方法，提高準(zhǔn)確性、監(jiān)管性，實現(xiàn)紡織品色牢度評級的便捷化。

1 采 樣

1.1 采樣對象

色牢度的好壞用色牢度等級來評定，除耐光色牢度和耐氣候色牢度等級分為8級外，其余的色牢度等級均分為5級，并在相鄰2級之間設(shè)有半級[3]。傳統(tǒng)的紡織品色牢度色差等級評定是根據(jù)試樣的變色和貼襯織物的沾色分別評定的[14]。沾色評級在同樣尺寸的原色貼襯上進行，拍照過程較易實現(xiàn)，采樣評級受制約較少，采樣評級相對較容易，而且神經(jīng)網(wǎng)絡(luò)的內(nèi)部邏輯相似，因此首先對摩擦沾色試樣進行色牢度評級的探索。

紡織品耐摩擦色牢度是紡織品染色牢度的重要檢測內(nèi)容，是檢測紡織品抵抗顏色磨損的能力及對其他材料的沾色情況，通常用沾色評級反映紡織品耐摩擦色牢度。目前，國內(nèi)采用GB/T 3920—2008《紡織品 色牢度試驗 耐摩擦色牢度》，通過評定標(biāo)準(zhǔn)棉布與被測樣品摩擦后的被沾色情況，比對標(biāo)準(zhǔn)灰卡，根據(jù)5級9等的評級劃分，以此判定測試樣品的耐摩擦色牢度等級。

1.2 采樣方法與儀器

預(yù)實驗發(fā)現(xiàn)，毛織物中的絨類織物(有其他織物也可能存在該類問題)與摩擦頭的摩擦阻力相對更大，使得摩擦頭邊緣與絨類織物間瞬時壓強變大，導(dǎo)致染色顆粒更多的沾染在標(biāo)準(zhǔn)摩擦布邊緣，該種情況下，評級時不對其邊緣沾色情況進行考慮。然而邊緣顏色的存在會對目光評級產(chǎn)生混淆；而對于目前采用的儀器方法，邊緣較深的顏色極難在采樣過程中避免，易造成測色不準(zhǔn)或采樣偏差，以至于最后紡織品評級過低。

織物花色有特殊紋路或者紋樣色彩本身深淺不一致，或者織物本身在染色過程及后處理過程中造成染料在織物上固著度的不一致，均導(dǎo)致摩擦后標(biāo)準(zhǔn)摩擦布上沾色不勻，該種情況下要按照沾色最深處進行評級。然而，較有經(jīng)驗的評級工作人員雖然能夠按照最深處的沾色進行評級，但仍然存在一定混淆；對于目前采用的儀器方法，極易在采樣過程中漏采深色沾色部分導(dǎo)致評級過高。

基于紡織品色牢度評級場景目前存在的上述問題，本研究將利用圖像處理技術(shù)提取評級特征并對圖片進行篩選，并進行整塊標(biāo)準(zhǔn)摩擦布的拍照采集以保證采樣完整，規(guī)避目前儀器方法采樣單一的問題。由于顏色的提取和色彩空間轉(zhuǎn)換本身的缺陷，以及紡織品本身對目光評級和目前的儀器方法造成影響的特點，進行圖片拍攝采樣和圖像處理后作為系統(tǒng)輸入，來獲取顏色信息，結(jié)合后續(xù)的神經(jīng)網(wǎng)絡(luò)對圖像的準(zhǔn)確提取特征和分類完成更為準(zhǔn)確高效的紡織品色牢度評級的創(chuàng)新研究。

本文研究所用的訓(xùn)練樣本實驗圖像是對已評級后的樣品采集的圖像，規(guī)避對色牢度評級的灰卡比對過程。

選用NIKON D750相機進行圖像采集可滿足圖像對清晰度等條件的要求，設(shè)置F4光圈、焦距為35 mm，圖像選擇最高分辨率4 016像素×6 016像素。使用實驗室已有的固定光源箱，光源按照檢測要求使用D65標(biāo)準(zhǔn)光源，對已進行人眼評級的沾色試驗樣本進行拍照采集，照片的分辨率達到300 dpi。

1.3 采樣結(jié)果

共獲取5級9等每個等級250張圖像，共計2 250張圖片。

2 圖像處理

2.1 圖像預(yù)處理

因為研究是基于小樣本量，且最差等級的色牢度評級樣本較少出現(xiàn)。為提高神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)效率和準(zhǔn)確性，根據(jù)試樣采集圖片分辨率、特征提取范圍清晰度等對采集樣本先進行預(yù)篩選和處理。由于目光評定受主觀影響較大，在半個級別的誤差允許范圍內(nèi)仍然存在相差1個級別或1.5個級別的樣本會被評為同一個等級的情況，因此與多位專家為每個級別討論選定上下評級邊界樣本，用以進行比對和篩選，其中發(fā)現(xiàn)評定級別的2～3級與3級的邊界模糊性最大。

深度學(xué)習(xí)模型所能提供的信息來源于訓(xùn)練數(shù)據(jù)中的信息和模型的形成中專家提供的先驗信息。基于小樣本量的深度學(xué)習(xí)，模型從原始數(shù)據(jù)中所能獲取的信息少，需要更多的先驗信息[15-17]，因此本研究利用圖像處理技術(shù)對采集后所得的數(shù)據(jù)集進行了擴展。常用的處理方式，如添加噪聲、顏色變換會對后期深度學(xué)習(xí)的特征提取造成不必要干擾，降低準(zhǔn)確率；改變圖像亮度等對圖像成色會造成一定誤差，降低準(zhǔn)確率和效率；縮放等不利于圖像分割定位，都不適用于該場景，因此選擇隨機旋轉(zhuǎn)變換對數(shù)據(jù)集進行擴展，共獲取5級9等每個等級350張圖像，共計3 150張圖片。

2.2 圖像分割

將圖像劃分為若干互不相交的區(qū)域，區(qū)域是所需條件意義下具有相同屬性的像素連通的集合。圖像分割一般有3種方法，根據(jù)本文研究采集的圖像特征，采用最小外接矩形算法提取圖像需深度學(xué)習(xí)的識別區(qū)域。

2.2.1 Canny算法邊緣檢測

邊緣檢測是對邊緣像素的定位過程，是圖像分割的基礎(chǔ)。Canny邊緣檢測算子由Canny在1986年開發(fā)[18-19]，是目前邊緣檢測最常用的算法，不易受圖像噪聲干擾，效果理想。在本文研究中該算法模塊具體包括以下3部分。

1)先用高斯濾波對圖像進行去噪。高斯函數(shù)是一個類似正態(tài)分布的中間大兩邊小的函數(shù)。設(shè)像素點位置為(m,n)，其二值圖的灰度值為f(m,n)。經(jīng)過高斯濾波后的灰度值將變?yōu)?/p>

2)計算圖像的梯度?；谄涠ㄎ粓D像灰度強度變化最強像素點的原理，計算圖像的梯度。通過點乘一個sobel算子或其他算子得到不同方向的梯度值gx(m,n)，gy(m,n)，綜合梯度G(m,n)通過下式計算梯度值和梯度方向：

3)確定真實邊界。根據(jù)梯度抑制非極大值，設(shè)置閾值確定邊界。高斯濾波可能放大邊緣，需要使用規(guī)則來過濾非邊緣點，在梯度方向上的梯度值最大的像素點屬于邊緣。設(shè)置maxVal和minVal共2個閥值：大于maxVal的像素點都被保留為邊緣像素點；低于minVal的都是非邊緣像素點；中間的像素點與確定為邊緣的像素點鄰接則定為邊緣像素點。

2.2.2 最小外接矩形分割

利用Canny算子進行邊緣檢測后確定特征區(qū)域，利用最小外接矩形算法對其進行提取、分割。計算得到完全包含所需特征區(qū)域的所有的點、線，且四邊均與特征區(qū)域相切的外接矩形，比較其中面積最小的，即最小外接矩形(MER[5-7]，只有1個，從較精確范圍上框定特征區(qū)域)，并采用等間隔旋轉(zhuǎn)的迭代方法計算比較最小外接矩形，在規(guī)定范圍內(nèi)以設(shè)定角度值進行計算、旋轉(zhuǎn)和擬合邊界[20]，得到面積最小的外接矩形，以此作為后期深度學(xué)習(xí)的樣本。

2.2.3 算法實現(xiàn)

在Windows Server2012R2服務(wù)器上搭建環(huán)境，安裝程序，利用Pycharm調(diào)用OpenCV等文件包進行摩擦沾色區(qū)域的提取。

1)邊緣提取。輸入并讀取圖片，圖片讀取內(nèi)容如圖1所示。進行邊緣檢測。由于邊緣像素點的信號變化極大，即灰度值或色彩值急劇變化[21]，在梯度方向和反梯度方向各找n個像素點，利用邊界尋找函數(shù)對圖像進行二值圖像的輪廓尋找，對梯度變化最大的像素點進行記錄，對結(jié)果進行閾值二值化的雙閾值檢測，最后抑制非極大值并進行特征區(qū)域邊緣連接。

圖1 圖像的讀取

2)框定外接矩形面積最大的輪廓。確定特征區(qū)域邊緣后，調(diào)用應(yīng)用程序編程接口(API)求取特征區(qū)域輪廓的最小外接矩形，各區(qū)域最小外接矩形求取結(jié)果如圖2框定區(qū)域所示。計算各最小外接矩形面積，根據(jù)采樣圖像特征調(diào)用函數(shù)選擇所需的面積最大的最小外接矩形，確定特征區(qū)域進行提取。

圖2 求取結(jié)果圖

3)對圖像進行透視變換。確定所需的面積最大的最小外接矩形，即確定特征區(qū)域后，輸出像素，用函數(shù)構(gòu)建透視變換的矩陣，對圖像進行非尺寸和形狀的透視變換，變換結(jié)果如圖3所示。

圖3 填充圖像的透視

4)裁剪目標(biāo)區(qū)域。透視變換后對采集圖樣進行裁剪，保留提取的特征區(qū)域，刪減干擾特征點，去掉布面紋理和三維特征導(dǎo)致的平面呈現(xiàn)效果對深度學(xué)習(xí)的干擾，最大限度保留色彩特征以進行后期訓(xùn)練，完成圖像分割，如圖4所示。

圖4 圖像分割結(jié)果

3 數(shù)據(jù)庫建設(shè)與深度學(xué)習(xí)

3.1 數(shù)據(jù)庫搭建

將處理后圖像進行打標(biāo)整理，搭建數(shù)據(jù)庫，便于后期深度學(xué)習(xí)的識別與分類，并初步分為學(xué)習(xí)樣本、實驗樣本、檢驗樣本3部分，其中，檢驗樣本為神經(jīng)網(wǎng)絡(luò)測試樣本。數(shù)據(jù)庫內(nèi)部分為兩級，首先根據(jù)實驗樣品檢測項目的不同，進行一級分類，然后根據(jù)色牢度目光評級的9個等級進行二級分類，建立神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)數(shù)據(jù)庫。

3.2 深度學(xué)習(xí)

通過預(yù)實驗和拍照采集之后發(fā)現(xiàn)，經(jīng)過圖片對比，無法人工找到圖片中沾色區(qū)域顏色深淺、色點數(shù)量、微觀結(jié)構(gòu)與評級之間的聯(lián)系，導(dǎo)致無法人工提取圖像特征，而采用深度模型進行學(xué)習(xí)，是一種以人工神經(jīng)網(wǎng)絡(luò)為架構(gòu)，對數(shù)據(jù)進行表征學(xué)習(xí)的算法[36]，可以通過神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)技術(shù)自行產(chǎn)生可應(yīng)用于圖像識別的特征。深度學(xué)習(xí)中常用于圖像識別的神經(jīng)網(wǎng)絡(luò)是卷積神經(jīng)網(wǎng)絡(luò)，其采用原始圖像作為輸入，具有局部感知和參數(shù)共享2個特點[22-23]，可有效、全面而高效地從大量樣本中學(xué)習(xí)到相應(yīng)的特征。

3.2.1 超級深卷積神經(jīng)網(wǎng)絡(luò)實驗

由于涉及到的識別分類種類多且樣本較一般分類所使用的300～500張的體量要多，因此針對實際情況，首先實驗了超級深的卷積神經(jīng)網(wǎng)絡(luò)，設(shè)置的準(zhǔn)確性受到網(wǎng)絡(luò)深度的影響顯著，在一般的認(rèn)知基礎(chǔ)之上將神經(jīng)網(wǎng)絡(luò)的深度加深到16～19個權(quán)重層級，從而實現(xiàn)對現(xiàn)有技術(shù)的顯著改進，為適應(yīng)本研究色牢度評級的場景，研究從相對容易進行辨別分類的單纖貼襯沾色評級進行嘗試。由于紡織品單纖貼襯沾色色牢度評級數(shù)據(jù)庫有3 150張圖片，9個分類，使用超級深的卷積神經(jīng)網(wǎng)絡(luò)可利用較小的卷積核解決較多數(shù)據(jù)量和類別所導(dǎo)致的參數(shù)提升與運算效率下降，并盡可能提升其分類結(jié)果，有利于其準(zhǔn)確分類[24]。

由于首先從單纖貼襯開始研究，因此將所有單纖貼襯處理后的圖像導(dǎo)入數(shù)據(jù)庫中，按照70%學(xué)習(xí)樣本、15%校正樣本和15%測試樣本的比例進行圖像分類，搭建數(shù)據(jù)庫，以滿足神經(jīng)網(wǎng)絡(luò)的自我學(xué)習(xí)與檢測。在本文研究中，基于對超級深的卷積神經(jīng)網(wǎng)絡(luò)的適用性[25]的推測，采用19層級的網(wǎng)絡(luò)架構(gòu)，分為輸入層、卷積疊加池化層、全連接層疊加輸出層。池化層套疊5個最大池化層并嵌鏈在部分卷積層之后，在此之后嵌接3個全連接層，拓寬卷積層的寬度和深度進行模型配置，其中輸入層為數(shù)據(jù)庫所錄入的圖像，輸出層為評級結(jié)果；將卷積核縮小，根據(jù)服務(wù)器運算能力和所構(gòu)建的數(shù)據(jù)庫規(guī)模改進設(shè)計為3×3卷積核；步長固定為1，padding設(shè)置為1。

測試發(fā)現(xiàn)，超級深的卷積準(zhǔn)確率僅有37%。為改進準(zhǔn)確率結(jié)果，分析可能導(dǎo)致的原因包括：1)數(shù)據(jù)庫量較小，只是每種分類的訓(xùn)練量不足；2)全部單纖沾色圖像全部錄入數(shù)據(jù)庫，未先進行等級的分類，可能導(dǎo)致計算機各等級之間分界混亂，且專家評級存在適應(yīng)性和主觀性誤差，影響機器學(xué)習(xí)；3)參數(shù)設(shè)置需要不斷調(diào)整磨合；4)模型選擇失誤。

針對可能的原因進行修正：1)對數(shù)據(jù)庫進行擴充，將3 150張圖片擴充至4 950張，每個類別有550張并進行明確標(biāo)簽；2)對數(shù)據(jù)庫中采集圖像進行級別評定的確認(rèn)，確保每張圖像所代表的級別等級準(zhǔn)確，同時去掉分級混淆、分級錯誤、分級邊界不清的圖像，保留4 500張圖片，每級別分類有500張；3)調(diào)整卷積核的大小為2×2，步長大小設(shè)置為1，池化層消減為4個最大池化層，再次進行運行。在對數(shù)據(jù)進行調(diào)整和明確之后，提升其準(zhǔn)確率為48%。

通過對其進行多角度、多梯度的參數(shù)調(diào)整，最終穩(wěn)定其準(zhǔn)確率為51%，該值無法再次提升且不能達到評級需求。分析其根本原因在于該神經(jīng)網(wǎng)絡(luò)層級過深，紡織品單纖貼襯沾色場景中獲取的圖像背景與前景區(qū)分明顯，過深的神經(jīng)網(wǎng)絡(luò)可能導(dǎo)致學(xué)習(xí)過程中對其紋理特征或其他不相關(guān)內(nèi)容進行了關(guān)注訓(xùn)練，導(dǎo)致特征提取混亂，反而降低了學(xué)習(xí)的準(zhǔn)確率，即模型不合適。

3.2.2 創(chuàng)新算法設(shè)計

1)空間金字塔池化(SPP)圖像輸入處理。利用SPP對圖像進行卷積操作。將任意尺度圖像的卷積的特征轉(zhuǎn)化為相同維度輸入到全連接層，方便卷積神經(jīng)網(wǎng)絡(luò)處理任意尺度圖像而不受數(shù)據(jù)庫內(nèi)容尺寸影響，避免cropping和warping帶來的信息丟失。由于本文研究所采集到的圖片尺寸多樣，顏色區(qū)域所在位置不定，經(jīng)過圖像處理后所得結(jié)果的圖片尺寸不盡相同，因此利用SPP在輸入卷積神經(jīng)網(wǎng)絡(luò)前對圖像進行統(tǒng)一卷積，使得嵌套后的神經(jīng)網(wǎng)絡(luò)能夠處理任意尺寸的采集圖片，避免顏色信息的丟失，大大提升準(zhǔn)確率。

2)卷積神經(jīng)網(wǎng)絡(luò)(CNN)特征提取。利用CNN針對所解決問題進行神經(jīng)網(wǎng)絡(luò)的架構(gòu)設(shè)計。

3)支持向量機(SVM)調(diào)用。在機器學(xué)習(xí)中。使用分類和回歸分析來分析數(shù)據(jù)，求解SVM[26]，進行帶約束的優(yōu)化問題。求解對偶問題的解逼近SVM的最優(yōu)解，使梯度為零獲得極小值，完成目標(biāo)并得到優(yōu)化約束下的二次函數(shù)，從而進行分類。

4)深度殘差網(wǎng)絡(luò)(ResNext)調(diào)用。為提高模型準(zhǔn)確率，解決辦法基本都是拓寬或深化網(wǎng)絡(luò)，但是同時會造成超參數(shù)數(shù)量(通道數(shù)、核的大小等)的增加，導(dǎo)致整個網(wǎng)絡(luò)架構(gòu)的難度升高，計算內(nèi)容也會增多導(dǎo)致同樣硬件情況下計算效率下降[27]。因此在ResNet基礎(chǔ)上將ResNet與Inception網(wǎng)絡(luò)(又名GoogleNet)相結(jié)合，即通過將輸入分配到多條分支(相同拓撲結(jié)構(gòu))后，分組卷積，在每條分支內(nèi)進行轉(zhuǎn)換，最后再將其融合，從而得到ResNeXt 結(jié)構(gòu)，使得網(wǎng)絡(luò)可在不增加參數(shù)的復(fù)雜度的同時提高準(zhǔn)確率，減少超參數(shù)數(shù)量。

3.2.3 算法實現(xiàn)

本文研究針對所解決問題進行相應(yīng)神經(jīng)網(wǎng)絡(luò)的架構(gòu)調(diào)整設(shè)計。要保證過多分類和特征識別不造成繁雜的參數(shù)計算量和過度擬合，最終使用Res NeXt 101_32×32 d深度殘差網(wǎng)絡(luò)，適應(yīng)所解決的數(shù)據(jù)多分類類型的問題，同時減少多參的復(fù)雜度并提高準(zhǔn)確度。在Ubantu 20.04(配置Nvidia RTX 3090 GPU)環(huán)境下利用Pytorch進行算法編寫、架構(gòu)和模型調(diào)用、修改。

4 實驗驗證與結(jié)果

將數(shù)據(jù)庫導(dǎo)入算法，設(shè)置、選擇不同模型和參數(shù)進行學(xué)習(xí)、測試，并進行比較。通過不斷調(diào)整參數(shù)設(shè)置和明確數(shù)據(jù)庫分類，目前小樣本情況下所得到最穩(wěn)定高效的訓(xùn)練集的損失率為1.00×10-6、準(zhǔn)確率為1；測試集的損失率為0.16%、準(zhǔn)確率為87.5%，如圖5所示，在小樣本量、多分類的制約條件下準(zhǔn)確率較高。

圖5 測試集結(jié)果圖

重新隨機抽取未評定等級的100個實驗樣本進行拍照采集，并將其輸入系統(tǒng)算法，記錄從拍照采集、輸入到最終輸出結(jié)果的時間；同時分別請3名從事檢驗檢測多年、經(jīng)驗豐富的專家無干擾、獨立地在標(biāo)準(zhǔn)光源箱內(nèi)(日常工作評級一般在各自工位進行)對100個實驗樣本進行目光評級，記錄其評級數(shù)和整個評級時間，并在半級允差范圍內(nèi)對結(jié)果取平均值，異常樣本單獨進行討論評定(未出現(xiàn)異常樣本)，得到100個樣本的最終評級數(shù)。

將本文研究的計算機深度學(xué)習(xí)的評級結(jié)果與專家目光評級結(jié)果進行比較，在半級允差的范圍內(nèi)，深度學(xué)習(xí)的評級結(jié)果與專家目光評級結(jié)果相似度達98%，即準(zhǔn)確率達98%，其中誤差樣本如圖6所示。樣本A57專家評定2級，系統(tǒng)評定1級；樣本A91專家評定2～3級，系統(tǒng)評定1～2級。詢問專家和分析樣本后發(fā)現(xiàn)：由于樣本A56顏色較深，給專家造成了視覺暫留，以至于所看到的樣本A57較實際顏色更深；樣本A91由于專家進行目光評級時已較為疲憊，且受到評級時樣品在光源箱內(nèi)擺放角度對光線、呈色等造成的影響，導(dǎo)致所給級別偏高。

圖6 誤差樣本圖

5 結(jié)束語

本文根據(jù)紡織品色牢度樣本特點，應(yīng)用圖像處理技術(shù)和深度學(xué)習(xí)方法，編寫并改進了相應(yīng)算法，結(jié)果表明其準(zhǔn)確率高、評級速度快，避開測色過程中由于機器的差異帶來的系統(tǒng)誤差，利用現(xiàn)有儀器，減少對采樣操作中的額外要求，實現(xiàn)了對圖像特征進行提取識別和對目光評級過程的模擬，操作簡單，高效準(zhǔn)確。本文研究方法可代替檢驗人員進行等級評定，減少主觀影響，提高監(jiān)管性且避免人工重復(fù)工作。