基于近紅外光譜和深度學(xué)習(xí)算法的羊毛混紡廢舊紡織品定性分析

邱 迅，劉媛媛，郭晟材，劉冬志，王 翀，劉 俊，徐淑華，楊 莉，龔 龑,,8

(1.新疆大學(xué) 紡織與服裝學(xué)院，新疆 烏魯木齊 830017； 2.北京服裝學(xué)院 材料設(shè)計與工程學(xué)院，北京 100029；3.天津九光科技發(fā)展責(zé)任有限公司，天津 300450； 4.新疆環(huán)疆綠源環(huán)?？萍加邢薰荆陆?烏魯木齊 830019；5.烏魯木齊海關(guān)，新疆 烏魯木齊 830011； 6.新疆如意紡織服裝有限公司，新疆 石河子 832000； 7.新疆如意時尚服裝有限公司，新疆 石河子 832000； 8.塔里木大學(xué) 機械電氣化工程學(xué)院，新疆 塔里木 843300)

紡織品在生產(chǎn)的過程中會消耗大量的水[1-2]，并排放出帶有有害物質(zhì)的廢氣和廢水。未處理的廢舊紡織品不容易在自然環(huán)境中降解，因此為實現(xiàn)綠色環(huán)保的發(fā)展理念，針對廢舊紡織品進行回收再利用十分必要。通常情況下，廢舊紡織品由不同比例的纖維混紡而成，其中回收羊毛含量大于70%的廢舊羊毛紡織品是經(jīng)濟價值較高的一種回收方式。

為了精準(zhǔn)地分揀出羊毛纖維含量達(dá)到一定比例的廢舊紡織品[3]，可以采用近紅外光譜儀(NIR)進行定性分析。依據(jù)不同物質(zhì)近紅外吸收光譜的差異性，可使用合適的算法對近紅外光譜的數(shù)據(jù)進行建模，常用的算法有最小二回歸(PLS)、支持向量機(SVM)、邏輯回歸(Logistic Regression)等。近紅外光譜數(shù)據(jù)反應(yīng)物質(zhì)在700～2500 nm光譜波段的吸收強度、光譜數(shù)據(jù)的維度大小與光譜儀的分辨率成正比。在建模的過程中，有的波段與標(biāo)簽相關(guān)性低，用相關(guān)性低的特征建立分類或回歸模型，會降低模型的效率和準(zhǔn)確率，因此，在建模前需要對光譜特征進行降維、選擇光譜的特征波段、提取光譜的高級特征等。光譜特征降維常用主成分分析法(PCA)和T分布隨機鄰域嵌入算法(TSNE)；特征選擇算法有遺傳算法(GA)和競爭性自適應(yīng)重加權(quán)采樣法(CARS)；高級特征有極差、方差、偏度、峰度、自相關(guān)系數(shù)等。降維、特征選擇和高級特征設(shè)計是一個迭代過程，需要不斷的設(shè)計特征、選擇特征、建立模型、評估模型，最終得到最優(yōu)模型，這會導(dǎo)致訓(xùn)練模型的過程繁瑣。而卷積神經(jīng)網(wǎng)絡(luò)的卷積層利用輸入數(shù)據(jù)中的局部空間相關(guān)性，讓輸入數(shù)據(jù)在共享參數(shù)時具有較少的權(quán)重，并且可以較低的計算成本提取相關(guān)特征，免去了繁瑣的特征選擇等操作。

因此，本文提出以一維卷積殘差網(wǎng)絡(luò)(NIRS_1D-Resnet)對廢舊紡織品的光譜進行分類，通過比較不同歸一化層的模型的準(zhǔn)確率，選取準(zhǔn)確率最高的模型，而后對比不同預(yù)處理方法對模型準(zhǔn)確率的影響。此外，為了克服紅外光譜數(shù)據(jù)集較小導(dǎo)致模型準(zhǔn)確率不高的問題，引入遷移學(xué)習(xí)以期提升模型準(zhǔn)確率。

1 實驗部分

1.1 實驗材料

實驗收集377個由不同纖維混紡的布料樣品(蘇州布料博物館提供)，每個面料樣品都有對應(yīng)的成分標(biāo)簽，在實驗開始前，記錄各個面料樣品的成分含量，按照面料中羊毛的含量將其分為5類標(biāo)簽，如表1所示。

表1 不同羊毛含量面料樣品分布表Tab. Distribution table of cloth samples with different wool content

1.2 實驗流程

使用Y802N型烘干機(常州市第一紡織設(shè)備有限公司)對面料樣品進行干燥處理，設(shè)定烘干溫度為65 ℃，持續(xù)烘干25min。經(jīng)過干燥處理后，放置在溫度20 ℃和相對濕度50%～60%的環(huán)境中，而后使用DA200通用型在線近紅外光譜儀(天津九光科技發(fā)展有限責(zé)任公司)逐一對面料樣本進行掃描，光譜范圍為950～1 650 nm，分辨率為5 nm。

1.3 實驗方法

調(diào)試近紅外光譜儀的各項參數(shù)后，對每個布料樣品掃描2次光譜，正反面各掃描1次。針對較薄的面料樣品，折疊成2層或3層后進行掃描，掃描后得到各個面料樣本的原始光譜，原始光譜曲線堆疊圖見圖1。

圖1 光譜堆疊圖Fig.1 Spectrum stack diagram

2 光譜數(shù)據(jù)預(yù)處理

面料樣本的近紅外光譜數(shù)據(jù)的收集過程受到測試環(huán)境和面料樣品表面不均的影響，導(dǎo)致原始光譜數(shù)據(jù)包含噪聲，因此建模前需要對近紅外光譜進行預(yù)處理以消除噪聲。

在建模過程中，通過對比各類近紅外光譜預(yù)處理方法、數(shù)據(jù)均衡算法和遷移學(xué)習(xí)方法對于分類模型準(zhǔn)確率的影響，選擇最合適的方案來優(yōu)化模型。

一般的，近紅外光譜序列數(shù)據(jù)定義為：

X=[x1,x2，…，xm]

(1)

式中：X為1個面料樣本所對應(yīng)的近紅外光譜數(shù)據(jù)序列；m是波長點數(shù)；xm為m對應(yīng)的吸收率。

因此，面料樣品光譜數(shù)據(jù)集定義為：

S=[X1,X2，…，Xn]T

(2)

式中:S為面料樣品的近紅外光譜數(shù)據(jù)集;n代表樣品編號;Xn是編號為n的面料樣品對應(yīng)的光譜數(shù)據(jù)序列。

常用的近紅外光譜預(yù)處理方法有多元散射矯正(MSC)和標(biāo)準(zhǔn)正態(tài)變換(SNV)。其中，基本的多元散射矯正的步驟如下。

①求解近紅外光譜的平均光譜曲線作為標(biāo)準(zhǔn)光譜，公式如下：

(3)

(4)

③代入求解得的系數(shù)Ki和θi，修正近紅外光譜的每一個波點：

(5)

同時也使用標(biāo)準(zhǔn)正態(tài)變換作為數(shù)據(jù)預(yù)處理的手段進行光譜矯正，公式為

(6)

因為MSC與SNV的處理結(jié)果是線性相關(guān)的，處理后得到光譜數(shù)據(jù)有較強的一致性[12]，對比這2種前處理方法對數(shù)據(jù)前處理階段的效果意義不大，故在實際建模過程中使用MSC的擴展算法——擴展多元散射校正(EMSC)算法替代MSC對光譜數(shù)據(jù)進行矯正。EMSC已經(jīng)被證實是有效的數(shù)學(xué)矯正算法，可以糾正加性基線效應(yīng)、乘法標(biāo)度效應(yīng)和干擾效應(yīng)，已經(jīng)被用于校正樣品的厚度、溫度，以及水蒸氣、二氧化碳帶來的影響[10]。初始各類別的原始平均光譜如圖2所示，EMSC矯正后的譜線如圖3所示，SNV矯正后的譜線如圖4所示。

圖2 原始各個類別的平均光譜Fig.2 Average spectrum of original Spectra

圖3 EMSC預(yù)處理后的平均光譜Fig.3 Average spectra after EMSC pretreatment

圖4 SNV預(yù)處理后的平均光譜Fig.4 Average spectra after SNV pretreatment

同時還使用SG平滑算法(savizkg golag smooth)對光譜進行預(yù)處理，SG平滑算法的流程如下。

①選取光譜的1段區(qū)間(濾波窗口)的相等波長間隔的w個點，把w個點的吸收強度值和對應(yīng)的波長點數(shù)記入集合。則：

Xwin={x1,x2,…，xw},Ywin={y1,y2,…，yw}

(7)

式中：Ywin為選取區(qū)間的吸收率數(shù)值集；Xwin為選取區(qū)間的波長數(shù)值集。

②然后對譜線的每一點i進行k-1次的多項式回歸，其中ai是求解多項式回歸中待確定的系數(shù)：

(8)

通過上式可以得到下面的線性方程組：

(9)

使用矩陣可表示為：

Y=CA

(10)

然后，利用最小二乘法對A系數(shù)矩陣進行估計：

(11)

使用預(yù)測值替換原始吸收強度值(SG預(yù)處理后的譜線如圖5所示)：

(12)

圖5 SG預(yù)處理后的平均光譜Fig.5 Average spectra after SG pretreatment

3 模型建立

3.1 殘差塊

廢舊紡織品的光譜識別任務(wù)可以表示為1個M元假設(shè)檢驗問題，設(shè)面料樣品對應(yīng)的近紅外光譜類型的集合為L=[1,2,…，M]，M代表類別數(shù)。Xi樣品類型的識別任務(wù)可以表示為：

γ(Xi)=t,t∈L

(13)

式中：γ(Xi)代表Xi光譜的類型。

使用由一維卷積層以及整流線性單元(Rectified Linear Unit,ReLU)構(gòu)建的殘差單元作為卷積神經(jīng)網(wǎng)絡(luò)模型的主干結(jié)構(gòu)。殘差單元結(jié)構(gòu)如圖6所示，該結(jié)構(gòu)使得模型更容易訓(xùn)練，解決了卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練過程中隨網(wǎng)絡(luò)的層次結(jié)構(gòu)的加深而導(dǎo)致梯度消失問題[6]。在此基礎(chǔ)上構(gòu)建更深的網(wǎng)絡(luò)結(jié)構(gòu)有利于提取近紅外光譜數(shù)據(jù)更高級的特征，增強模型識別性能。

圖6 殘差單元結(jié)構(gòu)Fig.6 Residual block

3.2 網(wǎng)絡(luò)結(jié)構(gòu)

設(shè)計的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖7所示。對輸入的近紅外光譜圖譜數(shù)據(jù)先進行一維卷積和池化操作，然后再將處理后數(shù)據(jù)輸入主干網(wǎng)絡(luò)。主干網(wǎng)絡(luò)結(jié)構(gòu)參考深度殘差網(wǎng)格(ResNet-18)的結(jié)構(gòu)，使用了6個3.1節(jié)提到的殘差單元作為神經(jīng)網(wǎng)絡(luò)的主干結(jié)構(gòu)。

圖7 網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.7 Network structure diagram

數(shù)據(jù)經(jīng)過主干網(wǎng)絡(luò)的處理后，通過全局平均池化層減小特征尺寸，通過平鋪層和全連接層后輸出預(yù)測結(jié)果。為了避免模型過擬合，在最后1層殘差塊和平鋪層后加入隨機失活層(Dropout)，提升模型的泛化能力。建模任務(wù)是近紅外光譜數(shù)據(jù)多分類任務(wù)，所以采用交叉熵?fù)p失函數(shù)(Cross Entropy Loss)作為模型的損失函數(shù)，其公式為

(14)

式中：q(t)是神經(jīng)網(wǎng)絡(luò)預(yù)測Xi光譜序列為t類別的概率；p(t)是Xi為t類別時的實際的概率。

3.3 歸一化層選擇

為了使網(wǎng)絡(luò)模型更容易訓(xùn)練，提升模型的性能，在上述網(wǎng)絡(luò)中的卷積層后加入歸一化層。為了能夠挑選出最適合此網(wǎng)絡(luò)和任務(wù)的歸一化層，在同等超參數(shù)和網(wǎng)絡(luò)結(jié)構(gòu)的條件下，對比了常用的批量歸一化(Batch Normalization)、組歸一化(Group Normalization)、實例歸一化(Instance Normalization)和層歸一化(Layer Normalization)加入模型卷積層后的訓(xùn)練曲線和10次交叉驗證的準(zhǔn)確率的評分(均設(shè)定訓(xùn)練輪次為200個)。如表2所示，在使用實例歸一化方式時，10次交叉驗證的準(zhǔn)確率評分的均值和組間標(biāo)準(zhǔn)差是最優(yōu)的，故在圖7所示的網(wǎng)絡(luò)中的每一個卷積層后面，使用實例歸一化層做歸一化處理。如圖8所示，可以看出使用實例歸一化方式時，曲線更穩(wěn)定且驗證集準(zhǔn)確率更高。

表2 不同歸一化方式下的模型交叉驗證準(zhǔn)確率Tab.2 Model cross validation accuracy under different normalization methods %

圖8 不同歸一化方式下的訓(xùn)練曲線Fig.8 Training curve of different normalization methods(a)Batch normalization；(b)Group normalization；(c)Instance normalization；(d)Layer normalization

4 模型優(yōu)化

4.1 遷移學(xué)習(xí)

要訓(xùn)練出表現(xiàn)良好的監(jiān)督學(xué)習(xí)模型需要大量的近紅外光譜標(biāo)注數(shù)據(jù)，但是近紅外光譜數(shù)據(jù)收集較為困難。為了解決這個問題，可以使用遷移學(xué)習(xí)技術(shù)。遷移學(xué)習(xí)的流程如圖9所示，在預(yù)訓(xùn)練階段，先使用大量的開源近紅外光譜數(shù)據(jù)集對模型進行預(yù)訓(xùn)練，調(diào)整模型超參數(shù)進行多次訓(xùn)練直到得到滿足精確度要求的預(yù)訓(xùn)練模型。在遷移訓(xùn)練階段，導(dǎo)入預(yù)訓(xùn)練模型，凍結(jié)模型的一部分卷積層，修改輸出的全連接層，進行多次訓(xùn)練，根據(jù)訓(xùn)練的結(jié)果多次調(diào)參，最終達(dá)到理想的模型。

圖9 遷移學(xué)習(xí)流程圖Fig.9 Transfer learning process

4.2 數(shù)據(jù)均衡

由表1所示，廢舊紡織品中各類羊毛紡織品的數(shù)據(jù)樣本數(shù)量少于非羊毛紡織品的數(shù)量，這導(dǎo)致訓(xùn)練集的類別不均衡，為了能獲取良好的模型，采用合成少數(shù)類過采樣技術(shù)(SMOTE)，自適應(yīng)合成(ADASYN)，支持向量機合成少數(shù)類過采樣技術(shù)(SVMSMOTE)以及邊界合成少數(shù)類過采樣技術(shù)(Borderline SMOTE)對訓(xùn)練集數(shù)據(jù)進行預(yù)處理，使得數(shù)據(jù)類別均衡，為了避免過采樣導(dǎo)致的過擬合現(xiàn)象，在使用過采樣算法時，多次訓(xùn)練模型，根據(jù)訓(xùn)練的結(jié)果，多次調(diào)整Dropout的參數(shù)，直到模型準(zhǔn)確率最優(yōu)。

5 模型評估

在模型訓(xùn)練過程中，使用分層抽樣法隨機地把近紅外光譜圖譜數(shù)據(jù)集按照數(shù)量比8∶1∶1劃分為訓(xùn)練集、驗證集和測試集3個子集，測試集的近紅外光譜圖譜數(shù)據(jù)不參與模型訓(xùn)練的過程。批量大小設(shè)置為20，訓(xùn)練過程持續(xù)500個輪次，訓(xùn)練過程中的損失值和準(zhǔn)確率的變化如圖10所示，可以看到使用一維卷積的殘差單元作為主干結(jié)構(gòu)構(gòu)建的卷積網(wǎng)絡(luò)模型取得不錯的效果。如表3所示，在非遷移學(xué)習(xí)的情況下，模型10次交叉驗證的準(zhǔn)確率均值為94.69%，在遷移學(xué)習(xí)的處理下，模型10次交叉驗證的準(zhǔn)確率均值達(dá)到了97.67%，且10次交叉驗證準(zhǔn)確率的標(biāo)準(zhǔn)差僅為1.11%，證明遷移學(xué)習(xí)對于模型的提升非常明顯。通過對比圖10非遷移學(xué)習(xí)和遷移學(xué)習(xí)的訓(xùn)練曲線，可以發(fā)現(xiàn)，在使用遷移學(xué)習(xí)后，模型在驗證集上的準(zhǔn)確率表現(xiàn)高于非遷移學(xué)習(xí)，且訓(xùn)練過程中的準(zhǔn)確率曲線更加平滑穩(wěn)定。

圖10 訓(xùn)練過程曲線Fig.10 Curve during training.(a)Non transfer learning;(b)Transfer learnnig

表3 非遷移學(xué)習(xí)和遷移學(xué)習(xí)交叉驗證準(zhǔn)確率比較Tab.3 Comparison of cross validation accuracy between non transfer learning and transfer learning

在測試中比較了常見的機器學(xué)習(xí)建模算法——決策樹(Decision Tree)，Logistic Regression，隨機森林(Random Forest)，自適應(yīng)增強分類器(AdaBoost)，SVM，最近鄰節(jié)點算法(KNN),反向傳播神經(jīng)網(wǎng)絡(luò)(BPNN)以及NIRS_1D-Resnet模型在不同的近紅外光譜預(yù)處理和數(shù)據(jù)均衡的方法下的模型精度評分，結(jié)果如表4(評分為10次交叉驗證準(zhǔn)確率的均值)?？梢钥吹讲煌慕t外光譜的預(yù)處理操作對機器學(xué)習(xí)模型精度均有較大的影響，但是NIRS_1D-Resnet模型有較好魯棒性，在不同的預(yù)處理方法下都保持較好的準(zhǔn)確率。在預(yù)處理和數(shù)據(jù)均衡算法處理后，并沒有使NIRS_1D-Resnet模型的準(zhǔn)確率有較大提升，甚至在有些預(yù)處理和數(shù)據(jù)均衡算法下降低了NIRS_1D-Resnet模型的準(zhǔn)確率。

表4 在不同預(yù)處理和數(shù)據(jù)均衡方法下的常見機器學(xué)習(xí)和深度學(xué)習(xí)分類模型準(zhǔn)確率評分表Tab.4 Accuracy scoring table of common machine learning and deep learning classification models under different preprocessing and data balancing methods %

6 結(jié) 論

本文使用在線近紅外光譜儀采集廢舊紡織品的近紅外光譜圖譜，然后使用殘差單元為主干的一維卷積殘差網(wǎng)絡(luò)(NIRS_1D-Resnet)對采集的廢舊紡織品的近紅外光譜圖譜數(shù)據(jù)集進行學(xué)習(xí)。NIRS_1D-Resnet經(jīng)過訓(xùn)練后，對模型進行測試，測試結(jié)果顯示：使用預(yù)處理方法對數(shù)據(jù)處理并沒有使得深度學(xué)習(xí)模型準(zhǔn)確率大幅度提升反而使得模型性能降低；使用數(shù)據(jù)均衡算法時，對模型產(chǎn)生了較大的負(fù)面影響；使用遷移學(xué)習(xí)方法對模型提升最高，且泛化性能最好。因此在近紅外光譜數(shù)據(jù)集較小時，引入遷移學(xué)習(xí)技巧是最合適的方法。

使用NIRS_1D-Resnet和其他常用的機器學(xué)習(xí)模型進行對比，結(jié)果顯示：深度學(xué)習(xí)模型的泛化性能和準(zhǔn)確率較其他模型更好；在小樣本的情況下，使用遷移學(xué)習(xí)方法能在數(shù)據(jù)樣本有限的情況下使得模型取得十分優(yōu)秀的準(zhǔn)確率，證明深度學(xué)習(xí)算法可以替換常用的機器算法對近紅外光譜進行建模；可以使用深度學(xué)習(xí)算法和近紅外光譜儀在廢舊紡織品的開環(huán)或閉環(huán)回收過程中能對羊毛混紡的廢舊紡織品進行定性分析。