基于卷積神經(jīng)網(wǎng)絡(luò)與投票機(jī)制的蒲黃炮制品近紅外判別方法

陳承武，王天舒*，胡孔法，包貝華，嚴(yán) 輝，楊曦晨

1. 南京中醫(yī)藥大學(xué)人工智能與信息技術(shù)學(xué)院，江蘇 南京 210029 2. 南京中醫(yī)藥大學(xué)藥學(xué)院，江蘇 南京 210029 3. 南京師范大學(xué)計(jì)算機(jī)與電子信息學(xué)院/人工智能學(xué)院，江蘇 南京 210023

引 言

蒲黃(cattail pollen)系香蒲科香蒲屬，為東方香蒲(typha orientalis presl)或同屬植物的干燥花粉。蒲黃是一味著名的中藥，具有止血、 化瘀及通淋等多種功效。制炭是將凈選或切制后的藥材經(jīng)高溫處理，使藥材外部炭化、 內(nèi)部保留固有性能的一種中藥炮制方法。生蒲黃經(jīng)過炭化制成的蒲黃炭(carbonized typhae pollen，CTP)具有明顯的抗出血作用，被廣泛應(yīng)用于臨床抗血栓，治療創(chuàng)面和出血。然而炒炭程度對其止血作用具有重要影響。蒲黃炒炭過程極難掌握，炭化過程中容易出現(xiàn)“不及”或“太過”現(xiàn)象，從而產(chǎn)生輕度炭化、 標(biāo)準(zhǔn)炭化與重度炭化三種不同的蒲黃炭藥品。這三種蒲黃炭化程度不同，凝血效果優(yōu)劣不等。當(dāng)前判別蒲黃炭的方法多為憑借人工經(jīng)驗(yàn)進(jìn)行肉眼觀測。然而人工判別的方法，判別效率低，受主觀影響大，判別結(jié)果不穩(wěn)定。因此，亟需提出一種高效、 客觀且準(zhǔn)確的蒲黃炭判別方法。

近紅外光譜是介于可見光和中紅外之間，波長范圍為700～2 500 nm的電磁輻射波。通過掃描樣品的近紅外光譜，可以得到樣品中有機(jī)分子含氫基團(tuán)的特征信息。近紅外光譜分析技術(shù)具有快速、 無損與無污染等優(yōu)點(diǎn)，被廣泛應(yīng)用于食品[1-2]、 木材[3]與藥物分析[4]等領(lǐng)域。Xie等[1]使用傅里葉變換紅外光譜與隨機(jī)森林方法準(zhǔn)確分類不同地區(qū)的香菇。劉亞超等[2]運(yùn)用近紅外光譜技術(shù)提供了一種大米直鏈淀粉含量的快速檢測方法。Unger等[5]利用近紅外光譜技術(shù)結(jié)合分子建模數(shù)據(jù)驗(yàn)證了環(huán)氧樹脂體系固化過程中反應(yīng)基團(tuán)的演化。Kartakoullis等[6]使用近紅外光譜結(jié)合偏最小二乘回歸與隨機(jī)森林回歸算法預(yù)測咸肉糜的脂肪、 水分和蛋白質(zhì)含量。Cui等[7]使用近紅外定量分析技術(shù)鑒別區(qū)分玉米單倍體種子與二倍體種子。Mandrile等[8]分別利用漫反射近紅外光譜、 衰減全反射中紅外光譜技術(shù)和電感耦合等離子體發(fā)射光譜技術(shù)鑒別了可可豆殼產(chǎn)地。當(dāng)前近紅外的判別方法大多使用傳統(tǒng)的機(jī)器學(xué)習(xí)方法。傳統(tǒng)的一般采用手工特征判別。而手工特征判別耗時(shí)費(fèi)力，且需要研究人員熟悉特定應(yīng)用領(lǐng)域。

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的進(jìn)一步發(fā)展，通過模擬人腦進(jìn)行分析學(xué)習(xí)并建立神經(jīng)網(wǎng)絡(luò)，模仿人腦的機(jī)制解釋數(shù)據(jù)。深度學(xué)習(xí)是一種使計(jì)算機(jī)自動(dòng)學(xué)習(xí)并提取模式特征的方法，能夠降低人為設(shè)計(jì)特征產(chǎn)生的不完備性。卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)是深度學(xué)習(xí)的代表算法之一。CNN是一種深度前饋人工神經(jīng)網(wǎng)絡(luò)，具有表征學(xué)習(xí)能力，已廣泛應(yīng)用于圖像識(shí)別[9]、 物體識(shí)別[10]與自然語言處理[11]等領(lǐng)域。Nogovitsyn等[12]使用深度卷積神經(jīng)網(wǎng)絡(luò)得出海馬體積的自動(dòng)分割算法。實(shí)驗(yàn)結(jié)果表明基于CNN的海馬分割算法具有高度的穩(wěn)定性與準(zhǔn)確性。Wartini等[13]提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的土壤特性分析算法，并獲得了較高的準(zhǔn)確率。Xu等[14]運(yùn)用深度卷積神經(jīng)網(wǎng)絡(luò)對組織病理學(xué)圖像中的上皮與基質(zhì)兩塊區(qū)域進(jìn)行了分離與分類。以上研究表明通過CNN進(jìn)行中藥分析與識(shí)別具有可行性。

因此，本文提出一種基于CNN與投票機(jī)制的蒲黃炮制品近紅外判別方法。該方法首先通過近紅外光譜技術(shù)獲取蒲黃炭的光譜數(shù)據(jù)，得到原始樣本空間S1。分別運(yùn)用標(biāo)準(zhǔn)正態(tài)變量變換(standard normal variate transform，SNV)，一階差分，Min-max標(biāo)準(zhǔn)化三種不同的預(yù)處理方法對S1進(jìn)行數(shù)據(jù)預(yù)處理，得到樣本空間S2，S3與S4。之后對這四個(gè)樣本空間分別運(yùn)用CNN進(jìn)行樣本判定，分離不同炭化程度的蒲黃炭樣本，并按照判別準(zhǔn)確率進(jìn)行降序排序。依序?yàn)樗姆N不同的樣本空間賦予權(quán)重0.5，0.5，0.4和0.3。接下來，采用CNN分別提取四組樣本空間特征，進(jìn)行特征學(xué)習(xí)。在得到四組樣本的判別結(jié)果后，結(jié)合權(quán)重投票出蒲黃炭最終的炭化程度，從而實(shí)現(xiàn)樣本的正確判定。

1 實(shí)驗(yàn)部分

1.1 樣品制備

東方香蒲花粉采自江蘇通州，憑證標(biāo)本號為20180820?；ǚ劢?jīng)南京中醫(yī)藥大學(xué)藥學(xué)院嚴(yán)輝副教授鑒定，保存于中藥化學(xué)實(shí)驗(yàn)室。

輕度炭化，標(biāo)準(zhǔn)炭化與重度炭化蒲黃炭通過炮制時(shí)間與蒲黃炭的傳統(tǒng)飲片性狀確定[15]。所有的蒲黃樣品為同一批次，共166份。每份取100 g花粉樣品，在(270±10) ℃下，用簡單的炒制方法對花粉進(jìn)行炭化處理。將樣品劃分為3份，分別控制其炮制時(shí)間為小于7 min，等于7min，大于7 min，并將炮制后的樣品結(jié)合其飲片性狀確定其炭化程度。

1.2 近紅外光譜數(shù)據(jù)采集

將炮制后的三份樣品置于40 ℃下干燥3 h，減小因水分引起的光譜干擾。實(shí)驗(yàn)采用傅里葉近紅外光譜儀(Antaris Ⅱ，Thermo，US)。光譜分辨率為8 cm-1，掃描累積數(shù)為32，光譜范圍為4 000～12 000 cm-1。在22～27 ℃溫度范圍和60%相對濕度的環(huán)境下，將每份樣品粉末放入石英樣品杯中，混合均勻，并掃描空氣作為參考。每份粉末樣品在相同條件下進(jìn)行三次掃描，生成平均光譜。

1.3 基于CNN與投票機(jī)制的蒲黃炮制品判別方法

我們運(yùn)用One-Hot編碼為每個(gè)樣本設(shè)置標(biāo)簽。若某樣本s為輕度炭化蒲黃炭，則其標(biāo)簽ls=[0, 0, 1]；若某樣本s為標(biāo)準(zhǔn)炭化蒲黃炭，則其標(biāo)簽ls=[0, 1, 0]；若某樣本s為重度炭化蒲黃炭，則其標(biāo)簽ls=[1, 0, 0]。

本文提出的基于CNN與投票機(jī)制的蒲黃炮制品判別模型如圖1所示。將樣本空間S劃分為訓(xùn)練集Str與測試集Ste，其中訓(xùn)練集Str用來對模型進(jìn)行訓(xùn)練，測試集Ste用來評價(jià)模型。首先對訓(xùn)練集Str中所有樣品的原始光譜進(jìn)行四種不同的預(yù)處理：(1)保持不變；(2)SNV處理；(3)一階差分處理；(4)Min_max處理。經(jīng)四種預(yù)處理方法處理后的數(shù)據(jù)集分別記為：Str1，Str2，Str3與Str4。

接下來，將Str1，Str2，Str3與Str4分別輸入至CNN深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行CNN模型訓(xùn)練與預(yù)測。以對不同預(yù)處理方法的性能進(jìn)行評判。網(wǎng)絡(luò)模型包括一層一維卷積池化層、 一層二維卷積池化層和一層全連接層。一維卷積池化層將輸入的一維向量轉(zhuǎn)化成二維矩陣。一維卷積池化層包括一維卷積操作、 激活操作與池化操作。其中一維卷積操作卷積核的數(shù)目為32個(gè)，大小為10×1，卷積的步長為6。并由修正線性單元(rectified liner unit，ReLU)完成激活操作，使神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元具有稀疏激活性。池化操作使用平均池化模型，每次取10×1的池化窗口，步長設(shè)為2。之后，將經(jīng)過一維卷積池化層得到的二維矩陣輸入至二維卷積池化層，并經(jīng)過二維卷積操作、 激活操作與二維池化操作，將其轉(zhuǎn)化成多個(gè)二維矩陣。二維卷積操作中卷積核數(shù)目為64個(gè)，大小為10×32。將二維卷積池化層得到的二維矩陣輸入至全連接層，輸出一維高階向量。本文中卷積神經(jīng)網(wǎng)絡(luò)模型采用學(xué)習(xí)率衰減機(jī)制，學(xué)習(xí)率初始值設(shè)為0.003，衰減指數(shù)為1/e。在網(wǎng)絡(luò)訓(xùn)練的過程中隨時(shí)間逐步衰減學(xué)習(xí)率進(jìn)行動(dòng)態(tài)調(diào)整。每層權(quán)重初始值服從標(biāo)準(zhǔn)差為0.1的零均值高斯分布。

對訓(xùn)練集Str進(jìn)行CNN的train-test過程，設(shè)Str1，Str2，Str3與Str4的預(yù)測準(zhǔn)確率百分比分別為a1，a2，a3和a4。接下來，對四種不同預(yù)處理方法進(jìn)行權(quán)重分配。表1給出四種預(yù)處理方法所對應(yīng)數(shù)據(jù)集的CNN預(yù)測準(zhǔn)確率與權(quán)重分配情況。其中，保持不變的數(shù)據(jù)集得到的準(zhǔn)確率為72%；經(jīng)SNV預(yù)處理的數(shù)據(jù)集Str2得到的準(zhǔn)確率為88%；經(jīng)一階差分預(yù)處理的數(shù)據(jù)集Str3得到的準(zhǔn)確率為92%；經(jīng)Min_max預(yù)處理的數(shù)據(jù)集Str4到的準(zhǔn)確率為76%。我們將準(zhǔn)確率最高的兩種預(yù)處理方法的權(quán)重值分配為0.5；準(zhǔn)確率第三高的預(yù)處理方法的權(quán)重值分配為0.4；準(zhǔn)確率最低的預(yù)處理方法的權(quán)重值分配為0.3。

圖1 基于CNN與投票機(jī)制的蒲黃炮制品判別模型Fig.1 Identification model of processed products of Pollen Typhae based on CNN and voting mechanism

表1 不同預(yù)處理方法的權(quán)重分配Table 1 Weight distribution of different preprocessing methods

設(shè)測試集Ste中某個(gè)樣本為ste。首先通過四種不同預(yù)處理方法對該樣本的原始光譜分別進(jìn)行處理，并將計(jì)算結(jié)果分別輸入至CNN預(yù)測模型。將CNN預(yù)測模型得到的預(yù)測結(jié)果分別記為：yte_1,yte_2,yte_3和yte_4。其中，第i個(gè)預(yù)處理方法的預(yù)測結(jié)果yte_i=[yte_i1,yte_i2,yte_i3]。例如，若第i個(gè)預(yù)處理方法的預(yù)測結(jié)果為輕度炭化蒲黃，則yte_i=[0, 0, 1]；若預(yù)測結(jié)果為標(biāo)準(zhǔn)炭化蒲黃炭，則yte_i=[0, 1, 0]；若預(yù)測結(jié)果為重度炭化蒲黃炭，則yte_i=[1, 0, 0]。

對樣本ste進(jìn)行投票，計(jì)算ste在三種不同炭化程度上所得的投票分值，記為vj(輕度炭化為v1，標(biāo)準(zhǔn)炭化為v2，重度炭化為v3)。投票分值vj的計(jì)算方法如式(1)所示，其中i表示第i種預(yù)處理方法，j表示第j種炭化程度。

(1)

對三種炭化程度的vj值進(jìn)行比較，得到ste的最終預(yù)測結(jié)果。若v1最大，則預(yù)測ste為輕度炭化樣品；若v2最大，則ste為標(biāo)準(zhǔn)炭化樣品；若v3最大, 則ste為重度炭化樣品。

2 結(jié)果與討論

2.1 光譜分析

三種不同炭化程度的蒲黃炭樣本的近紅外原始光譜數(shù)據(jù)如圖2所示。綠色曲線表示輕度蒲黃炭(Light degree CTP)，藍(lán)色曲線表示標(biāo)準(zhǔn)蒲黃炭(Standard degree CTP)，紅色曲線表示重度蒲黃炭(Heavy degree CTP)。由圖2可知，近紅外光譜的譜帶重疊嚴(yán)重，整體近乎一致，吸收峰也幾乎處于同一位置，沒有顯著的差異，難以用肉眼區(qū)分三種蒲黃炭樣品的近紅外光譜。因此我們對光譜進(jìn)行四種不同的預(yù)處理方式，從而加大不同炭化程度的蒲黃炭近紅外光譜的差異性，也提高了準(zhǔn)確判定蒲黃炭的炭化程度可能性。

圖2 原始光譜Fig.2 Raw spectral

2.2 CNN模型分析

基于CNN與投票機(jī)制的蒲黃炮制品判別模型中，需要將四種不同的預(yù)處理方法的計(jì)算結(jié)果輸入至CNN卷積神經(jīng)網(wǎng)絡(luò)。預(yù)處理后的一維數(shù)據(jù)通過CNN的一維卷積池化層計(jì)算后，轉(zhuǎn)化為139×32的二維矩陣。其中，一維卷積池化層的卷積核(Filter 1～16)為32個(gè)，其部分卷積核(Filter 1～16)如圖3所示。

圖3 一維卷積池化層的部分卷積核Fig.3 Partial convolution kernel of one-dimensional convolution pool

在經(jīng)過一維卷積池化操作后，二維矩陣數(shù)據(jù)經(jīng)過二維卷積池化層轉(zhuǎn)換為24×64的二維矩陣。二維卷積池化層中卷積核為64個(gè)，其部分卷積核(Filter 1～16)如圖4所示。

圖5展示訓(xùn)練集Str經(jīng)四種預(yù)處理方法后分別輸入CNN進(jìn)行模型訓(xùn)練所得到的特征向量。其中，紅色線條對應(yīng)蒲黃炭輕度炭化樣本；綠色線條對應(yīng)蒲黃炭標(biāo)準(zhǔn)炭化樣本；藍(lán)色線條對應(yīng)蒲黃炭重度炭化樣本。由圖5可知，通過CNN得到的三種樣品特征向量區(qū)分較為明顯，重疊樣本少。

圖4 二維卷積池化層部分卷積核Fig.4 Partial convolution kernel of two-dimensional convolution pool

圖5 四種預(yù)處理方法的CNN特征向量 (a): 保持不變預(yù)處理CNN特征向量；(b): SNV預(yù)處理CNN特征向量； (c): 一階差分預(yù)處理CNN特征向量；(d): Min_max預(yù)處理CNN特征向量Fig.5 CNN eigenvectors of four pre-processing methods (a): Unchanged preprocesses CNN eigenvectors; (b): SNV preprocesses CNN eigenvector; (c): First-order difference preprocesses CNN eigenvectors; (d): Min_max preprocesses CNN eigenvectors

圖6給出了四種預(yù)處理方式在訓(xùn)練CNN模型時(shí)測試準(zhǔn)確率隨迭代次數(shù)的變化情況，由圖6可看出，測試準(zhǔn)確率隨迭代次數(shù)增加而迅速上升。為避免因隨機(jī)抽樣導(dǎo)致的實(shí)驗(yàn)誤差，CNN的train-test過程重復(fù)50次，經(jīng)實(shí)驗(yàn)發(fā)現(xiàn)四種預(yù)處理方式的測試準(zhǔn)確率最終均可穩(wěn)定在80%以上。

圖6 四種預(yù)處理方法的CNN測試準(zhǔn)確率Fig.6 CNN test accuracy of four pre-processing methods

在蒲黃炮制品識(shí)別模型中，我們采用交叉熵?fù)p失函數(shù)判別模型預(yù)測效果。從圖7可以看出，四種預(yù)處理方式在訓(xùn)練CNN模型時(shí)，隨著迭代次數(shù)的增加，損失值始終以下降趨勢不斷遞減。

圖7 四種預(yù)處理方法的CNN交叉熵?fù)p失值Fig.7 Cross entropy loss of CNN based onfour pre-processing methods

2.3 方法性能分析

為了評估本方法的性能，我們將該方法與傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)CNN，線性判別分析方法(linear discriminant analysis，LDA)以及標(biāo)準(zhǔn)正太變量變換-線性判別分析方法(standard normal variable-linear discriminant analysis，SNV-LDA)進(jìn)行對比。實(shí)驗(yàn)過程中，訓(xùn)練集所占比例為80%，測試集所占比例為20%，train-test過程重復(fù)50次。四種方法的預(yù)測準(zhǔn)確率對比如圖8所示。由圖可知，本方法的準(zhǔn)確率最高，分別比CNN，LDA和SNV-LDA提高8.6%，4.3%和2.6%。

本方法需要通過訓(xùn)練蔣預(yù)測模型進(jìn)行訓(xùn)練，而訓(xùn)練集的規(guī)?？梢杂绊戭A(yù)測準(zhǔn)確性。為了分析本方法的穩(wěn)定性，將訓(xùn)練集所占樣本比例分別設(shè)為10%，20%，30%，40%，50%，60%，70%，80%和90%。不同比例下的train-test過程重復(fù)50次。穩(wěn)定性測試結(jié)果如圖9所示。由圖9可知，當(dāng)訓(xùn)練集所占比例高于70%時(shí)，本方法的預(yù)測準(zhǔn)確率高于90%。同時(shí)，當(dāng)訓(xùn)練集僅占比10%時(shí)，所提方法的預(yù)測準(zhǔn)確率可以維持在80%左右。穩(wěn)定性測試實(shí)驗(yàn)結(jié)果表明本方法具有較高的穩(wěn)定性。

圖8 本方法與CNN，LDA，SNV-LDA預(yù)測準(zhǔn)確率對比

圖9 不同訓(xùn)練比例預(yù)測準(zhǔn)確率Fig.9 Test accuracy of different training set proportions

為綜合評價(jià)本方法的性能，將35份外部蒲黃炮制樣品輸入至所建立的蒲黃炮制品預(yù)測模型進(jìn)行判別。35份蒲黃炮制樣品中，僅2份樣品預(yù)測出錯(cuò)，預(yù)測準(zhǔn)確率達(dá)到94.29%。由此可見，本方法適用于蒲黃炮制品近紅外判別，能夠滿足標(biāo)準(zhǔn)蒲黃炭快速識(shí)別的實(shí)際應(yīng)用需求。

3 結(jié) 論

提出一種基于卷積神經(jīng)網(wǎng)絡(luò)與投票機(jī)制的蒲黃炮制品近紅外判別方法，高效判別重度炭化、 標(biāo)準(zhǔn)炭化、 輕度炭化三種不同炭化程度的蒲黃炭。蒲黃炭的原始光譜在經(jīng)過四種不同的預(yù)處理方式后通過卷積神經(jīng)網(wǎng)絡(luò)模型預(yù)測出四種結(jié)果，結(jié)合自身權(quán)重后投票出蒲黃炭的炭化程度。實(shí)驗(yàn)結(jié)果表明，本工作所提出的蒲黃炮制品預(yù)測模型對測試集樣本的判別準(zhǔn)確率達(dá)到95.4%，識(shí)別準(zhǔn)確性高?；诰矸e神經(jīng)網(wǎng)絡(luò)與投票機(jī)制的蒲黃炮制品判別模型結(jié)合近紅外光譜的實(shí)驗(yàn)方法可以高效識(shí)別蒲黃炭的炭化程度，為實(shí)際鑒別蒲黃炭的炭化程度與藥效和藥品鑒定儀器的開發(fā)提供了技術(shù)支持。

本工作是對蒲黃炮制品快速鑒別的初步研究，后續(xù)會(huì)收集不同產(chǎn)地，不同采摘時(shí)間的樣品，進(jìn)一步研究與完善。