袁科文 張貫宇 劉送永 楊建華 盧碩辰 劉后廣

(中國礦業(yè)大學(xué)，徐州，221116)

傳統(tǒng)的木材分類方法[1]主要依靠專家的經(jīng)驗(yàn)積累和主觀人工目測，依據(jù)密度、音高、氣味或顏色等特性進(jìn)行辨別木材類別[2]。由于專家鑒別存在個體差異，所以分類的準(zhǔn)確性很大程度上取決于專家的知識和經(jīng)驗(yàn)積累[3]。除此之外，木材行業(yè)每年花費(fèi)巨大的資金進(jìn)行木材種類鑒別，許多工業(yè)部門也急需一種高效、自動識別木材種類的方法[4]。近年來，隨著深度學(xué)習(xí)和人工智能技術(shù)的不斷發(fā)展，尤其是卷積神經(jīng)網(wǎng)絡(luò)開始應(yīng)用在各行各業(yè)[5-7]，越來越多的研究者將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于木材種類的分類識別[8-12]。這些方法都證明利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行木材種類識別是可行的；但是卷積神經(jīng)網(wǎng)絡(luò)模型，參數(shù)量大、收斂時間長、不易使用以及保證模型的泛化能力[13]。

為此，本研究以巴西植物區(qū)系的樹種為研究對象，提出一種依據(jù)批歸一化的卷積神經(jīng)網(wǎng)絡(luò)算法的木材類別視覺識別方法；以VGG-16[14-15]模型為基礎(chǔ)，構(gòu)建一個依據(jù)優(yōu)化后的全連接層和SoftMax分類層相結(jié)合的新型木材種類識別模型(該模型包括卷積層、批歸一化層、激活層、池化層、全連接層、SoftMax分類層)；通過批歸一化對輸入數(shù)據(jù)進(jìn)行處理，調(diào)整卷積神經(jīng)網(wǎng)絡(luò)的中間輸出參數(shù)，提高模型的收斂速度；考慮到VGG-16的權(quán)重參數(shù)量大，并且基本集中在3個全連接層，提出以2個全連接層替換VGG-16模型原全連接層。由于本研究具體針對5種木材類別，而VGG-16是針對1 000個分類類別設(shè)計的，所以使用5標(biāo)簽的SoftMax分類器替換原SoftMax分類器，以提高模型的識別精度和效率。針對現(xiàn)有木材紋理圖片數(shù)據(jù)有限與卷積神經(jīng)網(wǎng)絡(luò)所需訓(xùn)練數(shù)據(jù)量大的矛盾，本研究采用圖像增強(qiáng)技術(shù)擴(kuò)充數(shù)據(jù)集樣本數(shù)量并輸入模型進(jìn)行訓(xùn)練并測試，檢驗(yàn)?zāi)Ｐ蛯δ静念悇e識別準(zhǔn)確率，旨在為開發(fā)一種更高效、準(zhǔn)確的木材種類識別方法提供參考。

1 材料和方法

1.1 試驗(yàn)材料

本研究采用Filho et al.[4]提出的開源數(shù)據(jù)集，數(shù)據(jù)集來自森林物種數(shù)據(jù)庫——宏觀，它由來自巴西植物區(qū)系41種不同森林物種的宏觀圖像組成。數(shù)據(jù)集制作過程中，使用宏功能的Sony DSC T20收集數(shù)據(jù)庫，然后將生成的圖像以JPG格式保存，不進(jìn)行壓縮，分辨率為3 264×2 448像素。通過對數(shù)據(jù)集進(jìn)一步篩選，遴選桃花心木(Swieteniamacrophylla)、蘇里南維羅蔻木(Virolasurinamensis)、軸狀獨(dú)蕊木(Erismauncinatum)、酸枝木(Dalbergiacochinchinensis)、黃金檀木(Cordiaelaeagnoides)5種木材紋理圖片(見圖1)進(jìn)行訓(xùn)練。用于訓(xùn)練的原始數(shù)據(jù)集共由455張圖片組成；考慮到卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練所需數(shù)據(jù)集數(shù)量大的問題，進(jìn)行數(shù)據(jù)增強(qiáng)以擴(kuò)大數(shù)據(jù)集數(shù)量，數(shù)據(jù)增強(qiáng)方式為旋轉(zhuǎn)、改變亮度、改變對比度。經(jīng)過數(shù)據(jù)增強(qiáng)后，數(shù)據(jù)集擴(kuò)充為原來的6倍(見表1)。為減小訓(xùn)練時間，每張圖片的分辨率壓縮為300×200像素。在利用卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程中，圖片的選擇是隨機(jī)實(shí)現(xiàn)的。在研究中，訓(xùn)練集和測試集的數(shù)據(jù)分割比例，分別為80%、20%，用于評估模型最終的性能。

圖1 木材紋理圖片

表1 5種木材紋理圖片數(shù)據(jù)分布

1.2 模型訓(xùn)練參數(shù)設(shè)置

在進(jìn)行模型訓(xùn)練的過程中，采用批量訓(xùn)練的方法將訓(xùn)練集和測試集分為多個批次進(jìn)行訓(xùn)練，批處理大小為8，整個訓(xùn)練過程一共迭代1 000次；學(xué)習(xí)率設(shè)為0.000 1；使用隨機(jī)失活層避免訓(xùn)練過程中發(fā)生過擬合，并以0.5的概率對神經(jīng)元進(jìn)行隨機(jī)失活。

1.3 木材類別識別模型的構(gòu)建

為了能夠快速準(zhǔn)確地實(shí)現(xiàn)對木材種類的識別，本研究根據(jù)木材紋理圖片的種類和特點(diǎn)，以卷積神經(jīng)網(wǎng)絡(luò)算法的VGG-16模型作為木材分類識別的基礎(chǔ)網(wǎng)絡(luò)框架，構(gòu)建一個優(yōu)化后的全連接層和SoftMax分類層相結(jié)合的新型木材種類識別模型，并與AlexNet[16]、原VGG-16和GoogLeNet[17]三種傳統(tǒng)網(wǎng)絡(luò)模型進(jìn)行對比。構(gòu)建的木材種類識別模型，包括卷積層、批歸一化層、激活層、池化層、全連接層、SoftMax分類層(見圖2)。該模型分別在卷積層之后、激活函數(shù)之前進(jìn)行批歸一化處理，以加快模型收斂速度，并提高識別準(zhǔn)確率；由于VGG-16的權(quán)重參數(shù)量大，且集中在3個全連接層，而本研究具體針對5種木材類別，因此，本研究以2個全連接層替換VGG-16模型原全連接層，并使用5標(biāo)簽的SoftMax分類器替換原SoftMax分類器，以提高模型的識別精度和效率；針對現(xiàn)有木材紋理圖片數(shù)據(jù)有限與卷積神經(jīng)網(wǎng)絡(luò)所需訓(xùn)練數(shù)據(jù)量大的矛盾，本研究采用圖像增強(qiáng)技術(shù)擴(kuò)充數(shù)據(jù)集樣本數(shù)量，并輸入模型進(jìn)行訓(xùn)練、測試。

圖2 木材種類識別模型

木材種類模型識別流程(見圖3)：對用于訓(xùn)練的數(shù)據(jù)集進(jìn)行預(yù)處理，使其輸入圖像標(biāo)準(zhǔn)化至相同分辨率大?。粚⒂糜谟?xùn)練的數(shù)據(jù)集輸入模型進(jìn)行訓(xùn)練；將用于測試的數(shù)據(jù)集輸入已訓(xùn)練好的模型中進(jìn)行測試，并輸出識別結(jié)果。在木材種類識別模型中，首先利用卷積層對木材紋理圖像進(jìn)行特征提取，具體通過卷積核以一定步長在特征圖上進(jìn)行滑動，并通過卷積運(yùn)算得到此層的特征圖；然后將卷積層的輸出結(jié)果進(jìn)行批歸一化處理，通過池化層進(jìn)行二次特征提取，減少訓(xùn)練參數(shù)的數(shù)量，降低卷積層輸出的特征向量的維度。再通過全連接層將學(xué)到的分布式特征映射到樣本標(biāo)記空間，經(jīng)SoftMax分類層進(jìn)行分類操作。

圖3 木材種類識別流程

依據(jù)數(shù)據(jù)處理的批歸一化算法：卷積神經(jīng)網(wǎng)絡(luò)的卷積層主要用來提取圖像特征，且前一個卷積層的輸出為后一個卷積層的輸入，前一層訓(xùn)練參數(shù)的更新必將導(dǎo)致后一層輸入數(shù)據(jù)分布的變化。為減小這種變化，在卷積層之后、激活函數(shù)之前，進(jìn)行批歸一化處理。

2 結(jié)果與分析

2.1 模型評估指標(biāo)的確定

為便于比較不同模型的優(yōu)劣程度，本研究使用準(zhǔn)確率[18](Ac)作為評判模型的1個指標(biāo)，準(zhǔn)確率的計算公式為Ac=(PT+NT)/(PT+NT+PF+NF)。式中：PT為正樣本中被正確分類為正樣本的個數(shù)，NT為負(fù)樣本中被正確分類為負(fù)樣本的個數(shù)，PF為正樣本中被錯誤分類為負(fù)樣本的個數(shù)，NF為負(fù)樣本中被錯誤分類為正樣本的個數(shù)。

依據(jù)模型評估指標(biāo)篩選出整體性能較高的模型，對篩選出來的高性能模型進(jìn)一步優(yōu)化。

2.2 不同網(wǎng)絡(luò)模型對木材種類識別準(zhǔn)確率的差異

依據(jù)卷積神經(jīng)網(wǎng)絡(luò)的方法,采用傳統(tǒng)AlexNet、VGG-16、GoogLeNet模型，分別對原始數(shù)據(jù)集進(jìn)行特征提取網(wǎng)絡(luò)訓(xùn)練(見圖4)。由圖4可見，隨著模型訓(xùn)練迭代次數(shù)不斷增加，3種特征提取網(wǎng)絡(luò)模型的識別準(zhǔn)確率、損失值均有不同程度的震蕩；主要原因是某些木材紋理圖片的特征不夠明顯、圖片拍攝質(zhì)量不高等，致使特征學(xué)習(xí)變得困難。由圖4(a)可見：隨著模型訓(xùn)練迭代次數(shù)的增加，AlexNet模型、GoogLeNet模型，比VGG-16模型收斂速度較快；但是針對準(zhǔn)確率而言，模型訓(xùn)練迭代一定次數(shù)后，VGG-16模型在準(zhǔn)確率方面表現(xiàn)出更加優(yōu)異的性能，并且穩(wěn)定性更好。由圖4(b)可見：經(jīng)過相同的迭代次數(shù)后，VGG-16模型的損失值，比AlexNet模型、GoogLeNet模型損失值低?？傮w看，VGG-16模型比其他兩種網(wǎng)絡(luò)模型訓(xùn)練效果更能符合本研究要求。因此，本研究在VGG-16網(wǎng)絡(luò)模型的基礎(chǔ)上進(jìn)行優(yōu)化改進(jìn)，以進(jìn)一步提高模型分類識別的整體性能。

圖4 不同網(wǎng)絡(luò)模型對木材種類的識別準(zhǔn)確率和損失值曲線

2.3 改進(jìn)前后的VGG-16模型對木材類別識別效果

VGG-16模型主要通過卷積層、池化層、全連接層進(jìn)行特征提取，得到特征圖。但是，該模型在訓(xùn)練過程中采用卷積層、池化層、全連接層順序連接的方式，若不同批次訓(xùn)練的數(shù)據(jù)分布差異比較大，則前一層輸出的參數(shù)發(fā)生微小的變化，可能會造成后一層的參數(shù)發(fā)生較大的變化。并且，隨著網(wǎng)絡(luò)層數(shù)的加深，這種變化可能會越來越大，網(wǎng)絡(luò)的泛化能力和準(zhǔn)確率也會下降，最終降低模型的訓(xùn)練效果。

因此，本研究在卷積層之后、激活函數(shù)之前，進(jìn)行批歸一化操作，從而不斷調(diào)整中間輸出參數(shù)，使整個網(wǎng)絡(luò)的輸出更加穩(wěn)定；考慮試驗(yàn)所用木材種類的數(shù)量以及模型參數(shù)量主要集中在最后3個全連接層，使用2個全連接層替代原來的3個全連接層，并用5標(biāo)簽的SoftMax分類器替代原SoftMax分類器；將數(shù)據(jù)增強(qiáng)前后的數(shù)據(jù)集樣本輸入改進(jìn)前后的VGG-16模型進(jìn)行對比試驗(yàn)(見表2)。由表2可見：改進(jìn)VGG-16模型識別準(zhǔn)確率在原始數(shù)據(jù)集和增強(qiáng)數(shù)據(jù)集，均高于改進(jìn)前的VGG-16模型；說明本研究改進(jìn)方法可行。

表2 改進(jìn)前后的VGG-16模型在不同數(shù)據(jù)集時對木材類別識別準(zhǔn)確率

2.4 批歸一化對模型訓(xùn)練結(jié)果的影響

為更好地驗(yàn)證批歸一化對改進(jìn)VGG-16模型識別準(zhǔn)確率、收斂速度、泛化能力的影響，本研究分別對改進(jìn)VGG-16模型和傳統(tǒng)VGG-16模型在增強(qiáng)數(shù)據(jù)集時的訓(xùn)練結(jié)果進(jìn)行對比(見圖5)。由圖5可見：改進(jìn)后的VGG-16模型比改進(jìn)前的VGG-16模型收斂速度明顯加快，僅迭代51次，準(zhǔn)確率便可達(dá)到98.53%。除此之外，改進(jìn)后的VGG-16模型比改進(jìn)前的VGG-16模型訓(xùn)練結(jié)果更加穩(wěn)定，而且準(zhǔn)確率也相對提高。因此，使用批歸一化可以加快模型的收斂速度和準(zhǔn)確率，保證模型的泛化能力，同時也使模型訓(xùn)練過程更加穩(wěn)定。

圖5 改進(jìn)VGG-16和原VGG-16模型在增強(qiáng)數(shù)據(jù)集時對木材種類識別準(zhǔn)確率曲線

2.5 增強(qiáng)木材圖像數(shù)據(jù)對模型訓(xùn)練結(jié)果的影響

本研究通過旋轉(zhuǎn)、改變亮度、改變對比度3種數(shù)據(jù)增強(qiáng)方式，將原始木材紋理圖像數(shù)據(jù)集中的樣本數(shù)量從455個擴(kuò)充到2 730個，增強(qiáng)后的數(shù)據(jù)集樣本數(shù)量是原始樣本數(shù)量的6倍，使用改進(jìn)VGG-16模型作為特征提取網(wǎng)絡(luò)模型進(jìn)行試驗(yàn)。試驗(yàn)過程中，為了便于比較數(shù)據(jù)增強(qiáng)對模型訓(xùn)練結(jié)果的影響，將原始數(shù)據(jù)樣本經(jīng)過復(fù)制直接由455個擴(kuò)充到2 730個，分別將原始數(shù)據(jù)集、復(fù)制擴(kuò)充后的數(shù)據(jù)集、數(shù)據(jù)增強(qiáng)擴(kuò)充后的數(shù)據(jù)集輸入網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。

試驗(yàn)結(jié)果表明：以原始數(shù)據(jù)集、復(fù)制擴(kuò)充后的數(shù)據(jù)集、數(shù)據(jù)增強(qiáng)擴(kuò)充后的數(shù)據(jù)集輸入網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練得到的識別準(zhǔn)確率，分別為97.77%、97.90%、99.46%；木材紋理圖像的樣本數(shù)量擴(kuò)充后得到的模型訓(xùn)練結(jié)果，優(yōu)于擴(kuò)充前的訓(xùn)練結(jié)果，與數(shù)據(jù)擴(kuò)充前相比，復(fù)制擴(kuò)充后數(shù)據(jù)集的木材類別識別準(zhǔn)確率提高了0.13%、數(shù)據(jù)增強(qiáng)擴(kuò)充后數(shù)據(jù)集的木材類別識別準(zhǔn)確率提高了1.69%。在相同樣本數(shù)量時，經(jīng)過旋轉(zhuǎn)、改變亮度、改變對比度3種數(shù)據(jù)增強(qiáng)方式擴(kuò)充的數(shù)據(jù)集樣本訓(xùn)練得到的識別準(zhǔn)確率，優(yōu)于直接復(fù)制擴(kuò)充的數(shù)據(jù)集樣本。因此，樣本數(shù)量對模型的訓(xùn)練結(jié)果有一定的影響，但是經(jīng)數(shù)據(jù)增強(qiáng)擴(kuò)充后的數(shù)據(jù)樣本訓(xùn)練效果更好，可以保證模型的泛化能力，取得更高的識別準(zhǔn)確率。

3 結(jié)論

本研究對傳統(tǒng)VGG-16網(wǎng)絡(luò)模型進(jìn)行優(yōu)化改進(jìn)，分別在卷積層之后、激活函數(shù)之前對木材圖像數(shù)據(jù)進(jìn)行批歸一化處理，并優(yōu)化了全連接層數(shù)和SoftMax分類器。將改進(jìn)VGG-16模型與傳統(tǒng)AlexNet、VGG-16、GoogLeNet模型的訓(xùn)練結(jié)果進(jìn)行對比。結(jié)果表明：改進(jìn)VGG-16模型，在木材分類識別準(zhǔn)確率、模型的泛化能力、穩(wěn)定性方面相對提高。在原始數(shù)據(jù)集時，改進(jìn)VGG-16模型識別準(zhǔn)確率達(dá)到97.77%，高于傳統(tǒng)的AlexNet、VGG-16、GoogLeNet模型識別準(zhǔn)確率。通過數(shù)據(jù)增強(qiáng)的方式擴(kuò)大訓(xùn)練樣本數(shù)量，更進(jìn)一步保證模型的泛化性能。在增強(qiáng)數(shù)據(jù)集時，改進(jìn)VGG-16模型的識別準(zhǔn)確率、泛化能力、穩(wěn)定性進(jìn)一步提高，識別準(zhǔn)確率達(dá)到99.46%，與數(shù)據(jù)增強(qiáng)前相比，改進(jìn)VGG-16的模型識別準(zhǔn)確率提高了1.69%。本研究以VGG-16模型為基礎(chǔ)，構(gòu)建的批歸一化卷積神經(jīng)網(wǎng)絡(luò)算法的木材類別視覺識別方法，可有效應(yīng)用于木材分類，提高木材分類的效率以及準(zhǔn)確率。