基于遷移學(xué)習(xí)的GoogLenet煤矸石圖像識別

曹現(xiàn)剛 薛禎也

摘要：已有的煤矸石識別方法具有一定效果，但無法滿足實(shí)際需求。為了尋找新的煤矸石識別方法，提出了基于深度學(xué)習(xí)的煤矸石圖像識別方法。采用Inception模型，并通過遷移學(xué)習(xí)共享已訓(xùn)練模型卷積層權(quán)值和偏差。從煤矸石圖像庫中隨機(jī)抽取煤矸石圖像作為訓(xùn)練集和測試集，最后將該方法與傳統(tǒng)圖像識別方法進(jìn)行比對。實(shí)驗(yàn)結(jié)果表明，該模型可以有效識別煤矸石，準(zhǔn)確率為93.5%，有效提高了煤矸識石別準(zhǔn)確率。

關(guān)鍵詞：GoogLenet;煤矸石識別;遷移學(xué)習(xí)

DOI：10.11907/rjdk.191275

中圖分類號：TP317.4 文獻(xiàn)標(biāo)識碼：A 文章編號：1672-7800（2019）012-0183-04

0引言

煤炭是人類生產(chǎn)生活不可缺少的能源之一。原煤中含有大量的矸石，一般占原煤產(chǎn)量的15%-20%。混雜在煤中的矸石會降低燃燒率，燃燒產(chǎn)物會致環(huán)境污染。一直以來，與煤炭外形相似的煤矸石分選是煤炭生產(chǎn)的一大難題。

目前，洗煤廠煤矸分揀主要依靠人工選矸和重介選煤兩種方式。在實(shí)際生產(chǎn)過程中，機(jī)械洗選方法普遍存在占地面積大、水資源浪費(fèi)多等問題。人工選矸存在勞動強(qiáng)度大、工作環(huán)境差、易發(fā)生事故等問題，難以保障工人健康，選矸效率低。因此，實(shí)現(xiàn)煤矸石自動分選具有十分重要的意義。煤矸分選主要分為射線選矸和機(jī)器視覺分選。射線法主要依靠煤矸石對電磁波吸收不同進(jìn)行分選，對環(huán)境和人的身體傷害大。特征表達(dá)是機(jī)器視覺進(jìn)行圖像處理的核心。傳統(tǒng)的機(jī)器視覺分選需要人工設(shè)計(jì)煤矸圖像特征，利用煤矸石的灰度、紋理特征設(shè)計(jì)出其統(tǒng)計(jì)特征進(jìn)行圖像識別，其識別結(jié)果依賴設(shè)計(jì)的算法以及經(jīng)驗(yàn)。現(xiàn)有算法提取的特征值較多，計(jì)算量偏大。

深度學(xué)習(xí)在圖像識別領(lǐng)域發(fā)展迅速，2012年Alexnet以明顯優(yōu)勢贏得ILSVRC（ImageNet Large Scale Visual Re-congnition Challenge）冠軍，top-5錯(cuò)誤率為17%，遠(yuǎn)高于第二名的26.2%，確立了深度學(xué)習(xí)在計(jì)算機(jī)視覺領(lǐng)域的統(tǒng)治地位。GoogLeNet、VGGNet、ResNet等深度卷積神經(jīng)網(wǎng)絡(luò)模型不斷涌現(xiàn)，越來越多的學(xué)者將這些模型用于圖像識別任務(wù)中。張邯等提出在交通標(biāo)志中應(yīng)用基于Alexnet的識別模型;鄭一力等通過遷移學(xué)習(xí)設(shè)計(jì)了基于Alexnet和Inception V3的植物圖像識別模型;程國建將卷積神經(jīng)網(wǎng)絡(luò)引入巖石圖像處理，得出卷積神經(jīng)網(wǎng)絡(luò)能夠更好地表示特征的結(jié)論;白林等D5-161通過Inception V3卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)網(wǎng)絡(luò)模型，摒棄了傳統(tǒng)的圖像預(yù)處理、圖像分割、人工設(shè)計(jì)物體的圖像特征進(jìn)行識別的算法，采用神經(jīng)網(wǎng)絡(luò)和大數(shù)據(jù)實(shí)現(xiàn)自動學(xué)習(xí)圖像特征從而進(jìn)行圖像識別，提高了圖像識別算法的泛化能力。因此，本文引入In-ceptinonV3網(wǎng)絡(luò)模型，通過對煤與矸石的特征進(jìn)行自主學(xué)習(xí)和訓(xùn)練，建立煤矸識別模型，實(shí)現(xiàn)煤和矸石的自動分選。

1相關(guān)理論

1.1卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)一般由卷積層、池化層、全連接層、Softmax層組成。卷積層通過卷積核提取圖像局部特征，上層特征經(jīng)過卷積核，再通過激活函數(shù)得到新的特征圖。池化層通常在卷積層之后，對特征圖像進(jìn)行降維，保證局部特征不變并減少計(jì)算量。全連接層、Softmax分類層是lo-gistic回歸模型在多分類問題上的推廣，利用多項(xiàng)logistic回歸實(shí)現(xiàn)多分類問題。

1.2GoogLenet Inception模型

隨著卷積神經(jīng)的快速發(fā)展，網(wǎng)絡(luò)層次更深或?qū)挾雀鼘?，但容易出現(xiàn)以下問題：①參數(shù)過多，如果訓(xùn)練數(shù)據(jù)集有限，容易產(chǎn)生過擬合;②網(wǎng)絡(luò)越深，參數(shù)越多，計(jì)算量越大;③網(wǎng)絡(luò)過深，梯度可能會消失，難以優(yōu)化模型。

GoogLenet Inception V3很好地解決了以上缺陷。它是一個(gè)46層的網(wǎng)絡(luò)，為了避免梯度消失，在不同深度增加了兩個(gè)輔助的softmax，并按一個(gè)較小的權(quán)重加到最終分類結(jié)果中。這相當(dāng)于模型融合，同時(shí)給網(wǎng)絡(luò)添加了反向傳播的梯度信號，避免梯度消失，也提供了額外的正則化，對整個(gè)網(wǎng)絡(luò)訓(xùn)練很有幫助。

1.3基于遷移學(xué)習(xí)的Inception V3模型

為了訓(xùn)練一個(gè)卷積神經(jīng)網(wǎng)絡(luò)模型，需要一個(gè)大的數(shù)據(jù)集。但是，如果數(shù)據(jù)集不夠大則無法培訓(xùn)完整的模型。因此，微調(diào)網(wǎng)絡(luò)成為優(yōu)化特征提取的首選方法。微調(diào)網(wǎng)絡(luò)是一個(gè)基于轉(zhuǎn)移學(xué)習(xí)概念的過程，具體而言是一個(gè)讓已經(jīng)學(xué)習(xí)的模型適用于新的分類模型的過程?；贗nceptionV3卷積神經(jīng)網(wǎng)絡(luò)模型，結(jié)合煤矸石種類及特點(diǎn)，構(gòu)建煤矸石識別模型如圖1所示。

通過卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練得到的模型具有良好的遷移學(xué)習(xí)能力，建立基于InceptionV3網(wǎng)絡(luò)的煤矸石識別模型，通過ImageNet訓(xùn)練完成InceotionV3模型權(quán)值和參數(shù)，對模型進(jìn)行初始化，并使用二標(biāo)簽分類器代替原有的全連接層。煤矸石圖像特征提取過程如表1所示。

2識別實(shí)驗(yàn)與結(jié)果分析

本實(shí)驗(yàn)配置：16核心power8處理器，主頻3.3Gz，一塊NVIDIA Tesla K8024GB GPU Accelerator卡的IBM服務(wù)器，操作系統(tǒng)為Ubuntul6，使用tensorflowl.10開源深度學(xué)習(xí)框架作為實(shí)驗(yàn)環(huán)境。

2.1煤和矸石樣本采集

采集煤和矸石數(shù)據(jù)。為確保圖片主體明確，模擬生產(chǎn)環(huán)境背景，統(tǒng)一在皮帶上進(jìn)行樣本采集，共采集樣本3000個(gè)，其中煤樣本圖片1000張，矸石樣本圖片2000張。煤種類包含煙煤、無煙煤，矸石包括頁巖和砂巖。將煤矸分類作為二分類，各類煤種統(tǒng)稱為煤，各類矸石統(tǒng)稱為矸石。煤和矸石樣本如圖2所示。其中80%的圖片用于訓(xùn)練，10%用于校驗(yàn)，10%用于測試模型的識別準(zhǔn)確度。

2.2樣本集擴(kuò)增

深度學(xué)習(xí)通常會要求擁有充足數(shù)量的訓(xùn)練樣本。一般來說，數(shù)據(jù)的總量越多，訓(xùn)練得到的模型效果會越好。為了減少過擬合現(xiàn)象，提升網(wǎng)絡(luò)泛化能力，在圖像處理任務(wù)中，對輸人圖像進(jìn)行簡單的平移縮放、顏色變換，不影響圖像類別。對煤矸石數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)，包含圖像翻轉(zhuǎn)、明亮度變換以及添加噪聲等方法，效果如圖3所示。

2.3模型參數(shù)設(shè)置

使用通過ImageNet上訓(xùn)練完成的Inception V3模型的權(quán)值和偏差對網(wǎng)絡(luò)模型進(jìn)行初始化，其中參數(shù)衰減系數(shù)為0.9997，激活函數(shù)為ReLU，設(shè)定節(jié)點(diǎn)保留比率為0.8，設(shè)定100次的迭代次數(shù)，批尺寸為64。使用softmax分類代替模型最后的全連接層，使用修改過的模型對煤矸石圖像進(jìn)行訓(xùn)練。分別設(shè)定0.1、0.05、0.01的初始學(xué)習(xí)率，分析比較模型對煤矸石的識別準(zhǔn)確率。本實(shí)驗(yàn)通過設(shè)定不同的學(xué)習(xí)率，尋找較高識別率與建模時(shí)間之間的平衡點(diǎn)。

2.4實(shí)驗(yàn)結(jié)果分析

通過表2可以看到，固定迭代次數(shù)為100時(shí)，隨著學(xué)習(xí)率的降低，模型對煤矸石識別的準(zhǔn)確率逐步提升。最后確定學(xué)習(xí)率為0.01時(shí)網(wǎng)絡(luò)模型能獲得更高的識別準(zhǔn)確率，并且建模實(shí)時(shí)性也很好。

將傳統(tǒng)煤矸石識別方法與本實(shí)驗(yàn)進(jìn)行對比，結(jié)果如表3所示，主要比對了傳統(tǒng)特征提取方法與卷積神經(jīng)網(wǎng)絡(luò)模型識別方法的準(zhǔn)確率。

從表3可以看出，通過灰度特征或者紋理特征單獨(dú)對煤矸石進(jìn)行識別，準(zhǔn)確率偏低，將灰度、紋理特征結(jié)合起來進(jìn)行識別，準(zhǔn)確度有了一定提高，其中單一采用Inception模型時(shí)準(zhǔn)確率最低。本文提出將遷移學(xué)習(xí)與Inception模型相結(jié)合，通過遷移學(xué)習(xí)共享已訓(xùn)練模型卷積層權(quán)值和偏差，提高網(wǎng)絡(luò)識別精度。實(shí)驗(yàn)證明，采用本文提出的深度學(xué)習(xí)Fune-tune Inception準(zhǔn)確率優(yōu)于Inception，說明在將訓(xùn)練好的網(wǎng)絡(luò)模型遷移至特定領(lǐng)域后，能夠獲取更好的識別率。

3結(jié)語

針對煤矸石識別問題，本文提出了一種基于遷移學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)煤矸石圖像識別方法。對數(shù)據(jù)集進(jìn)行擴(kuò)增后，利用預(yù)訓(xùn)練Inceptionv3模型在煤矸石圖像數(shù)據(jù)集上進(jìn)行識別訓(xùn)練，取得了較好的分類準(zhǔn)確率。實(shí)驗(yàn)結(jié)果顯示模型在測試集上的準(zhǔn)確率為93.5%，優(yōu)于傳統(tǒng)識別方法，破解了傳統(tǒng)算法人工提取特征困難、識別結(jié)果差的難題。

下一步工作將對Inceptionv3模型進(jìn)行改動、優(yōu)化，以便獲得更精準(zhǔn)的識別結(jié)果，為煤矸分揀機(jī)器人進(jìn)行煤矸石分揀奠定理論基礎(chǔ)。