一維卷積神經(jīng)網(wǎng)絡(luò)特征提取下微震能級(jí)時(shí)序預(yù)測(cè)

裴艷宇，楊小彬?，傳金平，吳學(xué)松，程虹銘，呂祥鋒

1) 中國(guó)礦業(yè)大學(xué)（北京）應(yīng)急管理與安全工程學(xué)院，北京 100083 2) 華亭煤業(yè)公司硯北煤礦，華亭 744105 3) 北京科技大學(xué)土木與資源工程學(xué)院，北京 100083

我國(guó)煤礦開采逐漸轉(zhuǎn)入深部開采，深部開采過程中沖擊地壓事件發(fā)生的數(shù)量和強(qiáng)度逐漸增加[1]，研究沖擊地壓前兆信號(hào)的變化對(duì)預(yù)測(cè)沖擊地壓有重要意義[2].

微震信號(hào)監(jiān)測(cè)作為一種重要技術(shù)手段對(duì)沖擊地壓預(yù)測(cè)有重要作用[3-6]，高能級(jí)微震事件與沖擊地壓的發(fā)生有良好的對(duì)應(yīng)關(guān)系[7].陸菜平等[8]從分析微震信號(hào)的功率譜和幅頻特性入手，對(duì)沖擊地壓的預(yù)測(cè)預(yù)報(bào)進(jìn)行研究；蔡武等[9]綜合考慮微震的“時(shí)、空、強(qiáng)”特征，從時(shí)間、空間角度分別對(duì)沖擊危險(xiǎn)狀態(tài)和沖擊危險(xiǎn)區(qū)域及危險(xiǎn)等級(jí)進(jìn)行預(yù)測(cè)；郭來功等[10]則通過微震成像和微震云圖等方式發(fā)掘微震事件時(shí)空規(guī)律，為沖擊地壓預(yù)測(cè)提供判據(jù)；田向輝等[11]通過對(duì)微震能量、頻次的分析來預(yù)測(cè)沖擊地壓的危險(xiǎn)等級(jí).以上研究結(jié)果對(duì)沖擊地壓判識(shí)提供了手段支持，但在微震能級(jí)隨時(shí)間變化規(guī)律及基于現(xiàn)有的微震能級(jí)如何對(duì)后期的微震能級(jí)進(jìn)行預(yù)測(cè)等方面還需要進(jìn)一步的研究，尤其對(duì)高能級(jí)的微震事件進(jìn)行預(yù)測(cè)尤為重要.對(duì)微震信號(hào)的變化進(jìn)行預(yù)測(cè)，將微震事件時(shí)間節(jié)點(diǎn)前移，以實(shí)現(xiàn)對(duì)沖擊地壓的提前預(yù)測(cè)，為沖擊地壓防控提供更多時(shí)間保障.

機(jī)器學(xué)習(xí)相關(guān)技術(shù)和模型的發(fā)展為井下序列數(shù)據(jù)的預(yù)測(cè)提供了更廣闊的視野.喬美英等[12]應(yīng)用遺傳算法優(yōu)化的支持向量機(jī)模型對(duì)礦井涌水量進(jìn)行短期預(yù)測(cè)，預(yù)測(cè)最大相對(duì)誤差為2.62%；趙毅鑫等[13]利用長(zhǎng)短時(shí)記憶模型對(duì)礦壓進(jìn)行預(yù)測(cè)并在其他礦井應(yīng)用，預(yù)測(cè)結(jié)果較佳；李樹剛等[14]利用循環(huán)神經(jīng)網(wǎng)絡(luò)對(duì)煤礦工作面的瓦斯?jié)舛冗M(jìn)行預(yù)測(cè)，瓦斯體積分?jǐn)?shù)預(yù)測(cè)結(jié)果誤差為0.006%.以上學(xué)者應(yīng)用機(jī)器學(xué)習(xí)模型對(duì)時(shí)序數(shù)據(jù)進(jìn)行預(yù)測(cè)，在各自研究方面取得了較大進(jìn)展，但這些傳統(tǒng)機(jī)器學(xué)習(xí)模型存在一點(diǎn)不足，即特征提取和分類分開難以得到最優(yōu)解[15]，而卷積神經(jīng)網(wǎng)絡(luò)（Convolutional neural networks，CNN）作為一種深度學(xué)習(xí)模型，同時(shí)具備特征提取和分類輸出的能力.卷積神經(jīng)網(wǎng)絡(luò)特征提取能力出色，在故障診斷[16-18]、地質(zhì)遙感檢測(cè)[19-20]等方面應(yīng)用廣泛且效果較佳，一些學(xué)者應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)對(duì)一維數(shù)據(jù)進(jìn)行處理，并展現(xiàn)了其優(yōu)勢(shì).趙康寧等[21]利用一維卷積神經(jīng)網(wǎng)絡(luò)的時(shí)序數(shù)據(jù)特征提取能力，將其與貝葉斯神經(jīng)網(wǎng)絡(luò)結(jié)合，對(duì)光伏出力進(jìn)行時(shí)序預(yù)測(cè)；金列俊等[22]建立一維卷積神經(jīng)網(wǎng)絡(luò)的鉆桿故障診斷模型，根據(jù)鉆桿的加速度信號(hào)對(duì)鉆桿工作狀態(tài)進(jìn)行識(shí)別；高佳豪等[23]使用一維卷積神經(jīng)網(wǎng)絡(luò)對(duì)包含軸承故障特征的隨機(jī)信號(hào)成分進(jìn)行特征提取以對(duì)齒輪箱軸承故障進(jìn)行辨識(shí).一維卷積神經(jīng)網(wǎng)絡(luò)在時(shí)序數(shù)據(jù)特征提取和預(yù)測(cè)方面都展示了良好的能力.

為此，本文為了實(shí)現(xiàn)微震能級(jí)時(shí)序預(yù)測(cè)，利用一維卷積神經(jīng)網(wǎng)絡(luò)建立微震能級(jí)時(shí)序預(yù)測(cè)模型，以前若干次微震的能量級(jí)別作為輸入來預(yù)測(cè)下一次微震事件的能量級(jí)別；分析微震數(shù)據(jù)時(shí)序特征，對(duì)模型進(jìn)行優(yōu)化改進(jìn)，對(duì)比現(xiàn)場(chǎng)微震監(jiān)測(cè)數(shù)據(jù)，驗(yàn)證建立的一維卷積神經(jīng)網(wǎng)絡(luò)微震能級(jí)時(shí)序預(yù)測(cè)模型的可行性.

1 微震能級(jí)序列預(yù)測(cè)原理

某一區(qū)域的能量與微震之間存在地震震級(jí)-頻度關(guān)系，即G-R關(guān)系式[24]：

其中，N為微震累積次數(shù)；M為區(qū)域性震級(jí)的最小值；a，b為與區(qū)域有關(guān)的經(jīng)驗(yàn)常數(shù)，b值刻畫了震源區(qū)的介質(zhì)與應(yīng)力情況.

文獻(xiàn)研究已表明微震能級(jí)隨時(shí)間存在一定的變化規(guī)律，那么，未來微震事件的能量與前幾次微震事件的能量存在關(guān)聯(lián).基于此假設(shè)，一定存在一個(gè)映射g，使得可通過前若干次的微震事件能量Ei、Ei+1、···、EN得到第N+1次的微震事件能量EN+1，如式（2）式所示.

式中，i+1＜N.

由于微震事件的能量量級(jí)差別較大，為了便于模型輸入及特征提取，對(duì)微震事件的能量值取對(duì)數(shù)，所得結(jié)果四舍五入取整后，記為微震事件能量級(jí)別，如式（3）所示：

其中，Ki表示第i次微震的能量級(jí)別.

基于以上內(nèi)容構(gòu)造模型，以前若干次的微震事件能量級(jí)別為輸入預(yù)測(cè)下一次微震事件能量級(jí)別.

2 基于一維卷積神經(jīng)網(wǎng)絡(luò)的微震能級(jí)時(shí)序預(yù)測(cè)模型

2.1 模型構(gòu)建

為有效提取微震能量數(shù)據(jù)特征，預(yù)測(cè)微震能量級(jí)別的時(shí)序變化規(guī)律，現(xiàn)構(gòu)建基于一維卷積神經(jīng)網(wǎng)絡(luò)的微震能級(jí)時(shí)序預(yù)測(cè)模型，具體步驟如下：

（1）模型輸入、輸出.

模型輸入時(shí)直接輸入前若干次的微震能量值，本文中模型輸出值代表微震能量級(jí)別，由于相鄰的兩個(gè)能量級(jí)別差異較大，若輸出按十進(jìn)制標(biāo)量形式表示能量級(jí)別，模型訓(xùn)練結(jié)果會(huì)出現(xiàn)較大偏差.因此，采用一維有效編碼方法（One-hot encode）將標(biāo)量轉(zhuǎn)化為一維向量，即將預(yù)測(cè)的對(duì)應(yīng)微震能級(jí)表示為1，其他級(jí)別均為0.

（2）模型特征提取.

檢測(cè)信號(hào)對(duì)某種特定模式的響應(yīng)是卷積的本質(zhì).卷積核通過遍歷整段輸入向量，對(duì)能量序列中某些發(fā)生突變的點(diǎn)或階段等細(xì)微特征進(jìn)行檢測(cè).而池化層將卷積層輸出的特征數(shù)據(jù)進(jìn)行縮減以降低模型計(jì)算負(fù)擔(dān).由于微震能量序列是廣義一維時(shí)間數(shù)據(jù)，相比于圖像、視頻等多維數(shù)據(jù)其包含信息量較少，為減少特征提取過程中數(shù)據(jù)信息的丟失，模型使用卷積層進(jìn)行特征提取而刪去池化層[25].模型先通過多個(gè)卷積層對(duì)微震數(shù)據(jù)提取特征，激活函數(shù)采用Relu函數(shù)，最后由全連接層對(duì)最后一層卷積層的輸出加權(quán)平均.卷積層對(duì)上一層輸出在第j個(gè)卷積核處的值，按以下公式進(jìn)行處理：

其中，I為卷積層的一維輸入向量；O為卷積層的一維輸出向量；f則為該層的激活函數(shù)；Hj為長(zhǎng)度為m的一維向量，又稱為卷積核.同時(shí)，同一卷積層內(nèi)可有多個(gè)卷積核同時(shí)對(duì)輸入值進(jìn)行運(yùn)算.

（3）模型分類與優(yōu)化.

為方便現(xiàn)場(chǎng)人員更好地了解預(yù)測(cè)類別的概率值，模型輸出層選擇Softmax分類器進(jìn)行最終分類.

為優(yōu)化人工神經(jīng)網(wǎng)絡(luò)模型，尋找一組神經(jīng)網(wǎng)絡(luò)的權(quán)值參數(shù)θ，并采用特定算法使損失函數(shù)Loss(θ)顯著降低.考慮到學(xué)習(xí)率對(duì)模型訓(xùn)練效果影響較大，人工確定最佳參數(shù)具有較大難度，故選用一種學(xué)習(xí)率自適應(yīng)算法Adam作為模型優(yōu)化算法[26].

若設(shè)卷積神經(jīng)網(wǎng)絡(luò)模型為f(θ;·)，則CN+1與前N次微震能量關(guān)系如式（5）所示：

其中，Loss(·)為人為指定的損失函數(shù)，用于衡量模型預(yù)測(cè)的微震能量數(shù)量級(jí)與真實(shí)值之間的誤差.

其中，Li為第i個(gè)樣本的誤差；n為樣本數(shù)；m為類別數(shù)；im為第i個(gè)樣本屬于第m類的預(yù)測(cè)概率；yim為第i個(gè)樣本屬于第m類的真實(shí)概率.

2.2 模型訓(xùn)練及測(cè)試結(jié)果

考慮到采掘活動(dòng)、地應(yīng)力條件、地質(zhì)條件等因素對(duì)微震事件的發(fā)生有一定影響，在選擇輸入數(shù)據(jù)維度時(shí)，經(jīng)大量預(yù)試驗(yàn)，發(fā)現(xiàn)以前十次微震能級(jí)作為輸入來預(yù)測(cè)下一次微震能級(jí)時(shí)正確率較高，相應(yīng)的模型結(jié)構(gòu)如圖1所示，模型超參數(shù)經(jīng)多次試驗(yàn)迭代所得，如表1所示.

表 1 各卷積層超參數(shù)Table 1 Hyperparametric table of each convolution layer

圖 1 一維卷積神經(jīng)網(wǎng)絡(luò)微震能級(jí)時(shí)序預(yù)測(cè)模型結(jié)構(gòu)Fig.1 Structure of the prediction model of the microseismic energy level time series based on the one-dimensional convolution neural network

利用硯北煤礦250202工作面2017年1月1日至2018年9月30日記錄的10343次微震數(shù)據(jù)對(duì)一維卷積神經(jīng)網(wǎng)絡(luò)微震能級(jí)序列預(yù)測(cè)模型進(jìn)行訓(xùn)練和測(cè)試.選取9次106級(jí)別微震中前6次微震，105級(jí)別微震中前66%的微震和其他級(jí)別前90%的微震事件，混合、打亂組成訓(xùn)練集；其余的微震事件混合、打亂組成測(cè)試集，模型測(cè)試結(jié)果如表2所示.

表 2 250202工作面微震能量級(jí)別測(cè)試結(jié)果Table 2 Test results of the microseismic energy level of the 250202 working face%

由表2可知，模型對(duì)102、103、104低能級(jí)的微震事件預(yù)測(cè)正確率和對(duì)105級(jí)別的高能級(jí)微震事件的預(yù)測(cè)正確率均超過了98%，并且總體正確率也達(dá)到了97.9%，說明基于一維卷積神經(jīng)網(wǎng)絡(luò)建立模型對(duì)微震能級(jí)進(jìn)行時(shí)序數(shù)據(jù)進(jìn)行預(yù)測(cè)是可行的.

但需要注意的是，模型預(yù)測(cè)結(jié)果中對(duì)106級(jí)別的高能級(jí)微震事件的預(yù)測(cè)正確率為0，有必要進(jìn)一步對(duì)模型進(jìn)行討論、研究以提高對(duì)該級(jí)別微震事件的預(yù)測(cè)正確率.

3 改進(jìn)的基于一維卷積神經(jīng)網(wǎng)絡(luò)的微震能級(jí)時(shí)序預(yù)測(cè)模型

雖然模型在測(cè)試集中預(yù)測(cè)正確率較高，但對(duì)106級(jí)別微震的預(yù)測(cè)正確率為0，通過分析發(fā)現(xiàn)模型將106級(jí)別微震全部預(yù)測(cè)為105級(jí)別的微震.硯北煤礦250202工作面記錄的2017年1月至2018年10月的10343次微震中，105級(jí)別的微震353次，沖擊地壓引起或伴隨的微震只有11次，而106級(jí)別的微震有9次，但全部是沖擊地壓引起或伴隨發(fā)生的，因而有必要提高模型對(duì)106能級(jí)微震事件的預(yù)測(cè)準(zhǔn)確率.

3.1 微震數(shù)據(jù)類間不平衡特征及解決方法

通過分析發(fā)現(xiàn)，模型對(duì)106能級(jí)微震事件預(yù)測(cè)正確率低的原因是微震事件各個(gè)能量級(jí)別的數(shù)量不平衡，其他能級(jí)事件數(shù)量遠(yuǎn)遠(yuǎn)多于106能級(jí)微震事件數(shù)量.本次用于模型訓(xùn)練和測(cè)試的數(shù)據(jù)中，102、103、104級(jí)別的微震上千次，106級(jí)別微震 9次，如圖2所示.

圖 2 微震各能量級(jí)別數(shù)量Fig.2 Number of each microseismic energy level

因此，解決模型對(duì)106能級(jí)微震事件預(yù)測(cè)準(zhǔn)確率低的問題，需從微震事件各能級(jí)數(shù)據(jù)的不平衡特征入手.在機(jī)器學(xué)習(xí)領(lǐng)域的分類問題中，樣本量較多的類別稱為負(fù)樣本，樣本量較少的類別稱為正樣本.用存在正、負(fù)樣本的數(shù)據(jù)集訓(xùn)練的模型會(huì)傾向于將正樣本分類為負(fù)樣本，導(dǎo)致正樣本事件分類正確率降低.

目前處理正負(fù)樣本類間不平衡問題的主要方法有欠采樣、過采樣和混合采樣[27].欠采樣會(huì)丟棄有價(jià)值的樣本點(diǎn)，導(dǎo)致人工神經(jīng)網(wǎng)絡(luò)無(wú)法學(xué)習(xí)到有效的特征；過采樣會(huì)放大正樣本中噪聲的影響，容易造成過擬合.考慮前二者的缺點(diǎn)和混合采樣優(yōu)勢(shì)，采用一種混合采樣方法[28]對(duì)模型進(jìn)行訓(xùn)練，即隨機(jī)將負(fù)樣本分成若干份并分別和僅有的一份正樣本組合，得到若干訓(xùn)練集后分別訓(xùn)練若干個(gè)子模型，最后再將每一個(gè)子模型的結(jié)果集成得到最終結(jié)果.混合采樣的訓(xùn)練集建立過程如圖3所示.

圖 3 混合采樣訓(xùn)練集建立過程Fig.3 Building process of the hybrid sampling training set

3.2 改進(jìn)模型的構(gòu)建

由于微震能級(jí)各類別數(shù)據(jù)的極端不平衡特征，在前文模型的基礎(chǔ)上，前置一個(gè)預(yù)判模型，該模型對(duì)高、低能級(jí)微震事件進(jìn)行預(yù)測(cè)，當(dāng)預(yù)測(cè)結(jié)果為低能級(jí)事件，直接輸出預(yù)測(cè)結(jié)果；當(dāng)預(yù)測(cè)為高能級(jí)事件，送入后續(xù)的若干個(gè)續(xù)判模型群進(jìn)一步預(yù)測(cè)，各個(gè)續(xù)判模型的預(yù)測(cè)結(jié)果加權(quán)平均作為最終輸出結(jié)果.預(yù)判模型的訓(xùn)練集分為高能級(jí)、低能級(jí)兩種類別，105、106級(jí)別微震劃分為高能級(jí)微震事件；102、103、104級(jí)別微震劃分為低能級(jí)微震事件.續(xù)判模型的訓(xùn)練集采用混合采樣方法建立且訓(xùn)練集僅包括105、106兩種級(jí)別的微震事件.改進(jìn)的一維卷積神經(jīng)網(wǎng)絡(luò)微震能級(jí)時(shí)序預(yù)測(cè)模型框架如圖4所示.

圖 4 改進(jìn)的基于一維卷積神經(jīng)網(wǎng)絡(luò)的微震能級(jí)時(shí)序預(yù)測(cè)模型總體框架Fig.4 General framework of improved prediction model of microseismic energy level time series based on the one-dimensional convolution neural network

預(yù)判模型與續(xù)判模型的內(nèi)部結(jié)構(gòu)與前文已經(jīng)建立的基于一維卷積神經(jīng)網(wǎng)絡(luò)的微震能級(jí)時(shí)序預(yù)測(cè)模型結(jié)構(gòu)一致，不再贅述.

3.3 改進(jìn)模型的訓(xùn)練及測(cè)試結(jié)果

根據(jù)前期測(cè)試，針對(duì)硯北煤礦微震數(shù)據(jù)集所建模型的續(xù)判模型最佳數(shù)量為20個(gè).對(duì)續(xù)判模型群，將105級(jí)別微震中的前240次微震隨機(jī)分成20份，106級(jí)別微震中的前6次復(fù)制20份，二者隨機(jī)組合得到20個(gè)子訓(xùn)練集.105級(jí)別的微震中后113次和106級(jí)別的微震中的后3次組合作為測(cè)試集.

對(duì)預(yù)判模型的訓(xùn)練集、測(cè)試集劃分，與前文基于一維卷積神經(jīng)網(wǎng)絡(luò)的微震能級(jí)時(shí)序預(yù)測(cè)模型的訓(xùn)練集、測(cè)試集劃分方法相同，但105、106級(jí)別微震分類時(shí)記為同一個(gè)類，即具有相同的分類標(biāo)簽.最后，對(duì)改進(jìn)的預(yù)測(cè)模型進(jìn)行測(cè)試，測(cè)試結(jié)果如表3所示.

表 3 250202工作面微震能量級(jí)別測(cè)試結(jié)果Table 3 Test results of the microseismic energy level of the 250202 working face %

改進(jìn)后的模型對(duì)106微震能量級(jí)別事件的預(yù)測(cè)正確率由原來的0提升至99.0%，而105級(jí)別微震僅下降了5%，總體預(yù)測(cè)正確率較之前增加了0.5%，為98.4%.可以認(rèn)為，改進(jìn)后的模型一定程度上解決了樣本數(shù)據(jù)間不平衡導(dǎo)致的模型對(duì)106微震能量級(jí)別預(yù)測(cè)正確率低的問題.

3.4 改進(jìn)模型的實(shí)際應(yīng)用

為進(jìn)一步驗(yàn)證本文改進(jìn)后的基于一維卷積神經(jīng)網(wǎng)絡(luò)的微震能級(jí)時(shí)序預(yù)測(cè)模型在微震能量級(jí)別預(yù)測(cè)方面的準(zhǔn)確性，將其應(yīng)用于硯北煤礦250202工作面進(jìn)行微震能級(jí)預(yù)測(cè)，以前10次微震能級(jí)作為輸入時(shí)，預(yù)測(cè)下一次微震能級(jí).

250202工作面屬于2502采區(qū)，處于硯北煤礦最東側(cè)，北接1504采區(qū)，南與2502采區(qū)運(yùn)輸大巷、軌道大巷及行人通道相連，西臨250203工作面上部采空區(qū)，東部為采區(qū)的保護(hù)煤柱區(qū)域.該工作面地質(zhì)條件較為復(fù)雜，受區(qū)域向斜軸影響嚴(yán)重，向斜軸線發(fā)生大范圍斜交，走向整體呈現(xiàn)北高南低走勢(shì)，走向落差為50～280 m.煤厚為10.8～15.2 m，其平均煤厚為12.9 m，工作面長(zhǎng)度在200～220 m之間，工作面走向長(zhǎng)度約為1600 m，由北向南推進(jìn)，采煤方法采用走向長(zhǎng)壁放頂煤采煤法，全部垮落法管理頂板，回采速率為3 m·d-1，煤巖沖擊傾向鑒定為具有強(qiáng)沖擊傾向性.自2018年10月1日至10月10日，該工作面共監(jiān)測(cè)到112次微震，改進(jìn)后的基于一維卷積神經(jīng)網(wǎng)絡(luò)的微震能級(jí)時(shí)序預(yù)測(cè)模型對(duì)112次微震事件能級(jí)的預(yù)測(cè)準(zhǔn)確率為93.5%，對(duì)高能級(jí)微震的預(yù)測(cè)正確率為100%.實(shí)測(cè)能級(jí)與預(yù)測(cè)能級(jí)比對(duì)結(jié)果如圖5所示.

圖 5 微震能量預(yù)測(cè)值與實(shí)測(cè)值對(duì)比Fig.5 Comparison between the predicted and measured microseismic energy

4 結(jié)論

（1）設(shè)計(jì)了一種基于一維卷積神經(jīng)網(wǎng)絡(luò)的微震能級(jí)時(shí)序預(yù)測(cè)模型，以前十次微震事件的能量級(jí)別作為輸入，預(yù)測(cè)下一次微震事件能量級(jí)別.訓(xùn)練后模型在測(cè)試集上的正確率達(dá)到97.9%.

（2）由于微震事件各個(gè)能級(jí)樣本數(shù)量不平衡導(dǎo)致模型對(duì)106級(jí)別微震預(yù)測(cè)正確率過低，為解決該問題對(duì)模型進(jìn)行改進(jìn).改進(jìn)后模型對(duì)106級(jí)別微震事件的預(yù)測(cè)正確率由0提升至99.0%，同時(shí)總體預(yù)測(cè)正確率提升為98.4%.

（3）使用硯北煤礦250202工作面10月1日～10月10日的112次微震事件對(duì)改進(jìn)的模型進(jìn)行驗(yàn)證，模型對(duì)微震事件能級(jí)的預(yù)測(cè)正確率達(dá)到了93.5%，證明本文模型可以為現(xiàn)場(chǎng)微震事件能級(jí)預(yù)測(cè)提供一定參考.