基于隨機森林與支持向量機的回采工作面瓦斯涌出量預(yù)測方法

成小雨，周愛桃，郭焱振，程 成，李德波

（1.中煤能源研究院有限責(zé)任公司，陜西西安 710054；2.中國礦業(yè)大學(xué)（北京）應(yīng)急管理與安全工程學(xué)院，北京 100083；3.中煤新集劉莊礦業(yè)有限公司，安徽阜陽 236200）

瓦斯涌出量是指在礦井建設(shè)及生產(chǎn)過程中從煤與巖石內(nèi)涌出的瓦斯量，是煤礦安全生產(chǎn)的主要威脅之一[1]。通過對礦井瓦斯涌出量進行預(yù)測，進而采取必要的防范措施可以減少乃至有效預(yù)防瓦斯事故的發(fā)生，從而保證礦井安全生產(chǎn)以及保障工作人員生命安全。開采過程中，瓦斯涌出量隨自然條件和開采技術(shù)變化而改變，這些因素間存在著耦合性、非線性[2]。近年來許多學(xué)者從深度學(xué)習(xí)領(lǐng)域積極探尋瓦斯涌出量的預(yù)測方法：王艷暉等[3]基于改進果蠅算法（MFOA）結(jié)合支持向量機（SVM）對瓦斯涌出量進行了預(yù)測；董曉雷等[4]將遺傳算法（GA）與支持向量機（SVM）結(jié)合，建立了回采工作面瓦斯涌出量預(yù)測模型；王生全等[5]借助BP 神經(jīng)網(wǎng)絡(luò)結(jié)合遺傳算法（GA）建立了瓦斯涌出量預(yù)測模型。部分學(xué)者將特征篩選方法[6]運用到瓦斯涌出量預(yù)測中：李樹剛等[7]將因子分析與BP 神經(jīng)網(wǎng)絡(luò)結(jié)合，對瓦斯涌出量預(yù)測展開了研究；盧國斌等[8]借助主成分分析法結(jié)合BP 神經(jīng)網(wǎng)絡(luò)對回采工作面瓦斯涌出量進行預(yù)測；付華等[9]提出一種基于LSTM 的瓦斯涌出量預(yù)測模型，并結(jié)合量子粒子群算法對相關(guān)參數(shù)進行了優(yōu)化，測試表明該模型有著較好的表現(xiàn)；吳奉亮等[10]、汪明等[11]提出了以隨機森林算法進行瓦斯涌出量預(yù)測的方法。從前人研究來看，灰色理論在預(yù)測精度上難以滿足要求；神經(jīng)網(wǎng)絡(luò)類深度學(xué)習(xí)方法調(diào)參耗時費力，對數(shù)據(jù)要求較高且易過擬合。支持向量機與隨機森林算法以其原理清晰等優(yōu)點在農(nóng)業(yè)[12]、生物學(xué)[13]、地球物理[14-15]等領(lǐng)域得到廣泛應(yīng)用。此外，部分學(xué)者將隨機森林自身特征篩選功能與支持向量機（SVM）結(jié)合展開了相關(guān)研究[16-17]，結(jié)果表明，與未進行特征篩選相比，該種方法在有效減少數(shù)據(jù)采集工作量的同時，基本取得了較為接近甚至更為理想的效果，這為解決該類多影響因素問題提供了思路：可以采取數(shù)據(jù)降維類方法對影響因素進行篩選后結(jié)合相關(guān)算法進行求解。為此，針對當(dāng)前瓦斯涌出量預(yù)測中數(shù)據(jù)處理粗糙及數(shù)據(jù)利用程度不足等問題，將交叉驗證、數(shù)據(jù)降維方法結(jié)合對數(shù)據(jù)進行處理；針對預(yù)測方法單一、預(yù)測方法選取不合理問題，選取支持向量機與隨機森林算法分別建立預(yù)測模型，通過對比篩選出較優(yōu)的瓦斯涌出量預(yù)測模型。

1 方法原理

1.1 隨機森林原理

隨機森林[18]是由多個決策樹構(gòu)成的集成算法，屬于集成學(xué)習(xí)的一個子類，可用于分類及回歸問題，它主要對樣本單元和變量進行抽樣，進而生成大量決策樹。對每個樣本單元來說，所有決策樹依次對其進行分類，預(yù)測類別中的眾數(shù)即為隨機森林所預(yù)測的該樣本單元所屬類別（用于回歸時，輸出即為所有樹預(yù)測值的均值）。

假設(shè)給定樣本集X 中共有N 個樣本單元，M 個特征屬性，用于回歸問題時隨機森林算法大致如下：①采用Bootstrap 法從給定樣本集X 中隨機、有放回地抽取Q 個樣本，生成決策樹；②在每一個節(jié)點隨機抽取m 個特征（m

圖1 RF 原理圖Fig.1 Principle diagram of random forest

1.2 支持向量機原理

支持向量機是一種監(jiān)督式機器學(xué)習(xí)模型，可用于分類及回歸分析。處理非線性問題時借助核技巧將其由原始空間映射到高維空間，轉(zhuǎn)換為該空間內(nèi)的線性問題，進而尋找一超平面使得所有樣本與該超平面的距離最小。該超平面的表達式可寫作：

式中：ω 為權(quán)值向量；b 為偏置值；φ（xi）為非線性映射函數(shù)。

將上述問題轉(zhuǎn)化為二次規(guī)劃問題：

式中：ξi、ξi*為松弛變量；C 為懲罰系數(shù)。

借助Lagrange 優(yōu)化方法將上述問題轉(zhuǎn)化為對偶問題，最終得到回歸模型表達式為：

式中：αi、αi*為拉格朗日乘子；K（xi，xj）為核函數(shù)。約束條件：

徑向基核函數(shù)（RBF）表達式為：

式中：σ 為RBF 的徑向量寬度。

2 實驗及分析

2.1 數(shù)據(jù)來源和數(shù)據(jù)處理

實驗所用樣本數(shù)據(jù)取自中煤新集劉莊煤礦若干工作面歷史監(jiān)測數(shù)據(jù)，整理共計24 組，回采工作面瓦斯涌出量與影響因素見表1[19-20]。

表1 回采工作面瓦斯涌出量與影響因素Table 1 Gas emission and influencing factors in mining face

為充分利用現(xiàn)有數(shù)據(jù)，綜合考慮數(shù)據(jù)量及測試穩(wěn)定性，采取K-折交叉驗證（K-CV）處理數(shù)據(jù)集，K-折交叉驗證原理如圖2。

圖2 K-折交叉驗證Fig.2 K-fold cross validation

具體做法如下：

將數(shù)據(jù)集均分成K 份規(guī)模相同互斥子集，每次取其中K-1 份子集進行訓(xùn)練，余下1 組作為測試集，如此循環(huán)直至所有子集都作一次測試集。一般K 從3 取起，當(dāng)K 與樣本數(shù)相等時即為留一法交叉驗證。

2.2 預(yù)測模型構(gòu)建

相關(guān)預(yù)測模型構(gòu)建工作均借助Python 編程語言中Sklearn 機器學(xué)習(xí)工具進行。支持向量回歸模型（SVR） 中核函數(shù)有線性核、多項式核及高斯核（RBF）等，這里選取泛化能力強、待調(diào)參數(shù)少的RBF為核函數(shù)，懲罰系數(shù)C 與σ 按網(wǎng)格搜索法確定，其中C 搜索范圍：［1、5、10、15、20、50、100、200］；σ 搜索范圍：［0.01、0.02、0.03、0.04、0.05、0.1、0.2、0.5、1、5、10］。

隨機森林回歸模型（RFR）中待調(diào)節(jié)參數(shù)主要有2 個：樹的數(shù)量N 以及最大特征數(shù)M，以網(wǎng)格搜索法確定二者取值，設(shè)置N 的范圍為50～500，梯度50；最大特征數(shù)取值方法有開方取值法、取對數(shù)值法、取整數(shù)法等，為了節(jié)省測試時間及直觀查看其值對預(yù)測效果的影響，按取整數(shù)法設(shè)置M 搜索范圍為3～10，梯度為1，其余參數(shù)按默認值選取。

2.3 實驗流程

瓦斯涌出量預(yù)測模型構(gòu)建流程如圖3。

圖3 瓦斯涌出量預(yù)測模型構(gòu)建流程Fig.3 Flow chart of establishing gas emission prediction model

首先以交叉驗證法對數(shù)據(jù)集隨機拆分（shuffle=True）處理，通過SVR、RFR 預(yù)測模型得到各個子集預(yù)測結(jié)果，對其效果進行對比分析。

隨后對特征篩選后數(shù)據(jù)集進行測試，經(jīng)綜合對比得到最優(yōu)預(yù)測模型，并進一步對模型效果驗證及分析。為確保測試合理性與可對比性，除預(yù)測模型中參數(shù)設(shè)置外，2 模型在其余處理上均保持同步。

2.4 K-折交叉驗證（K-CV）

為增加測試可信度，K 值一般從3 取起，但隨著K 值增加模型性能趨于穩(wěn)定，而工作量也會隨之增加。通過查閱相關(guān)文獻確定在工程應(yīng)用中K 值取作5 和10[21]。綜上，為動態(tài)表述模型性能隨折數(shù)K 變化趨勢，設(shè)定K 范圍為3～10，并從MSE、MAE、測試耗時T 3 個方面來考察模型性能，不同模型MSE、MAE、測試耗時T 與折數(shù)關(guān)系圖如圖4。

圖4 不同模型MSE、MAE、測試耗時T 與折數(shù)關(guān)系圖Fig.4 Relationship between MSE, MAE, test time T and fold number of different models

1）隨折數(shù)K 增加，2 種模型的預(yù)測誤差均呈現(xiàn)出下降趨勢，并在K=10 時達到相對較低水平，MSE穩(wěn)定在0.21 左右，此時SVR 模型參數(shù)C 為20，σ 為0.01；RFR 模型參數(shù)取值N 為100，M 為10。

2）從測試耗時T 來看，SVR 模型每輪耗時約在0.015 s 甚至更低，而RFR 模型耗時約1～3 s，遠高于前者。因此，SVR 模型整體表現(xiàn)上稍優(yōu)于后者。

2.5 留一法（Leave-one-out）交叉驗證

為探究10-折交叉驗證與留一法交叉驗證效果優(yōu)劣，對數(shù)據(jù)集進行留一法處理后得到相關(guān)指標(biāo)，得到留一法處理下SVR 模型參數(shù)C 為50、σ 為0.01，RFR 模型參數(shù)為N 為250，M 為10。不同交叉驗證方法效果對比見表2。

表2 不同交叉驗證方法效果對比Table 2 Comparison of different cross-validation methods

留一法處理后模型性能有著小幅提升，測試過程中模型誤差較為穩(wěn)定，表現(xiàn)也相對優(yōu)于10-折交叉驗證，因此最終確定按留一法對數(shù)據(jù)集進行處理，不同模型預(yù)測效果對比圖如圖5。

圖5 不同模型預(yù)測效果對比圖Fig.5 Comparison of prediction performance of different models

2.6 特征篩選和結(jié)果分析及模型驗證

應(yīng)用隨機森林算法獲得14 個輸入因素中特征重要度前8 位的因素依次為埋深、層間巖性、煤層瓦斯含量、鄰近層厚度、煤厚、開采強度、采高、采出率，其值依次為0.539、0.151、0.116、0.042、0.04、0.033、0.022、0.021，累計重要程度達到95%以上。將其余因素“剔除”后建立新的數(shù)據(jù)集進行測試。

測試需調(diào)整RFR 模型中參數(shù)M 范圍為3～8，梯度為1，其余設(shè)置不做改動。測試得到SVR 模型參數(shù)C 為100、σ 為0.01；RFR 模型參數(shù)N 為350、M為8。特征篩選前后效果對比見表3，特征篩選后2 種模型預(yù)測效果對比圖如圖6。

表3 特征篩選前后效果對比Table 3 Comparison of indicators before and after feature screening

圖6 特征篩選后2 種模型預(yù)測效果對比圖Fig.6 Comparison of prediction performance of different models after feature screening

1）對輸入因素進行降維處理后，2 種模型的預(yù)測性能均有大幅提高，MSE 值降低近50%，MAE 減少約30%；其中SVR 模型MSE 值降低至0.073，MAE值低至0.216 左右。

2）測試耗時方面，SVR 模型基本穩(wěn)定在0.015 5 s，而后者最高增加至10 s 左右，可能是建樹量增加造成。

3）除極個別樣本點波動稍大外，2 模型預(yù)測值與瓦斯涌出量真實值誤差較小，幾乎吻合。特征篩選后的預(yù)測模型均展現(xiàn)出了較好的預(yù)測效果。

選取處于回采階段的若干工作面進行測試，驗證工作面相關(guān)參數(shù)見表4，不同模型預(yù)測誤差對比見表5，可以看出SVR 預(yù)測模型的性能最優(yōu)，其平均絕對誤差約為0.18 m3/min，平均相對誤差約3.26%。

表4 驗證工作面相關(guān)參數(shù)Table 4 Relevant parameters of selected mining faces

表5 不同模型預(yù)測誤差對比Table 5 Comparison of gas emission prediction error of different models

3 結(jié) 語

選取影響煤礦瓦斯涌出量的14 個參數(shù)為特征，結(jié)合中煤新集劉莊煤礦歷史監(jiān)測數(shù)據(jù)，對數(shù)據(jù)進行交叉驗證及降維處理，運用支持向量機與隨機森林算法對工作面瓦斯涌出量預(yù)測進行了研究。

1）通過觀測2 種預(yù)測模型性能隨交叉驗證折數(shù)K 變化情況，得到10 折交叉驗證相對較優(yōu)；與留一法交叉驗證進行二次對比后，確定以留一法進行數(shù)據(jù)處理時模型更為穩(wěn)定、精度更高。

2）SVR 模型每輪測試耗時約在0.015 s 甚至更低，而RFR 預(yù)測模型則由0.3 s 開始增加，最高達10 s 左右，推測由于建樹量增加導(dǎo)致。

3）對輸入進行降維后，2 種模型的預(yù)測性能有著顯著提升，其中RBF-SVR 模型MSE 低至0.073；進一步驗證得到，特征篩選后的SVR 模型表現(xiàn)最佳，其平均絕對誤差約為0.18 m3/min，平均相對誤差3.26%，表明采取降維處理在一定程度上簡化了工作量，同時也保證了模型預(yù)測效果。