呂秋明，莫欣岳*，李 歡

（海南大學(xué) 網(wǎng)絡(luò)空間安全學(xué)院（密碼學(xué)院），海南 ?？冢?/p>

引言

空氣污染是全球性的環(huán)境問(wèn)題，尤其在城市地區(qū)。隨著工業(yè)和交通運(yùn)輸業(yè)的迅速發(fā)展，城市空氣污染問(wèn)題愈發(fā)突出。作為空氣污染的重要成分之一，PM2.5對(duì)環(huán)境和人類健康的影響已引起廣泛重視。隨著人們對(duì)環(huán)境和生活質(zhì)量需求的提高，對(duì)空氣質(zhì)量的關(guān)注也越來(lái)越高。因此政府部門不斷加強(qiáng)對(duì)空氣質(zhì)量的管控，對(duì)以PM2.5為首的空氣污染物開展預(yù)報(bào)預(yù)警，有助于采取及時(shí)有效的防控措施，保障生態(tài)環(huán)境和公眾健康[1]。

近年來(lái)，機(jī)器學(xué)習(xí)特別是深度學(xué)習(xí)技術(shù)的成功應(yīng)用也為空氣污染預(yù)報(bào)提供了新的思路和方法。深度學(xué)習(xí)是一種基于人工神經(jīng)網(wǎng)絡(luò)的模型算法，具有很強(qiáng)的特征提取和自適應(yīng)學(xué)習(xí)能力，可以對(duì)復(fù)雜的非線性關(guān)系進(jìn)行學(xué)習(xí)和模擬。針對(duì)空氣污染預(yù)報(bào)問(wèn)題，已有學(xué)者嘗試基于深度學(xué)習(xí)的方法開展研究[2]。例如Tao等[3]結(jié)合卷積神經(jīng)網(wǎng)絡(luò)（CNN）與雙向門控循環(huán)單元網(wǎng)絡(luò)(BiGRU)提出一種深度學(xué)習(xí)模型(CBGRU),該模型通過(guò)CNN 對(duì)數(shù)據(jù)下采樣減少數(shù)據(jù)的復(fù)雜性,并使用BiGRU挖掘時(shí)間信息特征。

不同深度學(xué)習(xí)算法具有不同特點(diǎn)，例如卷積神經(jīng)網(wǎng)絡(luò)（CNN）具有較好的特征提取能力，而長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）擅長(zhǎng)時(shí)間序列分析。本研究引入多種深度學(xué)習(xí)算法，不僅融合了CNN和雙向長(zhǎng)短期記憶網(wǎng)絡(luò)（BiLSTM）的特性，而且加入先進(jìn)的注意力機(jī)制（Attention），建立了深度學(xué)習(xí)組合模型CNN-BiLSTM-Attention?；谏疃葘W(xué)習(xí)組合模型開展PM2.5濃度預(yù)報(bào)，并對(duì)模型的預(yù)報(bào)效果進(jìn)行了量化分析和評(píng)價(jià)。本研究旨在通過(guò)深度學(xué)習(xí)方法實(shí)現(xiàn)PM2.5濃度的有效預(yù)報(bào)，為公眾的健康防護(hù)和政府的空氣污染防控提供支持，同時(shí)助力于深度學(xué)習(xí)技術(shù)應(yīng)用和發(fā)展。

1 研究數(shù)據(jù)

1.1 研究區(qū)域 北京市位于中國(guó)華北地區(qū)，是中國(guó)的首都，也是政治中心、文化中心和科技創(chuàng)新中心。隨著城市化進(jìn)程的加速，伴隨而來(lái)的環(huán)境問(wèn)題也日益凸顯。北京也是空氣污染較嚴(yán)重的城市之一，PM2.5污染形勢(shì)始終不容樂觀。為了改善空氣質(zhì)量，北京市政府采取了一系列管控措施，如加強(qiáng)空氣質(zhì)量的監(jiān)測(cè)和預(yù)警、推廣清潔能源、機(jī)動(dòng)車限行等。

1.2 數(shù)據(jù)集與預(yù)處理 本研究使用了北京市常規(guī)空氣污染物濃度監(jiān)測(cè)數(shù)據(jù)(http://zx.bjmemc.com.cn/getAqiList.shtml?timestamp=1689873072321)，具 體 包 括PM2.5、PM10、SO2、NO2、CO、O3。數(shù)據(jù)時(shí)間跨度為2013 年3 月1日至2017 年2 月28 日，數(shù)據(jù)粒度為小時(shí)級(jí)別。其中，訓(xùn)練集、驗(yàn)證集和測(cè)試集的比例分別為80%、10%和10%。鑒于預(yù)報(bào)量PM2.5濃度序列的時(shí)間規(guī)律和與其它污染物復(fù)雜的相互作用，使用6 種常規(guī)空氣污染物歷史濃度數(shù)據(jù)作為預(yù)報(bào)因子。為消除不同污染物量級(jí)的影響，使用Min-Max歸一化算法對(duì)原始數(shù)據(jù)進(jìn)行歸一化。然后通過(guò)滑動(dòng)時(shí)間窗口算法將原始時(shí)間序列轉(zhuǎn)化為監(jiān)督學(xué)習(xí)任務(wù)。

2 深度學(xué)習(xí)算法

2.1 卷積神經(jīng)網(wǎng)絡(luò) 卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）是一種廣泛應(yīng)用于計(jì)算機(jī)視覺領(lǐng)域的深度學(xué)習(xí)模型[4]。CNN 的主要思想是通過(guò)卷積運(yùn)算和池化操作提取圖像特征，然后通過(guò)全連接層進(jìn)行分類或回歸等任務(wù)。CNN的卷積層通過(guò)卷積核在輸入數(shù)據(jù)上進(jìn)行卷積運(yùn)算，提取局部特征，并且具有平移不變性。池化層則通過(guò)對(duì)卷積層輸出的特征圖進(jìn)行下采樣操作，減少特征的維度和數(shù)量，從而進(jìn)一步提高計(jì)算效率和泛化能力。

2.2 長(zhǎng)短期記憶網(wǎng)絡(luò) 長(zhǎng)短期記憶網(wǎng)絡(luò)（Long Short Term Memory, LSTM）是一種循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）的改進(jìn)模型，主要用來(lái)解決時(shí)間序列的長(zhǎng)期依賴問(wèn)題[5]。相較于傳統(tǒng)的RNN，LSTM包含三個(gè)門控單元（輸入門，遺忘門，輸出門）。LSTM結(jié)構(gòu)見圖1，在每個(gè)時(shí)間步，LSTM會(huì)根據(jù)當(dāng)前輸入和前一時(shí)刻的狀態(tài)，通過(guò)三個(gè)門控單元進(jìn)行計(jì)算，從而控制信息的流入和流出。

圖1 LSTM 結(jié)構(gòu)

雙向長(zhǎng)短期記憶網(wǎng)絡(luò)（Bidirectional Long Short Term Memory Network, BiLSTM）由兩個(gè)單向的LSTM組成，每個(gè)時(shí)刻的輸入會(huì)同時(shí)提供給前向和后向的LSTM，兩個(gè)隱含層獨(dú)立計(jì)算狀態(tài)和輸出，BiLSTM的最終輸出由兩個(gè)LSTM的輸出共同決定。

式中：W 和b 是相應(yīng)的權(quán)重和偏置向量；h，x，C? 和C 分別是輸出，輸入，候選記憶和記憶單元；f，i 和o 分別是遺忘門，輸入門，輸出門單元。

2.3 注意力機(jī)制 注意力機(jī)制（Attention）是一種用于加強(qiáng)神經(jīng)網(wǎng)絡(luò)對(duì)輸入序列中重要部分關(guān)注度的機(jī)制。在序列數(shù)據(jù)的處理中，往往需要對(duì)每個(gè)時(shí)間步的輸入進(jìn)行加權(quán)求和，以得到一個(gè)整體的表示。Attention 機(jī)制通過(guò)根據(jù)當(dāng)前狀態(tài)動(dòng)態(tài)地計(jì)算權(quán)重向量，使得模型能夠更加靈活地對(duì)輸入序列進(jìn)行建模，從而提高模型的性能[6]。

2.4 建立CNN-BiLSTM-Attention 模型 本研究基于上述深度學(xué)習(xí)算法建立了CNN-BiLSTM-Attention 的串聯(lián)組合模型，模型的主要架構(gòu)和功能如下：（1） 輸入層，輸入的數(shù)據(jù)是一個(gè)二維張量，該層的shape 參數(shù)為(window，input_size)；（2） 卷積層，使用Conv1D 函數(shù)創(chuàng)建一個(gè)卷積層，激活函數(shù)為ReLU；（3） 池化層，使用MaxPooling1D 函數(shù)創(chuàng)建一個(gè)池化層；（4） Dropout 層，使用Dropout 函數(shù)創(chuàng)建一個(gè)Dropout 層；（5） BiLSTM層，使用Bidirectional 和LSTM函數(shù)創(chuàng)建一個(gè)BiLSTM層，包含一個(gè)正向和一個(gè)反向的LSTM層，激活函數(shù)為tanh；（6） Dense 層，全連接層，該層用于將BiLSTM層的輸出傳遞給Attention 層，激活函數(shù)為sigmoid；（7）Attention 層，使用Dense 函數(shù)創(chuàng)建一個(gè)全連接層，激活函數(shù)為sigmoid；（8） 乘法層，使用Multiply 函數(shù)將Attention 層的輸出與BiLSTM層的輸出按元素相乘，以加權(quán)計(jì)算LSTM層的輸出；（9） Flatten 層，該層用于將數(shù)據(jù)展平，以傳遞給Dense；（10） 輸出層，使用Dense函數(shù)創(chuàng)建一個(gè)全連接層，該層有1 個(gè)神經(jīng)元，激活函數(shù)為tanh，用來(lái)得到模型的最終輸出值。

3 模型評(píng)估

模型評(píng)估是在測(cè)試集上對(duì)模型進(jìn)行性能評(píng)估的過(guò)程。對(duì)于時(shí)間序列預(yù)測(cè)任務(wù)，通常使用以下統(tǒng)計(jì)指標(biāo)評(píng)估模型的性能[7]：平均絕對(duì)誤差（Mean Absolute Error，MAE），均方誤差（Mean Squared Error，MSE）和決定系數(shù)（R2）。

MAE 是預(yù)測(cè)值與真實(shí)值之間的平均絕對(duì)誤差，它表示模型預(yù)測(cè)值與真實(shí)值之間的平均距離。MAE 計(jì)算公式如下：

MSE 是預(yù)測(cè)值與真實(shí)值之間的平均平方誤差，它表示模型預(yù)測(cè)值與真實(shí)值之間的平均偏差的平方。MSE 計(jì)算公式如下：

R2分?jǐn)?shù)是用于評(píng)估回歸模型擬合程度的指標(biāo)，取值范圍在0 到1 之間，其中1 表示回歸模型完美擬合所有數(shù)據(jù)，0 表示回歸模型無(wú)法解釋目標(biāo)變量的方差。R2計(jì)算公式如下：

4 實(shí)驗(yàn)結(jié)果與分析

4.1 模型訓(xùn)練Epoch 的選定 Epoch 指使用訓(xùn)練集的全部樣本對(duì)模型訓(xùn)練一次的過(guò)程。采用控制變量法逐步調(diào)整Epoch 次數(shù)，測(cè)試Epoch 取值對(duì)模型預(yù)報(bào)效果的影響。以MAE 為標(biāo)準(zhǔn)，實(shí)驗(yàn)結(jié)果顯示，MAE 隨著Epoch 次數(shù)的增加先減少后增加，當(dāng)Epoch 取20 時(shí)MAE 達(dá)到極小值，其它指標(biāo)也顯示出了類似的規(guī)律。因此，基于模型預(yù)報(bào)效果和計(jì)算成本的考慮，本次試驗(yàn)選擇20 作為模型最終的Epoch 參數(shù)。詳見表1。

表1 Epoch 次數(shù)對(duì)預(yù)報(bào)效果的影響

4.2 時(shí)間窗口的選定 較長(zhǎng)的時(shí)間窗口可以捕捉到更長(zhǎng)期的時(shí)間依賴關(guān)系，但也會(huì)增加模型的復(fù)雜度和計(jì)算成本；而較短的時(shí)間窗口可能會(huì)限制模型的數(shù)據(jù)挖掘能力。不同類型的數(shù)據(jù)也具有不同的規(guī)律，例如周期性，故時(shí)間窗口的大小對(duì)不同類型數(shù)據(jù)的預(yù)測(cè)效果影響也不同。通過(guò)調(diào)整時(shí)間窗口的大小，來(lái)觀察模型性能的變化，進(jìn)而選定最合適的時(shí)間窗口。表2 顯示，隨著時(shí)間窗口的變大，模型的預(yù)報(bào)準(zhǔn)確性呈現(xiàn)先上升后下降的規(guī)律，在窗口大小取12 時(shí)模型的MAE，MSE 和R2達(dá)到極值分別為0.015 44，0.000 78 和0.935 33。

表2 時(shí)間窗口大小對(duì)模型的影響

4.3 模型預(yù)報(bào)性能 為驗(yàn)證本研究提出的深度學(xué)習(xí)組合模型CNN-BiLSTM-Attention 的預(yù)報(bào)性能，在測(cè)試集上對(duì)照PM2.5濃度的監(jiān)測(cè)值，對(duì)其預(yù)報(bào)效果進(jìn)行評(píng)估。圖2 顯示，組合模型可以準(zhǔn)確地學(xué)習(xí)污染物濃度的變化規(guī)律并做出預(yù)測(cè)，預(yù)測(cè)結(jié)果不僅能反映污染物的變化趨勢(shì)，而且對(duì)極值的預(yù)報(bào)也較為準(zhǔn)確，僅在個(gè)別極值點(diǎn)上預(yù)報(bào)值略低于實(shí)際值。

圖2 CNN-BiLSTM-Attention 預(yù)報(bào)結(jié)果

此外， 在測(cè)試集上將提出的組合模型CNN-BiLSTM-Attention 與基準(zhǔn)模型LSTM進(jìn)行了詳細(xì)的對(duì)比，以驗(yàn)證模型的性能變化。表3 顯示，相比于LSTM，使用BiLSTM并結(jié)合CNN，以及引入Attention 機(jī)制建立組合模型可以有效提升模型預(yù)報(bào)性能。通過(guò)對(duì)測(cè)試集上預(yù)報(bào)結(jié)果MAE，MSE 和R2的比較，LSTM的三種統(tǒng)計(jì)指標(biāo)分別為0.091 49，0.017 33 和0.952 74，CNNBiLSTM-Attention 的三種指標(biāo)分別為0.017 93，0.001 00 和0.955 35，后者比前者各項(xiàng)均有提升，分別提升了80%，94%和0.3%。

表3 LSTM與CNN-BiLSTM-Attention 預(yù)報(bào)效果對(duì)比

5 結(jié)論

本研究引入多種深度學(xué)習(xí)方法，包括卷積神經(jīng)網(wǎng)絡(luò)（CNN），雙向長(zhǎng)短期記憶網(wǎng)絡(luò)（BiLSTM）和注意力機(jī)制（Attention）， 建 立 了 深 度 學(xué) 習(xí) 組 合 模 型CNN-BiLSTM-Attention。針對(duì)北京市PM2.5小時(shí)濃度開展了預(yù)報(bào)，并基于三種統(tǒng)計(jì)指標(biāo)和基準(zhǔn)模型對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行了分析，進(jìn)而評(píng)估模型的預(yù)報(bào)性能。

實(shí)驗(yàn)結(jié)果表明：對(duì)于深度學(xué)習(xí)模型Epoch、時(shí)間窗口等超參數(shù)的調(diào)節(jié)可以有效提高模型性能；提出的深度學(xué)習(xí)組合模型CNN-BiLSTM-Attention，結(jié)合了CNN 特征提取和緩解模型過(guò)擬合問(wèn)題的優(yōu)勢(shì)、BiLSTM準(zhǔn)確捕捉長(zhǎng)時(shí)間序列信息中隱含特征的優(yōu)點(diǎn)以及Attention 機(jī)制可以根據(jù)輸入序列中不同位置重要性而賦予不同權(quán)重的能力，能夠?qū)M2.5的濃度變化進(jìn)行準(zhǔn)確預(yù)測(cè)；相對(duì)于基準(zhǔn)模型LSTM，CNN-BiLSTM-Attention 在MAE、MSE和R2指標(biāo)上有顯著提升，分別為80%、94%和0.3%。

在今后的工作中，將針對(duì)基于深度學(xué)習(xí)的污染預(yù)測(cè)問(wèn)題，開展進(jìn)一步研究。例如：不斷引入更多先進(jìn)的深度學(xué)習(xí)算法，通過(guò)對(duì)比實(shí)驗(yàn)驗(yàn)證不同深度學(xué)習(xí)算法的效果和適用性；開展集合預(yù)報(bào)，同時(shí)建立多個(gè)不同預(yù)報(bào)模型并對(duì)預(yù)報(bào)結(jié)果進(jìn)行融合，進(jìn)一步提高預(yù)報(bào)結(jié)果的準(zhǔn)確性和穩(wěn)定性。