利用集合深度學(xué)習(xí)方法融合多源數(shù)據(jù)開發(fā)全國能見度網(wǎng)格數(shù)據(jù)

呂寶磊 胡泳濤 李林 梁海河 劉鈞 王曉江

（1 華云升達(dá)（北京）氣象科技有限責(zé)任公司，北京 102299；2 佐治亞理工學(xué)院土木與環(huán)境工程學(xué)院，亞特蘭大 30332；3 北京市氣象局，北京 100089；4 中國氣象局氣象探測中心，北京 100081；5 中國華云氣象科技集團(tuán)公司，北京 100081）

0 引言

近地面能見度對于人們的生產(chǎn)生活、交通物流具有重要的影響。由于工業(yè)化和城市化進(jìn)程的加快，我國的近地面水平能見度自20世紀(jì)90年代以來呈現(xiàn)持續(xù)下降的趨勢[1-2]，大氣通透度同時(shí)也在降低[3]。同時(shí)以顆粒物污染為特征的霧霾事件頻繁發(fā)生，霧霾過程中能見度甚至不足百米，嚴(yán)重影響了正常的出行活動(dòng)。

能見度變化與大氣成分對可見光的消光作用相關(guān)，消光作用包括散射作用和吸收作用[4]。大氣中水汽和氣溶膠顆粒物成分是影響能見度最重要的兩個(gè)因素[5]。大氣中細(xì)顆粒物（PM2.5）濃度與能見度呈現(xiàn)負(fù)相關(guān)的關(guān)系，同時(shí)這種關(guān)系受到濕度負(fù)相關(guān)調(diào)節(jié)[6-8]。近年來隨著PM2.5為代表的顆粒物污染的增加[9-10]，氣溶膠成分對能見度下降起到越來越重要的作用。PM2.5復(fù)雜的化學(xué)組分使得其具有顯著的消光作用[6]，比如無機(jī)鹽組分對可見光的散射作用，黑炭和其他含碳組分的光吸收作用。在濕度較大的情況下，氣溶膠組分會發(fā)生吸濕性增長，使得其消光作用成倍增長[11]。白永清等[10]利用冪函數(shù)在武漢擬合了不同的濕度下的相關(guān)關(guān)系，相關(guān)系數(shù)達(dá)到0.8，擬合得到的冪函數(shù)的指數(shù)在-0.75～-0.6。樊高峰等[12]在杭州也利用冪函數(shù)擬合了PM2.5和能見度之間的關(guān)系，得到的R2在0.7左右，冪函數(shù)指數(shù)在-0.8左右。王淑英等[13]利用對數(shù)函數(shù)在北京擬合了可吸入顆粒物（PM10）和能見度之間的關(guān)系，得到的R2在0.7左右。由此可見，PM2.5濃度和相對濕度是影響能見度的最主要因素。

我國已經(jīng)建立起來了包括2000余個(gè)站點(diǎn)的能見度監(jiān)測網(wǎng)絡(luò)，相比較于我國廣袤的國土面積，這些監(jiān)測站點(diǎn)仍舊缺乏足夠的空間代表性。同時(shí)，對能見度影響較大的PM2.5濃度和相對濕度分布具有顯著的空間異質(zhì)性[14]，進(jìn)一步降低了能見度監(jiān)測的代表性。因此，估計(jì)出缺乏監(jiān)測站分布地區(qū)的能見度，開發(fā)一種空間連續(xù)且具有較高分辨率以及較好準(zhǔn)確性的網(wǎng)格化能見度數(shù)據(jù)，將具有十分重要的應(yīng)用價(jià)值。

估計(jì)能見度的方法主要有兩種：一種是分別考慮氣溶膠的每種組分在一定濕度下的消光作用，例如利用IMPROVE公式計(jì)算[15-16]；另外一種是將各種因素，尤其是PM2.5濃度和相對濕度，放入統(tǒng)計(jì)模型中對能見度進(jìn)行模擬[17-18]。目前大多數(shù)的研究是在單一點(diǎn)位和城市進(jìn)行能見度模擬和預(yù)測分析[7,10]，且主要集中在時(shí)間上的預(yù)報(bào)。例如白永清等[10]利用神經(jīng)網(wǎng)絡(luò)算法，輸入PM2.5和相對濕度數(shù)據(jù)，對點(diǎn)位上的逐小時(shí)能見度進(jìn)行模擬。其訓(xùn)練相關(guān)系數(shù)R為0.92（R2= 0.82），預(yù)報(bào)時(shí)R達(dá)到了0.86（R2=0.74），證明了神經(jīng)網(wǎng)絡(luò)在能見度擬合方面的有效性。Zhu等[19]利用深度神經(jīng)網(wǎng)絡(luò)模型在烏魯木齊機(jī)場開展了能見度與預(yù)報(bào)研究，得到了能見度的趨勢預(yù)報(bào)。全國范圍內(nèi)的能見度模擬，尤其是空間上的模擬研究依然較少。有限的深度學(xué)習(xí)方法的應(yīng)用案例也證明了其在能見度模擬預(yù)報(bào)方面具有優(yōu)勢。本文利用集合深度學(xué)習(xí)和殘差插值的方法融合了多種模式模擬數(shù)據(jù)、觀測數(shù)據(jù)和土地利用數(shù)據(jù)，開發(fā)出了12 km分辨率的全國能見度逐小時(shí)數(shù)據(jù)。該方法具有較好的準(zhǔn)確性，該數(shù)據(jù)目前已經(jīng)準(zhǔn)業(yè)務(wù)化生產(chǎn)，可以為交通出行等領(lǐng)域提供可靠的決策支撐。

1 資料與方法

1.1 觀測與模擬數(shù)據(jù)

1）氣象觀測數(shù)據(jù)

逐小時(shí)能見度觀測數(shù)據(jù)來源于國家基本氣象站和有能見度觀測的交通站。國家基本氣象站分布在全國東部地區(qū)，且空間分布較為均勻，共有2800多個(gè)。逐小時(shí)能見度包括1 min能見度和10 min能見度兩種，使用10 min能見度以確保更廣的時(shí)間覆蓋。

濕度數(shù)據(jù)來源于國家基本站和區(qū)域站，一共有5萬多個(gè)區(qū)域自動(dòng)站的數(shù)據(jù)，經(jīng)過質(zhì)控之后的有效數(shù)據(jù)在每小時(shí)3萬多條數(shù)據(jù)。

2）PM2.5觀測數(shù)據(jù)

PM2.5觀測數(shù)據(jù)有兩個(gè)來源：一個(gè)是中國環(huán)境監(jiān)測中心建立的空氣質(zhì)量監(jiān)測網(wǎng)絡(luò)，包括1493個(gè)監(jiān)測站；另外一個(gè)是氣象局建立的大氣成分監(jiān)測站，包括263個(gè)氣象局大氣成分監(jiān)測站。這兩個(gè)監(jiān)測網(wǎng)絡(luò)均可以提供逐小時(shí)的業(yè)務(wù)化的PM2.5監(jiān)測數(shù)據(jù)。在全國中東部和東北地區(qū)有較為均為的分布。兩個(gè)網(wǎng)絡(luò)一共有近1800個(gè)監(jiān)測站點(diǎn)可使用，但這些監(jiān)測站主要分布在城市地區(qū)，其空間代表性不如氣象監(jiān)測站。

3）氣象模擬數(shù)據(jù)

氣象模擬數(shù)據(jù)來自于WRF模型，利用GFS預(yù)報(bào)數(shù)據(jù)進(jìn)行驅(qū)動(dòng)。模擬的網(wǎng)格分辨率為12 km，投影方式為蘭伯特等角投影。本文使用的氣象數(shù)據(jù)為近地面的溫度、濕度、風(fēng)速以及邊界層高度數(shù)據(jù)。

4）空氣質(zhì)量模擬數(shù)據(jù)

空氣質(zhì)量模擬數(shù)據(jù)來源于WRF-CMAQ模型，這里CMAQ模型版本為v5.0.1[20]，排放清單是通過高階敏感性分析工具分析制作的動(dòng)態(tài)清單?？諝赓|(zhì)量模型的模擬網(wǎng)格設(shè)置與氣象模擬的設(shè)置一樣。本文使用的是業(yè)務(wù)化的預(yù)報(bào)模型系統(tǒng)，其可以逐日做出未來120 h的空氣質(zhì)量預(yù)報(bào)。為了確?？諝赓|(zhì)量模擬的準(zhǔn)確性，本文使用前24 h的空氣質(zhì)量預(yù)報(bào)結(jié)果。

除了上述數(shù)據(jù)之外，研究還使用了數(shù)字高程數(shù)據(jù)，城市覆蓋度數(shù)據(jù)和林地覆蓋度數(shù)據(jù)。

1.2 數(shù)據(jù)融合方法

在開展數(shù)據(jù)融合之前，對影響能見度的變量進(jìn)行了統(tǒng)計(jì)分析，識別出對能見度影響較大的變量要素，本文發(fā)現(xiàn)能見度與濕度和顆粒物濃度相關(guān)性較強(qiáng)，這與前人的大量分析一致[21]。為了更好地將能見度的影響因素考慮到模型中來，本文使用了兩層融合的方法（圖1）。在第一層融合模型中，首先將對能見度影響較大的PM2.5濃度和相對濕度進(jìn)行了融合，在同一網(wǎng)格設(shè)置下開發(fā)出具有較高準(zhǔn)確度的能見度數(shù)據(jù)產(chǎn)品。在PM2.5融合方法上，使用了集合深度學(xué)習(xí)和殘差空間插值的方法，基于PM2.5濃度觀測值與模擬值及其他氣象和土地利用數(shù)據(jù)，得到融合數(shù)據(jù)產(chǎn)品，該產(chǎn)品的準(zhǔn)確度R2在0.7左右[22]。對于濕度數(shù)據(jù)的融合，由于濕度監(jiān)測點(diǎn)位在空間上密度較大，在WRF模擬相對濕度和觀測值的基礎(chǔ)上，直接采用了最優(yōu)插值方法[23]，獲得了相對濕度的融合分析場。

圖1 網(wǎng)格化能見度實(shí)況分析數(shù)據(jù)開發(fā)方法Fig. 1 The approach to develop gridded visibility fusion data

在第二層融合模型中，通過集合深度學(xué)習(xí)方法模擬能見度。集合深度學(xué)習(xí)方法綜合了深度神經(jīng)網(wǎng)絡(luò)（Deep neural network，DNN）、隨機(jī)森林模型（Random forest，RF）、廣義線性模型（General linear model，GLM）和梯度提升模型（Gradient boosting machine，GBM）四個(gè)模型作為主學(xué)習(xí)器（圖2）。在四個(gè)模型中，深度神經(jīng)網(wǎng)絡(luò)模型具有復(fù)雜非線性關(guān)系的擬合能力，其統(tǒng)計(jì)回歸的結(jié)果具有無偏性，但存在過擬合的可能性[24]。隨機(jī)森林模型和梯度提升模型本身均是包含了多種弱分類器的集合模型，只是隨機(jī)森林模型使用了bootstrap aggregating （bagging）的方法[25]，梯度提升模型使用了Boosting的方法[26]，這兩種方法在選擇合適數(shù)量的決策樹的情況下均可避免明顯的過擬合現(xiàn)象。廣義線性模型是線性模型的擴(kuò)展，通過概率分布函數(shù)來實(shí)現(xiàn)對非線性過程的模擬，該模型不會出現(xiàn)明顯的過擬合，效果穩(wěn)定，但模擬的誤差一般較大。具體來講，深度神經(jīng)網(wǎng)絡(luò)模型設(shè)計(jì)為一個(gè)三層的全連接神經(jīng)網(wǎng)絡(luò)模型，以雙曲正切函數(shù)為激活函數(shù)、Sigmoid函數(shù)為輸出層函數(shù)；隨機(jī)森林模型和梯度提升模型分別包含100顆分類樹，激活函數(shù)也為雙曲正切函數(shù)；廣義線性模型使用的聯(lián)系函數(shù)為高斯函數(shù)。

圖2 集合深度學(xué)習(xí)模型訓(xùn)練與模擬過程Fig. 2 Fitting and prediction process by ensemble deep learning approach

為了將四個(gè)學(xué)習(xí)器整合到一起，引入了一個(gè)元學(xué)習(xí)器，本文采用了GLM為元學(xué)習(xí)器。使用GLM作為元學(xué)習(xí)器的原因是它具有清晰的變量權(quán)重系數(shù)結(jié)構(gòu)，可以對各個(gè)主學(xué)習(xí)器的效應(yīng)產(chǎn)生清晰的認(rèn)識，同時(shí)能夠模擬非線性的響應(yīng)關(guān)系。元學(xué)習(xí)器和主學(xué)習(xí)器的訓(xùn)練方法不同且較為復(fù)雜，它首先將M條訓(xùn)練數(shù)據(jù)隨機(jī)采樣分為N個(gè)批次，然后循環(huán)將其中的N-1個(gè)批次輸入到模型中，并對剩余的1個(gè)批次做模擬。如此循環(huán)N次，即可得到每個(gè)主學(xué)習(xí)器在所有M條訓(xùn)練數(shù)據(jù)所對應(yīng)的模擬值，然后將4列模擬值與觀測值輸入到元學(xué)習(xí)器中，訓(xùn)練得到每個(gè)模型的權(quán)重系數(shù)和偏差[27]。本文中采用的循環(huán)次數(shù)為10。集合深度學(xué)習(xí)比單獨(dú)的深度學(xué)習(xí)模型的表現(xiàn)更好，這在其他研究[27]中也已經(jīng)得到了證明。

通過該集合學(xué)習(xí)模型，以能見度為被解釋變量，以融合的濕度、PM2.5濃度和其他地形、土地利用、氣象數(shù)據(jù)為基礎(chǔ)，完成對能見度的模擬。這時(shí)獲得的能見度還存在一定的模擬誤差，然后將站點(diǎn)的訓(xùn)練誤差通過Barnes客觀分析法對能見度模擬值做進(jìn)一步修正[28-29]，提高能見度準(zhǔn)確度，并提升網(wǎng)格化能見度的空間解析度，作為最終的能見度數(shù)據(jù)產(chǎn)品。目前開發(fā)的能見度數(shù)據(jù)的空間分辨率為12 km，未來該模型框架將在4 km和1 km的空間分辨率的網(wǎng)格上進(jìn)行開發(fā)。

2 結(jié)果與討論

2.1 能見度與濕度、PM2.5濃度關(guān)系探討

通過對北京市南郊站點(diǎn)的相對濕度、PM2.5濃度和能見度之間的關(guān)系進(jìn)行分析（圖3），可以發(fā)現(xiàn)，能見度和PM2.5濃度存在明顯的負(fù)相關(guān)關(guān)系，在不同的相對濕度范圍這種關(guān)系存在著差異，在不同的濕度下利用冪函數(shù)擬合了相關(guān)關(guān)系，得到的冪函數(shù)的指數(shù)在-1左右，擬合的R2在0.7左右。由此可見，在相對濕度相對穩(wěn)定的情況下，顆粒物對能見度變化的貢獻(xiàn)能夠達(dá)到70%～80%，這與以往在杭州、北京和武漢地區(qū)的研究結(jié)果也較為一致[7-8,10]。因此在估計(jì)能見度時(shí)，獲得可靠的PM2.5濃度和相對濕度變得十分關(guān)鍵，這也是本文中使用PM2.5濃度和相對濕度數(shù)據(jù)融合子模型的原因。

圖3 2016年5月—2017年4月北京氣象站點(diǎn)逐小時(shí)PM2.5濃度、相對濕度和能見度之間的關(guān)系Fig. 3 The relationship between PM2.5 concentrations and visibility with the relative humidity in hourly data at a meteorological observation station in Beijing for May 2016-April 2017

2.2 能見度模擬與評估

利用2016年1月的逐小時(shí)數(shù)據(jù)進(jìn)行了測試評估，每次隨機(jī)采樣10%的站點(diǎn)數(shù)據(jù)作為測試數(shù)據(jù)集，剩余90%數(shù)據(jù)進(jìn)行能見度產(chǎn)品開發(fā)，得到的結(jié)果與10%的測試數(shù)據(jù)進(jìn)行比對。對比了三種方法，即線性回歸加Barnes客觀分析、集合深度學(xué)習(xí)加Barnes客觀分析和只進(jìn)行克里金空間插值。由圖4可以看出，三種方法的結(jié)果呈現(xiàn)一致的變化趨勢。當(dāng)能見度模擬效果較好時(shí)，利用集合深度學(xué)習(xí)的方法的效果最好，空間插值的效果最差。隨著模擬表現(xiàn)的下降，三種方法的表現(xiàn)趨于一致。綜合來看，在該時(shí)間范圍內(nèi)，集合模型的效果最好，平均R2可以達(dá)到0.61，比插值模型的0.55高出11%，比使用線性模型的結(jié)果0.57高出6%。

圖4 不同方法獲得的能見度模擬效果獨(dú)立評估Fig. 4 Evaluation of the accuracy of estimated visibility by different methods

如引言部分所討論的，之前很多研究在單一站點(diǎn)的預(yù)報(bào)準(zhǔn)確度R2能夠達(dá)到0.7甚至0.8。但仔細(xì)分析，他們研究結(jié)果的表現(xiàn)在業(yè)務(wù)化系統(tǒng)中并不能實(shí)現(xiàn)，首先這是因?yàn)樗麄兪褂玫氖怯^測相對濕度和觀測PM2.5做的測試，實(shí)際業(yè)務(wù)環(huán)境中我們只能使用相對濕度和PM2.5濃度的預(yù)報(bào)值進(jìn)行預(yù)測，真實(shí)表現(xiàn)應(yīng)有所下降。另外，本文中的能見度空間模擬還要求模型具有空間擴(kuò)展性，為了反映模型在真實(shí)應(yīng)用環(huán)境下的表現(xiàn)，嚴(yán)格確保方法開發(fā)和測試環(huán)境和業(yè)務(wù)化應(yīng)用環(huán)境一致，如氣象和空氣質(zhì)量模擬場為業(yè)務(wù)化預(yù)報(bào)場，逐小時(shí)實(shí)時(shí)觀測訓(xùn)練模型而沒有用到時(shí)間超前數(shù)據(jù)做訓(xùn)練等，因此本文中的評估測試結(jié)果具有較好的可靠性，將與模型在業(yè)務(wù)化系統(tǒng)中的表現(xiàn)基本一致。

利用多源數(shù)據(jù)融合的多步驟的方法可以提高模擬的精度，另外該方法對能見度空間特征細(xì)節(jié)方面有更好的解析（圖5）。通過基于深度學(xué)習(xí)的實(shí)時(shí)能見度產(chǎn)品可以更好的模擬能見度的空間分布特征。比如在關(guān)中地區(qū)，通過能見度插值的空間分布更加彌散，不能夠反映出大量的人為活動(dòng)只聚集在谷底地區(qū)而造成的局地性能見度降低，而通過深度學(xué)習(xí)方法獲得的能見度變化更加清晰，這與利用衛(wèi)星反演出來的PM2.5濃度空間分布特征更加吻合[30]。另外，在河北省南部地區(qū)，沿著太行山的平原地區(qū)是污染排放和積累都非常嚴(yán)重的地區(qū)，細(xì)顆粒物濃度常年很高，然而該地區(qū)西部山區(qū)的能見度又較高，因此該地區(qū)能見度變化較為劇烈。利用集合深度學(xué)習(xí)的方法可以更好地表征山脈和平原交界處的走向，而直接插值的空間變化呈現(xiàn)梯度特征，具有較差的空間解析度，深度學(xué)習(xí)數(shù)據(jù)融合方法可以更好地反映能見度的變化特征。

圖5 同一時(shí)間（2016年1月3日06時(shí)）低能見度場景下融合模擬和插值效果對比Fig. 5 Comparison of the gridded visibility data beween the fusion and interpolation methods in a typical low visibility scenario (at 06 BT on January 3 2016)

通過多源數(shù)據(jù)融合方法，可以構(gòu)建出一個(gè)實(shí)時(shí)的能見度融合數(shù)據(jù)集，形成網(wǎng)格化能見度數(shù)據(jù)序列。圖6展示了連續(xù)8 h的能見度空間分布特征，由此可以看出該方法得到的結(jié)果在時(shí)間上有較好的連續(xù)性和穩(wěn)定性，確保其在實(shí)際應(yīng)用中具有良好的可靠性?；诒痉椒ɡ肦語言相關(guān)算法庫和Shell腳本，已經(jīng)實(shí)現(xiàn)了業(yè)務(wù)化穩(wěn)定運(yùn)行。本文的方法測試中只使用了90%的站點(diǎn)數(shù)據(jù)，在業(yè)務(wù)化系統(tǒng)中使用全部的數(shù)據(jù)之后，模型的模擬效果將有進(jìn)一步的提升。

3 小結(jié)

本文提出了一種基于深度學(xué)習(xí)和Barnes客觀分析法的多源數(shù)據(jù)融合方案來融合多源觀測數(shù)據(jù)，該方案可以融合多種類型的模式數(shù)據(jù)、站點(diǎn)觀測數(shù)據(jù)和土地利用等其他數(shù)據(jù)。

通過2016年1月逐小時(shí)數(shù)據(jù)的測試，利用深度學(xué)習(xí)方法的數(shù)據(jù)融合具有更好的準(zhǔn)確性，得到的R2為0.61，明顯優(yōu)于插值得到的結(jié)果R2=0.55。同時(shí)模型結(jié)果具有更好的空間解析度。測試結(jié)果可以反映模型業(yè)務(wù)化實(shí)踐的準(zhǔn)確性。

圖6 2016年1月4日01—08時(shí)全國能見度模擬結(jié)果時(shí)間序列示例Fig. 6 The spatio-temporal time-series (at 01-08 BT on January 3, 2016) of the fused gridded visibility in China