• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

      基于多要素的短臨降水預報及可解釋性分析

      2024-11-04 00:00:00陳龍彭靜胡雪飛黃占鰲李孝杰
      計算機應用研究 2024年9期

      摘 要:當前的短臨降水預報方法大多是基于雷達回波外推,沒有充分考慮其他氣象要素對降水生消演變的密切影響,從而限制了其預報的準確性。為解決此問題,基于風云四號B星數(shù)據(jù),制作了包含四種背景氣象要素、以定量降水估計為預報對象的短時臨近降水預報數(shù)據(jù)集,提出了短臨降水預報模型——MFPNM。以TransUNet為骨干,設計了并行雙編碼器分別提取預報對象和背景氣象數(shù)據(jù)的高維時空特征;構(gòu)造了內(nèi)容編碼模塊將背景數(shù)據(jù)的空間特征作為預報對象高維特征向量的可學習位置編碼;以已有的Transformer模塊構(gòu)建序列數(shù)據(jù)高維特征間的全局關(guān)系,以實現(xiàn)更準確的序列預測。MFPNM在風云-4B數(shù)據(jù)集和開源數(shù)據(jù)集上達到了最優(yōu)水平,采用的指標包括臨界成功指數(shù)、虛警率、均方根誤差和結(jié)構(gòu)相似性等。同時通過SHAP(shapley additive explanations)技術(shù)對模型進行了可解釋性分析。實驗結(jié)果及可解釋性分析表明,該模型具有更好的預報準確度及可靠性。

      關(guān)鍵詞:短時臨近降水預報;氣象衛(wèi)星;數(shù)據(jù)融合

      中圖分類號:TP391 文獻標志碼:A 文章編號:1001-3695(2024)09-029-2773-08

      doi:10.19734/j.issn.1001-3695.2024.01.0030

      Precipitation nowcasting based on multiple factors and explainability analysis

      Chen Long,Peng Jing,Hu Xuefei,Huang Zhan’ao,Li Xiaojie

      (School of Computer Science,Chengdu University of Information Technology,Chengdu 610225,China)

      Abstract:The current methods for short-time precipitation nowcasting are based on radar echo extrapolation model,without fully considering the close influence of other meteorological factors on the evolution of precipitation generation and cancellation,thus limiting the accuracy of the forecasts.To address the above issues,this paper produced a short-time precipitation nowcasting dataset,and proposed the MFPNM(multiple factors precipitation nowcasting model)Based on data from the Fengyun-4B satellite,the dataset toke quantitative precipitation estimation as the forecast object and contained four background meteorological factors.Taking the TransUNet as the backbone of the model,this molel proposed the parallel dual encoder to extract the high-dimensional spatio-temporal features of the forecast object and the background meteorological data,respectively.Besides,it constructed the content coding module to encode the spatial features of the background data as the learnable positional embedding of the high-dimensional feature vectors of the forecast object.It used a Transformer module to construct the global relationship between the high-dimensional features of the sequence data for better sequence prediction.The metrics used in this paper included critical success index,false alarm rate,root-mean-square error,and structural similarity,etc.The MPFNM was evaluated on two datasets(the proposed dataset and an open-source dataset)and outperformed the baseline models,and it was analyzed for explainability through the SHAP technique.The experimental results and explainability analysis show that the model has better forecasting accuracy and reliability.

      Key words:short-time precipitation nowcasting;meteorological satellite;data fusion

      0 引言

      短時臨近降水預報指提供某一地理區(qū)域未來0~6 h(0~2 h為重點)時段的高時空分辨率降水預報。準確的預報有助于提前規(guī)劃和危機管理,如生成緊急降雨警報,為機場及地面交通管理、戶外活動和體育比賽提供天氣指導。短臨降水預報對時空分辨率和預報實時性的要求遠高于傳統(tǒng)預報任務,該領(lǐng)域具有相當高的挑戰(zhàn)性,已成為氣象學界的研究熱點。

      傳統(tǒng)氣象預報任務依賴于數(shù)值天氣預報技術(shù)(numerical weather prediction,NWP)[1,2]。在大量氣象觀測資料的基礎(chǔ)上,NWP利用流體力學和熱力學定律來描述和模擬大氣、海洋和陸地表面的基本物理過程,從而提供可靠的預報。迄今為止,其仍然是中長期天氣預報的主流方法。但是因為其模擬過程極其復雜且耗時,難以滿足短時臨近預報的實時性要求。降水預報基于對降水的準確觀測,而觀測方式包括雨量計、天氣雷達和衛(wèi)星等。當前主流臨近降水預測算法是雷達云圖外推預測算法,主要包括:互相關(guān)法[3]、質(zhì)心跟蹤法[4]和光流法[5,6]等。天氣雷達利用水汽對電磁波的散射作用探測大氣中的降水空間分布、強度以及演變過程。這些信息通過時序的雷達回波圖表示,雷達回波圖具有非常高的時空分辨率,能夠顯示降水結(jié)構(gòu)的演變。不同于NWP,作為一種基于數(shù)據(jù)圖像驅(qū)動技術(shù),雷達云圖外推算法主要是根據(jù)當前時刻雷達云圖預測下一時刻雷達云圖,如假定降水分布不變,計算其質(zhì)心的運動軌跡[4]。而云圖與降水的關(guān)系依賴于經(jīng)驗公式:Z-R關(guān)系式[7],這類方法對氣象資料的利用效率低、外推時效性有限且泛化能力弱。從輸入輸出的形式上看,雷達云圖外推的核心是圖到圖(image2image)的預測,可以視為深度學習中時空序列預測任務(spatio-temporal seq2seq)的子任務。

      Shi等人[8]創(chuàng)新性地提出了ConvLSTM模型,將卷積與長短期記憶網(wǎng)絡(long short-term memory,LSTM)相結(jié)合以便同時對雷達云圖序列時空關(guān)系建模,其中,LSTM捕獲云圖序列隨時間的演變,二維卷積則學習數(shù)據(jù)的空間分布。在ConvLSTM的基礎(chǔ)上,Shi等人[9]進一步提出了TrajGRU,該模型可以主動學習降水的結(jié)構(gòu)與位置變化。這些工作開創(chuàng)了時空序列網(wǎng)絡在臨近降水預報方面的應用,后續(xù)涌現(xiàn)出一系列時空模型,如ST-LSTM[10]、Causal LSTM[11]、E3D-LSTM[12]和IDA-LSTM[13]等。Wang等人[10]提出了時空LSTM(spatio-temporal LSTM,ST-LSTM)單元,該單元允許沿著狀態(tài)轉(zhuǎn)換路徑在堆疊的循環(huán)層上更新記憶狀態(tài),以便同時提取并記憶空間和時間表示。Wang等人[11]提出15aafaf7088ccbaccaf8e33f8e409b30339102903e98d13b134327b895f03b19了PredRNN++,它利用一種名為Causal LSTM的新循環(huán)結(jié)構(gòu)(具有級聯(lián)雙記憶)使PredRNN在時間上遞歸的更深。后來,Wang等人[12]又提出了E3D-LSTM,其結(jié)合了ST-LSTM、3D卷積和記憶注意力模塊,構(gòu)建了一個記憶增強的循環(huán)網(wǎng)絡以捕獲長期視頻動態(tài)。此外,U-Net結(jié)構(gòu)也被用于臨近預報。Samsi等人[14]實現(xiàn)了基于U-Net的數(shù)據(jù)并行CNN模型,以實現(xiàn)更快的迭代。文獻[15]將預測視為圖像到圖像的轉(zhuǎn)換問題,利用U-Net卷積神經(jīng)網(wǎng)絡并采用三個二元分類來指示降雨率的強度。在不確定性預測方面,Bihlo等人[16]使用SVG-LP模型[17]進行降水臨近預報。吳卓升等人[18]提出了基于動態(tài)概率的卷積神經(jīng)網(wǎng)絡,引入動態(tài)概率計算層對不同的雷達回波輸入序列計算對應的概率卷積核,使模型能夠在測試階段對輸入做動態(tài)調(diào)整。

      上述方法有力地促進了短臨降水預報的研究,但是均基于雷達回波圖[19]進行預測,而雷達的應用常受到地面雜波、地形及成本等因素限制;其次,雷達回波強度并不直接反映降水量,而是依賴于經(jīng)驗公式:Z-R公式,存在二次誤差且泛化能力弱。另一方面,溫度、壓力和濕度等氣象要素在任何時間和地點都有意義,而降雨的生消具有局部性強、突發(fā)性強、在時空分布上相對稀疏和變化快等特點,這使得針對降水的臨近預報比其他氣象要素更具挑戰(zhàn)性。已有研究表明,在短臨降水預報中引入其他氣象要素作為背景信息,可以提升預報的準確性,降水并非孤立事件,其與天氣系統(tǒng)中其他要素密切相關(guān)[20~24]。Kaparakis等人[20]提出了weather fusion U-Net(WF-UNet)模型,其利用core 3D-UNet模型,將降水和風速變量作為學習過程的輸入,并分析其對降水目標任務的影響,證明了相比于僅使用降水雷達數(shù)據(jù),引入背景變量可以獲得更優(yōu)的預測結(jié)果。Küük等人[21]提出了一個基于Transformer的模型,其使用提前兩小時的衛(wèi)星數(shù)據(jù)來預報地面雷達圖像序列。該模型在反映惡劣天氣條件的數(shù)據(jù)集上進行訓練,可以預測不同天氣現(xiàn)象下發(fā)生的雷達場,并對快速增長/衰減的場和復雜的場結(jié)構(gòu)表現(xiàn)出魯棒性。Mark等人[25]提出了多要素的風暴事件圖像數(shù)據(jù)集,并將其應用于短臨降水預報和雷達云圖反演。這些工作都擴展了氣象數(shù)據(jù)(來自雷達或氣象衛(wèi)星載荷)在短臨降水預報中的應用,并獲得了更好的預報效果,本文是這些工作延續(xù)。

      本文提出了短臨降水預報模型——MFPNM,該模型引入多種氣象要素作為短臨降水預測過程的背景信息,以獲得豐富的學習特征、實現(xiàn)更為準確的預報。該模型包括兩個編碼器(序列編碼器和背景編碼器)、內(nèi)容編碼模塊(content embedding)和Transformer注意力模塊、序列解碼器。模型的輸入包括降水變量和背景變量,其中降水變量是序列數(shù)據(jù),而背景變量指初始時刻其他的氣象要素,如溫度、壓力、紅外通道云圖等。以TransUNet為骨干,本文在原始的編碼器與解碼器中引入3D卷積,同時處理降水變量的時序信息和空間特征,即序列編碼器與序列解碼器;同時,設計了并行的背景編碼器提取背景變量的空間特征;另外,本文提出了內(nèi)容編碼模塊以替代原TransUNet中的位置編碼,將背景變量特征編碼到降水變量特征中作為其可學習的位置編碼。MFPNM模型沿用了TransUNet中的Transformer模塊,通過注意力機制學習序列數(shù)據(jù)間的相關(guān)性,以建模序列元素間的長程依賴關(guān)系。

      為了有效地訓練和驗證提出的模型,本文利用氣象衛(wèi)星數(shù)據(jù)制作了以多種物理要素為背景變量的高分辨率短臨降水預報數(shù)據(jù)集,以推動短臨降水預報研究。通過在制作的和開源的數(shù)據(jù)集上進行實驗,驗證了所提模型優(yōu)異的預報性能。另外,使用SHAP技術(shù)對模型進行了可解釋性分析,驗證了所提模型的可靠性和多要素融合預報的有效性。

      1 算法

      氣象衛(wèi)星的觀測范圍廣且不受自然條件限制,但存在分辨率較低、獲取的降水數(shù)據(jù)特征不足以及時空分布相對稀疏等問題?;贑NN-RNN的預測模型在下采樣中丟失過多信息,其在特征稀疏的衛(wèi)星降水數(shù)據(jù)上表現(xiàn)相對較差。ViT(vision Transformer)網(wǎng)絡是將圖像分割成塊并轉(zhuǎn)換為序列,通過嵌入層得到序列中每個成員的向量表示,利用Transformer的注意力機制捕捉圖像中的全局關(guān)系;受ViT的啟發(fā),本文將其擴展到時空序列預測任務。常規(guī)的ViT模型無法有效地處理尺寸較大的降水序列數(shù)據(jù),但是通過結(jié)合U-Net網(wǎng)絡與ViT模型得到的TransUNet模型可以較好地處理該問題。

      本文提出了一個基于TransUNet的降水預報模型——MFPNM,其網(wǎng)絡結(jié)構(gòu)如圖1所示,主要包括兩個編碼器(序列編碼器和背景編碼器)、一個序列解碼器、內(nèi)容編碼模塊(content embedding)和Transformer注意力模塊。其中,序列編碼器接受過去連續(xù)T個時刻定量降水估計(quantitative precipitation estimation,QPE)數(shù)據(jù)作為輸入Sin,背景編碼器將序列初始時刻對應的背景變量(CTH、CTT、CTP和CLE,具體情況如表1所示)作為輸入Gin,以預測未來T個時刻的QPE數(shù)據(jù)Sout。序列編碼器和背景編碼器分別獲取Sin和Gin的高維向量表示,Gin為目標變量Sin提供豐富的氣象背景信息如溫度、壓力等,這些氣象背景信息將通過內(nèi)容編碼模塊融合到降水數(shù)據(jù)的高維特征中作為其位置編碼。卷積操作具有局部性,基于卷積的U-Net對遠程依賴關(guān)系的建模能力有限,因此在U-Net引入Transformer模塊,通過多頭注意力機制計算不同特征向量之間的相關(guān)性,學習序列數(shù)據(jù)間的全局關(guān)系。最終,序列解碼器重構(gòu)出序列預測結(jié)果。同時,在序列編碼器與解碼器之間使用了短連接來解決下采樣過程信息丟失的問題。

      1.1 雙編碼器時空特征提取

      本文設計了雙編碼器分別提取降水序列變量Sin和背景變量Gin的高維特征并映射為向量表示。Transformer的輸入是具有位置嵌入(positional embedding,PE)的一組向量,其通過注意力機制計算向量之間的相關(guān)性并構(gòu)建向量間的全局關(guān)系;本文使用了序列編碼器學習得到這些向量。但作為預測目標的降水數(shù)據(jù)在空間分布上具有稀疏性,經(jīng)過序列編碼器下采樣后空間信息損失較重;引入背景編碼器處理與降水具有強相關(guān)性的背景變量如溫度、壓力等,可以為模型處理序列變量提供豐富的氣象背景信息和學習特征,因為降水具有區(qū)域性和時效性,而溫度、壓力等氣象要素在任何時刻、任何地點都有意義且都與降水密切相關(guān)。

      如圖1右側(cè)所示,構(gòu)建編碼器與解碼器的基本塊包括Ch block、Res block、down block和up block。Ch block用作編碼器和解碼器的輸入輸出層,用于將數(shù)據(jù)在通道維度進行快速升維或降維;其內(nèi)部采用雙層卷積的殘差結(jié)構(gòu),同時對輸入使用1×1卷積改變通道數(shù)。Res block是網(wǎng)絡中提取特征的殘差塊,與down block與up block構(gòu)成了編碼器與解碼器的主干;down block與up block分別負責進行下采樣與上采樣,up block會接受來自前一層和對應短連接的特征圖作為輸入。根據(jù)文獻[12,20],三維卷積網(wǎng)絡(3D-CNN)和循環(huán)遞歸網(wǎng)絡(RNN)都具有時空建模功能,本文在序列編碼器和序列解碼器中使用3D卷積和3D轉(zhuǎn)置卷積來保留序列的時間和空間特征,即對應的基本塊中均使用3D卷積。而背景編碼器只處理初始時刻背景變量的空間特征,其使用的Ch block、Res block和down block中均使用2D卷積。

      序列編碼器的輸入Sin是一個時空序列變量,包括通道、長、寬和時間四個維度,3D卷積核會同時在空間(長和寬)和時間維度提取QPE序列的時空信息,通道數(shù)對應于卷積核數(shù),不同的卷積核會提取不同類型的特征。將初始時刻的云頂高度(cloud top height,CTH)、云頂溫度(cloud top temperature,CTT)、云頂壓力(cloud top pressure,CTP)和云反射率(cloud emissivity,CLE)四種背景變量在通道維度疊加,形成三維變量作為背景編碼器的輸入Gin,即這些數(shù)據(jù)表征了同一時間和空間下不同的氣象要素。在兩個編碼器最后一層通過Ch block將特征的通道數(shù)統(tǒng)一擴展到N,以確保兩個編碼器都得到N個向量。通過訓練,序列編碼器可以學習到輸入序列的高維特征,背景編碼器學習初始時刻其他氣象要素的高維特征。這些高維特征分別被映射為N×d1的二維特征矩陣Svectors和N×d2的二維特征矩陣Gpe(N個長度為d1和d2的向量,每個向量表示整個序列或?qū)尘白兞康哪撤N高維特征),這些氣象背景信息將通過內(nèi)容編碼模塊以位置編碼的形式,融合到降水數(shù)據(jù)的高維特征。

      1.2 內(nèi)容編碼模塊

      為了給Transformer模塊提供更合理的位置嵌入,本文模型通過背景編碼器對背景變量進行特征提取,得到的向量作為可學習的位置編碼。ViT模型通常將圖像切分為一系列補丁,再展平為多個一維向量,因此可以直接對向量進行位置編碼。為了處理高時空分辨率的氣象數(shù)據(jù),本文使用了序列編碼器對序列數(shù)據(jù)進行降維,得到高維特征表示,但是這些特征間的位置信息與原始序列間的位置信息并不對應。為了合理地表達特征間的位置信息,如1.1節(jié)所述,本文引入了背景編碼器提取初始時刻背景變量的空間特征作為序列數(shù)據(jù)高維特征的位置編碼。

      如圖2所示,傳統(tǒng)的位置編碼服從標準正態(tài)分布;而本文提出的內(nèi)容編碼中使用背景編碼器的輸出Gpe作為位置嵌入。通過訓練與學習,背景編碼器擬合數(shù)據(jù)集中背景變量Gin的分布,因此可以將背景編碼器每次前向傳播視為一次采樣過程。Sin與Gin具有強相關(guān)性,Gpe為Svectors提供的位置嵌入因Svectors不同而不同,也即位置嵌入是基于輸入向量的內(nèi)容而不同的,而非一個服從正態(tài)分布的隨機參數(shù)。在內(nèi)容編碼模塊中,使用兩個linear線性映射層將兩組向量的長度統(tǒng)一到d維;最后,將二者加和得到編碼后的向量。通過內(nèi)容編碼后,向量將傳入Transformer模塊計算向量間的相關(guān)性,通過注意力機制捕獲序列時空特征間的長程關(guān)系。對于任意降水序列,初始時刻作為背景變量的氣象條件不同,則對應的背景向量也不同,內(nèi)容編碼模塊可以提供針對降水序列內(nèi)容的位置嵌入。

      1.3 模型可解釋性分析方法

      深度學習模型在降水預測中存在黑盒問題,其具有大量的計算層和參數(shù)以及復雜的模型結(jié)構(gòu),這是模型學習能力的基礎(chǔ),但使其內(nèi)部工作機制變得難以理解。在應用深度學習模型進行降水預測時,需要權(quán)衡模型的性能和可解釋性,以確保模型的預測結(jié)果在實際應用中是可靠的??山忉屝苑椒砂凑沼柧氈芷趧澐郑柧毲捌诘目山忉屝灾財?shù)據(jù)分析,如數(shù)據(jù)可視化、統(tǒng)計分析數(shù)據(jù)分布(MMD)等;訓練中應用可解釋性方法即創(chuàng)建可解釋的模型,如Li等人[26]提出了一種基于大氣散射模型的物理感知清晰特征預測模塊,該模塊可以從場景照明和深度中推斷出透光率的變化。訓練后的可解釋性即解釋黑盒模型的決策依據(jù),典型方式是敏感性分析(sensitivity analysis)和基于梯度的方法(gradient-based method)。敏感性分析考察模型對特定數(shù)據(jù)實例的敏感程度及數(shù)據(jù)對模型決策邊界的影響;基于梯度的方法考察輸入的哪一部分更影響決策,對于圖像任務來說,輸入對決策的貢獻度體現(xiàn)為顯著圖,顯示圖片中每個像素的重要性。

      本文使用基于梯度的SHAP(Shapley additive explanations)技術(shù)[27],分析引入的背景變量是否為序列變量的預測提供了合理的氣象背景信息。分析流程如圖3所示,利用背景編碼器提取到背景變量的特征矩陣(N×d2),這些特征向量是數(shù)據(jù)在模型中的抽象表示。采用SHAP技術(shù)計算特征矩陣中每個特征向量的Shapley value,與原特征向量相加即得到對應的重要性向量,重要性向量表征了對應特征向量對輸出結(jié)果的貢獻度。為了便于通過可視化判斷,后續(xù)重要性向量進行上采樣輸出得到顯著圖,可直觀判斷模型從輸入數(shù)據(jù)中學習到的特征向量的有效性。

      SHAP基于博弈論中的Shapley值概念,為每個特征分配一個Shapley值,表示該特征對于模型輸出的貢獻。這種方法提供了一種全局解釋,可以揭示每個特征對于整體預測的影響。對于本文的N個d維特征向量,SHAP通過以下步驟計算Shapley值:

      a)采樣特征子集。對于給定的N個特征向量,生成一系列子集,每個子集包含若干個特征向量。

      b)計算邊際貢獻。對于每個特征子集,計算該子集中每個特征的邊際貢獻,即在考慮其他特征的情況下,每個特征對于模型輸出的貢獻。

      c)計算平均邊際貢獻。對于每個特征,計算它在所有可能子集中的平均邊際貢獻,得到Shapley值。

      d)分配Shapley值。將計算得到的Shapley值分配給每個特征,表示該特征對于整體預測的平均貢獻。

      2 數(shù)據(jù)集

      本文在自制的FY-4B數(shù)據(jù)集和開源的SEVIR數(shù)據(jù)集上進行了實驗,數(shù)據(jù)集制作流程介紹如下。

      2.1 FY-4B衛(wèi)星數(shù)據(jù)概要

      我國氣象衛(wèi)星系統(tǒng)發(fā)展逐步成熟,其可以穩(wěn)定持久提供豐富的氣象數(shù)據(jù)且不受地形、地面雜波和惡劣天氣等因素影響。本文所使用數(shù)據(jù)來自我國第二代靜止軌道氣象衛(wèi)星風云四號B星(簡稱FY-4B,http://www.nsmc.org.cn/nsmc/cn/satellite/FY4B.html),其于2022年6月1日轉(zhuǎn)入業(yè)務試運行。FY-4B提供了豐富的定量監(jiān)測產(chǎn)品,包括云和大氣產(chǎn)品、地表類產(chǎn)品、天氣產(chǎn)品、輻射產(chǎn)品等等。本文使用的定量降水估計(quantitative precipitation estimation,QPE)是采用衛(wèi)星紅外資料生成的衛(wèi)星估計降水,反映了高時空分辨率的同區(qū)域降水動態(tài)變化信息,全面監(jiān)測降水系統(tǒng)的強度、面積、趨勢走向等特征演變。降水是大氣中水的相變,降水的形成大致包括:a)水汽的水平輸送;b)水汽垂直運動:水汽輻合上升,絕熱膨脹并冷凝成云;c)云滴增長。當水汽供應越充足,上升運動增強,則云頂高度越高,云層越厚,當云層溫度足夠低或云頂壓力足夠大時就會通過冰晶效應或云滴碰撞合并,使得云滴快速增長形成降水。因此,本文另外選用了云頂高度(CTH)、云頂壓力(CTP)、云頂溫度(CTT)和云反射率(CLE)作為預報QPE的氣象背景數(shù)據(jù),數(shù)據(jù)產(chǎn)品概況如表1所示。

      數(shù)據(jù)的空間分辨率為4 km,時間分辨率為15 min,F(xiàn)Y-4B星下點精度為東經(jīng)133°,覆蓋從東經(jīng)51.776°至西經(jīng)145.776°區(qū)域,包括亞洲、大洋洲和西太平洋,數(shù)據(jù)存儲為2 748×2 748的二維矩陣。本文使用數(shù)據(jù)覆蓋2022年6月1日至2023年5月31日,為方便敘述,本文稱每15 min一次的數(shù)據(jù)為一幀,理論上,每天包含96幀數(shù)據(jù),一年有35 040幀數(shù)據(jù),在排除不可用數(shù)據(jù)(缺失、損壞和空值)后,實際數(shù)據(jù)的完整性如表1所示。

      2.2 FY-4B數(shù)據(jù)預處理與數(shù)據(jù)集制作

      地面溫度、壓力等物理要素在任何時間任何地點都有意義,但現(xiàn)實中多數(shù)時間和區(qū)域均無雨,即原始降水數(shù)據(jù)中存在大量零值,為避免數(shù)據(jù)集中有效數(shù)據(jù)太少導致模型無法訓練,因此數(shù)據(jù)預處理時需要盡力篩選出原始數(shù)據(jù)中的降雨區(qū)域。數(shù)據(jù)集的制作主要包括以下步驟:

      a)根據(jù)需要下載選定數(shù)據(jù)產(chǎn)品、篩選可用數(shù)據(jù)。風云衛(wèi)星遙感服務網(wǎng)提供多種下載方式,下載地址:http://satellite.nsmc.org.cn/PortalSite/Data/Satellite.aspx?currentculture=zh-CN。

      b)將原始數(shù)據(jù)由標稱圓盤投影轉(zhuǎn)換為墨卡托投影。

      c)降水區(qū)域選擇:

      (a)根據(jù)定量降水估計(QPE),統(tǒng)計中心2 560×2 560區(qū)域內(nèi)每個格點的月平均降水;

      (b)將區(qū)域劃分為256×256的100個子區(qū)域,每月選擇降水量最大的四個子區(qū)域備用;

      (c)計算每幀QPE數(shù)據(jù)的每個子區(qū)域中降水面積比,圖4(a)是一個有效降水面積為19%的子區(qū)域,公式如下:

      p=降水量大于0.1 mm/h的像素點數(shù)256×256×100%(1)

      d)時間點篩選:

      (a)篩選出QPE、CTH、CTT、CTP和CLE數(shù)據(jù)都可用的時間點,共計33 348個;

      (b)根據(jù)需要篩選降雨區(qū)域面積足夠大的數(shù)據(jù),本文采取閾值為19%,四個子區(qū)域內(nèi)分別得到9 804,9 237,6 646和7 822個可用數(shù)據(jù)。如圖4(b)所示,為原始數(shù)據(jù)與篩選后得到的數(shù)據(jù)集中有效降雨面積大于特定閾值的子區(qū)域的比例分布。藍色圓點表示降水面積比大于某閾值的子區(qū)域在所有子區(qū)域中的占比;篩選掉閾值小于19%的子區(qū)域后,得到紅色方點所示的分布。

      e)設定序列長度為16,步長為2,從上述可用數(shù)據(jù)中生成連續(xù)的序列數(shù)據(jù)。

      f)劃分數(shù)據(jù)集。將所有序列隨機分為訓練集、測試集和驗證集(數(shù)據(jù)量為8 000:1 000:1 000)。

      最終,數(shù)據(jù)集樣本量為10 000,每個樣本為5×16×256×256的四維矩陣,5代表QPE、CTH、CTT、CTP和CLE五類變量,16表示序列包含4 h共16幀,256×256是數(shù)據(jù)覆蓋的空間范圍。

      2.3 SEVIR數(shù)據(jù)集

      storm event imagry(SEVIR)數(shù)據(jù)集是一個多源氣象數(shù)據(jù)集,包含來自對地靜止環(huán)境衛(wèi)星系統(tǒng)(GOES-16)與下一代雷達(NEXRAD)系統(tǒng)的五種圖像數(shù)據(jù):GOES-16 0.6 μm可見衛(wèi)星通道(C02)、6.9 μm和10.7 μm紅外通道(C09,C13;分辨率為2 km)、GOES-16收集的閃電事件(分辨率為8 km)和垂直集成液體雷達拼圖(vertically integrated liquid,VIL,分辨率為1km)。五個變量依次表示為VIS、IR069、IR107、LGHT和VIL。C09通道被稱為“中層水汽”通道,用于跟蹤對流層中層風;C13被廣泛應用于與云和其他大氣特征相關(guān)的監(jiān)測,例如估計云頂溫度、云粒徑和大氣濕度校正。最后,閃電計數(shù)提供了5 min內(nèi)匯總的云間和云地閃電總數(shù)。VIL提供了給定大氣柱中液態(tài)水總量的估計,是惡劣天氣的重要診斷工具,被廣泛用于業(yè)務臨近預報系統(tǒng)。SEVIR數(shù)據(jù)集將單位為kg/m2的VIL通過非線性縮放存儲為0~255的整數(shù);在輸入模型時通過最大最小歸一化映射到[0,1]。SEVIR包含超過10 000個天氣事件,每個天氣事件由跨越4 h的384 km×384 km的圖像序列組成(長度為49幀、時間分辨率為5 min)。數(shù)據(jù)集中的變量于2017—2019年采集自美國本土,且進行了時空對齊。Veillette等人(2020)設計了復雜的采樣方案,以避免數(shù)據(jù)集中包含過多無降水樣本從而導致數(shù)據(jù)類別不平衡問題。

      本實驗中將兩個紅外通道數(shù)據(jù)作為背景變量,VIL作為預測目標,由于設備限制,只采用每個序列的前16幀,其中前8幀作為歷史數(shù)據(jù),后8幀作為預測目標。打亂所有天氣事件并將其按5:1:1的比例拆分為訓練集、驗證集和測試集。三種變量都通過雙線性差值統(tǒng)一調(diào)整為256×256的二維圖像。

      3 實驗與結(jié)果

      3.1 實驗方案

      給定初始時刻背景變量(為方便敘述,以FY-4B數(shù)據(jù)集為例,包括CTH、CTP、CTT和CLE)和前8個時刻QPE序列數(shù)據(jù),模型預測出未來8個時刻的QPE數(shù)據(jù),序列編碼器輸入QPE序列的形狀為(256,256,8),初始時刻背景變量在通道維度疊加成為背景編碼器的輸入,其形狀為(4,256,256)。對數(shù)據(jù)進行標準化處理,對不同類型數(shù)據(jù)進行伸縮變換使得不同量度之間的特征具有可比性,使用最大最小值標準化(min-max standardization)將數(shù)據(jù)變換到[0,1];為了避免少量極端值的存在影響標準化,使其余大部分數(shù)據(jù)的分布過于集中,先對這些極端值采取了適當?shù)慕財啻胧┰賹?shù)據(jù)進行標準化。模型中卷積核大小為3×3(如圖1、2所示),使用的基礎(chǔ)通道數(shù)為16,每次下采樣時通道數(shù)翻倍。Transformer的嵌入維度為512,其MLP的維度為4 096。使用ReLU函數(shù)作為網(wǎng)絡的激活函數(shù)、在模型的輸出層使用sigmoid()函數(shù)將輸出約束在[0,1],并用Kaiming方法初始化網(wǎng)絡的參數(shù),通過l1+l2損失進行優(yōu)化,模型中使用了分組歸一化(group normalization)。損失函數(shù)公式如下:

      loss=1N×256×256∑Nn=1∑256i=1∑256j=1|xn,i,j-n,i,j|+(xn,i,j-n,i,j)2(2)

      其中:N表示預測幀數(shù);數(shù)據(jù)的長寬為256;xn,i,j和n,i,j表示第n幀(i,j)處的真實數(shù)值和預測數(shù)值。在訓練步驟中,模型使用ADAM優(yōu)化器,以0.000 1的學習率進行迭代優(yōu)化。每個迭代過程的批量大小和最大epoch數(shù)分別設置為20和100。此外,還采用了early-stop策略。模型的實現(xiàn)基于PyTorch深度學習框架,使用了DataParallel并行化訓練策略以加速訓練,所用顯卡為NVIDIA GeForce GPU RTX 4080Ti。

      3.2 評價指標

      本文采用了圖片質(zhì)量評價指標(RMSE和SSIM)和基于降雨等級的預報技能得分(CSI、FAR和HSS)對算法的臨近預報性能進行全面評估。預報技能得分的計算基于降水閾值,對于FY-4B數(shù)據(jù)集的定量降水估計(QPE,單位為mm/h),本文選定0.1、2.5、8和16作為閾值,依據(jù)為小時累計降雨等級表(如表2所示);對于SEVIR數(shù)據(jù)集的垂直累計液體(VIL,單位為km/m2),選定0.1、0.3和1.4作為閾值,數(shù)據(jù)集中VIL大于0.1、0.3和1.4的像素點占比分別為25%、18%和10%。在給定某閾值時,將預測數(shù)據(jù)和真實數(shù)據(jù)中大于等于閾值的數(shù)據(jù)設為1,將小于閾值的數(shù)據(jù)設為0,由表3統(tǒng)計各類別檢驗結(jié)果的數(shù)量,由式(3)~(5)計算關(guān)鍵成功指數(shù)(critical success index,CSI)、誤報率(false alarm rate,F(xiàn)AR)和海德克技能評分(heidke skill score,HSS)。臨界成功指數(shù)(CSI)指預報結(jié)果的正確部分占所有結(jié)果的比例;虛警率(FAR)預報結(jié)果中誤報部分所占比例。圖像質(zhì)量評價指標包括均方根誤差(RMSE)和結(jié)構(gòu)相似性(SSIM),其計算方法如式(6)(7)所示。

      CSI=TPTP+FP+FN(3)

      FAR=FPTP+FP(4)

      HSS=2×TP×TN-FN×FP(TP+FN)×(TN+FN)+(TP+FP)×(TN+FP)(5)

      RMSE=1n∑ni=1(xi-yi)2(6)

      SSIM=(2μxμy+C1)(2σxy+C2)(μ2x+μ2y+C1)(σ2x+σ2y+C2)(7)

      其中:xi和yi分別表示真實數(shù)據(jù)x和預測數(shù)據(jù)y的第i個值;μ和σ表示均值和方差;σxy表示x和y之間的方差。C1和C2分別為6.502 5和58.522 5。

      在計算SSIM時,需將降水量通過線性映射擴展到0~255并存為灰度圖,SSIM從亮度、對比度和結(jié)構(gòu)三方面評價預報降雨分布圖與真實降雨圖之間的相似度。RMSE衡量預報降雨量與真實降雨量之間的差異。SSIM的最佳值為1,RMSE的最佳值為0。

      3.3 結(jié)果與分析

      3.3.1 FY-4B數(shù)據(jù)集

      為驗證本文模型的有效性,將其與近年的SOTA模型進行對比實驗。實驗的定量結(jié)果如表4~6所示,相比對比模型,本文模型在各個指標上都明顯取得更好的效果,可以證明本文模型的有效性。隨著降雨等級增強,各指標都逐漸變差,因為極端的降水事件在現(xiàn)實中發(fā)生概率也較低,訓練樣本少使得模型無法有效學習到其規(guī)律。但是觀察表4、5可知,當降雨等級越高,本文模型與次優(yōu)模型的差異越大,如在誤報率方面,降雨量大于2.5時相差0.013 4,而在降雨量大于16時相差0.044 5,這表明本文模型可以更好地預報極端降雨事件,這得益于其他氣象背景信息的引入;而其他模型只依賴于降水數(shù)據(jù)進行預測,很難有效利用稀疏的極端降水數(shù)據(jù)。

      預報技能得分是基于閾值進行計算的,并不能反映預測值與真實值之間的實際差異,因此本文也使用了均方根誤差(RMSE)和圖像結(jié)構(gòu)相似性(SSIM)。均方根誤差是計算每個像素點真實降雨量與預測降雨量之間誤差的均值平方根,而SSIM是從亮度、對比度和結(jié)構(gòu)等方面評價真實圖像與預測圖像的相似性。本文模型在EF Sat2Rad的基礎(chǔ)上將RMSE降低了0.57,將SSIM提升0.09。

      某時刻降雨的定性結(jié)果如圖5所示,圖5(a)為模型的輸入數(shù)據(jù),即過去兩小時(每15 min一幀,共8幀)的降雨趨勢圖,各個模型根據(jù)輸入預測未來兩小時的降雨趨勢圖;圖5(b)為預測時段的真實降雨;圖5(c)為本文MFPNM模型預測結(jié)果;圖5(d)~(g)依次是EF Sat2Rad[21]、WF-UNet[20]、IDA-LSTM[13]和E3D-LSTM[12]等模型的結(jié)果。各個模型均能預測出降雨的整體趨勢,而在細節(jié)上則差異明顯。圖5(f)(g)的基于CNN-RNN的模型在小雨區(qū)域表現(xiàn)很差,基本無法預測,而在降雨量大時傾向于低估降雨量,特別是隨預報時間延長,無法或只能部分預測出暴雨區(qū)域。WF-UNet可以較好地捕獲暴雨,但是會將部分無雨的離散點錯誤地預報為有雨。EF Sat2Rad普遍低估降雨的強度,如預測的中雨區(qū)域明顯小于真實中雨區(qū)域。但是相比于前兩個方法,WF-UNet和EF Sat2Rad都能捕獲到小面積的降雨。本文模型在預測降雨時由于結(jié)合了更多氣象背景信息,其可以充分關(guān)注到大雨到暴雨的區(qū)域,可以看出預測的大雨區(qū)域會比實際更大,而在暴雨區(qū)域預報地很精準,從這些定性結(jié)果中可以判斷本文模型的有效性和預報的高準確度。

      3.3.2 SEVIR數(shù)據(jù)集實驗結(jié)果及分析

      在SEVIR數(shù)據(jù)集上在進行了模型間對比實驗,包括本文MFPNM、WF-UNet[20]和EF Sat2Rad[21]。SEVIR數(shù)據(jù)集的VIL原始數(shù)據(jù)為1~255的整數(shù),在分析實驗結(jié)果時轉(zhuǎn)換為實際的垂直累計液體值,單位為kg/m2,其遵循如圖6所示的非線性關(guān)系。

      在SEVIR數(shù)據(jù)集上各預報時刻和不同降雨閾值水平下的CSI得分與HSS得分如圖7、8所示,圖中thr表示降雨等級。由圖7、8可知,MFPNM在不同閾值和不同時間下的CSI和HSS得分均明顯優(yōu)于其他兩個模型,表明本文模型預報性能優(yōu)異。在不同閾值水平下,三個模型的預報性能都隨著預報時間的增加而下降,但是根據(jù)曲線的趨勢可知,MFPNM隨預報時間延長,得分變化更為平滑穩(wěn)定;反之,WF-UNet和EF Sat2Rad的得分變化波動大,這表明了MFPNM的預報性能更穩(wěn)定。在預報時間40 min、閾值為0.1和1.4時可觀察到MFPNM的指標顯然更高,這源于其對序列數(shù)據(jù)長程關(guān)系的建模能力。

      3.4 模型可解釋性分析

      可解釋性分析流程如1.3節(jié)所述,SHAP方法計算得到每個特征的重要性向量以表征其對預測的貢獻度。為評價所得重要性向量是否能客觀反映特征的貢獻度,使用預訓練網(wǎng)絡得到了對應的顯著圖,可以直觀表現(xiàn)背景變量的不同區(qū)域?qū)τ谀P妥罱K輸出的顯著性或重要性,亮色(如黃色或紅色)表示高重要性,而深的顏色(如藍色)表示低重要性。如圖9所示,第一行是背景編碼器的輸入及其顯著圖;第二行是模型的預測結(jié)果(連續(xù)五個時刻),其顯示了降雨的分布范圍與強度變化。顯著圖與背景編碼器的輸入之間具有強相關(guān)性,背景編碼器良好地學習到了輸入數(shù)據(jù)的有效特征,而顯著性圖中高亮區(qū)域與降水區(qū)域具有明顯的空間對應關(guān)系,說明這些特征在模型中得到了應有的關(guān)注,特別是其作為特殊的位置編碼參與Transformer模塊中注意力的計算,為QPE的預測提供了有益的信息。這表明了本文模型作出的降水預報是基于模型正確識別了氣象要素,驗證了降水預測結(jié)果的可靠性。

      4 結(jié)束語

      本文以TransUNet模型為基礎(chǔ)提出了基于雙編碼器與內(nèi)容編碼的短臨降水預報算法,通過在降水預測過程中融入更多氣象背景信息,引導模型實現(xiàn)更為準確的預報。為此,利用我國第四代靜止衛(wèi)星FY-4B的氣象數(shù)據(jù)制作了一個包含多種物理要素的短臨降水預報數(shù)據(jù)集。在該方法中,采用雙編碼器分別提取降水數(shù)據(jù)的時空特征和其他變量的空間特征;通過內(nèi)容編碼模塊將其他變量特征編碼到降水特征中作為其可學習的位置編碼,同時為其提供更為豐富的氣象背景信息,以解決降水數(shù)據(jù)稀疏的問題。使用SHAP技術(shù)對模型進行了可解釋性分析,其結(jié)果表明本文模型是基于正確理解輸入數(shù)據(jù)而得到合理且可靠的預測結(jié)果。通過與其他現(xiàn)有模型的比較,本文模型的性能優(yōu)越性得到了充分證明。

      參考文獻:

      [1]Marchuk G I.Numerical methods in weather prediction[M].[S.l.]:Academic Press,2012.

      [2]Alley R B,Emanuel K A,Zhang Fuqing.Advances in weather prediction[J].Science,2019,363(6425):342-344.

      [3]Chen Mingxuan,Wang Yingchun,Yu Xiaoding.Improvement and ap-plication test of TREC algorithm for convective storm nowcast[J].Journal of Applied Meteorological Science,2007,18(5):690-701.

      [4]Moral A D,Rigo T,Llasat M C.A radar-based centroid tracking algorithm for severe weather surveillance:identifying split/merge processes in convective systems[J].Atmospheric Research,2018,213:110-120.

      [5]Woo W C,Wong W K.Operational application of optical flow techniques to radar-based rainfall nowcasting[J].Atmosphere,2017,8(3):48.

      [6]Ayzel G,Heistermann M,Winterrath T.Optical flow models as an open benchmark for radar-based precipitation nowcasting[J].Geoscient-ific Model Development,2019,12(4):1387-1402.

      [7]Dhiram K,Wang Zhenhui.Evaluation on radar reflectivity-rainfall rate(Z-R)relationships for Guyana[J].Atmospheric and Climate Sciences,2016,6(4):489-499.

      [8]Shi Xingjian,Chen Zhourong,Wang Hao,et al.Convolutional LSTM network:a machine learning approach for precipitation nowcasting[C]//Proc of the 28th International Conference on Neural Information Processing Systems.Cambridge,MA:MIT Press,2015:802-810.

      [9]Shi Xingjian,Gao Zhihang,Lausen L,et al.Deep learning for precipitation nowcasting:a benchmark and a new model[C]//Proc of the 31st International Conference on Neural Information Processing Systems.Red Hook,NY:Curran Associates Inc.,2017:5622-5632.

      [10]Wang Yunbo,Long Mingsheng,Wang Jianmin,et al.PredRNN:recurrent neural networks for predictive learning using spatiotemporal LSTMs[C]//Proc of the 31st International Conference on Neural Information Processing Systems.Red Hook,NY:Curran Associates Inc.,2017:879-888.

      [11]Wang Yunbo,Gao Zhifeng,Long Mingsheng,et al.PredRNN+:towards a resolution of the deep-in-time dilemma in spatiotemporal predictive learning[C]//Proc of the 35th International Conference on Machine Learning.[S.l.]:PMLR,2018,5123-5132.

      [12]Wang Yunbo,Jiang Lu,Yang M H,et al.Eidetic 3D LSTM:a model for video prediction and beyond[C/OL]//Proc of the 7th International Conference on Learning Representations.2019.(2019-12-21).https://openreview.net/forum?id=B1lKS2AqtX.

      [13]Luo Chuyao,Li Xutao,Wen Yongliang,et al.A novel LSTM model with interaction dual attention for radar echo extrapolation[J].Remote Sensing,2021,13(2):164.

      [14]Samsi S,Mattioli C J,Veillette M S.Distributed deep learning for precipitation nowcasting[C]//Proc of the 31st International Conference on Neural Information Processing Systems.Red Hook,NY:Curran Associates Inc.,2019:5622-5632.

      [15]Agrawal S,Barrington L,Bromberg C,et al.Machine learning for precipitation nowcasting from radar images[EB/OL].(2019-12-11).https://arxiv.org/abs/1912.12132.

      [16]Bihlo A.Precipitation nowcasting using a stochastic variational frame predictor with learned prior distribution[EB/OL].(2019-05-13)[2024-03-09].https://doi.org/10.48550/arXiv.1905.05 037.

      [17]Denton R,F(xiàn)ergus R.Stochastic video generation with a learned prior[EB/OL].(2018-03-02).https://arxiv.org/abs/1802.07687.

      [18]吳卓升,張巍,林艷,等.動態(tài)概率卷積神經(jīng)網(wǎng)絡在雷達回波外推中的應用[J].計算機應用研究,2021,38(7):2125-2129.(Wu Zhuosheng,Zhang Wei,Lin Yan,et al.Application of dynamic probability convolutional neural network in radar echo extrapolation[J].Application Research of Computers,2021,38(7):2125-2129.)

      [19]潘龍,吳錫.基于雙向Transformer的降水臨近預報模型[J/OL].計算機應用研究.(2024-03-18).https://kns.cnki.net/kcms/detail/51.1196.TP.20240315.0936.001.html.(Pan Long,Wu Xi.Bidirectional Transformer-based precipitation nowcasting model[J/OL].Application Research of Computers.(2024-03-18).https://kns.cnki.net/kcms/detail/51.1196.TP.20240315.0936.001.html.)

      [20]Kaparakis C,Mehrkanoon S.WF-UNet:weather data fusion using 3D-UNet for precipitation nowcasting[J].Procedia Computer Science,2023,222:223-232.

      [21]Küük ,Giannakos A,Schneider S,et al.Transformer-based nowcasting of radar composites from satellite images for severe weather[EB/OL].(2023-10-30)[2024-03-09].https://doi.org/10.48550/arXiv.2310.19515.

      [22]Ivashkin V,Lebedev V.Spatiotemporal data fusion for precipitation nowcasting[EB/OL].(2018-12-28)[2024-03-09].https://doi.org/10.48550/arXiv.1812.10915.

      [23]An S.Nowcast-to-forecast:token-based multiple remote sensing data fusion for precipitation forecast[C]//Proc of the 32nd ACM International Conference on Information and Knowledge Management.New York,NY:ACM Press,2023:4495-4501.

      [24]Bouget V,Béréziat D,Brajard J,et al.Fusion of rain radar images and wind forecasts in a deep learning model applied to rain nowcasting[J].Remote Sensing,2021,13(2):246.

      [25]Mark S V,Siddharth S,Christopher J M.SEVIR:a storm event imagery dataset for deep learning applications in radar and satellite mete-orology[C]//Proc of the 34th International Conference on Neural Information Processing Systems.Red Hook,NY:Curran Associates Inc.,2020:article No.1846.

      [26]Li Xilai,Liu Wuyang,Li Xiaosong,et al.Physical perception network and an all-weather multi-modality benchmark for adverse weather image fusion[EB/OL].(2024-02-03)[2024-03-09].https://doi.org/10.48550/arXiv.2402.02090.

      [27]Lundberg S M,Lee S I.A unified approach to interpreting model predictions[C]//Proc of the 31st International Conference on Neural Information Processing Systems.Red Hook,NY:Curran Associates Inc.,2017:4768-4777.

      收稿日期:2024-01-21

      修回日期:2024-03-25

      基金項目:國家自然科學基金資助項目(42075142,42130608);國家重點研發(fā)計劃資助項目(2020YFA0608000);四川省科技計劃資助項目(2022YFG0029,2023YFG0101,2024YFG0001);成都信息工程大學科技創(chuàng)新能力提升計劃資助項目(KYTD202330)

      作者簡介:陳龍(1997—),男,四川巴中人,碩士,主要研究方向為深度學習與降雨預報;彭靜(1991—),女,四川綿陽人,講師,博士,主要研究方向為圖形圖像處理、分布式計算優(yōu)化等;胡雪飛(1980—),女,重慶永川人,副研究員,碩士,主要研究方向為數(shù)字文旅、文化傳播等;黃占鰲(1993—),男,四川隆昌人,講師,博士,主要研究方向為神經(jīng)網(wǎng)絡理論與應用、不平衡數(shù)據(jù)學習;李孝杰(1981—),女(通信作者),山東菏澤人,教授,碩導,博士,主要研究方向為機器學習、圖像處理與智慧氣象(lixj@cuit.edu.cn).

      南丹县| 巴彦县| 连山| 同仁县| 临沂市| 浠水县| 安乡县| 根河市| 永济市| 东乌珠穆沁旗| 桦甸市| 贡觉县| 固原市| 抚远县| 安西县| 三河市| 綦江县| 新泰市| 抚州市| 原平市| 巴东县| 建始县| 策勒县| 乐平市| 双流县| 元朗区| 长子县| 德惠市| 穆棱市| 宿州市| 兰西县| 房山区| 依兰县| 融水| 张北县| 丰原市| 寿光市| 大埔县| 灵宝市| 大安市| 邵东县|