匡秋明 于廷照
(中國(guó)氣象局公共氣象服務(wù)中心,北京 100081)
2019年4月23—25日,美國(guó)國(guó)家海洋和大氣管理局(NOAA)在其天氣和氣候預(yù)測(cè)中心主辦了利用人工智能(Artificial Intelligence,AI)技術(shù)開發(fā)利用衛(wèi)星觀測(cè)資料和數(shù)值天氣預(yù)報(bào)的研討會(huì)。研討會(huì)的目的是促進(jìn)遙感/地球觀測(cè)/數(shù)值模式等氣象科學(xué)專家和人工智能領(lǐng)域?qū)<抑g的知識(shí)交流,探索使用人工智能解決NOAA在有效利用爆炸性增長(zhǎng)衛(wèi)星觀測(cè)數(shù)據(jù)方面面臨的重大挑戰(zhàn)。會(huì)議指出,人工智能是環(huán)境數(shù)據(jù)處理和開發(fā)利用以及NWP中的一項(xiàng)潛在的變革性技術(shù),特別是處理衛(wèi)星和其他大容量數(shù)據(jù)的革命性技術(shù)。
衛(wèi)星圖像云、霧、雪的檢測(cè)、識(shí)別和預(yù)測(cè)是各類氣象服務(wù)的基礎(chǔ),有效的云、霧、雪相關(guān)算法研究對(duì)提高氣象要素預(yù)報(bào)精度具有一定指導(dǎo)價(jià)值?;谌斯ぶ悄軝C(jī)器學(xué)習(xí)方法的云檢測(cè)技術(shù)由來已久,Ting等[1]提出一種多特征融合方法,通過融合譜特征、紋理特征和歸一化植被指數(shù)特征,用支持向量機(jī)(SVM)對(duì)高分衛(wèi)星圖像進(jìn)行檢測(cè),識(shí)別準(zhǔn)確率達(dá)到91.45%。多特征融合方法是有效的,但其最大的問題在于特征提取方法需要很強(qiáng)的先驗(yàn)知識(shí),因此,云檢測(cè)準(zhǔn)確率在很大程度上依賴于底層特征選擇。為解決此問題,Shi等[2]和Cai等[3]分別提出基于深度網(wǎng)絡(luò)的方法,通過網(wǎng)絡(luò)自動(dòng)挖掘云層的潛在判別信息。衛(wèi)星圖像首先通過線性迭代聚類轉(zhuǎn)換為超像素子區(qū)域,網(wǎng)絡(luò)對(duì)每個(gè)子區(qū)域分別檢測(cè)識(shí)別。針對(duì)小型衛(wèi)星遙感圖像,Zhang等[4]提出一種基于Unet網(wǎng)絡(luò)和小波變換的云檢測(cè)識(shí)別技術(shù),通過紅光、綠光、藍(lán)光和紅外四種波段,在Landset-8數(shù)據(jù)集上云識(shí)別準(zhǔn)確率達(dá)到97.45%。Li等[5]提出還有一種多尺度卷積特征融合技術(shù),采用自動(dòng)編碼器模型提取多尺度、高層空間特征,不同層特征融合后,通過主流卷積網(wǎng)絡(luò)可以實(shí)現(xiàn)云檢測(cè)分割。此外,Ozkan等[6]提出深度金字塔網(wǎng)絡(luò)結(jié)構(gòu),Hayatbini等[7]提出基于梯度的云檢測(cè)分割,其最大優(yōu)勢(shì)是可以逐像素點(diǎn)識(shí)別云層類別。Tan等[8]和Mohajerani等[9]最近也提出多種基于卷積長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)和全卷積網(wǎng)絡(luò)的云檢測(cè)方法。
霧在衛(wèi)星圖像的呈現(xiàn)形式上與云具有很強(qiáng)相似性,Egli等[10]提出基于多元混合數(shù)據(jù)和隨機(jī)森林的霧檢測(cè)方法。Colabone等[11]、Han等[12]將各種氣象要素時(shí)間序列轉(zhuǎn)換為二維圖像,通過卷積神經(jīng)網(wǎng)絡(luò)可以預(yù)測(cè)短時(shí)的霧產(chǎn)生消散情況。Xie等[13]提出多分支深度網(wǎng)絡(luò)方法,每個(gè)分支在多尺度上分別進(jìn)行厚霧、薄霧、無霧的檢測(cè)識(shí)別。此外,利用人工智能技術(shù)可以實(shí)現(xiàn)衛(wèi)星圖像云、霧的去除,對(duì)地物觀測(cè)識(shí)別[14-15]、地面能見度分析[16]具有指導(dǎo)作用,對(duì)交通流量管理[17-18]、航海[19]、航班飛行[20]等海陸空專業(yè)氣象服務(wù)也具有重要應(yīng)用價(jià)值。
云、霧、雪底層顏色特征和局部紋理特征的相似性使得如何區(qū)分三者之間形態(tài)也是當(dāng)前人工智能技術(shù)的發(fā)展方向。Zhan等[21]提出一種全卷積網(wǎng)絡(luò),可以在衛(wèi)星圖像像素級(jí)實(shí)現(xiàn)云和雪的分類識(shí)別分割。盡管此類方法效果明顯,其仍然存在兩方面缺陷:從模型角度此類方法易產(chǎn)生梯度消散并造成模型退化,從數(shù)據(jù)角度此類方法無法充分利用各類有效數(shù)據(jù),從而造成監(jiān)測(cè)識(shí)別精度的降低。為解決以上兩點(diǎn)問題,Xia等[22]提出基于多維輸入的深度殘差網(wǎng)絡(luò)(Multidimensional deep Residual Network,M-ResNet),通過多維信息輸入實(shí)現(xiàn)有效信息互補(bǔ),該技術(shù)可以有效提取衛(wèi)星圖像特征及譜信息,在多譜段衛(wèi)星圖像上可以實(shí)現(xiàn)無云雪、云、雪、云雪混合四種模態(tài)識(shí)別。Nijhawan等[23]提出基于深度特征和淺層特征的融合方法,該方法分為兩部分,第一部分以在計(jì)算機(jī)視覺領(lǐng)域預(yù)訓(xùn)練的主流卷積網(wǎng)絡(luò)為基礎(chǔ),提取衛(wèi)星數(shù)據(jù)譜圖像的深度卷積網(wǎng)絡(luò)特征,第二部分基于傳統(tǒng)手工特征提取合成孔徑雷達(dá)圖像的判別式特征,該方法在驗(yàn)證集積雪識(shí)別的準(zhǔn)確率對(duì)比主流方法提高了2%。此外,不僅積雪覆蓋區(qū)域會(huì)影響日常生活,積雪區(qū)域的變換也會(huì)影響人們的日常生活安排及出行計(jì)劃,為此,Varade等[24]提出基于稀疏表示和字典學(xué)習(xí)的積雪覆蓋區(qū)域變化識(shí)別方法,將積雪覆蓋區(qū)域表示視作圖像,以K-SVD分解得到圖像表示的一組完備基,即字典,再通過稀疏反編碼技術(shù)獲取最終積雪覆蓋區(qū)域的變化信息,該方法比基于支持向量機(jī)的方法效果有明顯提升。Zhu等[25]提出一種針對(duì)山地地區(qū)高時(shí)空分辨率積雪覆蓋區(qū)域識(shí)別的一種半監(jiān)督方法,稱為半監(jiān)督多時(shí)段積雪提取法(SMCE)。該方法最大的特點(diǎn)是可以實(shí)現(xiàn)多時(shí)段相同區(qū)域圖像的耦合模型訓(xùn)練,不同時(shí)段的圖像視作相同地表觀測(cè)的不同描述形式,然后通過迭代的耦合訓(xùn)練即可實(shí)現(xiàn)大規(guī)模無標(biāo)注數(shù)據(jù)的有效利用,即半監(jiān)督方法。
太陽能輻射預(yù)報(bào)隨著各種新能源設(shè)備、技術(shù)的普及也逐步展開,并且人工智能技術(shù)需求日益提高[26-30]。Senkal等[31]利用經(jīng)緯度、高度、時(shí)間、輻射等氣象衛(wèi)星數(shù)據(jù)和地理位置作為輸入信息,并基于神經(jīng)元網(wǎng)絡(luò)實(shí)現(xiàn)了對(duì)任意位置的太陽能輻射預(yù)測(cè),以歸一化共軛梯度為優(yōu)化算法,該神經(jīng)元網(wǎng)絡(luò)與傳統(tǒng)方法最大的不同在于其采用彈性傳播機(jī)制而非主流反向傳播,使得神經(jīng)元網(wǎng)絡(luò)的收斂速度明顯加快。Marquez等[32]利用衛(wèi)星數(shù)據(jù)和神經(jīng)元網(wǎng)絡(luò)實(shí)現(xiàn)了未來2 h逐30 min全球水平太陽能輻射預(yù)測(cè),由于太陽能輻射量與云層位置及其厚度有很大關(guān)系,該方法首先根據(jù)提供的衛(wèi)星圖像數(shù)據(jù)估算感興趣區(qū)域云的平均移動(dòng)速度,進(jìn)而估計(jì)在未來短時(shí)間內(nèi)該運(yùn)動(dòng)造成云覆蓋量變化對(duì)全局輻射的影響,在多種評(píng)價(jià)準(zhǔn)則條件下該方法優(yōu)于凍結(jié)云傳導(dǎo)(Frozen Cloud Translation)模型。Voyant等[33]利用靜止衛(wèi)星獲取的全球的二維太陽能時(shí)間序列作為神經(jīng)元網(wǎng)絡(luò),實(shí)現(xiàn)了對(duì)地球上偏遠(yuǎn)或無標(biāo)定地區(qū)的太陽能預(yù)測(cè)。不同于主流基于均方誤差優(yōu)化目標(biāo)的方法,該方法在太陽能預(yù)測(cè)領(lǐng)域首次引入基于互信息評(píng)價(jià)準(zhǔn)則,該準(zhǔn)則相較均方差目標(biāo)能夠最大化感興趣區(qū)域損失,后來該方法在計(jì)算機(jī)視覺領(lǐng)域得到廣泛推廣,即注意力(Attention)機(jī)制。Zhou等[34]利用中分辨率成像光譜儀(MODIS)遙感數(shù)據(jù),基于隨機(jī)森林方法實(shí)現(xiàn)了太陽能輻射的逐日預(yù)測(cè)。隨機(jī)森林是機(jī)器學(xué)習(xí)領(lǐng)域常見的一種集成學(xué)習(xí)方法,簡(jiǎn)單起見,博伊西州立大學(xué)直接采用開源隨機(jī)森林模型,其最大特點(diǎn)是采用耦合方式,融合了地面觀測(cè)數(shù)據(jù)和遙感數(shù)據(jù),使得隨機(jī)森林模型可以綜合考慮多模式輸入的優(yōu)勢(shì)。Jang等[35]基于多源衛(wèi)星圖像和支持向量機(jī)實(shí)現(xiàn)了太陽能輻射預(yù)測(cè)方法。同Marquez等[32]一樣,該技術(shù)首先基于衛(wèi)星圖像的大氣運(yùn)動(dòng)向量(AMVs)實(shí)現(xiàn)了大氣層運(yùn)動(dòng)信息估計(jì),并利用4年的衛(wèi)星信息觀測(cè)數(shù)據(jù)實(shí)現(xiàn)了基于支持向量機(jī)的太陽能輻射時(shí)序預(yù)測(cè)。Srivastava等[36]首次提出基于長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)的太陽能輻射預(yù)測(cè)技術(shù),并在歐洲16個(gè)觀測(cè)點(diǎn)和美國(guó)5個(gè)觀測(cè)點(diǎn)全球共計(jì)21個(gè)地點(diǎn)對(duì)該技術(shù)進(jìn)行驗(yàn)證,證明了該技術(shù)的有效性。長(zhǎng)短時(shí)記憶(LSTM)網(wǎng)絡(luò)是深度學(xué)習(xí)領(lǐng)域一種特別適用于時(shí)序估計(jì)的模型,該模型由于增加了遺忘門、輸入門、輸出門及中間狀態(tài)四種控制信息,可以實(shí)現(xiàn)對(duì)長(zhǎng)短時(shí)記憶的自動(dòng)選擇,提高時(shí)序估計(jì)性能。Lago等[37]提出基于神經(jīng)元網(wǎng)絡(luò)的短時(shí)太陽能輻射預(yù)測(cè)技術(shù),該技術(shù)主要利用衛(wèi)星觀測(cè)數(shù)據(jù)和氣象預(yù)報(bào)數(shù)據(jù),以多模式數(shù)據(jù)為輸入,以卷積網(wǎng)絡(luò)為方法,以短時(shí)太陽能輻射為輸出,其最大優(yōu)勢(shì)是可以實(shí)現(xiàn)跨地區(qū)預(yù)測(cè),并在荷蘭25個(gè)觀測(cè)點(diǎn)驗(yàn)證了該技術(shù)的有效性。
地物系統(tǒng)是人工智能領(lǐng)域也是研究熱點(diǎn),如土壤水分含量預(yù)測(cè)、作物森林植被覆蓋預(yù)測(cè)等。Panda等[38]早在十多年前就利用衛(wèi)星圖像并基于神經(jīng)元網(wǎng)絡(luò)實(shí)現(xiàn)陸地湖泊水質(zhì)估計(jì)。Ahmad等[39]最早引入針對(duì)衛(wèi)星圖像的支持向量機(jī)技術(shù),用于土壤水分估計(jì)。很多水文相關(guān)的應(yīng)用如干旱、洪澇、灌溉等都需要高分辨率土壤水分?jǐn)?shù)據(jù),Srivastava等[40]研究了多種機(jī)器學(xué)習(xí)技術(shù),如神經(jīng)元網(wǎng)絡(luò)、支持向量機(jī)、相關(guān)向量機(jī)、廣義線性模型等在衛(wèi)星土壤水分圖像上的降尺度方法,Ali等[41]也對(duì)此類相關(guān)技術(shù)展開了細(xì)致調(diào)研。Xing等[42]利用神經(jīng)元網(wǎng)絡(luò)技術(shù),隱式獲取衛(wèi)星觀測(cè)數(shù)據(jù)與土壤水分之間的高度非線性關(guān)系。Efremova等[43]基于序列到序列最新人工智能技術(shù),從衛(wèi)星圖像出發(fā),識(shí)別分割出作物及其所在陸地區(qū)域并實(shí)現(xiàn)了土壤水分估計(jì)。高精度衛(wèi)星圖像作物識(shí)別對(duì)食物安全等具有重要影響,Kuwata等[44]研究了基于支持向量回歸技術(shù)和深度網(wǎng)絡(luò)技術(shù)的衛(wèi)星圖像作物區(qū)域估計(jì)。衛(wèi)星數(shù)據(jù)的重要性不言而喻,但其標(biāo)注數(shù)據(jù)卻少之又少,Xie等[45]利用遷移學(xué)習(xí)技術(shù),充分利用了多種衛(wèi)星圖像數(shù)據(jù)實(shí)現(xiàn)了地物區(qū)域估計(jì)[46]。而后You等[47]又提出基于手工特征提取、卷積網(wǎng)絡(luò)、長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)、高斯過程的時(shí)空相關(guān)作物估計(jì)技術(shù)。手工特征提取根據(jù)人工專家先驗(yàn)提取判別性特征信息,卷積網(wǎng)絡(luò)從數(shù)據(jù)分布出發(fā)隱式提取模型最具判別性特征,長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)通過自帶的輸入門、遺忘門、輸出門及中間狀態(tài)實(shí)現(xiàn)時(shí)域長(zhǎng)短的自適應(yīng)選擇,高斯過程可以實(shí)現(xiàn)預(yù)估數(shù)據(jù)的平滑。Kussul等[48]、Garnot等[49]也提出基于衛(wèi)星圖像和深度網(wǎng)絡(luò)的陸地作物分類技術(shù)。除作物覆蓋外,森林覆蓋也是地物重要組成部分,Shao等[50]研究了堆疊稀疏編碼器、多步線性回歸、k近鄰、支持向量機(jī)、反向傳播網(wǎng)絡(luò)、隨機(jī)森林等機(jī)器學(xué)習(xí)技術(shù)針對(duì)衛(wèi)星數(shù)據(jù)的森林覆蓋及地面生物量估計(jì)。Khan等[51]構(gòu)建了一種多尺度網(wǎng)絡(luò),將森林覆蓋問題轉(zhuǎn)換為機(jī)器學(xué)習(xí)中的區(qū)域分類問題,實(shí)現(xiàn)了純數(shù)據(jù)驅(qū)動(dòng)的區(qū)域表示分類。
環(huán)境質(zhì)量與人生活息息相關(guān),基于衛(wèi)星數(shù)據(jù)的空間統(tǒng)計(jì)方法研究火熱,與人工智能方法相結(jié)合的環(huán)境質(zhì)量檢測(cè)技術(shù)方法也是研究熱點(diǎn)[52-54]。Ma等[55]基于中國(guó)國(guó)內(nèi)PM2.5監(jiān)控網(wǎng)絡(luò),提出地理加權(quán)回歸方法(GWR),與衛(wèi)星觀測(cè)的氣溶膠光學(xué)厚度數(shù)據(jù)相融合,可以估計(jì)每天PM2.5濃度變化。通過交叉驗(yàn)證實(shí)驗(yàn)表明,多模式氣象要素及地面觀測(cè)信息可以極大的提高模型預(yù)測(cè)性能。Song等[56]同樣基于地形加權(quán)回歸技術(shù),可以預(yù)測(cè)珠三角地區(qū)PM2.5濃度變化??紤]到濃度隨時(shí)間的變化規(guī)律,Bai等[57]在地理加權(quán)技術(shù)的基礎(chǔ)上提出時(shí)域地理加權(quán)技術(shù)(GTWR),基于500 m氣溶膠光學(xué)厚度數(shù)據(jù)可以預(yù)測(cè)地面PM2.5濃度。具體來說,GTWR通過氣溶膠反演算法(SARA)預(yù)測(cè)氣溶膠厚度(AOD),然后結(jié)合數(shù)值天氣預(yù)報(bào)的多模式氣象要素如行星邊界層高度(PBLH),相對(duì)濕度,風(fēng)速及溫度等可以實(shí)現(xiàn)PM2.5濃度的時(shí)空動(dòng)態(tài)變化預(yù)測(cè)。Li等[58]是早期將深度網(wǎng)絡(luò)技術(shù)應(yīng)用到地面PM2.5濃度預(yù)測(cè)的機(jī)構(gòu)之一,在主流深度信念網(wǎng)絡(luò)框架下,將地理距離信息和PM2.5時(shí)空相關(guān)信息融合起來,可以刻畫隱空間PM2.5關(guān)鍵特征,預(yù)測(cè)未來PM2.5濃度信息。Liu等[59]利用衛(wèi)星觀測(cè)數(shù)據(jù),基于隨機(jī)森林方法實(shí)現(xiàn)空間0.01°分辨率網(wǎng)格的長(zhǎng)時(shí)PM2.5濃度預(yù)測(cè),隨機(jī)森林法是機(jī)器學(xué)習(xí)領(lǐng)域常用的一種集成學(xué)習(xí)方法,該方法最大的優(yōu)勢(shì)是可以預(yù)測(cè)長(zhǎng)時(shí)間段的PM2.5濃度變化。Shen等[60]提出一種純數(shù)據(jù)驅(qū)動(dòng)技術(shù),利用深度網(wǎng)絡(luò)隱式地學(xué)習(xí)PM2.5濃度、衛(wèi)星氣溶膠光學(xué)反射率、觀測(cè)角度和氣象要素之間的關(guān)系。Khaefi等[61]基于氣象數(shù)據(jù)、衛(wèi)星圖像和社交媒體圖像多種信息,利用深度網(wǎng)絡(luò)技術(shù)實(shí)現(xiàn)了空氣質(zhì)量預(yù)測(cè)。由于主流時(shí)域地理加權(quán)技術(shù)均采用線性回歸作為基本方法,線性假設(shè)限制了模型表達(dá)能力,為此,Li等[62]在時(shí)域地理加權(quán)技術(shù)的基礎(chǔ)上,充分挖掘數(shù)據(jù)的非線性關(guān)系,將線性回歸泛化為深度卷積網(wǎng)絡(luò),提出時(shí)域地理加權(quán)深度網(wǎng)絡(luò),具有更強(qiáng)的非線性表達(dá)能力,可以預(yù)測(cè)0.1°空間分辨率的PM2.5濃度,并提出交叉驗(yàn)證方法[63]。Sarafian等[64]分別檢驗(yàn)了高斯馬爾科夫隨機(jī)場(chǎng)模型和線性混合模型對(duì)衛(wèi)星數(shù)據(jù)PM2.5濃度預(yù)測(cè)的效果,結(jié)果表明高斯馬爾科夫隨機(jī)場(chǎng)模型優(yōu)于線性混合模型。卷積網(wǎng)絡(luò)最早成功的應(yīng)用于計(jì)算機(jī)視覺領(lǐng)域,Inception、VGG等模型在物體識(shí)別、物體檢測(cè)、物體分割領(lǐng)域效果突出,為了驗(yàn)證該類方法是否能有效解決PM2.5濃度預(yù)測(cè)問題,Hong等[65]對(duì)此展開研究,并利用衛(wèi)星圖像數(shù)據(jù)、地面觀測(cè)數(shù)據(jù)和卷積網(wǎng)絡(luò)技術(shù),驗(yàn)證了以上多種新型深度網(wǎng)絡(luò)模型如Inception、VGG等在戶外PM2.5濃度預(yù)測(cè)上的效果。
IBM 綠色地平線是基于衛(wèi)星觀測(cè)等資料,利用AI技術(shù)實(shí)現(xiàn)空氣質(zhì)量監(jiān)測(cè)、預(yù)報(bào)和防治的典型實(shí)踐案例。IBM依托收購全球最大氣象公司之一的TWC公司的相關(guān)業(yè)務(wù),利用長(zhǎng)達(dá)30年跨度的國(guó)際氣象數(shù)據(jù)分析及預(yù)報(bào)經(jīng)驗(yàn),從多個(gè)尺度挖掘了大氣復(fù)合污染成因及傳輸規(guī)律。該平臺(tái)利用認(rèn)知計(jì)算、大數(shù)據(jù)分析以及物聯(lián)網(wǎng)技術(shù)的優(yōu)勢(shì),分析空氣監(jiān)測(cè)站和氣象衛(wèi)星傳送的實(shí)時(shí)數(shù)據(jù)流,憑借自學(xué)習(xí)能力和超級(jí)計(jì)算處理能力,提供未來 72 h的高精度空氣質(zhì)量預(yù)報(bào),實(shí)現(xiàn)對(duì)城市地區(qū)的污染物來源和分布狀況的實(shí)時(shí)監(jiān)測(cè)。該平臺(tái)是基于數(shù)據(jù)驅(qū)動(dòng)的機(jī)器學(xué)習(xí)典范,該方法通過模擬人類大腦的神經(jīng)連接結(jié)構(gòu),將數(shù)據(jù)在原空間的特征表示轉(zhuǎn)換到具有語義特征的新特征空間,從而可以不經(jīng)過人工先驗(yàn)知識(shí)設(shè)計(jì),自動(dòng)地學(xué)習(xí)得到數(shù)據(jù)的層次化特征表示,提高預(yù)報(bào)性能[66]。由IBM研究院研發(fā)的“污染過程多維認(rèn)知案例庫”,可以實(shí)現(xiàn)針對(duì)全國(guó)367個(gè)特定城市、20多個(gè)維度的歷史污染過程和天氣形勢(shì)全自動(dòng)化認(rèn)知分析,助力專業(yè)管理機(jī)構(gòu)決策。通過同化融合海量歷史數(shù)據(jù)(諸如空氣質(zhì)量、氣象、遙感監(jiān)測(cè)等),從污染傳輸、氣象條件、遙感反演等多個(gè)維度實(shí)現(xiàn)對(duì)PM2.5、臭氧等多種污染物的歷史同期污染過程深度對(duì)照。
海洋中洋流[67]、旋渦[68-69]、海面溫度[70-71]對(duì)海上作業(yè)具有重要影響。Keating等[72]提出一種隨機(jī)濾波技術(shù),可以基于衛(wèi)星高度測(cè)量數(shù)據(jù)估計(jì)海洋漩渦熱量傳遞,且該技術(shù)計(jì)算成本低。蔚山國(guó)家科學(xué)和技術(shù)研究所是早期采用機(jī)器學(xué)習(xí)技術(shù)和衛(wèi)星數(shù)據(jù)檢測(cè)沿海水質(zhì)的機(jī)構(gòu)之一,Kim等[73]利用包括隨機(jī)森林、支持向量回歸等模型技術(shù),實(shí)現(xiàn)了葉綠素和懸浮物濃度監(jiān)測(cè),Lee等[74]利用決策樹、隨機(jī)森林技術(shù),實(shí)現(xiàn)了南極冰川厚度估計(jì)。Kim等[75]提出基于深度網(wǎng)絡(luò)的南極海冰密度估計(jì)技術(shù)。該方法首先基于貝葉斯多模型融合構(gòu)建集成區(qū)域氣候模式(RCM),該模型由于充分考慮了單個(gè)模型的時(shí)空變化性,使得集成后的區(qū)域氣候模式可以最小化單個(gè)區(qū)域模式的不確定性,并用于生成高分辨率觀測(cè)數(shù)據(jù),然后通過深度神經(jīng)網(wǎng)絡(luò)(DNN)非線性的擬合海冰密度這一要素與各類氣候因子之間的隱式依賴關(guān)系,并估計(jì)未來10~20 a海冰密度的變化趨勢(shì)。由于該模型以氣象先驗(yàn)為指導(dǎo)對(duì)網(wǎng)絡(luò)結(jié)構(gòu)、損失函數(shù)、優(yōu)化算法及激活函數(shù)等對(duì)整個(gè)模型學(xué)習(xí)過程進(jìn)行優(yōu)化,模型性能提升明顯。Su等[76]基于支持向量機(jī)技術(shù),利用衛(wèi)星數(shù)據(jù)實(shí)現(xiàn)了印度洋海平面表面溫度、高度、鹽度異常監(jiān)測(cè)。Wang等[77]基于卷積網(wǎng)絡(luò)和合成孔徑雷達(dá)數(shù)據(jù)實(shí)現(xiàn)了地球兩極海冰密度的估計(jì)。以合成孔徑雷達(dá)數(shù)據(jù)為輸入,以海冰密度為輸出,在不經(jīng)過任何特征提取或圖像分割技術(shù)的前提下,卷積網(wǎng)絡(luò)可以通過反向傳播按照既定的優(yōu)化目標(biāo)函數(shù)及優(yōu)化方式實(shí)現(xiàn)模型自動(dòng)更新。Savitha等[78]新提出一種最小資源分配網(wǎng)絡(luò)和增長(zhǎng)剪枝徑向基網(wǎng)絡(luò),以序列化的方式實(shí)現(xiàn)了海浪高度預(yù)測(cè)。Ducournau等[79]采用超分辨率卷積網(wǎng)絡(luò),實(shí)現(xiàn)了衛(wèi)星圖像降尺度,并用于海平面溫度的降尺度估計(jì)。Huang等[80]基于卷積網(wǎng)絡(luò),實(shí)現(xiàn)了SAR圖像端到端的海洋漩渦檢測(cè),在無需任何先驗(yàn)知識(shí)的前提下,大大提高了海洋漩渦檢測(cè)精度和速度。
降水是與人生活關(guān)系最密切的氣象要素之一,自Shi等[81]提出基于卷積長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(ConvLSTM)的降水技術(shù)以來,Shi等[82]、Hernandez等[83]、Ha等[84]、Cao等[85]、Manandhar等[86]都對(duì)此展開深入研究。基于衛(wèi)星數(shù)據(jù)的降雨估計(jì)在覆蓋率和時(shí)空分辨率上明顯優(yōu)于地面降雨估計(jì),為提高基于衛(wèi)星數(shù)據(jù)的降雨估計(jì)精度,Tao等[87]提出一種二階段網(wǎng)絡(luò)技術(shù),第一階段填充缺失值,第二階段實(shí)現(xiàn)點(diǎn)對(duì)點(diǎn)精準(zhǔn)降雨估計(jì)。第一階段,模型通過堆棧式噪聲自動(dòng)編碼器實(shí)現(xiàn)面積無雨區(qū)域的消除以及有雨區(qū)域的精確描述。第二階段,模型仍然通過堆棧式噪聲自動(dòng)編碼器在保證扭曲分布的前提下,實(shí)現(xiàn)降水精準(zhǔn)估計(jì)。隨后,Tao等[88]又在此基礎(chǔ)上引入星載紅外、水汽數(shù)據(jù),提出多模式卷積網(wǎng)絡(luò)對(duì)該方法進(jìn)行改進(jìn),且驗(yàn)證試驗(yàn)表明多模式數(shù)據(jù)尤其是水蒸氣通道數(shù)據(jù)對(duì)提高識(shí)別有無降雨具有明顯提升作用。
利用機(jī)器學(xué)習(xí)技術(shù)針對(duì)衛(wèi)星數(shù)據(jù)的風(fēng)要素估計(jì)由來已久,早在20年前,Chen等[89]、Cornford等[90]就開始探索用神經(jīng)元網(wǎng)絡(luò)描述衛(wèi)星散射計(jì)與海洋風(fēng)力場(chǎng)之間的反演物理關(guān)系模型。最近,基于機(jī)器學(xué)習(xí)技術(shù)的風(fēng)速估計(jì)非?;馃幔鏛iu等[91]、Wang等[92]、Ghaderi等[93]。基于主流機(jī)器學(xué)習(xí)方法,Xie等[94]、Feng等[95]、Khodayar等[96]主要探究短時(shí)風(fēng)速預(yù)報(bào),Wan等[97]主要探究逐天風(fēng)預(yù)報(bào)。此外,Zhang等[98]基于玻爾茲曼機(jī)、Qureshi等[99]基于回歸和遷移學(xué)習(xí)、Hu等[100]基于深度遷移網(wǎng)絡(luò)、Khodayar等[101]基于深度生成網(wǎng)絡(luò)、Qu等[102]基于長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)等均取得了一定進(jìn)展。Cardona等[103]最近基于主流卷積網(wǎng)絡(luò)、遞歸網(wǎng)絡(luò),實(shí)現(xiàn)了對(duì)自然場(chǎng)景拍攝圖像0.75~11 m/s的風(fēng)速估計(jì)。該方法首先通過耦合式卷積神經(jīng)網(wǎng)絡(luò)提取圖像的隱式判別式特征,而正如風(fēng)在自然界中是一個(gè)連續(xù)的過程一樣,該方法隨后通過遞歸神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)風(fēng)速變化趨勢(shì)的擬合,進(jìn)而通過特征分類器實(shí)現(xiàn)當(dāng)前時(shí)段的風(fēng)速估計(jì)。該成果2019年發(fā)表于機(jī)器學(xué)習(xí)及人工智能領(lǐng)域的頂級(jí)會(huì)議——“神經(jīng)系統(tǒng)信息處理研討會(huì)”,是較為前瞻的AI在氣象領(lǐng)域的先進(jìn)算法。
Wu等[104]最近使用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了靜止衛(wèi)星反演路面溫度數(shù)據(jù),提出多尺度特征聚合卷積神經(jīng)網(wǎng)絡(luò),不同于傳統(tǒng)方法只能實(shí)現(xiàn)小片區(qū)域的溫度補(bǔ)全,MSFC-CNN可以通過卷積網(wǎng)絡(luò)高度復(fù)雜的非線性特征實(shí)現(xiàn)對(duì)大片區(qū)域的溫度補(bǔ)全。Singh等[105]則采用多線性回歸、多層感知器和自適應(yīng)神經(jīng)模糊推理系統(tǒng)技術(shù)實(shí)現(xiàn)了多深度土壤溫度預(yù)報(bào)模型。Hendee等[106]研發(fā)珊瑚礁預(yù)警系統(tǒng)網(wǎng)絡(luò),應(yīng)用NOAA衛(wèi)星海洋表面溫度產(chǎn)品和人工智能分析軟件實(shí)現(xiàn)了實(shí)時(shí)監(jiān)測(cè)珊瑚表面溫度。Shiguemori等[107]應(yīng)用神經(jīng)網(wǎng)絡(luò)方法實(shí)現(xiàn)了衛(wèi)星資料反演大氣溫度,通過輻射傳輸方程直接刻畫衛(wèi)星數(shù)據(jù)特征,為神經(jīng)網(wǎng)絡(luò)模型提供訓(xùn)練數(shù)據(jù),神經(jīng)網(wǎng)絡(luò)模型選擇人工智能領(lǐng)域經(jīng)典的徑向基函數(shù)網(wǎng)絡(luò),并以數(shù)據(jù)為基礎(chǔ)通過反向傳播優(yōu)化網(wǎng)絡(luò)參數(shù)。Shiguemori等[108]改進(jìn)了神經(jīng)網(wǎng)絡(luò)模型,實(shí)現(xiàn)對(duì)垂直溫度場(chǎng)的反演,并與HIRS/2高分辨率紅外輻射探測(cè)儀的真實(shí)輻射數(shù)據(jù)以及無線電探空儀測(cè)量的溫度剖面相比較,結(jié)果表明,神經(jīng)網(wǎng)絡(luò)模型反演結(jié)果與溫度垂直探測(cè)結(jié)果非常接近。
各種自然災(zāi)害如冰雹等對(duì)工業(yè)、農(nóng)業(yè)破壞性強(qiáng),因此與之相關(guān)預(yù)警研究具有重要意義。Pullman等[109]研究了基于衛(wèi)星圖像的冰雹檢測(cè)、預(yù)警新技術(shù),該技術(shù)以主流深度學(xué)習(xí)網(wǎng)絡(luò)為框架,并通過2006—2016年的觀測(cè)數(shù)據(jù)驗(yàn)證了該技術(shù)的有效性。此外,Czernecki等[110]通過隨機(jī)森林方法也實(shí)現(xiàn)了對(duì)冰雹災(zāi)害的精準(zhǔn)估計(jì)。由于多數(shù)人工智能方法均基于數(shù)據(jù)驅(qū)動(dòng),研究者首先從數(shù)據(jù)多樣性出發(fā),融合了雷達(dá)反射率數(shù)據(jù)、閃電探測(cè)數(shù)據(jù)以及ERA5再分析對(duì)流指數(shù)數(shù)據(jù)等,極大地提高了模型的魯棒性,并降低了誤報(bào)率。Burke等[111]主要研究了如何通過機(jī)器學(xué)習(xí)方法對(duì)模式預(yù)報(bào)結(jié)果進(jìn)行相關(guān)后處理,提高冰雹預(yù)測(cè)精度。同前述文獻(xiàn)一樣,該方法同樣基于多源數(shù)據(jù)融合及隨機(jī)森林模型提高模型預(yù)報(bào)精度和魯棒性,不同之處在于該方法基于模式預(yù)報(bào)后的數(shù)據(jù)后處理,即冰雹最大期望范圍。
大風(fēng)天氣影響強(qiáng)、范圍廣,每年大風(fēng)都會(huì)造成巨大的生命財(cái)產(chǎn)損失,對(duì)臺(tái)風(fēng)、風(fēng)暴等大風(fēng)信息預(yù)警具有實(shí)用價(jià)值。Kovordanyi等[112]較早開展了基于神經(jīng)元網(wǎng)絡(luò)并針對(duì)衛(wèi)星數(shù)據(jù)的氣旋風(fēng)的跟蹤預(yù)報(bào),通過模擬人腦機(jī)制的多層神經(jīng)元網(wǎng)絡(luò)實(shí)現(xiàn)的氣旋風(fēng)跟蹤估計(jì)方法在測(cè)試集的方向準(zhǔn)確率達(dá)98%,并且該研究指出,除衛(wèi)星圖像外,風(fēng)速、水溫、相對(duì)濕度、氣壓等額外氣象要素可以有效提高預(yù)報(bào)精度。Qiu等[113]基于模糊集合理論、支持向量機(jī)技術(shù)及閃電預(yù)警信息,提出風(fēng)暴預(yù)警技術(shù)。Zhang等[114]基于衛(wèi)星圖像序列,根據(jù)當(dāng)前和歷史衛(wèi)星圖像,以氣象知識(shí)為先驗(yàn),通過卷積網(wǎng)絡(luò)提取與最具判別性的視覺特征,通過計(jì)算云的局部運(yùn)動(dòng)信息實(shí)現(xiàn)了短時(shí)大風(fēng)預(yù)報(bào)。Hong等[115]在衛(wèi)星圖像基礎(chǔ)上,提出一種新型專用于臺(tái)風(fēng)中心跟蹤的卷積網(wǎng)絡(luò),該網(wǎng)絡(luò)用于提取臺(tái)風(fēng)中心顯著判別特征,線性回歸模型實(shí)現(xiàn)臺(tái)風(fēng)中心預(yù)測(cè)。Ruttgers等[116]利用最新生成對(duì)抗網(wǎng)絡(luò)技術(shù),實(shí)現(xiàn)了針對(duì)遙感衛(wèi)星數(shù)據(jù)對(duì)臺(tái)風(fēng)未來6 h軌跡跟蹤,該技術(shù)在80 km誤差范圍內(nèi)準(zhǔn)確率為42.4%,120 km誤差范圍的準(zhǔn)確率為74.5%。生成對(duì)抗網(wǎng)絡(luò)是近年來較為火熱的AI技術(shù)之一,與傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)不同,該網(wǎng)絡(luò)分為兩部分,第一部分為生成器,用于對(duì)任意的輸入生成目標(biāo)輸出;第二部分為判別器,用于判斷對(duì)任意的輸入是否為真實(shí)數(shù)據(jù)。生成器和判別器的訓(xùn)練過程是一個(gè)博弈的過程,當(dāng)二者達(dá)到納什平衡時(shí),模型的輸出趨于穩(wěn)定,模型的輸出也即期望輸出。此外,Jiang等[117]、Gao等[118]也對(duì)海上臺(tái)風(fēng)預(yù)測(cè)的相關(guān)機(jī)器學(xué)習(xí)技術(shù)展開研究。
對(duì)流云的產(chǎn)生通常會(huì)伴隨著強(qiáng)降雨、風(fēng)暴等,而對(duì)大數(shù)據(jù)環(huán)境下的強(qiáng)天氣檢測(cè)面臨巨大挑戰(zhàn),當(dāng)前主流研究方法大多基于相關(guān)物理變量而由專家先驗(yàn)知識(shí)定義的閾值,實(shí)現(xiàn)強(qiáng)天氣精確仍是研究難點(diǎn),因此,相關(guān)研究對(duì)降低災(zāi)害具有重要意義。Han等[119]在決策樹、隨機(jī)森林、支持向量機(jī)等機(jī)器學(xué)習(xí)技術(shù)的基礎(chǔ)上,利用各種氣象、衛(wèi)星數(shù)據(jù),可以實(shí)現(xiàn)檢測(cè)強(qiáng)對(duì)流的形成過程。Liu等[120]實(shí)現(xiàn)了基于卷積網(wǎng)絡(luò)的強(qiáng)天氣檢測(cè)作為氣象領(lǐng)域強(qiáng)天氣檢測(cè)的一種輔助,是全球首次采用深度學(xué)習(xí)方法用于強(qiáng)天氣檢測(cè),但從機(jī)器學(xué)習(xí)角度來看這只是深度學(xué)習(xí)技術(shù)的一次跨領(lǐng)域嘗試。盡管該方法對(duì)輔助強(qiáng)天氣檢測(cè)提供了有效幫助,但該方法需要大量標(biāo)注數(shù)據(jù),而實(shí)際過程中,強(qiáng)天氣有多種不同表現(xiàn)形式,如颶風(fēng)、溫帶氣旋等,實(shí)現(xiàn)完全標(biāo)記需要耗費(fèi)大量人力物力財(cái)力。為此,Racah等[121]提出基于半監(jiān)督時(shí)空自動(dòng)編碼器的強(qiáng)天氣檢測(cè)方法,通過多通道時(shí)空編碼-解碼器刻畫數(shù)據(jù)特征,用于擬合多通道數(shù)據(jù)、時(shí)域變換數(shù)據(jù)以及無標(biāo)記數(shù)據(jù)的重構(gòu),實(shí)現(xiàn)判別式特征提取,從而實(shí)現(xiàn)強(qiáng)天氣現(xiàn)象檢測(cè)。Zhu等[122]實(shí)現(xiàn)了基于主流GoogleNet的強(qiáng)天氣識(shí)別。此外,強(qiáng)天氣的出現(xiàn)可能引發(fā)諸多災(zāi)害,Zhou等[123]提出基于卷積網(wǎng)絡(luò)的對(duì)流天氣識(shí)別,Zhang等[124]提出基于雙流全卷積網(wǎng)絡(luò)的對(duì)流云提取,Bischke等[125]、Biffis等[126]等都提出基于深度網(wǎng)絡(luò)和遙感圖像的強(qiáng)對(duì)流洪澇檢測(cè)技術(shù)。
雷電對(duì)日常生活影響大、損失嚴(yán)重,當(dāng)前主流基于衛(wèi)星數(shù)據(jù)的閃電預(yù)測(cè)方法都基于不同光譜通道的亮溫觀測(cè),一旦該觀測(cè)達(dá)到某一設(shè)定閾值,即推送閃電預(yù)警。Johari等[127]是早期研究基于AI技術(shù)閃電預(yù)警的研究機(jī)構(gòu)之一,根據(jù)歷史觀測(cè)數(shù)據(jù)和各類氣象數(shù)據(jù),該方法設(shè)計(jì)了一組簡(jiǎn)單的神經(jīng)元網(wǎng)絡(luò),僅包含兩層卷積,通過反向傳播優(yōu)化網(wǎng)絡(luò)參數(shù),該模型可以實(shí)現(xiàn)提前4 h的閃電預(yù)警。Booysens等[128]利用衛(wèi)星時(shí)序數(shù)據(jù),研究了K-means方法、決策樹方法、樸素貝葉斯方法在閃電檢測(cè)和預(yù)警方面的效果。Schon等[129]最近提出多種基于決策樹技術(shù)和神經(jīng)元網(wǎng)絡(luò)技術(shù)的衛(wèi)星圖像雷電預(yù)警技術(shù),是近年來較為先進(jìn)的人工智能方法。該技術(shù)核心是將衛(wèi)星圖像的二維光流誤差信息作為決策樹、神經(jīng)元網(wǎng)絡(luò)的輸入,并且認(rèn)為光流誤差是形成閃電對(duì)流的主要影響因子,以此為卷積網(wǎng)絡(luò)的輸入,該技術(shù)實(shí)現(xiàn)了未來15 min雷電精準(zhǔn)預(yù)警,預(yù)警準(zhǔn)確率高達(dá)96%,且未來5 h雷電預(yù)警準(zhǔn)確率達(dá)到83%。
森林覆蓋在生態(tài)中存在的最大隱患就是火點(diǎn)[130-132],森林火點(diǎn)容易造成大量的經(jīng)濟(jì)損失和人員傷亡。森林火險(xiǎn)預(yù)警的一大難題就是如何在有限計(jì)算量的前提下,擬合火勢(shì)擴(kuò)散的動(dòng)態(tài)趨勢(shì),這一過程本身可以視作一種馬爾科夫決策過程,而這一過程的主體是火點(diǎn)位置,動(dòng)作集是火點(diǎn)可能擴(kuò)散方向,即東西南北四個(gè)方位,回報(bào)函數(shù)是該方法最終是否預(yù)測(cè)火點(diǎn)正確。在此框架下,Subramanian等[133]基于最新強(qiáng)化學(xué)習(xí)技術(shù),分別通過值迭代法和策略搜索中的異步優(yōu)勢(shì)評(píng)論算法,實(shí)現(xiàn)了森林火點(diǎn)的動(dòng)態(tài)變化估計(jì)。Lee等[134]、Zhao等[135]也提出此類基于深度學(xué)習(xí)的森林火點(diǎn)檢測(cè)技術(shù)。
盡管AI技術(shù)具有極其廣泛的應(yīng)用前景,但該類研究離實(shí)際落地應(yīng)用還有一定差距,人工智能在氣象資料的應(yīng)用領(lǐng)域面臨著巨大挑戰(zhàn),主要體現(xiàn)在以下三方面。第一,數(shù)據(jù)完善及可靠性。AI技術(shù)是數(shù)據(jù)驅(qū)動(dòng)的機(jī)器學(xué)習(xí)機(jī)制,其發(fā)展離不開大量人工標(biāo)記數(shù)據(jù)的支撐,大量氣象觀測(cè)站及氣象衛(wèi)星資料提供了海量數(shù)據(jù),但受限于觀測(cè)手段等各種因素影響,收集到的數(shù)據(jù)可能存在缺陷,這會(huì)給人工智能算法的學(xué)習(xí)帶來一定挑戰(zhàn)。第二,平臺(tái)可拓展及共生性。傳統(tǒng)氣象領(lǐng)域與當(dāng)前人工智能領(lǐng)域在技術(shù)實(shí)現(xiàn)上存在一定差異,氣象領(lǐng)域多數(shù)基于大量領(lǐng)域內(nèi)的專家知識(shí)先驗(yàn),而AI技術(shù)不以先驗(yàn)為前提,傾向于突出算法模型的自適應(yīng)能力,因此,如何實(shí)現(xiàn)現(xiàn)有氣象平臺(tái)的可拓展性以及如何實(shí)現(xiàn)人工智能技術(shù)與現(xiàn)有氣象平臺(tái)的對(duì)接也給AI在氣象領(lǐng)域的應(yīng)用帶來巨大困難。第三,技術(shù)落地應(yīng)用。一種先進(jìn)方法的落地應(yīng)用離不開前期基礎(chǔ)積累、中期技術(shù)升級(jí)以及后期性能檢驗(yàn)三步流程,為此,需要大量后期性能檢驗(yàn),驗(yàn)證方法技術(shù)的有效性,這需要耗費(fèi)大量的人力、物力、財(cái)力,給AI在氣象領(lǐng)域的應(yīng)用帶來了挑戰(zhàn)。
Advances in Meteorological Science and Technology2020年3期