孫 苗，趙龍飛，孔祥超

1.國(guó)家海洋信息中心 天津 300171

2.自然資源部海洋信息技術(shù)創(chuàng)新中心 天津 300171

3.天津農(nóng)學(xué)院 天津 300392

海表面溫度 (Sea Surface Temperature,SST)是太陽(yáng)輻射、海洋熱力、動(dòng)力過(guò)程以及海氣相互作用的綜合結(jié)果,是海表面水汽和熱量交換的一個(gè)重要物理參數(shù)[1,2]。因此,海表面溫度的變化一直備受關(guān)注,常用的海表面溫度預(yù)報(bào)方法主要分經(jīng)驗(yàn)預(yù)報(bào)、數(shù)值預(yù)報(bào)和統(tǒng)計(jì)預(yù)報(bào)等三類。其中,經(jīng)驗(yàn)預(yù)報(bào)根據(jù)海溫自身變動(dòng)的持續(xù)性、周期性、相似性以及與其他要素的相關(guān)性,進(jìn)行定性或定量的預(yù)報(bào)[3]。數(shù)值預(yù)報(bào),采用模式或者同化了實(shí)測(cè)數(shù)據(jù)的模式進(jìn)行海溫預(yù)報(bào)[4],但預(yù)測(cè)精度受初始邊界條件、次網(wǎng)格物理過(guò)程參數(shù)化等影響。統(tǒng)計(jì)預(yù)報(bào)是從數(shù)理統(tǒng)計(jì)的角度進(jìn)行預(yù)報(bào),包括多元分析與時(shí)間序列分析法[5]。然而由于物理機(jī)制認(rèn)識(shí)上的不完備、人類活動(dòng)影響等現(xiàn)實(shí)復(fù)雜性,傳統(tǒng)的海洋預(yù)報(bào)仍存在一定的技術(shù)瓶頸。隨著大數(shù)據(jù)、人工智能等關(guān)鍵技術(shù)的發(fā)展,以及計(jì)算機(jī)軟硬件環(huán)境的不斷提升,深度學(xué)習(xí)通過(guò)一個(gè)比較泛化的學(xué)習(xí)過(guò)程從輸入數(shù)據(jù)中學(xué)習(xí),具有非線性、容錯(cuò)性、自適應(yīng)性等特點(diǎn),能夠改善傳統(tǒng)預(yù)測(cè)方法的不足。

本文以南海為研究區(qū)域,在梳理對(duì)比深度學(xué)習(xí)框架與模型方法的基礎(chǔ)上,建立了基于卷積神經(jīng)網(wǎng)絡(luò)-長(zhǎng)短期記憶網(wǎng)絡(luò) (Convolutional Neural Network-Long Short-Term Memory,CNN-LSTM)的南海區(qū)域海表面溫度預(yù)測(cè)模型,并與單純基于卷積神經(jīng)網(wǎng)絡(luò)或循環(huán)神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果進(jìn)行了對(duì)比分析。結(jié)果表明,基于CNN-LSTM的SST預(yù)測(cè)模型,考慮了SST的時(shí)空特征,相比于單純的卷積神經(jīng)網(wǎng)絡(luò)或循環(huán)神經(jīng)網(wǎng)絡(luò)模型在時(shí)效上能夠達(dá)到更好的預(yù)測(cè)效果,進(jìn)一步分析了相比于先用長(zhǎng)短期記憶網(wǎng)絡(luò)再采用卷積神經(jīng)網(wǎng)絡(luò)的方法 (LSTM-CNN),CNN-LSTM能夠更好的保留空間和時(shí)間信息,避免因?yàn)橄扔肔STM對(duì)數(shù)據(jù)進(jìn)行拉伸處理造成空間信息的丟失問(wèn)題。

1 深度學(xué)習(xí)在海洋數(shù)據(jù)挖掘分析中的研究現(xiàn)狀

深度學(xué)習(xí)作為機(jī)器學(xué)習(xí)的一個(gè)分支領(lǐng)域,是可以直接將原始數(shù)據(jù)送入機(jī)器并自動(dòng)發(fā)現(xiàn)數(shù)據(jù)中所包含特征的一類算法,省去特征提取器的人工創(chuàng)建步驟,最終達(dá)到分類識(shí)別以及預(yù)測(cè)預(yù)報(bào)的目的。

在海洋領(lǐng)域,隨著衛(wèi)星遙感的長(zhǎng)時(shí)間、大范圍觀測(cè)積累了海量數(shù)據(jù),大數(shù)據(jù)技術(shù)的更新迭代,促使著深度學(xué)習(xí)應(yīng)用于海洋數(shù)據(jù)挖掘,用以解決海洋空間信息高效提取、分析預(yù)測(cè)等問(wèn)題。近幾年,深度學(xué)習(xí)在海洋數(shù)據(jù)挖掘分析的研究層出不窮,Orenstein等[6]采用CNN對(duì)3.4×106個(gè)浮游生物的圖像進(jìn)行進(jìn)行了準(zhǔn)確分類,且效率和精度都高于傳統(tǒng)的手動(dòng)篩選方法。Bentes等[7]則采用深度神經(jīng)網(wǎng)絡(luò)對(duì)合成孔徑雷達(dá) (Synthetic-Aperture Radar, SAR)圖像數(shù)據(jù)進(jìn)行自動(dòng)分類,提高了分類效率。 Ducournau等[8]采用CNNs方法對(duì)SST數(shù)據(jù)進(jìn)行了高分辨率重構(gòu),該工作使用多年多源SST遙感觀測(cè)數(shù)據(jù)進(jìn)行雙三次插值生成的高分?jǐn)?shù)據(jù)作為標(biāo)準(zhǔn)數(shù)據(jù)對(duì)深度學(xué)習(xí)模型進(jìn)行訓(xùn)練,模型經(jīng)過(guò)訓(xùn)練后可以將由雙三次差值的低分辨率SST重構(gòu)為高分SST。Ducournau和Fablet[9]提出了一種基于深度學(xué)習(xí)的圖像超分辨率模型與復(fù)雜的卷積神經(jīng)網(wǎng)絡(luò)方式,對(duì)SST數(shù)據(jù)進(jìn)行研究,評(píng)估應(yīng)用于海洋遙感數(shù)據(jù)的深度學(xué)習(xí)體系的效率與相關(guān)性,其結(jié)果驗(yàn)證了經(jīng)過(guò)專門訓(xùn)練的海洋遙感數(shù)據(jù)的深度學(xué)習(xí)模型,能支持重建高分辨海洋表面溫度場(chǎng)。Zhang等[10]首先采用了RNN中的長(zhǎng)短期記憶網(wǎng)絡(luò) (Long Short-Term Memory,LSTM)模型用于SST數(shù)據(jù)的預(yù)測(cè),Yang等[11]在其基礎(chǔ)上,提出采用LSTM與CNN相結(jié)合的方式,在構(gòu)造模型的過(guò)程中先進(jìn)行時(shí)間信息的提取,再增加一個(gè)卷積層提取空間信息,并在實(shí)驗(yàn)中證明時(shí)空序模型比單純的時(shí)序模型更能對(duì)中國(guó)近海數(shù)據(jù)集進(jìn)行精準(zhǔn)預(yù)測(cè)。

2 數(shù)據(jù)與方法

2.1 研究區(qū)域與數(shù)據(jù)

南海是我國(guó)三大邊緣海之一,自然海域面積約3.5×106km2,生物多樣性豐富,常年受季風(fēng)影響。本研究以南海為研究區(qū)域,地理范圍為105°E-125°E,0°N-25°N,研究該區(qū)域海表面溫度的預(yù)測(cè)模型的建立問(wèn)題。

圖1 研究區(qū)域地形圖

海表面溫度數(shù)據(jù)可以通過(guò)衛(wèi)星微波輻射計(jì)紅外輻射計(jì)、實(shí)時(shí)錨定、漂流浮標(biāo)及船測(cè)獲取,是氣候和天氣的重要測(cè)量參數(shù)。不同的儀器可以測(cè)量不同深度的溫度,當(dāng)從高空遙測(cè)海表面溫度時(shí),觀測(cè)的深度通常與衛(wèi)星儀器的頻率有關(guān)。如,紅外輻射計(jì)測(cè)量的是大于20 μm深度處的溫度,微波輻射計(jì)測(cè)量的是幾mm深度處的溫度。Remote Sensing System(RSS)提供的微波優(yōu)化插值SST則代表著1 m深度處的SST值。RSS提供兩種優(yōu)化插值的SST天數(shù)據(jù)產(chǎn)品,一種是微波數(shù)據(jù),25 km分辨率,一種是微波和紅外相結(jié)合的數(shù)據(jù),9 km分辨率?？紤]到時(shí)間跨度較長(zhǎng)、數(shù)據(jù)量更大,本研究采用的微波海表面溫度數(shù)據(jù),時(shí)間跨度為1998年1月1日至2018年12月31日,時(shí)間分辨率為d,空間分辨率為25 km。

2.2 深度學(xué)習(xí)預(yù)測(cè)算法原理

CNN多用于空間特征提取,目前較流行的模型包括LeNet,AlexNet和GoogLeNet。其中,LeNet[12]是1998年Yann LeCun設(shè)計(jì)提出的,用來(lái)識(shí)別手寫數(shù)字的模型,也是最經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)之一。CNN以數(shù)據(jù)為驅(qū)動(dòng)進(jìn)行模型訓(xùn)練,是一個(gè)每層由多個(gè)二維平面組成,每個(gè)平面由多個(gè)獨(dú)立神經(jīng)元組成的多層神經(jīng)網(wǎng)絡(luò)。每一個(gè)神經(jīng)元的輸出是神經(jīng)元節(jié)點(diǎn)特征以一定的權(quán)重乘以上一層特征的輸入值,再加上偏差值,再經(jīng)過(guò)非線性變換得到。其公式描述如下:

其中xi是神經(jīng)元輸入值,ωi為該神經(jīng)元輸入值的權(quán)重大小,b為偏差值。f(x)則是從輸入到輸出映射的非線性函數(shù)。輸入層通過(guò)卷積算子進(jìn)行卷積計(jì)算后在C1層形成特征圖 (Feature map),C1通過(guò)池化計(jì)算,形成S2特征圖。S2特征圖進(jìn)行卷積后形成C3,C3經(jīng)過(guò)池化計(jì)算形成S4層,最后經(jīng)過(guò)全連接層和分類層,形成輸出層。一般來(lái)說(shuō),C層為特征提取層,用于提取前一層的特征。S層為特征映射層,也是池化層,用于降低特征提取結(jié)果對(duì)圖像變形的敏感度,泛化出更一般的特征。具體結(jié)構(gòu)如圖2所示。

圖2 CNN結(jié)構(gòu)示意圖

RNN[13]通過(guò)網(wǎng)絡(luò)中的環(huán)狀結(jié)構(gòu)將上一時(shí)間點(diǎn)的輸出進(jìn)行 “記憶”并達(dá)到影響下一時(shí)間點(diǎn)的目的,常用于處理和預(yù)測(cè)序列數(shù)據(jù)[14],其結(jié)構(gòu)如圖3所示。通過(guò)神經(jīng)網(wǎng)絡(luò)主體結(jié)構(gòu)W將歷史輸入狀態(tài)進(jìn)行總結(jié),使得隱藏層h包含現(xiàn)有的輸入和過(guò)去的 “記憶”。

圖3 RNN網(wǎng)絡(luò)原理示意圖，其中X為輸入層，h為隱藏層，O為輸出層，W為神經(jīng)網(wǎng)絡(luò)的主體結(jié)構(gòu)

RNN隱藏層h的值不僅取決于當(dāng)前時(shí)刻的輸入值X,還取決于前一時(shí)刻的隱藏層h的值,隱藏層的用公式表達(dá)如下:

其中U是輸入層到隱藏層的權(quán)重矩陣,V是隱藏層到輸出層的權(quán)重矩陣,W是隱藏層上一時(shí)刻的值作為當(dāng)前時(shí)刻輸入的權(quán)重,然而,由于訓(xùn)練過(guò)程中梯度消失或爆炸等問(wèn)題,在實(shí)際應(yīng)用中可采用LSTM用于對(duì)信息進(jìn)行長(zhǎng)期存儲(chǔ)。LSTM包含一個(gè)記憶細(xì)胞和3個(gè) “門”,分別是遺忘門、輸入門和輸出門。LSTM通過(guò) “門”結(jié)構(gòu)控制信息的通過(guò),調(diào)整 “記憶”的重點(diǎn),緩解梯度消失或爆炸問(wèn)題[11]。

因此,構(gòu)建由CNN和LSTM相結(jié)合的預(yù)測(cè)模型,可以充分發(fā)揮模型優(yōu)勢(shì),實(shí)現(xiàn)數(shù)據(jù)特征識(shí)別和預(yù)測(cè)。

3 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

3.1 海表面溫度預(yù)測(cè)技術(shù)流程設(shè)計(jì)

深度學(xué)習(xí)模型的訓(xùn)練通常分為遷移學(xué)習(xí)法和底層建模法。遷移學(xué)習(xí)法在海洋領(lǐng)域已經(jīng)證明在數(shù)據(jù)分類、數(shù)據(jù)重構(gòu)等方面具有較好的建模效果[6,8]。底層建模法主要采用網(wǎng)格搜索 (Grid Search),即對(duì)模型層數(shù)、神經(jīng)元個(gè)數(shù)、收斂函數(shù)算法等進(jìn)行組合實(shí)驗(yàn)?？紤]到應(yīng)用的特殊性,本研究分別采用CNN,LSTM,CNN+LSTM 3種算法建立南海區(qū)域海表面溫度的預(yù)測(cè)模型并進(jìn)行對(duì)比分析,采用底層建模法進(jìn)行模型調(diào)整訓(xùn)練?；玖鞒贪〝?shù)據(jù)處理與構(gòu)造、模型訓(xùn)練及結(jié)果輸出,如圖4所示。

圖4 深度學(xué)習(xí)海表面溫度預(yù)測(cè)工作流程示意圖

采用3個(gè)標(biāo)準(zhǔn)對(duì)模型預(yù)測(cè)精度進(jìn)行評(píng)估,分別是均方根誤差 (RMSE),平均絕對(duì)百分比誤差 (MAPE)和平均絕對(duì)誤差 (MAE)。

其中yt是真實(shí)值,是模型預(yù)測(cè)值。RMSE為衡量觀測(cè)值與真實(shí)值之間的偏差。MAE可以反映預(yù)測(cè)值誤差的實(shí)際情況,數(shù)值越接近于0,則模型預(yù)測(cè)精度越高。

3.2 實(shí)驗(yàn)數(shù)據(jù)集準(zhǔn)備

根據(jù)研究區(qū)域范圍和數(shù)據(jù)的時(shí)空分辨率,實(shí)驗(yàn)數(shù)據(jù)每個(gè)時(shí)間點(diǎn) (天)圖像包含100*81個(gè)像素,共21年。按時(shí)間順序,前70%為訓(xùn)練數(shù)據(jù),中間20%為測(cè)試數(shù)據(jù),后10%為驗(yàn)證數(shù)據(jù)。

圖5 數(shù)據(jù)組織示意圖

對(duì)訓(xùn)練數(shù)據(jù)按照7*7*L三維體進(jìn)行分割,獲得輸入數(shù)據(jù)大小為7*7*L,7*7像素可以覆蓋大多數(shù)中尺度特征,可有效保留空間信息、提高訓(xùn)練效率。L根據(jù)預(yù)測(cè)天數(shù)進(jìn)行設(shè)置,本實(shí)驗(yàn)設(shè)為7,即預(yù)測(cè)7天的海表面溫度數(shù)據(jù)。

3.3 結(jié)果對(duì)比分析

3.3.1 基于CNN的海表面溫度預(yù)測(cè)模型

基于CNN的海表面溫度預(yù)測(cè)模型,實(shí)驗(yàn)過(guò)程中通過(guò)增加模型深度、神經(jīng)元數(shù)量和池化層數(shù)等策略進(jìn)行模型調(diào)整,但均未得到較好的模擬效果,進(jìn)一步佐證模型并非越復(fù)雜模擬效果越好。經(jīng)過(guò)對(duì)比篩選和模型評(píng)價(jià),最終針對(duì)本實(shí)驗(yàn)數(shù)據(jù)建立了一層模型20個(gè)神經(jīng)元的CNN網(wǎng)絡(luò)。為了對(duì)比過(guò)濾器采樣范圍對(duì)模型的影響,采用Valid和Same兩種方式對(duì)卷積核進(jìn)行采樣,其采樣原理如圖6所示。通過(guò)表1可以看出Valid采樣方法,最終得到的模型略好于Same法,后續(xù)模型訓(xùn)練均采用Valid采樣方法。

圖6 卷積核采樣范圍示意圖

表1 CNN模型精度評(píng)估及對(duì)比

3.3.2 基于LSTM的海表面溫度預(yù)測(cè)模型

基于LSTM的海表面溫度預(yù)測(cè)模型采用同樣訓(xùn)練策略,實(shí)驗(yàn)結(jié)果如表2所示,可以看出相比于單純的CNN,LSTM具有更穩(wěn)定的表現(xiàn)。但是同樣區(qū)域大小的數(shù)據(jù),LSTM訓(xùn)練建模迭代次數(shù)多、時(shí)間消耗長(zhǎng),建立的模型結(jié)構(gòu)更加復(fù)雜。最終形成了3層深度模型,每層深度模型的神經(jīng)元個(gè)數(shù)分別為12、15和34。

表2 LSTM模型評(píng)估

3.3.3 基于CNN-LSTM的海表面溫度預(yù)測(cè)模型

CNN-LSTM模型先提取數(shù)據(jù)的空間特征,后提取時(shí)間序列特征。LSTM-CNN網(wǎng)絡(luò)則先在時(shí)間序列上進(jìn)行計(jì)算建模,后提取空間信息,然而LSTM對(duì)網(wǎng)格數(shù)據(jù)處理時(shí)先進(jìn)行拉伸處理,會(huì)丟失空間信息。因此本研究采用CNN-LSTM模型,得到實(shí)驗(yàn)結(jié)果對(duì)比如表3所示。

表3 CNN-LSTM實(shí)驗(yàn)結(jié)果對(duì)比

通過(guò)對(duì)比可以得知2層CNN+3層LSTM的模型精度更高,相比單獨(dú)的CNN表現(xiàn)更佳,與單獨(dú)的LSTM相比雖沒(méi)有明顯的模型預(yù)測(cè)優(yōu)勢(shì),但卻提高了模型預(yù)測(cè)效率,這可能與CNN進(jìn)行特征提取空間過(guò)程將圖像劃分粒度更小,易于LSTM進(jìn)一步處理有一定的關(guān)系。綜合考慮效率和精度,CNN+LSTM優(yōu)于單獨(dú)的CNN或LSTM,本研究最終建立的CNN+LSTM模型包含神經(jīng)元個(gè)數(shù)為20,30,12,15和34。

4 結(jié)論與展望

本文采用了CNN、LSTM和CNN-LSTM 3種方法建立了南海海表面溫度預(yù)測(cè)模型,并對(duì)結(jié)果進(jìn)行了分析?；贑NN-LSTM的SST預(yù)測(cè)模型,考慮了SST的時(shí)空特征,相比于單獨(dú)的CNN和LSTM模型在時(shí)效性方面能夠達(dá)到更好的預(yù)測(cè)效果。相比于LSTM-CNN,CNN-LSTM方法能夠更好的保留空間和時(shí)間信息,避免LSTM因?yàn)閿?shù)據(jù)的拉伸造成空間信息的丟失問(wèn)題。

傳統(tǒng)的數(shù)值模擬預(yù)測(cè)海表面溫度多依賴于物理模型,以深度學(xué)習(xí)為代表的海表面溫度預(yù)測(cè)方法則以數(shù)據(jù)為驅(qū)動(dòng),通過(guò) “學(xué)習(xí)”建立模型。然而,由于深度學(xué)習(xí)適用范圍和可解釋性還存在一定壁壘,未來(lái)通過(guò)將 “知識(shí)-數(shù)據(jù)-算法-算力”相結(jié)合的方式,為深度學(xué)習(xí)提供更廣的發(fā)展機(jī)遇,不斷拓展人工智能等新技術(shù)在海洋數(shù)據(jù)分析挖掘、預(yù)測(cè)預(yù)報(bào)等方面的應(yīng)用研究,提高長(zhǎng)時(shí)序、大空間范圍的海洋數(shù)據(jù)規(guī)律認(rèn)識(shí)能力和工作效率。