線性分解和周期增強(qiáng)Informer的太陽(yáng)輻射短臨預(yù)報(bào)研究

摘 要：針對(duì)輻射周期趨勢(shì)及外部影響特征捕獲不足的問題，提出一種線性分解和周期增強(qiáng)Informer的地表太陽(yáng)輻射短臨預(yù)報(bào)方法。首先，改進(jìn)灰色關(guān)聯(lián)度方法，獲取歷史輻射與多種外部氣象因素關(guān)聯(lián)度，提取16種高相關(guān)外部氣象特征建立高關(guān)聯(lián)特征集，強(qiáng)化捕捉輻射與氣象因素之間的復(fù)雜關(guān)系的能力；其次，在基于Transformer解決方案的基礎(chǔ)上引入周期性嵌入層和ReLU激活函數(shù)，為模型提供更準(zhǔn)確、合理的周期時(shí)間特征和輻射變化區(qū)間。最后，在Informer后增加平滑序列分解線性層，將Autoformer中的分解方案和FEDformer中的線性層相結(jié)合，進(jìn)一步增強(qiáng)捕捉時(shí)序數(shù)據(jù)中周期性和季節(jié)性成分的能力。實(shí)驗(yàn)結(jié)果表明：該IDL方法結(jié)合外部氣象特征能極好地提高模型短臨預(yù)報(bào)效果，精度高于近年來基于Transformer系列的解決方案；比DLinear均方誤差最高減少30.6%。

關(guān)鍵詞：太陽(yáng)輻射；Informer；Transformer；平滑序列線性分解；周期嵌入；灰色關(guān)聯(lián)度

中圖分類號(hào)：P456.1" " " " " " " " " " " " " " " " 文獻(xiàn)標(biāo)志碼：A

0 引 言

由于地表太陽(yáng)輻射（surface solar irradiance，SSI）極大地影響著天氣和氣候，因而是許多研究和應(yīng)用的先決條件，成為決定氣候等過程的關(guān)鍵參數(shù)［1］。同時(shí)，可靠的太陽(yáng)輻射預(yù)報(bào)可確保電網(wǎng)運(yùn)營(yíng)商優(yōu)化能量輸出并最大限度地降低成本［2］。天氣條件的倉(cāng)促和任意變化是造成SSI波動(dòng)的主要原因，其中最重要的因素是云，云層遮擋可導(dǎo)致太陽(yáng)輻射快速下降［3-4］。衛(wèi)星可提供更長(zhǎng)時(shí)間內(nèi)的云演變連續(xù)數(shù)據(jù)，且其測(cè)量精度令人滿意［5］。隨著物聯(lián)網(wǎng)技術(shù)發(fā)展，各類觀測(cè)數(shù)據(jù)更加容易獲得，并為機(jī)器學(xué)習(xí)（machine learning，ML）模型提供了基礎(chǔ)［6］。文獻(xiàn)證明，ML模型廣泛應(yīng)用于各領(lǐng)域的參數(shù)和輸出預(yù)報(bào)，能以較高的精度表征高維非線性問題［7-8］。許多研究表明，人工神經(jīng)網(wǎng)絡(luò)［9］、支持向量機(jī)［10］、隨機(jī)森林［11］、深度神經(jīng)網(wǎng)絡(luò)［12］等ML模型對(duì)太陽(yáng)輻射預(yù)報(bào)具有較高的精度［13］。

然而，上述模型所有變量都獨(dú)立地插入到預(yù)報(bào)模型中，忽略了連續(xù)時(shí)間序列變量之間的時(shí)間依賴性［14］。一種特殊類型的深度神經(jīng)網(wǎng)絡(luò)Transformer可直接將時(shí)間序列作為輸入而不僅僅將其視為獨(dú)立樣本［15］，此外它還可通過自注意力機(jī)制來實(shí)現(xiàn)序列進(jìn)化方向的信息流，可有效捕捉時(shí)間序列的時(shí)間依賴性［16］。Transformer可在輸入數(shù)據(jù)中找到時(shí)間和空間的聯(lián)系［17］，并用它們來預(yù)報(bào)后續(xù)時(shí)間步的信息，這是一種較為準(zhǔn)確的時(shí)間序列預(yù)報(bào)方法［18］?；赥ransformer的時(shí)序解決方案有兩個(gè)特點(diǎn)：一是大多研究針對(duì)長(zhǎng)期預(yù)測(cè)［19］；二是時(shí)間序列預(yù)測(cè)中一般都具有明顯的季節(jié)性與周期性特征，但現(xiàn)有的太陽(yáng)輻射預(yù)測(cè)方法對(duì)這些特征的提取能力尚顯不足。如何利用Transformer建模短期時(shí)間依賴性并同時(shí)捕獲周期性仍是一個(gè)挑戰(zhàn)［19］。太陽(yáng)輻射預(yù)報(bào)涉及對(duì)一組連續(xù)時(shí)間點(diǎn)之間的變化進(jìn)行建模，其中包含相對(duì)明顯的趨勢(shì)和周期性的時(shí)間序列，有研究稱，線性模型在提取這些特性方面發(fā)揮著重要作用，并證明了其優(yōu)點(diǎn)［20］。

為了解決上述問題，本研究對(duì)基于Transformer的解決方案進(jìn)行改進(jìn)，以提高SSI短臨預(yù)報(bào)精度。

1 研究方法

1.1 改進(jìn)的灰色關(guān)聯(lián)度

灰色關(guān)聯(lián)度法通常用于分析不同變量對(duì)結(jié)果的重要度［21］。對(duì)SSI、紫外輻射、光合輻射等外部影響因素進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化處理，在每個(gè)時(shí)刻[t]計(jì)算太陽(yáng)輻射[y*t]和第[k]種影響因素[r*k，t]的關(guān)聯(lián)系數(shù)[ξ]：

[ξy*t，r*k，t=ρδmax+δminρδmax+y*t-r*k，t] （1）

[δmax=maxtmaxky*t-r*k，t] （2）

[δmin=mintminky*t-r*k，t] （3）

式中：[δmax]——各類影響因素與輻射之間的兩級(jí)最大差；[δmin]——各類影響因素與輻射之間的兩級(jí)最小差；[ρ]——分辨系數(shù)，一般取0.5。

傳統(tǒng)灰色關(guān)聯(lián)度方法忽略了時(shí)序相關(guān)性特征的影響，通過時(shí)間權(quán)重因子[wt]對(duì)各時(shí)刻關(guān)聯(lián)系數(shù)進(jìn)行加權(quán)計(jì)算來得到改進(jìn)的灰色關(guān)聯(lián)度[γ]：

[γL，rk=t=1Twtξy*t，r*k，t] （4）

式中：[L]——SSI數(shù)據(jù)序列；[rk]——第[k]個(gè)因素的數(shù)據(jù)序列；[T]——日最大時(shí)間步長(zhǎng)96步。

時(shí)間權(quán)重因子[wt]由以下3個(gè)步驟獲?。?/p>

1） 根據(jù)“近大遠(yuǎn)小”原則，建立模糊互補(bǔ)關(guān)系矩陣[Fft1t2]，在這個(gè)矩陣中，[ft1t2]表示某一外部影響因素下，[t1]時(shí)刻數(shù)據(jù)和[t2]時(shí)刻數(shù)據(jù)之間的重要度大小對(duì)比關(guān)系，且[ft1t2]與[ft2t1]之和始終為1。

2） 為反映不同時(shí)刻之間的模糊一致性關(guān)系，將模糊互補(bǔ)關(guān)系矩陣[F]改為模糊一致矩陣[Sst1t2]，其中：

[st1=k=1Tft1k] （5）

[st1t2=st1-st22T+0.5] （6）

3） 通過特定參數(shù)和公式計(jì)算時(shí)間權(quán)重因子[wt]：

[wt=1T-12a+k=1TstkTε] （7）

[ε=T-12] （8）

式中：[a]——大于等于[t-12]的參數(shù)。

1.2 基于Transformer的時(shí)序方案

多頭自注意機(jī)制的有效性引發(fā)了大量對(duì)基于Transformer時(shí)間序列建模技術(shù)的研究。一些相對(duì)著名的模型包括Informer［22］、Autoformer［23］、Pyraformer［24］和FEDformer［18］。其中，Informer使用稀疏概率（ProbSparse）自注意力機(jī)制代替?zhèn)鹘y(tǒng)自注意力，時(shí)間復(fù)雜度和內(nèi)存使用率均低至[ΟLlgL]，且為直接多步（direct multi-step，DMS）預(yù)測(cè)設(shè)計(jì)了一種生成式解碼器，僅需一步前向傳遞就能獲得序列輸出，其他Transformer變體采用類似的DMS策略。

2 線性分解和周期增強(qiáng)Informer的太陽(yáng)輻射預(yù)報(bào)模型

對(duì)基于Transformer解決方案中SSI短期預(yù)報(bào)效果較好的Transformer和Infomer模型做類似改進(jìn)：將改進(jìn)的灰色關(guān)聯(lián)度獲得的高關(guān)聯(lián)外部影響因素結(jié)合衛(wèi)星獲取的云和SSI數(shù)據(jù)，獲取綜合高關(guān)聯(lián)度序列作為輸入；針對(duì)太陽(yáng)輻射規(guī)律性特征設(shè)計(jì)輻射周期性嵌入層；改進(jìn)后模型在嵌入前或解碼后融合平滑序列分解線性層（decomposition linear，DL）［20］；預(yù)報(bào)最后增加ReLU激活函數(shù)將輻射值限制在可能性區(qū)間。針對(duì)太陽(yáng)輻射特性所改進(jìn)的多個(gè)模型，均可提高太陽(yáng)輻射短期預(yù)報(bào)精度，其中基于Informer改進(jìn)的解碼后線性模型短期預(yù)報(bào)精度最高。將其命名為線性分解變壓器（informer decomposition linear，IDL），如圖1所示，其中灰色框表示變動(dòng)增加部分。

2.1 輻射周期性嵌入

改進(jìn)的模型在綜合嵌入策略基礎(chǔ)上，增加日輻射周期性嵌入策略，以更好地捕捉太陽(yáng)輻射變化模式。輻射周期性嵌入包含半正弦函數(shù)編碼和半余弦函數(shù)編碼兩部分嵌入，僅取正余弦函數(shù)的正數(shù)部分，負(fù)數(shù)置為零。通過計(jì)算半正弦函數(shù)和半余弦函數(shù)在時(shí)間序列上的取值，捕捉輻射周期性特征，輻射周期性嵌入編碼為：

[Cp，jt=max0，sinpT2jd，" j為偶數(shù)max0，cospT2jd，其他] （9）

式中：[p]——[t]時(shí)刻固定的序列位置；[d]——模型維度，[j=1，2，3，…，d2]；[T]——日最大時(shí)間步長(zhǎng)96步。

標(biāo)量投影中卷積核為3，步長(zhǎng)為1的一維卷積濾波后將[t]時(shí)刻的序列投影為[d]維矢量。

2.2 Informer編碼器

將預(yù)報(bào)時(shí)刻前的序列輸入編碼器，通過自注意蒸餾和多頭ProbSpare自注意力，學(xué)習(xí)序列中的長(zhǎng)短期依賴特征，在降低計(jì)算復(fù)雜度的同時(shí)保持信息提取任務(wù)的準(zhǔn)確性和效果。多頭ProbSpare自注意力計(jì)算為：

[AQ，K，V=softmaxQK?dV] （10）

式中：[Q∈?LQ×d]——查詢，其形狀第0維和1維長(zhǎng)度分別為[LQ]和[d]；[K∈?LK×d]——鍵，其形狀第0維和1維長(zhǎng)度分別為[LK]和[d]；[V∈?LV×d]——值，其形狀第0維和1維長(zhǎng)度分別為[LV]和[d]；[Q]——與[Q]大小相同的系數(shù)矩陣。

編碼器僅包含[n]個(gè)主導(dǎo)查詢，此時(shí)若選樣本[lgL]個(gè)，ProbSpare自注意力總時(shí)間及空間復(fù)雜度由傳統(tǒng)方法[ΟL2]降至[ΟLlgL]。編碼器將所有多頭自注意力層的映射聯(lián)接起來，得到最終隱藏表示作為解碼器的輸入。

2.3 Informer解碼器

和標(biāo)準(zhǔn)解碼器結(jié)構(gòu)類似，Informer解碼器包括多頭ProbSparse自注意力層、全注意層和全連接層。不同于傳統(tǒng)方法中耗時(shí)的動(dòng)態(tài)解碼，Informer將自然語(yǔ)言處理中的生成式推理擴(kuò)展應(yīng)用至?xí)r間序列任務(wù)，解碼器輸入向量后推理輸出，直接多步預(yù)測(cè)減少了預(yù)測(cè)解碼時(shí)間。

[Xtde=ConcatXttoken，Xt0∈?Ltoken+Ly×d] （11）

式中：[Xttoken]——起始標(biāo)記；[Xt0]——標(biāo)量設(shè)為0的目標(biāo)序列占位符。

在ProbSparse自注意中應(yīng)用掩碼多頭注意，避免了自回歸。

2.4 平滑序列分解線性層

平滑序列分解線性層DL巧妙地結(jié)合了Autoformer中的序列分解方案和FEDformer中的線性層。Autoformer在每個(gè)神經(jīng)塊后應(yīng)用季節(jié)趨勢(shì)分解技術(shù)，使原始數(shù)據(jù)可預(yù)報(bào)性更強(qiáng)［23］。FEDformer則提出“專家混合”的策略，由不同核大小提取趨勢(shì)分量，并將其混合。DL時(shí)間序列執(zhí)行移動(dòng)平均操作將輸入序列平滑化，得到移動(dòng)平均值，即趨勢(shì)分量[m]，移動(dòng)平均的目的是強(qiáng)調(diào)時(shí)間序列的趨勢(shì)部分，并減少噪聲和異常點(diǎn)對(duì)序列的影響，讓數(shù)據(jù)更易于捕捉到整體的趨勢(shì)；殘差部分是輸入序列與趨勢(shì)部分的差值，序列去除了趨勢(shì)后的殘差部分，即季節(jié)分量[r]。趨勢(shì)和季節(jié)分量分別使用線性變換得到趨勢(shì)成分的線性預(yù)報(bào)[ym]和季節(jié)成分的線性預(yù)報(bào)[yr]，合并后得預(yù)報(bào)序列[YDL]。

3 建模和效果分析

3.1 數(shù)據(jù)預(yù)處理

結(jié)合2022年來自風(fēng)云四號(hào)A星（FY-4A）SSI數(shù)據(jù)、先進(jìn)的靜止軌道輻射成像儀（AGRI）14個(gè)通道數(shù)據(jù)、云檢測(cè)（CLM）數(shù)據(jù)的3種衛(wèi)星數(shù)據(jù)，以及來自中國(guó)山西太原氣象站點(diǎn)（編號(hào)：53772，經(jīng)度：112.5°，緯度：37.62°），時(shí)間分辨率為1 h的地面實(shí)測(cè)氣象和輻射相關(guān)數(shù)據(jù)。由于來自衛(wèi)星的數(shù)據(jù)空間分辨率為4 km，時(shí)間分辨率除整點(diǎn)外，每3 h前后各15 min一次觀測(cè)，而站點(diǎn)數(shù)據(jù)為每小時(shí)整點(diǎn)測(cè)量。為統(tǒng)一時(shí)間分辨率并保證短臨預(yù)報(bào)精度，將衛(wèi)星經(jīng)緯按照歐氏距離匹配站點(diǎn)的最近經(jīng)緯度，獲取衛(wèi)星在該站點(diǎn)的數(shù)據(jù)；分別對(duì)站點(diǎn)和衛(wèi)星數(shù)據(jù)做時(shí)次數(shù)據(jù)插補(bǔ)，采用3次樣條插值方案，將時(shí)間分辨率插補(bǔ)至15 min。將地面站點(diǎn)獲取的141個(gè)外部氣象因素和衛(wèi)星SSI數(shù)據(jù)經(jīng)改進(jìn)的灰色關(guān)聯(lián)度方法得到關(guān)聯(lián)度，部分灰色關(guān)聯(lián)度分析結(jié)果如表1所示（僅展示最高的18個(gè)）。其中，取最高的16個(gè)高相關(guān)氣象因素和衛(wèi)星獲取的3項(xiàng)數(shù)據(jù)綜合成一個(gè)完整的數(shù)據(jù)集。

3.2 模型預(yù)報(bào)結(jié)果分析

IDL使用Adam優(yōu)化器，學(xué)習(xí)率從1×10-4開始，每個(gè)訓(xùn)練周期衰減一半，適當(dāng)早停情況下，總訓(xùn)練周期為8個(gè)。在此情況下，逐步延長(zhǎng)預(yù)報(bào)窗口[Ly]為{1，4，6，8，12，24}，選擇近年來著名的5種基于Transformer的解決方案和最新的DLinear線性模型作對(duì)比，每個(gè)模型都使用均方誤差（mean squared error，MSE）和平均絕對(duì)誤差（mean absolute error，MAE）作為評(píng)價(jià)指標(biāo)，回望窗口統(tǒng)一為96，由于DLinear存在推理性能隨回望窗口的增大而顯著提高的特性，因此增加一個(gè)回望窗口為720的DLinear模型。不同模型多變量SSI預(yù)報(bào)結(jié)果如表2所示，預(yù)報(bào)步長(zhǎng)（1步長(zhǎng)為15 min）分別為{1，4，6，8，12，24}，最好的指標(biāo)數(shù)據(jù)用粗體突出顯示，除IDL外其他方法中最好的用下劃線顯示。從表2中觀察到，所提出的IDL僅在預(yù)測(cè)步長(zhǎng)為24時(shí)間步時(shí)對(duì)比回望窗為720的DLinear性能有所下降，其他短臨步長(zhǎng)預(yù)報(bào)下，IDL在所有模型中短臨推理性能最好，并且隨著預(yù)報(bào)步長(zhǎng)的增大，誤差平穩(wěn)緩慢上升，表明IDL成功提升了太陽(yáng)輻射短臨預(yù)報(bào)能力。

3.3 基于改進(jìn)多模型融合DL的魯棒性分析

從表2中觀察到，基于Transformer的解決方案中Informer和Transformer的SSI短臨預(yù)報(bào)效果較好。為對(duì)比IDL改進(jìn)是否最好并驗(yàn)證改進(jìn)的方案對(duì)過去基于Transformer解決方案的有效性，對(duì)Transformer和Infomer模型做類似改進(jìn)，相應(yīng)部分增加輻射周期性嵌入和激活函數(shù)，綜合嵌入層前增加DL層分別命名為DLT、DLI，解碼后增加DL層分別命名為TDL、IDL。多個(gè)改進(jìn)模型融合DL預(yù)報(bào)結(jié)果如表3所示，4種方法中IDL魯棒性最優(yōu)。

對(duì)比表2和表3可發(fā)現(xiàn)，相比于所有基于Transformer的解決方案，此改進(jìn)方法所得4種模型的整體誤差均有下降，證明了改進(jìn)的有效性。

3.4 回望窗口與步長(zhǎng)

為了研究提出的IDL回望窗口大小對(duì)SSI短預(yù)報(bào)的影響，在窗口為{48，96，168，240，336，480，624，720}的情況下預(yù)報(bào)SSI，取預(yù)報(bào)時(shí)間步中的相對(duì)中間位置：6時(shí)間步，回望窗口敏感性分析如圖2所示，現(xiàn)有基于Transformer解決方案中FEDformer、Autoformer對(duì)太陽(yáng)輻射預(yù)測(cè)回望窗口影響不確定，Pyraformer雖趨勢(shì)下降，但運(yùn)行時(shí)間過長(zhǎng)且精度與IDL相差巨大。IDL最初增加回望窗口使得MSE下降，進(jìn)一步增加回望窗口會(huì)有些許上升，但總體性能趨于穩(wěn)定。IDL短臨預(yù)報(bào)回望窗口設(shè)置在96～336的一般可得最佳性能，且優(yōu)于DLinear穩(wěn)定后最佳趨勢(shì)，優(yōu)于Informer和Transformer最佳回望窗口性能。

4 結(jié) 論

針對(duì)太陽(yáng)輻射短臨預(yù)報(bào)存在的周期性及外部影響特征捕獲不足的問題，提出IDL模型，可顯著提高SSI短臨預(yù)報(bào)精度，模型改進(jìn)優(yōu)勢(shì)具體如下：

1）利用改進(jìn)后的高關(guān)聯(lián)度外部氣象因素作為輔助參數(shù)輸入模型，引入專門的太陽(yáng)輻射周期性嵌入層，以更好地捕捉太陽(yáng)輻射的規(guī)律性特征。

2）在預(yù)報(bào)的最后階段，適當(dāng)添加ReLU激活函數(shù)，將輻射值限制在可能性區(qū)間內(nèi)，從而提高了預(yù)報(bào)的準(zhǔn)確性和可靠性。

3）融合了平滑趨勢(shì)分解線性層到改進(jìn)后的模型中，可更好地捕捉數(shù)據(jù)中的季節(jié)和周期趨勢(shì)性特征。

4）實(shí)驗(yàn)證明了這些改進(jìn)和融合的步驟，增強(qiáng)了模型對(duì)季節(jié)性和周期性特征的感知能力，在總體性能趨于穩(wěn)定的情況下成功增強(qiáng)了基于Transformer的解決方案的太陽(yáng)輻射短臨預(yù)報(bào)能力。

［參考文獻(xiàn)］

［1］ HUANG G H， LI Z Q， LI X， et al. Estimating surface solar irradiance from satellites： past， present， and future perspectives［J］. Remote sensing of environment， 2019， 233： 111371.

［2］ LI Q Q， ZHANG D P， YAN K. A solar irradiance forecasting framework based on the CEE-WGAN-LSTM model［J］. Sensors， 2023， 23（5）： 2799.

［3］ 沈鐘平， 張華. 影響地面太陽(yáng)輻射及其譜分布的因子分析［J］. 太陽(yáng)能學(xué)報(bào)， 2009， 30（10）： 1209-1215.

SHEN Z P， ZHANG H. Analysis on the factors affecting surface solar radiation and its spectral distribution［J］. Acta energiae solaris sinica， 2009， 30（10）： 1209-1215.

［4］ 郝玉珠， 李興華， 胡亞男， 等. 內(nèi)蒙古57年太陽(yáng)能資源變化規(guī)律及影響因子［J］. 太陽(yáng)能學(xué)報(bào)， 2021， 42（9）： 145-151.

HAO Y Z， LI X H， HU Y N， et al. Change rules and influencing factors of 57 years of solar energy resources in Inner Mongolia［J］. Acta energiae solaris sinica， 2021， 42（9）： 145-151.

［5］ KRISHNAN N， KUMAR K R， INDA C S. How solar radiation forecasting impacts the utilization of solar energy： a critical review［J］. Journal of cleaner production， 2023， 388： 135860.

［6］ 杜智濤， 姜明波， 杜曉勇， 等. 機(jī)器學(xué)習(xí)在氣象領(lǐng)域的應(yīng)用現(xiàn)狀與展望［J］. 氣象科技， 2021， 49（6）： 930-941.

DU Z T， JIANG M B， DU X Y， et al. Application status and prospect of machine learning in meteorology［J］. Meteorological science and technology， 2021， 49（6）： 930-941.

［7］ AL-QANESS M A A， EWEES A A， FAN H， et al. Wind power prediction using random vector functional link network with capuchin search algorithm［J］. Ain shams engineering journal， 2023， 14（9）： 102095.

［8］ 普智勇， 夏攀， 張璐， 等. 機(jī)器學(xué)習(xí)與統(tǒng)計(jì)方法在太陽(yáng)能預(yù)報(bào)中的比較性分析［J］. 太陽(yáng)能學(xué)報(bào)， 2023， 44（7）： 162-167.

PU Z Y， XIA P， ZHANG L， et al. Comparative analysis of machine learning and statistical methods in solar energy prediction［J］. Acta energiae solaris sinica， 2023， 44（7）： 162-167.

［9］ PATEL D， PATEL S， PATEL P， et al. Solar radiation and solar energy estimation using ANN and fuzzy logic concept： a comprehensive and systematic study［J］. Environmental science and pollution research， 2022， 29（22）： 32428-32442.

［10］ 李凈， 溫松楠. 基于3種機(jī)器學(xué)習(xí)法的太陽(yáng)輻射模擬研究［J］. 遙感技術(shù)與應(yīng)用， 2020， 35（3）： 615-622.

LI J， WEN S N. Simulation of solar radiation based on three machine learning methods［J］. Remote sensing technology and application， 2020， 35（3）： 615-622.

［11］ 王雪潔， 施國(guó)萍， 周子欽， 等. 基于隨機(jī)森林算法對(duì)ERA5太陽(yáng)輻射產(chǎn)品的訂正［J］. 自然資源遙感， 2022， 34（2）： 105-111.

WANG X J， SHI G P， ZHOU Z Q， et al. Revision of solar radiation product ERA5 based on random forest algorithm［J］. Remote sensing for natural resources， 2022， 34（2）： 105-111.

［12］ SALEHI A W， KHAN S， GUPTA G， et al. A study of CNN and transfer learning in medical imaging： advantages， challenges， future scope［J］. Sustainability， 2023， 15（7）： 5930.

［13］ ZHOU Y， LI Y Z， WANG D J， et al. A multi-step ahead global solar radiation prediction method using an attention-based transformer model with an interpretable mechanism［J］. International journal of hydrogen energy， 2023， 48（40）： 15317-15330.

［14］ FENG Y， HAO W P， LI H R， et al. Machine learning models to quantify and map daily global solar radiation and photovoltaic power［J］. Renewable and sustainable energy reviews， 2020， 118： 109393.

［15］ VASWANI A， SHAZEER N， PARMAR N， et al. Attention" "is" "all" "you" "need［C］//Advances" "in" "Neural Information Processing Systems. Long Beach， USA： Curran Associates Inc.， 2017： 5998-6008.

［16］ BAI Y M， ZHAO J S. A novel transformer-based multi-variable multi-step prediction method for chemical process fault prognosis［J］. Process safety and environmental protection， 2023， 169： 937-947.

［17］ POSPíCHAL J， KUBOV?íK M， DIRGOVá LUPTáKOVá I. Solar irradiance forecasting with transformer model［J］. Applied sciences， 2022， 12（17）： 8852.

［18］ ZHOU T， MA Z， WEN Q， et al. FEDformer： frequency enhanced decomposed transformer for long-term series forecasting［C］//Proceedings of the 39th International Conference on Machine Learning. Baltimore USA， 2022.

［19］ WEN Q S， ZHOU T， ZHANG C L， et al. Transformers in time series： a survey［EB/OL］. 2022： 2202.07125. https：//arxiv.org/abs/2202.07125v5.

［20］ ZENG A L， CHEN M X， ZHANG L， et al. Are transformers effective for time series forecasting？［J］. Proceedings of the AAAI conference on artificial intelligence， 2023， 37（9）： 11121-11128.

［21］ 王濤， 王旭， 許野， 等. 計(jì)及相似日的LSTM光伏出力預(yù)測(cè)模型研究［J］. 太陽(yáng)能學(xué)報(bào)， 2023， 44（8）： 316-323.

WANG T， WANG X， XU Y， et al. Study on LSTM photovoltaic output prediction model considering similar days［J］. Acta energiae solaris sinica， 2023， 44（8）： 316-323.

［22］ ZHOU H Y， ZHANG S H， PENG J Q， et al. Informer： beyond efficient transformer for long sequence time-series forecasting［J］. Proceedings of the AAAI conference on artificial intelligence， 2021， 35（12）： 11106-11115.

［23］ WU H， XU J， WANG J， et al. Autoformer： decomposition transformers with auto-correlation for long-term series forecasting［C］//Advances in Neural Information Processing Systems 34. Reed Hook， NY， USA： Curran Associates， Inc.， 2021： 22419-22430.

［24］ RAMPá?EK L， GALKIN M， DWIVEDI V P， et al. Recipe for a general， powerful， scalable graph transformer［C］//Advances in Neural Information Processing Systems 35. Reed Hook， NY， USA： Curran Associates， Inc.，" 2022： 14501-14515.

LINEAR DECOMPOSITION AND PERIODIC ENHANCEMENT IN

SHORT-TERM SOLAR IRRADIANCE FORECASTING WITH INFORMER

Yao Rui1，2，Liu Xiaofang1

（1. School of Computer Science and Engineering， Sichuan University of Science amp; Engineering，Yibin 644000， China；

2. Department of Information Technology， Shanxi Yuncheng Vocational and Technical College of Agricultural， Yuncheng 044000， China）

Abstract：In response to the inadequacy in capturing trend and periodic features， a method for short arrival prediction of surface solar radiation ：s proposed decomposition and periodic-enhancement linear Informer. Firstly， an improved grey relational analysis method captures the correlation between historical irradiance and various external meteorological factors. This method extracts 16 highly correlated external meteorological features， thus enhancing the model's ability to capture the intricate relationship between irradiance and meteorological factors. Subsequently， the Informer model is augmented with periodic embedding layers and ReLU activation functions， which better represents the periodic variations in solar irradiance and provides more accurate temporal features. Finally， an integration of the decomposition scheme from Autoformer and the linear layer from FEDformer as a decomposition linear layer after the Informer. This amalgamation enhances the model’s capability to capture the periodic trends and seasonal components in time series solar irradiance data. Experimental results demonstrate that the proposed Informer Decomposition Linear model， in conjunction with external meteorological features， remarkably improves short-term forecasting performance， surpassing the accuracy of recently prominent Transformer-based approaches. In comparison to the best-performing DLinear model， the maximum mean squared error is reduced by 30.6%.

Keywords：solar irradiance； Informer； Transformer； smoothing sequential linear decomposition； periodic embedding； grey relational degree