包研科,陳 然,鄭宏杰,馮永安,王 江
1.遼寧工程技術(shù)大學(xué) 理學(xué)院,遼寧 阜新 123000
2.遼寧工程技術(shù)大學(xué) 智能工程與數(shù)學(xué)研究院,遼寧 阜新 123000
3.北京泛鵬天地科技股份有限公司,北京 100000
4.遼寧工程技術(shù)大學(xué) 軟件學(xué)院,遼寧 葫蘆島 125000
對(duì)事物本質(zhì)的洞察和演化狀態(tài)的前瞻是正確決策和有效控制的必要條件。隨著大數(shù)據(jù)和人工智能時(shí)代的到來(lái),在預(yù)測(cè)、決策以及系統(tǒng)控制領(lǐng)域,對(duì)系統(tǒng)動(dòng)態(tài)指標(biāo)的在線監(jiān)控和預(yù)測(cè)工具的需求持續(xù)增加。
對(duì)預(yù)測(cè)理論和技術(shù)的研究可以追溯到20世紀(jì)初。1927年,數(shù)學(xué)家Yule為了預(yù)測(cè)市場(chǎng)變化的規(guī)律,提出自回歸(autoregressive)模型,標(biāo)志著時(shí)間序列分析方法的產(chǎn)生[1]。至今九十多年的時(shí)間,經(jīng)典的時(shí)間序列分析理論與方法已經(jīng)發(fā)展成為一種非常嚴(yán)謹(jǐn)?shù)睦碚撆c技術(shù)體系。經(jīng)典的理論可以劃分為X-11技術(shù)體系和Box-Jenkins方法體系。
1954年,美國(guó)普查局的Shiskin首先開(kāi)發(fā)了X-1方法,開(kāi)始大規(guī)模地對(duì)經(jīng)濟(jì)時(shí)間序列進(jìn)行季節(jié)調(diào)整[2]。此后,季節(jié)調(diào)整方法不斷改進(jìn)。1965年發(fā)表了X-11方法,該方法基于多次迭代的移動(dòng)平均法進(jìn)行成分分解,剔除波動(dòng)性的影響[2]。X-12方法是在X-11方法的基礎(chǔ)上發(fā)展而來(lái)的,也是基于移動(dòng)平均法的季節(jié)調(diào)整方法。X-12方法對(duì)X-11方法進(jìn)行了以下改進(jìn)[3]:(1)擴(kuò)展了對(duì)貿(mào)易日和節(jié)假日影響的調(diào)節(jié);(2)提出了基于偽加法模型和對(duì)數(shù)加法模型的季節(jié)、趨勢(shì)循環(huán)和不規(guī)則要素的分解方法;(3)增加了對(duì)季節(jié)調(diào)整結(jié)果穩(wěn)定性的診斷。20世紀(jì)70年代,美國(guó)學(xué)者Box和英國(guó)統(tǒng)計(jì)學(xué)者Jenkins提出了一整套關(guān)于時(shí)間序列分析、預(yù)測(cè)和控制的方法,被稱為Box-Jenkins方法,也被稱為ARIMA(autoregressive integrated moving average)模型[4-5]。Box-Jenkins方法基于差分技術(shù),剔除趨勢(shì)特征,再對(duì)時(shí)間序列進(jìn)行建模及預(yù)測(cè),廣泛應(yīng)用于金融時(shí)間序列預(yù)測(cè)問(wèn)題[6-7]。1998年,美國(guó)普查局季節(jié)調(diào)整首席研究員David Findley提出X-12-ARIMA方法[8]。X-12-ARIMA方法能夠?qū)?shù)據(jù)做更加豐富的預(yù)處理,檢測(cè)和修正不同類型的離群值,估計(jì)并消除日歷因素的影響,對(duì)季節(jié)調(diào)整的效果進(jìn)行更嚴(yán)格的診斷檢驗(yàn)[2]。
近三十年,隨著數(shù)據(jù)科學(xué)的發(fā)展,特別是人工智能的發(fā)展,演化出了基于人工神經(jīng)網(wǎng)絡(luò)[9](ANN)技術(shù)和深度學(xué)習(xí)(DL)的新型預(yù)測(cè)技術(shù),機(jī)器學(xué)習(xí)(ML)在預(yù)測(cè)領(lǐng)域得到廣泛應(yīng)用。其中,源于自然語(yǔ)言處理(NLP)領(lǐng)域的循環(huán)神經(jīng)網(wǎng)絡(luò)[10](RNN)、長(zhǎng)短期記憶(LSTM)循環(huán)神經(jīng)網(wǎng)絡(luò)[11]、門控循環(huán)單元(GRU)網(wǎng)絡(luò)[12]和脈沖神經(jīng)網(wǎng)絡(luò)[13](SNN)等模型被研究人員引入到時(shí)間序列預(yù)測(cè)應(yīng)用中,借鑒、改進(jìn)、融合,服務(wù)于管理決策和控制。廖大強(qiáng)等[14]提出多分支遞歸神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法,通過(guò)改進(jìn)一般的BPTT學(xué)習(xí)算法,對(duì)混沌時(shí)間序列進(jìn)行預(yù)測(cè)。古勇等[15]探討了循環(huán)神經(jīng)網(wǎng)絡(luò)在非線性動(dòng)態(tài)過(guò)程建模和控制中的應(yīng)用,提出兩步LM算法訓(xùn)練循環(huán)神經(jīng)網(wǎng)絡(luò)模型,研究了基于該模型的擴(kuò)展DMC預(yù)測(cè)控制策略,結(jié)果表明控制器的性能得到了很大提高。Ma等[16]考慮時(shí)空相關(guān)性,提出了一種限制玻爾茲曼機(jī)(RBM)與RNN相融合的預(yù)測(cè)模型,對(duì)交通擁堵演變進(jìn)行建模和預(yù)測(cè),在不到6分鐘的時(shí)間內(nèi),預(yù)測(cè)精度可以達(dá)到88%。Zhang等[17]提出一種基于RNN和典型模式發(fā)現(xiàn)(RPD)相融合的金融預(yù)測(cè)策略,對(duì)標(biāo)準(zhǔn)普爾500指數(shù)(S&P 500 Index)進(jìn)行預(yù)測(cè),結(jié)果表明該方法在RNN的基礎(chǔ)上最多可提高6%的預(yù)測(cè)精度,但要以較高的均方誤差為代價(jià)。王鑫等[18]提出一種基于LSTM的故障時(shí)間序列預(yù)測(cè)方法。黃婷婷等[19]針對(duì)金融時(shí)間序列預(yù)測(cè)的復(fù)雜性和長(zhǎng)期依賴性,提出一種基于深度學(xué)習(xí)的LSTM網(wǎng)絡(luò)金融時(shí)間序列預(yù)測(cè)模型。文獻(xiàn)[16]雖考慮了時(shí)空相關(guān)性,但由于梯度消失和梯度爆炸問(wèn)題的存在,無(wú)法處理展開(kāi)過(guò)長(zhǎng)的時(shí)間序列;羅向龍等[20]針對(duì)這一問(wèn)題提出一種基于K-最近鄰(KNN)與LSTM網(wǎng)絡(luò)相融合的短時(shí)交通流預(yù)測(cè)模型,預(yù)測(cè)性能得到一定的改善。Liu等[21]提出基于LSTM的銀行網(wǎng)點(diǎn)存款準(zhǔn)備金預(yù)測(cè)方法,并成功地將預(yù)測(cè)系統(tǒng)部署到測(cè)試環(huán)境中。
GRU模型是LSTM模型簡(jiǎn)化變體。文獻(xiàn)研究表明[22-23],GRU具有與LSTM類似的性能,但計(jì)算速度比LSTM更快。張金磊等[24]提出基于差分運(yùn)算與GRU神經(jīng)網(wǎng)絡(luò)相結(jié)合的金融時(shí)間序列預(yù)測(cè)模型,對(duì)標(biāo)準(zhǔn)普爾500股票指數(shù)進(jìn)行預(yù)測(cè),結(jié)果表明該方法能夠?qū)崿F(xiàn)比傳統(tǒng)方法(如ARIMA模型)更好的性能,并且具有相對(duì)較低的計(jì)算開(kāi)銷。Xiuyun等[25]提出一種基于GRU的短期負(fù)荷預(yù)測(cè)模型,在黑龍江省某地區(qū)的電力負(fù)荷數(shù)據(jù)上具有較好的預(yù)測(cè)效果。Hossain等[26]提出一種LSTM和GRU的組合預(yù)測(cè)模型,實(shí)驗(yàn)表明其預(yù)測(cè)性能優(yōu)于以往所有的神經(jīng)網(wǎng)絡(luò)方法。Jia等[27]提出基于GRU的礦井瓦斯?jié)舛阮A(yù)測(cè)模型,隨著數(shù)據(jù)量的增加,與SVR、BPNN、RNN和LSTM模型相比,該模型的時(shí)間復(fù)雜度更低。
SNN網(wǎng)絡(luò)以更接近人類神經(jīng)元工作機(jī)理的方式運(yùn)行,被稱為第三代神經(jīng)網(wǎng)絡(luò),往往表現(xiàn)出更好的網(wǎng)絡(luò)性能[28]。陳通等[29]提出一種基于SNN的光伏系統(tǒng)發(fā)電功率預(yù)測(cè)模型,相對(duì)于BP-ANN和SVM預(yù)測(cè)模型具有更高的預(yù)測(cè)精度和適用性。
本文的選題,源自北京泛鵬天地科技股份有限公司銀行管理會(huì)計(jì)咨詢業(yè)務(wù)中提出的隔夜頭寸預(yù)測(cè)問(wèn)題,研究工作始于2019年初。隔夜頭寸預(yù)測(cè)屬于金融時(shí)間序列一步預(yù)測(cè)問(wèn)題,其中各類存款日余額是主要的觀測(cè)變量。從理論的成熟度講,馬爾科夫鏈模型應(yīng)為首選,或者可以選擇AR(1)、ARMA(1,k)模型和指數(shù)平滑模型。然而,此類模型的應(yīng)用,一是需要觀測(cè)變量的大量歷史數(shù)據(jù)支撐,二是依賴觀測(cè)變量的齊次性或平穩(wěn)性。由于商業(yè)銀行業(yè)務(wù)數(shù)據(jù)的敏感性,本文的研究工作無(wú)法對(duì)觀測(cè)變量的演化特征進(jìn)行直接的觀測(cè)和分析,難以直接應(yīng)用成熟模型及其建模技術(shù)。因此,研究團(tuán)隊(duì)提出了建立融合指數(shù)平滑與自回歸模型預(yù)測(cè)原理的輕啟動(dòng)預(yù)測(cè)模型的思想路線。所謂“輕啟動(dòng)預(yù)測(cè)”,指在時(shí)間序列預(yù)測(cè)問(wèn)題中,不需要對(duì)大量的歷史數(shù)據(jù)進(jìn)行觀察和分析、提取時(shí)間序列的結(jié)構(gòu)因素和特征,也不需要大量的離線或在線數(shù)據(jù)對(duì)算法進(jìn)行訓(xùn)練,僅以系統(tǒng)能量變化對(duì)序列演化特征的基本影響為先驗(yàn)假設(shè)建立一步預(yù)測(cè)模型,在少量必要的數(shù)據(jù)支撐下即可啟動(dòng)預(yù)測(cè),然后借助滑動(dòng)窗口技術(shù),實(shí)現(xiàn)模型長(zhǎng)期在線工作并保持預(yù)測(cè)的有效性。本文的主要工作包括:提出了EABPs模型并討論其預(yù)測(cè)機(jī)理,實(shí)證分析模型最優(yōu)啟動(dòng)參數(shù)問(wèn)題,分析了模型預(yù)測(cè)誤差的性質(zhì)以及序列的波動(dòng)特征同預(yù)測(cè)有效性的關(guān)系,分析了數(shù)據(jù)降噪對(duì)模型預(yù)測(cè)性能的影響。
任何系統(tǒng)的發(fā)展與波動(dòng)是系統(tǒng)能量變化的表現(xiàn)。時(shí)間序列是一個(gè)單變量廣義能量系統(tǒng),預(yù)測(cè)的不確定性源自外部因素的干擾,表現(xiàn)為系統(tǒng)模型不能恰當(dāng)?shù)亟忉屜到y(tǒng)的所有變化;系統(tǒng)內(nèi)部的能量變化引起的系統(tǒng)震蕩同外部擾動(dòng)因素造成的不確定性是動(dòng)態(tài)平衡的?;谶@樣的思想認(rèn)知,以及參考借鑒混沌時(shí)間序列預(yù)測(cè)的思想原理和技術(shù)方法[30],本文提出了輕啟動(dòng)預(yù)測(cè)模型。
設(shè)x為系統(tǒng)的某個(gè)總量指標(biāo),假定x(t)是一個(gè)二階矩過(guò)程,且至少存在二階記憶。
所謂對(duì)x(t)的一步預(yù)測(cè),即以t時(shí)刻為預(yù)測(cè)原點(diǎn),估計(jì)t+1時(shí)刻的指標(biāo)狀態(tài),記后驗(yàn)預(yù)報(bào)誤差。
假定Δt=(t+1)-t是一個(gè)“小的”單位時(shí)間,容易理解,從t到t+1時(shí)刻趨勢(shì)性和周期性因素對(duì)x(t)狀態(tài)變化的解釋能力是有限的。因此,對(duì)t+1時(shí)刻的系統(tǒng)狀態(tài)進(jìn)行估計(jì),可以僅考慮t時(shí)刻的系統(tǒng)能量變化率和系統(tǒng)發(fā)展速率兩個(gè)因素。本文的觀點(diǎn)是:后驗(yàn)預(yù)報(bào)誤差ε(t+1)同t時(shí)刻的系統(tǒng)能量變化率正相關(guān),與系統(tǒng)發(fā)展速率負(fù)相關(guān),即系統(tǒng)因能量的漲跌引發(fā)的不確定性受系統(tǒng)演化趨勢(shì)的抑制。于是,對(duì)二階記憶過(guò)程x(t)進(jìn)行一步預(yù)測(cè)的微分動(dòng)力學(xué)方程為:
其中,α為系統(tǒng)負(fù)阻尼系數(shù),β為系統(tǒng)平衡系數(shù),α>0,β>0。
定理微分動(dòng)力學(xué)方程(1)等價(jià)于一類無(wú)隱層BP神經(jīng)網(wǎng)絡(luò)。
證明對(duì)微分動(dòng)力學(xué)方程:
進(jìn)行有限差分離散化,有:
整理得:
記:
于是,得到遞推方程:
令:
表明遞推方程(2)是指數(shù)平滑(ES)模型:
和自回歸(AR)模型:
的疊加模型,揭示了微分動(dòng)力學(xué)方程(1)的預(yù)測(cè)機(jī)理。
令:
則方程(3)等價(jià)于方程組:
即:
其矩陣形式為:
顯然,方程組(6)可表示為一個(gè)無(wú)隱層BP神經(jīng)網(wǎng)絡(luò):
其中,向量:
和
分別為網(wǎng)絡(luò)輸入和輸出,b=[b1,b2]T為閾值向量,矩陣:
為權(quán)值矩陣,f為非線性激活函數(shù)。定理得證。
定理的證明過(guò)程描述了微分動(dòng)力學(xué)方程(1)同ES模型和AR模型的聯(lián)系,以及BP神經(jīng)網(wǎng)絡(luò)表達(dá)和預(yù)測(cè)應(yīng)用方法。為后文敘述簡(jiǎn)便,稱由微分動(dòng)力學(xué)方程(1)定義的一步預(yù)測(cè)模型為EABPs模型(ES和AR模型的融合與BP網(wǎng)絡(luò)實(shí)現(xiàn)),其網(wǎng)絡(luò)單元結(jié)構(gòu)如圖1。
由此可知,本文提出的EABPs模型自身的特點(diǎn)由指數(shù)平滑、自回歸和BP神經(jīng)網(wǎng)絡(luò)模型三者共同決定。
圖1 EABPs模型的網(wǎng)絡(luò)單元結(jié)構(gòu)Fig.1 Network unit structure of EABPs model
圖2 EABPs模型的循環(huán)預(yù)測(cè)機(jī)理Fig.2 Cycle prediction mechanism of EABPs model
(1)基于指數(shù)平滑模型的預(yù)測(cè),理論上是對(duì)均值趨勢(shì)的預(yù)測(cè)。即在:
中,通常遵循新值優(yōu)先的原則[31],即xt是的最有可能的近似值。顯然,指數(shù)平滑模型對(duì)序列從t到t+1的狀態(tài)變化不敏感。
(2)自回歸模型的參數(shù)估計(jì)遵循最小二乘規(guī)則,因此,基于xt和xt+1預(yù)測(cè)xt+2時(shí),的期望值在xt與xt+1所確定的直線上:
顯然,自回歸模型對(duì)序列從t到t+1的狀態(tài)變化較敏感。
因此,融合指數(shù)平滑模型和自回歸模型的預(yù)測(cè)結(jié)果是合理的。在一般情況下,較二者更接近t+2時(shí)刻的實(shí)際發(fā)生值。
(3)前文已經(jīng)證明了方程(1)同無(wú)隱層的BP神經(jīng)網(wǎng)絡(luò)等價(jià),則依賴BP算法的自適應(yīng)性確定融合模型參數(shù),在一定程度上可以平滑模型預(yù)報(bào)值的過(guò)敏反應(yīng)。
在應(yīng)用中,EABPs模型遞歸使用,形成類似于RNN的結(jié)構(gòu),如圖2。
由圖2可知,獲得EABPs模型的一個(gè)后驗(yàn)預(yù)報(bào)誤差ε需要指標(biāo)x的3個(gè)歷史數(shù)據(jù),由此構(gòu)成了模型觀測(cè)的最小時(shí)序窗口,記為e。
由BP算法基于累積誤差的“誤差反向傳遞權(quán)值修正”原理,可知EABPs-RNN過(guò)程的實(shí)現(xiàn)需要確定更新權(quán)值的時(shí)序窗口。因此,設(shè)定該時(shí)序窗口為由窗口e以單位時(shí)間步長(zhǎng)連續(xù)滑動(dòng)形成,記為M,如圖3。不妨仍以M表示這個(gè)窗口的寬度,稱為EABPs模型的啟動(dòng)參數(shù)。顯然,3≤M<∞。則模型訓(xùn)練次數(shù)為M-e+1,即窗口e的滑動(dòng)次數(shù)。
圖3 EABPs-RNN過(guò)程的計(jì)算窗口Fig.3 Calculation window of EABPs-RNN process
下面給出在窗口M上進(jìn)行模型訓(xùn)練、更新權(quán)值矩陣和閾值矩陣的具體計(jì)算過(guò)程。
步驟1數(shù)據(jù)預(yù)處理
假定以時(shí)間t為預(yù)測(cè)原點(diǎn),則窗口M中的初始數(shù)據(jù)向量為:
首先,采用min-max歸一化對(duì)窗口數(shù)據(jù)wi nD進(jìn)行處理,以消除不同窗口數(shù)據(jù)的量級(jí)差異。轉(zhuǎn)換公式如下:
其中,min為窗口數(shù)據(jù)winD中的最小值,max為窗口數(shù)據(jù)winD中的最大值。x為原始窗口數(shù)據(jù),x′為歸一化后窗口M中的數(shù)據(jù)。
其次,對(duì)歸一化后的數(shù)據(jù)進(jìn)行格式化變換,構(gòu)造出輸入矩陣:
和監(jiān)督矩陣:
其中,k=1,2,…,M-2表示權(quán)值修正需要的最低訓(xùn)練次數(shù);i=0,1,2代表輸入節(jié)點(diǎn)編號(hào),i=0時(shí)代表偏置項(xiàng)1;j=1,2代表輸出節(jié)點(diǎn)編號(hào)。
步驟2正向傳遞
輸出層中第j個(gè)節(jié)點(diǎn)的輸入表達(dá)式為:
輸出層中第j個(gè)節(jié)點(diǎn)的輸出表達(dá)式為:
步驟3計(jì)算累積誤差
步驟4誤差反向傳遞
權(quán)值修正表達(dá)式為:
閾值修正表達(dá)式:
其中,η為最優(yōu)學(xué)習(xí)速率。
當(dāng)累積誤差E<eps(閾值)或達(dá)到最大學(xué)習(xí)次數(shù)epoches,則可終止訓(xùn)練。如不滿足終止條件,則繼續(xù)進(jìn)行模型訓(xùn)練。
訓(xùn)練終止后,提取窗口M中的最后兩個(gè)數(shù)據(jù)和,進(jìn)行窗口M上的一步預(yù)測(cè)。具體計(jì)算過(guò)程如下:
步驟1輸入數(shù)據(jù):
步驟2正向傳遞。
輸出層的輸入表達(dá)式為:
輸出層的輸出表達(dá)式為:
這時(shí),y即為的預(yù)測(cè)值,又記為。
步驟3由于網(wǎng)絡(luò)訓(xùn)練時(shí)對(duì)原始數(shù)據(jù)進(jìn)行了歸一化處理,因此,需要對(duì)進(jìn)行逆歸一化:
待到第一輪模型訓(xùn)練和預(yù)測(cè)完成后,將窗口M向前滑動(dòng)一步,即在窗口M中,淘汰舊數(shù)據(jù)xt-M+1,添加新數(shù)據(jù)xt+1,此時(shí)窗口數(shù)據(jù)向量變?yōu)椋?/p>
網(wǎng)絡(luò)模型的復(fù)雜度分析包括時(shí)間復(fù)雜度和空間復(fù)雜度。時(shí)間復(fù)雜度即模型的運(yùn)算次數(shù),可用FLOPs衡量;空間復(fù)雜度即模型的參數(shù)數(shù)量。
本文模型的創(chuàng)新之處在于,時(shí)序長(zhǎng)度大于等于M時(shí),便可滾動(dòng)進(jìn)行模型訓(xùn)練和預(yù)測(cè)過(guò)程,因此對(duì)模型復(fù)雜度的分析皆以一個(gè)時(shí)序窗口為單位進(jìn)行。
假定網(wǎng)絡(luò)輸入神經(jīng)元數(shù)為Cin,輸出神經(jīng)元數(shù)為Cout,下面給出本文模型的時(shí)間復(fù)雜度和空間復(fù)雜度。
(1)時(shí)間復(fù)雜度
①模型訓(xùn)練
本文討論的時(shí)間復(fù)雜度為最壞情況下的時(shí)間復(fù)雜度,則模型訓(xùn)練的終止條件為達(dá)到最大學(xué)習(xí)次數(shù)epoches。故模型訓(xùn)練過(guò)程的
又因?yàn)檩斎牒洼敵鼍S數(shù)是固定的,Cin=3、Cout=2,則:
即模型訓(xùn)練過(guò)程的時(shí)間復(fù)雜度為:
②預(yù)測(cè)過(guò)程
正向傳遞FLOPs1=2×Cin
激活函數(shù)FLOPs2=5
故預(yù)測(cè)過(guò)程的
即預(yù)測(cè)過(guò)程的時(shí)間復(fù)雜度為:
(2)空間復(fù)雜度
空間復(fù)雜度就是神經(jīng)網(wǎng)絡(luò)中待優(yōu)化參數(shù)的個(gè)數(shù),即所有的權(quán)值w和所有的閾值b的總和。故本文模型的總參數(shù)為:
即本文模型的空間復(fù)雜度為:
模型有效性評(píng)價(jià)是機(jī)器學(xué)習(xí)算法研究和應(yīng)用的重要內(nèi)容。
本文定義模型有效性評(píng)價(jià)窗口由窗口M滑動(dòng)T次形成,不妨記為T,如圖3。于是,窗口T的寬度為T+1。在窗口T上,取前T個(gè)預(yù)測(cè)值和與之對(duì)應(yīng)的真實(shí)值對(duì)預(yù)測(cè)效果進(jìn)行評(píng)價(jià),然后將窗口T向前滑動(dòng)一步,用新窗口數(shù)據(jù)重復(fù)進(jìn)行模型預(yù)測(cè)效果的評(píng)價(jià)。
本文主要由預(yù)報(bào)誤差和預(yù)報(bào)同態(tài)性兩類指標(biāo)對(duì)模型有效性進(jìn)行評(píng)價(jià)。
(1)預(yù)報(bào)誤差本文研究使用平均絕對(duì)百分比誤差(mean absolute percent error,MAPE),定義為:
MAPE值越小,模型預(yù)報(bào)越準(zhǔn)確。
在同文獻(xiàn)[24]的GRU模型進(jìn)行比較分析時(shí)使用均方根誤差(root mean squared error,RMSE),定義為:
RMSE值越小,模型預(yù)報(bào)越準(zhǔn)確。
(2)預(yù)報(bào)同態(tài)性模型預(yù)報(bào)的同態(tài)度(homomorphism rate,HR)定義為模型預(yù)報(bào)值的環(huán)比指數(shù)特征與變量觀測(cè)值環(huán)比指數(shù)特征之間相似性的度量:
描述預(yù)測(cè)模型對(duì)變量波動(dòng)態(tài)勢(shì)的跟蹤能力,其中:
顯然,0≤HR≤1。同時(shí),HR值越大,模型對(duì)變量波動(dòng)態(tài)勢(shì)的跟蹤能力越強(qiáng)。
模型預(yù)報(bào)的同態(tài)度在有些文獻(xiàn)[9]中稱為命中率(hit rate,HR)。
按照時(shí)間序列數(shù)據(jù)的環(huán)比中位數(shù)大于、等于和小于1,選取了12個(gè)樣本,用于對(duì)本文模型進(jìn)行實(shí)證分析,見(jiàn)表1。
實(shí)證分析采用MATLAB自定義程序。
EABPs模型的優(yōu)化學(xué)習(xí)速率在0.01~1之間按“預(yù)測(cè)誤差最小”準(zhǔn)則實(shí)驗(yàn)確定;最大訓(xùn)練次數(shù)epoches=5 000,誤差閾值eps=6E-10。
EABPs模型的啟動(dòng)參數(shù)是“輕啟動(dòng)”的關(guān)鍵指標(biāo)。
本節(jié)考察啟動(dòng)參數(shù)M對(duì)EABPs-RNN過(guò)程預(yù)報(bào)有效性的影響。實(shí)驗(yàn)將M設(shè)定為從3到10的八種不同取值,對(duì)每一樣本根據(jù)“預(yù)測(cè)誤差最小”準(zhǔn)則確定優(yōu)化學(xué)習(xí)速率后,評(píng)價(jià)模型的預(yù)報(bào)誤差和同態(tài)度。同時(shí),基于實(shí)驗(yàn)結(jié)果給出EABPs模型最優(yōu)啟動(dòng)參數(shù)的參考值。
限于篇幅,僅報(bào)告12個(gè)樣本的中位誤差和中位同態(tài)度,計(jì)算結(jié)果見(jiàn)表2。
由表2可知,啟動(dòng)參數(shù)M=e=3時(shí),中位誤差最小,中位同態(tài)度接近最大。
為使觀察更加直觀,繪制了表2中計(jì)算結(jié)果的Box圖,如圖4和圖5。
表1 樣本數(shù)據(jù)描述Table 1 Sample data description
表2 啟動(dòng)參數(shù)對(duì)模型有效性的影響Table 2 Influence of starting parameters on model validity
圖4 啟動(dòng)參數(shù)對(duì)預(yù)報(bào)誤差的影響Fig.4 Influence of starting parameters on prediction error
圖4表明,啟動(dòng)參數(shù)M≥4時(shí),預(yù)報(bào)誤差的變化不大。
圖5表明,啟動(dòng)參數(shù)M=6是預(yù)報(bào)同態(tài)度變化特征的一個(gè)分界點(diǎn);M≤6時(shí)同態(tài)度較高,M>6同態(tài)度明顯降低。
圖5 啟動(dòng)參數(shù)對(duì)預(yù)報(bào)同態(tài)度的影響Fig.5 Influence of starting parameters on homomorphism rate of forecast
綜合圖4和圖5的信息,從模型穩(wěn)健性的角度看,M=6是最優(yōu)啟動(dòng)參數(shù)的參考值;從本文“輕啟動(dòng)”的預(yù)測(cè)思想來(lái)看,最優(yōu)啟動(dòng)參數(shù)也可選為M=3。
基于上述結(jié)果,本文的討論將在M=3的條件下進(jìn)行。對(duì)表1中12組數(shù)據(jù)進(jìn)行預(yù)測(cè),其預(yù)測(cè)結(jié)果見(jiàn)圖6~17,并通過(guò)絕對(duì)預(yù)報(bào)偏差的卡方擬合優(yōu)度檢驗(yàn)結(jié)果,分析了EABPs-RNN過(guò)程預(yù)報(bào)誤差的性質(zhì)。
設(shè)絕對(duì)偏差數(shù)據(jù)X的概率分布函數(shù)為FX(x),本文假定先驗(yàn)分布為指數(shù)分布,則:其中參數(shù)θ未知。
圖6 商業(yè)銀行A活期存款余額數(shù)據(jù)預(yù)測(cè)結(jié)果Fig.6 Forecast results of current deposit balance data of com-mercial bank A
圖7 商業(yè)銀行B通知存款余額數(shù)據(jù)預(yù)測(cè)結(jié)果Fig.7 Forecast results of call deposit balance data of commercial bank B
圖8 年末總?cè)丝跀?shù)據(jù)預(yù)測(cè)結(jié)果Fig.8 Forecast results of total population data at end of year
圖9 糧食產(chǎn)量數(shù)據(jù)預(yù)測(cè)結(jié)果Fig.9 Forecast results of grain yield data
圖10 人口出生率數(shù)據(jù)預(yù)測(cè)結(jié)果Fig.10 Forecast results of birth rate data
圖11 CPI數(shù)據(jù)預(yù)測(cè)結(jié)果Fig.11 Forecast results of CPI data
圖12 鐵路貨運(yùn)量數(shù)據(jù)預(yù)測(cè)結(jié)果Fig.12 Forecast results of railway freight volume data
圖13 賬戶保持率數(shù)據(jù)預(yù)測(cè)結(jié)果Fig.13 Forecast results of account retention rate data
圖14 GDP數(shù)據(jù)預(yù)測(cè)結(jié)果Fig.14 Forecast results of GDP data
在樣本數(shù)據(jù)分組的環(huán)節(jié),首先按樣本容量的算術(shù)根確定組個(gè)數(shù)進(jìn)行等距分組,然后遵循小組樣本頻數(shù)大等于5的準(zhǔn)則,將不符合條件的小組并入相鄰組中;確定分組即組端點(diǎn)后,按標(biāo)準(zhǔn)的卡方擬合優(yōu)度檢驗(yàn)程序進(jìn)行檢驗(yàn)。
檢驗(yàn)的計(jì)算結(jié)果見(jiàn)表3。
由表3可知,在0.01顯著性水平下,12個(gè)樣本的絕對(duì)預(yù)報(bào)偏差的檢驗(yàn)p值均大于0.01??紤]到卡方擬合優(yōu)度檢驗(yàn)的結(jié)果受數(shù)據(jù)分組的影響,因此本文的結(jié)論是:EABPs模型的絕對(duì)預(yù)報(bào)偏差近似服從指數(shù)分布。
圖15 按揭貸款剩余未還本金總額數(shù)據(jù)預(yù)測(cè)結(jié)果Fig.15 Forecast results of total outstanding principal data of mortgage loan
通常,數(shù)學(xué)模型描述的是變量的變化規(guī)律,觀測(cè)數(shù)據(jù)的波動(dòng)是影響模型的有效性的客觀因素。
為研究和評(píng)價(jià)EABPs模型對(duì)數(shù)據(jù)波動(dòng)的描述和跟蹤能力,建立模型適用性的參考知識(shí),本文定義了描述數(shù)據(jù)波動(dòng)特征的穩(wěn)態(tài)指數(shù)(steady-state index,STI),和轉(zhuǎn)折指數(shù)(turning index,TI)。
圖16 旅客運(yùn)輸量數(shù)據(jù)預(yù)測(cè)結(jié)果Fig.16 Forecast results of passenger traffic volume data
表3 卡方擬合優(yōu)度檢驗(yàn)結(jié)果Table 3 Chi-square goodness-of-fit test results
穩(wěn)態(tài)指數(shù)由數(shù)據(jù)環(huán)比指數(shù)的中位數(shù)及極差度量,即:
其中,Medi為環(huán)比中位數(shù),R為環(huán)比極差。
應(yīng)用中,穩(wěn)態(tài)指數(shù)是預(yù)判EABPs模型預(yù)報(bào)誤差的工具。
轉(zhuǎn)折指數(shù)由數(shù)據(jù)的轉(zhuǎn)折點(diǎn)在窗口M數(shù)據(jù)中所占的比例度量,即:
圖17 進(jìn)出口總額數(shù)據(jù)預(yù)測(cè)結(jié)果Fig.17 Forecast results of total import and export data
其中,P為窗口數(shù)據(jù)中轉(zhuǎn)折點(diǎn)個(gè)數(shù),M為模型啟動(dòng)窗口的數(shù)據(jù)個(gè)數(shù)。
應(yīng)用中,轉(zhuǎn)折指數(shù)是預(yù)判EABPs模型預(yù)報(bào)同態(tài)度的工具。
表4給出的是在EABPs模型啟動(dòng)參數(shù)為3的條件下,學(xué)習(xí)速率尋優(yōu)后,一個(gè)窗口上模型訓(xùn)練和預(yù)測(cè)的平均運(yùn)行時(shí)間,即單位運(yùn)行時(shí)間,及穩(wěn)態(tài)指數(shù)與預(yù)報(bào)誤差、轉(zhuǎn)折指數(shù)與同態(tài)度的計(jì)算結(jié)果。
為使觀察更加直觀,繪制了表4中數(shù)據(jù)穩(wěn)態(tài)指數(shù)與預(yù)報(bào)誤差的散點(diǎn)圖,如圖18;繪制了表4中數(shù)據(jù)轉(zhuǎn)折指數(shù)與預(yù)報(bào)同態(tài)度的散點(diǎn)圖,如圖19。
由圖18可知,數(shù)據(jù)穩(wěn)態(tài)指數(shù)與預(yù)報(bào)誤差之間存在近似的混沌分岔特征。分岔[32]就是當(dāng)參數(shù)達(dá)到某一臨界值時(shí),系統(tǒng)的定性行為發(fā)生“質(zhì)”變的一種現(xiàn)象。
從穩(wěn)態(tài)指數(shù)與預(yù)報(bào)誤差的散點(diǎn)圖來(lái)看,當(dāng)穩(wěn)態(tài)指數(shù)大于0.01時(shí),穩(wěn)態(tài)指數(shù)與預(yù)報(bào)誤差的相關(guān)關(guān)系發(fā)生“質(zhì)”變。即在穩(wěn)態(tài)指數(shù)小于等于0.01時(shí),二者基本呈正相關(guān),且預(yù)報(bào)誤差小于等于5%;在穩(wěn)態(tài)指數(shù)大于0.01時(shí),二者則不再具有相關(guān)性。故,二者的相關(guān)關(guān)系在S TI=0.01處分岔。
圖18 數(shù)據(jù)穩(wěn)態(tài)指數(shù)與預(yù)報(bào)誤差散點(diǎn)圖Fig.18 Scatter plot of data steady-state index and forecast error
圖19 數(shù)據(jù)轉(zhuǎn)折指數(shù)與預(yù)報(bào)同態(tài)度散點(diǎn)圖Fig.19 Scatter plot of data turning index and homomorphism rate of forecast
因此,穩(wěn)態(tài)指數(shù)可以作為EABPs模型適用性的預(yù)估指標(biāo),當(dāng)STI≤0.01時(shí),模型的預(yù)報(bào)誤差基本上可以控制在5%以內(nèi)。
由圖19可知,轉(zhuǎn)折指數(shù)與預(yù)報(bào)同態(tài)度呈正相關(guān),且基本相等。因此,由轉(zhuǎn)折指數(shù)可預(yù)判EABPs模型預(yù)報(bào)同態(tài)度的取值水平。
限于篇幅,由穩(wěn)態(tài)指數(shù)和轉(zhuǎn)折指數(shù)預(yù)估EABPs模型預(yù)報(bào)有效性的方法,本文不做展開(kāi)討論。
通常,在數(shù)據(jù)變異的平穩(wěn)性受到質(zhì)疑時(shí)需要進(jìn)行數(shù)據(jù)降噪處理,以抑制模型與算法對(duì)大噪聲或異常波動(dòng)產(chǎn)生“過(guò)敏”響應(yīng)。數(shù)據(jù)平穩(wěn)波動(dòng)時(shí),數(shù)據(jù)的環(huán)比指數(shù)在1附近一定范圍內(nèi)變化,極差相對(duì)較小。由圖18的分析可知,當(dāng)穩(wěn)態(tài)指數(shù)STI≤0.01時(shí),EABPs模型的預(yù)報(bào)誤差相對(duì)穩(wěn)定在5%以下,預(yù)報(bào)效果較好。當(dāng)STI>0.01時(shí),數(shù)據(jù)環(huán)比特征對(duì)EABPs模型預(yù)報(bào)誤差的解釋作用降低,此時(shí),在EABPs模型的前端引進(jìn)數(shù)據(jù)降噪過(guò)程,雖不能降低預(yù)報(bào)的誤差整體水平,但可以在一定程度上抑制由于數(shù)據(jù)較大波動(dòng)引起的模型預(yù)報(bào)行為的“過(guò)敏”響應(yīng)。
為衡量模型預(yù)報(bào)行為的“過(guò)敏”響應(yīng)程度,本文定義了預(yù)報(bào)畸變率(distortion rate,DR):
其中,x(z)和分別為時(shí)對(duì)應(yīng)的真實(shí)值和預(yù)測(cè)值,即AEN為非同態(tài)點(diǎn)的平均預(yù)報(bào)誤差。
對(duì)比濾波數(shù)據(jù)的預(yù)報(bào)畸變率和原始數(shù)據(jù)的預(yù)報(bào)畸變率,如果DR值減小,則說(shuō)明加入前端濾波后,抑制了模型預(yù)報(bào)行為的“過(guò)敏”響應(yīng)。
本文采用的數(shù)據(jù)濾波算法是移動(dòng)平均算法的一種變式,不妨稱為重標(biāo)記均值平滑算法,同EABPs-RNN過(guò)程融合,成為前端自動(dòng)化的數(shù)據(jù)處理過(guò)程。
在模型啟動(dòng)窗口M上對(duì)原始數(shù)據(jù)進(jìn)行N項(xiàng)平滑,降噪計(jì)算窗口為[1,N](a),a=1,2,…,N為窗口編號(hào)。不妨稱N為噪聲抑制參數(shù),其中,M=2N-1。
記窗口[1,N](a)中數(shù)據(jù)為。
降噪計(jì)算步驟如下:
步驟1計(jì)算N個(gè)降噪窗口的數(shù)據(jù)的均值:
步驟2模型啟動(dòng)窗口M中的數(shù)據(jù):
逐點(diǎn)求N重標(biāo)記的均值,得修勻數(shù)據(jù):
其中:
由表3,對(duì)STI>0.01的5個(gè)編號(hào)為8~12的樣本進(jìn)行前端除噪。
在模型啟動(dòng)參數(shù)M與噪聲抑制參數(shù)N的匹配實(shí)驗(yàn)中發(fā)現(xiàn),當(dāng)啟動(dòng)參數(shù)M=3,噪聲抑制參數(shù)N=2時(shí),5個(gè)樣本模型預(yù)報(bào)結(jié)果的中位誤差為0.19最小,中位同態(tài)度為1最大。
因此,計(jì)算5個(gè)樣本在M=3,N=2的條件下,模型預(yù)報(bào)結(jié)果的畸變率,結(jié)果見(jiàn)表5。
表5 前端濾波對(duì)模型預(yù)測(cè)畸變率的影響Table 5 Influence of front-end filtering on model prediction distortion rate
顯然,加入前端濾波后,預(yù)測(cè)畸變率明顯下降,即模型的“過(guò)敏”行為得到有效改善。其中,編號(hào)為8、9和10的樣本數(shù)據(jù),濾波前后的預(yù)測(cè)畸變率均為0,觀察圖13、14、15,發(fā)現(xiàn)這三組為強(qiáng)趨勢(shì)數(shù)據(jù),即數(shù)據(jù)始終處于上升或下降的狀態(tài),且趨勢(shì)明顯增強(qiáng)。
由圖13、14、15可以看出,對(duì)于強(qiáng)趨勢(shì)時(shí)間序列,EABPs模型的預(yù)報(bào)有一定的系統(tǒng)性偏差;由偏差絕對(duì)值近似服從指數(shù)分布,不難建立系統(tǒng)性預(yù)報(bào)偏差的矯正模型;限于篇幅,本文對(duì)此不作展開(kāi)討論。
3.5.1 與LSTM模型的對(duì)比實(shí)驗(yàn)
文獻(xiàn)[19]中,黃婷婷等提出了基于深度學(xué)習(xí)方法的LSTM神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型(SDAE-LSTM模型)。首先,利用堆疊去噪自編碼從金融時(shí)間序列的基本行情數(shù)據(jù)和技術(shù)指標(biāo)中提取特征,然后,將其作為L(zhǎng)STM神經(jīng)網(wǎng)絡(luò)的輸入對(duì)金融時(shí)間序列進(jìn)行預(yù)測(cè)。文獻(xiàn)[19]中的實(shí)驗(yàn)數(shù)據(jù)為源自雅虎財(cái)經(jīng)官網(wǎng)的香港恒生指數(shù)HSI(Hang Seng index)日調(diào)整后收盤(pán)價(jià)數(shù)據(jù)(2002-01-02—2014-12-31)。
在SDAE-LSTM模型中,SDAE自編碼的層數(shù)為4,每層的神經(jīng)元個(gè)數(shù)分別為16、8、8、8,LSTM層數(shù)為2,LSTM隱藏層神經(jīng)元個(gè)數(shù)分別為8、8,訓(xùn)練的時(shí)間步數(shù)為10,即構(gòu)造的輸入序列的長(zhǎng)度為10,batch_size為50,即每50個(gè)樣本更新一次網(wǎng)絡(luò)參數(shù),訓(xùn)練次數(shù)(epoch)為1 000。同時(shí),采用平均絕對(duì)百分比誤差對(duì)模型的性能進(jìn)行評(píng)價(jià),并與文獻(xiàn)[33]中的WNN和WPCA-NN預(yù)測(cè)方法的MAPE值進(jìn)行比較。其中,WNN、WPCA-NN和SDAE-LSTM模型的平均MAPE值分別為15.5%、4.1%和1.1%。顯然,SDAE-LSTM模型的性能優(yōu)于WNN和WPCA-NN。
為了對(duì)比EABPs與LSTM模型的性能,本文用文獻(xiàn)[19]中的HSI數(shù)據(jù)對(duì)EABPs模型進(jìn)行訓(xùn)練并滑動(dòng)窗口滾動(dòng)預(yù)報(bào)。
EABPs模型的啟動(dòng)參數(shù)設(shè)置為3。本文沒(méi)有重構(gòu)文獻(xiàn)[19]的模型訓(xùn)練和預(yù)報(bào)過(guò)程,采用同文獻(xiàn)[19]一致的模型預(yù)報(bào)誤差評(píng)價(jià)指標(biāo),對(duì)預(yù)報(bào)結(jié)果進(jìn)行評(píng)價(jià),評(píng)價(jià)結(jié)果見(jiàn)表6。
表6 EABPs與LSTM模型的性能比較Table 6 Performance comparison between EABPs and LSTM models
由表6可知,本文EABPs模型的MAPE計(jì)算結(jié)果為1.1%,與LSTM模型的MAPE值相同。
但是,LSTM模型的網(wǎng)絡(luò)結(jié)構(gòu)顯然相對(duì)復(fù)雜,模型訓(xùn)練需要大量歷史數(shù)據(jù);而EABPs模型的網(wǎng)絡(luò)結(jié)構(gòu)單元僅為無(wú)隱層BP神經(jīng)網(wǎng)絡(luò),輕啟動(dòng)無(wú)需對(duì)大樣本數(shù)據(jù)集進(jìn)行訓(xùn)練。
3.5.2 與GRU模型的對(duì)比實(shí)驗(yàn)
文獻(xiàn)[24]中,張金磊等提出了基于差分運(yùn)算與GRU神經(jīng)網(wǎng)絡(luò)相結(jié)合的金融時(shí)間序列預(yù)測(cè)模型。首先,對(duì)金融時(shí)間序列進(jìn)行差分操作,然后,將處理后的數(shù)據(jù)輸入到GRU神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)。
文獻(xiàn)[24]中的實(shí)驗(yàn)數(shù)據(jù)為源自雅虎財(cái)經(jīng)官網(wǎng)的標(biāo)準(zhǔn)普爾(S&P)500股票指數(shù)日調(diào)整后收盤(pán)價(jià)數(shù)據(jù)(1950-01-03—2018-03-14)。
文獻(xiàn)[24]中采用均方根誤差RMSE對(duì)模型的性能進(jìn)行評(píng)價(jià),并與文獻(xiàn)[34]中的ARIMA模型的RMSE值進(jìn)行比較。其中,ARIMA和GRU模型的平均RMSE值分別為55.30和15.12。顯然,GRU模型的性能優(yōu)于ARIMA。
為了對(duì)比EABPs與GRU模型的性能,本文用文獻(xiàn)[24]中的S&P500數(shù)據(jù)對(duì)EABPs模型進(jìn)行訓(xùn)練并滑動(dòng)窗口滾動(dòng)預(yù)報(bào)。
EABPs模型的啟動(dòng)參數(shù)設(shè)置為3.本文沒(méi)有重構(gòu)文獻(xiàn)[24]的模型訓(xùn)練和預(yù)報(bào)過(guò)程,采用同文獻(xiàn)[24]一致的模型預(yù)報(bào)誤差評(píng)價(jià)指標(biāo),對(duì)預(yù)預(yù)報(bào)結(jié)果進(jìn)行評(píng)價(jià),評(píng)價(jià)結(jié)果見(jiàn)表7。
表7 EABPs與GRU模型的性能比較Table 7 Performance comparison between EABPs and GRU models
由表7可知,本文EABPs模型的RMSE結(jié)果為11.31,與GRU模型相比,降低了25.2%。同時(shí),文獻(xiàn)[24]中提到,GRU模型需要訓(xùn)練781個(gè)參數(shù),而EABPs模型只需訓(xùn)練8個(gè)參數(shù)。更重要的是,GRU模型的網(wǎng)絡(luò)結(jié)構(gòu)較EABPs模型復(fù)雜得多。
故綜合表6和表7的結(jié)果,在一步預(yù)報(bào)問(wèn)題中,EABPs模型比LSTM模型和GRU模型更為適用。
綜上討論,對(duì)本文的工作總結(jié)如下:
(1)本文研究創(chuàng)新性地提出了基于微分動(dòng)力學(xué)方程(1)的EABPs模型以及EABPs-RNN預(yù)報(bào)過(guò)程。實(shí)證分析表明,EABPs模型具有明確的“輕啟動(dòng)”性質(zhì),網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單,有一定的預(yù)報(bào)可靠性。EABPs模型隨泛鵬天地的業(yè)務(wù)活動(dòng)在國(guó)內(nèi)某商業(yè)銀行的試用結(jié)果表明,在隔夜頭寸預(yù)報(bào)中表現(xiàn)良好,能夠?yàn)闃I(yè)務(wù)決策提供有效的參考信息。
(2)本文創(chuàng)新性地提出了穩(wěn)態(tài)指數(shù)、轉(zhuǎn)折指數(shù),為分析數(shù)據(jù)的環(huán)比波動(dòng)特征和模型預(yù)報(bào)有效性之間的關(guān)系提供了一種思想方法,可供同類研究參考。
(3)本文基于幾何學(xué)思想原理改進(jìn)了移動(dòng)平均濾波算法,創(chuàng)新性地提出了畸變率指標(biāo),為度量和評(píng)價(jià)前端濾波對(duì)模型預(yù)報(bào)結(jié)果的影響提供了可參考的技術(shù)方法。
(4)實(shí)證分析表明,EABPs模型的絕對(duì)預(yù)報(bào)殘差近似服從指數(shù)分布,發(fā)生大預(yù)報(bào)誤差事件是可控的;在穩(wěn)態(tài)指數(shù)STI≤0.01,可以預(yù)估模型預(yù)報(bào)的誤差水平,這時(shí)平均絕對(duì)百分比誤差可以控制在5%以內(nèi);由轉(zhuǎn)折指數(shù)可以預(yù)估模型預(yù)報(bào)的同態(tài)度。對(duì)于穩(wěn)態(tài)指數(shù)STI>0.01的時(shí)間序列,模型前端降噪可以抑制模型預(yù)報(bào)的“過(guò)敏”行為,能夠更好地描述序列的趨勢(shì)規(guī)律。
(5)同NLP框架下的LSTM模型和GRU模型的對(duì)比實(shí)驗(yàn)雖不充分,但同文獻(xiàn)[19]和文獻(xiàn)[24]的比較分析結(jié)果表明,EABPs模型在時(shí)間序列短期預(yù)測(cè)問(wèn)題中有更好的表現(xiàn)。
限于篇幅,本文僅討論了EABPs模型一步預(yù)測(cè)問(wèn)題;項(xiàng)目組研究了基于EABPs模型的多步預(yù)測(cè)問(wèn)題,方法和結(jié)論另文報(bào)告。