胡杰

(廣東省電力設(shè)計研究院，廣東廣州 510663)

1 前言

現(xiàn)代測量數(shù)據(jù)處理中，影響觀測值取值的因素很多，大概分為兩部分:一部分為已知函數(shù)部分，作為參數(shù)分量;另一部分為某些干擾因素，同觀測量的關(guān)系是完全未知的，可以將其看作非參數(shù)分量，即用非參數(shù)分量表達參數(shù)模型表達不完善的部分。

在我們建立數(shù)學(xué)模型時往往無法考慮到所有因素。為處理方便，常選擇較為簡單的函數(shù)來代替。因此，平差建立的函數(shù)模型只是實際的近似描述，即存在模型誤差。當(dāng)模型誤差與偶然誤差相比是一個微小量時，可以忽略模型誤差。而當(dāng)模型誤差較大時，就會對參數(shù)估值產(chǎn)生較大影響，甚至?xí)a(chǎn)生錯誤結(jié)論［2］。

本文詳細(xì)分析兩種將參數(shù)和非參數(shù)模型進行組合的混合模型算法，即“基于時間序列的半?yún)?shù)回歸分析法”和“基于線性回歸的神經(jīng)網(wǎng)絡(luò)精化法”。

2 參數(shù)模型和非參數(shù)模型

參數(shù)回歸模型對回歸函數(shù)提供大量信息，當(dāng)假設(shè)的模型成立時，未知數(shù)解具有較高精度。但由于回歸函數(shù)的形式假設(shè)是已知的，只是參數(shù)待定，所以回歸形式一旦固定就相對呆板，往往回歸效果差。非參數(shù)回歸與參數(shù)回歸則正好相反，它的回歸函數(shù)形式是任意的，不拘束于觀測量的分布限制，具有很強的適應(yīng)性。但實際上對擬合函數(shù)不作任何限制是不可能的，在非參數(shù)回歸方法中，無論最近鄰法、核函數(shù)法、樣條函數(shù)法都存在參數(shù)選擇的問題，這也是非參數(shù)回歸模型的難點。

2.1 參數(shù)回歸模型

假設(shè)對(L，X)作 n 次等精度觀測(Li，Xi)，i=1，2，…，n，則有:

式中:B為列滿秩矩陣;X為參數(shù)向量;△為隨機誤差項。

2.2 非參數(shù)回歸模型

參數(shù)模型中，觀測值是未知參數(shù)的線性函數(shù)，從而要求數(shù)據(jù)處理中提供大量額外信息，由于參數(shù)模型的局限性，數(shù)學(xué)界提出了非參數(shù)模型，如下所示。

假設(shè)(Yi，Xi)，i=1，2，…，n，滿足:

{εi}服從 E(εi)=0獨立同分布，{Xi}可以是隨機的或非隨機。一般情況下，只考慮非隨機的情況，也就是說，回歸函數(shù)g(X)的估計n(X)總可以表示為如下形式:

在一般實際問題中，權(quán)函數(shù)滿足下述條件:

滿足上述條件的權(quán)函數(shù)為概率權(quán)。不同的權(quán)函數(shù)形式產(chǎn)生了不同的估計方法。由于對y=g(x)的具體形式?jīng)]有作任何假設(shè)，這個模型比參數(shù)模型具有更大的適應(yīng)性。然而非參數(shù)模型無法利用經(jīng)驗或試驗資料提供的這些信息，明顯降低了模型的解釋能力。

3 組合模型

通過以上分析，我們考慮如何兼顧參數(shù)模型和非參數(shù)模型的優(yōu)點，對現(xiàn)有數(shù)據(jù)分析模型進一步精化，從而較單純的參數(shù)模型或非參數(shù)模型有更大的適應(yīng)性，并具有更強的解釋力，更接近于真實。接下來就詳細(xì)介紹兩種精化模型，即“基于時間序列的半?yún)?shù)回歸分析法”和“基于線性回歸的神經(jīng)網(wǎng)絡(luò)精化法”。

3.1 基于時間序列的半?yún)?shù)回歸分析法

半?yún)?shù)回歸模型由參數(shù)部分和非參數(shù)部分共同組成，在測量中的應(yīng)用處于探索的階段，目前主要是通過構(gòu)造正規(guī)化矩陣和平滑參數(shù)，利用補償最小二乘法獲取參數(shù)和非參數(shù)解。

在半?yún)?shù)模型中，平滑參數(shù)主要利用交叉核實法確定。由于變形觀測值是以一定的時間序列為基礎(chǔ)，若假設(shè)相鄰時刻的模型誤差si與si+1的差別不應(yīng)太大。因此可令，此時可以選擇如下形式的正則化矩陣:

這時因rank(R)=n－1＜n，即R秩虧，還需再增加一個約束條件。若進一步假設(shè)S呈周期性變化，觀測值分布均勻，個數(shù)足夠，則可令，增加這一約束條件可以解決秩虧的問題。利用時間序列法由上式選擇的正則化矩陣R，在實踐中得到了較為廣泛的應(yīng)用。

于是平差問題歸結(jié)為下述條件極值問題:

同樣來構(gòu)造拉格朗日函數(shù):

3.2 基于線性回歸的神經(jīng)網(wǎng)絡(luò)精化法

在形變分析中，我們可以把變形序列看成由趨勢項、周期項和觀測誤差三部分組成。趨勢項利用經(jīng)典最小二乘法求解。其他部分可以利用神經(jīng)網(wǎng)絡(luò)去映射。神經(jīng)網(wǎng)絡(luò)算法強大的自學(xué)習(xí)功能，在模型精化過程中，既彌補前述精化模型的不足，又沒有人為假設(shè)所產(chǎn)生的誤差，在理論上這樣能得到較好的效果［7］。

3.2.1 基于神經(jīng)網(wǎng)絡(luò)的精化模型

變形觀測的每期數(shù)據(jù)屬于獨立觀測值，所以可以看作等精度觀測值來討論函數(shù)模型的精化方法。精化模型為:

式中:A為列滿秩矩陣;X為參數(shù)向量;G為模型的精化部分;△為隨機誤差項。

在此模型中參數(shù)X起解釋模型物理意義的作用，而G起對趨勢模型修正的作用。實質(zhì)上G也是參數(shù)X和觀測值L的函數(shù)，即

只是它們之間的關(guān)系是隱含的，通過神經(jīng)網(wǎng)絡(luò)得到它的顯式數(shù)值表示。這樣利用神經(jīng)網(wǎng)絡(luò)使得式(16)的模型既具有物理意義，又達到比較理想的精度。

3.2.2 參數(shù)X的估計

利用變形觀測的n次觀測數(shù)據(jù)，選定根據(jù)實際問題所采用的線性回歸模型，在最小二乘準(zhǔn)則下，可得X最優(yōu)無偏估計^X為

3.2.3 參數(shù)G的估計

基于線性擬合的回歸殘差，利用改進的神經(jīng)網(wǎng)絡(luò)BP算法求解參數(shù)G。具體過程為

(1)計算n期變形觀測數(shù)據(jù)的回歸殘差vi

(2)利用n期變形觀測數(shù)據(jù)的所有信息構(gòu)成神經(jīng)網(wǎng)絡(luò)模型:①選定輸入層:由變形觀測值產(chǎn)生影響的因素，設(shè)為(X1(i)，X2(i)，…Xt(i))和回歸殘差 vi組合構(gòu)成;②選定輸出層:參數(shù)G;③ 構(gòu)造迭代模型:在對BP算法進行深入研究的基礎(chǔ)上，提出了誤差分級迭代的改進BP算法，它能有效地提高BP網(wǎng)絡(luò)的穩(wěn)定性。其基本思路為:先將設(shè)定的學(xué)習(xí)誤差ε0進行分級，若將ε0分為n級，則分級公式為:

然后依次取εi為收斂控制參數(shù)對學(xué)習(xí)樣本集進行學(xué)習(xí)訓(xùn)練，當(dāng)?shù)趎級誤差ε0迭代收斂后，網(wǎng)絡(luò)的學(xué)習(xí)過程結(jié)束［6］。

4 工程實例

以某混凝土大壩5#104點2003年1月～2006年12月的垂直位移作為實驗數(shù)據(jù)，根據(jù)原始的觀測資料的水位和溫度數(shù)據(jù)，共選出48組子樣，其中2003年1月～2005年12月的共36組樣本用來建模，2006年1月～2006年12月的共12組進行預(yù)測。為了分析出該大壩的形變規(guī)律，分別建立多項式回歸分析模型、基于時間序列的半?yún)?shù)回歸模型和基于線性回歸的神經(jīng)網(wǎng)絡(luò)精化模型，用3個模型進行預(yù)報，對預(yù)報的結(jié)果進行比較。

4.1 回歸模型

回歸模型采用二次多項式模型，其中，xi表示壩前水位，yi表示溫度，利用最小二乘法求解出回歸方程:

通過計算得二次多項式模型的內(nèi)符合精度為±0.322 mm，外符合精度為±0.305 mm。

4.2 基于時間序列的半?yún)?shù)回歸分析模型

建立半?yún)?shù)模型的關(guān)鍵是構(gòu)造平滑參數(shù)和正規(guī)化矩陣。平滑參數(shù)利用交叉核實法確定為α=0.21，因為變形分析的觀測數(shù)據(jù)具有時序性，所以選取基于時間序列的正規(guī)化矩陣，建立時間序列半?yún)?shù)回歸分析模型。

為了分析平滑參數(shù)的選取對半?yún)?shù)擬合結(jié)果的影響，選取不同參數(shù)進行實驗計算，計算結(jié)果如表1所示。

不同平滑參數(shù)實驗結(jié)果比較 表1

分析結(jié)果我們可以看出，對于該工程實例，隨著平滑參數(shù)逐漸變小，內(nèi)符合精度不斷提高，說明該模型的學(xué)習(xí)能力在不斷提高。同時，根據(jù)交叉核實法計算的平滑參數(shù)為0.21，外符合精度達到0.148 mm，說明平滑參數(shù)的選取基本符合實驗要求，利用交叉核實法確定平滑參數(shù)就有一定的可靠性。

4.3 基于線性回歸的神經(jīng)網(wǎng)絡(luò)精化法

采用二次多項式模型為基礎(chǔ)模型，計算二次多項式的回歸殘差。以影響大壩垂直位移的溫度、水位以及回歸殘差vi作為輸入層，設(shè)精化值為輸出層，建立基于線性擬合殘差的神經(jīng)網(wǎng)絡(luò)模型。為了分析神經(jīng)元數(shù)目對模型精度的影響，選取不同的神經(jīng)元數(shù)目進行實驗，計算結(jié)果如表2所示。

不同神經(jīng)元實驗結(jié)果比較 表2

通過對不同的神經(jīng)元數(shù)目進行實驗分析，我們發(fā)現(xiàn)，外符合精度和內(nèi)符合精度基本保持不變。對于該工程實例，模型具有較高的穩(wěn)定性。

4.4 不同模型比較

通過以上3個模型的實驗計算，我們選取平滑因子0.21的半?yún)?shù)模型，神經(jīng)元數(shù)目11的神經(jīng)網(wǎng)絡(luò)精化模型以及二次多項式模型與實測值進行比較分析，數(shù)據(jù)結(jié)果如表3所示。

不同模型實驗結(jié)果比較 表3

通過實驗，我們可以得到二次多項式的內(nèi)、外符合精度分別為 ±0.322 mm和 ±0.305 mm，時間序列半?yún)?shù)模型的內(nèi)、外符合精度分別為 ±0.052 mm和±0.148 mm，基于線性回歸的神經(jīng)網(wǎng)絡(luò)模型的內(nèi)、外符合精度分別為 ±0.034 mm和 ±0.143 mm。比較發(fā)現(xiàn)，相對于簡單的二次多項式模型，后兩種混合體模型無論是在內(nèi)符合精度，還是在外符合精度上都有很大的提高。而兩種混合體模型相比，神經(jīng)網(wǎng)絡(luò)模型的內(nèi)符合精度更高，說明其學(xué)習(xí)能力更強，而在外符合精度上。兩個模型基本相同，說明兩者的預(yù)測能力基本相當(dāng)，都具有很強的預(yù)測能力。

5 結(jié)論

(1)形變分析的過程中，在利用回歸模型進行擬合時，存在一定的模型誤差，在模型誤差比較大時，會對參數(shù)估值產(chǎn)生較大的影響，甚至?xí)?dǎo)致錯誤的結(jié)論。

(2)基于參數(shù)和非參數(shù)模型優(yōu)點所構(gòu)造的混合模型，可以很好的減少常規(guī)模型帶來的模型誤差，從而提高計算精度。

(3)形變觀測數(shù)據(jù)具有時序性，所以選取半?yún)?shù)模型的正規(guī)化矩陣時，采用時間序列法，實驗證明取得不錯的效果。通過實驗，我們可以發(fā)現(xiàn)平滑參數(shù)的選取對半?yún)?shù)的擬合效果也有很大的影響。

(4)采用基于線性回歸的神經(jīng)網(wǎng)絡(luò)精化模型時，以常規(guī)模型作為基礎(chǔ)模型，并利用神經(jīng)網(wǎng)絡(luò)算法對回歸殘差進行重新擬合，來修正基礎(chǔ)模型誤差，既克服了單純的神經(jīng)網(wǎng)絡(luò)模型算法所帶來的“黑箱性”，使模型具有相應(yīng)的物理意義，又提高了模型的計算精度。通過實驗證明，與常規(guī)回歸模型相比，效果改善比較明顯。

(5)采用誤差分級迭代模式的改進BP算法，通過實驗，可以發(fā)現(xiàn)在保障具有較高預(yù)測精度的同時，神經(jīng)網(wǎng)絡(luò)模型學(xué)習(xí)的效率也有著顯著的提高。

［1］胡伍生.神經(jīng)網(wǎng)絡(luò)理論及其工程應(yīng)用［M］.北京:測繪出版社，2006.

［2］梁武韜.試驗數(shù)據(jù)與回歸分析［J］.土木工程學(xué)報，2005，38(8):1～5.

［3］丁士俊，陶本藻.半?yún)?shù)模型及其在形變分析中的應(yīng)用［J］.測繪科學(xué)，2004，29(5):38～40.

［4］胡伍生，張志偉.模型誤差補償?shù)纳窠?jīng)網(wǎng)絡(luò)方法研究［J］.測繪科學(xué)，2010，35(S1):47 ～49.

［5］陶本藻.測量數(shù)據(jù)處理的統(tǒng)計理論和方法［M］.北京:測繪出版社，2007，134 ～192.

［6］胡伍生，沙月進.神經(jīng)網(wǎng)絡(luò)BP算法的誤差分級迭代法［J］.東南大學(xué)學(xué)報·自然科學(xué)版，2003，33(3):376～378.

［7］張志偉，胡伍生，黃曉明.線性回歸模型精化方法［J］.東南大學(xué)學(xué)報·自然科學(xué)版，2009，39(6):1279～1282.

［8］陶本藻，施闖，姚宜斌.顧及系統(tǒng)誤差的平差模型研究［J］.測繪學(xué)院學(xué)報，2002，19(2):79 ～81.

［9］丁士俊，陶本藻.自然樣條半?yún)?shù)模型與系統(tǒng)誤差估計［J］.武漢大學(xué)學(xué)報·信息科學(xué)版，2004，29(11):964～967.

［10］丁士俊.測量數(shù)據(jù)的建模與半?yún)?shù)估計［D］.武漢:武漢大學(xué)測繪學(xué)院，2005.