兩種觀點(diǎn)下最小二乘解的統(tǒng)一性

柳彥軍

(重慶第二師范學(xué)院 數(shù)學(xué)與信息工程系，重慶 400065)

摘要：通過對(duì)比偏導(dǎo)數(shù)及向量兩種觀點(diǎn)下最小二乘解的求法，得出兩種觀點(diǎn)下最小二乘解的求解方法本質(zhì)上是統(tǒng)一的。

關(guān)鍵詞：偏導(dǎo)數(shù)；向量；最小二乘解

收稿日期：2015-03-14

基金項(xiàng)目：重慶市教委科研項(xiàng)目(KJ1501407),重慶第二師范學(xué)院教改項(xiàng)目(JG2015219)

作者簡介：柳彥軍(1988-)，甘肅莊浪人，助教，研究方向：非線性分析與偏微分方程。

中圖分類號(hào)：O172

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1008-6390(2015)05-0153-02

一、問題提出

插值法雖然在一定程度上可以解決根據(jù)函數(shù)表求函數(shù)的近似表達(dá)式問題，但同時(shí)亦存在著明顯的缺陷。首先，因?yàn)橛蓪?shí)驗(yàn)提供的數(shù)據(jù)往往帶有測試誤差，個(gè)別數(shù)據(jù)的誤差還可能很大，如果要求近似曲線嚴(yán)格地經(jīng)過所有數(shù)據(jù)點(diǎn)，就會(huì)使曲線保留著這些誤差，從而失去原數(shù)據(jù)表示的規(guī)律；同時(shí)，實(shí)驗(yàn)數(shù)據(jù)又往往很多，用插值法得到的近似表達(dá)式，明顯地缺乏實(shí)用價(jià)值，而最小二乘法是解決此類問題的一個(gè)常用方法。

設(shè)實(shí)系數(shù)線性方程

(1)

無解，即無論x1，x2，…，xs取哪一組實(shí)數(shù)值，s元函數(shù)

(2)

的值都大于零，這樣的方程組稱為矛盾方程組(或稱超定方程組)。我們設(shè)法找c1，c2，…，cs，使當(dāng)x1=c1，x2=c2，…，xs=cs時(shí)，(2)式的值最小，這樣的c1，c2，…，cs稱為矛盾方程組(1)的最小二乘解。這種問題就是一個(gè)常見的最小二乘法問題。

二、偏導(dǎo)數(shù)觀點(diǎn)下矛盾方程組的最小二乘解求法

要使Q取得極小值，則

從而極值條件變?yōu)?/p>

(3)

具有s個(gè)未知量s個(gè)方程式的線性方程組(3)稱為對(duì)應(yīng)于矛盾方程組(1)的法方程組(也叫正規(guī)方程組)。

記A=(aij)n×s

X=(x1，x2，…，xs)T

B=(b1，b2，…，bs)T

則(3)式等價(jià)于

ATAX=ATB

即ATAX=ATB就是最小二乘解所滿足的線性方程組。

三、向量觀點(diǎn)下最小二乘解的求法

為了解決最小二乘法問題，我們需要討論向量到子空間的距離這一問題。

設(shè)W是歐式空間V的一個(gè)子空間，它是由向量α1，α2，…，αs生成的，即W=(α1，α2，…，αs)。易知α正交于W的充分必要條件是α正交于每個(gè)αi(i=1，2，…，s)。

定理設(shè)W是有限維歐式空間V的一個(gè)子空間，α是V中一個(gè)向量，再設(shè)β是W中使α-β正交于W的一個(gè)向量，則對(duì)W中任一向量γ，都有

|α-β|≤|α-γ|

證先把α-γ分解成兩個(gè)向量的和

α-γ=(α-β)+(β-γ)

因?yàn)閃是一個(gè)子空間，所以由β∈W，γ∈W知，β-γ∈W。

由于α-β正交于W，所以α-β正交于β-γ，所以

|α-γ|2=|α-β|2+|β-γ|2

因此

|α-β|≤|α-γ|

證畢。

由于α可表成

α=β+(α-β)

其中β∈W, α-β∈W⊥,因此β就是α在子空間W上的內(nèi)射影。由此可知，一個(gè)向量α到子空間W中各向量間的距離以α到α在W上的內(nèi)射影β之間的距離最短。

現(xiàn)在利用這個(gè)事實(shí)討論最小二乘法，并且給出最小二乘解滿足的代數(shù)條件。

令

A=(aij)n×s

X=(x1，x2，…，xs)T

B=(b1，b2，…，bs)T，

則線性方程組(1)可寫成

AX=B

再令A(yù)的列向量依次為α1，α2，…，αs，并設(shè)

W=(α1，α2，…，αs)，

顯然W是Rn的子空間，B∈Rn。B與W中的向量k1α1+k2α2+…+ksαs間的距離的平方為

|B-(k1α1+k2α2+…+ksαs)|2

它就是當(dāng)x1=k1，x2=k2，…，xs=ks時(shí)(2)的值。最小二乘法問題就是要找實(shí)數(shù)c1，c2，…，cs，使B與

c1α1+c2α2+…+csαs間的距離比B與W中其它向量間的距離都短。這意味著c1α1+c2α2+…+csαs是B在W上的內(nèi)射影，即

B-(k1α1+k2α2+…+ksαs)⊥W

亦即內(nèi)積

〈B-(c1α1+c2α2+…+csαs),αi〉=0，i=1，2，…，s

令C=(c1，c2，…，cs)T，上式等價(jià)于

〈B-AC,αi〉=0，i=1，2，…，s

根據(jù)內(nèi)積的性質(zhì)，有

〈B,αi〉=〈AC,αi〉，i=1，2，…，s

即

αiTB=αiTAC,i=1，2，…，s

上式又等價(jià)于

ATB=ATAC

也就是說，C是線性方程組

ATAX=ATB

(4)

的解向量。

反之，當(dāng)(c1，c2，…，cs)是線性方程組(4)的(實(shí))解向量時(shí)，上述過程倒推回去，可知B與c1α1+c2α2+…+csαs間的距離比B與W中其他向量間的距離都短，亦即當(dāng)x1=c1，x2=c2，…，xs=cs時(shí)，(2)取得最小值。

因此(3)就是最小二乘解所滿足的線性方程組，它的系數(shù)矩陣是ATA，常數(shù)項(xiàng)是ATB。

由此可見，上述偏導(dǎo)數(shù)觀點(diǎn)下和向量觀點(diǎn)下最小二乘解所滿足的線性方程組是同一個(gè)方程組。因此，兩種觀點(diǎn)下最小二乘解的求解方法本質(zhì)上是一樣的。

參考文獻(xiàn)：

[1]李信真,車剛明,歐陽潔,等.計(jì)算方法[M].西安:西北工業(yè)大學(xué)出版社,2000.

[2]楊萬利,牛慶銀,董玉才,等.數(shù)值分析教程[M].北京:國防工業(yè)出版社,2002.

[3]肖筱南,趙來軍,黨林立.現(xiàn)代數(shù)值計(jì)算方法[M].北京:北京大學(xué)出版社,2003.

[4]華東師范大學(xué)數(shù)學(xué)系.數(shù)學(xué)分析[M].北京:高等教育出版社,2007.

[5]劉仲奎,楊永保,程輝,等.高等代數(shù)[M].北京:高等教育出版社,2003.

[6]王萼芳,石生明.高等代數(shù)[M].北京:高等教育出版社,2003.

[7]程其襄,張殿宙,魏國強(qiáng).實(shí)變函數(shù)與泛函分析基礎(chǔ)[M].北京:高等教育出版社,2003.

[8]李慶揚(yáng),關(guān)治,白峰杉.數(shù)值計(jì)算原理[M].北京:清華大學(xué)出版社,2000.

[責(zé)任編輯王南山]