最小二乘法的初等解釋

摘要：通過對(duì)最小二乘法的系數(shù)確定、相關(guān)指數(shù)、首發(fā)權(quán)等問題提供初等解釋，加深對(duì)最小二乘法的理解，體會(huì)統(tǒng)計(jì)思想的數(shù)學(xué)基礎(chǔ)。

關(guān)鍵詞：最小二乘法;線性回歸;首發(fā)權(quán)。

對(duì)兩個(gè)線性相關(guān)變量做回歸分析時(shí)，我們會(huì)用最小二乘法?？此破匠５淖钚《朔ǎ瑢?shí)則來之不易，高斯憑借法國(guó)子午線弧測(cè)算而生與勒讓德的首發(fā)權(quán)之爭(zhēng)，延續(xù)數(shù)年。即便是回歸方程的系數(shù)的推算，究竟是用微分方法、偏差理論還是矩陣法，亦是值得推敲的。離開了這些思考，單純把結(jié)論告訴學(xué)生，那當(dāng)然就不會(huì)重視散點(diǎn)圖、殘差分析、相關(guān)指數(shù)等與統(tǒng)計(jì)思想有關(guān)的概念，聽者就只能如墜五里云中。

在最小二乘法的學(xué)習(xí)中，如果只重視公式和結(jié)論，掐頭去尾燒中段，就會(huì)失去深入領(lǐng)會(huì)統(tǒng)計(jì)學(xué)思想的契機(jī)，在大學(xué)后續(xù)學(xué)習(xí)最小二乘法的改進(jìn)方法，比如嶺回歸估計(jì)、主成分回歸、穩(wěn)健回歸等時(shí)就產(chǎn)生困難。統(tǒng)計(jì)思想才是統(tǒng)計(jì)學(xué)習(xí)中最為重要的。

下面以高中生的關(guān)切度為序，談幾個(gè)問題。

一 系數(shù)公式重要嗎？

對(duì)于具有線性相關(guān)關(guān)系的兩個(gè)變量的一組數(shù)據(jù)，對(duì)它們做線性回歸，由最小平方法，得到

的公式究竟是怎么得到的？首先得明白：需要考察“差異”的總和，而且它越小越好。但是為啥要考察“差異”的平方和，而不是直接考察呢？這當(dāng)然是從大量計(jì)算的方便性來考慮的：不需要進(jìn)行符號(hào)判斷，就可以直接進(jìn)行計(jì)算，避免了進(jìn)行符號(hào)判斷的麻煩。還有一個(gè)原因。舉個(gè)例子：如果實(shí)際值與估計(jì)值的差是20（或-20），差異較大，平方后會(huì)被放大20倍，變?yōu)?00;如果這一差異較小，是0.2，那么它平方后就變?yōu)?.04.。我們發(fā)現(xiàn)，對(duì)實(shí)際值與估計(jì)值的差異平方后，意外地收到了“放大大錯(cuò)誤，縮小小誤差”的效果。所謂“人非圣賢，孰能無過”？大錯(cuò)不放過，小錯(cuò)看不見，這不也是我們經(jīng)常做的嗎？

一般的高等數(shù)學(xué)教材，是把 視作二元函數(shù)，分別求偏導(dǎo)，得到駐點(diǎn)。以中學(xué)生能夠理解的寫法，簡(jiǎn)略表達(dá)如下：

在未學(xué)習(xí)導(dǎo)數(shù)時(shí)，如何證明呢？選修2-3的推導(dǎo)如下：

上式中，后兩項(xiàng)與無關(guān)，前兩項(xiàng)為非負(fù)數(shù)，因此當(dāng)前兩項(xiàng)為0時(shí)，最小。

如果按照這個(gè)方式來講，其中最大的問題是

這里，一減一加 “”的原因是什么？技巧性太強(qiáng)、太突兀。

還有一種解釋方法，與大學(xué)里的偏差理論有關(guān)。其實(shí)，在現(xiàn)行課本里已經(jīng)做了暗示，只是很少有人注意到了。這就是選修2-3課本里章節(jié)復(fù)習(xí)里的一道題：

其中，為總偏差平方和，記為;為殘差平方和，記為;為回歸平方和，記為。

可以說，這個(gè)問題是進(jìn)入偏差理論的一個(gè)重要契機(jī)，而且回歸分析最后的殘差分析環(huán)節(jié)就要用到。如果能理解這個(gè)思想，處理下面的非典型的線性回歸問題就很輕松了：

例 關(guān)于與有以下數(shù)據(jù)：

有如下兩個(gè)線性模型：（1）;（2），試比較哪一個(gè)擬合效果比較好？

由于，所以方程（1）的擬合效果比較好！

統(tǒng)計(jì)學(xué)上刻劃回歸效果的量是相關(guān)指數(shù)，其計(jì)算公式為：，的值越大，說明殘差平方和越小，回歸效果越好。在本題中，分母實(shí)際上就是總偏差平方和，對(duì)兩個(gè)回歸方程都是一樣的，所以沒有必要計(jì)算相關(guān)指數(shù)，而直接考慮殘差平方和即可，這其實(shí)就是最小二乘法的實(shí)質(zhì)所在。

回到前面的問題：一加一減“”的原因是什么？咋突然從帽子里跑出來一只兔子了呢？其實(shí)，這只是二次函數(shù)的最值問題而已！先確定，再求：

是一個(gè)二元函數(shù)，先把它看成關(guān)于的函數(shù)，它是二次的，形如

又由二次函數(shù)的知識(shí)知：當(dāng) 時(shí)，取得最小值。至此，都確定出來了。本質(zhì)上，這是一個(gè)初中的二次函數(shù)最值問題，用不著“你記住，這是技巧”，或者騙學(xué)生說“到了大學(xué)再學(xué)習(xí)”。

不知大家注意到?jīng)]有：在上述過程中，“回歸直線通過樣本中心點(diǎn)（）”這一結(jié)果是先得到的，這跟用（偏）導(dǎo)數(shù)的方法時(shí)得到的順序是恰好相反的。世人都知道“回歸直線必然通過樣本中心點(diǎn)（）”，但是理由是什么呢？不同的方法會(huì)得到不同的解釋，看來還遠(yuǎn)不是“記住”那么簡(jiǎn)單。

二 散點(diǎn)圖與相關(guān)指數(shù)

一般的教科書或者教師在講授線性回歸時(shí)，都熱衷于引用現(xiàn)實(shí)案例中的數(shù)據(jù)，在輸入后用Excel，SPSS，TI圖形計(jì)算器等軟件得到回歸直線。這樣的處理，美其名曰“建?！?、“數(shù)學(xué)實(shí)驗(yàn)室”，但是不得不說是一種莫大的遺憾：難道來了數(shù)據(jù)就一定可以做（線性）回歸？絕不是！這種做法忽略了線性回歸的前提條件是“線性相關(guān)”！因此，首先應(yīng)該是作散點(diǎn)圖。

高考里對(duì)此已經(jīng)做了考察，2007年廣東高考第17題是一道解答題，開了高考解答題考察“兩個(gè)統(tǒng)計(jì)案例”的先河。這道題第一問是根據(jù)所提供的數(shù)據(jù)畫散點(diǎn)圖。當(dāng)年好多學(xué)生不費(fèi)吹灰之力就描出了那4個(gè)點(diǎn)，然后就把它們用折線圖或者直線連接起來，導(dǎo)致煮熟的鴨子飛了，一分也得不到（散點(diǎn)圖是不能把這些點(diǎn)連起來的）。這與不重視“散點(diǎn)圖”有沒有關(guān)系？可想而知！

對(duì)于一組數(shù)據(jù)，根據(jù)散點(diǎn)圖判斷出成線性相關(guān)關(guān)系后，用最小二乘法得到回歸直線，是不是就完事了？沒有！還要對(duì)這種回歸進(jìn)行評(píng)估，要作殘差分析，算算相關(guān)指數(shù)，在此不展開講。

三 首發(fā)權(quán)之爭(zhēng)

最后說說最小二乘法的首發(fā)權(quán)之爭(zhēng)。

1805年初，法國(guó)數(shù)學(xué)家阿德里安·瑪麗·勒讓德發(fā)現(xiàn)并公布了最小二乘法（當(dāng)時(shí)稱為最小平方法）。后來，美國(guó)人羅伯特·艾德里安在1808年末或1809年初發(fā)表了這種方法，德國(guó)數(shù)學(xué)家卡爾·弗里德里希·高斯則于1809年發(fā)表了這種方法。照此說來，最小二乘法的首發(fā)者就是勒讓德。事實(shí)上，也只有一位科學(xué)家使該方法變成了普通大眾都可以理解的方法，那就是勒讓德。

但是，在1809年高斯發(fā)表他的最小二乘法時(shí)，他在概念和技術(shù)發(fā)展方面已經(jīng)遠(yuǎn)遠(yuǎn)超出了勒讓德，這使高斯堅(jiān)信自己的方法才是真正的最小二乘法，他更是宣稱自己從1795年起就一直使用這種方法。因?yàn)楦咚乖谑澜鐢?shù)學(xué)界享有無與倫比的崇高的地位，他的這番話導(dǎo)致了科學(xué)史上最著名的首發(fā)權(quán)糾紛。

后人通過對(duì)高斯提出的證據(jù)的著作《世界星歷概論》的考察，尤其是通過對(duì)高斯用最小二乘法測(cè)算法國(guó)子午線弧的復(fù)盤，認(rèn)為高斯確實(shí)是在早于1800年就獨(dú)立想出了最小二乘法。但是，享有“數(shù)學(xué)王子”美譽(yù)的高斯實(shí)在太牛了，他沒有認(rèn)為這個(gè)方法有多重要，就沒把它發(fā)表出來，也沒跟任何人交流過?？梢哉f，正是因?yàn)樘^于聰明，使得高斯錯(cuò)過了像勒讓德那樣讓最小二乘法產(chǎn)生直接和廣泛效果的機(jī)會(huì)。

【參考文獻(xiàn)】

[1] 茆詩(shī)松，周紀(jì)薌. 概率論與數(shù)理統(tǒng)計(jì)[M].北京：中國(guó)統(tǒng)計(jì)出版社，2000：359-362.

[2] （美）斯蒂格勒 著，李金昌 等譯.統(tǒng)計(jì)探源：統(tǒng)計(jì)概念和方法的歷史[M].杭州：浙江工商大學(xué)出版社，2014：248-256，287-288.

[3] 高惠璇.統(tǒng)計(jì)計(jì)算[M].北京：北京大學(xué)出版社，1995：297-343.

廣東省深圳中學(xué) 張紅兵