多重共線性的有偏回歸方法的實例比較

周 鑫

（南京曉莊學(xué)院，江蘇 南京 210000）

1 問題提出

在多元線性回歸模型中，如果解釋變量之間存在著密切的線性相關(guān)關(guān)系，就稱它們之間存在著多重共線性。在出現(xiàn)多重共線性情形時，普通最小二乘估計不再適用；回歸參數(shù)的估計值方差會很大，從而影響自變量對因變量的解釋；估計的精度會降低；估計的效果也會變壞。在實際經(jīng)濟問題的多元回歸分析中，多重共線性的現(xiàn)象很多，這時我們就應(yīng)該尋找另外的回歸方法對參數(shù)進行估計。

2 方法介紹

目前，處理多重共線性問題的三種有偏回歸方法主要是：主成分回歸（PCR）、嶺回歸（RR）和偏最小二乘回歸（PLS）。主成分回歸是通過對解釋變量先進行主成分分析，綜合提取出自變量的少數(shù)幾個互不相關(guān)的主成分，而后建立因變量與主成分的回歸關(guān)系式，最后再還原成關(guān)于原來自變量的回歸方程的一種方法。嶺回歸是利用嶺估計(X′X+kI)-1X′Y 來替代普通最小二乘估計(X′X)-1X′Y，從而消除了普通最小二乘估計中矩陣X′X 無法求逆的問題。偏最小二乘回歸是先在自變量集和因變量集中分別提取第一潛在因子t1與u1，其中t1與u1分別是自變量與因變量的線性組合，要求t1與u1盡可能多地提取所在變量組的變異信息，且t1與u1的相關(guān)程度達最大，然后建立因變量與t1的回歸方程，若回歸方程不能達到滿意的精度，則繼續(xù)提取第二潛在因子，否則停止。

這三種有偏回歸方法在處理多重共線性問題上到底效果如何，以下將通過兩個實例來進行比較分析，并從預(yù)測均方誤差PE2=E(y-（y)T(y-（y)和調(diào)整的復(fù)測定系數(shù)R2兩方面分別比較三種方法所得出的回歸模型在預(yù)測方面的優(yōu)劣性和擬合效果好壞。

3 實例比較

（1）為了研究我國職工的平均工資，需建立以職工平均工資指數(shù)為因變量y，以國有單位貨幣工資指數(shù)x1、城鎮(zhèn)集體單位貨幣工資指數(shù)x2、其他單位貨幣工資指數(shù)x3為自變量的回歸方程。據(jù)《中國統(tǒng)計年鑒》收集了1990－2005年的數(shù)據(jù)如下：

利用統(tǒng)計軟件SAS 作統(tǒng)計分析可得，用普通最小二乘估計求得的回歸方程為：

y=-8.32578+0.74950x1+0.34291x2-0.01296x3

顯然，x3前系數(shù)符號與實際不符，而且x3的條件指數(shù)為132.48232，說明多重共線性問題嚴(yán)重，用主成分回歸、嶺回歸、偏最小二乘回歸分別來處理，可得：

從表格中可看出，PE2(PLS)＜PE2(PCR)＜PE2(RR)，說明在模型的預(yù)測方面，PLS 的精度最高，PCR 次之，RR 最差；而R2(PLS)＞R2(PCR)＞R2(RR)，說明PLS 擬合原數(shù)據(jù)的效果最好，PCR 其次，RR 較差。

（2）為了建立中國糧食生產(chǎn)函數(shù)的回歸模型，以糧食產(chǎn)量為因變量y（萬噸），以影響其主要因素：農(nóng)業(yè)化肥施用量x1（萬千克）、糧食播種面積x2（千公頃）、成災(zāi)面積x3（公頃）、農(nóng)業(yè)機械總動力x4（萬千瓦）、農(nóng)業(yè)勞動力x5（萬人）為自變量建模。根據(jù)《中國統(tǒng)計年鑒》，查得以下相關(guān)數(shù)據(jù)：

在SAS 軟件上求解可得，自變量x1，x4的方差膨脹因子分別為16.30926 和16.64266，這兩個值都大于10，說明存在很強的多重共線性問題。下面是用PCR、RR、PLS 處理的結(jié)果：

從表格中可看出，PE2(RR)＜PE2(PLS)＜PE2(PCR)，R2(RR)＞R2(PLS)＞R2(PCR)。說明在此例中，無論是從模型的預(yù)測精度方面，還是從擬合度方面，RR 都優(yōu)于其他兩種方法。

4 總結(jié)

從以上兩例可以看出，這三種有偏回歸方法都可以處理多重共線性問題，但我們不能說哪種方法一定優(yōu)于其他方法，因為我們考慮問題的角度和研究問題的目的往往不同。有時我們只從預(yù)測角度考慮；有時只從擬合角度考慮，而不考慮模型的經(jīng)濟意義；有時希望模型還能給出合理的經(jīng)濟解釋。另外，需要指出的是，在這兩個例子中，自變量的個數(shù)都較少，用三種方法建立的回歸方程都包含了所有的自變量。如果碰到自變量個數(shù)較多的問題，最好在進行回歸建模之前，先進行自變量的篩選，而后再用這幾種方法求解。

［1］高惠璇.實用統(tǒng)計方法與SAS 系統(tǒng)[M].北京：北京大學(xué)出版社，2001.

［2］何曉群.現(xiàn)代統(tǒng)計分析方法與應(yīng)用[M].北京：中國人民大學(xué)出版社，1998.