袁曉惠， 鞠婷婷， 陳 晶

(長春工業(yè)大學(xué) 基礎(chǔ)科學(xué)學(xué)院， 吉林 長春 130012)

?

分位數(shù)回歸區(qū)間估計(jì)方法比較分析

袁曉惠， 鞠婷婷， 陳 晶

(長春工業(yè)大學(xué) 基礎(chǔ)科學(xué)學(xué)院， 吉林 長春 130012)

介紹了分位數(shù)回歸模型參數(shù)的3類區(qū)間估計(jì)方法，分別為直接法、自助法、誘導(dǎo)光滑法,通過模擬比較他們在覆蓋率與置信區(qū)間長度方面的表現(xiàn)。

分位數(shù)回歸； 誘導(dǎo)光滑； 自助法

0 引 言

線性回歸模型是統(tǒng)計(jì)學(xué)中最經(jīng)典的模型。傳統(tǒng)的線性回歸研究因變量的條件均值隨自變量的變化趨勢。此類模型對(duì)隨機(jī)誤差的分布有較強(qiáng)的假定。Koenker和Bassett[1]于1978年提出線性分位數(shù)回歸，考慮因變量的條件分位數(shù)對(duì)自變量的影響，可以根據(jù)不同的條件分位數(shù)更全面地認(rèn)識(shí)因變量的條件分布。與傳統(tǒng)的線性回歸相比，分位數(shù)回歸模型使用范圍更廣，估計(jì)效果更準(zhǔn)確。隨著計(jì)算機(jī)技術(shù)的發(fā)展，分位數(shù)回歸模型在經(jīng)濟(jì)、金融、生物醫(yī)學(xué)、數(shù)據(jù)挖掘、環(huán)境科學(xué)等方面得到廣泛應(yīng)用[2-3]。

分位數(shù)回歸模型的目標(biāo)函數(shù)是非光滑的，其參數(shù)的估計(jì)存在一定的困難。針對(duì)分位數(shù)回歸模型參數(shù)的區(qū)間估計(jì)問題，比較流行的有4類方法：

1)直接法。根據(jù)參數(shù)估計(jì)的漸近正態(tài)性，運(yùn)用樣本信息直接估計(jì)漸近方差中的未知量并構(gòu)造置信區(qū)間。

2)秩得分法。根據(jù)秩檢驗(yàn)統(tǒng)計(jì)量的反演運(yùn)算構(gòu)造置信區(qū)間。此方法易于理解，計(jì)算簡單，但是計(jì)算速度較慢，尤其在處理大型多維數(shù)據(jù)時(shí)，此算法運(yùn)行緩慢。

3)自助法[4]。基于重復(fù)抽樣技術(shù)構(gòu)造回歸參數(shù)的置信區(qū)間。

4)誘導(dǎo)光滑法[5-6]。此方法給參數(shù)添加一個(gè)正態(tài)隨機(jī)擾動(dòng)，對(duì)不光滑的估計(jì)函數(shù)在這個(gè)擾動(dòng)下求期望，得到一個(gè)新的光滑估計(jì)函數(shù)，然后基于這個(gè)新的光滑估計(jì)函數(shù)得到回歸參數(shù)的估計(jì)。

經(jīng)過迭代，誘導(dǎo)光滑方法可以同時(shí)得到參數(shù)的點(diǎn)估計(jì)及其協(xié)方差估計(jì)，進(jìn)而得到回歸參數(shù)的區(qū)間估計(jì)。由于此方法不需要額外確定調(diào)諧參數(shù)(如核估計(jì)的窗寬)，此估計(jì)方法得到廣泛應(yīng)用[7-9]。

文中主要介紹直接法、自助法、誘導(dǎo)光滑法構(gòu)造分位數(shù)回歸模型區(qū)間估計(jì)的算法步驟，并通過模擬比較這3種方法構(gòu)造的置信區(qū)間的覆蓋率和平均置信區(qū)間長度。

1 分位數(shù)回歸模型及其區(qū)間估計(jì)

假定得到觀測數(shù)據(jù)為(xi,yi)(1≤i≤n)，yi是響應(yīng)變量，xi是p維協(xié)向量，分位數(shù)回歸模型如下:

其中

1.1 直接法

這里hn是窗寬，當(dāng)n→，hn→0，根據(jù)Hall和Sheather[12]方法選取

1.2 自助法

自助法是Efron[4]于1979年提出的一種再抽樣統(tǒng)計(jì)方法，通過不斷地從原始數(shù)據(jù)集中有放回抽取新樣本，組成新的數(shù)據(jù)集。漸近理論保證了基于新的數(shù)據(jù)集計(jì)算的估計(jì)量與基于原始數(shù)據(jù)集的估計(jì)量有相同的漸近分布。此方法適用于那些難以用常規(guī)方法(如極大似然法、矩估計(jì)法等)導(dǎo)出參數(shù)的區(qū)間估計(jì)、假設(shè)檢驗(yàn)等問題。

文中主要介紹如下兩種自助法。

1.2.1 成對(duì)數(shù)據(jù)自助法

Arcones和Gine[13]提出成對(duì)自助法來構(gòu)造M-估計(jì)的置信區(qū)間。成對(duì)數(shù)據(jù)自助法的步驟如下：

1)令 b=1；

4)重復(fù)步驟2)和3)，直到產(chǎn)生B個(gè)β的估計(jì)。

1.2.2 加權(quán)自助法

Jin[14]等2001年提出一種通過擾動(dòng)目標(biāo)函數(shù)的重抽樣方法。Tang和Leng[15]運(yùn)用此方法構(gòu)造縱向數(shù)據(jù)分位數(shù)回歸參數(shù)的置信區(qū)間。此方法應(yīng)用于分位數(shù)回歸區(qū)間估計(jì)的步驟如下：

1)令b=1；

2)從參數(shù)為1的指數(shù)分布中產(chǎn)生隨機(jī)數(shù)Vi～exp(1),i=1,2，…,n；

4)重復(fù)步驟2)和3)，直到產(chǎn)生B個(gè)β的估計(jì)。

1.3 誘導(dǎo)光滑法

誘導(dǎo)光滑法最初是由Brown和Wang[5]于2005年提出，用于估計(jì)秩估計(jì)的漸近方差。Wang[6]等將之用于構(gòu)造分位數(shù)回歸區(qū)間估計(jì)。由于此光滑方法不像核估計(jì)等需要額外估計(jì)窗寬，使之得到許多統(tǒng)計(jì)學(xué)家的青睞。

誘導(dǎo)光滑算法步驟如下：

1)設(shè)定Γ的初始值：Γ(0)=n-1Ip；

2 模擬比較

通過模擬研究從置信區(qū)間長度和覆蓋率兩個(gè)角度來比較上述3類方法在構(gòu)造分位數(shù)回歸參數(shù)的置信區(qū)間上的表現(xiàn)。從如下分位數(shù)回歸模型產(chǎn)生數(shù)據(jù)(xi,yi)(1≤i≤n)：

yi=β0+xiβ1+σ(xi)(εi-Qτ(εi))

i=1,2,…,n

β的置信水平為95%的置信區(qū)間的平均長度和覆蓋率(σ(xi)=1)見表1。

表1 β的置信水平為95%的置信區(qū)間的平均長度和覆蓋率(σ(xi)=1)

從表1可以看出，直接法和誘導(dǎo)光滑法的置信區(qū)間平均長度比自助法估計(jì)的置信區(qū)間長度短。當(dāng)樣本量為20時(shí)，直接法和誘導(dǎo)光滑法的覆蓋率較低，但是當(dāng)樣本量增至50和100時(shí)，他們的覆蓋率都有所增加。

表2 β的置信水平為95%的置信區(qū)間的平均長度和覆蓋率(σ(xi)=)

表2中，直接法的覆蓋率較低。隨著樣本量增大，覆蓋率也沒有增加,說明直接法需要誤差獨(dú)立同分布的假定。當(dāng)誤差不是獨(dú)立同分布時(shí)，構(gòu)造的置信區(qū)間不是很好,而自助法和誘導(dǎo)光滑法的覆蓋率都能接近95%。雖然誘導(dǎo)光滑法的平均置信區(qū)間長度相比于自助法要短，但是當(dāng)樣本量較小時(shí)，誘導(dǎo)光滑法的覆蓋率偏低。自助法中成對(duì)數(shù)據(jù)自助法的平均置信區(qū)間長度相對(duì)長一些，在覆蓋率接近95%時(shí)，加權(quán)自助法的平均置信區(qū)間長度相對(duì)短一些。加權(quán)自助法在小樣本時(shí)表現(xiàn)較出色。

3 結(jié) 語

分別介紹了3類區(qū)間估計(jì)方法的算法，并通過模擬比較他們在覆蓋率與置信區(qū)間長度方面的表現(xiàn)。從模擬結(jié)果可以看出，在直接法中，由于用核估計(jì)方法來估計(jì)漸近方差中未知的密度函數(shù)，依賴于誤差獨(dú)立同分布的假定。如果誤差分布不是獨(dú)立同分布時(shí)，此估計(jì)效果不是很理想。重復(fù)抽樣法計(jì)算估計(jì)的算法雖然需要上百次的重新計(jì)算估計(jì),計(jì)算量比較大，但是覆蓋率較好。誘導(dǎo)光滑法計(jì)算方法簡單，其估計(jì)的置信區(qū)間長度最小，但是在小樣本時(shí)覆蓋率較低。建議如果數(shù)據(jù)樣本量比較小時(shí)，考慮用加權(quán)自助法估計(jì)參數(shù)的置信區(qū)間，當(dāng)樣本量較大時(shí)，用誘導(dǎo)光滑法構(gòu)造參數(shù)的置信區(qū)間。

[1] Koenker R， Bassett G. The asymptotic distribution of the least absolute error estimator[J]. Journal of the American Statistical Association，1978,73:618-622.

[2] 王純杰，董小剛，陳嘉，等.基于分位數(shù)回歸的長春市職工工資水平的分析[J].長春工業(yè)大學(xué)學(xué)報(bào)：自然科學(xué)版，2010,31(4):367-373.

[3] 何大強(qiáng)，張海燕.吉林省農(nóng)村居民消費(fèi)水平分析[J].長春工業(yè)大學(xué)學(xué)報(bào)：自然科學(xué)版，2013,34(4):452-456.

[4] Efron B. Bootstrap methods: another look at the Jackknife [J]. Annals of Statistics,1979,7(1):1-26.

[5] Brown B M, Wang Y G. Standard errors and covariance matrices for smoothed rank estimators [J]. Biometrika,2005,92(1):149-158.

[6] Wang Y, Shao Q, Zhu M, et al. Quantile regression without the curse of unsmoothness [J]. Computational Statistics & Data Analysis,2009,53(10):3696-3705.

[7] Pang L, Lu W, Wang H. Variance estimation in censored quantile regression via induced smoothing [J]. Computational Statistics and Data Analysis,2012,56(4):785-796.

[8] Leng C, Zhang W. Smoothing combined estimating equations in quantile regression for longitudinal data [J]. Statistics and Computing,2014,24(1):123-136.

[9] Lu X, Fan Z. Weighted quantile regression for longitudinal data [J]. Computational Statistics,2015,30(2):569-592.

[10] Koenker R. Quantile regression [M]. Cambridge: Cambridge University Press,2005.

[11] Koenker R, Machado J A F. Goodness of fit and related inference processes for quantile regression [J]. Journal of the American Statistical Association,1999,94(448):1296-1310.

[12] Hall P, Sheather S J. On the distribution of a studentized quantile [J]. J. R. Stat. Soc. B.，1988,50:381-391.

[13] Arcones M, Gine E. On the bootstrap of M-estimators and other statistical functionals[C]// In R. LePage & L. Billard (eds.), Exploring the Limits of Boorstrap，1992：13-47.

[14] Jin Z, Ying Z, Wei L J. A simple resampling method by perturbing the minimand[J]. Biometrika,2001,88(2):381-390.

[15] Tang C Y, Leng C. Empirical likelihood and quantile regression in longitudinal data analysis[J]. Biometrika,2011,98(4):1001-1006.

Comparison analysis of quantile regression interval estimation

YUAN Xiaohui， JU Tingting， CHEN Jing

(School of Basic Science, Changchun University of Technology, Changchun 130012， China)

Three confidence interval estimationmethod for quantile regression model are introduced, which are direct method, bootstrap and induced smoothing method. The performance and the features of these methods for the confidence interval estimation are compared by simulation.

quantile regression; induced smoothing; bootstrap.

2016-11-21

吉林省科技廳青年科研基金資助項(xiàng)目(20150520055JH)

袁曉惠(1983-)，女,漢族，四川廣元人，長春工業(yè)大學(xué)講師,博士，主要從事缺失數(shù)據(jù)方向研究,E-mail:yuanxh@ccut.edu.cn.

10.15923/j.cnki.cn22-1382/t.2017.2.04

O 212.1

A

1674-1374(2017)02-0122-05