李靜茹，錢偉民

（同濟(jì)大學(xué) 數(shù)學(xué)系，上海200092）

1 引言

非參數(shù)回歸模型由于其形式自由、對(duì)數(shù)據(jù)的假定要求小、穩(wěn)健性高等優(yōu)點(diǎn)而越來(lái)越受到重視.但常用的非參數(shù)估計(jì)方法在估計(jì)多元的非參數(shù)回歸函數(shù)時(shí)需要大量數(shù)據(jù)，估計(jì)極不穩(wěn)定，人們稱這種現(xiàn)象為“維數(shù)禍根”.對(duì)于高維數(shù)據(jù)近年來(lái)半?yún)?shù)回歸分析受到廣泛關(guān)注，其中變系數(shù)模型是一個(gè)研究的熱點(diǎn)，它具有結(jié)構(gòu)簡(jiǎn)單、容易解釋、應(yīng)用廣泛等特點(diǎn).

本文討論變系數(shù)模型：

變系數(shù)模型是一般線性模型的推廣，由Hastie和Tibshirani［1］提出.對(duì)于函數(shù)項(xiàng)系數(shù)的估計(jì)，主要方法有核估計(jì)最小二乘方法；光滑樣條補(bǔ)償最小二乘法（Wahba［2］）；局部多項(xiàng)式法［3-5］等.Hoover等［6］將變系數(shù)模型推廣到縱向數(shù)據(jù)的分析，給出了函數(shù)項(xiàng)系數(shù)的局部多項(xiàng)式估計(jì).

在非參數(shù)縱向數(shù)據(jù)的局部模型中，考慮相關(guān)結(jié)構(gòu)十分重要.Wang［7］、Lin等［8］證明了使用真正的相關(guān)結(jié)構(gòu)的核光滑樣條方法要比使用獨(dú)立結(jié)構(gòu)得到的估計(jì)更有效.但在實(shí)際中方差結(jié)構(gòu)通常是未知的，經(jīng)驗(yàn)上估計(jì)非構(gòu)造的相關(guān)結(jié)構(gòu)很困難，存在可能非正定、不可逆和冗余參數(shù)多等對(duì)估計(jì)至關(guān)重要的問(wèn)題.采用Liang等［9］提出的使用工作相關(guān)矩陣的廣義估計(jì)方程方法，又會(huì)產(chǎn)生大量的不必要的待估參數(shù).Qu等［10］提出了二次推斷函數(shù)方法，用一系列基矩陣的線性組合來(lái)逼近工作相關(guān)矩陣.這一方法的好處是可以把線性組合中的系數(shù)視為冗余參數(shù)，不予理睬，而通過(guò)最小化二次推斷函數(shù)，直接獲得參數(shù)的估計(jì).Qu和Li［11］將這一思想應(yīng)用于縱向數(shù)據(jù)變系數(shù)模型，通過(guò)懲罰樣條方法得到函數(shù)系數(shù)的估計(jì).

本文利用了二次推斷函數(shù)的思想，使用局部多項(xiàng)式（一階）光滑法建立了縱向數(shù)據(jù)變系數(shù)模型的核權(quán)二次推斷函數(shù)，基于此得到函數(shù)系數(shù)的估計(jì)，并證明了估計(jì)的漸近性質(zhì).在隨機(jī)模擬中對(duì)核權(quán)二次推斷函數(shù)估計(jì)與非構(gòu)造協(xié)方差結(jié)構(gòu)的最小二乘估計(jì)做了比較.Lin和Carroll［12］指出，最漸近有效的核估計(jì)是在完全忽略樣本相關(guān)性得到的.但在實(shí)際中充分大的樣本容量和趨向于0的窗寬都不易達(dá)到，模擬中會(huì)發(fā)現(xiàn)獨(dú)立結(jié)構(gòu)下的估計(jì)并不總是最好的.由此可以給出了一種選取核權(quán)二次推斷函數(shù)方法窗寬的一種方法，以及如何確定擬合的工作相關(guān)結(jié)構(gòu).

2 估計(jì)方法

3 漸近性質(zhì)

假設(shè)以下條件成立：

條件1：系數(shù)函數(shù)βk（·）有連續(xù)二階導(dǎo)數(shù)，k=1，…，p.

條件2：tij，i=1，…N，j=1，…ni獨(dú)立同分布，密度函數(shù)f（t）有連續(xù)一階導(dǎo)數(shù).

定理證明略去.

綜上，使用局部多項(xiàng)式擬合構(gòu)造了核權(quán)二次推斷函數(shù)，可以證明由此得到的函數(shù)系數(shù)具有漸近正態(tài)性和強(qiáng)相合性.與Qu等［11］的使用懲罰樣條方法所得到的的結(jié)論是類似的.與樣條方法相比，局部多項(xiàng)式擬合的計(jì)算速度略慢，但卻具有同時(shí)估計(jì)系數(shù)函數(shù)及其各階導(dǎo)數(shù)的優(yōu)勢(shì).樣條方法通過(guò)控制節(jié)點(diǎn)數(shù)和懲罰系數(shù)來(lái)控制擬合的誤差與光滑度，而局部多項(xiàng)式估計(jì)是選取合適的窗寬來(lái)完成這一任務(wù)的，兩者均是非參數(shù)回歸的主要方法.同時(shí)局部多項(xiàng)式估計(jì)時(shí)線性估計(jì)類中的最佳估計(jì)，它具有幾個(gè)吸引人的特點(diǎn)，例如它有好的最小最大性質(zhì)，可適用于各種設(shè)計(jì)，如隨機(jī)設(shè)計(jì)和固定設(shè)計(jì)等；它容易解釋、實(shí)施并適應(yīng)于導(dǎo)數(shù)的估計(jì)等.

4 隨機(jī)模擬

數(shù)據(jù)生成模型類似于Qu等［11］中的例2，具體如下：

（3）εi～MV（0，Σi），Σi為對(duì)角線為2，其余位置為1.6的ni階方陣.

圖1 固定窗寬h＝1.2時(shí)，100次模擬的MADE比值散點(diǎn)圖Fig.1 Scatter diagrams for the MADE’s ratios ofrespectively in 100simulations with fixed h＝1.2

R h 0.4 0.8 1.2 1.6 2.0 2.4 1 1.078 0.98 1.00 1.04 1.00 0.98 2 1.09 0.94 0.85 0.80 0.87 1.03 3 1.25 1.05 1.06 0.96 0.92 0.96 4 1.16 1.21 1.05 0.99 0.97 1.02 5 0.99 0.99 0.89 0.98 1.11 1.25 1 1.10 0.99 0.94 0.99 1.10 1.21 2 1.10 0.95 0.91 0.98 1.13 1.25 3 0.95 0.90 0.93 0.96 1.06 1.15 4 1.06 1.05 0.98 0.99 1.06 1.16 5 1.06 0.93 0.99 1.13 1.30 1.44 R=MADE，β^ex MADE，β^（0）N=100 R=MADE，β^QIF4 MADE，β^（0）N=100

序號(hào) R h0 hQIF4序號(hào) R h0 hQIF4 1 1.03 1.53 1.80 11 0.86 1.53 1.80 2 1.01 1.53 1.6212 1.11 1.35 1.80 3 0.93 1.53 1.8013 1.00 1.62 1.71 4 0.89 1.35 1.3514 0.89 1.44 1.71 5 1.28 1.62 1.5315 0.92 1.62 1.80 6 0.93 1.53 1.8016 1.04 1.80 1.53 7 0.95 1.44 1.8017 1.01 1.53 1.62 8 1.20 0.99 0.9018 0.90 1.44 1.80 9 1.17 1.80 1.7119 1.03 1.62 1.44 10 1.15 1.26 1.3520 0.97 1.62 1.80

眾所周知，核估計(jì)中窗寬h的選擇至關(guān)重要，h選擇過(guò)大，會(huì)使估計(jì)的偏差加大，h選擇過(guò)小雖然可以減少估計(jì)的偏差，但卻增加了估計(jì)的方差，造成“過(guò)擬合”的現(xiàn)象.通過(guò)以上模擬可以看到，使用核權(quán)二次推斷函數(shù)方法，選擇合適的h，在局部范圍內(nèi)適當(dāng)引入了數(shù)據(jù)間的相關(guān)結(jié)構(gòu)，既可以保證估計(jì)的效果足夠令人滿意，也不會(huì)造成“過(guò)擬合”的結(jié)果.

［1］ Hastie T J，Tibshirani R J.Varying-coefficient models（with discussion）［J］.Journal of the Royal Statistical Society Series B，1993，55（4）：757.

［2］ Wahba G.Spline models for observational data ［M ］.Philadelphia：SIAM，1990.

［3］ Stone C J.Consistent nonparametric kernel regression［J］.Annals of Statistics，1997，5（4）：595.

［4］ Cleveland W S.Robust locally weighted regression and smoothing scatterplots［J］.Journal of the American Statistical Association，1979，74：828.

［5］ Fan J.Design-adaptive nonparametric regression［J］.Journal of the American Statistical Association，1992，87：998.

［6］ Hoover D R，Rice J A，Wu C O，et al.Nonparametric smoothing estimates of time-varying coefficient models with longitudinal data［J］.Biomatrika，1998，85：809

［7］ Wang N.Marginal nonparametric kernel regression accounting for within-subjuct correlation［J］.Biometrika，2003，90：43.

［8］ Lin X，Wang N，Welsh A H，et al.Equivalent kernels of smoothing splines in nonparametric regression for clustered/longitudinal data［J］.Biometrika，2004，91：177.

［9］ Liang K Y ，Zegger S L.Longitudinal data analysis using generalized linear models［J］.Biometika，1986，73：12.

［10］ Qu A，Lindsay B G，Li B.Improving geralised estimating equations using quadratic inference functions［J］.Biometrika，2000，87：823.

［11］ Qu A，Li R.Quadratic inference function for varyingcoefficient models with longitudinal data［J］.Biometrics，2006，62：379.

［12］ Lin X，Carroll R J.Nonparametric function estimation for clustered data when the predictor is measured without/with error［J］.Journal of the American Statistical Association，2000，95：520.

［13］ Wedderburn R W M.Quasi-likelihood functions，generalized linear models，and the Gauss-Newton method［J］.Biometrika，1974，61：439.

［14］ Qu A，Lindsay B G.Building adaptive estimating equations when inverse-of-covariance estimation is difficult［J］.Journal of the Royal Statistical Society Series B，2003，65：127.