負二項回歸模型的重對數(shù)律和強相合性

楊曉偉,張軍艦

(1.廣西師范大學 數(shù)學與統(tǒng)計學院，廣西 桂林 541006；2.巢湖學院 數(shù)學與統(tǒng)計學院，安徽 合肥 238000)

負二項回歸模型主要研究負二項型響應(yīng)變量和一組解釋變量之間的關(guān)系，廣泛應(yīng)用于計量經(jīng)濟學等領(lǐng)域中，例如分析面板負二項模型選擇問題等。負二項回歸除參數(shù)估計外，另一個重要功能是能夠搜索最能解釋或預測響應(yīng)變量的子集，該過程相當于變量選擇過程。在模型選擇領(lǐng)域中最新文獻有很多，它們以不同方式處理不同模型。查閱文獻[1-3]并做詳細調(diào)查，發(fā)現(xiàn)負二項回歸模型選擇方法很少被研究。負二項回歸模型選擇理論方法的缺失給實際應(yīng)用帶來諸多不便。為此，本文研究側(cè)重于該類模型選擇準則的漸近性質(zhì)，包括AIC、BIC、MallowsCp和隨機復雜度或負二項回歸模型的最小描述長度。其漸近性研究的副產(chǎn)品是基于負二項回歸模型構(gòu)建了最大似然估計(MLE)的重對數(shù)律，即

其中d為某給定常數(shù)，‖·‖表示歐氏范數(shù)。由重對數(shù)律提供的MLE收斂速率在導出似然函數(shù)的精確近似時是非常有用的。

與本文相關(guān)的早期研究有Cameron和Trivedi[4]以及Qian和Field[5]，其重點僅限于Poisson模型和邏輯回歸模型。本文考慮更一般的情況，即允許存在任何有意義聯(lián)系函數(shù)的負二項回歸模型。Qian和Field[5]提出的方法不能推出這種看似簡單的理論表達，它需要一種實質(zhì)性的證明技術(shù)。首先，這種泛化的對數(shù)似然函數(shù)失去了邏輯聯(lián)系下?lián)碛械暮唵涡院鸵恍┖玫男再|(zhì)，例如全局凸性，因此，要建立對數(shù)似然函數(shù)強的性質(zhì)表示，使得各種可靠一致界限的給定變得更加困難。響應(yīng)變量服從負二項分布，但并沒有緩解這種困境。其次，聯(lián)系函數(shù)具體表達的缺乏是另一個困難因素，因此，需要對一些條件進行限定，并適當?shù)卣{(diào)整聯(lián)系函數(shù)以獲得所需的模型選擇性能。

1 負二項回歸模型選擇

假設(shè)負二項回歸設(shè)計數(shù)據(jù)服從兩參數(shù)具有過離散性的負二項分布

負二項回歸的最大對數(shù)似然函數(shù)為

參數(shù)β的費希信息陣為

2 相關(guān)條件和主要結(jié)論

2.1 相關(guān)條件

為了證明主要結(jié)果，需要先給定以下假設(shè)條件：

(C1)存在正的常數(shù)b1、b2，滿足b1n≤λ1{In(β0)}≤λp{In(β0)}≤b2n；

2.2 主要結(jié)論

定理1若條件(C1)～(C5)成立，則對任意正確模型α∈Ac，有

(1)

進一步，存在常數(shù)d>0，滿足對任意α∈Ac，有

定理2在條件(C1)～(C5)下，對任意正確模型α∈Ac，有

(2)

定理3在條件(C1)～(C5)下，對任意錯誤模型α∈Aω，有

(3)

定理4若一個負二項回歸模型滿足條件(C1) ～ (C5)，則模型對于BIC和SCC準則都是強收斂的，而對于AIC準則是收斂的但不是強收斂。

3 主要結(jié)論的證明

證明的關(guān)鍵在于負最大對數(shù)似然函數(shù)的凸性、二次逼近、負二項標準分布的伽瑪逼近以及獨立隨機變量的重對數(shù)律。凸性的應(yīng)用是廣泛的，另外漸近性理論的建立和線性模型M估計量的代表性文獻有很多，具體可查文獻[14-16]。

根據(jù)ξn定義和條件(C1)、(C2)，容易看出存在一個正的序列{τn}滿足

利用τn定義如下2個子集：

顯然，B1?B2?B3?…?Bn，進一步定義：

令K(r,s)=f(r)-f(s)-f′(s)(r-s)，式中f(s)=θln(θ+es)，則

(4)

為方便證明，先給出幾個引理。

引理1函數(shù)K(r,s)有以下幾個性質(zhì)：

①K(r,s)≥0對任意數(shù)值r和s都成立；

②K(r,s)是關(guān)于r的嚴格凸函數(shù)；

③ 存在常數(shù)c1，滿足

證明注意到K(r,s)=f(r)-f(s)-f′(s)(r-s)，f(s)=θln(θ+es)。由泰勒展開式，存在某數(shù)值v介于r與s之間，且

引理2設(shè)W服從負二項分布NB(μi,θ)，參數(shù)θ已知，對任意t>0，有

式中b為某一常數(shù)。

引理2由文獻[17]中引理6.1修改而得，證明略。

引理4假設(shè)B是正定矩陣，對任意向量X≠0,V(X)=XTBX>0，則

式中λmin=min{|λ|：λ是矩陣B的特征值}，λmax=max{|λ|:λ是矩陣B的特征值}。

引理4由文獻[15]中引理6修改而得，證明略。

引理5若條件(C1)～(C3)成立，則

(5)

(6)

證明顯然式(6)的結(jié)論來源于式(5)和條件(C1)，故僅需證明式(5)。不失一般性，假定xkj>0。利用條件信息yk～NB(μi,θ)，θ已知，由In(β0)的定義易證，對于j=1,…，p,

(7)

(8)

由條件(C1)，當n→∞時式(8)成立。

進一步，對于j=1,…，p,

(9)

P{|(yn-μ0n)xnj|>εdnj}=P{|yn-μ0n|>εdnj|xnj|-1}。

(10)

由引理2，yn～NB(μ0n,θ)，θ已知。若令t=εdnj|xnj|-1，Eyn=μ0n，則

(11)

式中b為常數(shù)。注意到(C1)和不等式λ1{In(β0)}≤In(β0)(j,j)≤λp{In(β0)}，則

由上述不等式得，

由條件(C2)和ε的任意性，當n充分大時，有

(12)

根據(jù)式(10)～(12)，有

(13)

當n充分大時，由式(13)和條件(C1)，得

下面證明定理1。

定理1的證明對真實模型，要證明式(1)，證明

(14)

顯然是充分的。應(yīng)用引理1結(jié)論③，有

上述不等式的成立應(yīng)用了引理4的結(jié)論。由條件(C1)，

(15)

另一方面，利用式(4)、(6)，

(16)

(17)

由式(15)～(17)，存在b6>0，使得

(18)

(19)

因為序列{τn}是盡可能慢的趨于無窮，則由式(19)可得式(14)。

(20)

從而推出式(19)是正確的。根據(jù)引理1③的結(jié)論，對于式(4)，有

(21)

(22)

另一方面，根據(jù)引理5，存在一個正整數(shù)序列{ni↑∞}滿足

故當ni充分大時，有

(23)

由式(23)，當ni充分大時，有

(24)

由條件(C1)，

(25)

同時，當n充分大時，有

(26)

由式(25)、(26)，當ni充分大時，

由式(21)、(25)，當ni充分大時，

(27)

類似地，

(28)

結(jié)合式(24)、(27)、(28)，當ni充分大時，

由式(26)，

(29)

(30)

顯然，式(30)與式(22)是矛盾的，即式(20)的假定是錯誤的。因此，對正確模型，

是成立的。定理1證畢。

下面證明定理2。

定理2的證明根據(jù)定理1的證明，若要證明式(2)，即證式(31)。由H(β,n)的定義可知

(31)

(32)

結(jié)合引理5的式(6)和定理1，得

(33)

(34)

下面證明定理3。

(35)

定義

(36)

利用引理1結(jié)論③、式(4)、條件(C4)，可得，

(37)

類似地，由式(16)可證明

(38)

(39)

根據(jù)式(4)，有

(40)

聯(lián)立式(37)～(39)，則式(40)、(36)成立，隨之式(35)成立。定理3證畢。

本章最后證明定理4。

定理4的證明由于Fisher信息陣的行列式|I(β(α))|通常是O(npα)階的，SCC和BIC懲罰項都是關(guān)于模型維數(shù)pα的遞增函數(shù)且是O(lnn)階的，從定理2和定理3的結(jié)論可推出SCC和BIC都是強相合的。由于AIC懲罰項為O(1)階，故不一定是強相合的。但AIC顯然是相合的，因為當n充分大時，正確模型的標準誤差幾乎必然小于任何錯誤模型且大于τn。定理4證畢。

4 后續(xù)工作

本文基于響應(yīng)變量服從負二項分布，且候選模型依據(jù)可用解釋變量作為假設(shè)前提獲得漸近結(jié)果。由于實際應(yīng)用中可能存在一些潛在變量，這些變量也會影響響應(yīng)變量，在這種情況下，對響應(yīng)變量可引入混合負二項分布來建模，利用過度離散參數(shù)來解釋潛在變量的影響。查閱文獻[8]第6章過度離散對數(shù)線性模型的詳細內(nèi)容可發(fā)現(xiàn)，將本文的漸近結(jié)果擴展到上述情況是非常困難的，但對于模型選擇仍應(yīng)關(guān)注那些可用解釋變量。當然對于混合負二項分布(可模仿文獻[21]中的證明來表示)能夠獲得類似引理2的結(jié)果，同時也可得到與定理1至4相同的結(jié)論。將漸近結(jié)果推廣到除具有對數(shù)關(guān)聯(lián)之外聯(lián)系函數(shù)的負二項回歸模型仍在研究之中，這些研究不僅涉及模型選擇標準，還有許多其他模型選擇方法，例如分層貝葉斯法[22]和Lasso[23]等，本文的結(jié)果可能不適用。另外，除確定模型選擇標準并評估其漸近性質(zhì)之外，還存在針對大量候選模型如何執(zhí)行模型選擇的計算問題，特別當候選模型數(shù)量(通常為2p)很大時，這將變得尤為重要，后續(xù)的工作也會對此問題進行更深入地研究。