隨機向量獨立性檢驗的研究

徐文青

(河南工程學院 數理科學系，河南 鄭州 451191)

用隨機模擬方法解決實際問題時，選用的隨機數很重要，而衡量隨機數好壞的一個很重要的指標就是其獨立性.對于服從高維均勻分布的隨機數來說，其獨立性尤為重要.Ferrenberg等人曾指出，在統計物理學上很著名的Ising模型的Monte Carlo模擬中，因Tausworthe序列內的微妙相關而得到了完全錯誤的結果.Grassberger也發(fā)現了在統計物理學上另一個很著名的模型(三維自回避行走SAW)的Monte Carlo模擬也因Tausworthe序列的相關而出現類似的問題[1]，這就使得研究隨機序列的獨立性成為一項很重要的工作.為了更充分地把握隨機向量的獨立性,一個很自然的想法就是對隨機向量進行獨立性檢驗.

1 常見的獨立性檢驗方法的特點分析

目前，對二維隨機向量(X，Y)的獨立性檢驗已有不少的研究，常見的方法有Pearson相關檢驗、Spearman秩相關檢驗、適應性檢驗[2]和核檢驗[3]等，這些方法通常都考慮如下檢驗問題：

1)H0：X與Y獨立；

2)H1：X與Y正相關.

假設(Xi，Yi)，i=1，2，…，n是(X，Y)的i.i.d.樣本，構造一個適當的統計量來進行檢驗. 這些方法都是在原假設為“X和Y相互獨立”的前提下去做的，這樣可以控制將“X和Y相互獨立”錯判成“X和Y不相互獨立”的概率.由于假設檢驗有保護原假設的傾向，即容易得到接受“X和Y相互獨立”的結論.一旦拒絕了原假設,那么將給“X和Y不相互獨立”提供有力的支持.但是，如果接受了原假設，只是說明我們沒有充足的證據反對它而已，支持的理由并不充分.在這種情況下，接受原假設與結論“X和Y相互獨立”之間有很大的差異.下面通過一個具體的例子來說明這種弊端.

例1 考慮如下模型：

0

首先給出下面2個引理：

引理1 沿用上述記號，則有ω1～U[0，1]，ω2～U[0，1].

證明由上述定義可知：

ω1=ζη1+(1-ζ)ξ1，ω2=ζη1+(1-ζ)ξ2.

對于任意的實數x，由全概率公式可求出ω的邊緣分布，即：

即：ω1～U[0，1]. 同理可證ω2～U[0，1].

引理2ω1和ω2的相關系數為P.

根據上述模型，取P=0.047，由上面的結論知：ω1和ω2是相關的，從而不獨立.

下面再用現有的方法對ω1和ω2進行獨立性檢驗，取顯著性水平為0.05. 現用計算機模擬產生7 000個ω=(ω1，ω2)的隨機樣本.

用Pearson檢驗方法對ω=(ω1，ω2)進行獨立性檢驗，通過計算可得：P=0.096 6，顯然接受原假設,認為ω1和ω2相互獨立.

用Spearman檢驗方法對ω=(ω1，ω2)進行獨立性檢驗，通過計算可得：P=0.093 5，也是接受原假設,認為ω1和ω2相互獨立.

這顯然是錯誤的，出現錯誤的原因正是由于這些方法都是以“ω1和ω2相互獨立”為原假設，從而有保護原假設的傾向.但是在進行隨機模擬時，往往都要求隨機變量是相互獨立的，因此，在這種情況下，研究控制將“兩個隨機變量不獨立” 錯判成“兩個隨機變量獨立”的犯錯誤的概率的方法具有理論和應用價值，所以應該重新考慮在獨立性檢驗中的原假設的設置問題.

2 檢驗隨機向量是否獨立的新方法

通常，隨機數生成算法的研究都是以[0，1]上的均勻分布為基礎設計的，然后通過適當的函數變換來得到其他分布(如正態(tài)分布、指數分布等)的隨機數.一般軟件中都給出了均勻分布隨機數的生成方法，為了模擬時的方便，本文也從最簡單的均勻分布著手，來研究隨機向量的獨立性，進而對結論做進一步的推廣.

對于二維隨機向量(X，Y)來說，假設X和Y分別服從U[0，1]，則(X，Y)是否服從[0，1]×[0，1]上的均勻分布與X和Y是否獨立有如下關系：

引理3 在二維隨機向量(X，Y)中，X～U[0，1]，Y～U[0，1]，則(X，Y)～U[0，1]2?X和Y相互獨立.

根據引理3，本文在研究X和Y的獨立性時，轉化為研究(X，Y)是否服從[0，1]×[0，1]上的均勻分布.

假設X～U[0，1]，Y～U[0，1]，且F(x，y)是隨機向量(X，Y)的分布函數.考慮如下的假設檢驗問題:

拒絕域的形式為：Da={ζ≤a}，其中a>0，為臨界值.

在證明該結論之前，首先給出3個引理.

證明令η=I(0，x)(Xi)I(0，y)(Yi)，i=1，2，…，n.由條件知：η1，η2，…，ηn獨立同分布，

并且Eηi=E(I(0，x)(Xi)I(0，y)(Yi))=P(0

Dηi=Dηi2-(Eηi)2=F(x，y)-F(x，y)2=σ2.

證明沿用引理4的記號，可知

由引理4知，當n充分大時，近似地有

假設F(x，y)是二元連續(xù)函數，則當原假設H0成立時，存在(x0，y0)使得μ0=F(x0，y0)-x0y0且

所以當0

定理1 對于原假設H0，顯著性水平α的拒絕域的具體形式為：

3 新方法的檢驗效果

對于例1中的模型來說，取P=0.047可知ω1和ω2相互獨立的，但用傳統的獨立性檢驗方法來檢驗時，卻得到了錯誤的結論.下面再用本文提出的新方法對ω1和ω2進行獨立性檢驗，取顯著性水平α=0.05，樣本量n仍為7 000，由定理1計算可得拒絕域為：Da={ξ≤0.000 17}，檢驗統計量的值為：ξ=0.014.顯然ξ>α，即ξ落入接受域,從而接受原假設H0認為ω=(ω1，ω2)不服從[0，1]×[0，1]上的均勻分布，再由引理1可知，ω1和ω2不獨立.顯然，經過比較可知，這種新的檢驗方法得到的結果更合理.

此外，用3種不同的隨機數生成方法分別產生ω=(ω1，ω2)的樣本量為8 000和100 000的i.i.d樣本進行數據模擬，結果表明本文所提的新方法能更好地區(qū)分不獨立的隨機變量.

4 新方法的推廣

上面給出的方法是基于X和Y都是服從均勻分布構造的，事實上，對于其他連續(xù)分布函數也同樣適用.

引理7[4]若隨機變量ξ的分布函數F(x)，其中F(x)為連續(xù)函數,則F(ξ)～U[0，1].

引理8 若隨機變量ξ～F1(x)，ξ2～F2(x)，其中F1(x)，F2(x)為連續(xù)函數,則F1(ξ1)與F2(ξ2)相互獨立等價于ξ1與ξ2相互獨立.

因此，對于任意2個服從連續(xù)分布的隨機變量ξ1～F1(x)，ξ2～F2(x)，顯然F1(ξ1)與F2(ξ2)滿足新方法中的假設條件，要檢驗ξ1與ξ2是否相互獨立，只需用新方法檢驗F1(ξ1)與F2(ξ2)是否相互獨立即可，這樣就使得本文所提出的新方法的適用范圍更寬泛.

參考文獻：

[1] 楊自強，魏公毅.綜述：產生偽隨機數的若干新方法[J].數值計算與計算機應用，2001(3):206-207.

[2] Egmar R?del,Wolfgang k?ssler. Linear rank tests for independence in bivariate distributions-power comparisons by simulation[J].Computational Statistics & Data Analysis,2004(46): 645-660.

[3] Gretton A, Fukumizu K, Teo C,et al. A kernel statistical test of independence[J].Advances in NIPS, 2008(4): 585-592.

[4] 李賢平.概率論基礎[M].北京：高等教育出版社，2003:152-153.