關(guān)于獨(dú)立同分布隨機(jī)序列的若干極限定理

簡(jiǎn)旭，吳玉，范愛華

（安徽工業(yè)大學(xué)數(shù)理學(xué)院，安徽馬鞍山243032）

關(guān)于獨(dú)立同分布隨機(jī)序列的若干極限定理

簡(jiǎn)旭，吳玉，范愛華

（安徽工業(yè)大學(xué)數(shù)理學(xué)院，安徽馬鞍山243032）

利用Borel-Cantelli引理與概率論極限理論中的純分析方法，給出了獨(dú)立同分布隨機(jī)序列滑動(dòng)平均的熵定理和中心極限定理。概率論中關(guān)于獨(dú)立同分布的經(jīng)典結(jié)果—漸近均分性定理以及中心極限定理是本文的推論。

熵；Borel-Cantelli引理；強(qiáng)極限定理；中心極限定理

在信息論中，與大數(shù)定律相對(duì)應(yīng)的漸近均分性（AEP）是強(qiáng)大數(shù)定律的直接推論。大數(shù)定律針對(duì)獨(dú)立同分

本文在文獻(xiàn)[10]的基礎(chǔ)上，利用隨機(jī)變量矩母函數(shù)的性質(zhì)，構(gòu)造幾乎處處收斂的隨機(jī)序列，用分析方法將信息論中經(jīng)典的關(guān)于獨(dú)立同分布隨機(jī)序列的漸近均分性定理以及經(jīng)典的中心極限定理推廣到滑動(dòng)平均的情形。

1 預(yù)備知識(shí)

定義1設(shè)ξ是定義在概率空間{Ω,F,P}上的隨機(jī)變量，且有概率函數(shù)或概率密度函數(shù)p(x)，稱為隨機(jī)變量ξ的熵。

引理1（Borel-Cantelli）設(shè)是一列隨機(jī)事件，若

2 主要結(jié)論

定理1設(shè)是定義在概率空間{Ω,F,P}上的一列獨(dú)立同分布隨機(jī)序列，0≤a1≤a2≤…an≤…是一列固定的正整數(shù)列，且當(dāng)δ＞0時(shí)，ξ的矩母函數(shù)M(t), |t|＜δ存在，Η(ξ)由式（1）定義。則

證明令

設(shè)s∈(-δ,+δ)，定義隨機(jī)變量

由于{ηn, n≥1}是獨(dú)立同分布，于是有

由Markov不等式，有

對(duì)?ε＞0,有

由Borel-Cantelli引理，有

由ε的任意性可知

由式（2），（3），得

當(dāng)-δ＜s＜0時(shí)，上式兩邊同時(shí)除以-s，有

令s↓0，由Hospital法則及矩母函數(shù)性質(zhì)，有

定理2在定理1的假設(shè)下，若,則當(dāng)n→∞時(shí)，有

證明注意到是獨(dú)立同分布的隨機(jī)序列,則由矩母函數(shù)的性質(zhì)有

又當(dāng)n充分大時(shí),利用泰勒展開式,有

由于矩母函數(shù)與分布函數(shù)是一一對(duì)應(yīng)的關(guān)系,則

[1]A lgoet PH,Cover TM.A sandw ich proof of the Shannon M cM illan Breiman theorem[J].The Annals of Probability,1988,16(2): 899-909.

[2]Cover TM,Thomas JA.Elementsof Information Theory[M].[S.l.]:JohnWiley&Sons,Inc.1991.

[3]Shiryayev A.Probabbility[M].[S.l.]:Springer-Verlag,1984.

[4]董云，胡萍，汪忠志.關(guān)于廣義Borel強(qiáng)大數(shù)定理的一個(gè)注記[J].安徽工業(yè)大學(xué)學(xué)報(bào)：自然科學(xué)版，2012,29(4):385-387.

[5]Liu W.Relativ entropy densities and a class of lim it theorems or the sequence ofm-valued random variables[J].The Annals of Probability,1990,18(2):829-839.

[6]Wang Z Z.Some strong deviation theoremsand limitproperties for continuous information source[J],SoutheastAsian Bulletin of Mathematics,2006,30:1157-1167.

[7]Wang Z Z.A classof random deviation theorems for sumsof nonnegative stochastic sequencesand strong law of large numbers[J]. Statistics&Probability Letters.2006,76(18):2017-2026.

[8]王康康，葉慧，李芳.任意信源的一類廣義Shannon-M cm illan定理[J].數(shù)學(xué)雜志,2011,31(2):307-313.

[9]楊光，陳文波.相依序列無規(guī)則性的若干強(qiáng)偏差定理[J].安徽工業(yè)大學(xué)學(xué)報(bào)：自然科學(xué)版，2013,30(2):182-186.

[10]汪忠志，楊衛(wèi)國.關(guān)于隨機(jī)序列滑動(dòng)平均的若干強(qiáng)偏差定理[J].系統(tǒng)科學(xué)與數(shù)學(xué)，2011,28(5):702-706.

責(zé)任編輯：丁吉海

On Some LimitTheorems for Identically Independent Distributed Random Sequence

JIAN Xu,WU Yu,FANAihua
(SchoolofMathematicsand Physics,AnhuiUniversity of Technology,Ma'anshan 243032,China)

By using Borel Cantelli lemma and the pure analysismethod of probability lim it theory,themoving average entropy theorem and the central lim it theorem for independent identically distributed random sequence are obtained,which generalizes some classical resultsandmakes the classical theorem of asymptotic equipartition theorem and the central lim it theorem of independent identically distributed random variables as the corollaries of thispaper.

entropy;Borel-Cantelli lemma;strong lim it theorem;central lim it theorem

O211.4

A

10.3969/j.issn.1671-7872.2014.02.022

1671-7872(2014)02-0209-03

2013-08-05

安徽省自然科學(xué)基金（1408085MA04）；安徽工業(yè)大學(xué)研究生創(chuàng)新基金資助(201289)

簡(jiǎn)旭（1989-），女，湖北咸寧人，碩士生，研究方向?yàn)楦怕收摌O限理論。

范愛華（1964-），女，安徽安慶人，教授，研究方向?yàn)楦怕收摷捌鋺?yīng)用。