大数定律与切比雪夫不等式-概率论与数理统计

定义5.2.1 设ξ1,ξ2,…,ξn,…是随机变量序列,记

若存在一个常数序列c1,c2,…,cn,…,使得对任意正数ε,有

则称随机变量序列{ξn}服从大数定律(LawofGreatNumbers)或说大数法则成立。

在大数定律的概念叙述中涉及一种新的收敛概念。在概率论中存在着多种不同意义下的收敛概念(如依概率1收敛、依概率收敛、平均收敛、均方收敛、依分布收敛,等等),“收敛性”的不同定义将直接导致不同类型大数定律的研究,用数学语言表述大数定律时,要用到这些收敛性的概念,由于篇幅有限,本书只研究在概率意义下的极限概念——依概率收敛的概念。

微积分中数列极限的概念可以推广到随机变量序列。随机变量序列与普通数列不同,数列的每一项是一个完全确定的数,随机变量列的每一项是一个随机变量;数列的极限是一个确定的数,而随机变量列的极限一般应该是一个随机变量或常数。因此,随机变量序列的极限应该是概率意义下的极限,这就是依概率收敛的内容。

定义5.2.2 设ξ1,ξ2,…,ξn,…是随机变量序列,ξ是一随机变量或一个常数,若对任意正数ε,有

则称随机变量序列{ξn}依概率收敛(ConvergenceinProbability)于ξ,记为

对于依概率收敛,可以证明:若连续,则有

特别地,若,则

事实上,大数定律就是论证大量随机现象的平均结果具有稳定性(或收敛)的一系列定理,根据不同的收敛条件,给出某一随机变量序列前n项平均值的收敛性。

首先给出一个非常重要的引理。

引理5.2.1 对于任何具有有限方差的随机变量ξ及任意正数ε 恒成立

式(5.2.1)称为切比雪夫(Chebyshev)不等式。

证明 记E(ξ)=μ,D(ξ)=σ2,分连续型和离散型两种情形加以证明。

(1)设ξ是连续型随机变量,它的概率密度函数为f(x),则有

(2)设ξ是离散型随机变量,它的分布律为P(ξ=xk)=pk,k=1,2,…,则有

Chebyshev不等式也常写成如下形式:

Chebyshev不等式只依据数学期望和方差就描述了随机变量取值的某些变化情况,并可对随机变量的分布进行一定程度的估计,因此它是理论研究中的一个重要工具,实际应用非常广泛。

从Chebyshev不等式可以看出,方差越小,事件的概率也越小,说明方差的确是描述随机变量与其均值偏离程度的一个量,这与我们从前的理解是完全一致的。

例5.2.1 设ξ表示掷一枚骰子所出现的点数,若给定ε=1,2,试计算,并验证Chebyshev不等式成立。

解 由题意P(ξ=k)=,k=1,2,…,6,所以

当ξ=1时,

并且,

当ξ=2时,

并且,

Chebyshev不等式成立得到验证。

例5.2.2 设电站供电网有10000盏电灯,夜晚每一盏电灯开灯的概率都是0.7,而假定开、关时间彼此独立,试用Chebyshev不等式估计夜晚同时开着灯的数目在6800与7200之间的概率。

解 设ξ表示夜晚同时开着灯的数目,则ξ～B(10000,0.7)

所以,用二项分布计算的精确表达式为

用Chebyshev不等式估计

这说明只要供应7200盏灯的电力就可以以接近95%的概率保证用电量,后面在学习中心极限定理后,依中心极限定理计算的这个概率将达到99.999%,这说明尽管Chebyshev不等式在理论上有重大意义但估计精确度不够高。

下面简要介绍几个常见的大数定律。

定理5.2.1 设随机变量ξ1,ξ2,…,ξn,…相互独立,具有有限方差,且存在常数l使D(ξk)＜l(k=1,2,…),则对任意正数ε,恒成立

定理5.2.1称为切比雪夫(Chebyshev)大数定律。

证明 因为随机变量ξ1,ξ2,…,ξn,…相互独立,D(ξk)＜l(k=1,2,…),

根据式(5.2.1)′对随机变量 应用Chebyshev不等式,则有

但任何概率不能大于1,所以

取极限得

即(www.xing528.com)

这个结果在1866年被俄国数学家切比雪夫所证明,它是关于大数定律的一个相当普遍的结论,许多大数定律的古典结果是它的特例。此外,证明这个定律所用的方法也很有创造性,以此为基础发展起来的一系列不等式成为研究极限定理的有力工具。

Chebyshev大数定律说明,当满足定理条件时,n(充分大)个独立随机变量的平均值随机变量的离散程度已经变得很小,或说 聚集在附近,即它们的差随机变量当n→∞时,依概率收敛到0。

马尔可夫(Markov)进一步放宽了Chebyshev大数定律的条件,甚至不要求随机变量序列的相互独立性,只要保证下述的Markov条件成立,即

定律结论就成立,由此可以得到更为一般的马尔可夫(Markov)大数定律:即若随机变量序列｛ξ n｝满足Markov条件,则式(5.2.2)成立。

例5.2.3(泊松大数定律) 以νn 表示n 次独立试验成功的次数,假设第i(i=1,2,…,n)次成功的概率为pi;而fn=νn/n,证明

其中pn =(p1+p2+…+pn)/n是各次试验成功概率的算术平均值。

证明 考虑服从0-1分布的随机变量ξi(i=1,2,…,n,…),

易见,νn=ξ1+ξ2+…+ξn,E(fn)=pn。由于D(ξi)=piqi≤,可见随机变量列ξ1,ξ2,…,ξn,…满足Chebyshev大数定律的条件,因此根据Chebyshev大数定律式(5.2.3)成立。

在例5.2.3中若pi 相等就可得到伯努利(Bernoulli)大数定律。

定理5.2.2 记nA 为n 次重复独立的试验中事件A 发生的次数,p 为事件A 在每次试验中发生的概率,则对任意正数ε,恒成立

定理5.2.2称为伯努利(Bernoulli)大数定律。

证明 因为nA～B(n,p),所以有

对随机变量应用Chebyshev不等式,则有

因此,

这个定理是概率论历史上的第一个大数定律,由伯努利首先发表在1713年的论文上。

Bernoulli大数定律从严格的数学意义上表述了在大量重复独立试验中事件发生频率的稳定性。正因为存在这种稳定性,概率的概念才有了客观意义,第1章所介绍的概率统计定义就有了理论基础。不仅如此,由于定理论证了当试验次数很多时,事件发生的频率与其概率之间出现较大偏差的可能性很小,而某一事件发生的频率是可以通过具体试验记录得到的,所以,在许多场合下可以将事件发生的频率作为其概率的估计,这种方法称为参数估计(在第7章将研究这些内容及其应用),它是数理统计的主要研究课题之一。

定理5.2.3 设随机变量ξ1,ξ2,…,ξn,…相互独立,服从同一分布,且E(ξk)=μ(k=1,2,…),则对任意正数ε,恒有

定理5.2.3称为辛钦大数定律。

证明略。

辛钦大数定律为平均数法则提供了理论依据。假定要测量某一物理量μ,在不变条件下测量n次,得到的结果x1,x2,…,xn 是不完全相同的,它们可以看作n个独立随机变量ξ1,ξ2,…,ξn(它们服从同一分布,且数学期望均为μ)的试验观察值。按照辛钦大数定律,当n很大时,取n次测量结果的算术平均值作为真值μ 的近似值,即

这时出现较大偏差的可能性是很小的。一般说来,测量的次数越多,近似程度越好。

用定积分 进行数值计算编程也是该定理的应用之一。基本思路是:设{ξi}是在[a,b]上服从均匀分布的一个相互独立的随机变量序列,则{f(ξi)}也是相互独立且服从同一分布的随机变量序列。由随机变量函数的数学期望的计算得:

对{f(ξi)}应用辛钦大数定律,则有所以,利用目前计算机上普遍具有的产生均匀分布随机数(Random Number)的程序即可获得{ξi}的一组具体数值,从而计算上述定积分。

特别地,如果取a=0,b=1,会发现在区间[0,1]上服从均匀分布的独立随机变量函数的平均值(当试验次数很多时)几乎就是随机变量函数的数学期望。

这种通过概率论的想法构造模型从而实现数值计算的方法,称为概率计算方法,也称蒙特卡洛(MonteCarlo)方法。

例5.2.4 假设随机变量ξ1,ξ2,…,ξn 独立,同在区间[0,1]上服从均匀分布,证明

证明 由ξ1,ξ2,…,ξn 独立同分布,可见 独立同分布;因为ξi 的概率密度同为f(x)=1(0≤x≤1),所以

因此,根据辛钦大数定律,对于任意给定的ε＞0,有

于是有

注:根据微积分的知识可以方便地求出可以通过查标准正态分布表得到。

例5.2.5 若ξ1,ξ2,…,ξn 相互独立且与ξ 具有相同的分布,并有E(ξk)=μk,试证

证明 由已有条件知相互独立且与ξk 同分布,所以

对随机变量序列{ξkn}应用辛钦大数定律,并根据依概率收敛的性质得:

这就是第7章所要介绍参数估计中矩估计法的理论依据。

例5.2.6 将一枚均匀对称的骰子重复掷n 次,则当n→∞时,求n 次掷出点数的算术平均值ξn 依概率收敛的极限。

解 设ξ1,ξ2,…,ξn 是各次掷出的点数,随机变量ξ1,ξ2,…,ξn 显然独立同分布:

有共同的数学期望为

因此,根据辛钦大数定律依概率收敛于