大数定律

数学家伯努利

主要含义

大数定律(law of large numbers)，是一类描述当试验次数很大时所呈现的概率性质的定律。

有些随机事件无规律可循，但不少却是有规律的，这些“有规律的随机事件”

在大量重复出现的条件下，往往呈现几乎必然的统计特性，这个规律就是大数定律。

通俗地说，这个定理就是，在试验不变的条件下，重复试验多次，随机事件的频率近似于它的概率。比如，我们向上抛一枚硬币，硬币落下后哪一面朝上本来是偶然的，但当我们上抛硬币的次数足够多后，达到上万次甚至几十万几百万次以后，我们就会发现，硬币每一面向上的次数约占总次数的二分之一。这种情况下，偶然中包含着必然。必然的规律与特性在大量的样本中得以体现。

简单地说，大数定理就是“当试验次数足够多时，事件发生的频率无穷接近于该事件发生的概率”

发展历史

1733年，德莫佛—拉普拉斯在分布的极限定理方面走出了根本性的一步，证明了二项分布的极限分布是正态分布。拉普拉斯改进了他的证明并把二项分布推广为更一般的分布。1900年，李雅普诺夫进一步推广了他们的结论，并创立了特征函数法。这类分布极限问题是当时概率论研究的中心问题，卜里耶为之命名“中心极限定理”。20世纪初，主要探讨使中心极限定理成立的最广泛的条件，二三十年代的林德贝尔格条件和费勒条件是独立随机变量序列情形下的显著进展。 伯努利是第一个研究这一问题的数学家，他于1713年首先提出后人称之为“大数定律”的极限定理。

常见大数定律

由于随机变量序列向常数的收敛有多种不同的形式，按其收敛为依概率收敛，以概率 1 收敛或均方收敛，分别有弱大数定律、强大数定律和均方大数定律。

常用的大数定律有：伯努利大数定律、辛钦大数定律、柯尔莫哥洛夫强大数定律和重对数定律。

设有一随机变量序列，假如它具有形如（1）的性质，则称该随机变量服从大数定律。

伯努利大数定律:设μ_n为n重伯努利实验中事件A发生的次数，p为每次实验中A出现的概率，则对任意的ε>0，有（2）成立。

切比雪夫大数定律：设{X_n}为一列两两不相关的随机变量序列，若每个X_i的方差存在，且有共同的上界，即Var(X_i)小于或等于c,则{X_n}服从大数定律，即对任意的ε>0，（1）式成立。

马尔可夫大数定律：对随机变量序列{X_n}，若（3）成立，则{X_n}服从大数定律，即对任意的ε>0，（1）式成立。

辛钦大数定律：设{X_n}为独立同分布的随机变量序列，若X_i的数学期望存在，则{X_n}服从大数定律，即对任意的ε>0，（1）成立。

表现形式

大数定律有若干个表现形式。这里仅介绍其中常用的两个重要定律：

（一）切贝雪夫大数定理

设 x_1, x_2, ..., x_n 是一列两两相互独立的随机变量，服从同一分布，且存在有限的数学期望 a 和方差σ2，则对任意小的正数 ε，满足公式（见右图）：

切贝雪夫大数定理

该定律的含义是：当n很大，服从同一分布的随机变量的算术平均数将依概率接近于这些随机变量的数学期望。

将该定律应用于抽样调查，就会有如下结论：随着样本容量n的增加，样本平均数将接近于总体平均数。从而为统计推断中依据样本平均数估计总体平均数提供了理论依据。

（二）贝努里大数定律

设μ是n次独立试验中事件A发生的次数，且事件A在每次试验中发生的概率为P，则对任意正数ε，有（如图公式）：

贝努里大数定律

该定律是切贝雪夫大数定律的特例，其含义是，当n足够大时，事件A出现的频率将几乎接近于其发生的概率，即频率的稳定性。

在抽样调查中，用样本成数去估计总体成数，其理论依据即在于此。