大数定律

在满足一定的条件下，大数定律均为 $\frac{1}{n}{\sum }_{i=1}^n{X}_i\stackrel{P}{\to }E(\frac{1}{n}{\sum }_{i=1}^n{X}_i)$。 所以大数定律一般是考定律成立条件与结论正确性。

切比雪夫大数定律

定义

设 $\{X_n\}$ 是一个随机变量序列，若满足：

1. $X_1,X_2,\dots ,X_n,\dots$ 相互独立（或更弱的两两不相关）。
2. 每个 $X_i$ 的数学期望 $E(X_i)$ 和方差 $D(X_i)$ 都存在。
3. 方差序列是一致有上界的，即存在一个常数 $C>0$，使得对一切 $i=1,2,\dots$ 都有 $D(X_i)\le C$。

则序列 $\{X_n\}$ 服从切比雪夫大数定律，其样本均值 ${\bar{X}}_n=\frac{1}{n}{\sum }_{i=1}^n{X}_i$ 依概率收敛于其期望的均值 $\frac{1}{n}{\sum }_{i=1}^{n}E(X_i)$，即：

$\forall ϵ>0,{\lim }_{n\to \infty }P\left\{\left|\frac{1}{n}{\sum }_{i=1}^n{X}_i-\frac{1}{n}{\sum }_{i=1}^{n}E(X_i)\right|<ϵ\right\}=1$

或记为：

$\frac{1}{n}{\sum }_{i=1}^n{X}_i-\frac{1}{n}{\sum }_{i=1}^{n}E(X_i)\stackrel{P}{\to }0$

证明

该定律可由切比雪夫不等式证明。令 $Y_n=\frac{1}{n}{\sum }_{i=1}^n{X}_i$。

其数学期望为：

$E(Y_n)=E\left(\frac{1}{n}{\sum }_{i=1}^n{X}_i\right)=\frac{1}{n}{\sum }_{i=1}^{n}E(X_i)$

由于各 $X_i$ 相互独立（或不相关），其方差为：

$D(Y_n)=D\left(\frac{1}{n}{\sum }_{i=1}^n{X}_i\right)=\frac{1}{n^2}{\sum }_{i=1}^{n}D(X_i)$

根据条件 $D(X_i)\le C$，可得：

$D(Y_n)\le \frac{1}{n^2}{\sum }_{i=1}^{n}C=\frac{nC}{n^2}=\frac{C}{n}$

对随机变量 $Y_n$ 应用切比雪夫不等式 $P\{|Y_n-E(Y_n)|\ge ϵ\}\le \frac{D(Y_n)}{{ϵ}^2}$，有：

$P\left\{\left|\frac{1}{n}{\sum }_{i=1}^n{X}_i-\frac{1}{n}{\sum }_{i=1}^{n}E(X_i)\right|\ge ϵ\right\}\le \frac{D(Y_n)}{{ϵ}^2}\le \frac{C}{n{ϵ}^2}$

当 $n\to \infty$ 时，$\frac{C}{n{ϵ}^2}\to 0$。因此，

${\lim }_{n\to \infty }P\left\{\left|\frac{1}{n}{\sum }_{i=1}^n{X}_i-\frac{1}{n}{\sum }_{i=1}^{n}E(X_i)\right|\ge ϵ\right\}=0$

即定律成立。

例题

[选择题]

设 $X_1,X_2,\dots ,X_n,\dots$ 为相互独立的随机变量序列，$X_n$ 服从参数为 $n$ 的指数分布 $(n\ge 1)$，则下列随机变量序列中不服从切比雪夫大数定律的是 ()

• A.$\frac{1}{2}{X}_1,\frac{1}{2}{X}_2,\dots ,\frac{1}{n}{X}_n,\dots$
• B.$X_1,X_2,\dots ,X_n,\dots$
• C.$X_1,2X_2,\dots ,n{X}_n,\dots$
• D.$X_1,2^2{X}_2,\dots ,n^2{X}_n,\dots$

[答案]

解：切比雪夫大数定律要求随机变量序列相互独立且方差一致有界，即 $D(Y_i)\le C$。题目已说明相互独立，所以只需考虑方差有界性。 已知 $X_n\sim E(n)$ (此处应为参数为 $n$ 的指数分布，有 $E(X_n)=1/n,D(X_n)=1/n^2$)，我们设选项中的序列为 $\{Y_n\}$。

对于 A，序列为 $Y_n=\frac{1}{n}{X}_n$。$D(Y_n)=D(\frac{1}{n}{X}_n)=\frac{1}{n^2}D(X_n)=\frac{1}{n^2}\cdot \frac{1}{n^2}=\frac{1}{n^4}$。当 $n\ge 1$ 时, $D(Y_n)\le 1$，方差有界。

对于 B, 序列为 $Y_n=X_n$。$D(Y_n)=D(X_n)=\frac{1}{n^2}$。当 $n\ge 1$ 时, $D(Y_n)\le 1$，方差有界。

对于 C, 序列为 $Y_n=n{X}_n$。$D(Y_n)=D(n{X}_n)=n^{2}D(X_n)=n^2\cdot \frac{1}{n^2}=1$。方差有界。

对于 D, 序列为 $Y_n=n^2{X}_n$。$D(Y_n)=D(n^2{X}_n)=(n^2{)}^{2}D(X_n)=n^4\cdot \frac{1}{n^2}=n^2$。当 $n\to \infty$ 时，$D(Y_n)\to \infty$，方差无界。

所以选择 D。

伯努利大数定律

定义

伯努利大数定律是切比雪夫大数定律的一个重要特例。 设 $n_A$ 是 $n$ 次独立重复试验（伯努利试验）中事件 $A$ 发生的次数，$p$ 是事件 $A$ 在每次试验中发生的概率。则对于任意正数 $ϵ>0$，有： ${\lim }_{n\to \infty }P\left\{\left|\frac{n_A}{n}-p\right|<ϵ\right\}=1$ 或记为： $\frac{n_A}{n}\stackrel{P}{\to }p$ 该定律表明，当试验次数 $n$ 很大时，事件 $A$ 发生的频率 $\frac{n_A}{n}$ 会依概率收敛于其发生的概率 $p$。

证明

令 $X_i$ 为第 $i$ 次试验的结果，若事件 $A$ 发生，则 $X_i=1$；若 $A$ 不发生，则 $X_i=0$。

$X_i=\{\begin{array}{ll}1,& \text{第 }i\text{ 次试验中事件 }A\text{ 发生}\\ 0,& \text{第 }i\text{ 次试验中事件 }A\text{ 不发生}\end{array}$

则 $\{X_i\}$ 是一个独立同分布的随机变量序列，且 $n_A={\sum }_{i=1}^n{X}_i$。

$X_i$ 的期望和方差为：

$E(X_i)=1\cdot p+0\cdot (1-p)=p$

$D(X_i)=E(X_i^2)-[E(X_i){]}^2=(1^2\cdot p+0^2\cdot (1-p))-p^2=p-p^2=p(1-p)$

由于 $X_i$ 相互独立，且方差 $D(X_i)=p(1-p)$ 对所有 $i$ 都是常数，满足 $D(X_i)\le \frac{1}{4}$ (当 $p=\frac{1}{2}$ 时取等号)，所以方差是一致有界的。满足切比雪夫大数定律的条件。

因此，样本均值 $\frac{1}{n}{\sum }_{i=1}^n{X}_i=\frac{n_A}{n}$ 依概率收敛于期望均值 $\frac{1}{n}{\sum }_{i=1}^{n}E(X_i)=\frac{1}{n}{\sum }_{i=1}^{n}p=p$。证毕。

辛钦大数定律

辛钦大数定律是切比雪夫大数定律在条件上的不同表述，将序列约束为独立同分布。

定义

设 $\{X_n\}$ 是独立同分布（i.i.d.）的随机变量序列，若其数学期望 $E(X_i)=\mu$ 存在（为有限值），则样本均值 ${\bar{X}}_n=\frac{1}{n}{\sum }_{i=1}^n{X}_i$ 依概率收敛于 $\mu$。即：

$\forall ϵ>0,{\lim }_{n\to \infty }P\{|{\bar{X}}_n-\mu |<ϵ\}=1$

或记为：

${\bar{X}}_n\stackrel{P}{\to }\mu$

注意：辛钦大数定律不要求方差存在，因此其条件比（要求方差存在的）切比雪夫大数定律更弱，适用范围更广。

例题

[选择题]

假设随机变量序列 $X_1,X_2,\dots ,X_n,\dots$ 相互独立，根据辛钦大数定律，当 $n\to \infty$ 时，$\frac{1}{n}{\sum }_{i=1}^n{X}_i$ 依概率收敛于数学期望，只要 $\{X_n\}$()

• A. 有相同的数学期望
• B. 服从同一离散型分布
• C. 服从同一泊松分布
• D. 服从同一连续分布

[答案]

解：辛钦大数定律的核心条件是 独立同分布 和 期望存在。题目已给出独立。 B D. “服从同一分布”，但期望不总是存在的。 A. “有相同的数学期望”不等于“同分布”，条件不足。 C. “服从同一分布”且柏松分布的期望存在，故正确。

所以选择 C。

[问答题]

将一枚骰子重复掷 $n$ 次，当 $n\to \infty$ 时，$n$ 次掷出的点数的算术平均值 $\bar{X}$ 依概率收敛于何值？

[答案]

解： 设第 $i$ 次掷出的点数为 $X_i$。

1. 每次投掷相互独立，所以 $X_1,X_2,\dots$相互独立。
2. 每次投掷都遵循相同的概率规律，即 $P(X_i=k)=\frac{1}{6}$ for $k\in \{1,2,3,4,5,6\}$。所以 $\{X_i\}$ 是同分布的。
3. 计算数学期望： $E(X_i)={\sum }_{k=1}^{6}k\cdot P(X_i=k)=(1+2+3+4+5+6)\times \frac{1}{6}=\frac{21}{6}=3.5$ 期望存在且有限。

所有条件均满足辛钦大数定律。因此，算术平均值 ${\bar{X}}_n=\frac{1}{n}{\sum }_{i=1}^n{X}_i$ 依概率收敛于数学期望 $E(X_i)=3.5$。

${\bar{X}}_n\stackrel{P}{\to }3.5$