依概率收敛

定义

设随机变量 $X$ 与随机变量序列 $\{X_n\}(n=1,2,3,\dots )$，如果对任意的 $ϵ>0$，有：

${\lim }_{n\to \infty }P\{|X_n-X|\ge ϵ\}=0$

或等价地：

${\lim }_{n\to \infty }P\{|X_n-X|<ϵ\}=1$

则称随机变量序列 $\{X_n\}$ 依概率收敛于随机变量 $X$，记为 ${\lim }_{n\to \infty }{X}_n=X(P)$ 或 $X_n\stackrel{P}{\to }X(n\to \infty )$。

直观理解

依概率收敛描述的是这样一个趋势：当序列的下标 $n$ 足够大时，随机变量 $X_n$ 的取值与 $X$ 的取值产生较大偏差（偏差大于任意给定的正数 $ϵ$）的可能性（即概率）变得非常小，趋近于 $0$。

换句话说，对于一个很大的 $n$，$X_n$ 和 $X$ 几乎相等的概率趋近于 $1$。但这并不意味着 $X_n$ 的值一定会落在 $X$ 的 $ϵ$ 邻域内。在序列中，可能偶尔会出现个别 $X_k$ 的值偏离 $X$ 较远，但这并不影响整体依概率收敛的趋势，因为这些 ” 离群 ” 事件发生的概率随着 $n$ 的增大而趋于零。

应用

伯努利大数定律（弱大数定律的一种特殊形式）是依概率收敛最经典的应用。

考虑 $n$ 次独立的伯努利试验，每次试验成功的概率为 $p$。设 $S_n$ 为这 $n$ 次试验中成功的次数，则事件发生的频率为 $\frac{S_n}{n}$。

弱大数定律指出，当试验次数 $n$ 趋于无穷时，事件发生的频率 $\frac{S_n}{n}$ 依概率收敛于其概率 $p$。即： $\frac{S_n}{n}\stackrel{P}{\to }p(n\to \infty )$ 这也就是： ${\lim }_{n\to \infty }P\left\{\left|\frac{S_n}{n}-p\right|<ϵ\right\}=1$ 这为我们用频率来估计概率提供了理论依据。例如，在大量重复抛掷一枚均匀硬币的试验中（$p=0.5$），虽然在某 $n=20$ 次试验中，出现正面次数的频率可能是 $\frac{16}{20}=0.8$，在另一组 $n=40$ 次试验中频率可能是 $\frac{21}{40}=0.525$，频率值存在波动，但随着试验次数 $n$ 的不断增大，频率 $\frac{S_n}{n}$ 偏离真实概率 $0.5$ 的可能性会越来越小。