大数定律的理解

1 前提条件

设 $X_1, X_2,\cdots, X_n$ 独立同分布，且有$E(X_k) = \mu$，设$\mu_n = \frac{\sum_{i=1}^n X_i}{n}$。

2 强大数定律

强大数定律认为：

$$\forall \epsilon > 0, P(\lim_{n\rightarrow \infty} |\mu_n - \mu| < \epsilon) = 1$$

强大数定律对应着几乎处处收敛，使用 $\epsilon-\delta$语言可以表示为：

$$\forall \epsilon > 0, \exists N \in \mathrm{N}^+, \forall n > N, P(|\mu_n - \mu| < \epsilon>) = 1$$

3 弱大数定律

强大数定律认为：

$$\forall \epsilon > 0, \lim_{n\rightarrow \infty} P(|\mu_n - \mu| < \epsilon) = 1$$

强大数定律对应着依测度(概率)收敛，使用 $\epsilon-\delta$语言可以表示为：

$$\forall \epsilon > 0, \delta > 0, \exists N \in \mathrm{N}^+, \forall n > N, |P(|\mu_n - \mu| < \epsilon) - 1| \le \delta$$

4 测度论角度解释两者区别

4.1 几乎处处收敛

如果存在一个零测集$N$，使得$\forall \omega \in N^c$有$\lim_{n\rightarrow \infty} f_n(\omega) = f(\omega)$，那么称$(f_n)$几乎处处收敛于$f$(或者$a.e.$ 收敛于$f$)，记为$f_n \stackrel{a.e.}{\rightarrow} f$。

可以看出，强大数定律意味着提前确定了大数定律不成立（不收敛）的零测集，这个集合里面的元素是固定的，不在这个零测集的元素则一定收敛。

4.2 依测度收敛

如果对任给$\epsilon > 0$,$\lim_{n\rightarrow \infty} \mu([|f_n - f| > \epsilon]) = 0$，则那么称$(f_n)$依测度收敛于$f$，记为$f_n \stackrel{\mu}{\rightarrow} f$。

依测度收敛看的是大局，也就是我不管你们哪个点收敛哪个点不收敛，只要最后不收敛的点总数少到几乎没有就行。

4.3 区别

依测度收敛的序列之所以不几乎处处收敛，可以理解为本质上是因为测度收敛到零的速度不够快。

• 对于依测度收敛由于$\delta$的存在，当$n>N$时$|P(|\mu_n - \mu| < \epsilon) - 1| \le \delta$才成立，也就是说有一部分有测度的集合是随着$n$的增大而逐步收敛到$[\mu - \epsilon, \mu + \epsilon]$内的，而这个未收敛数量$\delta$是和$N$有关。依测度收敛可能有一部分点一直难以收敛到$[\mu - \epsilon, \mu + \epsilon]$，必须通过增大$N$才能减少这种点的数量。
• 而对于几乎处处收敛，当当$n>N$时除了零测度集的点，都收敛到$[\mu - \epsilon, \mu + \epsilon]$内，因此其收敛速度更快。

5 拓展

5.1 几乎一致收敛

除此之外，还有几乎一致收敛：

对于$\forall \epsilon > 0$，存在$N \in \mathcal{F},\mu(N) < \epsilon$，使得$(f_n)$在$\mathrm{N}^c$上一致收敛于$f$，则成$(f_n)$几乎一致收敛于$f$(或者$a.un.$ 收敛于$f$)，记为$f_n \stackrel{a.un.}{\rightarrow} f$。

可以看出，可以对于测度任意小的零测集，在其补集上一致收敛，则称为几乎一致收敛。

5.2 几乎处处收敛和依测度收敛等价定义

设$(f_n)$及$f$均为实值可测函数： * $f_n \stackrel{a.e.}{\rightarrow} f$, 当且仅当$\forall \epsilon > 0$有： $$\mu(\bigcap_{n=1}^\infty \bigcup_{i=n}^\infty [|f_i - f|\ge \epsilon]) = 0$$

• $f_n \stackrel{a.un.}{\rightarrow} f$, 当且仅当$\forall \epsilon > 0$有： $$\lim_{n\rightarrow \infty} \mu(\bigcup_{i=n}^\infty [|f_i - f| \ge \epsilon]) = 0$$
• $f_n \stackrel{\mu}{\rightarrow} f$, 当且仅当对$(f_n)$的任何子列$(f_{n'})$,存在其子列$(f_{n_k'})$，使得$(f_{n_k'})\stackrel{a.un.}{\rightarrow} f,(k\rightarrow \infty)$

5.3 关系

• $f_n \stackrel{a.un.}{\rightarrow} f \Rightarrow f_n \stackrel{a.e.}{\rightarrow} f$,$f_n \stackrel{a.un.}{\rightarrow} f \Rightarrow f_n \stackrel{\mu}{\rightarrow} f$.
• 若$\mu$是有限测度，则有$f_n \stackrel{a.un.}{\rightarrow} f \Leftrightarrow f_n \stackrel{a.e.}{\rightarrow} f$.
• 设$f_n \stackrel{\mu}{\rightarrow} f$, 则存在子列$(f_{n_k})$,使$f_{n_k}\stackrel{a.e.}{\rightarrow} f$.