在试验不变的条件下，重复试验多次，随机事件的频率近似于它的概率。随机变量序列的均值收敛于某一个常数。

一、四种收敛方式

针对$\{f_n\}\ and \ f:\mathcal{x} \rightarrow \mathcal{y}$

• 一致收敛：$f_n \rightarrow f$：如果对任意$\epsilon > 0$和$x \in \mathcal{X}$，这里存在一个常数$N > 0$，使得对于任意的$n > N$，满足$|f_n(x) - f(x)| < \epsilon$
• 点态收敛：$f_n \dot{\rightarrow} f$：如果对任意的$\epsilon$和$x \in \mathcal{X}$，这里有一些$N_x > 0$，使得对于任意的$n > N_x$，满足$|f_n(x) - f(x)| < \epsilon$
• 依概率收敛：$f_n \overset{P}{\rightarrow} f$：如果对于任意的$\epsilon$和$x \in \mathcal{X}$，有$\lim_{n \rightarrow \infty} P(|f_n(x) - f(x) | < \epsilon) = 1$
• 依分布收敛：$f_n \overset{d}{\rightarrow} f$：设随机变量$X, X_1, X_2, \dots$的分布函数分别为$F(x), F_1(x), F_2(x), \dots$若对$F(x)$的任一点连续点$x$，都有$\lim_{n \rightarrow \infty} F_n(x) = F(X)$

四种收敛的约束是越来越宽松的，例如满足一致收敛的则一定满足点态收敛。

1. 依概率收敛

设$X_1, X_2, \cdots, X_n, \cdots$是一随机变量序列，$a$是一常数，如果对任意$\epsilon > 0$有

则称随机变量序列$X_1, X_2, \cdots, X_n, \cdots$依概率收敛于$a$，记$X_n \overset{P}{\rightarrow} a.$

含义：

• $X_n$对$a$的绝对偏差不小于任一给定量的可能性，随着$n$的增大，而愈来愈接近于$0$.
• 绝对偏差$|X_n - a|$小于任一给定量的可能性，随着$n$的增大，而愈来愈接近于$1$

性质

• 若$X_n \overset{P}\rightarrow a$，函数$g: \mathbb{R} \rightarrow \mathbb{R}$在$X = a$点连续，则

  $$g(X_n) \overset{P} \rightarrow g(a)$$

  这里的$g$不一定是线性函数，可以是任意函数。

• 若$X_n \overset{P}\rightarrow a, Y_n \overset{P}\rightarrow b$，函数$g: \mathbb{R \times R} \rightarrow \mathbb{R}$在$(a, b)$点连续，则

  $$g(X_n, Y_n) \overset{P}\rightarrow g(a, b)$$
  • $X_n \pm Y_n \overset{P}\rightarrow a \pm b$
  • $X_n \times Y_n \overset{P}\rightarrow a \times b$
  • $X_n \div Y_n \overset{P}\rightarrow a \div b \quad (b \neq 0)$

二、大数定律

探讨一系列随机变量$\{X_n\}$的均值$\bar{X_n} = \frac{1}{n}\sum_{i=1}^n X_i$是否会依概率收敛于其期望$\mathbb{E}[\bar{X_n}]$.

1. 大数定律

定理 0.1 若随机变量序列$X_1, X_2, \dots, X_n, \dots$ 满足：

则称$\{X_n\}$服从大数定律（LLN）.

Remarks:

• 大数定律刻画了随机变量的均值依概率收敛于期望的均值。
• 揭示了样本均值和真实期望之间的关系，即当样本量很大的时候，那么样本均值收敛到真实期望。

2. 马尔可夫(Markov)大数定律

定理 0.2 若随机变量序列$X_1, X_2, \dots, X_n, \dots$满足：

则称$\{X_n\}$服从大数定律。

Remarks:

• 适用条件：不要求随机变量$\{X_i\}_{i=1}^\infty$相互独立或同分布。

证明：

对于$n \rightarrow \infty$，有

$$\frac{1}{n^2}\mathbb{VAR}\left( \sum_{i = 1}^n X_i\right) \rightarrow 0$$

因此对于任意的$\epsilon > 0$，仍有

$$\frac{1}{n^2 \epsilon^2}\mathbb{VAR}\left( \sum_{i = 1}^n X_i\right) \rightarrow 0$$

因此有：

$$\begin{aligned} P\left(\left|\frac{1}{n} \sum_{i=1}^n\left( X_i - \mathbb{E}[X_i]\right)\right| > \epsilon\right) &= P\left(\left|\frac{1}{n} \sum_{i=1}^n X_i - \mathbb{E}[X_i]\right| > \epsilon\right)\\ &\leq \frac{\mathbb{VAR}\left(\frac{1}{n}\sum_{i=1}^n X_i\right)}{\epsilon^2}\\ &= \frac{1}{n^2\epsilon^2}\mathbb{VAR}\left( \sum_{i=1}^n X_i \right) \rightarrow 0 \end{aligned}$$

故

$$P\left(\left|\frac{1}{n} \sum_{i=1}^n\left( X_i - \mathbb{E}[X_i]\right)\right| > \epsilon\right) \leq 0$$

因此$\{X_n\}$服从大数定理。

3. 切比雪夫（Chebyshev）大数定理

定理 0.3 设随机变量序列$X_1, X_2, \dots, X_n, \dots$相互独立（或者不相关），且存在常数$c > 0$使得

则$X$服从大数定律。

Remarks：

• 适用条件：$\{X_i\}_{i=1}^\infty$相互独立且方差有限，即$\mathbb{VAR}(X_n) \leq c$

证明：

根据马尔可夫大数定律可以得知：若

$$\frac{1}{n^2}\mathbb{VAR}\left( \sum_{i=1}^nX_i \right) \rightarrow 0$$

则$\{X_n\}$满足大数定律。

因此若$\mathbb{VAR}(X_n) \leq c$，且$X_1, X_2, \dots ,X_n$相互独立，有：

$$\begin{aligned} \frac{1}{n^2} \mathbb{VAR}\left( \sum_{i=1}^n X_i\right) &= \frac{1}{n^2}\left( \mathbb{VAR}(X_1) + \mathbb{VAR}(X_2) + \cdots + \mathbb{VAR}(X_n) \right)\\ &= \frac{1}{n^2}\sum_{i = 1}^n \mathbb{VAR}(X_i)\\ &\leq \frac{nc}{n^2}\\ &= \frac{c}{n} \rightarrow 0 \end{aligned}$$

因此$\{X_n\}$满足大数定律。

4. 辛钦（Khintchine）大数定律

定理 0.4 设随机变量序列$X_1, X_2, \dots ,X_n \dots$相互独立同分布，且每个随机变量的期望

存在，则$\{X_n\}$服从大数定律。

Remarks：

• 适用条件：$\{X_i\}_{i=1}^\infty$独立同分布，期望存在

5. 伯努利（Bernoulli）大数定律

定理 0.5 设随机变量序列$X_n \sim B(n, p)$，对任意$\epsilon > 0$，有

Remarks：

• 适用条件：$\{X_i\}_{i = 1}^\infty$服从伯努利分布

证明：

定义独立同分布的随机变量$Y_1, Y_2, \dots, Y_n$，其中$Y_i \sim Ber(p)$，择优$X_n = \sum Y_i \sim B(n, p)$

由于是独立同分布的，且$E[Y_i] = p$，希望存在。因此：

$$\frac{1}{n} \sum_{i = 1}^n Y_i \overset{P}\rightarrow \frac{1}{n} \sum_{i = 1}^n \mathbb{E}[Y_i]$$

即

$$\frac{1}{n} X_n \overset{P}\rightarrow p \Rightarrow P\left( \left| \frac{1}{n} X_n - p\right| \geq \epsilon \right) = 0$$

大数定律小结：

• Markov 大数定律

  若随机变量序列$\{X_i\}$满足$\frac{\mathbb{VAR}\left( \sum_{i = 1}^n X_i\right)}{n^2} \rightarrow 0$，则满足大数定律

• Chebyshev 大数定律

  若独立随机变量序列$\{X_i\}$满足$\mathbb{VAR}( X_i) \leq c$，则满足大数定律

• Khintchine 大数定律

  若独立同分布随机变量序列$\{X_i\}$期望存在，则满足大数定律

• Bernoulli 大数定律

  对于二项分布$X_n \sim B(n, p)$，有$\frac{X_n}{n} \overset{P}\rightarrow p$

题目类型

1. 已知随机变量分布，证满足大数定律

2. 已知随机变量分布，求依概率收敛结果

三、中心极限定理（Central Limit Theorem）

研究$\bar{X_n}$服从什么分布？

若$\{X_n\}$满足一定的条件，当$n$足够大时，近似服从正态分布。

1. 依分布收敛

定义 0.2 设随机变量$X, X_1, X_2, \dots$的分布函数分别为

若对$F(x)$的任一点连续点$x$，都有

则称$\{X_n\}$依分布收敛于$X$，记作$X_n \overset{d}\rightarrow X$.

2. 林德贝格-勒维（Lindeberg-Levy）中心极限定理

定理 0.6 设独立同分布的随机变量$X_1, X_2, \dots, X_n, \dots$的

• 期望$\mathbb{E}[X_i] = \mu$
• 方差$\mathbb{VAR}(X_i) = \sigma^2$

则有

Remark：

• 中心极限定理说明样本均值符合正态分布（而不是样本本身）
• 基于这个定理，可以用抽样结果的均值来估计总体的均值

式（17）可以进一步转化为

3. 棣莫弗-拉普拉斯（De Moivre-Laplace）中心极限定理

定理 0.7 设随机变量$X_n \sim B(n, p)$，则

该定理表明：当试验次数$n$足够大时，二项分布近似于正态分布。

由该定理可知：

• 当$n$非常大的时候，随机变量$X_n \sim B(n, p)$满足$X_n \overset{\text{近似}}\sim \mathcal{N}(np, np(1-p))$

• 从而有如下近似估计

  $$P[X_n \leq y] = P\left[ \frac{X_n - np}{\sqrt{np(1-p)}} \leq \frac{y - np}{\sqrt{np(1-p)}}\right] \approx \Phi \left(\frac{y - np}{\sqrt{np(1 - p)}}\right)$$

• 针对上式，可以考虑三种问题

  • 已知$n$和$P[X_n \leq y]$，求$y$
  • 已知$n$和$y$，求$P[X_n \leq y]$
  • 已知$y$和$P[X_n \leq y]$，求$n$

4. 李雅普诺夫（Lyapunov）中心极限定理

上述随机变量之和的极限分布结果，基于独立同分布的条件。

• 在实际问题中随机变量$X_i$之间具有独立性是常见的，但是很难说$X_i$是”同分布“的随机变量。

为使$Y = \sum_{i = 1}^n X_i$的极限分布是正态分布，必须对$Y= \sum_{i = 1}^n X_i$的各项有一定的要求

• 要求各项$X_i$在概率意义下”均匀的小“，使得$Y = \sum_{i = 1}^nX_i$不会因为其中某一项或某几项$X_i$而发生突变
• 可通过限制$X_i$方差是有限的来达到以上要求

定理 0.8 设独立随机变量$X_1, X_2, \dots, X_n, \dots$满足

记$B_n^2 = \sum_{k = 1}^n \sigma_k^2$.若存在$\delta > 0$，有

成立，则有

中心极限定理小结

• 林德贝格-勒维中心极限定理：

  随机变量独立同分布。若$\mathbb{E}[X_i] = \mu$方差$\mathbb{VAR}(X_i) = \sigma^2$，则

  $$\sum_{i=1}^n X_i \overset{d}\rightarrow \mathcal{N}(n\mu, n\sigma^2)$$

• 棣莫弗-拉普拉斯中心极限定理：

  随机变量独立且同伯努利/二项分布。若$X_n \sim B(n, p)$，则

  $$X_n \overset{d}\rightarrow \mathcal{N}(np, np(1-p))$$

• 李雅普诺夫中心极限定理：

  随机变量独立不同分布。