大数定律及中心极限定理

切比雪夫不等式

假设随机变量 $X$ 具有期望 $\mathbb{E}[X]=\mu$，方差 $\operatorname{Var}(X)=\sigma^{2}$，则对于任意正数 $\varepsilon$，下列不等式成立：

$$ P{|X-\mu| \geq \varepsilon} \leq \frac{\sigma^{2}}{\varepsilon^{2}} $$

其意义在于，对于距离 $\mathbb{E}[X]$ 足够远的地方（距离大于等于 $\varepsilon$），事件出现的概率是小于等于 $\frac{\sigma^{2}}{\varepsilon^{2}}$，即事件出现在区间 $[\mu-\varepsilon, \mu+\varepsilon]$ 的概率大于等于 $1-\frac{\sigma^{2}}{\varepsilon^{2}}$。该不等式给出了随机变量 $X$ 在分布未知的情况下，事件 ${|X-\mu| \leq \varepsilon}$ 的下限估计，如：

$$ P{|X-\mu|<3 \sigma} \geq 0.8889 $$

该不等式的证明为：

$$ \begin{aligned} P{|X-\mu| \geq \varepsilon& }=\int_{|x-\mu| \geq \varepsilon} p(x) d x \leq \int_{|x-\mu| \geq \varepsilon} \frac{|x-\mu|^{2}}{\varepsilon^{2}} p(x) d x \ & \leq \frac{1}{\varepsilon^{2}} \int_{-\infty}^{\infty}(x-\mu)^{2} p(x) d x=\frac{\sigma^{2}}{\varepsilon^{2}} \end{aligned} $$

切比雪夫不等式的特殊情况：假设随机变量 $X_{1}, X_{2}, \cdots, X_{n}, \cdots$ 相互独立，且具有相同的数学期望和方差：$\mathbb{E}\left[X_{k}\right]=\mu, \operatorname{Var}\left[X_{k}\right]=\sigma^{2}$。作前 $n$ 个随机变量的算术平均：$\overline{X}=\frac{1}{n} \sum_{k=1}^{n} X_{k}$，则对于任意正数 $\varepsilon$ 有：

$$ \lim {n \rightarrow \infty} P{|\overline{X}-\mu|<\varepsilon}=\lim {n \rightarrow \infty} P\left{\left|\frac{1}{n} \sum{k=1}^{n} X{k}-\mu\right|<\varepsilon\right}=1 $$

证明过程为，根据期望和方差的性质有：$\mathbb{E}[\overline{X}]=\mu, \quad \operatorname{Var}[\overline{X}]=\frac{\sigma^{2}}{n}$，根据切比雪夫不等式有：

$$ P{|\overline{X}-\mu| \geq \varepsilon} \leq \frac{\sigma^{2}}{n \varepsilon^{2}} $$

则有 $\lim _{n \rightarrow \infty} P{|\overline{X}-\mu| \geq \varepsilon}=0$，因此有 $\lim _{n \rightarrow \infty} P{|\overline{X}-\mu|<\varepsilon}=1$。

大数定理

假设 $Y_{1}, Y_{2}, \cdots, Y_{n}, \cdots$ 是一个随机变量序列，$a$ 是一个常数，如果对于任意正数 $\varepsilon$ 存在：

$$ \lim {n \rightarrow \infty} P\left{\left|Y{n}-a\right| \leq \varepsilon\right}=1 $$

则称序列 $Y_{1}, Y_{2}, \cdots, Y_{n}, \cdots$ 依概率收敛于 $a$，记作：$Y_{n} \stackrel{P}{\rightarrow} a$。

依概率收敛包含两层意思，收敛表明这是一个随机变量序列，而不是某个随机变量；且序列是无限长，而不是有限长。依概率则表明序列无穷远处的随机变量 $Y_{\infty}$ 的分布规律为：绝大部分分布于点 $a$，极少数位于 $a$ 之外。且分布于 $a$ 之外的事件发生的概率之和为 0。

大数定理一

假设随机变量 $X_{1}, X_{2}, \cdots, X_{n}, \cdots$ 相互独立，且具有相同的数学期望和方差：$\mathbb{E}\left[X_{k}\right]=\mu, \operatorname{Var}\left[X_{k}\right]=\sigma^{2}$。则序列：

$$ \overline{X}=\frac{1}{n} \sum_{k=1}^{n} X_{k} $$

依概率收敛于 $\mu$，即 $\overline{X} \stackrel{P}{\rightarrow} \mu$。值得一提的是，这里并没有要求随机变量 $X_{1}, X_{2}, \cdots, X_{n}, \cdots$ 同分布。

伯努利大数定理

假设 $n_{A}$ 为 $n$ 次独立重复实验中事件 $A$ 发生的次数，$p$ 是事件 $A$ 在每次试验中发生的概率。则对于任意正数 $\varepsilon$ 有：

$$ \begin{array}{c}{\lim {n \rightarrow \infty} P\left{\left|\frac{n{A}}{n}-p\right|<\varepsilon\right}=1} \ {\text { or: } \quad \lim {n \rightarrow \infty} P\left{\left|\frac{n{A}}{n}-p\right| \geq \varepsilon\right}=0}\end{array} $$

即当独立重复实验执行非常大的次数时，事件 $A$ 发生的频率逼近于它的概率。

辛钦定理

假设随机变量 $X_{1}, X_{2}, \cdots, X_{n}, \cdots$ 相互独立，服从同一分布，且具有相同的数学期望：$\mathbb{E}\left[X_{k}\right]=\mu$，则对于任意正数 $\varepsilon$ 存在：

$$ \lim {n \rightarrow \infty} P\left{\left|\frac{1}{n} \sum{k=1}^{n} X_{k}-\mu\right|<\varepsilon\right}=1 $$

注意：这里并没有要求随机变量 $X_{1}, X_{2}, \cdots, X_{n}, \cdots$ 的方差存在，伯努利大数定理是亲钦定理的特殊情况。

中心极限定理

独立同分布的中心极限定理

假设随机变量 $X_{1}, X_{2}, \cdots, X_{n}, \cdots$ 独立同分布，且具有数学期望和方差：$\mathbb{E}\left[X_{k}\right]=\mu, \operatorname{Var}\left[X_{k}\right]=\sigma^{2}$，则随机变量之和 $\overline{S X_{n}}=\sum_{k=1}^{n} X_{k}$ 的标准变化量：

$$ Y_{n}=\frac{\overline{S X_{n}}-\mathbb{E}\left[\overline{S X_{n}}\right]}{\sqrt{\operatorname{Var}\left[\overline{S X_{n}}\right]}}=\frac{\overline{S X_{n}}-n \mu}{\sqrt{n} \sigma} $$

的概率分布函数 $F_{n}(x)$ 对于任意 $x$ 满足：

$$ \begin{array}{c}{\lim {n \rightarrow \infty} F{n}(x)=\lim {n \rightarrow \infty} P\left{Y{n} \leq x\right}=\lim {n \rightarrow \infty} P\left{\frac{\sum{k=1}^{n} X_{k}-n \mu}{\sqrt{n} \sigma} \leq x\right}} \ {=\int_{-\infty}^{x} \frac{1}{\sqrt{2 \pi}} e^{-t^{2} / 2} d t=\Phi(x)}\end{array} $$

其物理意义在于，均值方差为 $\mu, \sigma^{2}$ 的独立同分布的随机变量 $X_{1}, X_{2}, \cdots, X_{n}, \cdots$ 之和 $\overline{S X_{n}}=\sum_{k=1}^{n} X_{k}$ 的标准变化量 $Y_n$，当 $n$ 充分大时，其分布近似于标准正态分布。

即 $\overline{S X_{n}}=\sum_{k=1}^{n} X_{k}$ 在 $n$ 充分大时，其分布近似于 $N\left(n \mu, n \sigma^{2}\right)$。一般情况下，很难求出 $n$ 个随机变量之和的分布函数。因此当 $n$ 充分大时，可以通过正态分布来做理论上的分析或者计算。

Liapunov 定理

假设随机变量 $X_{1}, X_{2}, \cdots, X_{n}, \cdots$ 相互独立，具有数学期望和方差：$\mathbb{E}\left[X_{k}\right]=\mu_{k}, \operatorname{Var}\left[X_{k}\right]=\sigma_{k}^{2}$。

记 $B_{n}^{2}=\sum_{k=1}^{n} \sigma_{k}^{2}$，如果存在正数 $\delta$，使得 $n \rightarrow \infty$ 时：

$$ \frac{1}{B_{n}^{2+\delta}} \sum_{k=1}^{n} \mathbb{E}\left[\left|X_{k}-\mu_{k}\right|^{2+\delta}\right] \rightarrow 0 $$

则随机变量之和 $\overline{S X_{n}}=\sum_{k=1}^{n} X_{k}$ 的标准变化量：

$$ Z_{n}=\frac{\overline{S X_{n}}-\mathbb{E}\left[\overline{S X_{n}}\right]}{\sqrt{\operatorname{Var}\left[\overline{S X_{n}}\right]}}=\frac{\overline{S X_{n}}-\sum_{k=1}^{n} \mu_{k}}{B_{n}} $$

的概率分布函数 $F_{n}(x)$ 对于任意 $x$ 满足：

$$ \begin{aligned} \lim {n \rightarrow \infty} F{n}(x)=\lim {n \rightarrow \infty} & P\left{Z{n} \leq x\right}=\lim {n \rightarrow \infty} P\left{\frac{\sum{k=1}^{n} X_{k}-\sum_{k=1}^{n} \mu_{k}}{B_{n}} \leq x\right} \ &=\int_{-\infty}^{x} \frac{1}{\sqrt{2 \pi}} e^{-t^{2} / 2} d t=\Phi(x) \end{aligned} $$

其物理意义在于，相互独立的随机变量 $X_{1}, X_{2}, \cdots, X_{n}, \cdots$ 之和 $\overline{S X_{n}}=\sum_{k=1}^{n} X_{k}$ 的衍生随机变量序列 $Z_{n}=\frac{\overline{S X_{n}}-\sum_{k=1}^{n} \mu_{k}}{B_{n}}$，当 $n$ 充分大时，其分布近似于标准正态分布。注意，这里同样不要求 $X_{1}, X_{2}, \cdots, X_{n}, \cdots$ 同分布。

Demoiver-Laplace 定理

假设随机变量序列 $\eta_{n}, n=1,2, \dots$ 服从参数为 $(n, p)$ 的二项分布，其中 $0<p<1$。则对于任意 $x$ 有：

$$ \lim {n \rightarrow \infty} P\left{\frac{\eta{n}-n p}{\sqrt{n p(1-p)}} \leq x\right}=\int_{-\infty}^{x} \frac{1}{\sqrt{2 \pi}} e^{-t^{2} | 2} d t=\Phi(x) $$

该定理表明，正态分布是二项分布的极限分布。当 $n$ 充分大时，可以利用正态分布来计算二项分布的概率。