大数定律与中心极限定理

对非负随机变量 $(X-\mu)^2$ 应用马尔可夫不等式,得到 $P((X-\mu)^2 \ge k^2) \le E[(X-\mu)^2]/k^2 = \sigma^2/k^2$;事件 $(X-\mu)^2 \ge k^2$ 正是 $|X-\mu| \ge k$。

首先证明马尔可夫不等式:对非负随机变量 $Y\ge0$ 和任意 $a>0$,逐点不等式 $Y\ge a\cdot\mathbb{1}_{\{Y\ge a\}}$ 成立,因为在事件 $\{Y\ge a\}$ 上右边等于 $a\le Y$,而在别处右边为 $0\le Y$。对两边取期望仍保持不等号:$E[Y]\ge aP(Y\ge a)$,于是 $P(Y\ge a)\le E[Y]/a$。

现在对非负随机变量 $Y=(X-\mu)^2$ 以阈值 $a=k^2$ 应用马尔可夫不等式:$P((X-\mu)^2\ge k^2)\le E[(X-\mu)^2]/k^2$。根据方差的定义,$E[(X-\mu)^2]=\sigma^2$,因此右边恰好等于 $\sigma^2/k^2$。

最后,马尔可夫不等式两边的事件是相同的:$(X-\mu)^2\ge k^2 \iff |X-\mu|\ge k$(两边都非负,故平方保持顺序)。代入即得 $P(|X-\mu|\ge k)\le\sigma^2/k^2$,这正是切比雪夫不等式。

$\mathrm{Var}(\bar X_n) = \sigma^2/n \to 0$(当 $\sigma^2$ 有限时),于是切比雪夫不等式给出 $P(|\bar X_n - \mu| \ge \varepsilon) \le \sigma^2/(n\varepsilon^2) \to 0$。(完整的定理只需均值有限,靠更精细的截断论证即可证明,但切比雪夫证明是最直观的特殊情形。)

设 $\bar X_n=\frac1n\sum_{i=1}^nX_i$ 为 $X$ 的 $n$ 个独立同分布副本的样本均值,其均值为 $\mu$,并且——为了这个基于切比雪夫的证明——方差有限为 $\sigma^2$。由期望的线性性,$E[\bar X_n]=\mu$。

独立性使方差可加:$\mathrm{Var}(\bar X_n)=\frac1{n^2}\sum_{i=1}^n\mathrm{Var}(X_i)=\frac{\sigma^2}{n}$,因为每个 $X_i$ 贡献 $\mathrm{Var}(X_i)=\sigma^2$,而 $i\ne j$ 时的交叉项 $\mathrm{Cov}(X_i,X_j)$ 由独立性为零。

固定任意 $\varepsilon>0$,对 $\bar X_n$ 应用上面证明的切比雪夫不等式:$P(|\bar X_n-\mu|\ge\varepsilon)\le\frac{\mathrm{Var}(\bar X_n)}{\varepsilon^2}=\frac{\sigma^2}{n\varepsilon^2}$。

当 $n\to\infty$ 时,对每个固定的 $\varepsilon>0$,右边 $\sigma^2/(n\varepsilon^2)\to0$,这正是依概率收敛的定义。因此 $\bar X_n\to\mu$ 依概率成立。

经典证明(柯尔莫哥洛夫,1933年)使用了柯尔莫哥洛夫不等式——切比雪夫不等式的加强版,能同时控制部分和的整条轨迹——并结合子列论证;这比弱大数定律那种一行切比雪夫证明要精细得多。

我们在额外(教材中常见)的假设下勾勒证明:$X$ 有有限的四阶矩 $E[X^4]<\infty$;一般命题只需均值有限,但需要更精细的截断论证(柯尔莫哥洛夫,1933年)。中心化后,设 $E[X]=0$(将各处的 $X_i$ 换成 $X_i-\mu$),并记 $S_n=\sum_{i=1}^nX_i$。

在全部 $n^4$ 个下标四元组上展开 $E[S_n^4]=\sum_{i,j,k,l}E[X_iX_jX_kX_l]$。独立性与 $E[X]=0$ 使得含有恰好出现一次的下标的项全部消失(该因子的期望为 $0$),只留下四个下标全相等的 $n$ 项,以及配对成两个不同相等下标的 $3n(n-1)$ 项。由此得到 $E[S_n^4]=nE[X^4]+3n(n-1)\sigma^4\le Cn^2$,常数 $C$ 只依赖于 $E[X^4]$ 和 $\sigma^2$。

除以 $n^4$:$E\left[\left(\frac{S_n}{n}\right)^4\right]\le\frac{C}{n^2}$。对 $n$ 求和,由于 $\sum 1/n^2$ 收敛,得 $\sum_{n=1}^\infty E\left[\left(\frac{S_n}{n}\right)^4\right]\le\sum_{n=1}^\infty\frac{C}{n^2}<\infty$。

非负随机变量之和若期望总和有限,则该和本身几乎必然有限(单调收敛),故 $\sum_{n=1}^\infty\left(\frac{S_n}{n}\right)^4<\infty$ 几乎必然成立,这迫使各项趋于零:$\left(\frac{S_n}{n}\right)^4\to0$,即 $\frac{S_n}{n}\to0$ 几乎必然成立。还原中心化即得 $\bar X_n\to\mu$ 几乎必然成立,这就是强大数定律。

直观地说,标准化后和的矩生成函数(或特征函数)通过泰勒展开逐项收敛到 $N(0,1)$ 的对应函数,因为标准化后只有均值和方差保留下来——所有更高阶矩在 $n \to \infty$ 时都被'冲刷'掉了。这正是为什么无论 $X_i$ 原始分布是什么形状,都会出现相同的钟形曲线。

对随机变量 $Z$,其特征函数为 $\varphi_Z(t)=E[e^{itZ}]$。对每个 $X_i$ 令 $Z_i=\frac{X_i-\mu}{\sigma}$ 进行标准化,使得 $E[Z_i]=0,\ E[Z_i^2]=1$,标准化的样本均值就变成了这些变量之和:$T_n=\frac{1}{\sqrt n}\sum_{i=1}^nZ_i=\frac{\bar X_n-\mu}{\sigma/\sqrt n}$。

由于 $Z_i$ 独立同分布,和的特征函数等于各特征函数之积:$\varphi_{T_n}(t)=\left[\varphi_Z\!\left(\frac{t}{\sqrt n}\right)\right]^n$。

由 $E[Z]=0$ 及 $E[Z^2]=1$,$\varphi_Z$ 在 $0$ 附近的泰勒展开给出 $\varphi_Z(s)=1-\frac{s^2}{2}+o(s^2)$。代入 $s=t/\sqrt n$:$\varphi_Z\!\left(\frac{t}{\sqrt n}\right)=1-\frac{t^2}{2n}+o\!\left(\frac1n\right)$。

取 $n$ 次幂,并利用标准极限 $\left(1+\frac{c}{n}+o(1/n)\right)^n\to e^{c}$:$\varphi_{T_n}(t)=\left[1-\frac{t^2}{2n}+o\!\left(\frac1n\right)\right]^n\to e^{-t^2/2}$。由于 $e^{-t^2/2}$ 恰好是标准正态分布 $N(0,1)$ 的特征函数,由莱维连续性定理,特征函数的这种逐点收敛可转化为依分布收敛:$T_n\xrightarrow{d}N(0,1)$。