大数の法則と中心極限定理

非負の確率変数 $(X-\mu)^2$ にマルコフの不等式を適用すると $P((X-\mu)^2 \ge k^2) \le E[(X-\mu)^2]/k^2 = \sigma^2/k^2$ が得られる。事象 $(X-\mu)^2 \ge k^2$ はまさに $|X-\mu| \ge k$ である。

まずマルコフの不等式を証明する:非負の確率変数 $Y\ge0$ と任意の $a>0$ に対して、指示関数による評価 $Y\ge a\cdot\mathbb{1}_{\{Y\ge a\}}$ は各点で成り立つ。なぜなら事象 $\{Y\ge a\}$ 上では右辺は $a\le Y$ に等しく、それ以外では右辺は $0\le Y$ だからである。両辺の期待値を取っても不等号は保たれる:$E[Y]\ge aP(Y\ge a)$、したがって $P(Y\ge a)\le E[Y]/a$。

次に、非負の確率変数 $Y=(X-\mu)^2$ にしきい値 $a=k^2$ でマルコフの不等式を適用する:$P((X-\mu)^2\ge k^2)\le E[(X-\mu)^2]/k^2$。分散の定義により $E[(X-\mu)^2]=\sigma^2$ であるから、右辺はちょうど $\sigma^2/k^2$ となる。

最後に、マルコフの不等式の両辺にある事象は一致する:$(X-\mu)^2\ge k^2 \iff |X-\mu|\ge k$(両辺とも非負なので、二乗しても順序は保たれる)。これを代入すると $P(|X-\mu|\ge k)\le\sigma^2/k^2$ が得られ、これがチェビシェフの不等式である。

$\mathrm{Var}(\bar X_n) = \sigma^2/n \to 0$($\sigma^2$ が有限のとき)であるから、チェビシェフの不等式より $P(|\bar X_n - \mu| \ge \varepsilon) \le \sigma^2/(n\varepsilon^2) \to 0$ となる。(定理そのものは有限な平均だけを仮定すればよく、より精密な切断の議論で示されるが、チェビシェフによる証明は本質を見渡せる特別な場合である。)

$n$ 個の独立同分布なコピー $X$(平均 $\mu$、そしてこのチェビシェフに基づく証明のためには有限な分散 $\sigma^2$ を持つ)に対する標本平均を $\bar X_n=\frac1n\sum_{i=1}^nX_i$ とする。期待値の線形性より $E[\bar X_n]=\mu$。

独立性により分散は加法的になる:$\mathrm{Var}(\bar X_n)=\frac1{n^2}\sum_{i=1}^n\mathrm{Var}(X_i)=\frac{\sigma^2}{n}$。各 $X_i$ が $\mathrm{Var}(X_i)=\sigma^2$ を寄与し、$i\ne j$ に対する交差項 $\mathrm{Cov}(X_i,X_j)$ は独立性により消えるからである。

任意の $\varepsilon>0$ を固定し、上で証明したチェビシェフの不等式を $\bar X_n$ に適用する:$P(|\bar X_n-\mu|\ge\varepsilon)\le\frac{\mathrm{Var}(\bar X_n)}{\varepsilon^2}=\frac{\sigma^2}{n\varepsilon^2}$。

$n\to\infty$ のとき、固定された任意の $\varepsilon>0$ に対して右辺 $\sigma^2/(n\varepsilon^2)\to0$ となり、これはまさに確率収束の定義である。したがって $\bar X_n\to\mu$ は確率収束する。

古典的な証明(コルモゴロフ、1933年)は、部分和の軌道全体を一度に制御するチェビシェフの強化版であるコルモゴロフの不等式と、部分列に関する議論を組み合わせて用いる。弱法則の一行で済むチェビシェフによる証明よりもかなり繊細である。

ここでは、追加の(教科書でよく使われる)仮定として $X$ が有限な四次モーメント $E[X^4]<\infty$ を持つ場合の証明を概説する;一般の主張は有限な平均だけを必要とするが、より繊細な切断の議論(コルモゴロフ、1933年)が必要である。中心化の後、$E[X]=0$ と仮定し(全体で $X_i$ を $X_i-\mu$ に置き換える)、$S_n=\sum_{i=1}^nX_i$ とする。

$n^4$ 個の添字の四つ組全体にわたって $E[S_n^4]=\sum_{i,j,k,l}E[X_iX_jX_kX_l]$ を展開する。独立性と $E[X]=0$ により、ちょうど一度だけ現れる添字を含む項はすべて消える(その因子の期待値が $0$ になるため)。残るのは、四つの添字がすべて等しい $n$ 個の項と、異なる二つの等しい添字の組に分かれる $3n(n-1)$ 個の項だけである。これより $E[S_n^4]=nE[X^4]+3n(n-1)\sigma^4\le Cn^2$ が得られる。ここで定数 $C$ は $E[X^4]$ と $\sigma^2$ だけに依存する。

$n^4$ で割ると:$E\left[\left(\frac{S_n}{n}\right)^4\right]\le\frac{C}{n^2}$。$n$ について総和を取ると、$\sum 1/n^2$ が収束するので $\sum_{n=1}^\infty E\left[\left(\frac{S_n}{n}\right)^4\right]\le\sum_{n=1}^\infty\frac{C}{n^2}<\infty$ となる。

非負の確率変数の和で、期待値の総和が有限であるものは、それ自身がほとんど確実に有限でなければならない(単調収束定理)。したがって $\sum_{n=1}^\infty\left(\frac{S_n}{n}\right)^4<\infty$ がほとんど確実に成り立ち、これは各項が消えることを強制する:$\left(\frac{S_n}{n}\right)^4\to0$、すなわち $\frac{S_n}{n}\to0$ がほとんど確実に成り立つ。中心化を元に戻すと $\bar X_n\to\mu$ がほとんど確実に成り立ち、これが強法則である。

直感的には、標準化された和のモーメント母関数(または特性関数)は、テイラー展開により項ごとに $N(0,1)$ のものへ収束する。標準化によって生き残るのは平均と分散だけであり、それより高次のモーメントは $n \to \infty$ で消えていくからである。これが、$X_i$ の元の分布がどのような形であっても同じ釣鐘型が現れる理由である。

確率変数 $Z$ について、その特性関数は $\varphi_Z(t)=E[e^{itZ}]$ である。各 $X_i$ を $Z_i=\frac{X_i-\mu}{\sigma}$ とおいて標準化すると、$E[Z_i]=0,\ E[Z_i^2]=1$ となり、標準化された標本平均はこれらの和になる:$T_n=\frac{1}{\sqrt n}\sum_{i=1}^nZ_i=\frac{\bar X_n-\mu}{\sigma/\sqrt n}$。

$Z_i$ は独立同分布であるから、和の特性関数は積になる:$\varphi_{T_n}(t)=\left[\varphi_Z\!\left(\frac{t}{\sqrt n}\right)\right]^n$。

$E[Z]=0$ かつ $E[Z^2]=1$ であるから、$\varphi_Z$ の $0$ 近くでのテイラー展開は $\varphi_Z(s)=1-\frac{s^2}{2}+o(s^2)$ となる。$s=t/\sqrt n$ を代入すると:$\varphi_Z\!\left(\frac{t}{\sqrt n}\right)=1-\frac{t^2}{2n}+o\!\left(\frac1n\right)$。

これを $n$ 乗し、標準的な極限 $\left(1+\frac{c}{n}+o(1/n)\right)^n\to e^{c}$ を用いると:$\varphi_{T_n}(t)=\left[1-\frac{t^2}{2n}+o\!\left(\frac1n\right)\right]^n\to e^{-t^2/2}$。$e^{-t^2/2}$ はまさに標準正規分布 $N(0,1)$ の特性関数であるから、レヴィの連続性定理により、この特性関数の各点収束は分布収束に変換される:$T_n\xrightarrow{d}N(0,1)$。