Luật số lớn và định lý giới hạn trung tâm

Áp dụng bất đẳng thức Markov cho biến ngẫu nhiên không âm $(X-\mu)^2$ ta được $P((X-\mu)^2 \ge k^2) \le E[(X-\mu)^2]/k^2 = \sigma^2/k^2$; biến cố $(X-\mu)^2 \ge k^2$ chính là $|X-\mu| \ge k$.

Trước hết ta chứng minh bất đẳng thức Markov: với biến ngẫu nhiên không âm $Y\ge0$ và mọi $a>0$, chặn theo chỉ báo $Y\ge a\cdot\mathbb{1}_{\{Y\ge a\}}$ đúng tại mọi điểm, vì trên biến cố $\{Y\ge a\}$ vế phải bằng $a\le Y$, còn nơi khác vế phải là $0\le Y$. Lấy kỳ vọng cả hai vế vẫn giữ nguyên bất đẳng thức: $E[Y]\ge aP(Y\ge a)$, suy ra $P(Y\ge a)\le E[Y]/a$.

Bây giờ áp dụng bất đẳng thức Markov cho biến ngẫu nhiên không âm $Y=(X-\mu)^2$ với ngưỡng $a=k^2$: $P((X-\mu)^2\ge k^2)\le E[(X-\mu)^2]/k^2$. Theo định nghĩa phương sai, $E[(X-\mu)^2]=\sigma^2$, nên vế phải chính bằng $\sigma^2/k^2$.

Cuối cùng, hai biến cố ở hai vế của bất đẳng thức Markov trùng nhau: $(X-\mu)^2\ge k^2 \iff |X-\mu|\ge k$ (cả hai vế đều không âm nên bình phương giữ nguyên thứ tự). Thay vào ta được $P(|X-\mu|\ge k)\le\sigma^2/k^2$, chính là bất đẳng thức Chebyshev.

$\mathrm{Var}(\bar X_n) = \sigma^2/n \to 0$ (khi $\sigma^2$ hữu hạn), nên bất đẳng thức Chebyshev cho $P(|\bar X_n - \mu| \ge \varepsilon) \le \sigma^2/(n\varepsilon^2) \to 0$. (Định lý đầy đủ chỉ cần kỳ vọng hữu hạn, bằng một lập luận cắt cụt tinh tế hơn, nhưng chứng minh qua Chebyshev là trường hợp riêng dễ hình dung nhất.)

Cho $\bar X_n=\frac1n\sum_{i=1}^nX_i$ là trung bình mẫu của $n$ bản sao độc lập cùng phân phối của $X$ có kỳ vọng $\mu$ và, để dùng chứng minh qua Chebyshev, phương sai hữu hạn $\sigma^2$. Tính tuyến tính của kỳ vọng cho $E[\bar X_n]=\mu$.

Tính độc lập khiến các phương sai cộng được: $\mathrm{Var}(\bar X_n)=\frac1{n^2}\sum_{i=1}^n\mathrm{Var}(X_i)=\frac{\sigma^2}{n}$, vì mỗi $X_i$ đóng góp $\mathrm{Var}(X_i)=\sigma^2$ và các số hạng chéo $\mathrm{Cov}(X_i,X_j)$ với $i\ne j$ triệt tiêu do tính độc lập.

Cố định bất kỳ $\varepsilon>0$ và áp dụng bất đẳng thức Chebyshev đã chứng minh ở trên cho $\bar X_n$: $P(|\bar X_n-\mu|\ge\varepsilon)\le\frac{\mathrm{Var}(\bar X_n)}{\varepsilon^2}=\frac{\sigma^2}{n\varepsilon^2}$.

Khi $n\to\infty$, vế phải $\sigma^2/(n\varepsilon^2)\to0$ với mọi $\varepsilon>0$ cố định, đây chính là định nghĩa hội tụ theo xác suất. Vậy $\bar X_n\to\mu$ theo xác suất.

Chứng minh kinh điển (Kolmogorov, 1933) dùng bất đẳng thức Kolmogorov — một dạng mạnh hơn của Chebyshev, kiểm soát toàn bộ quỹ đạo của các tổng riêng cùng lúc — cùng với lập luận trên dãy con; tinh vi hơn nhiều so với chứng minh một dòng bằng Chebyshev cho luật yếu.

Ta phác thảo chứng minh với giả thiết thêm (thường gặp trong giáo trình) rằng $X$ có mô-men bậc bốn hữu hạn $E[X^4]<\infty$; phát biểu tổng quát chỉ cần kỳ vọng hữu hạn nhưng cần lập luận cắt cụt tinh tế hơn (Kolmogorov, 1933). Sau khi căn giữa, giả sử $E[X]=0$ (thay $X_i$ bởi $X_i-\mu$ trong toàn bộ), và đặt $S_n=\sum_{i=1}^nX_i$.

Khai triển $E[S_n^4]=\sum_{i,j,k,l}E[X_iX_jX_kX_l]$ trên toàn bộ $n^4$ bộ chỉ số. Tính độc lập và $E[X]=0$ triệt tiêu mọi số hạng có một chỉ số xuất hiện đúng một lần (thừa số đó có kỳ vọng bằng $0$), chỉ còn lại $n$ số hạng có cả bốn chỉ số bằng nhau và $3n(n-1)$ số hạng ghép thành hai cặp chỉ số bằng nhau khác nhau. Điều này cho $E[S_n^4]=nE[X^4]+3n(n-1)\sigma^4\le Cn^2$ với hằng số $C$ chỉ phụ thuộc $E[X^4]$ và $\sigma^2$.

Chia cho $n^4$: $E\left[\left(\frac{S_n}{n}\right)^4\right]\le\frac{C}{n^2}$. Lấy tổng theo $n$, $\sum_{n=1}^\infty E\left[\left(\frac{S_n}{n}\right)^4\right]\le\sum_{n=1}^\infty\frac{C}{n^2}<\infty$ vì $\sum 1/n^2$ hội tụ.

Một tổng các biến ngẫu nhiên không âm với tổng kỳ vọng hữu hạn thì bản thân nó phải hữu hạn hầu chắc chắn (hội tụ đơn điệu), nên $\sum_{n=1}^\infty\left(\frac{S_n}{n}\right)^4<\infty$ hầu chắc chắn, điều này buộc từng số hạng phải tiến về 0: $\left(\frac{S_n}{n}\right)^4\to0$, tức $\frac{S_n}{n}\to0$ hầu chắc chắn. Đảo ngược phép căn giữa cho $\bar X_n\to\mu$ hầu chắc chắn, chính là luật số lớn mạnh.

Về mặt trực giác, hàm sinh mô-men (hoặc hàm đặc trưng) của tổng đã chuẩn hóa hội tụ từng số hạng về hàm của $N(0,1)$ qua khai triển Taylor, vì chỉ kỳ vọng và phương sai còn sống sót sau khi chuẩn hóa — mọi mô-men bậc cao hơn bị 'rửa trôi' khi $n \to \infty$. Đó là lý do vì sao cùng một hình chuông xuất hiện dù phân phối gốc của $X_i$ trông ra sao.

Với biến ngẫu nhiên $Z$, hàm đặc trưng của nó là $\varphi_Z(t)=E[e^{itZ}]$. Chuẩn hóa mỗi $X_i$ bằng cách đặt $Z_i=\frac{X_i-\mu}{\sigma}$, để $E[Z_i]=0,\ E[Z_i^2]=1$, và trung bình mẫu đã chuẩn hóa trở thành tổng của các biến này: $T_n=\frac{1}{\sqrt n}\sum_{i=1}^nZ_i=\frac{\bar X_n-\mu}{\sigma/\sqrt n}$.

Vì các $Z_i$ độc lập cùng phân phối, hàm đặc trưng của một tổng bằng tích các hàm đặc trưng: $\varphi_{T_n}(t)=\left[\varphi_Z\!\left(\frac{t}{\sqrt n}\right)\right]^n$.

Vì $E[Z]=0$ và $E[Z^2]=1$, khai triển Taylor của $\varphi_Z$ gần $0$ cho $\varphi_Z(s)=1-\frac{s^2}{2}+o(s^2)$. Thay $s=t/\sqrt n$: $\varphi_Z\!\left(\frac{t}{\sqrt n}\right)=1-\frac{t^2}{2n}+o\!\left(\frac1n\right)$.

Nâng lên lũy thừa $n$ và dùng giới hạn quen thuộc $\left(1+\frac{c}{n}+o(1/n)\right)^n\to e^{c}$: $\varphi_{T_n}(t)=\left[1-\frac{t^2}{2n}+o\!\left(\frac1n\right)\right]^n\to e^{-t^2/2}$. Vì $e^{-t^2/2}$ chính là hàm đặc trưng của phân phối chuẩn tắc $N(0,1)$, định lý liên tục Lévy chuyển hội tụ điểm của hàm đặc trưng này thành hội tụ theo phân phối: $T_n\xrightarrow{d}N(0,1)$.