Thống kê Bayes

Đây không gì khác hơn định nghĩa mật độ điều kiện áp dụng cho $\theta$ và $x$ đồng thời: hậu nghiệm là mật độ đồng thời của $(\theta,x)$ chia cho mật độ biên của riêng $x$, và mật độ đồng thời được phân tích thành tiên nghiệm nhân hàm hợp lý.

Mật độ đồng thời của $(\theta,x)$ phân tích theo hai cách: thành $\pi(\theta)L(x\mid\theta)$ (tiên nghiệm nhân hàm hợp lý, theo định nghĩa hàm hợp lý là mật độ điều kiện của $x$ cho trước $\theta$) và thành $\pi(\theta\mid x)m(x)$ (hậu nghiệm nhân mật độ biên của $x$, theo định nghĩa hậu nghiệm là mật độ điều kiện của $\theta$ cho trước $x$). Vì cả hai biểu thức đều bằng cùng một mật độ đồng thời, $\pi(\theta)L(x\mid\theta)=\pi(\theta\mid x)m(x)$.

Giải ra $\pi(\theta\mid x)$ cho $\pi(\theta\mid x)=\dfrac{L(x\mid\theta)\pi(\theta)}{m(x)}$, với điều kiện $m(x)>0$.

Còn lại cần kiểm tra $m(x)=\int L(x\mid\theta')\pi(\theta')\,d\theta'$ đúng là hằng số chuẩn hóa: lấy tích phân cả hai vế của phân tích $\pi(\theta)L(x\mid\theta)=\pi(\theta\mid x)m(x)$ theo $\theta$, vế trái trở thành $\int \pi(\theta)L(x\mid\theta)\,d\theta=m(x)$ theo định nghĩa, và vế phải trở thành $m(x)\int\pi(\theta\mid x)\,d\theta=m(x)\times1$ vì $\pi(\cdot\mid x)$ là mật độ xác suất. Cả hai vế khớp nhau, xác nhận $m(x)$ nhất quán và $\pi(\theta\mid x)$ tích phân bằng $1$ như yêu cầu của một mật độ.

Hàm hợp lý Nhị thức đóng góp một thừa số $\theta^k(1-\theta)^{n-k}$, còn tiên nghiệm Beta đóng góp $\theta^{\alpha-1}(1-\theta)^{\beta-1}$; nhân hai cái này chỉ đơn giản là cộng các số mũ, rơi đúng vào hình dạng của một mật độ Beta khác.

Hàm hợp lý quan sát $k$ thành công trong $n$ phép thử cho trước $\theta$ là $L(k\mid\theta)=\binom{n}{k}\theta^k(1-\theta)^{n-k}$. Theo định lý tỉ lệ hậu nghiệm ở trên, $\pi(\theta\mid k)\propto L(k\mid\theta)\pi(\theta)=\binom{n}{k}\theta^k(1-\theta)^{n-k}\cdot\dfrac{\theta^{\alpha-1}(1-\theta)^{\beta-1}}{B(\alpha,\beta)}$.

Các thừa số $\binom{n}{k}$ và $B(\alpha,\beta)$ không phụ thuộc $\theta$, nên có thể gộp vào hệ số tỉ lệ: $\pi(\theta\mid k)\propto\theta^{k}(1-\theta)^{n-k}\cdot\theta^{\alpha-1}(1-\theta)^{\beta-1}=\theta^{(\alpha+k)-1}(1-\theta)^{(\beta+n-k)-1}$.

Biểu thức cuối này chính là hạt nhân (phần phụ thuộc $\theta$) của mật độ $\mathrm{Beta}(\alpha+k,\beta+n-k)$. Vì một mật độ xác suất trên $(0,1)$ với hạt nhân này có hằng số chuẩn hóa duy nhất (chính là $1/B(\alpha+k,\beta+n-k)$, theo định nghĩa hàm Beta), hậu nghiệm phải chính xác là $\pi(\theta\mid k)=\dfrac{\theta^{(\alpha+k)-1}(1-\theta)^{(\beta+n-k)-1}}{B(\alpha+k,\beta+n-k)}$, tức $\theta\mid k\sim\mathrm{Beta}(\alpha+k,\beta+n-k)$.