MathLabs
Định lýĐã chứng minh

Định lý Bayes cho phân phối hậu nghiệm

Phát biểu

Nếu θ\theta có mật độ tiên nghiệm π(θ)\pi(\theta) và dữ liệu xx có hàm hợp lý L(x∣θ)L(x\mid\theta), thì mật độ hậu nghiệm của θ\theta cho trước xx là π(θ∣x)=L(x∣θ)π(θ)m(x)\pi(\theta\mid x)=\dfrac{L(x\mid\theta)\pi(\theta)}{m(x)}, với m(x)=∫L(x∣θ′)π(θ′) dθ′m(x)=\int L(x\mid\theta')\pi(\theta')\,d\theta'; tương đương π(θ∣x)∝L(x∣θ)π(θ)\pi(\theta\mid x)\propto L(x\mid\theta)\pi(\theta).

Vì sao đúng?

Đây không gì khác hơn định nghĩa mật độ điều kiện áp dụng cho θ\theta và xx đồng thời: hậu nghiệm là mật độ đồng thời của (θ,x)(\theta,x) chia cho mật độ biên của riêng xx, và mật độ đồng thời được phân tích thành tiên nghiệm nhân hàm hợp lý.

Phác thảo chứng minh

Mật độ đồng thời của (θ,x)(\theta,x) phân tích theo hai cách: thành π(θ)L(x∣θ)\pi(\theta)L(x\mid\theta) (tiên nghiệm nhân hàm hợp lý, theo định nghĩa hàm hợp lý là mật độ điều kiện của xx cho trước θ\theta) và thành π(θ∣x)m(x)\pi(\theta\mid x)m(x) (hậu nghiệm nhân mật độ biên của xx, theo định nghĩa hậu nghiệm là mật độ điều kiện của θ\theta cho trước xx). Vì cả hai biểu thức đều bằng cùng một mật độ đồng thời, π(θ)L(x∣θ)=π(θ∣x)m(x)\pi(\theta)L(x\mid\theta)=\pi(\theta\mid x)m(x).

Giải ra π(θ∣x)\pi(\theta\mid x) cho π(θ∣x)=L(x∣θ)π(θ)m(x)\pi(\theta\mid x)=\dfrac{L(x\mid\theta)\pi(\theta)}{m(x)}, với điều kiện m(x)>0m(x)>0.

Còn lại cần kiểm tra m(x)=∫L(x∣θ′)π(θ′) dθ′m(x)=\int L(x\mid\theta')\pi(\theta')\,d\theta' đúng là hằng số chuẩn hóa: lấy tích phân cả hai vế của phân tích π(θ)L(x∣θ)=π(θ∣x)m(x)\pi(\theta)L(x\mid\theta)=\pi(\theta\mid x)m(x) theo θ\theta, vế trái trở thành ∫π(θ)L(x∣θ) dθ=m(x)\int \pi(\theta)L(x\mid\theta)\,d\theta=m(x) theo định nghĩa, và vế phải trở thành m(x)∫π(θ∣x) dθ=m(x)×1m(x)\int\pi(\theta\mid x)\,d\theta=m(x)\times1 vì π(⋅∣x)\pi(\cdot\mid x) là mật độ xác suất. Cả hai vế khớp nhau, xác nhận m(x)m(x) nhất quán và π(θ∣x)\pi(\theta\mid x) tích phân bằng 11 như yêu cầu của một mật độ.

Chủ đề chứa định lý này

Chứng minh từng bước

Chưa có chứng minh từng bước cho định lý này.

Tài liệu tham khảo

  1. Andrew Gelman, John B. Carlin, Hal S. Stern, David B. Dunson, Aki Vehtari, Donald B. Rubin (2013). Bayesian Data Analysis (3rd ed.)
  2. Matthew D. Hoffman, Andrew Gelman (2014). The No-U-Turn Sampler: Adaptively Setting Path Lengths in Hamiltonian Monte Carlo · arXiv:1111.4246