事後分布に対するベイズの定理

$(\theta,x)$ の同時密度は二通りに分解できる:$\pi(\theta)L(x\mid\theta)$(尤度を $\theta$ を与えたときの $x$ の条件付き密度と定義することによる、事前分布と尤度の積)と、$\pi(\theta\mid x)m(x)$(事後分布を $x$ を与えたときの $\theta$ の条件付き密度と定義することによる、事後分布と $x$ の周辺密度の積)である。両方の式は同じ同時密度に等しいので、$\pi(\theta)L(x\mid\theta)=\pi(\theta\mid x)m(x)$。

$\pi(\theta\mid x)$ について解くと、$m(x)>0$ である限り $\pi(\theta\mid x)=\dfrac{L(x\mid\theta)\pi(\theta)}{m(x)}$ が得られる。

残るは $m(x)=\int L(x\mid\theta')\pi(\theta')\,d\theta'$ がまさに正しい正規化定数であることの確認である:分解 $\pi(\theta)L(x\mid\theta)=\pi(\theta\mid x)m(x)$ の両辺を $\theta$ について積分すると、左辺は定義により $\int \pi(\theta)L(x\mid\theta)\,d\theta=m(x)$ となり、右辺は $\pi(\cdot\mid x)$ が確率密度であることから $m(x)\int\pi(\theta\mid x)\,d\theta=m(x)\times1$ となる。両辺が一致することから $m(x)$ の整合性が確かめられ、$\pi(\theta\mid x)$ が密度として要求される通り積分して $1$ になることが確認される。