后验分布的贝叶斯定理

$(\theta,x)$ 的联合密度可以两种方式分解:分解为 $\pi(\theta)L(x\mid\theta)$(先验乘以似然,根据将似然定义为给定 $\theta$ 时 $x$ 的条件密度),也分解为 $\pi(\theta\mid x)m(x)$(后验乘以 $x$ 的边际密度,根据将后验定义为给定 $x$ 时 $\theta$ 的条件密度)。由于两个表达式等于同一个联合密度,故 $\pi(\theta)L(x\mid\theta)=\pi(\theta\mid x)m(x)$。

解出 $\pi(\theta\mid x)$,在 $m(x)>0$ 的前提下得到 $\pi(\theta\mid x)=\dfrac{L(x\mid\theta)\pi(\theta)}{m(x)}$。

还需验证 $m(x)=\int L(x\mid\theta')\pi(\theta')\,d\theta'$ 确实是正确的归一化常数:对分解式 $\pi(\theta)L(x\mid\theta)=\pi(\theta\mid x)m(x)$ 两边关于 $\theta$ 积分,左边由定义得 $\int \pi(\theta)L(x\mid\theta)\,d\theta=m(x)$,右边由于 $\pi(\cdot\mid x)$ 是概率密度而得 $m(x)\int\pi(\theta\mid x)\,d\theta=m(x)\times1$。两边相符,确认了 $m(x)$ 的一致性,且 $\pi(\theta\mid x)$ 按密度要求积分为 $1$。