贝叶斯统计

这不过是把条件密度的定义同时应用于 $\theta$ 与 $x$:后验就是 $(\theta,x)$ 的联合密度除以仅 $x$ 的边际密度,而联合密度分解为先验乘以似然。

$(\theta,x)$ 的联合密度可以两种方式分解:分解为 $\pi(\theta)L(x\mid\theta)$(先验乘以似然,根据将似然定义为给定 $\theta$ 时 $x$ 的条件密度),也分解为 $\pi(\theta\mid x)m(x)$(后验乘以 $x$ 的边际密度,根据将后验定义为给定 $x$ 时 $\theta$ 的条件密度)。由于两个表达式等于同一个联合密度,故 $\pi(\theta)L(x\mid\theta)=\pi(\theta\mid x)m(x)$。

解出 $\pi(\theta\mid x)$,在 $m(x)>0$ 的前提下得到 $\pi(\theta\mid x)=\dfrac{L(x\mid\theta)\pi(\theta)}{m(x)}$。

还需验证 $m(x)=\int L(x\mid\theta')\pi(\theta')\,d\theta'$ 确实是正确的归一化常数:对分解式 $\pi(\theta)L(x\mid\theta)=\pi(\theta\mid x)m(x)$ 两边关于 $\theta$ 积分,左边由定义得 $\int \pi(\theta)L(x\mid\theta)\,d\theta=m(x)$,右边由于 $\pi(\cdot\mid x)$ 是概率密度而得 $m(x)\int\pi(\theta\mid x)\,d\theta=m(x)\times1$。两边相符,确认了 $m(x)$ 的一致性,且 $\pi(\theta\mid x)$ 按密度要求积分为 $1$。

二项似然贡献因子 $\theta^k(1-\theta)^{n-k}$,而 Beta 先验贡献 $\theta^{\alpha-1}(1-\theta)^{\beta-1}$;把它们相乘只是把指数相加,恰好落在另一个 Beta 密度的形状上。

在给定 $\theta$ 时,$n$ 次试验中观测到 $k$ 次成功的似然为 $L(k\mid\theta)=\binom{n}{k}\theta^k(1-\theta)^{n-k}$。由上面的后验比例定理,$\pi(\theta\mid k)\propto L(k\mid\theta)\pi(\theta)=\binom{n}{k}\theta^k(1-\theta)^{n-k}\cdot\dfrac{\theta^{\alpha-1}(1-\theta)^{\beta-1}}{B(\alpha,\beta)}$。

因子 $\binom{n}{k}$ 与 $B(\alpha,\beta)$ 不依赖于 $\theta$,故可并入比例常数:$\pi(\theta\mid k)\propto\theta^{k}(1-\theta)^{n-k}\cdot\theta^{\alpha-1}(1-\theta)^{\beta-1}=\theta^{(\alpha+k)-1}(1-\theta)^{(\beta+n-k)-1}$。

这最后一个表达式恰好就是 $\mathrm{Beta}(\alpha+k,\beta+n-k)$ 密度的核($\theta$ 相关的部分)。由于在 $(0,1)$ 上具有该核的概率密度只有唯一的归一化常数(根据 Beta 函数的定义,即 $1/B(\alpha+k,\beta+n-k)$),后验必然恰好是 $\pi(\theta\mid k)=\dfrac{\theta^{(\alpha+k)-1}(1-\theta)^{(\beta+n-k)-1}}{B(\alpha+k,\beta+n-k)}$,即 $\theta\mid k\sim\mathrm{Beta}(\alpha+k,\beta+n-k)$。