ベイズ統計学

これは $\theta$ と $x$ に同時に適用した条件付き密度の定義に他ならない:事後分布は $(\theta,x)$ の同時密度を $x$ だけの周辺密度で割ったものであり、同時密度は事前分布と尤度の積に分解される。

$(\theta,x)$ の同時密度は二通りに分解できる:$\pi(\theta)L(x\mid\theta)$(尤度を $\theta$ を与えたときの $x$ の条件付き密度と定義することによる、事前分布と尤度の積)と、$\pi(\theta\mid x)m(x)$(事後分布を $x$ を与えたときの $\theta$ の条件付き密度と定義することによる、事後分布と $x$ の周辺密度の積)である。両方の式は同じ同時密度に等しいので、$\pi(\theta)L(x\mid\theta)=\pi(\theta\mid x)m(x)$。

$\pi(\theta\mid x)$ について解くと、$m(x)>0$ である限り $\pi(\theta\mid x)=\dfrac{L(x\mid\theta)\pi(\theta)}{m(x)}$ が得られる。

残るは $m(x)=\int L(x\mid\theta')\pi(\theta')\,d\theta'$ がまさに正しい正規化定数であることの確認である:分解 $\pi(\theta)L(x\mid\theta)=\pi(\theta\mid x)m(x)$ の両辺を $\theta$ について積分すると、左辺は定義により $\int \pi(\theta)L(x\mid\theta)\,d\theta=m(x)$ となり、右辺は $\pi(\cdot\mid x)$ が確率密度であることから $m(x)\int\pi(\theta\mid x)\,d\theta=m(x)\times1$ となる。両辺が一致することから $m(x)$ の整合性が確かめられ、$\pi(\theta\mid x)$ が密度として要求される通り積分して $1$ になることが確認される。

二項尤度は因子 $\theta^k(1-\theta)^{n-k}$ を与え、ベータ事前分布は $\theta^{\alpha-1}(1-\theta)^{\beta-1}$ を与える。これらを掛け合わせると指数が単に足し合わされ、ちょうど別のベータ密度の形になる。

$\theta$ を与えたとき $n$ 回中 $k$ 回の成功を観測する尤度は $L(k\mid\theta)=\binom{n}{k}\theta^k(1-\theta)^{n-k}$ である。上の事後分布比例定理により、$\pi(\theta\mid k)\propto L(k\mid\theta)\pi(\theta)=\binom{n}{k}\theta^k(1-\theta)^{n-k}\cdot\dfrac{\theta^{\alpha-1}(1-\theta)^{\beta-1}}{B(\alpha,\beta)}$。

因子 $\binom{n}{k}$ と $B(\alpha,\beta)$ は $\theta$ に依存しないので、比例定数に吸収できる:$\pi(\theta\mid k)\propto\theta^{k}(1-\theta)^{n-k}\cdot\theta^{\alpha-1}(1-\theta)^{\beta-1}=\theta^{(\alpha+k)-1}(1-\theta)^{(\beta+n-k)-1}$。

この最後の式は、まさに $\mathrm{Beta}(\alpha+k,\beta+n-k)$ 密度のカーネル($\theta$ に依存する部分)である。このカーネルを持つ $(0,1)$ 上の確率密度は一意の正規化定数(すなわちベータ関数の定義による $1/B(\alpha+k,\beta+n-k)$)を持つので、事後分布は必ず $\pi(\theta\mid k)=\dfrac{\theta^{(\alpha+k)-1}(1-\theta)^{(\beta+n-k)-1}}{B(\alpha+k,\beta+n-k)}$、すなわち $\theta\mid k\sim\mathrm{Beta}(\alpha+k,\beta+n-k)$ となる。