MathLabs
定理証明済み

ベータ・二項共役性

内容

θ∼Beta(α,β)\theta\sim\mathrm{Beta}(\alpha,\beta) を事前分布とし、θ\theta を与えたとき nn 回の独立試行で kk 回の成功が観測される場合(すなわち k∣θ∼Binomial(n,θ)k\mid\theta\sim\mathrm{Binomial}(n,\theta))、事後分布は θ∣k∼Beta(α+k, β+n−k)\theta\mid k\sim\mathrm{Beta}(\alpha+k,\ \beta+n-k) である。

なぜ正しいのか?

二項尤度は因子 θk(1−θ)n−k\theta^k(1-\theta)^{n-k} を与え、ベータ事前分布は θα−1(1−θ)β−1\theta^{\alpha-1}(1-\theta)^{\beta-1} を与える。これらを掛け合わせると指数が単に足し合わされ、ちょうど別のベータ密度の形になる。

証明の概略

θ\theta を与えたとき nn 回中 kk 回の成功を観測する尤度は L(k∣θ)=(nk)θk(1−θ)n−kL(k\mid\theta)=\binom{n}{k}\theta^k(1-\theta)^{n-k} である。上の事後分布比例定理により、π(θ∣k)∝L(k∣θ)π(θ)=(nk)θk(1−θ)n−k⋅θα−1(1−θ)β−1B(α,β)\pi(\theta\mid k)\propto L(k\mid\theta)\pi(\theta)=\binom{n}{k}\theta^k(1-\theta)^{n-k}\cdot\dfrac{\theta^{\alpha-1}(1-\theta)^{\beta-1}}{B(\alpha,\beta)}。

因子 (nk)\binom{n}{k} と B(α,β)B(\alpha,\beta) は θ\theta に依存しないので、比例定数に吸収できる:π(θ∣k)∝θk(1−θ)n−k⋅θα−1(1−θ)β−1=θ(α+k)−1(1−θ)(β+n−k)−1\pi(\theta\mid k)\propto\theta^{k}(1-\theta)^{n-k}\cdot\theta^{\alpha-1}(1-\theta)^{\beta-1}=\theta^{(\alpha+k)-1}(1-\theta)^{(\beta+n-k)-1}。

この最後の式は、まさに Beta(α+k,β+n−k)\mathrm{Beta}(\alpha+k,\beta+n-k) 密度のカーネル(θ\theta に依存する部分)である。このカーネルを持つ (0,1)(0,1) 上の確率密度は一意の正規化定数(すなわちベータ関数の定義による 1/B(α+k,β+n−k)1/B(\alpha+k,\beta+n-k))を持つので、事後分布は必ず π(θ∣k)=θ(α+k)−1(1−θ)(β+n−k)−1B(α+k,β+n−k)\pi(\theta\mid k)=\dfrac{\theta^{(\alpha+k)-1}(1-\theta)^{(\beta+n-k)-1}}{B(\alpha+k,\beta+n-k)}、すなわち θ∣k∼Beta(α+k,β+n−k)\theta\mid k\sim\mathrm{Beta}(\alpha+k,\beta+n-k) となる。

この定理を使うトピック

ステップごとの証明

この定理のステップごとの証明はまだありません。

参考文献

  1. Andrew Gelman, John B. Carlin, Hal S. Stern, David B. Dunson, Aki Vehtari, Donald B. Rubin (2013). Bayesian Data Analysis (3rd ed.)
  2. Matthew D. Hoffman, Andrew Gelman (2014). The No-U-Turn Sampler: Adaptively Setting Path Lengths in Hamiltonian Monte Carlo · arXiv:1111.4246