条件付き確率とベイズの定理

$B_i$ が $\Omega$ を分割するため、事象 $A$ は自動的に $n$ 個の互いに素な部分に分けられ、各部分はそれぞれ1つの $B_i$ の内側にある。乗法の法則で表した各部分の確率を足し合わせると、二重に数えたり見落としたりすることなく $P(A)$ の全体が得られる。

第1段階($B_i$ を用いて $A$ を分割する):各 $i = 1, \ldots, n$ について $A_i = A \cap B_i$ と定める。$B_i$ は互いに素なので $A_i$ も互いに素であり、$B_1 \cup \cdots \cup B_n = \Omega \supseteq A$ なので、$A$ の各根元事象はちょうど1つの $A_i$ に属し、$A = A_1 \cup A_2 \cup \cdots \cup A_n$ が互いに素な和集合として成り立つ。

第2段階(互いに素な部分の確率を足す):確率は互いに素な事象について加法性を持つので、$P(A) = P(A_1) + P(A_2) + \cdots + P(A_n) = \sum_{i=1}^{n} P(A \cap B_i)$ である。

第3段階(乗法の法則で各項を書き換える):各 $i$ について、乗法の法則より $P(A \cap B_i) = P(B_i) \cdot P(A \mid B_i)$ が成り立ち、$P(B_i) > 0$ なのでこれは well-defined である。

第4段階(代入する):第2段階のすべての $P(A \cap B_i)$ を $P(B_i) \cdot P(A \mid B_i)$ に置き換えると、主張どおり $P(A) = \sum_{i=1}^{n} P(B_i) \cdot P(A \mid B_i)$ が得られる。

ベイズの定理は条件付けの向きを逆転させる:各仮説 $B_i$ のもとで証拠 $A$ がどれほど起こりやすいか(多くの場合わかりやすい、あるいは測定しやすい)から出発し、証拠 $A$ が実際に観測された後で各仮説がどれほどもっともらしいか(通常こちらこそ本当に知りたいこと)を、各事前確率 $P(B_i)$ を $A$ をどれだけうまく説明するかに応じて重み付け直すことで求める。

第1段階($P(B_i \cap A)$ を2通りに書く):乗法の法則を両方向に適用すると、$P(B_i \cap A) = P(B_i) \cdot P(A \mid B_i)$ であり、また $P(A) > 0$ なので $P(B_i \cap A) = P(A) \cdot P(B_i \mid A)$ でもある。

第2段階(2つの式を等しいとおいて解く):$P(B_i \cap A)$ の2つの式を等しいとおくと $P(A) \cdot P(B_i \mid A) = P(B_i) \cdot P(A \mid B_i)$ となり、両辺を $P(A)$ で割ると $P(B_i \mid A) = \frac{P(B_i) \cdot P(A \mid B_i)}{P(A)}$ が得られる。

第3段階(全確率の定理で分母を展開する):$B_1, \ldots, B_n$ が $\Omega$ を分割するので、全確率の定理より $P(A) = \sum_{j=1}^{n} P(B_j) \cdot P(A \mid B_j)$ である。

第4段階(代入して完成させる):第2段階の $P(A)$ をこの和で置き換えると、ちょうど $P(B_i \mid A) = \frac{P(B_i) \cdot P(A \mid B_i)}{\sum_{j=1}^{n} P(B_j) \cdot P(A \mid B_j)}$ が得られ、これがベイズの定理である。