条件概率与贝叶斯定理

由于 $B_i$ 划分了 $\Omega$,事件 $A$ 自动被切成 $n$ 个互不相交的部分,每个部分都落在某个 $B_i$ 之内;把用乘法法则表示的每个部分的概率相加,就能不重不漏地还原出整个 $P(A)$。

第一步(用 $B_i$ 划分 $A$):对每个 $i = 1, \ldots, n$,令 $A_i = A \cap B_i$。由于 $B_i$ 两两不相交,$A_i$ 也两两不相交;又因为 $B_1 \cup \cdots \cup B_n = \Omega \supseteq A$,所以 $A$ 中的每个结果都恰好属于某一个 $A_i$,于是 $A = A_1 \cup A_2 \cup \cdots \cup A_n$,且这个并是不相交的。

第二步(把不相交部分的概率相加):由于概率对两两不相交的事件具有可加性,$P(A) = P(A_1) + P(A_2) + \cdots + P(A_n) = \sum_{i=1}^{n} P(A \cap B_i)$。

第三步(用乘法法则改写每一项):对每个 $i$,由乘法法则得 $P(A \cap B_i) = P(B_i) \cdot P(A \mid B_i)$,由于 $P(B_i) > 0$,该式有意义。

第四步(代回原式):把第二步中每个 $P(A \cap B_i)$ 替换为 $P(B_i) \cdot P(A \mid B_i)$,恰好得到 $P(A) = \sum_{i=1}^{n} P(B_i) \cdot P(A \mid B_i)$,即为所证。

贝叶斯定理把条件化的方向反过来:它从每个假设 $B_i$ 之下证据 $A$ 出现的可能性出发(这通常容易知道或测量),再反推出在证据 $A$ 已经被观测到之后每个假设成立的可能性(这通常才是我们真正想知道的),做法是根据每个假设对 $A$ 的解释程度,对先验概率 $P(B_i)$ 重新加权。

第一步(用两种方式写出 $P(B_i \cap A)$):双向应用乘法法则,得 $P(B_i \cap A) = P(B_i) \cdot P(A \mid B_i)$,又因为 $P(A) > 0$,也有 $P(B_i \cap A) = P(A) \cdot P(B_i \mid A)$。

第二步(令两个表达式相等并求解):令 $P(B_i \cap A)$ 的两个表达式相等,得 $P(A) \cdot P(B_i \mid A) = P(B_i) \cdot P(A \mid B_i)$,两边同除以 $P(A)$,得 $P(B_i \mid A) = \frac{P(B_i) \cdot P(A \mid B_i)}{P(A)}$。

第三步(用全概率公式展开分母):由于 $B_1, \ldots, B_n$ 划分了 $\Omega$,由全概率公式得 $P(A) = \sum_{j=1}^{n} P(B_j) \cdot P(A \mid B_j)$。

第四步(代入完成证明):把第二步中的 $P(A)$ 替换为这个和式,恰好得到 $P(B_i \mid A) = \frac{P(B_i) \cdot P(A \mid B_i)}{\sum_{j=1}^{n} P(B_j) \cdot P(A \mid B_j)}$,这正是贝叶斯定理。