香农有噪信道编码定理

**逆定理（$R > C \Rightarrow P_e \not\to 0$）。** Fano 不等式限制了在给定有噪输出的情况下，接收方对消息剩余的不确定性：$H(X\mid Y) \le 1 + P_e \log_2(n-1)$，其中 $n$ 是可能消息的个数。同时，信道的数据处理结构迫使每次使用都满足 $I(X;Y) \le C$，因此在 $N$ 次信道使用组成的一个分组上，接收方能提取的总信息至多为 $NC$ 比特。若真实速率 $R > C$（每次使用），则消息携带 $NR$ 比特的熵，但信道大约只能提供其中 $NC < NR$ 比特；此时 Fano 不等式迫使 $P_e$ 在 $N$ 增大时始终远离 $0$，因为剩余的不确定性 $H(X\mid Y)$ 无法被消除。

**可达性概述（$R < C \Rightarrow P_e \to 0$）。** 固定一个能达到容量的输入分布 $p(x)$，从 $p(x)^N$ 中独立随机生成 $2^{NR}$ 个长度为 $N$ 的码字，构成码本。解码时，接收方寻找与接收序列联合典型（即统计模式表现得像真正的输入-输出对）的唯一码字。由于 $R < C$，候选码字数（$2^{NR}$）远小于统计上可区分的信道输出数（$\approx 2^{NC}$），因此当 $N \to \infty$ 时，某个未发送的其他码字恰好与接收序列联合典型的概率会缩小到 $0$，平均到码本的随机选择上，解码错误概率也随之缩小——因此至少存在一个码本能达到任意小的 $P_e$。