Định lý mã hóa kênh nhiễu của Shannon

**Chiều đảo ($R > C \Rightarrow P_e \not\to 0$).** Bất đẳng thức Fano chặn độ bất định còn lại của bên nhận về thông điệp khi biết đầu ra nhiễu: $H(X\mid Y) \le 1 + P_e \log_2(n-1)$, với $n$ là số thông điệp có thể. Đồng thời, cấu trúc xử lý dữ liệu của kênh buộc $I(X;Y) \le C$ ở mỗi lần dùng, nên trên một khối $N$ lần dùng kênh, tổng thông tin bên nhận có thể trích ra tối đa là $NC$ bit. Nếu tốc độ thật là $R > C$ bit mỗi lần dùng, thông điệp mang $NR$ bit entropy nhưng kênh chỉ cung cấp khoảng $NC < NR$ bit về nó; bất đẳng thức Fano khi đó buộc $P_e$ phải giữ khoảng cách khỏi $0$ khi $N$ tăng, vì độ bất định còn lại $H(X\mid Y)$ không thể triệt tiêu được.

**Phác thảo chiều thuận ($R < C \Rightarrow P_e \to 0$).** Cố định một phân phối đầu vào $p(x)$ đạt dung lượng và sinh ngẫu nhiên độc lập một bảng mã gồm $2^{NR}$ từ mã độ dài $N$ từ $p(x)^N$. Để giải mã, bên nhận tìm từ mã duy nhất đồng điển hình với chuỗi nhận được (nghĩa là có các mẫu thống kê giống một cặp đầu vào–đầu ra thật). Vì $R < C$, số từ mã ứng viên ($2^{NR}$) nhỏ hơn nhiều so với số đầu ra kênh phân biệt được về mặt thống kê ($\approx 2^{NC}$), nên khi $N \to \infty$ khả năng một từ mã khác, không được gửi, tình cờ trông đồng điển hình với chuỗi nhận được giảm về $0$, và xác suất lỗi giải mã cũng vậy, tính trung bình theo lựa chọn ngẫu nhiên của bảng mã — do đó phải tồn tại ít nhất một bảng mã đạt được $P_e$ nhỏ tùy ý.