Bất đẳng thức Gibbs

Bắt đầu từ bất đẳng thức sơ cấp $\ln x \le x - 1$ với mọi $x > 0$, đẳng thức chỉ xảy ra tại $x=1$ (điều này đúng vì $f(x) = \ln x - (x-1)$ có $f(1)=0$, $f'(x) = 1/x - 1$, dương khi $x<1$ và âm khi $x>1$, nên $f$ có cực đại duy nhất tại $x=1$). Chia cho $\ln 2$ ta được $\log_2 x \le (x-1)/\ln 2$.

Áp dụng điều này với $x = q_i/p_i$ cho mỗi $i$: $\log_2(q_i/p_i) \le (q_i/p_i - 1)/\ln 2$. Nhân cả hai vế với $p_i > 0$ (không đổi chiều bất đẳng thức) và lấy tổng theo $i$: $\sum_i p_i \log_2(q_i/p_i) \le \frac{1}{\ln 2}\sum_i (q_i - p_i) = \frac{1}{\ln 2}\left(\sum_i q_i - \sum_i p_i\right) = \frac{1}{\ln 2}(1 - 1) = 0$, vì cả $p$ và $q$ đều là phân phối xác suất có tổng bằng $1$.

Vế trái chính là $-D(p\|q)$ (chú ý dấu đảo ngược do $q_i/p_i$ thay vì $p_i/q_i$ trong logarit), nên điều này chứng minh $D(p\|q) \ge 0$.

Đẳng thức toàn phần đòi hỏi đẳng thức trong $\ln x \le x-1$ với mọi $i$ có $p_i > 0$, điều này chỉ xảy ra khi $q_i/p_i = 1$ với mọi $i$ như vậy, tức là $p = q$.