吉布斯不等式

从对所有 $x > 0$ 成立的初等不等式 $\ln x \le x - 1$ 出发，等号仅在 $x=1$ 处成立（这是因为 $f(x) = \ln x - (x-1)$ 满足 $f(1)=0$，$f'(x) = 1/x - 1$，当 $x<1$ 时为正、当 $x>1$ 时为负，故 $f$ 在 $x=1$ 处有唯一的最大值）。两边除以 $\ln 2$ 得到 $\log_2 x \le (x-1)/\ln 2$。

对每个 $i$ 令 $x = q_i/p_i$ 应用此式：$\log_2(q_i/p_i) \le (q_i/p_i - 1)/\ln 2$。两边乘以 $p_i > 0$（不改变不等号方向）并对 $i$ 求和：$\sum_i p_i \log_2(q_i/p_i) \le \frac{1}{\ln 2}\sum_i (q_i - p_i) = \frac{1}{\ln 2}\left(\sum_i q_i - \sum_i p_i\right) = \frac{1}{\ln 2}(1 - 1) = 0$，因为 $p$ 与 $q$ 都是和为 $1$ 的概率分布。

左边恰好是 $-D(p\|q)$（注意对数内是 $q_i/p_i$ 而非 $p_i/q_i$ 所带来的符号翻转），因此这就证明了 $D(p\|q) \ge 0$。

处处等号成立要求对每个满足 $p_i > 0$ 的 $i$，$\ln x \le x-1$ 都取等号，而这仅当所有这样的 $i$ 都满足 $q_i/p_i = 1$ 时才会发生，即 $p = q$。