ギブスの不等式

すべての $x > 0$ に対する初等的な不等式 $\ln x \le x - 1$ から始める。等号は $x=1$ のときのみ成立する（これは $f(x) = \ln x - (x-1)$ が $f(1)=0$、$f'(x) = 1/x - 1$ を持ち、$x<1$ で正、$x>1$ で負であるため、$f$ が $x=1$ に唯一の最大値を持つことからわかる）。$\ln 2$ で割ると $\log_2 x \le (x-1)/\ln 2$ となる。

これを各 $i$ について $x = q_i/p_i$ に適用する：$\log_2(q_i/p_i) \le (q_i/p_i - 1)/\ln 2$。両辺に $p_i > 0$ を掛け（不等号の向きは変わらない）、$i$ について和をとる：$\sum_i p_i \log_2(q_i/p_i) \le \frac{1}{\ln 2}\sum_i (q_i - p_i) = \frac{1}{\ln 2}\left(\sum_i q_i - \sum_i p_i\right) = \frac{1}{\ln 2}(1 - 1) = 0$、なぜなら $p$ と $q$ はどちらも和が $1$ の確率分布だからである。

左辺はまさに $-D(p\|q)$ である（対数の中身が $p_i/q_i$ ではなく $q_i/p_i$ であることによる符号の反転に注意）ので、これは $D(p\|q) \ge 0$ を証明する。

すべてで等号が成り立つには、$p_i > 0$ であるすべての $i$ について $\ln x \le x-1$ で等号が必要であり、それはそのようなすべての $i$ で $q_i/p_i = 1$ のとき、すなわち $p = q$ のときにのみ起こる。