方向微分と勾配に沿った最急上昇

一変数関数 $g(t) = f(a + t\mathbf{u})$ を定義する。方向微分の定義により $D_{\mathbf{u}}f(a) = g'(0)$ である。$f$ は点 $a$ で全微分可能であるから、$t \to 0$ のとき $f(a + t\mathbf{u}) - f(a) = \nabla f(a) \cdot (t\mathbf{u}) + o(|t|)$ が成り立つ。両辺を $t$ で割って $t \to 0$ の極限をとると $D_{\mathbf{u}}f(a) = \nabla f(a) \cdot \mathbf{u}$ が得られる。

ユークリッド内積の幾何学的公式と単位長条件 $\|\mathbf{u}\| = 1$ より、$\nabla f(a) \cdot \mathbf{u} = \|\nabla f(a)\|\,\|\mathbf{u}\|\cos\theta = \|\nabla f(a)\|\cos\theta$ となる。$-1 \le \cos\theta \le 1$ であるから、最大値 $\|\nabla f(a)\|$ は $\theta = 0$ すなわち $\mathbf{u} = \frac{\nabla f(a)}{\|\nabla f(a)\|}$ のとき一意に達成され、最小値 $-\|\nabla f(a)\|$ は $\theta = \pi$ のとき達成される。