方向导数与沿梯度的最陡上升

定义一元函数 $g(t) = f(a + t\mathbf{u})$。由方向导数的定义知 $D_{\mathbf{u}}f(a) = g'(0)$。因为 $f$ 在点 $a$ 可微,当 $t \to 0$ 时有 $f(a + t\mathbf{u}) - f(a) = \nabla f(a) \cdot (t\mathbf{u}) + o(|t|)$。两边除以 $t$ 并取 $t \to 0$ 的极限,即得 $D_{\mathbf{u}}f(a) = \nabla f(a) \cdot \mathbf{u}$。

由欧几里得内积的几何公式以及单位长度条件 $\|\mathbf{u}\| = 1$,可得 $\nabla f(a) \cdot \mathbf{u} = \|\nabla f(a)\|\,\|\mathbf{u}\|\cos\theta = \|\nabla f(a)\|\cos\theta$。由于 $-1 \le \cos\theta \le 1$,最大值 $\|\nabla f(a)\|$ 唯一地在 $\theta = 0$ 即 $\mathbf{u} = \frac{\nabla f(a)}{\|\nabla f(a)\|}$ 处取得,最小值 $-\|\nabla f(a)\|$ 在 $\theta = \pi$ 处取得。