Đạo hàm theo hướng và hướng tăng nhanh nhất dọc theo gradient

Xét hàm một biến $g(t) = f(a + t\mathbf{u})$. Theo định nghĩa đạo hàm theo hướng, $D_{\mathbf{u}}f(a) = g'(0)$. Vì $f$ khả vi toàn phần tại $a$, ta có $f(a + t\mathbf{u}) - f(a) = \nabla f(a) \cdot (t\mathbf{u}) + o(|t|)$ khi $t \to 0$. Chia hai vế cho $t$ và lấy giới hạn khi $t \to 0$ ta thu được $D_{\mathbf{u}}f(a) = \nabla f(a) \cdot \mathbf{u}$.

Theo công thức hình học của tích vô hướng Euclid và điều kiện vectơ đơn vị $\|\mathbf{u}\| = 1$, ta có $\nabla f(a) \cdot \mathbf{u} = \|\nabla f(a)\|\,\|\mathbf{u}\|\cos\theta = \|\nabla f(a)\|\cos\theta$. Do $-1 \le \cos\theta \le 1$, giá trị lớn nhất $\|\nabla f(a)\|$ đạt được duy nhất tại $\theta = 0$, tức khi $\mathbf{u} = \frac{\nabla f(a)}{\|\nabla f(a)\|}$, và giá trị nhỏ nhất $-\|\nabla f(a)\|$ đạt được tại $\theta = \pi$.