特征值与对角化

每个特征向量都标出了自己专属的不变方向,并配有专属的伸缩系数;如果某个方向能由其他方向组合而成,那么作用 $A$ 时就必须同时按所有这些不同系数缩放它,除非该向量为零,否则这是不可能的。

我们对 $k$ 用归纳法证明。当 $k = 1$ 时结论显然成立:单个非零向量必然线性无关。

假设结论对 $k - 1$ 个互异特征值成立,反设 $\mathbf{v}_1, \dots, \mathbf{v}_k$ 线性相关。于是存在关系式 $c_1 \mathbf{v}_1 + \cdots + c_k \mathbf{v}_k = \mathbf{0}$,且并非所有 $c_i$ 都为零。

对两边作用 $A$:由 $A\mathbf{v}_i = \lambda_i \mathbf{v}_i$,得到 $c_1 \lambda_1 \mathbf{v}_1 + \cdots + c_k \lambda_k \mathbf{v}_k = \mathbf{0}$。将原关系式乘以 $\lambda_k$ 后与这个新方程相减,含 $\mathbf{v}_k$ 的项恰好抵消,剩下 $c_1(\lambda_1 - \lambda_k)\mathbf{v}_1 + \cdots + c_{k-1}(\lambda_{k-1} - \lambda_k)\mathbf{v}_{k-1} = \mathbf{0}$。

由归纳假设,$\mathbf{v}_1, \dots, \mathbf{v}_{k-1}$ 线性无关,故最后这个关系式中每个系数都必须为零:对所有 $i < k$ 有 $c_i(\lambda_i - \lambda_k) = 0$。由于特征值两两互异,$\lambda_i - \lambda_k \neq 0$,因此对所有 $i < k$ 都有 $c_i = 0$。

代回原关系式,只剩下 $c_k \mathbf{v}_k = \mathbf{0}$;由特征向量定义 $\mathbf{v}_k \neq \mathbf{0}$,故 $c_k = 0$ 也成立。所有系数皆为零,与"并非所有 $c_i$ 为零"的假设矛盾。因此不存在这样的相关关系,特征向量线性无关。

对称矩阵无处不在——协方差矩阵、转动惯量、光滑函数的海森矩阵——这条定理保证我们总能旋转到一个坐标系,使得该矩阵仅沿相互垂直的坐标轴做纯粹的独立缩放,没有剪切,也没有任何复杂行为。

我们先给出一个引理:实对称矩阵的特征值都是实数。设 $A\mathbf{v} = \lambda \mathbf{v}$,$\mathbf{v} \neq \mathbf{0}$ 可能是复向量,考虑 $\mathbf{v}^{*}A\mathbf{v}$,其中 $\mathbf{v}^{*}$ 是共轭转置。由于 $A$ 是实对称矩阵,$\mathbf{v}^{*}A\mathbf{v} = (\mathbf{v}^{*}A\mathbf{v})^{*}$,故该量为实数;但它也等于 $\lambda \, \mathbf{v}^{*}\mathbf{v}$,而 $\mathbf{v}^{*}\mathbf{v} > 0$ 是正实数,于是 $\lambda$ 本身必为实数。

下面对 $n$ 用归纳法证明定理。$n = 1$ 时结论平凡:任何 $1 \times 1$ 矩阵已经是对角矩阵,取 $Q = (1)$ 即可。

归纳步骤:假设定理对所有 $n - 1$ 阶实对称矩阵成立。由于 $A$ 是 $n \times n$ 实对称矩阵,由引理其特征多项式有实根 $\lambda_1$;取相应的特征向量并归一化为单位向量 $\mathbf{v}_1$。

设 $W$ 是 $\mathbf{v}_1$ 张成的直线的正交补,是一个 $(n-1)$ 维子空间。我们断言 $W$ 在 $A$ 下不变:对任意 $\mathbf{w} \in W$(即 $\mathbf{w}^\top \mathbf{v}_1 = 0$),计算 $(A\mathbf{w})^\top \mathbf{v}_1 = \mathbf{w}^\top A^\top \mathbf{v}_1 = \mathbf{w}^\top A \mathbf{v}_1 = \lambda_1 \mathbf{w}^\top \mathbf{v}_1 = 0$,中间一步用到了 $A$ 的对称性。因此 $A\mathbf{w}$ 仍与 $\mathbf{v}_1$ 正交,即 $A\mathbf{w} \in W$。

取 $W$ 的一组标准正交基;在此基下,$A$ 限制在 $W$ 上由一个 $(n-1) \times (n-1)$ 矩阵 $A'$ 表示,且 $A'$ 也是对称的($A$ 对称,把对称双线性型限制到子空间上,在标准正交基下仍保持对称)。由归纳假设,$A'$ 在 $W$ 内有一组由特征向量 $\mathbf{v}_2, \dots, \mathbf{v}_n$ 构成的标准正交基,对应实特征值 $\lambda_2, \dots, \lambda_n$;由于 $W$ 是 $A$-不变的,这些向量也是 $A$ 本身真正的特征向量。

将 $\mathbf{v}_1, \mathbf{v}_2, \dots, \mathbf{v}_n$ 汇集起来,就得到了 $\mathbb{R}^n$ 的一组完全由 $A$ 的特征向量构成的标准正交基。把它们作为矩阵 $Q$ 的列,则 $Q$ 是正交矩阵,且 $AQ = Q\Lambda$(其中 $\Lambda = \mathrm{diag}(\lambda_1, \dots, \lambda_n)$);由于正交矩阵满足 $Q^{-1} = Q^\top$,这恰好整理为 $A = Q \Lambda Q^\top$,归纳完成。