MathLabs
定理已证明

埃卡特–扬–米尔斯基定理

命题陈述

设 A∈Rm×nA \in \mathbb{R}^{m \times n} 的奇异值为 σ1≥σ2≥⋯≥σr>0\sigma_1 \ge \sigma_2 \ge \cdots \ge \sigma_r > 0,对 k<rk < r 令 Ak=∑i=1kσiuivi⊤A_k = \sum_{i=1}^k \sigma_i u_i v_i^\top 只保留前 kk 个奇异分量。则对任意满足 rank⁡(B)≤k\operatorname{rank}(B) \le k 的矩阵 BB,都有 ∥A−B∥2≥σk+1\|A - B\|_2 \ge \sigma_{k+1},且该界可以取到:∥A−Ak∥2=σk+1\|A - A_k\|_2 = \sigma_{k+1}。因此 AkA_k 是 AA 在算子范数下的最优秩-kk 近似。

为什么成立?

奇异值衡量 AA 沿每个正交方向 viv_i 对向量的拉伸程度;保留最大的若干个、舍弃最小的,就是舍弃 AA 拉伸最少的方向。任何其他秩-kk 矩阵 BB 都必定无法重构前 k+1k+1 个奇异方向中的某个方向(这些方向太多,装不进 kk 维的像空间),而这一失败至少要付出 σk+1\sigma_{k+1} 的代价。

证明思路

可达性。 由于 U,VU, V 的列标准正交,∥A−Ak∥2=∥U(Σ−Σk)V⊤∥2=∥Σ−Σk∥2\|A - A_k\|_2 = \|U(\Sigma - \Sigma_k)V^\top\|_2 = \|\Sigma - \Sigma_k\|_2,其中 Σk\Sigma_k 保留前 kk 个奇异值而将其余置零。Σ−Σk\Sigma - \Sigma_k 是对角矩阵,元素为 0,…,0,σk+1,…,σr0, \dots, 0, \sigma_{k+1}, \dots, \sigma_r,因此其算子范数即为其最大元素 σk+1\sigma_{k+1}。

最优性。 设 BB 为满足 rank⁡(B)≤k\operatorname{rank}(B) \le k 的任意矩阵;其零空间(核)维数至少为 n−kn - k。令 S=span⁡(v1,…,vk+1)S = \operatorname{span}(v_1, \dots, v_{k+1}) 为一个 (k+1)(k+1) 维子空间。由于 dim⁡(ker⁡B)+dim⁡(S)≥(n−k)+(k+1)=n+1>n\dim(\ker B) + \dim(S) \ge (n-k) + (k+1) = n+1 > n,这两个子空间必定在原点之外也有交集:存在单位向量 z∈Sz \in S 使得 Bz=0Bz = 0。

写成 z=∑i=1k+1civiz = \sum_{i=1}^{k+1} c_i v_i,其中 ∑i=1k+1ci2=1\sum_{i=1}^{k+1} c_i^2 = 1(因为 zz 为单位范数且 viv_i 标准正交)。由于 Bz=0Bz = 0,利用 uiu_i 的标准正交性可得 ∥(A−B)z∥=∥Az∥=∥∑i=1k+1ciσiui∥=∑i=1k+1ci2σi2\|(A-B)z\| = \|Az\| = \left\|\sum_{i=1}^{k+1} c_i \sigma_i u_i\right\| = \sqrt{\sum_{i=1}^{k+1} c_i^2 \sigma_i^2}。

由于对每个 i≤k+1i \le k+1 都有 σi≥σk+1\sigma_i \ge \sigma_{k+1},故 ∑i=1k+1ci2σi2≥σk+12∑i=1k+1ci2=σk+12\sum_{i=1}^{k+1} c_i^2 \sigma_i^2 \ge \sigma_{k+1}^2 \sum_{i=1}^{k+1} c_i^2 = \sigma_{k+1}^2。因此对任意秩 ≤k\le k 的矩阵 BB 都有 ∥A−B∥2≥∥(A−B)z∥≥σk+1\|A-B\|_2 \ge \|(A-B)z\| \ge \sigma_{k+1},结合可达性即证明了该定理。

用到此定理的主题

分步证明

该定理暂无分步证明。

参考文献

  1. Ian Goodfellow, Yoshua Bengio, Aaron Courville (2016). Deep Learning
  2. Christopher M. Bishop (2006). Pattern Recognition and Machine Learning
  3. Chiyuan Zhang, Samy Bengio, Moritz Hardt, Benjamin Recht, Oriol Vinyals (2017). Understanding deep learning requires rethinking generalization · arXiv:1611.03530
  4. Arthur Jacot, Franck Gabriel, Clément Hongler (2018). Neural Tangent Kernel: Convergence and Generalization in Neural Networks · arXiv:1806.07572
  5. Mikhail Belkin, Daniel Hsu, Siyuan Ma, Soumik Mandal (2019). Reconciling modern machine learning practice and the classical bias-variance trade-off · arXiv:1812.11118