定理已证明
埃卡特–扬–米尔斯基定理
命题陈述
设 A∈Rm×n 的奇异值为 σ1≥σ2≥⋯≥σr>0,对 k<r 令 Ak=∑i=1kσiuivi⊤ 只保留前 k 个奇异分量。则对任意满足 rank(B)≤k 的矩阵 B,都有 ∥A−B∥2≥σk+1,且该界可以取到:∥A−Ak∥2=σk+1。因此 Ak 是 A 在算子范数下的最优秩-k 近似。
为什么成立?
奇异值衡量 A 沿每个正交方向 vi 对向量的拉伸程度;保留最大的若干个、舍弃最小的,就是舍弃 A 拉伸最少的方向。任何其他秩-k 矩阵 B 都必定无法重构前 k+1 个奇异方向中的某个方向(这些方向太多,装不进 k 维的像空间),而这一失败至少要付出 σk+1 的代价。
证明思路
可达性。 由于 U,V 的列标准正交,∥A−Ak∥2=∥U(Σ−Σk)V⊤∥2=∥Σ−Σk∥2,其中 Σk 保留前 k 个奇异值而将其余置零。Σ−Σk 是对角矩阵,元素为 0,…,0,σk+1,…,σr,因此其算子范数即为其最大元素 σk+1。
最优性。 设 B 为满足 rank(B)≤k 的任意矩阵;其零空间(核)维数至少为 n−k。令 S=span(v1,…,vk+1) 为一个 (k+1) 维子空间。由于 dim(kerB)+dim(S)≥(n−k)+(k+1)=n+1>n,这两个子空间必定在原点之外也有交集:存在单位向量 z∈S 使得 Bz=0。
写成 z=∑i=1k+1civi,其中 ∑i=1k+1ci2=1(因为 z 为单位范数且 vi 标准正交)。由于 Bz=0,利用 ui 的标准正交性可得 ∥(A−B)z∥=∥Az∥=∑i=1k+1ciσiui=∑i=1k+1ci2σi2。
由于对每个 i≤k+1 都有 σi≥σk+1,故 ∑i=1k+1ci2σi2≥σk+12∑i=1k+1ci2=σk+12。因此对任意秩 ≤k 的矩阵 B 都有 ∥A−B∥2≥∥(A−B)z∥≥σk+1,结合可达性即证明了该定理。
参考文献
- Ian Goodfellow, Yoshua Bengio, Aaron Courville (2016). Deep Learning
- Christopher M. Bishop (2006). Pattern Recognition and Machine Learning
- Chiyuan Zhang, Samy Bengio, Moritz Hardt, Benjamin Recht, Oriol Vinyals (2017). Understanding deep learning requires rethinking generalization · arXiv:1611.03530
- Arthur Jacot, Franck Gabriel, Clément Hongler (2018). Neural Tangent Kernel: Convergence and Generalization in Neural Networks · arXiv:1806.07572
- Mikhail Belkin, Daniel Hsu, Siyuan Ma, Soumik Mandal (2019). Reconciling modern machine learning practice and the classical bias-variance trade-off · arXiv:1812.11118