MathLabs
Định lýĐã chứng minh

Định lý Eckart–Young–Mirsky

Phát biểu

Cho A∈Rm×nA \in \mathbb{R}^{m \times n} có các giá trị kỳ dị σ1≥σ2≥⋯≥σr>0\sigma_1 \ge \sigma_2 \ge \cdots \ge \sigma_r > 0, và với k<rk < r đặt Ak=∑i=1kσiuivi⊤A_k = \sum_{i=1}^k \sigma_i u_i v_i^\top chỉ giữ kk thành phần kỳ dị đầu. Khi đó với mọi ma trận BB có rank⁡(B)≤k\operatorname{rank}(B) \le k, ∥A−B∥2≥σk+1\|A - B\|_2 \ge \sigma_{k+1}, và chặn này đạt được: ∥A−Ak∥2=σk+1\|A - A_k\|_2 = \sigma_{k+1}. Vậy AkA_k là xấp xỉ hạng kk tốt nhất của AA theo chuẩn toán tử.

Vì sao đúng?

Các giá trị kỳ dị đo mức độ AA kéo giãn vector theo mỗi hướng trực giao viv_i; giữ lại các giá trị lớn nhất và bỏ các giá trị nhỏ nhất nghĩa là bỏ đi các hướng mà AA kéo giãn ít nhất. Bất kỳ ma trận hạng kk nào khác BB đều phải thất bại trong việc tái tạo một hướng nào đó trong số k+1k+1 hướng kỳ dị hàng đầu (có quá nhiều hướng để vừa trong một ảnh kk chiều), và thất bại đó tốn ít nhất σk+1\sigma_{k+1}.

Phác thảo chứng minh

Đạt được chặn. Vì U,VU, V có các cột trực chuẩn, ∥A−Ak∥2=∥U(Σ−Σk)V⊤∥2=∥Σ−Σk∥2\|A - A_k\|_2 = \|U(\Sigma - \Sigma_k)V^\top\|_2 = \|\Sigma - \Sigma_k\|_2, trong đó Σk\Sigma_k giữ kk giá trị kỳ dị đầu và đặt phần còn lại bằng 0. Σ−Σk\Sigma - \Sigma_k là ma trận đường chéo với các phần tử 0,…,0,σk+1,…,σr0, \dots, 0, \sigma_{k+1}, \dots, \sigma_r, nên chuẩn toán tử của nó là phần tử lớn nhất, σk+1\sigma_{k+1}.

Tính tối ưu. Cho BB là ma trận bất kỳ với rank⁡(B)≤k\operatorname{rank}(B) \le k; không gian không (hạt nhân) của nó có số chiều ít nhất n−kn - k. Đặt S=span⁡(v1,…,vk+1)S = \operatorname{span}(v_1, \dots, v_{k+1}), một không gian con (k+1)(k+1) chiều. Vì dim⁡(ker⁡B)+dim⁡(S)≥(n−k)+(k+1)=n+1>n\dim(\ker B) + \dim(S) \ge (n-k) + (k+1) = n+1 > n, hai không gian con này phải giao nhau nhiều hơn chỉ gốc tọa độ: tồn tại vector đơn vị z∈Sz \in S với Bz=0Bz = 0.

Viết z=∑i=1k+1civiz = \sum_{i=1}^{k+1} c_i v_i với ∑i=1k+1ci2=1\sum_{i=1}^{k+1} c_i^2 = 1 (vì zz có chuẩn đơn vị và các viv_i trực chuẩn). Vì Bz=0Bz = 0, ∥(A−B)z∥=∥Az∥=∥∑i=1k+1ciσiui∥=∑i=1k+1ci2σi2\|(A-B)z\| = \|Az\| = \left\|\sum_{i=1}^{k+1} c_i \sigma_i u_i\right\| = \sqrt{\sum_{i=1}^{k+1} c_i^2 \sigma_i^2}, dùng tính trực chuẩn của các uiu_i.

Vì σi≥σk+1\sigma_i \ge \sigma_{k+1} với mọi i≤k+1i \le k+1, ∑i=1k+1ci2σi2≥σk+12∑i=1k+1ci2=σk+12\sum_{i=1}^{k+1} c_i^2 \sigma_i^2 \ge \sigma_{k+1}^2 \sum_{i=1}^{k+1} c_i^2 = \sigma_{k+1}^2. Do đó ∥A−B∥2≥∥(A−B)z∥≥σk+1\|A-B\|_2 \ge \|(A-B)z\| \ge \sigma_{k+1} với mọi ma trận hạng ≤k\le k là BB, cùng với việc chặn đạt được, điều này chứng minh định lý.

Chủ đề chứa định lý này

Chứng minh từng bước

Chưa có chứng minh từng bước cho định lý này.

Tài liệu tham khảo

  1. Ian Goodfellow, Yoshua Bengio, Aaron Courville (2016). Deep Learning
  2. Christopher M. Bishop (2006). Pattern Recognition and Machine Learning
  3. Chiyuan Zhang, Samy Bengio, Moritz Hardt, Benjamin Recht, Oriol Vinyals (2017). Understanding deep learning requires rethinking generalization · arXiv:1611.03530
  4. Arthur Jacot, Franck Gabriel, Clément Hongler (2018). Neural Tangent Kernel: Convergence and Generalization in Neural Networks · arXiv:1806.07572
  5. Mikhail Belkin, Daniel Hsu, Siyuan Ma, Soumik Mandal (2019). Reconciling modern machine learning practice and the classical bias-variance trade-off · arXiv:1812.11118