Định lý Eckart–Young–Mirsky
Phát biểu
Cho có các giá trị kỳ dị , và với đặt chỉ giữ thành phần kỳ dị đầu. Khi đó với mọi ma trận có , , và chặn này đạt được: . Vậy là xấp xỉ hạng tốt nhất của theo chuẩn toán tử.
Vì sao đúng?
Các giá trị kỳ dị đo mức độ kéo giãn vector theo mỗi hướng trực giao ; giữ lại các giá trị lớn nhất và bỏ các giá trị nhỏ nhất nghĩa là bỏ đi các hướng mà kéo giãn ít nhất. Bất kỳ ma trận hạng nào khác đều phải thất bại trong việc tái tạo một hướng nào đó trong số hướng kỳ dị hàng đầu (có quá nhiều hướng để vừa trong một ảnh chiều), và thất bại đó tốn ít nhất .
Phác thảo chứng minh
Đạt được chặn. Vì có các cột trực chuẩn, , trong đó giữ giá trị kỳ dị đầu và đặt phần còn lại bằng 0. là ma trận đường chéo với các phần tử , nên chuẩn toán tử của nó là phần tử lớn nhất, .
Tính tối ưu. Cho là ma trận bất kỳ với ; không gian không (hạt nhân) của nó có số chiều ít nhất . Đặt , một không gian con chiều. Vì , hai không gian con này phải giao nhau nhiều hơn chỉ gốc tọa độ: tồn tại vector đơn vị với .
Viết với (vì có chuẩn đơn vị và các trực chuẩn). Vì , , dùng tính trực chuẩn của các .
Vì với mọi , . Do đó với mọi ma trận hạng là , cùng với việc chặn đạt được, điều này chứng minh định lý.
Chủ đề chứa định lý này
Chứng minh từng bước
Chưa có chứng minh từng bước cho định lý này.
Tài liệu tham khảo
- Ian Goodfellow, Yoshua Bengio, Aaron Courville (2016). Deep Learning
- Christopher M. Bishop (2006). Pattern Recognition and Machine Learning
- Chiyuan Zhang, Samy Bengio, Moritz Hardt, Benjamin Recht, Oriol Vinyals (2017). Understanding deep learning requires rethinking generalization · arXiv:1611.03530
- Arthur Jacot, Franck Gabriel, Clément Hongler (2018). Neural Tangent Kernel: Convergence and Generalization in Neural Networks · arXiv:1806.07572
- Mikhail Belkin, Daniel Hsu, Siyuan Ma, Soumik Mandal (2019). Reconciling modern machine learning practice and the classical bias-variance trade-off · arXiv:1812.11118