← 戻る 機械学習の数学 › エッカート・ヤング・ミルスキーの定理 定理 証明済み
エッカート・ヤング・ミルスキーの定理 内容
A ∈ R m × n A \in \mathbb{R}^{m \times n} A ∈ R m × n の特異値を σ 1 ≥ σ 2 ≥ ⋯ ≥ σ r > 0 \sigma_1 \ge \sigma_2 \ge \cdots \ge \sigma_r > 0 σ 1 ≥ σ 2 ≥ ⋯ ≥ σ r > 0 とし、k < r k < r k < r に対して上位 k k k 個の特異成分のみを残した A k = ∑ i = 1 k σ i u i v i ⊤ A_k = \sum_{i=1}^k \sigma_i u_i v_i^\top A k = ∑ i = 1 k σ i u i v i ⊤ を定める。このとき rank ( B ) ≤ k \operatorname{rank}(B) \le k rank ( B ) ≤ k を満たす任意の行列 B B B に対して ∥ A − B ∥ 2 ≥ σ k + 1 \|A - B\|_2 \ge \sigma_{k+1} ∥ A − B ∥ 2 ≥ σ k + 1 が成り立ち、この評価は達成可能である: ∥ A − A k ∥ 2 = σ k + 1 \|A - A_k\|_2 = \sigma_{k+1} ∥ A − A k ∥ 2 = σ k + 1 。したがって A k A_k A k は作用素ノルムにおける A A A の最良のランク k k k 近似である。
なぜ正しいのか?
特異値は A A A が各直交方向 v i v_i v i に沿ってベクトルをどれだけ引き伸ばすかを測る;最大のものを残し最小のものを捨てることは、A A A が最も引き伸ばさない方向を捨てることに等しい。他のどのランク k k k 行列 B B B も、上位 k + 1 k+1 k + 1 個の特異方向のうちいずれか の方向を再現し損なわざるを得ない(それらは k k k 次元の像に収まるには多すぎる)、そしてその失敗には少なくとも σ k + 1 \sigma_{k+1} σ k + 1 の代償がかかる。
証明の概略 達成可能性。 U , V U, V U , V が正規直交な列を持つため、∥ A − A k ∥ 2 = ∥ U ( Σ − Σ k ) V ⊤ ∥ 2 = ∥ Σ − Σ k ∥ 2 \|A - A_k\|_2 = \|U(\Sigma - \Sigma_k)V^\top\|_2 = \|\Sigma - \Sigma_k\|_2 ∥ A − A k ∥ 2 = ∥ U ( Σ − Σ k ) V ⊤ ∥ 2 = ∥Σ − Σ k ∥ 2 であり、ここで Σ k \Sigma_k Σ k は上位 k k k 個の特異値を残し残りをゼロにしたものである。Σ − Σ k \Sigma - \Sigma_k Σ − Σ k は成分 0 , … , 0 , σ k + 1 , … , σ r 0, \dots, 0, \sigma_{k+1}, \dots, \sigma_r 0 , … , 0 , σ k + 1 , … , σ r を持つ対角行列であるため、その作用素ノルムは最大成分 σ k + 1 \sigma_{k+1} σ k + 1 である。
最適性。 rank ( B ) ≤ k \operatorname{rank}(B) \le k rank ( B ) ≤ k を満たす任意の行列 B B B をとる;その零空間(核)の次元は少なくとも n − k n - k n − k である。S = span ( v 1 , … , v k + 1 ) S = \operatorname{span}(v_1, \dots, v_{k+1}) S = span ( v 1 , … , v k + 1 ) を ( k + 1 ) (k+1) ( k + 1 ) 次元部分空間とする。dim ( ker B ) + dim ( S ) ≥ ( n − k ) + ( k + 1 ) = n + 1 > n \dim(\ker B) + \dim(S) \ge (n-k) + (k+1) = n+1 > n dim ( ker B ) + dim ( S ) ≥ ( n − k ) + ( k + 1 ) = n + 1 > n であるため、この2つの部分空間は原点以外でも交わらねばならない: B z = 0 Bz = 0 B z = 0 を満たす単位ベクトル z ∈ S z \in S z ∈ S が存在する。
z = ∑ i = 1 k + 1 c i v i z = \sum_{i=1}^{k+1} c_i v_i z = ∑ i = 1 k + 1 c i v i (∑ i = 1 k + 1 c i 2 = 1 \sum_{i=1}^{k+1} c_i^2 = 1 ∑ i = 1 k + 1 c i 2 = 1 、z z z が単位ノルムを持ち v i v_i v i が正規直交であるため)と書く。B z = 0 Bz = 0 B z = 0 であるから、u i u_i u i の正規直交性を用いて ∥ ( A − B ) z ∥ = ∥ A z ∥ = ∥ ∑ i = 1 k + 1 c i σ i u i ∥ = ∑ i = 1 k + 1 c i 2 σ i 2 \|(A-B)z\| = \|Az\| = \left\|\sum_{i=1}^{k+1} c_i \sigma_i u_i\right\| = \sqrt{\sum_{i=1}^{k+1} c_i^2 \sigma_i^2} ∥ ( A − B ) z ∥ = ∥ A z ∥ = ∑ i = 1 k + 1 c i σ i u i = ∑ i = 1 k + 1 c i 2 σ i 2 となる。
i ≤ k + 1 i \le k+1 i ≤ k + 1 に対して σ i ≥ σ k + 1 \sigma_i \ge \sigma_{k+1} σ i ≥ σ k + 1 であるため、∑ i = 1 k + 1 c i 2 σ i 2 ≥ σ k + 1 2 ∑ i = 1 k + 1 c i 2 = σ k + 1 2 \sum_{i=1}^{k+1} c_i^2 \sigma_i^2 \ge \sigma_{k+1}^2 \sum_{i=1}^{k+1} c_i^2 = \sigma_{k+1}^2 ∑ i = 1 k + 1 c i 2 σ i 2 ≥ σ k + 1 2 ∑ i = 1 k + 1 c i 2 = σ k + 1 2 。よって、ランク ≤ k \le k ≤ k の任意の行列 B B B に対して ∥ A − B ∥ 2 ≥ ∥ ( A − B ) z ∥ ≥ σ k + 1 \|A-B\|_2 \ge \|(A-B)z\| \ge \sigma_{k+1} ∥ A − B ∥ 2 ≥ ∥ ( A − B ) z ∥ ≥ σ k + 1 となり、達成可能性と合わせて定理が証明される。
ステップごとの証明
この定理のステップごとの証明はまだありません。
参考文献 Ian Goodfellow, Yoshua Bengio, Aaron Courville (2016). Deep Learning Christopher M. Bishop (2006). Pattern Recognition and Machine Learning Chiyuan Zhang, Samy Bengio, Moritz Hardt, Benjamin Recht, Oriol Vinyals (2017). Understanding deep learning requires rethinking generalization · arXiv:1611.03530 Arthur Jacot, Franck Gabriel, Clément Hongler (2018). Neural Tangent Kernel: Convergence and Generalization in Neural Networks · arXiv:1806.07572 Mikhail Belkin, Daniel Hsu, Siyuan Ma, Soumik Mandal (2019). Reconciling modern machine learning practice and the classical bias-variance trade-off · arXiv:1812.11118