MathLabs
定理証明済み

エッカート・ヤング・ミルスキーの定理

内容

A∈Rm×nA \in \mathbb{R}^{m \times n} の特異値を σ1≥σ2≥⋯≥σr>0\sigma_1 \ge \sigma_2 \ge \cdots \ge \sigma_r > 0 とし、k<rk < r に対して上位 kk 個の特異成分のみを残した Ak=∑i=1kσiuivi⊤A_k = \sum_{i=1}^k \sigma_i u_i v_i^\top を定める。このとき rank⁡(B)≤k\operatorname{rank}(B) \le k を満たす任意の行列 BB に対して ∥A−B∥2≥σk+1\|A - B\|_2 \ge \sigma_{k+1} が成り立ち、この評価は達成可能である: ∥A−Ak∥2=σk+1\|A - A_k\|_2 = \sigma_{k+1}。したがって AkA_k は作用素ノルムにおける AA の最良のランク kk 近似である。

なぜ正しいのか?

特異値は AA が各直交方向 viv_i に沿ってベクトルをどれだけ引き伸ばすかを測る;最大のものを残し最小のものを捨てることは、AA が最も引き伸ばさない方向を捨てることに等しい。他のどのランク kk 行列 BB も、上位 k+1k+1 個の特異方向のうちいずれかの方向を再現し損なわざるを得ない(それらは kk 次元の像に収まるには多すぎる)、そしてその失敗には少なくとも σk+1\sigma_{k+1} の代償がかかる。

証明の概略

達成可能性。 U,VU, V が正規直交な列を持つため、∥A−Ak∥2=∥U(Σ−Σk)V⊤∥2=∥Σ−Σk∥2\|A - A_k\|_2 = \|U(\Sigma - \Sigma_k)V^\top\|_2 = \|\Sigma - \Sigma_k\|_2 であり、ここで Σk\Sigma_k は上位 kk 個の特異値を残し残りをゼロにしたものである。Σ−Σk\Sigma - \Sigma_k は成分 0,…,0,σk+1,…,σr0, \dots, 0, \sigma_{k+1}, \dots, \sigma_r を持つ対角行列であるため、その作用素ノルムは最大成分 σk+1\sigma_{k+1} である。

最適性。 rank⁡(B)≤k\operatorname{rank}(B) \le k を満たす任意の行列 BB をとる;その零空間(核)の次元は少なくとも n−kn - k である。S=span⁡(v1,…,vk+1)S = \operatorname{span}(v_1, \dots, v_{k+1}) を (k+1)(k+1) 次元部分空間とする。dim⁡(ker⁡B)+dim⁡(S)≥(n−k)+(k+1)=n+1>n\dim(\ker B) + \dim(S) \ge (n-k) + (k+1) = n+1 > n であるため、この2つの部分空間は原点以外でも交わらねばならない: Bz=0Bz = 0 を満たす単位ベクトル z∈Sz \in S が存在する。

z=∑i=1k+1civiz = \sum_{i=1}^{k+1} c_i v_i(∑i=1k+1ci2=1\sum_{i=1}^{k+1} c_i^2 = 1、zz が単位ノルムを持ち viv_i が正規直交であるため)と書く。Bz=0Bz = 0 であるから、uiu_i の正規直交性を用いて ∥(A−B)z∥=∥Az∥=∥∑i=1k+1ciσiui∥=∑i=1k+1ci2σi2\|(A-B)z\| = \|Az\| = \left\|\sum_{i=1}^{k+1} c_i \sigma_i u_i\right\| = \sqrt{\sum_{i=1}^{k+1} c_i^2 \sigma_i^2} となる。

i≤k+1i \le k+1 に対して σi≥σk+1\sigma_i \ge \sigma_{k+1} であるため、∑i=1k+1ci2σi2≥σk+12∑i=1k+1ci2=σk+12\sum_{i=1}^{k+1} c_i^2 \sigma_i^2 \ge \sigma_{k+1}^2 \sum_{i=1}^{k+1} c_i^2 = \sigma_{k+1}^2。よって、ランク ≤k\le k の任意の行列 BB に対して ∥A−B∥2≥∥(A−B)z∥≥σk+1\|A-B\|_2 \ge \|(A-B)z\| \ge \sigma_{k+1} となり、達成可能性と合わせて定理が証明される。

この定理を使うトピック

ステップごとの証明

この定理のステップごとの証明はまだありません。

参考文献

  1. Ian Goodfellow, Yoshua Bengio, Aaron Courville (2016). Deep Learning
  2. Christopher M. Bishop (2006). Pattern Recognition and Machine Learning
  3. Chiyuan Zhang, Samy Bengio, Moritz Hardt, Benjamin Recht, Oriol Vinyals (2017). Understanding deep learning requires rethinking generalization · arXiv:1611.03530
  4. Arthur Jacot, Franck Gabriel, Clément Hongler (2018). Neural Tangent Kernel: Convergence and Generalization in Neural Networks · arXiv:1806.07572
  5. Mikhail Belkin, Daniel Hsu, Siyuan Ma, Soumik Mandal (2019). Reconciling modern machine learning practice and the classical bias-variance trade-off · arXiv:1812.11118