代数学

固有値と対角化

線形変換の最も単純な形を明らかにする特別なスカラーとベクトル。

直観固有ベクトルとは本当は何か

線形写像 $A$ が作用すると、ほとんどのベクトルは全く新しい方向へ押しやられ、多くの場合回転しながら伸縮もする。しかしごく一部の特別な方向では、写像はベクトルを元と同じ直線上でだけ伸ばしたり縮めたりし、決して回転させない。その特別な方向が $A$ の固有ベクトルであり、それぞれの方向に沿った伸縮率が対応する固有値である: $A\mathbf{v} = \lambda \mathbf{v}$ 。ゴムシートが引き伸ばされる様子を想像してほしい:印を付けたほとんどの点は横にずれるが、シート上のいくつかの線だけは同じ軸の上で長くなったり短くなったりする。その軸こそが固有ベクトルである。

対称行列(

a_{12}=a_{21}

)では緑破線の2本の固有ベクトル軸が直交し、その軸上のベクトルは回転せず

\lambda_1, \lambda_2

倍に伸縮するだけである。

中高幾何学的なイメージから正確な定義へ

定義: 固有値と固有ベクトル

$A$ を $n \times n$ 行列とする。あるスカラー $\lambda$ が存在して $A\mathbf{v} = \lambda \mathbf{v}$ を満たすとき、零でないベクトル $\mathbf{v}$ を $A$ の固有ベクトルと呼ぶ。スカラー $\lambda$ は $\mathbf{v}$ に付随する固有値である。幾何学的には、 $A$ は $\mathbf{v}$ を通る直線全体をそれ自身に写し、 $\lambda$ 倍に拡大縮小するだけである。

A\mathbf{v} = \lambda \mathbf{v}

定義式を $(A - \lambda I)\mathbf{v} = \mathbf{0}$ と書き直すと、 $\mathbf{v} \neq \mathbf{0}$ が存在できるのは $A - \lambda I$ が特異、すなわち行列式が消える場合に限られることが分かる: $\det(A - \lambda I) = 0$ 。この行列式を展開すると $\lambda$ についての $n$ 次多項式、すなわち特性多項式が得られ、その根がまさに $A$ の固有値である。

\det(A - \lambda I) = 0

固有値の種類とその幾何学的な意味
場合	幾何学的な意味
$n$ 個の相異なる実固有値	$n$ 本の独立な伸縮軸; $A$ は必ず対角化可能
重複固有値だが固有空間は十分な次元を持つ	依然対角化可能:平面全体（あるいはそれ以上）が同じ係数で伸縮される
重複固有値で固有空間が不足（欠損行列）	対角化不可能:一部の方向は伸縮だけでなくせん断される
複素共役な固有値の組	実の不変直線は存在せず、写像は回転しながら拡大縮小する（螺旋的な動き）

大学対角化とスペクトル定理

定理: 相異なる固有値の固有ベクトルは一次独立である

$\lambda_1, \dots, \lambda_k$ が $A$ の互いに相異なる固有値であり、対応する固有ベクトルが $\mathbf{v}_1, \dots, \mathbf{v}_k$ であるとき、集合 $\{\mathbf{v}_1, \dots, \mathbf{v}_k\}$ は一次独立である。

なぜ正しいのか?

各固有ベクトルは自分専用の不変方向を、自分専用の伸縮係数とともに定めている。もしある方向が他の方向から作れるとすれば、 $A$ を適用したときにそれら異なる係数すべてで同時に伸縮しなければならなくなり、ベクトルが零でない限り不可能である。

証明

$k$ に関する帰納法で示す。 $k = 1$ のとき主張は自明である:零でない1つのベクトルは常に一次独立である。

$k - 1$ 個の相異なる固有値については結果が成り立つと仮定し、背理法のため $\mathbf{v}_1, \dots, \mathbf{v}_k$ が一次従属であると仮定する。すると $c_1 \mathbf{v}_1 + \cdots + c_k \mathbf{v}_k = \mathbf{0}$ という関係式が存在し、すべての $c_i$ が零というわけではない。

両辺に $A$ を適用すると、 $A\mathbf{v}_i = \lambda_i \mathbf{v}_i$ より $c_1 \lambda_1 \mathbf{v}_1 + \cdots + c_k \lambda_k \mathbf{v}_k = \mathbf{0}$ が得られる。元の関係式に $\lambda_k$ を掛けてこの新しい式から引くと、 $\mathbf{v}_k$ を含む項がちょうど打ち消し合い、 $c_1(\lambda_1 - \lambda_k)\mathbf{v}_1 + \cdots + c_{k-1}(\lambda_{k-1} - \lambda_k)\mathbf{v}_{k-1} = \mathbf{0}$ が残る。

帰納法の仮定より $\mathbf{v}_1, \dots, \mathbf{v}_{k-1}$ は一次独立なので、この最後の関係式の係数はすべて零でなければならない: $i < k$ について $c_i(\lambda_i - \lambda_k) = 0$ 。固有値は互いに相異なるので $\lambda_i - \lambda_k \neq 0$ であり、 $i < k$ のすべてで $c_i = 0$ となる。

これを元の関係式に戻すと $c_k \mathbf{v}_k = \mathbf{0}$ だけが残り、固有ベクトルの定義より $\mathbf{v}_k \neq \mathbf{0}$ なので $c_k = 0$ も成り立つ。すべての係数が零となり、すべての $c_i$ が零ではないという仮定に矛盾する。したがってそのような従属関係は存在せず、固有ベクトルは一次独立である。

定理: 実対称行列に対するスペクトル定理

$A$ が実対称な $n \times n$ 行列、すなわち $A^\top = A$ であるとき、直交行列 $Q$ （すなわち $Q^\top Q = I$ ）と実対角行列 $\Lambda$ が存在して $A = Q \Lambda Q^\top$ が成り立つ。同値に、 $A$ は $n$ 個の実固有値を持ち、固有ベクトルからなる正規直交基底を持つ。

なぜ正しいのか?

対称行列は共分散行列、慣性モーメント、滑らかな関数のヘッセ行列など至る所に現れる。この定理は、常に座標系を回転させて、行列が互いに垂直な軸に沿った純粋な独立した拡大縮小として作用し、せん断も複雑な振る舞いも一切ない座標系を見つけられることを保証する。

証明

まず補題を述べる:実対称行列の固有値はすべて実数である。 $A\mathbf{v} = \lambda \mathbf{v}$ で $\mathbf{v} \neq \mathbf{0}$ が複素数であってもよいとし、共役転置 $\mathbf{v}^{*}$ を用いて $\mathbf{v}^{*}A\mathbf{v}$ を考える。 $A$ が実対称であるから $\mathbf{v}^{*}A\mathbf{v} = (\mathbf{v}^{*}A\mathbf{v})^{*}$ となり、この量は実数である。一方これは $\lambda \, \mathbf{v}^{*}\mathbf{v}$ にも等しく、 $\mathbf{v}^{*}\mathbf{v} > 0$ は正の実数であるから、 $\lambda$ 自身も実数でなければならない。

次に $n$ に関する帰納法で定理を証明する。 $n = 1$ の場合は自明である: $1 \times 1$ 行列はすでに対角行列であり、 $Q = (1)$ とすればよい。

帰納段階として、サイズ $n - 1$ のすべての実対称行列について定理が成り立つと仮定する。 $A$ は $n \times n$ の実対称行列であるから、補題によりその特性多項式は実根 $\lambda_1$ を持つ。対応する固有ベクトルを選び、単位ベクトル $\mathbf{v}_1$ に正規化する。

$\mathbf{v}_1$ が張る直線の直交補空間を $W$ とする。これは $(n-1)$ 次元の部分空間である。 $W$ が $A$ で不変であることを示す:任意の $\mathbf{w} \in W$ （すなわち $\mathbf{w}^\top \mathbf{v}_1 = 0$ ）に対し、 $(A\mathbf{w})^\top \mathbf{v}_1 = \mathbf{w}^\top A^\top \mathbf{v}_1 = \mathbf{w}^\top A \mathbf{v}_1 = \lambda_1 \mathbf{w}^\top \mathbf{v}_1 = 0$ が成り立つ（中間の等号で $A$ の対称性を用いた）。よって $A\mathbf{w}$ も $\mathbf{v}_1$ に直交し、 $A\mathbf{w} \in W$ である。

$W$ の正規直交基底を選ぶと、この基底における $A$ の $W$ への制限は $(n-1) \times (n-1)$ 行列 $A'$ で表され、 $A'$ もまた対称である（ $A$ が対称であり、対称双線形形式を部分空間へ制限しても正規直交基底の下では対称性が保たれるため）。帰納法の仮定により、 $A'$ は $W$ 内に正規直交な固有ベクトルの基底 $\mathbf{v}_2, \dots, \mathbf{v}_n$ を持ち、実固有値 $\lambda_2, \dots, \lambda_n$ に対応する。 $W$ が $A$ 不変であるから、これらは $A$ 自身の正真正銘の固有ベクトルでもある。

$\mathbf{v}_1, \mathbf{v}_2, \dots, \mathbf{v}_n$ を集めると、 $A$ の固有ベクトルのみからなる $\mathbb{R}^n$ の正規直交基底が得られる。これらを行列 $Q$ の列として並べると $Q$ は直交行列となり、 $AQ = Q\Lambda$ （ $\Lambda = \mathrm{diag}(\lambda_1, \dots, \lambda_n)$ ）が成り立つ。直交行列については $Q^{-1} = Q^\top$ であるから、これはまさに $A = Q \Lambda Q^\top$ と書き直せ、帰納法が完成する。

大学実世界での応用と具体例

固有値と固有ベクトルは、橋やビルの振動周波数、ウェブ検索を支えるランキングアルゴリズム、データ圧縮に使われる主方向の背後に隠れた変数である。

例: 2質点ばね系の固有振動数

摩擦のない直線上を滑る質量 $m$ の等しい2つの質点があり、それぞれが剛性 $k$ のばねで壁に固定され、さらに2つの質点同士も剛性 $k$ のばねでつながれている。固有振動数を求め、対応する振動モードを説明せよ。

解答

変位 $x_1, x_2$ に対するニュートンの第二法則は $m\ddot{x}_1 = -2kx_1 + kx_2$ および $m\ddot{x}_2 = kx_1 - 2kx_2$ 、すなわち $m\ddot{\mathbf{x}} = -K\mathbf{x}$ （行列 $K = \begin{pmatrix} 2k & -k \\ -k & 2k \end{pmatrix}$ ）を与える。

振動解 $\mathbf{x}(t) = \mathbf{v}\cos(\omega t)$ を求めることで、系は固有値問題 $K\mathbf{v} = m\omega^2 \mathbf{v}$ に帰着し、 $m\omega^2$ は $K$ の固有値でなければならない。特性方程式 $\det(K - \mu I) = (2k-\mu)^2 - k^2 = 0$ より $\mu = 3k$ または $\mu = k$ が得られる。

$\mu = 3k$ のとき: $(K - 3kI)\mathbf{v} = 0$ より $-k v_1 - k v_2 = 0$ 、すなわち $\mathbf{v} = (1,-1)$ ——両質点は逆位相で振動し、 $\omega_1 = \sqrt{3k/m}$ 。 $\mu = k$ のとき: $(K - kI)\mathbf{v}=0$ より $k v_1 - k v_2 = 0$ 、すなわち $\mathbf{v} = (1,1)$ ——両質点は同位相で振動し、 $\omega_2 = \sqrt{k/m}$ 。

したがって $K$ の2つの固有ベクトルはまさに2つの規準振動モードであり、その固有値が2つの固有振動数を定める——これこそがこの問題が本質的に固有値問題である理由である。

例: 支配的固有ベクトルとしてのPageRank

3つのページ $A, B, C$ からなる小さなウェブがあり、リンクは次の通り: $A$ は $B$ と $C$ に等しくリンクし、 $B$ は $C$ にのみ、 $C$ は $A$ にのみリンクする。列確率行列でランダムサーファーをモデル化し、各ページに費やされる長期的な時間の割合を求めよ。

解答

列確率遷移行列（各列がそのページからの出リンク確率を与える）は $P = \begin{pmatrix} 0 & 0 & 1 \\ 0.5 & 0 & 0 \\ 0.5 & 1 & 0 \end{pmatrix}$ （行・列の順序は $A,B,C$ ）である。定常ランキング $\boldsymbol{\pi}$ は固有値 $1$ に対する $P$ の固有ベクトルであり、 $P\boldsymbol{\pi} = \boldsymbol{\pi}$ かつ $\pi_A + \pi_B + \pi_C = 1$ を満たす。

$P\boldsymbol{\pi} = \boldsymbol{\pi}$ を書き下すと: $\pi_C = \pi_A$ 、 $0.5\pi_A = \pi_B$ 、そして $0.5\pi_A + \pi_B = \pi_C$ 。最初の2式はすでに $\pi_C = \pi_A$ と $\pi_B = 0.5\pi_A$ を与える。これを3番目の式に代入すると $0.5\pi_A + 0.5\pi_A = \pi_A = \pi_C$ となり整合する。

$\pi_A = x$ とおくと $\pi_B = 0.5x$ 、 $\pi_C = x$ となり、正規化 $x + 0.5x + x = 2.5x = 1$ より $x = 0.4$ を得る。定常ランキングは $(\pi_A, \pi_B, \pi_C) = (0.4, 0.2, 0.4)$ である:ページ $A$ と $C$ は等しく最も「重要」であり、これは両者が緊密な循環の中で直接互いにリンクしているという事実と一致する。一方 $B$ は $A$ からしかトラフィックを受け取らない。

これこそがPageRankの背後にある考え方である:重要度はリンク数を数えることではなく、リンク遷移行列の支配的固有ベクトル（固有値 $1$ ）を見つけることによって測られる。実際には $P$ を繰り返し掛ける（べき乗法）ことで求められ、初期推定値に関わらず常に同じ主固有ベクトルに収束する。

$A = \begin{pmatrix} 4 & 1 \\ 2 & 3 \end{pmatrix}$ の固有値は何か。

線形写像 $A$ のもとで、固有ベクトルを通常のベクトルと区別する鍵となる幾何学的性質は何か。

PageRankモデルにおいて、ウェブページの定常的な重要度ランキングが固有ベクトルに対応するのはなぜか。

行列 $\begin{pmatrix} 1 & 1 \\ 0 & 1 \end{pmatrix}$ が重複固有値 $\lambda = 1$ を持つにもかかわらず対角化できないのはなぜか。

参考文献

Gilbert Strang (2016). Introduction to Linear Algebra
Sheldon Axler (2015). Linear Algebra Done Right