MathLabs

概率与统计

随机矩阵理论

研究具有随机元素的矩阵的特征值的统计行为,并与物理学和数论相联系。

直观直觉:随机矩阵的特征值云

在 N×NN \times N 的表格中填入独立的随机数,将其对称化,再计算特征值。单个矩阵给出的是一串无法预测的数字。但把成千上万个独立随机矩阵的特征值汇总成直方图,每次都会出现同一条光滑、可重复的曲线——一个半圆盘状的隆起。这个形状与元素是高斯分布、均匀分布还是抛硬币无关:重要的只是均值和方差。这种在截然不同的随机成分下依然稳定出现的现象,称为普适性,正是随机矩阵理论的核心惊喜。

在 [-√2, √2] 上模拟维格纳半圆特征值密度轮廓的下凸抛物线。
维格纳半圆律 ρ(x)=12π4−x2\rho(x) = \frac{1}{2\pi}\sqrt{4-x^2}(红线)与大维对称随机矩阵在 [−2,2][-2, 2] 上的经验特征值直方图(紫色柱)。

大学定义:高斯随机矩阵系综

定义: GOE 与 GUE

高斯正交系综(GOE)由大小为 N×NN \times N 的实对称随机矩阵 H=HTH = H^T 组成,其元素 HijH_{ij} 是独立的高斯变量(非对角元素的方差是对角元素的一半),在正交矩阵共轭下不变。高斯酉系综(GUE)由复厄米矩阵 H=H†H = H^\dagger 组成,非对角元素为独立复高斯变量,对角元素为实高斯变量,在酉矩阵共轭下不变。在这两种情形下,特征值 λ\lambda 都满足 det⁡(H−λI)=0\det(H-\lambda I)=0,并且由于 HH 是对称或厄米的,特征值总是实数。

ρ(x)=1π2−x2,x∈[−2,2]\rho(x) = \frac{1}{\pi}\sqrt{2-x^2}, \qquad x \in [-\sqrt{2}, \sqrt{2}]

这里 ρ(x)\rho(x) 是按 N\sqrt{N} 缩放后特征值的极限密度(使得当 N→∞N \to \infty 时分布既不收缩也不发散),xx 是缩放后的特征值位置,该密度仅在 [−2,2][-\sqrt{2}, \sqrt{2}] 上有支撑:极限中缩放后的特征值不会落在此区间之外。这就是维格纳半圆定律,它对 GOE、GUE 乃至任何维格纳矩阵(独立元素、均值为 00 且方差匹配)都成立,而与元素的具体分布无关。

p(s)=πs2e−πs2/4p(s) = \frac{\pi s}{2} e^{-\pi s^2/4}

这里 s≥0s \ge 0 是将局部平均间距归一化为 11 后两个相邻特征值之间的间距,p(s)p(s) 是该间距在 GOE 下的概率密度。由于当 s→0s \to 0 时 p(s)→0p(s) \to 0(实际上 p(0)=0p(0)=0),特征值会主动避免彼此靠近:这种能级排斥是随机矩阵统计区别于独立泊松分布点(其间距会聚集在 00 附近)的定性特征。

GOE 与 GUE 系综的比较
属性GOEGUE
矩阵类型实对称,H=HTH = H^T复厄米,H=H†H = H^\dagger
对称群正交群 O(N)O(N)酉群 U(N)U(N)
戴森指数β=1\beta = 1β=2\beta = 2
维格纳猜想式p(s)=πs2e−πs2/4p(s) = \frac{\pi s}{2} e^{-\pi s^2/4}p(s)=32π2s2e−4s2/πp(s) = \frac{32}{\pi^2} s^2 e^{-4s^2/\pi}
s=0s=0 附近的能级排斥线性, p(s)∼sp(s) \sim s二次, p(s)∼s2p(s) \sim s^2

大学两个基础定理

当 N→∞N \to \infty 时,维格纳矩阵缩放后特征值的经验分布(依概率、依分布)收敛到支撑于 [−2,2][-\sqrt{2}, \sqrt{2}] 上的密度 ρ(x)=1π2−x2\rho(x) = \frac{1}{\pi}\sqrt{2-x^2}。

为什么成立?

H 的高次幂的迹是索引集上闭合游走的求和;由于各元素独立且均值为 0,只有每条边被经过偶数次的路径才能在取期望后存活,而统计这些占主导的路径归结为一个纯组合问题,其答案正是卡塔兰数——恰好是半圆分布的矩。

证明

第一步(目标)。支撑于 [−2,2][-\sqrt{2}, \sqrt{2}] 上的半圆密度 ρ(x)=1π2−x2\rho(x) = \frac{1}{\pi}\sqrt{2-x^2} 的矩是卡塔兰数:第 2k2k 阶矩等于 Ck=1k+1(2kk)C_k = \frac{1}{k+1}\binom{2k}{k},且由对称性所有奇数阶矩都为零。因此只需证明缩放后经验特征值分布的矩收敛到同样的数值。

第二步(展开迹)。写出 Tr⁡(H2k)=∑i1,…,i2kHi1i2Hi2i3⋯Hi2ki1\operatorname{Tr}(H^{2k}) = \sum_{i_1,\dots,i_{2k}} H_{i_1 i_2} H_{i_2 i_3} \cdots H_{i_{2k} i_1},即 {1,…,N}\{1,\dots,N\} 上长度为 2k2k 的闭合游走之和。取期望并利用元素独立性,E[Tr⁡(H2k)]\mathbb{E}[\operatorname{Tr}(H^{2k})] 按将 2k2k 个因子两两配对的方式分解为若干项之和,每项是各配对的二阶矩 E[HijHkl]\mathbb{E}[H_{ij}H_{kl}] 的乘积(由于均值为零,奇数阶联合矩为零,未配对的因子也因 E[Hij]=0\mathbb{E}[H_{ij}]=0 而为零)。

第三步(只有不交叉配对在主阶存活)。每种配对方式对应闭合游走边的一种等同方式;一种配对贡献的 NN 的幂次由所访问的不同顶点数决定。计数表明,只有当被等同的边构成 2k2k 个端点的不交叉(平面)配对时,该配对才在 Nk+1N^{k+1} 阶贡献;交叉配对在 NN 中贡献严格更低阶,在除以 Nk+1N^{k+1} 归一化后消失。

第四步(计数并得出结论)。圆周上 2k2k 个点的不交叉配对数恰好是卡塔兰数 Ck=1k+1(2kk)C_k = \frac{1}{k+1}\binom{2k}{k}。因此当 N→∞N \to \infty 时 1NE[Tr⁡((H/N)2k)]→Ck\frac{1}{N}\mathbb{E}[\operatorname{Tr}((H/\sqrt{N})^{2k})] \to C_k,逐项匹配 ρ(x)=1π2−x2\rho(x) = \frac{1}{\pi}\sqrt{2-x^2} 的矩;由于半圆分布由其矩唯一确定,经验谱分布收敛到该分布。

对于 2×22\times2 的 GOE 矩阵,(归一化的)特征值间距的分布恰好是 p(s)=πs2e−πs2/4p(s) = \frac{\pi s}{2} e^{-\pi s^2/4};维格纳的启发式论断是,这个小矩阵公式已经捕捉到了 NN 较大时完整 N×NN\times N GOE 的定性局部间距统计,这一论断后来被高丹和梅塔的精确关联函数方法在高精度上(虽非完全相同)严格证实。

为什么成立?

2x2 矩阵是最小的、两个特征值之间存在间距的系统,并且足够小,可以手动计算其元素的联合密度——但它已经包含了本质机制(间距依赖于一个非对角元素,要使特征值简并该元素必须为零,而这个消失恰是产生排斥而非聚集的单一额外条件)。

证明

第一步(设置)。设 H=(abbc)H = \begin{pmatrix} a & b \\ b & c \end{pmatrix} 为 2×22\times2 的 GOE 矩阵,其中 a,ca,c 独立同标准正态分布,bb 独立正态分布且方差为 12\frac12。其特征多项式给出特征值 λ±=a+c2±s2\lambda_{\pm} = \frac{a+c}{2} \pm \frac{s}{2},间距为 s=(a−c)2+4b2s = \sqrt{(a-c)^2 + 4b^2}。

第二步(变量替换)。令 u=a−c2,  v=b2u = \frac{a-c}{\sqrt{2}}, \; v = b\sqrt{2};直接验证方差可知 uu 与 vv 是独立标准正态变量,且精确地有 s=u2+v2s = \sqrt{u^2+v^2},因为 (a−c)2+4b2=2u2+2v2(a-c)^2+4b^2 = 2u^2+2v^2 在代换后化简为 2(u2+v2)2(u^2+v^2)——于是 s=2⋅(u2+v2)/2s = \sqrt{2}\cdot\sqrt{(u^2+v^2)/2},即 ss 是标准二维高斯向量半径的 2\sqrt{2} 倍。

第三步(极坐标)。标准二维高斯向量的半径 r=u2+v2r=\sqrt{u^2+v^2} 服从密度为 r e−r2/2r\,e^{-r^2/2} 的瑞利分布(将联合高斯密度 12πe−(u2+v2)/2\frac{1}{2\pi}e^{-(u^2+v^2)/2} 对角度积分给出因子 2π2\pi,而 du dv=r dr dθdu\,dv = r\,dr\,d\theta 给出雅可比行列式 rr)。代入 r=s/2r = s/\sqrt2 并利用 dr=ds/2dr = ds/\sqrt2,可将其化为关于 ss 的密度 c⋅s e−s2/4c\cdot s\, e^{-s^2/4},其中 cc 为某常数。

第四步(归一化)。选取 cc 使平均间距 ∫0∞s⋅p(s) ds=1\int_0^\infty s\cdot p(s)\,ds = 1(理论中通用的约定)成立,可确定 c=π/2c = \pi/2,恰好得到 p(s)=πs2e−πs2/4p(s) = \frac{\pi s}{2} e^{-\pi s^2/4},与所述公式相符。

研究当前研究:从矩阵特征值到 zeta 函数零点

1972年,数论学家休·蒙哥马利在研究黎曼 zeta 函数 ζ(s)\zeta(s) 的非平凡零点 12+iγn\frac{1}{2} + i\gamma_n 的间距,他在普林斯顿喝茶时把自己的对关联公式拿给物理学家弗里曼·戴森看。戴森立刻认出:这正是 GUE 特征值的对关联函数。后来安德鲁·奥德利兹科用数值方法计算了数百万个 zeta 零点,以惊人的精度证实了这一吻合——这就是蒙哥马利—奥德利兹科定律,即 zeta 零点的局部统计与 GUE 特征值统计相符的猜想。

大学实际应用与典型例题

每当一个系统拥有许多相互作用、规模相近的随机成分时,随机矩阵统计就会出现。在金融中,数百只股票收益率的相关矩阵被噪声主导;马尔琴科—帕斯图尔定律(半圆定律在相关型矩阵上的近亲)告诉投资组合经理哪些特征值携带真实信号、哪些是应在风险估计前滤除的噪声。在无线通信中,多天线(MIMO)信道的容量由随机信道矩阵的特征值分布决定。在核物理与原子物理中——正是维格纳最初的动机——复杂原子核的能级间距遵循 GOE 猜想式。在生态学中,梅氏随机矩阵稳定性判据利用半圆定律的边缘来预测大型食物网何时在动力学上变得不稳定。在数论中,如上所述,zeta 零点统计与 GUE 预测相符。

例题: 对金融相关矩阵去噪

某投资组合经理根据 N=50N=50 个资产在 T=200T=200 个交易日的收益数据估计出一个 N×NN \times N 型相关矩阵,得到纵横比 q=N/T=0.25q = N/T = 0.25。"纯噪声"最大特征值的马尔琴科—帕斯图尔上界为 λmax⁡=(1+q)2\lambda_{\max} = (1+\sqrt{q})^2。样本相关矩阵的某个特征值计算得到 λ=3.1\lambda = 3.1。该特征值是信号还是噪声?

解答

首先计算噪声上界:当 q=0.25q=0.25 时,由 λmax⁡=(1+q)2\lambda_{\max} = (1+\sqrt{q})^2 得 λmax⁡=(1+0.25)2=(1+0.5)2=2.25\lambda_{\max} = (1+\sqrt{0.25})^2 = (1+0.5)^2 = 2.25。

这个 2.252.25 是在 NN 较大的极限下,具有该纵横比的纯随机(无结构)相关矩阵在高概率意义上所能产生的最大特征值。

观测到的特征值 λ=3.1\lambda = 3.1 超过了 2.252.25。由于它落在马尔琴科—帕斯图尔体之外,单靠采样噪声无法解释:它表明数据中存在一个真实的共同因子(例如全市场风险因子)。

在实践中,管理者会保留这个特征值(及其特征向量)作为真实的风险因子,同时在为组合优化对矩阵求逆之前,把所有低于 2.252.25 的特征值替换为一个平坦的噪声基线——这正是用于稳定协方差估计的特征值截断技术。

例题: 用维格纳猜想式计算间距概率

利用 GOE 的维格纳猜想式 p(s)=πs2e−πs2/4p(s) = \frac{\pi s}{2} e^{-\pi s^2/4},计算归一化能级间距超过平均间距的概率,即求 P(s>1)P(s>1)。

解答

P(s>1)=∫1∞πt2e−πt2/4 dtP(s>1) = \int_1^\infty \frac{\pi t}{2} e^{-\pi t^2/4}\,dt。代入 u=πt2/4u = \pi t^2/4,则 du=πt2 dtdu = \frac{\pi t}{2}\,dt 恰好抵消前面的系数,把积分化为 ∫π/4∞e−u du\int_{\pi/4}^\infty e^{-u}\,du。

这个初等积分求值为 [−e−u]π/4∞=0−(−e−π/4)=e−π/4[-e^{-u}]_{\pi/4}^{\infty} = 0 - (-e^{-\pi/4}) = e^{-\pi/4}。

数值上,π/4≈0.7854\pi/4 \approx 0.7854,所以 e−π/4≈0.4559e^{-\pi/4} \approx 0.4559。

因此,尽管能级排斥压低了小间距的概率,仍有相当大的概率(≈45.6%\approx 45.6\%)使两个连续的归一化特征值间距超过平均值——排斥只是抑制了非常小的间距,并不会使大间距变得罕见。

根据维格纳半圆定律 ρ(x)=1π2−x2\rho(x) = \frac{1}{\pi}\sqrt{2-x^2},在标准的 N\sqrt{N} 缩放后,密度的支撑区间是什么?

为什么维格纳猜想式 p(s)=πs2e−πs2/4p(s) = \frac{\pi s}{2} e^{-\pi s^2/4} 满足 p(0)=0p(0)=0?

某投资组合经理有 N=50N=50 个资产、T=200T=200 次观测(q=N/T=0.25q = N/T = 0.25),发现某个样本相关特征值为 2.02.0。利用 λmax⁡=(1+q)2\lambda_{\max} = (1+\sqrt{q})^2,该特征值应视为信号还是噪声?

蒙哥马利—奥德利兹科定律猜想 ζ(s)\zeta(s) 的非平凡零点 12+iγn\frac{1}{2} + i\gamma_n 的间距统计与哪个随机矩阵系综相符?

参考文献

  1. Alan Edelman, N. Raj Rao (2005). Random matrix theory
  2. Wikipedia contributors (2024). Montgomery's pair correlation conjecture
  3. Wikipedia contributors (2024). Wigner semicircle distribution