MathLabs

Xác suất và Thống kê

Ma trận ngẫu nhiên

Nghiên cứu hành vi thống kê của các trị riêng của ma trận có phần tử ngẫu nhiên, liên hệ với vật lý và lý thuyết số.

Trực giácTrực giác: đám mây trị riêng của ma trận ngẫu nhiên

Điền vào một bảng N×NN \times N các số ngẫu nhiên độc lập, đối xứng hoá nó, rồi tính các trị riêng. Một ma trận đơn lẻ cho ra một dãy số không đoán trước được. Nhưng nếu gộp trị riêng của hàng nghìn ma trận ngẫu nhiên độc lập vào một biểu đồ tần suất, một đường cong trơn và luôn lặp lại sẽ xuất hiện — một hình gò dạng nửa đĩa. Hình dạng này không phụ thuộc việc các phần tử là Gauss, đều, hay tung đồng xu: chỉ trung bình và phương sai là quan trọng. Sự ổn định bất chấp nguyên liệu ngẫu nhiên rất khác nhau này, gọi là tính phổ quát, chính là điều bất ngờ trung tâm của lý thuyết ma trận ngẫu nhiên.

Parabol hướng xuống trên [-√2, √2] mô phỏng bóng dáng mật độ trị riêng bán nguyệt Wigner.
Luật bán nguyệt Wigner ρ(x)=12π4−x2\rho(x) = \frac{1}{2\pi}\sqrt{4-x^2} (đường đỏ) và biểu đồ tần suất trị riêng thực nghiệm (cột tím) của ma trận ngẫu nhiên đối xứng cỡ lớn trên [−2,2][-2, 2].

Đại họcĐịnh nghĩa: các tập hợp ma trận ngẫu nhiên Gauss

Định nghĩa: GOE và GUE

Tập hợp trực giao Gauss (GOE) gồm các ma trận đối xứng thực ngẫu nhiên H=HTH = H^T cỡ N×NN \times N, có các phần tử HijH_{ij} là các biến Gauss độc lập (phần tử ngoài đường chéo có phương sai bằng một nửa phần tử trên đường chéo), bất biến khi liên hợp bởi ma trận trực giao. Tập hợp Unitary Gauss (GUE) gồm các ma trận Hermite phức H=H†H = H^\dagger, với các phần tử ngoài đường chéo là số phức Gauss độc lập và phần tử đường chéo là số thực Gauss, bất biến khi liên hợp bởi ma trận unitary. Trong cả hai trường hợp, các trị riêng λ\lambda nghiệm đúng det⁡(H−λI)=0\det(H-\lambda I)=0, và luôn là số thực vì HH đối xứng hoặc Hermite.

ρ(x)=1π2−x2,x∈[−2,2]\rho(x) = \frac{1}{\pi}\sqrt{2-x^2}, \qquad x \in [-\sqrt{2}, \sqrt{2}]

Ở đây ρ(x)\rho(x) là mật độ giới hạn của trị riêng sau khi co tỉ lệ theo N\sqrt{N} (để khi N→∞N \to \infty độ trải không co lại cũng không phình ra), xx là vị trí trị riêng đã co tỉ lệ, và mật độ chỉ tồn tại trên [−2,2][-\sqrt{2}, \sqrt{2}]: không trị riêng nào đã co tỉ lệ rơi ra ngoài khoảng này trong giới hạn. Đây là định luật bán nguyệt Wigner, đúng cho GOE, GUE, và thực ra cho mọi ma trận Wigner (phần tử độc lập, trung bình 00 và phương sai khớp nhau), bất kể phân phối cụ thể của phần tử.

p(s)=πs2e−πs2/4p(s) = \frac{\pi s}{2} e^{-\pi s^2/4}

Ở đây s≥0s \ge 0 là khoảng cách giữa hai trị riêng liên tiếp sau khi chuẩn hoá khoảng cách trung bình cục bộ về 11, và p(s)p(s) là mật độ xác suất của khoảng cách đó đối với GOE. Vì p(s)→0p(s) \to 0 khi s→0s \to 0 (thực ra p(0)=0p(0)=0), các trị riêng chủ động tránh nằm sát nhau: sự đẩy mức này là dấu hiệu định tính phân biệt thống kê ma trận ngẫu nhiên với các điểm phân phối Poisson độc lập, nơi khoảng cách sẽ tụ lại gần 00.

So sánh hai tập hợp GOE và GUE
Tính chấtGOEGUE
Loại ma trậnĐối xứng thực, H=HTH = H^THermite phức, H=H†H = H^\dagger
Nhóm đối xứngTrực giao O(N)O(N)Unitary U(N)U(N)
Chỉ số Dysonβ=1\beta = 1β=2\beta = 2
Suy luận Wignerp(s)=πs2e−πs2/4p(s) = \frac{\pi s}{2} e^{-\pi s^2/4}p(s)=32π2s2e−4s2/πp(s) = \frac{32}{\pi^2} s^2 e^{-4s^2/\pi}
Đẩy mức gần s=0s=0Tuyến tính, p(s)∼sp(s) \sim sBậc hai, p(s)∼s2p(s) \sim s^2

Đại họcHai định lý nền tảng

Khi N→∞N \to \infty, phân phối thực nghiệm của các trị riêng đã co tỉ lệ của một ma trận Wigner hội tụ (theo xác suất, theo phân phối) tới mật độ ρ(x)=1π2−x2\rho(x) = \frac{1}{\pi}\sqrt{2-x^2} với giá đỡ [−2,2][-\sqrt{2}, \sqrt{2}].

Vì sao đúng?

Vết của một luỹ thừa cao của H là tổng trên các đường đi đóng trên tập chỉ số; vì các phần tử độc lập và có trung bình 0, chỉ những đường đi qua mỗi cạnh một số chẵn lần mới sống sót sau khi lấy kỳ vọng, và đếm các đường đi trội còn lại quy về một bài toán tổ hợp thuần tuý mà đáp số là các số Catalan — đúng bằng các mô-men của phân phối bán nguyệt.

Chứng minh

Bước 1 (mục tiêu). Các mô-men của mật độ bán nguyệt ρ(x)=1π2−x2\rho(x) = \frac{1}{\pi}\sqrt{2-x^2} trên [−2,2][-\sqrt{2}, \sqrt{2}] là các số Catalan: mô-men bậc 2k2k bằng Ck=1k+1(2kk)C_k = \frac{1}{k+1}\binom{2k}{k}, và mọi mô-men bậc lẻ triệt tiêu do đối xứng. Vậy chỉ cần chỉ ra các mô-men của phân phối trị riêng thực nghiệm đã co tỉ lệ hội tụ về đúng các số này.

Bước 2 (khai triển vết). Viết Tr⁡(H2k)=∑i1,…,i2kHi1i2Hi2i3⋯Hi2ki1\operatorname{Tr}(H^{2k}) = \sum_{i_1,\dots,i_{2k}} H_{i_1 i_2} H_{i_2 i_3} \cdots H_{i_{2k} i_1}, tổng trên các đường đi đóng độ dài 2k2k trên {1,…,N}\{1,\dots,N\}. Lấy kỳ vọng và dùng tính độc lập của các phần tử, E[Tr⁡(H2k)]\mathbb{E}[\operatorname{Tr}(H^{2k})] tách thành tổng, trên các cách ghép cặp 2k2k thừa số, của tích các mô-men bậc hai E[HijHkl]\mathbb{E}[H_{ij}H_{kl}] của từng cặp (mô-men đồng thời bậc lẻ triệt tiêu vì trung bình bằng không, và thừa số không ghép cặp cũng triệt tiêu vì E[Hij]=0\mathbb{E}[H_{ij}]=0).

Bước 3 (chỉ cách ghép không cắt nhau sống sót ở bậc trội). Mỗi cách ghép cặp tương ứng một cách đồng nhất các cạnh của đường đi đóng; một cách ghép đóng góp một luỹ thừa của NN tuỳ theo số đỉnh phân biệt được thăm. Đếm cho thấy một cách ghép đóng góp ở bậc Nk+1N^{k+1} chỉ khi các cạnh được đồng nhất tạo thành một cách ghép không cắt nhau (phẳng) của 2k2k đầu mút; các cách ghép có cắt nhau đóng góp ở bậc thấp hơn hẳn theo NN và triệt tiêu sau khi chia cho Nk+1N^{k+1} để chuẩn hoá.

Bước 4 (đếm và kết luận). Số cách ghép không cắt nhau của 2k2k điểm trên một đường tròn đúng bằng số Catalan Ck=1k+1(2kk)C_k = \frac{1}{k+1}\binom{2k}{k}. Do đó 1NE[Tr⁡((H/N)2k)]→Ck\frac{1}{N}\mathbb{E}[\operatorname{Tr}((H/\sqrt{N})^{2k})] \to C_k khi N→∞N \to \infty, khớp từng số hạng với các mô-men của ρ(x)=1π2−x2\rho(x) = \frac{1}{\pi}\sqrt{2-x^2}; vì phân phối bán nguyệt được xác định hoàn toàn bởi các mô-men của nó, phân phối phổ thực nghiệm hội tụ về nó.

Với ma trận GOE cỡ 2×22\times2, phân phối của khoảng cách trị riêng (đã chuẩn hoá) đúng bằng p(s)=πs2e−πs2/4p(s) = \frac{\pi s}{2} e^{-\pi s^2/4}; suy luận trực giác của Wigner là công thức của ma trận nhỏ này đã nắm bắt được thống kê khoảng cách cục bộ định tính của GOE cỡ N×NN\times N đầy đủ khi NN lớn, một khẳng định sau này được xác nhận chặt chẽ (với độ chính xác cao, dù không hoàn toàn giống hệt) bằng phương pháp hàm tương quan chính xác của Gaudin và Mehta.

Vì sao đúng?

Ma trận 2x2 là hệ nhỏ nhất có khoảng cách giữa hai trị riêng, và đủ nhỏ để tính chính xác mật độ đồng thời của các phần tử bằng tay — nhưng nó đã chứa cơ chế cốt lõi (khoảng cách phụ thuộc vào một phần tử ngoài đường chéo phải triệt tiêu để trị riêng suy biến, và việc triệt tiêu là một điều kiện phụ đơn lẻ, chính là điều tạo ra sự đẩy thay vì tụ lại).

Chứng minh

Bước 1 (thiết lập). Cho H=(abbc)H = \begin{pmatrix} a & b \\ b & c \end{pmatrix} là ma trận GOE 2×22\times2 với a,ca,c độc lập chuẩn tắc và bb độc lập chuẩn với phương sai 12\frac12. Đa thức đặc trưng của nó cho trị riêng λ±=a+c2±s2\lambda_{\pm} = \frac{a+c}{2} \pm \frac{s}{2} với khoảng cách s=(a−c)2+4b2s = \sqrt{(a-c)^2 + 4b^2}.

Bước 2 (đổi biến). Đặt u=a−c2,  v=b2u = \frac{a-c}{\sqrt{2}}, \; v = b\sqrt{2}; kiểm tra trực tiếp phương sai cho thấy uu và vv là các biến chuẩn tắc độc lập, và s=u2+v2s = \sqrt{u^2+v^2} đúng chính xác, vì (a−c)2+4b2=2u2+2v2(a-c)^2+4b^2 = 2u^2+2v^2 rút gọn thành 2(u2+v2)2(u^2+v^2) sau phép thế — nên s=2⋅(u2+v2)/2s = \sqrt{2}\cdot\sqrt{(u^2+v^2)/2}, tức là ss bằng 2\sqrt{2} lần bán kính của một vectơ Gauss chuẩn 2 chiều.

Bước 3 (toạ độ cực). Bán kính r=u2+v2r=\sqrt{u^2+v^2} của một vectơ Gauss chuẩn 2 chiều có phân phối Rayleigh với mật độ r e−r2/2r\,e^{-r^2/2} (từ việc lấy tích phân mật độ Gauss đồng thời 12πe−(u2+v2)/2\frac{1}{2\pi}e^{-(u^2+v^2)/2} theo góc, đóng góp thừa số 2π2\pi, và định thức Jacobi rr từ du dv=r dr dθdu\,dv = r\,dr\,d\theta). Thế r=s/2r = s/\sqrt2 và dùng dr=ds/2dr = ds/\sqrt2 biến đổi thành mật độ c⋅s e−s2/4c\cdot s\, e^{-s^2/4} theo ss với hằng số cc nào đó.

Bước 4 (chuẩn hoá). Chọn cc sao cho khoảng cách trung bình ∫0∞s⋅p(s) ds=1\int_0^\infty s\cdot p(s)\,ds = 1 (quy ước dùng xuyên suốt lý thuyết) xác định c=π/2c = \pi/2, cho đúng p(s)=πs2e−πs2/4p(s) = \frac{\pi s}{2} e^{-\pi s^2/4} — khớp với công thức đã nêu.

Nghiên cứuNghiên cứu hiện nay: từ trị riêng ma trận tới không điểm hàm zeta

Năm 1972, nhà lý thuyết số Hugh Montgomery đang nghiên cứu khoảng cách giữa các không điểm không tầm thường 12+iγn\frac{1}{2} + i\gamma_n của hàm zeta Riemann ζ(s)\zeta(s), và đã cho nhà vật lý Freeman Dyson xem công thức tương quan cặp của mình trong giờ uống trà ở Princeton. Dyson nhận ra ngay: đó chính là hàm tương quan cặp của trị riêng GUE. Sau này Andrew Odlyzko tính số hàng triệu không điểm hàm zeta và xác nhận sự khớp nhau với độ chính xác đáng kinh ngạc — đó là định luật Montgomery–Odlyzko, giả thuyết rằng thống kê cục bộ của các không điểm hàm zeta trùng với thống kê trị riêng GUE.

Đại họcỨng dụng thực tiễn và Ví dụ minh họa

Thống kê ma trận ngẫu nhiên xuất hiện bất cứ khi nào một hệ có nhiều thành phần ngẫu nhiên tương tác, cùng quy mô. Trong tài chính, ma trận tương quan của hàng trăm lợi suất cổ phiếu bị chi phối bởi nhiễu; định luật Marchenko–Pastur (một người anh em của định luật bán nguyệt dành cho ma trận kiểu tương quan) cho nhà quản lý danh mục biết trị riêng nào mang tín hiệu thật và trị riêng nào là nhiễu cần lọc bỏ trước khi ước lượng rủi ro. Trong viễn thông không dây, dung lượng của kênh đa ăng-ten (MIMO) bị chi phối bởi phân phối trị riêng của ma trận kênh ngẫu nhiên. Trong vật lý hạt nhân và nguyên tử, động lực ban đầu của Wigner, khoảng cách mức năng lượng của hạt nhân phức tạp tuân theo suy luận GOE. Trong sinh thái học, tiêu chuẩn ổn định ma trận ngẫu nhiên của May dùng biên của định luật bán nguyệt để dự đoán khi nào một mạng lưới thức ăn lớn trở nên bất ổn động lực. Trong lý thuyết số, như đã thấy ở trên, thống kê không điểm hàm zeta khớp với dự đoán GUE.

Ví dụ: Lọc nhiễu ma trận tương quan tài chính

Một nhà quản lý danh mục ước lượng ma trận tương quan của dữ liệu lợi suất kiểu N×NN \times N từ N=50N=50 tài sản qua T=200T=200 ngày giao dịch, cho tỉ lệ khung q=N/T=0.25q = N/T = 0.25. Cận trên Marchenko–Pastur cho trị riêng "nhiễu thuần" lớn nhất là λmax⁡=(1+q)2\lambda_{\max} = (1+\sqrt{q})^2. Một trị riêng của ma trận tương quan mẫu ra kết quả λ=3.1\lambda = 3.1. Trị riêng đó là tín hiệu hay nhiễu?

Lời giải

Trước tiên tính cận nhiễu: với q=0.25q=0.25, λmax⁡=(1+q)2\lambda_{\max} = (1+\sqrt{q})^2 cho λmax⁡=(1+0.25)2=(1+0.5)2=2.25\lambda_{\max} = (1+\sqrt{0.25})^2 = (1+0.5)^2 = 2.25.

Giá trị 2.252.25 này là trị riêng lớn nhất mà một ma trận tương quan hoàn toàn ngẫu nhiên (không cấu trúc) với tỉ lệ khung này có thể tạo ra, với xác suất cao, trong giới hạn NN lớn.

Trị riêng quan sát được λ=3.1\lambda = 3.1 vượt quá 2.252.25. Vì nó nằm ngoài khối Marchenko–Pastur, nó không thể được giải thích chỉ bởi nhiễu lấy mẫu: nó báo hiệu một nhân tố chung thực sự (ví dụ, một nhân tố rủi ro toàn thị trường) trong dữ liệu.

Trong thực tế, nhà quản lý sẽ giữ lại trị riêng này (và vectơ riêng của nó) như một nhân tố rủi ro thật, đồng thời thay mọi trị riêng dưới 2.252.25 bằng một sàn nhiễu phẳng trước khi nghịch đảo ma trận để tối ưu hoá danh mục — đây chính là kỹ thuật cắt trị riêng dùng để ổn định ước lượng hiệp phương sai.

Ví dụ: Tính xác suất khoảng cách bằng suy luận Wigner

Dùng suy luận Wigner cho GOE p(s)=πs2e−πs2/4p(s) = \frac{\pi s}{2} e^{-\pi s^2/4}, tính xác suất khoảng cách mức chuẩn hoá vượt quá khoảng cách trung bình, tức tìm P(s>1)P(s>1).

Lời giải

P(s>1)=∫1∞πt2e−πt2/4 dtP(s>1) = \int_1^\infty \frac{\pi t}{2} e^{-\pi t^2/4}\,dt. Đặt u=πt2/4u = \pi t^2/4, khi đó du=πt2 dtdu = \frac{\pi t}{2}\,dt triệt tiêu đúng hệ số phía trước, biến tích phân thành ∫π/4∞e−u du\int_{\pi/4}^\infty e^{-u}\,du.

Tích phân sơ cấp này cho [−e−u]π/4∞=0−(−e−π/4)=e−π/4[-e^{-u}]_{\pi/4}^{\infty} = 0 - (-e^{-\pi/4}) = e^{-\pi/4}.

Về số, π/4≈0.7854\pi/4 \approx 0.7854, nên e−π/4≈0.4559e^{-\pi/4} \approx 0.4559.

Vậy dù sự đẩy mức làm giảm các khoảng cách nhỏ, vẫn có một xác suất đáng kể (≈45.6%\approx 45.6\%) rằng hai trị riêng chuẩn hoá liên tiếp cách xa nhau hơn trung bình — sự đẩy mức chỉ triệt tiêu các khoảng cách rất nhỏ, chứ không làm khoảng cách lớn trở nên hiếm.

Theo định luật bán nguyệt Wigner ρ(x)=1π2−x2\rho(x) = \frac{1}{\pi}\sqrt{2-x^2}, mật độ có giá đỡ trên khoảng nào (sau khi co tỉ lệ chuẩn theo N\sqrt{N})?

Vì sao suy luận Wigner p(s)=πs2e−πs2/4p(s) = \frac{\pi s}{2} e^{-\pi s^2/4} thoả mãn p(0)=0p(0)=0?

Một nhà quản lý danh mục có N=50N=50 tài sản, T=200T=200 quan sát (q=N/T=0.25q = N/T = 0.25), và tìm được một trị riêng tương quan mẫu bằng 2.02.0. Dùng λmax⁡=(1+q)2\lambda_{\max} = (1+\sqrt{q})^2, trị riêng này nên coi là tín hiệu hay nhiễu?

Định luật Montgomery–Odlyzko giả thuyết rằng thống kê khoảng cách của các không điểm không tầm thường 12+iγn\frac{1}{2} + i\gamma_n của ζ(s)\zeta(s) khớp với tập hợp ma trận ngẫu nhiên nào?

Tài liệu tham khảo

  1. Alan Edelman, N. Raj Rao (2005). Random matrix theory
  2. Wikipedia contributors (2024). Montgomery's pair correlation conjecture
  3. Wikipedia contributors (2024). Wigner semicircle distribution