MathLabs

分析学

泛函分析

研究由函数构成的无穷维向量空间及作用于其上的线性算子。

直观何时可以对无穷多个坐标做微积分?

Rn\mathbb{R}^n 中的向量只是 nn 个数组成的列表,Rn\mathbb{R}^n 上的微积分之所以行得通,是因为我们能测量这类列表之间的长度(∥x∥\|x\|)和夹角(内积)。像声波、图像或量子波函数这样的函数,实际上是一个无穷列表——它在每一点的取值,或者等价地说是它的无穷多个傅里叶系数。泛函分析要问的是:我们能否继续在函数之间测量"长度"与"夹角",并在由此得到的无穷维空间上继续做微积分(极限、求导、最优化)?答案是可以,只要该空间是完备的——无穷和与极限不会"跑出"这个空间——而这正是把一个普通的函数向量空间变成巴拿赫空间,或者在具备内积时变成希尔伯特空间的关键。

有向图展示希尔伯特空间被包含于巴拿赫空间,再被包含于赋范向量空间,并在每一层标注具体例子。
函数与序列空间之间包含关系的网络:每个希尔伯特空间(节点 ℓ2\ell^2、节点 L2[0,1]L^2[0,1])都是巴拿赫空间,每个巴拿赫空间(包括 C[0,1]C[0,1] 与 ℓp\ell^p)都是赋范向量空间,但箭头不能反向——带上确界范数的 C[0,1]C[0,1] 并不存在能诱导它的内积。高亮某个节点即可追溯它所属的更大类别。

大学范数、完备性与内积

定义: 赋范向量空间与巴拿赫空间

在 R\mathbb{R} 或 C\mathbb{C} 上的向量空间 XX 上的范数是一个映射 ∥x∥\|x\|,满足 ∥x∥\|x\|=0=0 当且仅当 x=0x=0,∥λx∥=∣λ∣∥x∥\|\lambda x\|=|\lambda|\|x\|,以及三角不等式 ∥x+y∥≤∥x∥+∥y∥\|x+y\|\le\|x\|+\|y\|。若数列 (xn)(x_n) 的各项最终能任意靠近,则称其为柯西列;若 XX 中每个柯西列都收敛到 XX 自身(而不仅是包含它的更大空间)中的某一点,则称 XX 是完备的,并称之为巴拿赫空间。正是完备性让我们能从一个无穷过程——函数的无穷级数、迭代逼近格式——构造出极限函数,并确信这个极限仍然是该空间的真正元素。

写出来,柯西条件是说数列的尾部在范数意义下紧密地聚拢在一起:

∀ε>0 ∃N: n,m≥N⟹∥xn−xm∥<ε\forall\varepsilon>0\ \exists N:\ n,m\ge N \Longrightarrow \|x_n-x_m\|<\varepsilon

这里 ε\varepsilon 是容许误差,NN 是此后所有项对都落在该误差范围内的那个点,∥x∥\|x\| 是 XX 上的范数。当 XX 还带有内积 ⟨x,x⟩\langle x,x\rangle——一种推广了普通点积的双线性(或半双线性)配对,由它可还原出范数 ∥x∥=⟨x,x⟩\|x\|=\sqrt{\langle x,x\rangle}——并且关于该诱导范数是完备的,XX 就称为希尔伯特空间,通常记作 HH。正是内积让我们不仅能谈论函数的长度,还能谈论它们之间的正交性与夹角。

∣⟨x,y⟩∣≤∥x∥ ∥y∥|\langle x,y\rangle|\le\|x\|\,\|y\|

这就是柯西–施瓦茨不等式:两个向量的内积永远不会超过它们长度的乘积,正如普通三维空间中 u⃗⋅v⃗=∥u⃗∥∥v⃗∥cos⁡θ\vec u\cdot\vec v=\|\vec u\|\|\vec v\|\cos\theta(其中 ∣cos⁡θ∣≤1|\cos\theta|\le1)一样。在巴拿赫空间中,希尔伯特空间还可以用平行四边形法则 ∥x+y∥2+∥x−y∥2=2∥x∥2+2∥y∥2\|x+y\|^2+\|x-y\|^2=2\|x\|^2+2\|y\|^2 来刻画——这是一个纯粹用范数表述的恒等式(陈述它无需内积),一个范数当且仅当真正来自某个内积时才满足它。它说明平行四边形两条对角线长度的平方和等于四条边长度的平方和,把欧氏空间中带有勾股定理风味的几何推广到了无穷维。

常见的巴拿赫空间与希尔伯特空间
空间范数完备吗?是希尔伯特空间吗?
ℓ2\ell^2(∑i∣xi∣2)1/2\left(\sum_i|x_i|^2\right)^{1/2}是是
ℓp\ell^p, p≠2p\ne2(∑i∣xi∣p)1/p\left(\sum_i|x_i|^p\right)^{1/p}是否
C[0,1]C[0,1]sup⁡t∣f(t)∣\sup_{t}|f(t)|是否
L2[0,1]L^2[0,1](∫01∣f(t)∣2dt)1/2\left(\int_0^1|f(t)|^2dt\right)^{1/2}是是

大学两大支柱:里斯表示定理与哈恩–巴拿赫定理

设 HH 为希尔伯特空间,φ\varphi 为 HH 上的有界(连续)线性泛函。那么存在唯一的 y∈Hy\in H,使得对每个 x∈Hx\in H 都有 φ(x)=⟨x,y⟩\varphi(x)=\langle x,y\rangle,并且 ∥φ∥=∥y∥\|\varphi\|=\|y\|。

为什么成立?

这说明,任何一种线性且连续地给每个向量赋一个数的方式,本质上都只是"与某个固定向量做内积"——抽象的泛函并不比我们已经熟悉的最具体的泛函更一般。

证明

若 φ=0\varphi=0,取 y=0y=0 即可。否则设 N=ker⁡φ={x∈H:φ(x)=0}N=\ker\varphi=\{x\in H:\varphi(x)=0\};由于 φ\varphi 连续且线性,NN 是 HH 的一个闭的真子空间。因为 HH 是希尔伯特空间,投影定理给出正交分解 H=N⊕N⊥H=N\oplus N^{\perp},又因 NN 是真子空间,N⊥N^{\perp} 中存在某个 z≠0z\ne0。

对任意 x∈Hx\in H,考虑向量 u=φ(x)z−φ(z)xu=\varphi(x)z-\varphi(z)x。对其施加 φ\varphi 得 φ(u)=φ(x)φ(z)−φ(z)φ(x)=0\varphi(u)=\varphi(x)\varphi(z)-\varphi(z)\varphi(x)=0,故 u∈Nu\in N。又因 z∈N⊥z\in N^{\perp},有 ⟨u,z⟩=0\langle u,z\rangle=0,即 φ(x)⟨z,z⟩−φ(z)⟨x,z⟩=0\varphi(x)\langle z,z\rangle-\varphi(z)\langle x,z\rangle=0。解出 φ(x)\varphi(x) 得 φ(x)=φ(z)∥z∥2⟨x,z⟩=⟨x,φ(z)‾∥z∥2z⟩\varphi(x)=\dfrac{\varphi(z)}{\|z\|^2}\langle x,z\rangle=\left\langle x,\dfrac{\overline{\varphi(z)}}{\|z\|^2}z\right\rangle,于是 y=φ(z)‾∥z∥2zy=\dfrac{\overline{\varphi(z)}}{\|z\|^2}z 表示了 φ\varphi。

关于唯一性,若对所有 xx 都有 ⟨x,y1⟩=⟨x,y2⟩\langle x,y_1\rangle=\langle x,y_2\rangle,取 x=y1−y2x=y_1-y_2 得 ∥y1−y2∥2=0\|y_1-y_2\|^2=0,故 y1=y2y_1=y_2。关于范数等式,由柯西–施瓦茨得 ∣φ(x)∣=∣⟨x,y⟩∣≤∥y∥∥x∥|\varphi(x)|=|\langle x,y\rangle|\le\|y\|\|x\|,故 ∥φ∥≤∥y∥\|\varphi\|\le\|y\|;代入 x=yx=y 得 φ(y)=∥y∥2\varphi(y)=\|y\|^2,故 ∥φ∥≥∣φ(y)∣/∥y∥=∥y∥\|\varphi\|\ge|\varphi(y)|/\|y\|=\|y\|。综合两者得 ∥φ∥=∥y∥\|\varphi\|=\|y\|。

设 XX 为实赋范向量空间,YY 为 XX 的一个线性子空间,φ\varphi 为 YY 上的有界线性泛函,满足对所有 y∈Yy\in Y 有 ∣φ(y)∣≤M∥y∥|\varphi(y)|\le M\|y\|。那么存在整个 XX 上的有界线性泛函 Φ\Phi,使得对每个 y∈Yy\in Y 都有 Φ(y)=φ(y)\Phi(y)=\varphi(y),且对每个 x∈Xx\in X 都有 ∣Φ(x)∣≤M∥x∥|\Phi(x)|\le M\|x\|。

为什么成立?

它保证只在一个较小子空间上定义的线性泛函——例如只知道"信号在几个采样点上的取值"——总能被延拓到整个空间而不增大其界;我们永远不会被迫只能在子空间上工作。

证明

首先扩展一维。选取 x0∉Yx_0\notin Y,令 Y1=Y⊕Rx0Y_1=Y\oplus\mathbb{R}x_0。我们需要选取值 c=Φ(x0)c=\Phi(x_0),使得对所有 y∈Y,t∈Ry\in Y,t\in\mathbb{R} 都有 ∣φ(y)+tc∣≤M∥y+tx0∥|\varphi(y)+tc|\le M\|y+tx_0\|;除以 t≠0t\ne0 并代换 y/t→yy/t\to y,这归结为需要 cc 满足对所有 y∈Yy\in Y 都有 φ(y)−M∥y−x0∥≤c≤M∥y+x0∥−φ(y)\varphi(y)-M\|y-x_0\|\le c\le M\|y+x_0\|-\varphi(y)。利用 φ(y1)−φ(y2)=φ(y1−y2)≤M∥y1−y2∥≤M∥y1+x0∥+M∥y2−x0∥\varphi(y_1)-\varphi(y_2)=\varphi(y_1-y_2)\le M\|y_1-y_2\|\le M\|y_1+x_0\|+M\|y_2-x_0\|,可验证左边关于 y1y_1 的上确界永远不超过右边关于 y2y_2 的下确界,因此该区间内存在合适的 cc;由此在 Y1Y_1 上定义了具有相同界 MM 的 Φ\Phi。

接着,用佐恩引理扩展到整个 XX。考虑所有满足 Y⊆Z⊆XY\subseteq Z\subseteq X 的子空间 ZZ 以及把 φ\varphi 以界 MM 延拓到 ZZ 上的 Ψ\Psi 组成的对 (Z,Ψ)(Z,\Psi) 的集合,按 (Z1,Ψ1)≤(Z2,Ψ2)(Z_1,\Psi_1)\le(Z_2,\Psi_2) 当且仅当 Z1⊆Z2Z_1\subseteq Z_2 且 Ψ2∣Z1=Ψ1\Psi_2|_{Z_1}=\Psi_1 进行偏序。每条链都有上界(取子空间的并,以及在各自定义域上与之一致的泛函),于是佐恩引理给出一个极大元 (Z∗,Φ)(Z^*,\Phi)。

最后,若 Z∗≠XZ^*\ne X,将上面一维扩展的步骤应用于 Z∗Z^* 和任意 x0∈X∖Z∗x_0\in X\setminus Z^*,就会得到一个严格更大的容许对,与 (Z∗,Φ)(Z^*,\Phi) 的极大性矛盾。因此 Z∗=XZ^*=X,Φ\Phi 就是所求的保界延拓到整个 XX 上的泛函。

大学实际应用与典型例题

泛函分析是傅里叶分析与信号处理(信号生活在 L2[0,2π]L^2[0,2\pi] 或 L2[0,1]L^2[0,1] 中)、量子力学(状态生活在希尔伯特空间 HH 中),以及统计学、工程学和机器学习中归结为在子空间内寻找最近点的问题——从最小二乘回归到吉洪诺夫正则化反问题——的数学骨架。

例题: 信号处理:当 n→∞n\to\infty 时 sin⁡(nt)\sin(nt) 会趋于稳定吗?

固定 f∈L2[0,2π]f\in L^2[0,2\pi]。证明当 n→∞n\to\infty 时 ∫02πf(t)sin⁡(nt) dt→0\int_0^{2\pi} f(t)\sin(nt)\,dt\to 0(即弱意义下 sin⁡(nt)⇀0\sin(nt)\rightharpoonup 0),而范数 ∥sin⁡(nt)∥2=π\|\sin(nt)\|_2=\sqrt{\pi} 始终保持不变——因此 sin⁡(nt)\sin(nt) 本身在强(范数)意义下从不趋于稳定。

解答

考虑 L2[0,2π]L^2[0,2\pi] 中的标准正交系 en(t)=sin⁡(nt)/πe_n(t)=\sin(nt)/\sqrt\pi(正交性由当 n≠mn\ne m 时 ∫02πsin⁡(nt)sin⁡(mt) dt=0\int_0^{2\pi}\sin(nt)\sin(mt)\,dt=0,以及 ∫02πsin⁡2(nt) dt=π\int_0^{2\pi}\sin^2(nt)\,dt=\pi 得出)。

由贝塞尔不等式 ∑n=1∞∣⟨f,en⟩∣2≤∥f∥2\sum_{n=1}^{\infty}|\langle f,e_n\rangle|^2\le\|f\|^2,由于 ∥f∥2<∞\|f\|^2<\infty,ff 关于该标准正交系的傅里叶系数的平方级数收敛。收敛级数的通项趋于零,故 ∣⟨f,en⟩∣2→0|\langle f,e_n\rangle|^2\to0,即 ⟨f,en⟩→0\langle f,e_n\rangle\to0。

由于 ⟨f,en⟩=1π∫02πf(t)sin⁡(nt) dt\langle f,e_n\rangle=\frac{1}{\sqrt\pi}\int_0^{2\pi}f(t)\sin(nt)\,dt,这正是 ∫02πf(t)sin⁡(nt) dt→0\int_0^{2\pi} f(t)\sin(nt)\,dt\to 0——这正是伪装过的黎曼–勒贝格引理,恰好就是命题 sin⁡(nt)⇀0\sin(nt)\rightharpoonup 0。

另一方面,直接计算得对所有 nn 都有 ∥sin⁡(nt)∥22=∫02πsin⁡2(nt) dt=π\|\sin(nt)\|_2^2=\int_0^{2\pi}\sin^2(nt)\,dt=\pi,因此对所有 nn 都有 ∥sin⁡(nt)∥2=π\|\sin(nt)\|_2=\sqrt{\pi}——范数从不收缩。所以 sin⁡(nt)\sin(nt) 对任意固定的 ff 做检验都收敛到 00(弱收敛),但在范数意义下从不收敛到 00(不是强收敛):振荡越来越快,对每个固定的"探测器"而言都"平均抵消"了,但信号本身并未损失能量。

例题: 统计与工程:作为正交投影的最小二乘回归

给定数据矩阵 AA(列为预测变量)与观测值 bb,最小二乘拟合是要在 xx 上极小化 ∥Ax−b∥2\|Ax-b\|^2。利用希尔伯特空间投影的思想(即上面里斯/正交性论证的有限维情形,取 H=RnH=\mathbb{R}^n 及点积),推导出极小值点 x^\hat x 必须满足的正规方程 ATAx^=ATbA^{\mathsf T}A\hat x=A^{\mathsf T}b。

解答

所有可达输出组成的集合 {Ax:x∈Rn}\{Ax:x\in\mathbb{R}^n\} 是一个子空间 ran(A)⊆Rm\mathrm{ran}(A)\subseteq\mathbb{R}^m(有限维,自动完备,因而是希尔伯特空间 Rm\mathbb{R}^m 的闭子空间)。极小化 ∥Ax−b∥2\|Ax-b\|^2 恰好就是在 ran(A)\mathrm{ran}(A) 中寻找离 bb 最近的点的问题。

由希尔伯特空间投影定理(与上面证明里斯表示定理所用的正交分解思想相同),闭子空间中离 bb 最近的点 Ax^A\hat x 的特征是:残差 b−Ax^b-A\hat x 与整个子空间正交,即 ⟨b−Ax^, Av⟩=0  ∀v\langle b-A\hat x,\,Av\rangle=0\ \ \forall v。

注意当 vv 取遍标准基向量时 Av=A(v1,…,vn)Av=A(v_1,\dots,v_n) 取遍 AA 的各列,把条件 ⟨b−Ax^, Av⟩=0  ∀v\langle b-A\hat x,\,Av\rangle=0\ \ \forall v 应用到 AA 的每一列 aja_j 上,得到对每个 jj 都有 ⟨b−Ax^,aj⟩=0\langle b-A\hat x,a_j\rangle=0,将其合并为一个矩阵方程正好就是 AT(b−Ax^)=0A^{\mathsf T}(b-A\hat x)=0。

展开得 ATb−ATAx^=0A^{\mathsf T}b-A^{\mathsf T}A\hat x=0,即正规方程 ATAx^=ATbA^{\mathsf T}A\hat x=A^{\mathsf T}b。于是那个抽象的希尔伯特空间事实——"最佳逼近的残差与逼近子空间正交"——伪装之下,正是每天用来拟合回归直线或金融因子模型的线性代数公式。

研究开放研究方向:无穷维空间的几何学

下列哪个巴拿赫空间不是希尔伯特空间(其范数不是由内积诱导的)?

在希尔伯特空间中,若 ∥x∥=3\|x\|=3 且 ∥y∥=4\|y\|=4,则 ∥x+y∥2+∥x−y∥2\|x+y\|^2+\|x-y\|^2 等于多少?

里斯表示定理对希尔伯特空间 HH 上的有界线性泛函 φ\varphi 保证了什么?

在 sin⁡(nt)\sin(nt) 的例子中,为什么当 n→∞n\to\infty 时信号 sin⁡(nt)\sin(nt) 对任意固定的探测器 ff 都"平均抵消为零",尽管它从未损失能量?

参考文献

  1. Walter Rudin (1991). Functional Analysis
  2. John B. Conway (2007). A Course in Functional Analysis
  3. Assaf Naor (2012). An introduction to the Ribe program · arXiv:1205.5993