MathLabs

解析学

関数解析学

関数からなる無限次元ベクトル空間と、その上に作用する線形作用素を研究する分野。

直観無限個の座標で微積分ができるのはいつか

Rn\mathbb{R}^n のベクトルは nn 個の数の並びに過ぎず、Rn\mathbb{R}^n 上の微積分がうまく機能するのは、そのような並びの間で長さ(∥x∥\|x\|)と角度(内積)を測れるからである。音波、画像、量子力学の波動関数のような関数は、実は無限個の数の並びである――あらゆる点での値、あるいは同じことだが無限個のフーリエ係数である。関数解析学が問うのは次のことだ。関数の間でも「長さ」と「角度」を測り続け、得られる無限次元空間上で微積分(極限、微分、最適化)を行えるだろうか。答えはイエスである。ただし空間が完備であること、すなわち無限和や極限が空間から「はみ出さない」ことが条件であり、これこそが関数からなる単なるベクトル空間を バナッハ空間、内積が備わっている場合には ヒルベルト空間 に変える性質である。

ヒルベルト空間がバナッハ空間に、さらにノルム線形空間に包含される様子を示す有向グラフ。各段階に具体例のラベルが付いている。
関数と数列からなる空間の間の包含関係のネットワーク:すべてのヒルベルト空間(ノード ℓ2\ell^2、ノード L2[0,1]L^2[0,1])はバナッハ空間であり、すべてのバナッハ空間(C[0,1]C[0,1] と ℓp\ell^p も含む)はノルム線形空間であるが、矢印は逆向きにはならない――sup ノルムを持つ C[0,1]C[0,1] には、それを誘導する内積が存在しない。ノードをハイライトすると、それがどの広いクラスに属するかがたどれる。

大学ノルム、完備性、内積

定義: ノルム線形空間とバナッハ空間

R\mathbb{R} または C\mathbb{C} 上のベクトル空間 XX 上のノルムとは、写像 ∥x∥\|x\| であって、∥x∥\|x\|=0=0 が x=0x=0 と同値であり、∥λx∥=∣λ∣∥x∥\|\lambda x\|=|\lambda|\|x\| を満たし、三角不等式 ∥x+y∥≤∥x∥+∥y∥\|x+y\|\le\|x\|+\|y\| を満たすものである。数列 (xn)(x_n) は、その項がやがて互いにいくらでも近づくとき コーシー列 と呼ばれる。XX が 完備 である、すなわち バナッハ空間 であるとは、XX 内のすべてのコーシー列が(それを含むより大きな空間の点ではなく)XX 自身のある点に収束することをいう。完備性があるからこそ、無限の過程――関数の無限級数、反復近似スキーム――から極限関数を構成し、その極限が空間の正真正銘の元であると確信できるのである。

書き下すと、コーシー条件は数列の末尾がノルムの意味で互いに密に寄り集まることを述べている。

∀ε>0 ∃N: n,m≥N⟹∥xn−xm∥<ε\forall\varepsilon>0\ \exists N:\ n,m\ge N \Longrightarrow \|x_n-x_m\|<\varepsilon

ここで ε\varepsilon は許容誤差、NN はそれ以降すべての項の組がこの許容誤差内に収まる点、∥x∥\|x\| は XX 上のノルムである。XX がさらに 内積 ⟨x,x⟩\langle x,x\rangle――内積は通常の内積を一般化した双線形(あるいはセスキ線形)な対であり、そこからノルムが ∥x∥=⟨x,x⟩\|x\|=\sqrt{\langle x,x\rangle} として復元される――を備え、その誘導ノルムに関して完備であるとき、XX は ヒルベルト空間 と呼ばれ、通常 HH と書かれる。内積があるからこそ、関数の長さだけでなく、その直交性や角度について語ることができる。

∣⟨x,y⟩∣≤∥x∥ ∥y∥|\langle x,y\rangle|\le\|x\|\,\|y\|

これが コーシー・シュワルツの不等式 である。二つのベクトルの内積は、通常の3次元空間における u⃗⋅v⃗=∥u⃗∥∥v⃗∥cos⁡θ\vec u\cdot\vec v=\|\vec u\|\|\vec v\|\cos\theta(∣cos⁡θ∣≤1|\cos\theta|\le1)とまったく同様に、それらの長さの積を決して超えない。ヒルベルト空間はさらに、バナッハ空間の中で 平行四辺形の法則、∥x+y∥2+∥x−y∥2=2∥x∥2+2∥y∥2\|x+y\|^2+\|x-y\|^2=2\|x\|^2+2\|y\|^2 によって特徴づけられる――これは純粋にノルムだけで述べられる恒等式(述べるのに内積は不要)であり、あるノルムが実際に内積に由来するための必要十分条件である。これは平行四辺形の対角線の二乗の和が辺の二乗の和に等しいことを述べており、ユークリッド空間のピタゴラス的な幾何学を無限次元へと一般化するものである。

よく使われるバナッハ空間とヒルベルト空間
空間ノルム完備かヒルベルト空間か
ℓ2\ell^2(∑i∣xi∣2)1/2\left(\sum_i|x_i|^2\right)^{1/2}はいはい
ℓp\ell^p, p≠2p\ne2(∑i∣xi∣p)1/p\left(\sum_i|x_i|^p\right)^{1/p}はいいいえ
C[0,1]C[0,1]sup⁡t∣f(t)∣\sup_{t}|f(t)|はいいいえ
L2[0,1]L^2[0,1](∫01∣f(t)∣2dt)1/2\left(\int_0^1|f(t)|^2dt\right)^{1/2}はいはい

大学二つの柱:リースの表現定理とハーン・バナッハの定理

HH をヒルベルト空間とし、φ\varphi を HH 上の有界(連続)線形汎関数とする。このときすべての x∈Hx\in H に対して φ(x)=⟨x,y⟩\varphi(x)=\langle x,y\rangle となる y∈Hy\in H が一意に存在し、さらに ∥φ∥=∥y∥\|\varphi\|=\|y\| が成り立つ。

なぜ正しいのか?

これは、各ベクトルに数を線形かつ連続的に割り当てるあらゆる方法が、実は「ある固定されたベクトルとの内積を取る」ことに他ならないということを意味する――抽象的な汎関数は、既に知っている最も具体的な汎関数より一般的なものではない。

証明

φ=0\varphi=0 ならば y=0y=0 ととればよい。そうでなければ N=ker⁡φ={x∈H:φ(x)=0}N=\ker\varphi=\{x\in H:\varphi(x)=0\} とおく。φ\varphi は連続かつ線形なので、NN は HH の閉な真部分空間である。HH はヒルベルト空間なので、射影定理より直交分解 H=N⊕N⊥H=N\oplus N^{\perp} が得られ、NN が真部分空間であることから N⊥N^{\perp} にはある z≠0z\ne0 が含まれる。

任意の x∈Hx\in H に対し、ベクトル u=φ(x)z−φ(z)xu=\varphi(x)z-\varphi(z)x を考える。φ\varphi を適用すると φ(u)=φ(x)φ(z)−φ(z)φ(x)=0\varphi(u)=\varphi(x)\varphi(z)-\varphi(z)\varphi(x)=0 となるので u∈Nu\in N である。z∈N⊥z\in N^{\perp} より ⟨u,z⟩=0\langle u,z\rangle=0、すなわち φ(x)⟨z,z⟩−φ(z)⟨x,z⟩=0\varphi(x)\langle z,z\rangle-\varphi(z)\langle x,z\rangle=0 が得られる。φ(x)\varphi(x) について解くと φ(x)=φ(z)∥z∥2⟨x,z⟩=⟨x,φ(z)‾∥z∥2z⟩\varphi(x)=\dfrac{\varphi(z)}{\|z\|^2}\langle x,z\rangle=\left\langle x,\dfrac{\overline{\varphi(z)}}{\|z\|^2}z\right\rangle となるので、y=φ(z)‾∥z∥2zy=\dfrac{\overline{\varphi(z)}}{\|z\|^2}z が φ\varphi を表現する。

一意性については、すべての xx に対して ⟨x,y1⟩=⟨x,y2⟩\langle x,y_1\rangle=\langle x,y_2\rangle ならば、x=y1−y2x=y_1-y_2 とおくと ∥y1−y2∥2=0\|y_1-y_2\|^2=0 となり y1=y2y_1=y_2 を得る。ノルムの等式については、コーシー・シュワルツより ∣φ(x)∣=∣⟨x,y⟩∣≤∥y∥∥x∥|\varphi(x)|=|\langle x,y\rangle|\le\|y\|\|x\| なので ∥φ∥≤∥y∥\|\varphi\|\le\|y\|、また x=yx=y を代入すると φ(y)=∥y∥2\varphi(y)=\|y\|^2 となるので ∥φ∥≥∣φ(y)∣/∥y∥=∥y∥\|\varphi\|\ge|\varphi(y)|/\|y\|=\|y\|。両者を合わせて ∥φ∥=∥y∥\|\varphi\|=\|y\| を得る。

XX を実ノルム線形空間、YY を XX の線形部分空間とし、φ\varphi を YY 上の有界線形汎関数で、すべての y∈Yy\in Y に対して ∣φ(y)∣≤M∥y∥|\varphi(y)|\le M\|y\| を満たすとする。このとき、XX 全体上の有界線形汎関数 Φ\Phi であって、すべての y∈Yy\in Y に対し Φ(y)=φ(y)\Phi(y)=\varphi(y) となり、かつすべての x∈Xx\in X に対して ∣Φ(x)∣≤M∥x∥|\Phi(x)|\le M\|x\| を満たすものが存在する。

なぜ正しいのか?

これは、小さな部分空間上でのみ定義された線形汎関数――例えば「信号のいくつかのサンプル点での値」しか分からない場合――が、その上界を大きくすることなく常に空間全体へ拡張できることを保証する。部分空間だけで作業せざるを得ない状況に追い込まれることは決してない。

証明

まず1次元だけ拡張する。x0∉Yx_0\notin Y を選び Y1=Y⊕Rx0Y_1=Y\oplus\mathbb{R}x_0 とおく。すべての y∈Y,t∈Ry\in Y,t\in\mathbb{R} に対して ∣φ(y)+tc∣≤M∥y+tx0∥|\varphi(y)+tc|\le M\|y+tx_0\| となるように値 c=Φ(x0)c=\Phi(x_0) を選ばねばならない。t≠0t\ne0 で割り y/t→yy/t\to y と置き換えると、これはすべての y∈Yy\in Y に対して φ(y)−M∥y−x0∥≤c≤M∥y+x0∥−φ(y)\varphi(y)-M\|y-x_0\|\le c\le M\|y+x_0\|-\varphi(y) を満たす cc が必要であることに帰着する。φ(y1)−φ(y2)=φ(y1−y2)≤M∥y1−y2∥≤M∥y1+x0∥+M∥y2−x0∥\varphi(y_1)-\varphi(y_2)=\varphi(y_1-y_2)\le M\|y_1-y_2\|\le M\|y_1+x_0\|+M\|y_2-x_0\| を用いると、y1y_1 に関する左辺の上限が y2y_2 に関する右辺の下限を決して超えないことが確認でき、したがってその区間内に有効な cc が存在する。これにより Y1Y_1 上に同じ上界 MM を持つ Φ\Phi が定義される。

次に、ツォルンの補題を用いて XX 全体へ拡張する。Y⊆Z⊆XY\subseteq Z\subseteq X を満たす部分空間 ZZ と、φ\varphi を上界 MM で ZZ へ拡張する Ψ\Psi の組 (Z,Ψ)(Z,\Psi) 全体からなる集合を考え、(Z1,Ψ1)≤(Z2,Ψ2)(Z_1,\Psi_1)\le(Z_2,\Psi_2) を Z1⊆Z2Z_1\subseteq Z_2 かつ Ψ2∣Z1=Ψ1\Psi_2|_{Z_1}=\Psi_1 で定める半順序とする。任意の鎖は上界を持つ(部分空間の和集合と、それぞれの定義域上で一致する汎関数を取ればよい)ので、ツォルンの補題により極大元 (Z∗,Φ)(Z^*,\Phi) が得られる。

最後に、もし Z∗≠XZ^*\ne X ならば、上記の1次元拡張のステップを Z∗Z^* と任意の x0∈X∖Z∗x_0\in X\setminus Z^* に適用すると、真に大きい許容な組が得られ、(Z∗,Φ)(Z^*,\Phi) の極大性に矛盾する。ゆえに Z∗=XZ^*=X であり、Φ\Phi は求める、上界を保った XX 全体への拡張である。

大学実世界での応用と具体例

関数解析学は、フーリエ解析と信号処理(信号は L2[0,2π]L^2[0,2\pi] や L2[0,1]L^2[0,1] に属する)、量子力学(状態はヒルベルト空間 HH に属する)、そして最小二乗回帰からティホノフ正則化逆問題まで、部分空間内の最近点を求める問題に帰着する統計学・工学・機械学習の問題にとって、数学的な背骨である。

例: 信号処理:sin⁡(nt)\sin(nt) は n→∞n\to\infty で落ち着くか

f∈L2[0,2π]f\in L^2[0,2\pi] を固定する。n→∞n\to\infty のとき ∫02πf(t)sin⁡(nt) dt→0\int_0^{2\pi} f(t)\sin(nt)\,dt\to 0(すなわち弱い意味で sin⁡(nt)⇀0\sin(nt)\rightharpoonup 0)であることを示せ。一方でノルム ∥sin⁡(nt)∥2=π\|\sin(nt)\|_2=\sqrt{\pi} は一定のままであり、sin⁡(nt)\sin(nt) 自体は強い(ノルム)意味では決して落ち着かない。

解答

L2[0,2π]L^2[0,2\pi] における正規直交系 en(t)=sin⁡(nt)/πe_n(t)=\sin(nt)/\sqrt\pi を考える(直交性は n≠mn\ne m のとき ∫02πsin⁡(nt)sin⁡(mt) dt=0\int_0^{2\pi}\sin(nt)\sin(mt)\,dt=0、および ∫02πsin⁡2(nt) dt=π\int_0^{2\pi}\sin^2(nt)\,dt=\pi から従う)。

ベッセルの不等式 ∑n=1∞∣⟨f,en⟩∣2≤∥f∥2\sum_{n=1}^{\infty}|\langle f,e_n\rangle|^2\le\|f\|^2 により、∥f∥2<∞\|f\|^2<\infty であるから、この正規直交系に関する ff のフーリエ係数の二乗の級数は収束する。収束級数の項はゼロに近づくので、∣⟨f,en⟩∣2→0|\langle f,e_n\rangle|^2\to0、すなわち ⟨f,en⟩→0\langle f,e_n\rangle\to0 である。

⟨f,en⟩=1π∫02πf(t)sin⁡(nt) dt\langle f,e_n\rangle=\frac{1}{\sqrt\pi}\int_0^{2\pi}f(t)\sin(nt)\,dt であるから、これはまさに ∫02πf(t)sin⁡(nt) dt→0\int_0^{2\pi} f(t)\sin(nt)\,dt\to 0 であり――これは姿を変えたリーマン・ルベーグの補題であり、まさに sin⁡(nt)⇀0\sin(nt)\rightharpoonup 0 という主張である。

一方、直接計算により、すべての nn について ∥sin⁡(nt)∥22=∫02πsin⁡2(nt) dt=π\|\sin(nt)\|_2^2=\int_0^{2\pi}\sin^2(nt)\,dt=\pi となるので、すべての nn に対して ∥sin⁡(nt)∥2=π\|\sin(nt)\|_2=\sqrt{\pi} である――ノルムは決して縮まない。したがって sin⁡(nt)\sin(nt) は任意の固定された ff に対してテストすると 00 に収束する(弱収束)が、ノルムでは決して 00 に収束しない(強収束はしない)。振動はますます速くなり、固定されたどのプローブに対しても「平均化されて消える」が、信号自体はエネルギーを失わない。

例: 統計学と工学:直交射影としての最小二乗回帰

データ行列 AA(列=説明変数)と観測値 bb が与えられたとき、最小二乗フィッティングは xx について ∥Ax−b∥2\|Ax-b\|^2 を最小化する。上のリース/直交性の議論の有限次元版(H=RnH=\mathbb{R}^n とドット積)であるヒルベルト空間の射影の考え方を用いて、最小化子 x^\hat x が満たすべき正規方程式 ATAx^=ATbA^{\mathsf T}A\hat x=A^{\mathsf T}b を導け。

解答

達成可能な出力の集合 {Ax:x∈Rn}\{Ax:x\in\mathbb{R}^n\} は部分空間 ran(A)⊆Rm\mathrm{ran}(A)\subseteq\mathbb{R}^m である(有限次元であり、自動的に完備、したがってヒルベルト空間 Rm\mathbb{R}^m の閉部分空間である)。∥Ax−b∥2\|Ax-b\|^2 の最小化は、まさに ran(A)\mathrm{ran}(A) の中で bb に最も近い点を求める問題である。

ヒルベルト空間の射影定理(上でリースの表現定理を証明するのに用いたのと同じ直交分解の考え方)により、閉部分空間の中で bb に最も近い点 Ax^A\hat x は、剰余 b−Ax^b-A\hat x が部分空間全体と直交することによって特徴づけられる。すなわち ⟨b−Ax^, Av⟩=0  ∀v\langle b-A\hat x,\,Av\rangle=0\ \ \forall v である。

vv が標準基底ベクトルを動くとき Av=A(v1,…,vn)Av=A(v_1,\dots,v_n) が AA の各列を動くことに注目すると、条件 ⟨b−Ax^, Av⟩=0  ∀v\langle b-A\hat x,\,Av\rangle=0\ \ \forall v を AA の各列 aja_j に適用すると、すべての jj について ⟨b−Ax^,aj⟩=0\langle b-A\hat x,a_j\rangle=0 が成り立ち、これを一つの行列方程式にまとめるとまさに AT(b−Ax^)=0A^{\mathsf T}(b-A\hat x)=0 となる。

展開すると ATb−ATAx^=0A^{\mathsf T}b-A^{\mathsf T}A\hat x=0、すなわち正規方程式 ATAx^=ATbA^{\mathsf T}A\hat x=A^{\mathsf T}b が得られる。つまり「最良近似の剰余は近似部分空間と直交する」という抽象的なヒルベルト空間の事実は、姿を変えて、回帰直線や金融のファクターモデルを当てはめるために日々使われている線形代数の公式そのものなのである。

研究研究の最前線:無限次元空間の幾何学

次のバナッハ空間のうち、ヒルベルト空間ではないもの(そのノルムが内積に由来しないもの)はどれか。

ヒルベルト空間において、∥x∥=3\|x\|=3 かつ ∥y∥=4\|y\|=4 のとき、∥x+y∥2+∥x−y∥2\|x+y\|^2+\|x-y\|^2 はいくらか。

リースの表現定理は、ヒルベルト空間 HH 上の有界線形汎関数 φ\varphi について何を保証するか。

sin⁡(nt)\sin(nt) の例で、信号 sin⁡(nt)\sin(nt) は決してエネルギーを失わないにもかかわらず、なぜ n→∞n\to\infty のとき任意の固定されたプローブ ff に対して「平均化されてゼロになる」のか。

参考文献

  1. Walter Rudin (1991). Functional Analysis
  2. John B. Conway (2007). A Course in Functional Analysis
  3. Assaf Naor (2012). An introduction to the Ribe program · arXiv:1205.5993