MathLabs

応用数学と計算数学

最適輸送

ある質量分布を別の分布へと最小コストで変形する方法を求める理論——砂山の移動から、画像・確率分布・細胞集団の比較まで。

直観山盛りの砂を最小コストで穴に移す

ある形をした大きな砂山と、まったく同じ総体積だが別の形をした地面の穴を想像してほしい。砂の一粒を距離 dd だけ動かすのに dd 単位の労力がかかるとして(遠くまで運ぶ粒ほど費用がかさむ)、すべての砂粒を最小の総労力で穴の中へ移したい。これが最適輸送問題である:総質量が等しい出発分布と目標分布が与えられたとき、一方を他方へ並べ替える最も安い方法を求める問題だ。

砂についての純粋に物理的なパズルのように聞こえるが、「あるモノの分布を最小コストで別の分布に合わせる」という同じ問いは、2つの確率分布、2枚の画像、2つの経済的需給プロファイル、あるいは2つの形状を比較するときには必ず現れる。最適輸送は、2つの分布がどれほど異なるかを正確に測り、一方を他方へどう変形すればよいかを正確に教えてくれる。

例: 最小の例:2つの砂山と2つの穴

位置 x=0x=0 に砂1単位、x=10x=10 にもう1単位の砂があり、y=1y=1 と y=9y=9 に単位サイズの穴が2つあるとする。砂1単位を距離 dd だけ動かすのに dd の費用がかかる。山を穴に対応づける方法は2通りしかない:0→10\to1 と 10→910\to9 で送るか、0→90\to9 と 10→110\to1 で送るかだ。どちらの対応づけが安く、最小の総コストはいくらか。

解答

直接(交差しない)対応づけの費用は ∣0−1∣+∣10−9∣=1+1=2|0-1|+|10-9|=1+1=2。交差する対応づけの費用は ∣0−9∣+∣10−1∣=9+9=18|0-9|+|10-1|=9+9=18。したがって最も安いのは、経路が交差しないように各砂山を近い方の穴へ送ることで、最小の総コストは 22 となる。これは後で使う一般的な事実の萌芽である:実数直線上のコスト ∣x−y∣|x-y| に対して、最適な輸送計画は常に順序を保つ——2単位の質量が交差する経路をたどることは決してない。

定義域上に描かれた釣鐘型の標準正規密度曲線と、影付きの臨界領域。ここでは最適輸送問題における出発分布または目標分布になり得る滑らかな確率密度の一例として用いているだけである。
この釣鐘型の標準正規分布 N(0,1)\mathcal N(0,1) の曲線は「典型的な滑らかな密度」の一例を示すためだけのものであり、それ自体が輸送計画を表すわけではない。これを最適輸送問題における出発密度あるいは目標密度のどちらかだと想像してほしい:以下の理論は、このような曲線を別の目標密度へと最小コストで変形する方法を見つける。

大学モンジュの写像とカントロビッチの緩和

1781年、フランスの数学者であり軍事技師でもあったガスパール・モンジュは、この問題を正確に定式化した:空間 XX 上の出発測度 μ\mu と空間 YY 上の目標測度 ν\nu(総質量は等しい)、および xx から yy へ質量1単位を動かす価格を与える費用関数 c(x,y)c(x,y) が与えられたとき、**μ\mu を ν\nu へ押し出す**写像 T:X→YT:X\to Y ——記号では T#μ=νT_{\#}\mu=\nu、すなわちすべての可測集合 AA に対して T#μ(A)=μ(T−1(A))T_{\#}\mu(A) = \mu(T^{-1}(A)) であることを意味する——を、総輸送コストを最小化するように求めよ:

inf⁡T: T#μ=ν∫Xc(x,T(x)) dμ(x)\inf_{T:\ T_{\#}\mu = \nu} \int_X c(x, T(x))\, d\mu(x)

モンジュの元の定式化にはまったく解が存在しないことがしばしばある。最も極端な例:μ=δ0\mu=\delta_0 を原点にある単一の点質量とし、ν=12δ−1+12δ1\nu=\frac12\delta_{-1}+\frac12\delta_{1} をその質量を2点に分けたものとする。どんな写像 TT も 00 をただ1つの点 T(0)T(0) へ送らねばならないので、T#μT_{\#}\mu もまた点質量となる——TT をどう選んでも決して ν\nu に等しくなり得ない。明らかに質量を動かす自然な方法(半分を左へ、半分を右へ分ける)が存在するにもかかわらず、モンジュの問題はここで実行不可能となる。決定論的な写像は質量を分割できないのである。

定義: 輸送計画とカップリング

μ∈P(X)\mu\in\mathcal P(X) と ν∈P(Y)\nu\in\mathcal P(Y) が与えられたとき、輸送計画(またはカップリング)とは、X×YX\times Y 上の確率測度 γ\gamma であって、その2つの周辺分布が μ\mu と ν\nu を復元するもの:Π(μ,ν)={γ∈P(X×Y):(πX)#γ=μ, (πY)#γ=ν}.\Pi(\mu,\nu) = \{\gamma \in \mathcal{P}(X\times Y) : (\pi_X)_{\#}\gamma = \mu,\ (\pi_Y)_{\#}\gamma = \nu\}. γ\gamma を「xx の近くから yy の近くへどれだけの質量が移動するか」と解釈できる:決定論的写像 TT は特別なカップリング γ=(id,T)#μ\gamma=(\mathrm{id},T)_{\#}\mu に対応するが、一般の γ\gamma は1点の質量を同時に複数の行き先へ送ることも許される。独立な直積 μ⊗ν\mu\otimes\nu は常に Π(μ,ν)\Pi(\mu,\nu) に属するので——モンジュ写像の集合とは異なり——この集合は決して空にならない。

inf⁡γ∈Π(μ,ν)∫X×Yc(x,y) dγ(x,y)\inf_{\gamma \in \Pi(\mu,\nu)} \int_{X \times Y} c(x,y)\, d\gamma(x,y)

XX 上の確率測度 μ\mu、YY(ともにポーランド空間)上の確率測度 ν\nu、および連続で下に有界な費用 cc に対して、カントロビッチ問題は、各点で φ(x)+ψ(y)≤c(x,y)\varphi(x) + \psi(y) \le c(x,y) を満たすカントロビッチ・ポテンシャルの組 φ:X→R\varphi:X\to\mathbb R、ψ:Y→R\psi:Y\to\mathbb R にわたる双対最大化問題に等しい:min⁡γ∈Π(μ,ν)∫X×Yc dγ  =  sup⁡φ(x)+ψ(y)≤c(x,y)(∫Xφ dμ+∫Yψ dν),\min_{\gamma\in\Pi(\mu,\nu)}\int_{X\times Y} c\,d\gamma \;=\; \sup_{\varphi(x)+\psi(y)\le c(x,y)}\left(\int_X\varphi\,d\mu+\int_Y\psi\,d\nu\right), 最小値と上限はともに達成される。

なぜ正しいのか?

φ(x)\varphi(x) を xx で質量を引き取る際に課される価格、ψ(y)\psi(y) を yy で引き渡す際に支払われる価格とみなし、独立した運送業者たちによる分散市場を考えてみよう。どの業者も直接輸送のルートを出し抜いて利益を得ることはできない:φ(x)\varphi(x) で買い ψ(y)\psi(y) で売る取引は、実際に質量を運んで c(x,y)c(x,y) を支払うことに決して勝てない——これがまさに制約 φ(x)+ψ(y)≤c(x,y)\varphi(x)+\psi(y)\le c(x,y) である。市場が最適に清算されるとき、等式 φ(x)+ψ(y)=c(x,y)\varphi(x)+\psi(y)=c(x,y) は最適な計画が実際に使う経路上でちょうど成り立つ。

証明

有限離散測度 μ=∑ipiδxi\mu=\sum_i p_i\delta_{x_i}、ν=∑jqjδyj\nu=\sum_j q_j\delta_{y_j} に対して、カントロビッチ問題はまさに有限線形計画 min⁡∑i,jcijγij\min \sum_{i,j} c_{ij}\gamma_{ij}(制約 γij≥0\gamma_{ij}\ge0、∑jγij=pi\sum_j\gamma_{ij}=p_i、∑iγij=qj\sum_i\gamma_{ij}=q_j)である。その線形計画双対は、すべての i,ji,j について φi+ψj≤cij\varphi_i+\psi_j\le c_{ij} を満たす下で max⁡∑ipiφi+∑jqjψj\max \sum_i p_i\varphi_i+\sum_j q_j\psi_j を求める問題に正確に一致する——原問題の各周辺制約につき1つの双対変数が対応する。原問題は実行可能であり(直積カップリング piqjp_iq_j が常に条件を満たす)、00 で下に有界であり、実行可能多面体 {γij≥0}∩Π(μ,ν)\{\gamma_{ij}\ge0\}\cap\Pi(\mu,\nu) はコンパクトであるから、線形計画の強双対性により2つの最適値は等しく、両方とも達成される。これにより離散の場合に定理が厳密に証明される。ポーランド空間上の一般的な主張は、同じ主・双対の枠組みを Cb(X×Y)C_b(X\times Y) 上の凸汎関数に対するフェンシェル・ロックアフェラー双対として適用することで従う(カントロビッチ、1942年;完全な議論は Villani 2009, 定理5.10 を参照)。

上記の有限測度に対する証明は、線形計画双対性の直接的な応用である——これはまさに凸最適化における主・双対の枠組みそのものだ:輸送計画 γ\gamma が主変数であり、ポテンシャル φ,ψ\varphi,\psi は周辺制約に付随する双対(ラグランジュ)変数であり、Π(μ,ν)\Pi(\mu,\nu) がコンパックかつ凸であるため強双対性が成り立つ。これは最適輸送から隣接分野への2つの真の架け橋のうち最初のものである:測度論が言語(測度としての μ,ν,γ\mu,\nu,\gamma、押し出し、周辺分布)を提供し、凸双対性が証明の技法を提供する。

発展ブレニエの定理とワッサースタイン空間の幾何

μ,ν\mu,\nu を Rn\mathbb R^n 上の確率測度で二次モーメントが有限であるとし、μ\mu がルベーグ測度に関して絶対連続であるとする。二次コスト c(x,y)=∣x−y∣2c(x,y) = |x-y|^2 に対して、加法定数を除いて一意な凸関数 φ:Rn→R\varphi:\mathbb R^n\to\mathbb R が存在し、T=∇φT = \nabla \varphi は μ\mu-ほとんど至るところで well-defined であり、T#μ=νT_{\#}\mu=\nu を満たし、カントロビッチ問題とモンジュの元の問題の両方の(本質的に)唯一の最小化元である。

なぜ正しいのか?

∣x−y∣2|x-y|^2 のような狭義凸のコストに対する任意の最適計画は、**cc-巡回単調**な集合の上に支えられている:有限個の対の組み替えでは総コストを下げられない。二次コストの場合、対の集合 (xi,yi)(x_i,y_i) の巡回単調性は、ある凸関数 φ\varphi が各 ii について xix_i における劣微分に yiy_i を含むという条件とまさに一致することが分かる——これは巡回単調な集合を凸関数の劣微分として特徴づけるロックアフェラーの定理である。μ\mu が絶対連続であるため、凸関数は μ\mu-ほとんど至るところで微分可能であり(アレクサンドロフの定理)、集合値の劣微分は真の勾配写像 T=∇φT=\nabla\varphi となる。

証明

(概略、Brenier 1991 に従う。)ステップ1:c=∣x−y∣2c=|x-y|^2 に対するカントロビッチ双対性により、最適ポテンシャルを φ(x)=12∣x∣2−φ~(x)\varphi(x)=\tfrac12|x|^2-\tilde\varphi(x) を通じて書き直すと φ\varphi は凸となり、そのルジャンドル変換 φ∗(y)=sup⁡x(x⋅y−φ(x))\varphi^*(y)=\sup_x(x\cdot y-\varphi(x)) が第二のポテンシャルの役割を果たす;双対制約は最適な γ\gamma の台の上でちょうど y∈∂φ(x)y\in\partial\varphi(x) となる。ステップ2:ロックアフェラーの定理は、Rn×Rn\mathbb R^n\times\mathbb R^n の任意の巡回単調な部分集合が、ある凸で下半連続な φ\varphi の ∂φ\partial\varphi のグラフに含まれることを述べる;最適計画の台が巡回単調であるのは、γ\gamma が ∫∣x−y∣2 dγ\int|x-y|^2\,d\gamma を最小化するため、台の上の有限個の対の間でどのように組み替えても ∑i∣xi−yi∣2\sum_i|x_i-y_i|^2 を厳密に減らせないからである。ステップ3:μ≪\mu\ll ルベーグ測度であるため、アレクサンドロフの定理により φ\varphi は μ\mu-ほとんど至るところで微分可能であり、したがって γ\gamma はグラフ {(x,∇φ(x))}\{(x,\nabla\varphi(x))\} 上に集中する、すなわち γ=(id,∇φ)#μ\gamma=(\mathrm{id},\nabla\varphi)_{\#}\mu となる。これにより決定論的な最適写像 T=∇φT=\nabla\varphi が得られ、それはモンジュの問題も解くことになり、コストの狭義凸性により他のどんな最適写像も μ\mu-ほとんど至るところでこれと一致しなければならない。

コストを ∣x−y∣2|x-y|^2 に固定すると、最小輸送コスト自体が確率測度どうしの真の距離——2次ワッサースタイン距離 W2W_2——となる。有限な二次モーメントを持つ確率測度からなる空間 P2(Rn)\mathcal P_2(\mathbb R^n) に W2W_2 を備えると、それは驚くほど真の無限次元リーマン多様体のようにふるまう:フェリックス・オットーによるヒューリスティック——現在ではオットー計算と呼ばれる——は、μ\mu における接ベクトルを、連続の方程式 ∂tμ+∇ ⁣⋅(μv)=0\partial_t\mu+\nabla\!\cdot(\mu v)=0 を満たす速度場 vv として扱い、リーマン計量を ⟨v,w⟩μ=∫v⋅w dμ\langle v,w\rangle_\mu=\int v\cdot w\,d\mu とする。この形式的リーマン構造における測地線は、まさに上のブレニエ写像 T=∇φT=\nabla\varphi から構成される一定速度の経路 μt=((1−t) id+t T)#μ\mu_t=((1-t)\,\mathrm{id}+t\,T)_{\#}\mu である。測度の空間上のこの形式的リーマン構造こそが、最適輸送から今度はリーマン幾何学へと通じる、2つ目の真の架け橋である。

W2(μ,ν)2=min⁡γ∈Π(μ,ν)∫∣x−y∣2 dγ(x,y)W_2(\mu,\nu)^2 = \min_{\gamma \in \Pi(\mu,\nu)} \int |x-y|^2\, d\gamma(x,y)

例: 中心化された2つのガウス分布間の明示的な最適輸送

μ=N(0,1)\mu=\mathcal N(0,1)、ν=N(0,2.25)\nu=\mathcal N(0,2.25) を、標準偏差がそれぞれ σ1=1\sigma_1=1、σ2=1.5\sigma_2=1.5 の中心化された1次元ガウス分布とする。ブレニエの定理を用いて、二次コストのもとで μ\mu を ν\nu へ押し出す最適輸送写像 TT を書き下し、W2(μ,ν)W_2(\mu,\nu) を計算せよ。

解答

両測度とも中心化されているので、一般的な1次元ガウス最適輸送写像 T(x)=m2+σ2σ1(x−m1)T(x) = m_2 + \frac{\sigma_2}{\sigma_1}(x - m_1) は純粋なスカラー拡大 T(x)=σ2σ1x=1.5xT(x)=\frac{\sigma_2}{\sigma_1}x=1.5x に帰着する。これは確かに凸な二次関数 φ(x)=0.75x2\varphi(x)=0.75x^2 の勾配であり、φ′(x)=1.5x=T(x)\varphi'(x)=1.5x=T(x) となるため、ブレニエの定理と一致する。TT が μ\mu を ν\nu へ押し出すことは直接確認できる:X∼N(0,1)X\sim\mathcal N(0,1) ならば 1.5X∼N(0,1.52)=N(0,2.25)=ν1.5X\sim\mathcal N(0,1.5^2)=\mathcal N(0,2.25)=\nu である。輸送コストは ∫(T(x)−x)2 dμ(x)=∫(0.5x)2 dμ(x)=0.25⋅Var(X)=0.25\int(T(x)-x)^2\,d\mu(x)=\int(0.5x)^2\,d\mu(x)=0.25\cdot\mathrm{Var}(X)=0.25 であるから、W2(μ,ν)=0.25=0.5=σ2−σ1W_2(\mu,\nu)=\sqrt{0.25}=0.5=\sigma_2-\sigma_1 となり、平均が等しい場合の一般的なガウス公式と一致する。

平面がx軸とy軸の両方向に沿って1.5倍均一に引き伸ばされる様子を示すインタラクティブな2次元線形変換グリッド(対角成分が1.5, 0, 0, 1.5の行列)。単位円は半径1.5のより大きな円に、正方形グリッドは均一に拡大された正方形グリッドに写される。
このウィジェットは本来、一般的な2次元線形写像 (x,y)↦(ax+by,cx+dy)(x,y)\mapsto(ax+by,cx+dy) を描くものである。ここでは純粋に対角かつ等倍のケース a=d=1.5a=d=1.5、b=c=0b=c=0 に設定されており、これは上の解答例における明示的な1次元ブレニエ写像 T(x)=1.5xT(x)=1.5x に対する視覚的な類比(両軸に同じスカラー係数を適用したもの)として使われている:ブレニエの定理により、中心化されたガウス分布 N(0,1)\mathcal N(0,1) をより広い中心化ガウス分布 N(0,2.25)\mathcal N(0,2.25) へ移すことは、二次コストのもとで純粋なスカラー拡大 T(x)=1.5xT(x)=1.5x——凸関数 φ(x)=0.75x2\varphi(x)=0.75x^2 の勾配——によって達成される。a≠da\ne d や b,c≠0b,c\ne0 に設定してみると、等方的ガウス分布間のもはや妥当でない輸送写像を見ることができる。

研究変位凸性、曲率、そして大規模輸送

ワッサースタイン空間 (P2(Rn),W2)(\mathcal P_2(\mathbb R^n),W_2) における測地線 μt\mu_t は変位補間と呼ばれる;測度上の汎関数 FF(μ=ρ dx\mu=\rho\,dx に対するエントロピー ∫ρlog⁡ρ\int\rho\log\rho など)は、そのようなあらゆる測地線に沿って t↦F(μt)t\mapsto F(\mu_t) が凸であるとき変位凸であるという。2006年から2009年ごろ、ジョン・ロットとセドリック・ヴィラーニ、および独立にカール゠テオドール・シュトゥルムは、W2W_2-測地線に沿ったエントロピーの変位凸性を用いて、なめらかな多様体構造を必要としない完全に一般的な距離測度空間に対する、リッチ曲率の合成的(曲率-次元)下界——CD(K,N)\mathrm{CD}(K,N) 条件——を定義した。注目すべきことに、これらの曲率-次元下界はグロモフ・ハウスドルフ極限のもとで安定であり、幾何学者たちはリーマン多様体の極限として生じる「曲がった」空間や、そもそも滑らかであったことのない空間(グラフ、フラクタル、特異空間)を理解できるようになった。

まったく異なる、きわめて現代的な応用として:2017年、マーティン・アルジョフスキー、スミス・チンタラ、レオン・ボトゥーはワッサースタインGANを提案し、古典的な敵対的生成ネットワークの学習に使われていたイェンセン・シャノン距離を、実データ分布と生成データ分布の間のワッサースタイン1距離(カントロビッチ・ルービンシュタインの双対形式)に置き換えた。W1W_1 は、飽和してしまうイェンセン・シャノン距離とは異なり、2つの分布の台が交わらない場合でも良好にふるまい有用な勾配を与えるため、WGANの学習は著しく安定し、モード崩壊がはるかに起こりにくくなり、この手法は現代の生成モデリングの標準的な構成要素であり続けている。

モンジュの元の最適輸送の定式化がときに全く解を持たない一方で、カントロビッチの緩和が(穏やかな条件のもとで)常に最小化元を持つのはなぜか。

ブレニエの定理によれば、二次コスト c(x,y)=∣x−y∣2c(x,y)=|x-y|^2 と Rn\mathbb R^n 上の絶対連続な出発測度 μ\mu に対して、最適輸送写像 TT は(ほとんど至るところで)どのような形をとるか。

カントロビッチ双対定理において、双対問題の2つのカントロビッチ・ポテンシャル φ\varphi と ψ\psi を結びつける制約はどれか。

クトゥリの2013年エントロピー正則化(シンクホーン・アルゴリズムにつながった)は、なぜ機械学習における計算最適輸送を一変させたのか。

参考文献

  1. Cédric Villani (2009). Optimal Transport: Old and New
  2. Marco Cuturi (2013). Sinkhorn Distances: Lightspeed Computation of Optimal Transport · arXiv:1306.0895
  3. Yann Brenier (1991). Polar Factorization and Monotone Rearrangement of Vector-Valued Functions · DOI:10.1002/cpa.3160440402
  4. John Lott, Cédric Villani (2009). Ricci Curvature for Metric-Measure Spaces via Optimal Transport