MathLabs

应用与计算数学

最优传输

寻找将一种质量分布重塑为另一种分布的最低成本方式——从搬运沙堆到比较图像、概率分布与细胞群体。

直观以最小代价将一堆沙子搬入一个坑

设想一堆某种形状的沙子,以及地面上一个总体积完全相同但形状不同的坑。你想把每一粒沙子都搬进坑里,且总花费尽量小,其中把一粒沙搬动距离 dd 需要花费 dd 单位的功——搬得越远花费越大。这正是最优传输问题:给定总质量相同的一个源分布和一个目标分布,求把前者重新排布成后者的最便宜方式。

这听起来像一道纯粹关于沙子的物理趣题,但同样的问题——以最小代价把一种物质的分布匹配到另一种分布——只要比较两个概率分布、两幅图像、两条经济供需曲线,或两个形状,就会出现。最优传输精确度量两个分布究竟有多不同,并给出把一个变形为另一个的确切方法。

例题: 一个最简例子:两堆沙子,两个坑

设在位置 x=0x=0 处有一单位沙子,x=10x=10 处有另一单位沙子,又有两个单位大小的坑分别在 y=1y=1 和 y=9y=9。把一单位沙子搬动距离 dd 需花费 dd。将沙堆匹配到坑只有两种方式:送 0→10\to1 与 10→910\to9,或送 0→90\to9 与 10→110\to1。哪种匹配更便宜?最小总花费是多少?

解答

直接(不交叉)匹配花费 ∣0−1∣+∣10−9∣=1+1=2|0-1|+|10-9|=1+1=2。交叉匹配花费 ∣0−9∣+∣10−1∣=9+9=18|0-9|+|10-1|=9+9=18。因此最便宜的选择是让每堆沙子送到较近的坑且路径不交叉,最小总花费为 22。这已经蕴含了后面要用到的一个一般事实:对于实数轴上的代价 ∣x−y∣|x-y|,最优传输方案总是保序的——它绝不会让两单位质量沿着相互交叉的路径运送。

在其定义域上绘制的钟形标准正态密度曲线,带有一个阴影临界区域;此处仅用作最优传输问题中可作为源分布或目标分布的光滑概率密度示例。
这条钟形的标准正态曲线 N(0,1)\mathcal N(0,1) 仅用作"典型光滑密度"的示例——它本身并不是一个传输方案。可以把它想象成最优传输问题中的源密度或目标密度:下文的理论会找出把这样一条曲线重塑为另一个目标密度的最便宜方式。

大学蒙日的映射与坎托罗维奇的松弛

1781年,法国数学家兼军事工程师加斯帕尔·蒙日精确提出了这一问题:给定空间 XX 上的源测度 μ\mu 与空间 YY 上、总质量相同的目标测度 ν\nu,以及给出把一单位质量从 xx 移到 yy 的价格的代价函数 c(x,y)c(x,y),求一个把 μ\mu 前推为 ν\nu 的映射 T:X→YT:X\to Y——记作 T#μ=νT_{\#}\mu=\nu,即对每个可测集合 AA 都有 T#μ(A)=μ(T−1(A))T_{\#}\mu(A) = \mu(T^{-1}(A))——使总运输代价最小:

inf⁡T: T#μ=ν∫Xc(x,T(x)) dμ(x)\inf_{T:\ T_{\#}\mu = \nu} \int_X c(x, T(x))\, d\mu(x)

蒙日最初的表述往往根本无解。最鲜明的例子:设 μ=δ0\mu=\delta_0 是原点处的单一点质量,ν=12δ−1+12δ1\nu=\frac12\delta_{-1}+\frac12\delta_{1} 把质量分到两个点上。任何映射 TT 都必须把 00 送到单一一点 T(0)T(0),因此 T#μT_{\#}\mu 仍是点质量——无论怎样选取 TT,它都不可能等于 ν\nu。尽管显然存在一种合理的搬运方式(一半向左、一半向右),蒙日问题在此仍不可行:确定性映射根本无法把质量拆分。

定义: 传输方案与耦合

给定 μ∈P(X)\mu\in\mathcal P(X) 与 ν∈P(Y)\nu\in\mathcal P(Y),一个传输方案(或耦合)是 X×YX\times Y 上的概率测度 γ\gamma,其两个边缘分布恢复出 μ\mu 与 ν\nu:Π(μ,ν)={γ∈P(X×Y):(πX)#γ=μ, (πY)#γ=ν}.\Pi(\mu,\nu) = \{\gamma \in \mathcal{P}(X\times Y) : (\pi_X)_{\#}\gamma = \mu,\ (\pi_Y)_{\#}\gamma = \nu\}. 可以把 γ\gamma 理解为"有多少质量从 xx 附近移动到 yy 附近":确定性映射 TT 对应于特殊耦合 γ=(id,T)#μ\gamma=(\mathrm{id},T)_{\#}\mu,但一般的 γ\gamma 也允许把单一一点的质量同时送到多个目的地。独立乘积 μ⊗ν\mu\otimes\nu 总是属于 Π(μ,ν)\Pi(\mu,\nu),因此——与蒙日映射构成的集合不同——这个集合永不为空。

inf⁡γ∈Π(μ,ν)∫X×Yc(x,y) dγ(x,y)\inf_{\gamma \in \Pi(\mu,\nu)} \int_{X \times Y} c(x,y)\, d\gamma(x,y)

对于 XX 上的概率测度 μ\mu、YY(均为波兰空间)上的概率测度 ν\nu 以及连续且下有界的代价函数 cc,坎托罗维奇问题等于在满足逐点条件 φ(x)+ψ(y)≤c(x,y)\varphi(x) + \psi(y) \le c(x,y) 的坎托罗维奇势对 φ:X→R\varphi:X\to\mathbb R、ψ:Y→R\psi:Y\to\mathbb R 上取对偶极大化:min⁡γ∈Π(μ,ν)∫X×Yc dγ  =  sup⁡φ(x)+ψ(y)≤c(x,y)(∫Xφ dμ+∫Yψ dν),\min_{\gamma\in\Pi(\mu,\nu)}\int_{X\times Y} c\,d\gamma \;=\; \sup_{\varphi(x)+\psi(y)\le c(x,y)}\left(\int_X\varphi\,d\mu+\int_Y\psi\,d\nu\right), 且极小值与上确界均可达到。

为什么成立?

可以把 φ(x)\varphi(x) 想象成在 xx 处取货所收取的价格,ψ(y)\psi(y) 想象成在 yy 处送货所支付的价格,处于一个由独立承运商组成的去中心化市场中。任何承运商都无法通过绕开直接路线来获利:以价格 φ(x)\varphi(x) 买入、以价格 ψ(y)\psi(y) 卖出,永远不可能比真正运送该质量并支付 c(x,y)c(x,y) 更划算——这恰好就是约束 φ(x)+ψ(y)≤c(x,y)\varphi(x)+\psi(y)\le c(x,y)。在一个最优出清的市场中,等式 φ(x)+ψ(y)=c(x,y)\varphi(x)+\psi(y)=c(x,y) 恰好沿着最优方案实际使用的路径成立。

证明

对于有限离散测度 μ=∑ipiδxi\mu=\sum_i p_i\delta_{x_i}、ν=∑jqjδyj\nu=\sum_j q_j\delta_{y_j},坎托罗维奇问题正是有限线性规划 min⁡∑i,jcijγij\min \sum_{i,j} c_{ij}\gamma_{ij},约束为 γij≥0\gamma_{ij}\ge0、∑jγij=pi\sum_j\gamma_{ij}=p_i、∑iγij=qj\sum_i\gamma_{ij}=q_j。其线性规划对偶恰好是在约束 φi+ψj≤cij\varphi_i+\psi_j\le c_{ij}(对所有 i,ji,j)下求 max⁡∑ipiφi+∑jqjψj\max \sum_i p_i\varphi_i+\sum_j q_j\psi_j——原问题每个边缘约束对应一个对偶变量。原问题可行(乘积耦合 piqjp_iq_j 总是可行)且以 00 为下界,可行多胞形 {γij≥0}∩Π(μ,ν)\{\gamma_{ij}\ge0\}\cap\Pi(\mu,\nu) 是紧的,因此线性规划的强对偶性给出两个最优值相等,且均可达到。这精确证明了离散情形;波兰空间上的一般命题由同样的原始-对偶模式,通过将 Fenchel–Rockafellar 对偶应用于 Cb(X×Y)C_b(X\times Y) 上的凸泛函而得(Kantorovich 1942;完整论证见 Villani 2009,定理5.10)。

上面针对有限测度的证明是线性规划对偶性的直接应用——正是凸优化中的原始-对偶机制:传输方案 γ\gamma 是原始变量,势函数 φ,ψ\varphi,\psi 是附着于边缘约束的对偶(拉格朗日)变量,而强对偶性成立正是因为 Π(μ,ν)\Pi(\mu,\nu) 是紧凸集。这是从最优传输通向相邻领域的两座真正桥梁中的第一座:测度论提供语言(把 μ,ν,γ\mu,\nu,\gamma 视为测度、前推、边缘分布),凸对偶性提供证明技巧。

进阶布雷尼耶定理与瓦瑟斯坦空间的几何

设 μ,ν\mu,\nu 是 Rn\mathbb R^n 上具有有限二阶矩的概率测度,且 μ\mu 关于勒贝格测度绝对连续。对于二次代价 c(x,y)=∣x−y∣2c(x,y) = |x-y|^2 存在一个凸函数 φ:Rn→R\varphi:\mathbb R^n\to\mathbb R(相差一个可加常数意义下唯一),使得 T=∇φT = \nabla \varphi 在 μ\mu-几乎处处有良好定义,满足 T#μ=νT_{\#}\mu=\nu,并且是坎托罗维奇问题和蒙日原始问题的(本质上)唯一极小值点。

为什么成立?

对于像 ∣x−y∣2|x-y|^2 这样的严格凸代价,任何最优方案都支撑在一个 **cc-循环单调**集合上:任何有限次重新配对都不能降低总代价。对于二次代价,一组配对 (xi,yi)(x_i,y_i) 的循环单调性恰好等价于存在某个凸函数 φ\varphi,使得对每个 ii,yiy_i 都属于其在 xix_i 处的次微分——这正是罗克费拉(Rockafellar)刻画循环单调集合即为凸函数次微分的定理。由于 μ\mu 绝对连续,凸函数在 μ\mu-几乎处处可微(亚历山德罗夫定理),从而把集值的次微分变成真正的梯度映射 T=∇φT=\nabla\varphi。

证明

(概要,遵循 Brenier 1991。)第一步:对 c=∣x−y∣2c=|x-y|^2 的坎托罗维奇对偶性使我们可以通过 φ(x)=12∣x∣2−φ~(x)\varphi(x)=\tfrac12|x|^2-\tilde\varphi(x) 重写最优势函数,使 φ\varphi 为凸函数,其勒让德变换 φ∗(y)=sup⁡x(x⋅y−φ(x))\varphi^*(y)=\sup_x(x\cdot y-\varphi(x)) 扮演第二个势函数的角色;对偶约束在最优 γ\gamma 的支撑集上恰好变为 y∈∂φ(x)y\in\partial\varphi(x)。第二步:罗克费拉定理指出,Rn×Rn\mathbb R^n\times\mathbb R^n 中任何循环单调子集都包含在某个凸下半连续函数 φ\varphi 的次微分 ∂φ\partial\varphi 的图像中;最优方案的支撑集是循环单调的,因为 γ\gamma 使 ∫∣x−y∣2 dγ\int|x-y|^2\,d\gamma 极小化,故支撑集上有限对之间的任何重新配对都不能严格降低 ∑i∣xi−yi∣2\sum_i|x_i-y_i|^2。第三步:由于 μ≪\mu\ll 勒贝格测度,由亚历山德罗夫定理,φ\varphi 在 μ\mu-几乎处处可微,因此 γ\gamma 集中在图像 {(x,∇φ(x))}\{(x,\nabla\varphi(x))\} 上,即 γ=(id,∇φ)#μ\gamma=(\mathrm{id},\nabla\varphi)_{\#}\mu。这给出了一个确定性的最优映射 T=∇φT=\nabla\varphi,因此它也解决了蒙日问题,并且由代价的严格凸性,任何其他最优映射都必须在 μ\mu-几乎处处与之一致。

一旦代价固定为 ∣x−y∣2|x-y|^2,最小传输代价本身就成为概率测度之间真正的距离——二阶瓦瑟斯坦距离 W2W_2。具有有限二阶矩的概率测度空间 P2(Rn)\mathcal P_2(\mathbb R^n) 配上 W2W_2,其表现惊人地类似于一个真正的无穷维黎曼流形:费利克斯·奥托(Felix Otto)的启发式方法——现称奥托微积分(Otto calculus)——把 μ\mu 处的切向量视为满足连续性方程 ∂tμ+∇ ⁣⋅(μv)=0\partial_t\mu+\nabla\!\cdot(\mu v)=0 的速度场 vv,黎曼度量为 ⟨v,w⟩μ=∫v⋅w dμ\langle v,w\rangle_\mu=\int v\cdot w\,d\mu。这一形式黎曼结构中的测地线恰好就是由上文布雷尼耶映射 T=∇φT=\nabla\varphi 构造出的匀速路径 μt=((1−t) id+t T)#μ\mu_t=((1-t)\,\mathrm{id}+t\,T)_{\#}\mu。测度空间上的这一形式黎曼结构,正是第二座真正的桥梁——这次是从最优传输通向黎曼几何。

W2(μ,ν)2=min⁡γ∈Π(μ,ν)∫∣x−y∣2 dγ(x,y)W_2(\mu,\nu)^2 = \min_{\gamma \in \Pi(\mu,\nu)} \int |x-y|^2\, d\gamma(x,y)

例题: 两个中心化高斯分布之间的显式最优传输

设 μ=N(0,1)\mu=\mathcal N(0,1) 与 ν=N(0,2.25)\nu=\mathcal N(0,2.25) 是标准差分别为 σ1=1\sigma_1=1 和 σ2=1.5\sigma_2=1.5 的中心化一维高斯分布。请用布雷尼耶定理写出对二次代价把 μ\mu 前推为 ν\nu 的最优传输映射 TT,并计算 W2(μ,ν)W_2(\mu,\nu)。

解答

两个测度都是中心化的,因此一般的一维高斯最优传输映射 T(x)=m2+σ2σ1(x−m1)T(x) = m_2 + \frac{\sigma_2}{\sigma_1}(x - m_1) 退化为纯粹的标量伸缩 T(x)=σ2σ1x=1.5xT(x)=\frac{\sigma_2}{\sigma_1}x=1.5x。这确实是凸二次函数 φ(x)=0.75x2\varphi(x)=0.75x^2 的梯度,因为 φ′(x)=1.5x=T(x)\varphi'(x)=1.5x=T(x),验证了布雷尼耶定理。可以直接验证 TT 把 μ\mu 前推为 ν\nu:若 X∼N(0,1)X\sim\mathcal N(0,1),则 1.5X∼N(0,1.52)=N(0,2.25)=ν1.5X\sim\mathcal N(0,1.5^2)=\mathcal N(0,2.25)=\nu。传输代价为 ∫(T(x)−x)2 dμ(x)=∫(0.5x)2 dμ(x)=0.25⋅Var(X)=0.25\int(T(x)-x)^2\,d\mu(x)=\int(0.5x)^2\,d\mu(x)=0.25\cdot\mathrm{Var}(X)=0.25,故 W2(μ,ν)=0.25=0.5=σ2−σ1W_2(\mu,\nu)=\sqrt{0.25}=0.5=\sigma_2-\sigma_1,与均值相等时的一般高斯公式吻合。

一个交互式二维线性变换网格,展示平面沿x轴和y轴均匀拉伸1.5倍(对角矩阵,元素为1.5、0、0、1.5),使单位圆映射为半径1.5的更大圆,方形网格映射为均匀放大的方形网格。
该组件本身绘制的是一般的二维线性映射 (x,y)↦(ax+by,cx+dy)(x,y)\mapsto(ax+by,cx+dy)。这里将其设为纯对角、等比例的情形 a=d=1.5a=d=1.5,b=c=0b=c=0,用作上文例题中显式一维布雷尼耶映射 T(x)=1.5xT(x)=1.5x 的可视化类比(对两个坐标轴施加同一个标量因子):根据布雷尼耶定理,在二次代价下,把中心化高斯分布 N(0,1)\mathcal N(0,1) 变为更宽的中心化高斯分布 N(0,2.25)\mathcal N(0,2.25),正是由纯标量伸缩 T(x)=1.5xT(x)=1.5x(凸函数 φ(x)=0.75x2\varphi(x)=0.75x^2 的梯度)实现的。可以尝试设置 a≠da\ne d 或 b,c≠0b,c\ne0,观察那些不再是各向同性高斯分布之间有效传输映射的情形。

研究位移凸性、曲率与大规模传输

瓦瑟斯坦空间 (P2(Rn),W2)(\mathcal P_2(\mathbb R^n),W_2) 中的测地线 μt\mu_t 称为位移插值;测度上的泛函 FF(例如 μ=ρ dx\mu=\rho\,dx 时的熵 ∫ρlog⁡ρ\int\rho\log\rho)若沿每条这样的测地线都有 t↦F(μt)t\mapsto F(\mu_t) 为凸函数,则称其为位移凸的。大约在2006–2009年间,约翰·洛特(John Lott)与塞德里克·维拉尼,以及独立地由卡尔-西奥多·斯图姆(Karl-Theodor Sturm),利用熵沿 W2W_2-测地线的位移凸性来定义一种综合的(曲率-维数)里奇曲率下界——即 CD(K,N)\mathrm{CD}(K,N) 条件——适用于完全一般的度量测度空间,无需光滑流形结构。值得注意的是,这些曲率-维数下界在Gromov–Hausdorff极限下是稳定的,使几何学家能够理解作为黎曼流形极限出现的"弯曲"空间,或那些本来就从未光滑过的空间(图、分形、奇异空间)。

一个截然不同、彻头彻尾当代的应用:2017年,Martin Arjovsky、Soumith Chintala 与 Léon Bottou 提出了Wasserstein GAN,用真实数据分布与生成数据分布之间的一阶瓦瑟斯坦距离(坎托罗维奇–鲁宾斯坦对偶形式)取代了用于训练经典生成对抗网络的Jensen–Shannon散度。由于 W1W_1 即使在两个分布支撑不相交时也表现良好、能给出有用的梯度——不像会饱和的Jensen–Shannon散度——WGAN的训练明显更稳定,也远不易发生模式坍塌,该技术至今仍是现代生成建模的标准构件。

为什么蒙日最初的最优传输表述有时根本无解,而坎托罗维奇的松弛(在温和条件下)总有极小值点?

根据布雷尼耶定理,对于二次代价 c(x,y)=∣x−y∣2c(x,y)=|x-y|^2 以及 Rn\mathbb R^n 上绝对连续的源测度 μ\mu,最优传输映射 TT(几乎处处)呈什么形式?

在坎托罗维奇对偶定理中,对偶问题中连接两个坎托罗维奇势 φ\varphi 与 ψ\psi 的约束是什么?

为什么 Cuturi 在2013年提出的熵正则化(催生了Sinkhorn算法)改变了机器学习中的计算最优传输?

参考文献

  1. Cédric Villani (2009). Optimal Transport: Old and New
  2. Marco Cuturi (2013). Sinkhorn Distances: Lightspeed Computation of Optimal Transport · arXiv:1306.0895
  3. Yann Brenier (1991). Polar Factorization and Monotone Rearrangement of Vector-Valued Functions · DOI:10.1002/cpa.3160440402
  4. John Lott, Cédric Villani (2009). Ricci Curvature for Metric-Measure Spaces via Optimal Transport