← 返回 资料库 › 应用与计算数学 › 优化理论 应用与计算数学
最优传输 寻找将一种质量分布重塑为另一种分布的最低成本方式——从搬运沙堆到比较图像、概率分布与细胞群体。
直观 以最小代价将一堆沙子搬入一个坑 设想一堆某种形状的沙子,以及地面上一个总体积完全相同但形状不同的坑。你想把每一粒沙子都搬进坑里,且总花费尽量小,其中把一粒沙搬动距离 d d d 需要花费 d d d 单位的功——搬得越远花费越大。这正是最优传输问题 :给定总质量相同的一个源分布和一个目标分布,求把前者重新排布成后者的最便宜方式。
这听起来像一道纯粹关于沙子的物理趣题,但同样的问题——以最小代价把一种物质的分布匹配到另一种分布——只要比较两个概率分布、两幅图像、两条经济供需曲线,或两个形状,就会出现。最优传输精确度量两个分布究竟有多不同,并给出把一个变形为另一个的确切方法。
例题: 一个最简例子:两堆沙子,两个坑
设在位置 x = 0 x=0 x = 0 处有一单位沙子,x = 10 x=10 x = 10 处有另一单位沙子,又有两个单位大小的坑分别在 y = 1 y=1 y = 1 和 y = 9 y=9 y = 9 。把一单位沙子搬动距离 d d d 需花费 d d d 。将沙堆匹配到坑只有两种方式:送 0 → 1 0\to1 0 → 1 与 10 → 9 10\to9 10 → 9 ,或送 0 → 9 0\to9 0 → 9 与 10 → 1 10\to1 10 → 1 。哪种匹配更便宜?最小总花费是多少?
解答 直接(不交叉)匹配花费 ∣ 0 − 1 ∣ + ∣ 10 − 9 ∣ = 1 + 1 = 2 |0-1|+|10-9|=1+1=2 ∣0 − 1∣ + ∣10 − 9∣ = 1 + 1 = 2 。交叉匹配花费 ∣ 0 − 9 ∣ + ∣ 10 − 1 ∣ = 9 + 9 = 18 |0-9|+|10-1|=9+9=18 ∣0 − 9∣ + ∣10 − 1∣ = 9 + 9 = 18 。因此最便宜的选择是让每堆沙子送到较近的坑且路径不交叉,最小总花费为 2 2 2 。这已经蕴含了后面要用到的一个一般事实:对于实数轴上的代价 ∣ x − y ∣ |x-y| ∣ x − y ∣ ,最优传输方案总是保序的——它绝不会让两单位质量沿着相互交叉的路径运送。
这条钟形的标准正态曲线 N ( 0 , 1 ) \mathcal N(0,1) N ( 0 , 1 ) 仅用作"典型光滑密度"的示例——它本身并不是一个传输方案。可以把它想象成最优传输问题中的源密度或目标密度:下文的理论会找出把这样一条曲线重塑为另一个目标密度的最便宜方式。 大学 蒙日的映射与坎托罗维奇的松弛 1781年,法国数学家兼军事工程师加斯帕尔·蒙日精确提出了这一问题:给定空间 X X X 上的源测度 μ \mu μ 与空间 Y Y Y 上、总质量相同的目标测度 ν \nu ν ,以及给出把一单位质量从 x x x 移到 y y y 的价格的代价函数 c ( x , y ) c(x,y) c ( x , y ) ,求一个把 μ \mu μ 前推为 ν \nu ν 的映射 T : X → Y T:X\to Y T : X → Y ——记作 T # μ = ν T_{\#}\mu=\nu T # μ = ν ,即对每个可测集合 A A A 都有 T # μ ( A ) = μ ( T − 1 ( A ) ) T_{\#}\mu(A) = \mu(T^{-1}(A)) T # μ ( A ) = μ ( T − 1 ( A )) ——使总运输代价最小:
inf T : T # μ = ν ∫ X c ( x , T ( x ) ) d μ ( x ) \inf_{T:\ T_{\#}\mu = \nu} \int_X c(x, T(x))\, d\mu(x) T : T # μ = ν inf ∫ X c ( x , T ( x )) d μ ( x ) 蒙日最初的表述往往根本无解 。最鲜明的例子:设 μ = δ 0 \mu=\delta_0 μ = δ 0 是原点处的单一点质量,ν = 1 2 δ − 1 + 1 2 δ 1 \nu=\frac12\delta_{-1}+\frac12\delta_{1} ν = 2 1 δ − 1 + 2 1 δ 1 把质量分到两个点上。任何映射 T T T 都必须把 0 0 0 送到单一 一点 T ( 0 ) T(0) T ( 0 ) ,因此 T # μ T_{\#}\mu T # μ 仍是点质量——无论怎样选取 T T T ,它都不可能等于 ν \nu ν 。尽管显然存在一种合理的搬运方式(一半向左、一半向右),蒙日问题在此仍不可行:确定性映射根本无法把质量拆分。
定义: 传输方案与耦合
给定 μ ∈ P ( X ) \mu\in\mathcal P(X) μ ∈ P ( X ) 与 ν ∈ P ( Y ) \nu\in\mathcal P(Y) ν ∈ P ( Y ) ,一个传输方案 (或耦合 )是 X × Y X\times Y X × Y 上的概率测度 γ \gamma γ ,其两个边缘分布恢复出 μ \mu μ 与 ν \nu ν :Π ( μ , ν ) = { γ ∈ P ( X × Y ) : ( π X ) # γ = μ , ( π Y ) # γ = ν } . \Pi(\mu,\nu) = \{\gamma \in \mathcal{P}(X\times Y) : (\pi_X)_{\#}\gamma = \mu,\ (\pi_Y)_{\#}\gamma = \nu\}. Π ( μ , ν ) = { γ ∈ P ( X × Y ) : ( π X ) # γ = μ , ( π Y ) # γ = ν } . 可以把 γ \gamma γ 理解为"有多少质量从 x x x 附近移动到 y y y 附近":确定性映射 T T T 对应于特殊耦合 γ = ( i d , T ) # μ \gamma=(\mathrm{id},T)_{\#}\mu γ = ( id , T ) # μ ,但一般的 γ \gamma γ 也允许把单一一点的质量同时送到多个目的地。独立乘积 μ ⊗ ν \mu\otimes\nu μ ⊗ ν 总是属于 Π ( μ , ν ) \Pi(\mu,\nu) Π ( μ , ν ) ,因此——与蒙日映射构成的集合不同——这个集合永不为空 。
inf γ ∈ Π ( μ , ν ) ∫ X × Y c ( x , y ) d γ ( x , y ) \inf_{\gamma \in \Pi(\mu,\nu)} \int_{X \times Y} c(x,y)\, d\gamma(x,y) γ ∈ Π ( μ , ν ) inf ∫ X × Y c ( x , y ) d γ ( x , y ) 对于 X X X 上的概率测度 μ \mu μ 、Y Y Y (均为波兰空间)上的概率测度 ν \nu ν 以及连续且下有界的代价函数 c c c ,坎托罗维奇问题等于在满足逐点条件 φ ( x ) + ψ ( y ) ≤ c ( x , y ) \varphi(x) + \psi(y) \le c(x,y) φ ( x ) + ψ ( y ) ≤ c ( x , y ) 的坎托罗维奇势 对 φ : X → R \varphi:X\to\mathbb R φ : X → R 、ψ : Y → R \psi:Y\to\mathbb R ψ : Y → R 上取对偶极大化:min γ ∈ Π ( μ , ν ) ∫ X × Y c d γ = sup φ ( x ) + ψ ( y ) ≤ c ( x , y ) ( ∫ X φ d μ + ∫ Y ψ d ν ) , \min_{\gamma\in\Pi(\mu,\nu)}\int_{X\times Y} c\,d\gamma \;=\; \sup_{\varphi(x)+\psi(y)\le c(x,y)}\left(\int_X\varphi\,d\mu+\int_Y\psi\,d\nu\right), min γ ∈ Π ( μ , ν ) ∫ X × Y c d γ = sup φ ( x ) + ψ ( y ) ≤ c ( x , y ) ( ∫ X φ d μ + ∫ Y ψ d ν ) , 且极小值与上确界均可达到。
为什么成立? 可以把 φ ( x ) \varphi(x) φ ( x ) 想象成在 x x x 处取货所收取的价格,ψ ( y ) \psi(y) ψ ( y ) 想象成在 y y y 处送货所支付的价格,处于一个由独立承运商组成的去中心化市场中。任何承运商都无法通过绕开直接路线来获利:以价格 φ ( x ) \varphi(x) φ ( x ) 买入、以价格 ψ ( y ) \psi(y) ψ ( y ) 卖出,永远不可能比真正运送该质量并支付 c ( x , y ) c(x,y) c ( x , y ) 更划算——这恰好就是约束 φ ( x ) + ψ ( y ) ≤ c ( x , y ) \varphi(x)+\psi(y)\le c(x,y) φ ( x ) + ψ ( y ) ≤ c ( x , y ) 。在一个最优出清的市场中,等式 φ ( x ) + ψ ( y ) = c ( x , y ) \varphi(x)+\psi(y)=c(x,y) φ ( x ) + ψ ( y ) = c ( x , y ) 恰好沿着最优方案实际使用的路径成立。
证明 对于有限离散测度 μ = ∑ i p i δ x i \mu=\sum_i p_i\delta_{x_i} μ = ∑ i p i δ x i 、ν = ∑ j q j δ y j \nu=\sum_j q_j\delta_{y_j} ν = ∑ j q j δ y j ,坎托罗维奇问题正是有限线性规划 min ∑ i , j c i j γ i j \min \sum_{i,j} c_{ij}\gamma_{ij} min ∑ i , j c ij γ ij ,约束为 γ i j ≥ 0 \gamma_{ij}\ge0 γ ij ≥ 0 、∑ j γ i j = p i \sum_j\gamma_{ij}=p_i ∑ j γ ij = p i 、∑ i γ i j = q j \sum_i\gamma_{ij}=q_j ∑ i γ ij = q j 。其线性规划对偶恰好是在约束 φ i + ψ j ≤ c i j \varphi_i+\psi_j\le c_{ij} φ i + ψ j ≤ c ij (对所有 i , j i,j i , j )下求 max ∑ i p i φ i + ∑ j q j ψ j \max \sum_i p_i\varphi_i+\sum_j q_j\psi_j max ∑ i p i φ i + ∑ j q j ψ j ——原问题每个边缘约束对应一个对偶变量。原问题可行(乘积耦合 p i q j p_iq_j p i q j 总是可行)且以 0 0 0 为下界,可行多胞形 { γ i j ≥ 0 } ∩ Π ( μ , ν ) \{\gamma_{ij}\ge0\}\cap\Pi(\mu,\nu) { γ ij ≥ 0 } ∩ Π ( μ , ν ) 是紧的,因此线性规划的强对偶性给出两个最优值相等,且均可达到。这精确证明了离散情形;波兰空间上的一般命题由同样的原始-对偶模式,通过将 Fenchel–Rockafellar 对偶应用于 C b ( X × Y ) C_b(X\times Y) C b ( X × Y ) 上的凸泛函而得(Kantorovich 1942;完整论证见 Villani 2009,定理5.10)。
上面针对有限测度的证明是线性规划对偶性 的直接应用——正是凸优化中的原始-对偶机制:传输方案 γ \gamma γ 是原始变量,势函数 φ , ψ \varphi,\psi φ , ψ 是附着于边缘约束的对偶(拉格朗日)变量,而强对偶性成立正是因为 Π ( μ , ν ) \Pi(\mu,\nu) Π ( μ , ν ) 是紧凸集。这是从最优传输通向相邻领域的两座真正桥梁中的第一座:测度论提供语言(把 μ , ν , γ \mu,\nu,\gamma μ , ν , γ 视为测度、前推、边缘分布),凸对偶性提供证明技巧。
进阶 布雷尼耶定理与瓦瑟斯坦空间的几何 设 μ , ν \mu,\nu μ , ν 是 R n \mathbb R^n R n 上具有有限二阶矩的概率测度,且 μ \mu μ 关于勒贝格测度绝对连续。对于二次代价 c ( x , y ) = ∣ x − y ∣ 2 c(x,y) = |x-y|^2 c ( x , y ) = ∣ x − y ∣ 2 存在一个凸函数 φ : R n → R \varphi:\mathbb R^n\to\mathbb R φ : R n → R (相差一个可加常数意义下唯一),使得 T = ∇ φ T = \nabla \varphi T = ∇ φ 在 μ \mu μ -几乎处处有良好定义,满足 T # μ = ν T_{\#}\mu=\nu T # μ = ν ,并且是坎托罗维奇问题和蒙日原始问题的(本质上)唯一极小值点。
为什么成立? 对于像 ∣ x − y ∣ 2 |x-y|^2 ∣ x − y ∣ 2 这样的严格凸代价,任何最优方案都支撑在一个 **c c c -循环单调**集合上:任何有限次重新配对都不能降低总代价。对于二次代价,一组配对 ( x i , y i ) (x_i,y_i) ( x i , y i ) 的循环单调性恰好等价于 存在某个凸函数 φ \varphi φ ,使得对每个 i i i ,y i y_i y i 都属于其在 x i x_i x i 处的次微分——这正是罗克费拉(Rockafellar)刻画循环单调集合即为凸函数次微分的定理。由于 μ \mu μ 绝对连续,凸函数在 μ \mu μ -几乎处处可微(亚历山德罗夫定理),从而把集值的次微分变成真正的梯度映射 T = ∇ φ T=\nabla\varphi T = ∇ φ 。
证明 (概要,遵循 Brenier 1991。)第一步:对 c = ∣ x − y ∣ 2 c=|x-y|^2 c = ∣ x − y ∣ 2 的坎托罗维奇对偶性使我们可以通过 φ ( x ) = 1 2 ∣ x ∣ 2 − φ ~ ( x ) \varphi(x)=\tfrac12|x|^2-\tilde\varphi(x) φ ( x ) = 2 1 ∣ x ∣ 2 − φ ~ ( x ) 重写最优势函数,使 φ \varphi φ 为凸函数,其勒让德变换 φ ∗ ( y ) = sup x ( x ⋅ y − φ ( x ) ) \varphi^*(y)=\sup_x(x\cdot y-\varphi(x)) φ ∗ ( y ) = sup x ( x ⋅ y − φ ( x )) 扮演第二个势函数的角色;对偶约束在最优 γ \gamma γ 的支撑集上恰好变为 y ∈ ∂ φ ( x ) y\in\partial\varphi(x) y ∈ ∂ φ ( x ) 。第二步:罗克费拉定理指出,R n × R n \mathbb R^n\times\mathbb R^n R n × R n 中任何循环单调子集都包含在某个凸下半连续函数 φ \varphi φ 的次微分 ∂ φ \partial\varphi ∂ φ 的图像中;最优方案的支撑集是循环单调的,因为 γ \gamma γ 使 ∫ ∣ x − y ∣ 2 d γ \int|x-y|^2\,d\gamma ∫ ∣ x − y ∣ 2 d γ 极小化,故支撑集上有限对之间的任何重新配对都不能严格降低 ∑ i ∣ x i − y i ∣ 2 \sum_i|x_i-y_i|^2 ∑ i ∣ x i − y i ∣ 2 。第三步:由于 μ ≪ \mu\ll μ ≪ 勒贝格测度,由亚历山德罗夫定理,φ \varphi φ 在 μ \mu μ -几乎处处可微,因此 γ \gamma γ 集中在图像 { ( x , ∇ φ ( x ) ) } \{(x,\nabla\varphi(x))\} {( x , ∇ φ ( x ))} 上,即 γ = ( i d , ∇ φ ) # μ \gamma=(\mathrm{id},\nabla\varphi)_{\#}\mu γ = ( id , ∇ φ ) # μ 。这给出了一个确定性的最优映射 T = ∇ φ T=\nabla\varphi T = ∇ φ ,因此它也解决了蒙日问题,并且由代价的严格凸性,任何其他最优映射都必须在 μ \mu μ -几乎处处与之一致。
一旦代价固定为 ∣ x − y ∣ 2 |x-y|^2 ∣ x − y ∣ 2 ,最小传输代价本身就成为概率测度之间真正的距离 ——二阶瓦瑟斯坦距离 W 2 W_2 W 2 。具有有限二阶矩的概率测度空间 P 2 ( R n ) \mathcal P_2(\mathbb R^n) P 2 ( R n ) 配上 W 2 W_2 W 2 ,其表现惊人地类似于一个真正的无穷维黎曼流形 :费利克斯·奥托(Felix Otto)的启发式方法——现称奥托微积分(Otto calculus) ——把 μ \mu μ 处的切向量视为满足连续性方程 ∂ t μ + ∇ ⋅ ( μ v ) = 0 \partial_t\mu+\nabla\!\cdot(\mu v)=0 ∂ t μ + ∇ ⋅ ( μv ) = 0 的速度场 v v v ,黎曼度量为 ⟨ v , w ⟩ μ = ∫ v ⋅ w d μ \langle v,w\rangle_\mu=\int v\cdot w\,d\mu ⟨ v , w ⟩ μ = ∫ v ⋅ w d μ 。这一形式黎曼结构中的测地线恰好就是由上文布雷尼耶映射 T = ∇ φ T=\nabla\varphi T = ∇ φ 构造出的匀速路径 μ t = ( ( 1 − t ) i d + t T ) # μ \mu_t=((1-t)\,\mathrm{id}+t\,T)_{\#}\mu μ t = (( 1 − t ) id + t T ) # μ 。测度空间上的这一形式黎曼结构,正是第二座真正的桥梁——这次是从最优传输通向黎曼几何。
W 2 ( μ , ν ) 2 = min γ ∈ Π ( μ , ν ) ∫ ∣ x − y ∣ 2 d γ ( x , y ) W_2(\mu,\nu)^2 = \min_{\gamma \in \Pi(\mu,\nu)} \int |x-y|^2\, d\gamma(x,y) W 2 ( μ , ν ) 2 = γ ∈ Π ( μ , ν ) min ∫ ∣ x − y ∣ 2 d γ ( x , y ) 例题: 两个中心化高斯分布之间的显式最优传输
设 μ = N ( 0 , 1 ) \mu=\mathcal N(0,1) μ = N ( 0 , 1 ) 与 ν = N ( 0 , 2.25 ) \nu=\mathcal N(0,2.25) ν = N ( 0 , 2.25 ) 是标准差分别为 σ 1 = 1 \sigma_1=1 σ 1 = 1 和 σ 2 = 1.5 \sigma_2=1.5 σ 2 = 1.5 的中心化一维高斯分布。请用布雷尼耶定理写出对二次代价把 μ \mu μ 前推为 ν \nu ν 的最优传输映射 T T T ,并计算 W 2 ( μ , ν ) W_2(\mu,\nu) W 2 ( μ , ν ) 。
解答 两个测度都是中心化的,因此一般的一维高斯最优传输映射 T ( x ) = m 2 + σ 2 σ 1 ( x − m 1 ) T(x) = m_2 + \frac{\sigma_2}{\sigma_1}(x - m_1) T ( x ) = m 2 + σ 1 σ 2 ( x − m 1 ) 退化为纯粹的标量伸缩 T ( x ) = σ 2 σ 1 x = 1.5 x T(x)=\frac{\sigma_2}{\sigma_1}x=1.5x T ( x ) = σ 1 σ 2 x = 1.5 x 。这确实是凸二次函数 φ ( x ) = 0.75 x 2 \varphi(x)=0.75x^2 φ ( x ) = 0.75 x 2 的梯度,因为 φ ′ ( x ) = 1.5 x = T ( x ) \varphi'(x)=1.5x=T(x) φ ′ ( x ) = 1.5 x = T ( x ) ,验证了布雷尼耶定理。可以直接验证 T T T 把 μ \mu μ 前推为 ν \nu ν :若 X ∼ N ( 0 , 1 ) X\sim\mathcal N(0,1) X ∼ N ( 0 , 1 ) ,则 1.5 X ∼ N ( 0 , 1.5 2 ) = N ( 0 , 2.25 ) = ν 1.5X\sim\mathcal N(0,1.5^2)=\mathcal N(0,2.25)=\nu 1.5 X ∼ N ( 0 , 1. 5 2 ) = N ( 0 , 2.25 ) = ν 。传输代价为 ∫ ( T ( x ) − x ) 2 d μ ( x ) = ∫ ( 0.5 x ) 2 d μ ( x ) = 0.25 ⋅ V a r ( X ) = 0.25 \int(T(x)-x)^2\,d\mu(x)=\int(0.5x)^2\,d\mu(x)=0.25\cdot\mathrm{Var}(X)=0.25 ∫ ( T ( x ) − x ) 2 d μ ( x ) = ∫ ( 0.5 x ) 2 d μ ( x ) = 0.25 ⋅ Var ( X ) = 0.25 ,故 W 2 ( μ , ν ) = 0.25 = 0.5 = σ 2 − σ 1 W_2(\mu,\nu)=\sqrt{0.25}=0.5=\sigma_2-\sigma_1 W 2 ( μ , ν ) = 0.25 = 0.5 = σ 2 − σ 1 ,与均值相等时的一般高斯公式吻合。
该组件本身绘制的是一般的二维线性映射 ( x , y ) ↦ ( a x + b y , c x + d y ) (x,y)\mapsto(ax+by,cx+dy) ( x , y ) ↦ ( a x + b y , c x + d y ) 。这里将其设为纯对角、等比例的情形 a = d = 1.5 a=d=1.5 a = d = 1.5 ,b = c = 0 b=c=0 b = c = 0 ,用作上文例题中显式一维布雷尼耶映射 T ( x ) = 1.5 x T(x)=1.5x T ( x ) = 1.5 x 的可视化类比(对两个坐标轴施加同一个标量因子):根据布雷尼耶定理,在二次代价下,把中心化高斯分布 N ( 0 , 1 ) \mathcal N(0,1) N ( 0 , 1 ) 变为更宽的中心化高斯分布 N ( 0 , 2.25 ) \mathcal N(0,2.25) N ( 0 , 2.25 ) ,正是由纯标量伸缩 T ( x ) = 1.5 x T(x)=1.5x T ( x ) = 1.5 x (凸函数 φ ( x ) = 0.75 x 2 \varphi(x)=0.75x^2 φ ( x ) = 0.75 x 2 的梯度)实现的。可以尝试设置 a ≠ d a\ne d a = d 或 b , c ≠ 0 b,c\ne0 b , c = 0 ,观察那些不再是各向同性高斯分布之间有效传输映射的情形。 历史注记
加斯帕尔·蒙日 (1746–1818)是拿破仑麾下的法国数学家兼军事工程师(也是巴黎综合理工学院的创立者之一),在其1781年的回忆录《Mémoire sur la théorie des déblais et des remblais 》(《论挖填理论》)中首次提出了这一运输问题——字面意思就是以最低成本把挖出的土方运到工地。此后这个问题沉寂了一个多世纪。苏联数学家列昂尼德·坎托罗维奇 (1912–1986)在为苏联经济计划发展线性规划的过程中,于1942年重新发现并彻底推广了这个问题;他把问题松弛为传输方案,使其变为凸问题从而可解,他也因此与他人(Tjalling Koopmans)分享了1975年诺贝尔经济学奖,以表彰这项工作及相关的资源最优配置研究。扬·布雷尼耶 于1991年证明了他的梯度/极分解定理,揭示了最优传输、凸分析与蒙日-安培方程之间的深刻联系。塞德里克·维拉尼 荣获2010年菲尔兹奖,官方颁奖词强调的是他对玻尔兹曼方程非线性朗道阻尼与趋于平衡的收敛性所给出的证明——这些成果建立在维拉尼本人发展并在两部有影响力的教材中系统化的最优传输理论技术之上,使该学科成为现代分析与几何中的核心工具。
研究 位移凸性、曲率与大规模传输 瓦瑟斯坦空间 ( P 2 ( R n ) , W 2 ) (\mathcal P_2(\mathbb R^n),W_2) ( P 2 ( R n ) , W 2 ) 中的测地线 μ t \mu_t μ t 称为位移插值 ;测度上的泛函 F F F (例如 μ = ρ d x \mu=\rho\,dx μ = ρ d x 时的熵 ∫ ρ log ρ \int\rho\log\rho ∫ ρ log ρ )若沿每条这样的测地线都有 t ↦ F ( μ t ) t\mapsto F(\mu_t) t ↦ F ( μ t ) 为凸函数,则称其为位移凸 的。大约在2006–2009年间,约翰·洛特(John Lott)与塞德里克·维拉尼 ,以及独立地由卡尔-西奥多·斯图姆(Karl-Theodor Sturm) ,利用熵沿 W 2 W_2 W 2 -测地线的位移凸性来定义 一种综合的(曲率-维数)里奇曲率下界——即 C D ( K , N ) \mathrm{CD}(K,N) CD ( K , N ) 条件——适用于完全一般的度量测度空间,无需光滑流形结构。值得注意的是,这些曲率-维数下界在Gromov–Hausdorff极限下是稳定的,使几何学家能够理解作为黎曼流形极限出现的"弯曲"空间,或那些本来就从未光滑过的空间(图、分形、奇异空间)。
一个截然不同、彻头彻尾当代的应用:2017年,Martin Arjovsky、Soumith Chintala 与 Léon Bottou 提出了Wasserstein GAN ,用真实数据分布与生成数据分布之间的一阶瓦瑟斯坦距离(坎托罗维奇–鲁宾斯坦对偶形式)取代了用于训练经典生成对抗网络的Jensen–Shannon散度。由于 W 1 W_1 W 1 即使在两个分布支撑不相交时也表现良好、能给出有用的梯度——不像会饱和的Jensen–Shannon散度——WGAN的训练明显更稳定,也远不易发生模式坍塌,该技术至今仍是现代生成建模的标准构件。
研究前沿 截至 2026 年
研究现状(截至2026年)。
1. 熵正则化与Sinkhorn算法。 精确求解坎托罗维奇线性规划并不具备可扩展性:每侧 n n n 个点时,代价大约为 O ( n 3 log n ) O(n^3\log n) O ( n 3 log n ) 。2013年,Marco Cuturi 在坎托罗维奇目标函数中加入熵惩罚项,min γ ∈ Π ( μ , ν ) ∫ c d γ − ε H ( γ ) \min_{\gamma\in\Pi(\mu,\nu)}\int c\,d\gamma-\varepsilon H(\gamma) min γ ∈ Π ( μ , ν ) ∫ c d γ − ε H ( γ ) ,其唯一极小值取简单形式 γ = d i a g ( u ) K d i a g ( v ) \gamma=\mathrm{diag}(u)K\mathrm{diag}(v) γ = diag ( u ) K diag ( v ) (K = e − c / ε K=e^{-c/\varepsilon} K = e − c / ε ),可用经典的Sinkhorn–Knopp 矩阵缩放算法计算,每次迭代耗时 O ( n 2 ) O(n^2) O ( n 2 ) ,且易于在GPU上并行化。这使最优传输从一个理论工具变成了如今在机器学习中被日常使用的实用、可微分的构件。
2. 非平衡最优传输。 真实数据两侧的总质量很少恰好相等(例如正在增殖或死亡的细胞群体)。非平衡最优传输 把硬性的边缘约束 γ ∈ Π ( μ , ν ) \gamma\in\Pi(\mu,\nu) γ ∈ Π ( μ , ν ) 松弛为软性的散度惩罚(Wasserstein–Fisher–Rao / Hellinger–Kantorovich距离),允许以一定代价创造或消灭质量。
3. 单细胞生物学与生成式AI。 这套非平衡、熵正则化的机制如今是计算生物学的核心:诸如2025年发表于《Nature 》的Moscot 等框架,利用非平衡、熵正则化的最优传输,在正确考虑细胞生死的同时,匹配跨越多个时间点、空间位置与分子模态的数百万单细胞——重建出简单等质量匹配会出错的发育轨迹。在生成建模方面,2024–2026年的工作把非平衡传输与流匹配(flow matching)结合,训练针对复杂的、正在增长或萎缩的群体的免模拟神经模型,延续了2017年Wasserstein GAN开创的方向。
为什么蒙日最初的最优传输表述有时根本无解,而坎托罗维奇的松弛(在温和条件下)总有极小值点?
蒙日要求确定性映射 T T T 满足 T # μ = ν T_{\#}\mu=\nu T # μ = ν ,无法在一点处拆分质量;坎托罗维奇允许可以拆分质量的传输方案 γ ∈ Π ( μ , ν ) \gamma\in\Pi(\mu,\nu) γ ∈ Π ( μ , ν ) ,且 Π ( μ , ν ) \Pi(\mu,\nu) Π ( μ , ν ) 是紧集,代价函数下半连续,从而保证极小值存在。 蒙日的代价函数总是不连续的,而坎托罗维奇的代价函数总是连续的。 坎托罗维奇要求源测度与目标测度总质量相等,而蒙日没有此要求。 蒙日问题是极大化问题,而坎托罗维奇问题是极小化问题。 根据布雷尼耶定理,对于二次代价 c ( x , y ) = ∣ x − y ∣ 2 c(x,y)=|x-y|^2 c ( x , y ) = ∣ x − y ∣ 2 以及 R n \mathbb R^n R n 上绝对连续的源测度 μ \mu μ ,最优传输映射 T T T (几乎处处)呈什么形式?
对某个凸函数 φ \varphi φ ,有 T = ∇ φ T=\nabla\varphi T = ∇ φ 。 T T T 总是作用在 x x x 上的一个正交旋转矩阵。无论 μ \mu μ 与 ν \nu ν 如何,T T T 总是恒等映射。 对某个凹函数 ψ \psi ψ ,有 T = ψ T=\psi T = ψ 。 在坎托罗维奇对偶定理中,对偶问题中连接两个坎托罗维奇势 φ \varphi φ 与 ψ \psi ψ 的约束是什么?
φ ( x ) − ψ ( y ) = c ( x , y ) \varphi(x)-\psi(y)=c(x,y) φ ( x ) − ψ ( y ) = c ( x , y ) φ ( x ) + ψ ( y ) ≤ c ( x , y ) \varphi(x)+\psi(y)\le c(x,y) φ ( x ) + ψ ( y ) ≤ c ( x , y ) φ ( x ) ⋅ ψ ( y ) = c ( x , y ) \varphi(x)\cdot\psi(y)=c(x,y) φ ( x ) ⋅ ψ ( y ) = c ( x , y ) 对所有 x , y x,y x , y 都有 φ ( x ) = ψ ( y ) \varphi(x)=\psi(y) φ ( x ) = ψ ( y ) 为什么 Cuturi 在2013年提出的熵正则化(催生了Sinkhorn算法)改变了机器学习中的计算最优传输?
它用一个每次迭代耗时 O ( n 2 ) O(n^2) O ( n 2 ) 、对GPU友好、速度快上几个数量级的迭代矩阵缩放过程,取代了(大致三次方复杂度的)精确线性规划。 它证明了对任何代价函数,最优传输映射都总有闭式解。 它彻底消除了 Π ( μ , ν ) \Pi(\mu,\nu) Π ( μ , ν ) 中对边缘约束的需求。 它表明对离散测度而言,蒙日问题和坎托罗维奇问题总是重合的。