Toán ứng dụng và Tính toán
Vận tải tối ưu
Tìm cách rẻ nhất để biến một phân bố khối lượng thành một phân bố khác — từ việc di chuyển đống cát cho tới so sánh ảnh, phân bố xác suất và quần thể tế bào.
Trực giácChuyển một đống cát vào một cái hố với chi phí thấp nhất
Hãy tưởng tượng một đống cát có hình dạng nào đó, và một cái hố trên mặt đất có đúng cùng tổng thể tích nhưng hình dạng khác. Bạn muốn chuyển mọi hạt cát vào hố sao cho tổng công sức bỏ ra là ít nhất, biết rằng di chuyển một hạt cát một quãng đường tốn đơn vị công — hạt cát đi càng xa thì càng tốn công hơn. Đây chính là bài toán vận tải tối ưu: cho một phân bố khối lượng nguồn và một phân bố đích có cùng tổng khối lượng, hãy tìm cách rẻ nhất để sắp xếp lại phân bố này thành phân bố kia.
Nghe có vẻ chỉ là một câu đố vật lý thuần túy về cát, nhưng đúng câu hỏi đó — khớp một phân bố vật chất này với một phân bố khác sao cho chi phí thấp nhất — lại xuất hiện mỗi khi ta so sánh hai phân bố xác suất, hai bức ảnh, hai biểu đồ cung-cầu kinh tế, hay hai hình dạng. Vận tải tối ưu đo chính xác mức độ khác nhau giữa hai phân bố, và cho biết chính xác cách biến phân bố này thành phân bố kia.
Ví dụ: Một ví dụ tối giản: hai đống cát, hai cái hố
Giả sử bạn có một đơn vị cát tại vị trí và một đơn vị cát khác tại , cùng hai cái hố kích thước một đơn vị tại và . Di chuyển một đơn vị cát một quãng đường tốn đơn vị công. Chỉ có hai cách khớp đống cát với hố: gửi và , hoặc gửi và . Cách khớp nào rẻ hơn, và chi phí tổng nhỏ nhất là bao nhiêu?
Lời giải
Cách khớp trực tiếp (không bắt chéo) tốn . Cách khớp bắt chéo tốn . Vậy lựa chọn rẻ nhất là gửi mỗi đống cát tới hố gần hơn mà không để đường đi bắt chéo nhau, cho chi phí tổng nhỏ nhất là . Đây đã là mầm mống của một sự thật tổng quát dùng sau này: với chi phí trên đường thẳng thực, một kế hoạch vận tải tối ưu luôn bảo toàn thứ tự — nó không bao giờ định tuyến hai đơn vị khối lượng theo những đường bắt chéo nhau.
Đại họcÁnh xạ của Monge và sự nới lỏng của Kantorovich
Năm 1781, nhà toán học kiêm kỹ sư quân sự người Pháp Gaspard Monge đã phát biểu chính xác bài toán: cho một độ đo nguồn trên không gian và một độ đo đích trên không gian có cùng tổng khối lượng, cùng một hàm chi phí cho biết giá chuyển một đơn vị khối lượng từ đến , hãy tìm một ánh xạ **đẩy tới thành ** — ký hiệu , nghĩa là với mọi tập đo được — sao cho tổng chi phí vận tải nhỏ nhất:
Phát biểu ban đầu của Monge thường không hề có nghiệm. Ví dụ rõ nét nhất: cho là một khối điểm duy nhất tại gốc tọa độ, và chia khối lượng của nó cho hai điểm. Bất kỳ ánh xạ nào cũng phải gửi tới một điểm duy nhất , nên lại là một khối điểm — nó không bao giờ có thể bằng , dù được chọn thế nào. Bài toán Monge ở đây không khả thi dù rõ ràng có một cách hợp lý để chuyển khối lượng: chia đôi, một nửa đi trái, một nửa đi phải. Một ánh xạ tất định đơn giản là không thể chia tách khối lượng.
Định nghĩa: Kế hoạch vận tải và khớp nối
Cho và , một kế hoạch vận tải (hay khớp nối) là một độ đo xác suất trên mà hai độ đo biên của nó khôi phục lại và : Hãy hiểu như "bao nhiêu khối lượng di chuyển từ gần tới gần ": một ánh xạ tất định ứng với khớp nối đặc biệt , nhưng một tổng quát cũng được phép gửi một điểm khối lượng duy nhất tới nhiều đích cùng lúc. Tích độc lập luôn nằm trong , nên — khác với tập các ánh xạ Monge — tập này không bao giờ rỗng.
Với các độ đo xác suất trên , trên (không gian Ba Lan) và một hàm chi phí liên tục, bị chặn dưới, bài toán Kantorovich bằng một bài toán đối ngẫu cực đại hóa trên các cặp thế Kantorovich , thỏa mãn tại mọi điểm: và cả cực tiểu lẫn cực đại đều đạt được.
Vì sao đúng?
Hãy hình dung là mức giá thu khi lấy khối lượng tại và là mức giá trả khi giao tại , trong một thị trường phi tập trung gồm các hãng vận chuyển độc lập. Không hãng nào có thể sinh lời bằng cách phá giá tuyến đường trực tiếp: mua ở giá rồi bán ở giá không bao giờ có thể tốt hơn việc thực sự chuyển khối lượng và trả — đúng bằng ràng buộc . Trong một thị trường cân bằng tối ưu, đẳng thức xảy ra đúng dọc theo những tuyến đường thực sự được một kế hoạch tối ưu sử dụng.
Chứng minh
Với các độ đo rời rạc hữu hạn , , bài toán Kantorovich chính là quy hoạch tuyến tính hữu hạn với ràng buộc , , . Bài toán đối ngẫu của nó chính xác là với ràng buộc với mọi — mỗi biến đối ngẫu ứng với một ràng buộc biên gốc. Bài toán gốc khả thi (khớp nối tích luôn hoạt động) và bị chặn dưới bởi , còn đa diện khả thi compact, nên đối ngẫu mạnh của quy hoạch tuyến tính cho hai giá trị tối ưu bằng nhau, và cả hai đều đạt được. Điều này chứng minh chính xác định lý trong trường hợp rời rạc; phát biểu tổng quát trên không gian Ba Lan suy ra từ cùng khuôn mẫu gốc-đối ngẫu, áp dụng đối ngẫu Fenchel–Rockafellar cho các phiếm hàm lồi trên (Kantorovich 1942; xem Villani 2009, Định lý 5.10, để có lập luận đầy đủ).
Chứng minh trên cho các độ đo hữu hạn là một ứng dụng trực tiếp của đối ngẫu quy hoạch tuyến tính — chính xác là bộ máy gốc-đối ngẫu của tối ưu lồi: kế hoạch vận tải là biến gốc, các thế là các biến đối ngẫu (Lagrange) gắn với các ràng buộc biên, và đối ngẫu mạnh đúng vì lồi và compact. Đây là cầu nối thật sự đầu tiên trong hai cầu nối từ vận tải tối ưu tới các lĩnh vực lân cận: lý thuyết độ đo cung cấp ngôn ngữ ( như các độ đo, phép đẩy tới, độ đo biên), còn đối ngẫu lồi cung cấp kỹ thuật chứng minh.
Nâng caoĐịnh lý Brenier và hình học của không gian Wasserstein
Cho là các độ đo xác suất trên có mô men bậc hai hữu hạn, và giả sử liên tục tuyệt đối đối với độ đo Lebesgue. Với chi phí toàn phương tồn tại một hàm lồi , duy nhất sai khác một hằng số cộng, sao cho xác định hầu khắp nơi theo , thỏa mãn , và là nghiệm tối ưu (về bản chất là duy nhất) của cả bài toán Kantorovich lẫn bài toán gốc của Monge.
Vì sao đúng?
Bất kỳ kế hoạch tối ưu nào đối với một chi phí lồi chặt như đều được hỗ trợ trên một tập **đơn điệu chu trình theo **: không phép ghép lại hữu hạn nào của các cặp có thể làm giảm tổng chi phí. Với chi phí toàn phương, tính đơn điệu chu trình của một tập các cặp hóa ra chính xác là điều kiện tồn tại một hàm lồi sao cho nằm trong vi phân dưới của nó tại với mọi — đây chính là định lý Rockafellar đặc trưng các tập đơn điệu chu trình như là vi phân dưới của các hàm lồi. Vì liên tục tuyệt đối, một hàm lồi khả vi hầu khắp nơi theo (định lý Alexandrov), biến vi phân dưới đa trị thành một ánh xạ gradient thực sự .
Chứng minh
(Phác thảo, theo Brenier 1991.) Bước 1: đối ngẫu Kantorovich với cho phép viết lại các thế tối ưu qua sao cho lồi và biến đổi Legendre đóng vai trò thế thứ hai; ràng buộc đối ngẫu trở thành chính xác trên giá của một tối ưu. Bước 2: định lý Rockafellar khẳng định mọi tập con đơn điệu chu trình của nằm trong đồ thị của với một hàm lồi nửa liên tục dưới nào đó; giá của kế hoạch tối ưu là đơn điệu chu trình vì cực tiểu hóa , nên không phép ghép lại hữu hạn nào giữa hữu hạn cặp trên giá có thể làm giảm ngặt . Bước 3: vì Lebesgue, khả vi hầu khắp nơi theo nhờ định lý Alexandrov, nên tập trung trên đồ thị , tức . Điều này cho ra một ánh xạ tối ưu tất định , nên nó cũng giải bài toán Monge, và bất kỳ ánh xạ tối ưu nào khác đều phải trùng với nó hầu khắp nơi theo nhờ tính lồi chặt của chi phí.
Một khi chi phí cố định là , chính chi phí vận tải nhỏ nhất trở thành một khoảng cách thực sự giữa các độ đo xác suất — khoảng cách Wasserstein bậc hai . Không gian gồm các độ đo xác suất có mô men bậc hai hữu hạn, trang bị , hoạt động một cách đáng kinh ngạc giống như một đa tạp Riemann vô hạn chiều thực thụ: phép suy nghiệm của Felix Otto — nay gọi là phép tính Otto — coi một vectơ tiếp xúc tại là một trường vận tốc nghiệm đúng phương trình liên tục , với mêtric Riemann . Các trắc địa trong cấu trúc Riemann hình thức này chính là các đường đi tốc độ hằng dựng từ chính ánh xạ Brenier ở trên. Cấu trúc Riemann hình thức này trên không gian độ đo chính là cầu nối thật sự thứ hai — lần này là từ vận tải tối ưu tới hình học Riemann.
Ví dụ: Vận tải tối ưu tường minh giữa hai phân bố Gauss tâm gốc
Cho và là các phân bố Gauss một chiều tâm gốc với độ lệch chuẩn và . Hãy dùng định lý Brenier để viết ra ánh xạ vận tải tối ưu đẩy tới thành với chi phí toàn phương, và tính .
Lời giải
Cả hai độ đo đều tâm gốc, nên ánh xạ vận tải tối ưu Gauss 1 chiều tổng quát rút gọn thành phép co giãn vô hướng thuần túy . Đây đúng là gradient của hàm lồi toàn phương , vì , xác nhận định lý Brenier. Có thể kiểm tra trực tiếp rằng đẩy tới thành : nếu thì . Chi phí vận tải là , nên , khớp với công thức Gauss tổng quát khi hai trung bình bằng nhau.
Nghiên cứuLồi dịch chuyển, độ cong, và vận tải quy mô lớn
Một trắc địa trong không gian Wasserstein được gọi là một phép nội suy dịch chuyển; một phiếm hàm trên các độ đo (chẳng hạn entropy với ) là lồi dịch chuyển nếu lồi dọc theo mọi trắc địa như vậy. Khoảng 2006–2009, John Lott và Cédric Villani, và độc lập với họ, Karl-Theodor Sturm, đã dùng tính lồi dịch chuyển của entropy dọc theo trắc địa để định nghĩa một chặn dưới tổng hợp (kiểu độ cong-chiều) cho độ cong Ricci — điều kiện — cho các không gian độ đo-mêtric hoàn toàn tổng quát, không cần cấu trúc đa tạp trơn. Điều đáng chú ý là các chặn độ cong-chiều này ổn định dưới giới hạn Gromov–Hausdorff, cho phép các nhà hình học hiểu được các không gian "cong" xuất hiện như giới hạn của các đa tạp Riemann, hay các không gian (đồ thị, fractal, không gian kỳ dị) chưa từng trơn ngay từ đầu.
Một ứng dụng rất khác, hoàn toàn đương đại: năm 2017, Martin Arjovsky, Soumith Chintala và Léon Bottou đề xuất Wasserstein GAN, thay divergence Jensen–Shannon dùng để huấn luyện mạng đối kháng sinh cổ điển bằng khoảng cách Wasserstein bậc 1 (dạng đối ngẫu Kantorovich–Rubinstein) giữa phân bố dữ liệu thật và phân bố sinh ra. Vì vẫn "ngoan" và cho gradient hữu ích ngay cả khi hai phân bố có giá rời nhau — khác với divergence Jensen–Shannon vốn bị bão hòa — việc huấn luyện WGAN ổn định hơn rõ rệt và ít bị sụp mode hơn nhiều, và kỹ thuật này vẫn là một khối xây dựng chuẩn của mô hình sinh hiện đại.
Vì sao phát biểu gốc của Monge về vận tải tối ưu đôi khi hoàn toàn không có nghiệm, trong khi sự nới lỏng của Kantorovich luôn có một nghiệm cực tiểu (với các điều kiện nhẹ)?
Theo định lý Brenier, với chi phí toàn phương và độ đo nguồn liên tục tuyệt đối trên , ánh xạ vận tải tối ưu có dạng gì (hầu khắp nơi)?
Trong định lý đối ngẫu Kantorovich, ràng buộc nào liên kết hai thế Kantorovich và trong bài toán đối ngẫu?
Vì sao chính quy hóa entropy năm 2013 của Cuturi (dẫn tới thuật toán Sinkhorn) đã làm thay đổi vận tải tối ưu tính toán trong học máy?
Tài liệu tham khảo
- Cédric Villani (2009). Optimal Transport: Old and New
- Marco Cuturi (2013). Sinkhorn Distances: Lightspeed Computation of Optimal Transport · arXiv:1306.0895
- Yann Brenier (1991). Polar Factorization and Monotone Rearrangement of Vector-Valued Functions · DOI:10.1002/cpa.3160440402
- John Lott, Cédric Villani (2009). Ricci Curvature for Metric-Measure Spaces via Optimal Transport