Wasserstein距离简介

Wasserstein 距离是一种衡量两个概率分布之间差异的度量，在最优传输理论中有着核心地位。相比于 KL 散度等传统度量，Wasserstein 距离能更好地反映分布之间的几何结构差异，因此在机器学习、计算机视觉等领域得到了广泛应用。

直观理解：推土机距离

Wasserstein 距离最经典的直观解释是推土机距离（Earth Mover’s Distance, EMD）：

把一堆土从当前位置搬运到目标位置，最小化总搬运工作量。

假设有两堆形状不同的土堆 $\mathbb{P}$ 和 $\mathbb{Q}$：

• $\mathbb{P}$：当前位置的土堆（源分布）
• $\mathbb{Q}$：目标形状的土堆（目标分布）
• $c(x, y)$：从位置 $x$ 搬运一单位土到位置 $y$ 的代价，通常取欧氏距离的 $p$ 次方 $\|x - y\|^p$
• 在所有可能的搬运方案（Transport Plans）中，找到能将 $\mathbb{P}$ 完全重塑为 $\mathbb{Q}$ 且总做功最小的方案

Wasserstein 距离 = 将所有土从 $\mathbb{P}$ 的形状搬运成 $\mathbb{Q}$ 的形状所需的最小总代价。

图1：推土机距离示意图——将左侧分布 $\mathbb{P}$ 的土搬运成右侧分布 $\mathbb{Q}$ 的形状

Kantorovich 问题：从直觉到数学

从直觉到公式

搬运土堆比喻很直观——把 $\mathbb{P}$ 形状的土堆搬成 $\mathbb{Q}$ 的形状，最小化总搬运代价。现在需要把这个直觉写成数学。

要精确描述一个运输方案，只需要回答三个问题：

1. 谁搬到谁——$x$ 处的土有多少运到了 $y$？
2. 搬多少——从 $x$ 运出的总量 = $\mathbb{P}$ 在 $x$ 的质量；运入 $y$ 的总量 = $\mathbb{Q}$ 在 $y$ 的质量
3. 花多少钱——每单位土从 $x$ 到 $y$ 的代价是 $c(x,y)$，总代价 = 每段路程的运量 × 单价，求和

Kantorovich（1942）用联合分布 $\gamma(x, y)$ 统一回答了这三个问题：

• $\gamma(x, y)$：从 $x$ 运到 $y$ 的土量（回答"谁搬到谁"）
• $\gamma$ 作为运输计划的概率密度（或质量函数），称为 运输计划（transport plan / coupling）

Kantorovich 问题

$$\mathcal{W}_c(P, Q) = \inf_{\gamma \in \Gamma(\mathbb{P}, \mathbb{Q})} \int_{\mathcal{X} \times \mathcal{Y}} c(x, y) \, d\gamma(x, y)$$

其中：

$$\Gamma(\mathbb{P}, \mathbb{Q}) = \left\{ \gamma \in \mathcal{P}(\mathcal{X} \times \mathcal{Y}) : \begin{array}{l} \text{Proj}_{1\sharp}\gamma = \mathbb{P} \\ \text{Proj}_{2\sharp}\gamma = \mathbb{Q} \end{array} \right\}$$

$\Gamma(\mathbb{P}, \mathbb{Q})$ 是所有边际分别为 $\mathbb{P}$ 和 $\mathbb{Q}$ 的联合分布的集合。

为什么这个形式是好的？

1. 凸优化问题：目标函数关于 $\gamma$ 是线性的，约束是凸的 → 一个线性规划（在无穷维空间上）
2. 解总是存在：不要求一个 $x$ 只能映射到一个 $y$，允许分拆运输（mass splitting），总能构造出满足边际约束的 $\gamma$
3. 对偶性：凸结构使得强对偶成立，因此可以推导出对偶形式

离散情形下的直观理解

在离散情形下，$\mathbb{P}$ 和 $\mathbb{Q}$ 是两个离散分布：

$$\mathbb{P} = \sum_{i=1}^{m} p_i \delta_{x_i}, \quad \mathbb{Q} = \sum_{j=1}^{n} q_j \delta_{y_j}$$

运输计划 $\gamma$ 变成一个 $m \times n$ 的矩阵：

$$\gamma = \begin{pmatrix} \gamma_{11} & \gamma_{12} & \cdots & \gamma_{1n} \\ \gamma_{21} & \gamma_{22} & \cdots & \gamma_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ \gamma_{m1} & \gamma_{m2} & \cdots & \gamma_{mn} \end{pmatrix}$$

约束条件：

$$\sum_{j} \gamma_{ij} = p_i \quad (\text{行和} = \mathbb{P} \text{的质量}), \qquad \sum_{i} \gamma_{ij} = q_j \quad (\text{列和} = \mathbb{Q} \text{的质量})$$

这正是一个标准的运输线性规划（transportation LP）。

Kantorovich 问题变为：

$$\min_{\gamma \ge 0} \sum_{i=1}^{m} \sum_{j=1}^{n} c(x_i, y_j) \cdot \gamma_{ij}, \quad \text{s.t. } \gamma\mathbf{1} = p,\; \gamma^\top\mathbf{1} = q$$