找不到工作的底层码农视角下的最优传输(1)

OT的目的不过就是想要知道概率分布到另一个概率分布的最优方法，就好像把一些地方的土木从一个地方运到另一个地方来造长城，怎么搬运最短，遗憾的是中国的古人没有总结出一套完整的数学理论。但是蒙日提出来了这个问题

---

蒙日问题(MP)：是定义了 $T_{\sharp}$ 作为一个传输的映射，最优传输就是这个映射的解

$$\inf\{ M(T):=\int_X c(x,T(x))d \mu(x)\mid T_{\sharp} \mu = \nu \}$$

这里的 $c$ 就是两个点的传输距离。然而这个问题是非常难的，主要在于所有这个传输映射的全集甚至可能是太奇异了。于是Kantorovich把这个问题换成了下面这个更容易解的问题（KP）

$$\inf \{\int _{X\times Y} c(x,y)d \gamma(x,y)\mid \gamma \in \Pi(\mu,\nu)\}$$

其中

$$\Pi(\mu,\nu)=\{\gamma\in P(X\times Y) \mid \pi_{X{\sharp}}=\mu,\pi_{Y{\sharp}}=\nu\}$$

这个问题会更容易解，因为这个 $\Pi$ 是凸集，而这个优化问题对 $\gamma$ 来说其实是一个线性的。可能不存在最有传输映射，但是最优传输方案一定存在。

KP解存在性

可以跳过这一步，数学上的严密性罢了，但是能进一步理解对偶

这里面核心的定理是说，如果 $X$ 和 $Y$ 是紧度量空间，在上面定义的两个概率函数，以及一个连续代价函数 $c:X\times Y\to R$ ，那么KP问题存在一个解。

核心是Weierstrass定理，说一个函数 $f:X\to R\cup \{+\infty\}$ 如果是下半连续，并且 $X$ 是紧的，那么就存在点 $\bar x\in X$ 满足 $f(\bar x)=\min_{x\in X} f(x)$ 。

我们先考虑代价函数 $c$ 的连续性，不过由于正无穷等原因，我们尝试把函数的收敛定义的更广义（我不清楚是不是这个原因），我们得考虑这个测度空间的对偶，从而引出weak*收敛。

弱收敛是是指，对于固定的对偶空间中的元素，他们的内积收敛。弱*收敛则定义在其对偶空间的弱收敛。

测度：有限带符号测度的定义是说度量空间 $X$ 上的一个映射 $\lambda$ ，对任何 Borel集 $A\subset X$ ，给出一个实数$\lambda(A_i)$，对于任意可数不交并 $A=\bigcup_i A_i$，满足 $\sum_i|\lambda(A_i)|<+\infty$ 并且 $\lambda(A)=\sum_i \lambda(A_i)$。这样能给出 $X$ 上有限带符号测度的集合 $\mathcal M(x)$，一个正的有限标量测度 $|\lambda|\in \mathcal M_+(X)$定义是 $|\lambda|(A):=\sup\{\sum_i |\lambda(A_i)|\}$，所有可能的分割。一个正测度满足 $\mu(X)=1,\mu\in \mathcal M_+(X)$，那么这个测度叫概率测度。

Borel集是从开集开始的一种sigma代数，对补集，可数并，可数交封闭。

连续函数空间：对于度量空间 $X$，可以定义 $C_0(X)$ 作为无穷远处为零的连续函数空间，方法是首先要 $f\in C(X)$，并且对于任何 $f\in C_0(X)$ 都可以对任何 $\epsilon>0$，满足存在紧集 $K\subset X$，且 $X\setminus K$ 都满足 $|f|<\epsilon$。如果我们定义 $C_0(X)$ 的上确界范数定义为 $||f||_{\infty}:=\sup_{x\in X} f(x)$，则能得到 $C_0(X)$ 在上确界范数下是一个 Banach 空间。类似我们定义 $C_b(X):=\{f\in C(X),\exists M,\forall x\in X,|f(x)|\le M\}$，这个叫有界连续函数。这里 $C_0(X)$ 是 $C_b(X)$ 的闭子集，两者都可以作为 $\mathcal M(X)$ 的对偶空间。

Banach空间是一个完备的赋范向量空间，完备性意味着任何柯西列在空间中收敛到极限。

有界连续函数的紧性：一个有界连续函数空间 $C_b(X)$ 在上确界范数下是一个紧的度量空间。证明则是考虑任何一个柯西列 $\{f_n\}$，利用 $n,m>n_0$ 可以很小，推出任何 $x$， $\{f_n(x)\}$ 是 $R$ 中的柯西列，由 $R$ 的紧性，从而定义一个新的函数 $f$。而对于充分大的 $n$，$f(x)\le |f(x)-f_n(x)|+|f_n(x)|\le \epsilon/4+||f_n(x)||_{\infty}$，可知有界，同时对于 $d(y,x)<\delta$， $|f(y)-f(x)|\le |f(y)-f_n(y)|+|f_n(y)-f_n(x)|+|f_n(x)-f(x)|\le 3\epsilon/4$，从而连续。所以是紧的，且紧性只依赖于 $R$ 的紧性。

对偶性：Riesz表示定理在这里是说，对于可分局部紧的度量空间 $X$，若 $\mathcal X=C_0(X)$，对于其对偶 $\xi\in \mathcal X'$，存在唯一的 $\lambda \in \mathcal M(X)$，满足 $\left<\xi,\varphi\right>=\int \varphi d\lambda$ 对于每一个 $\varphi\in \mathcal X$ 都成立。进一步有 $\mathcal X'$ 同构于 $\mathcal M(X)$，$\mathcal X'$ 中范数定义为 $||\lambda||:=|\lambda|(X),\forall \lambda \in \mathcal M(X)\cong X'$。这说明测度空间和连续函数空间 $C_0$ 是对偶的。同样也对 $C_b$ 成立。

$X$ 是度量空间， $\mathcal X=C_0(X)$ 是其上面的连续函数集合，$\mathcal X'$ 是对偶，是一个连续线性泛函的集合，$\lambda \in \mathcal M(X)$ 是一个测度，于是这里说一个连续线性泛函的这个空间，也就是函数的对偶空间和测度的空间是同构的，每个线性泛函对应唯一的一个测度。

如果在微分几何中考虑，连续函数是一个标量函数，测度是一个作用在标量函数上的东西，标量函数是(0,0)，测度作用在标量函数上，所以是(0,1)型张量。左边内积部分 $\xi$ 是一个(0,1)张量作用在函数上，$\varphi$ 是一个 (0,0) 张量。泛函作用在函数上输出标量，测度对函数的积分输出标量。

于是一个测度的范数定义成在全空间上的全变差。

此处我不知道证明

连续性条件证明

到这里我们就可以定义测度序列的弱收敛了，也就是 $\mathcal M(X)$ 中测度序列 $\{\mu_n\}$ 在 $C_0$ 或 $C_b$ 下弱收敛。如果 $X$ 紧集则 $C_0(X)=C_b(X)=C(X)$ ，而我们要证明的存在性里面是紧的，所以因为任何一个概率测度弱收敛，则

$$\mu_n\rightharpoonup \mu$$，对于 $$c \in C(X\times Y)$$，有 $$\lim \left<\mu_n,c\right>=\left<\mu,c\right>$$，所以这个内积，也就是这个代价函数是连续的。 >把柯西列收敛到柯西列的函数是连续函数 **紧性条件证明** 接下来我们考虑这个空间的紧性，取一些满足我们要求的联合概率分布的一个序列 $$\{\gamma_n\}$$，作为概率测度他们在 $$\mathcal M(X\times Y)$$ 中是有界的，而其对偶空间 $$C(X\times Y)$$ 是一个可分的（因为紧）banach空间，Banach-Alaoglu定理表明可分banach空间的对偶空间是弱*紧的。固定 $$\varphi \in C(X)$$，有 $$\int\varphi(x) d_{\gamma_{n_k}}=\int\varphi(x) d_{\mu}$$，取极限后又对任何成立。（其实就是 $$(\pi_x)_{\sharp}\gamma_{n_k} =\mu$$）所以 $$(\pi_x)_{\sharp}\gamma =\mu$$，同理另一侧，所以 $$\gamma\in \Pi(\mu,\nu)$$。也就是这个空间是紧的。 所以得证。 通过一些一系列的放松条件（但是太难了），$$X$$,$$Y$$ 只要是完备可分度量空间，Polish空间，但是度量要紧的，连续函数可以只是下半连续代价函数，也就是Polish空间下半连续代价函数也就足够又KP解的存在性。 --- 简单想我们考虑深度学习里怎么用这个方法，把空间离散化，$$X$$ 是数据点，$$\mu=\sum \mu_i\delta_{x_i}$$，这里的 $$\delta$$ 狄拉克函数，那么 $$\gamma=\sum_{i,j} \gamma_{ij} \delta _{x_i}\delta_{x_j}$$。然后可以线性规划。但是这个维度吧，在深度学习中，这个是 $$O(N^2)$$ 的变量，很慢，Monge的映射只有 $$O(N)$$，所以还是会觉得应该简化。 一种常见的简化方法叫做 **对偶**。 **拉格朗日乘子** 前面提到我们应该是有$$

\begin{align}
\intX \varphi \, d\mu &= \int{X \times Y} \varphi(x) \, d\gamma(x, y) \
\intY \psi \, d\nu &= \int{X \times Y} \psi(y) \, d\gamma(x, y)
\end{align}

$$换言之$$

\sup{\varphi,\psi}\int_X \varphi \, d\mu + \int_Y \psi \, d\nu - \int{X \times Y} (\varphi(x) + \psi(y)) \, d\gamma(x, y)=\cases{0,\gamma\in\Pi(\mu,\nu)\+\infty,\text{others}}

$$把这个作为一个惩罚函数，用拉格朗日乘子。在很宽泛的条件下我们有$$

\begin{align}
\min\gamma \int{X \times Y} c \, d\gamma + \sup{\varphi, \psi} \left( \int_X \varphi \, d\mu + \int_Y \psi \, d\nu - \int{X \times Y} (\varphi + \psi) \, d\gamma \right)
\end{align}

$$变成$$

\begin{align}
\sup{\varphi, \psi} \left( \int_X \varphi \, d\mu + \int_Y \psi \, d\nu + \inf\gamma \int_{X \times Y} (c(x,y) - (\varphi(x) + \psi(y))) \, d\gamma \right)
\end{align}

$$所以$$

\inf{\gamma \geq 0} \int{X \times Y} (c - \varphi \oplus \psi) \, d\gamma =
\begin{cases}
\text{something}, & \varphi \oplus \psi \leq c \text{ 在 } X \times Y \text{ 上}, \
-\infty, & \varphi \oplus \psi > c,
\end{cases}

$$于是对偶问题(DP)变成了$$

\max { \int_X\varphi d\mu+\int_Y\psi d\nu:\varphi\oplus\psi\le c}

$$> 这里的 $$\psi,\varphi$$ 被称为 Kantorovich potential。遗憾的是这个可容许的空间并不是紧的，很难直接说这个解的存在性。但我们依然可以证明DP问题解的存在性 > > 如果是最大化倒是可以理解，因为肯定大了才能恰好切到，但上面那个所以是不是不是很成立。怎么理解这个问题是一个对偶问题呢，个人觉得最本质的在于建立起两个一阶的和一个二阶的概率的联系，也就是这个不等号。 --- 目标：DP解的存在性 **c-transform** 勒让德对偶$$

\bar f(y)=\sup_x\left-f(x)

$$给出了函数的所有的supporting plane，求两次勒让德对偶就变成了最小凸函数，其实就是把这一系列的直线的包络。 而 c-transform则是$$

f^c(y)=\sup_xc(x,y)-f(x)

$$如果定义函数 $$\Gamma_y=c(x,y)-f(x)$$ 是关于 $$x$$ 的函数，就是求这些函数的包络。可以通过分解成supporting curves，来把原来函数还原出来。 --- **Theorem**: 给定紧度量空间 $$X$$,$$Y$$ 和定义在上面的**连续**代价函数 $$c$$，两个 c-convex或者c-bar-convex的函数 $$\psi,\varphi$$，则对偶问题存在解。 > 证明会用到连续模等工具，c变换保持连续模，则两个序列 $$\psi_n,\varphi_n$$ 与代价函数连续模相同，所以等度连续，调整一个函数使其最小值为零，另一个函数对应增大。那么最小值为零的那个函数因为等度连续，最大值也不会很大，和所属空间的直径有关。至少是有一致界，同样对于c-transform，其对偶也有一致有界。所以一致收敛+等度连续 -> 一致收敛，所以解存在。 大概是如果我知道 $$\psi=\varphi^c,\varphi=\psi^\bar c$$，如果你有精确的算法算这个c-transform，那么可能迭代3次就行。但是很难算这个transform就是了。 原问题与对偶问题等价性则是构造性的，一方面直接能得到 (DP)<=(KP) ，反方向的证明用到的一个概念叫做循环单调性。简单来说最后是在给定支撑集的意义下，构造出了一组对偶的 $$\varphi$$ 和 $$\psi$$，就是 $$\varphi\oplus\psi=c$$。 TODO > 一种常见的验证计算出来的和最优传输的距离的方法是，对于连续代价函数c，其支撑集是c-循环单调。这个计算的代价不高，somehow可以放到loss function里。 **Theorem**: 给定紧度量空间 $$X$$,$$Y$$ 和定义在上面的一致连续且有界的代价函数 $$c$$，则 max(DP)=min(KP)。 --- **Brenier problem** 我们前面已经得到了对偶问题，在一些比较好的条件下$$

\varphi^c(y)=\inf _{y} c(x,y)-\varphi(x)

$$对右侧求导等于零，$$

\nabla c(x,y)-\nabla \varphi(x)=0

$$取 $$c(x,y)= h(x-y)$$，其中 $$h$$ 是一个凸函数，它上面的梯度算子可逆，那么就有$$

x-y=(\nabla h)^{-1}\nabla \varphi(x)

$$从而这是一个最优传输映射。比如取 $$h=\frac{1}{2}|x-y|^2$$， $$T(x)=\nabla (\frac{1}{2}||x||^2-\varphi(x))$$

Brenier formulation，Theorem: $T(x)=\nabla u$。

1. 设定：考虑$X = Y = \mathbb{R}^d$，假设$\mu$和$\nu$都是有限二阶矩的概率测度，且$\mu$不将质量赋予小集（Hausdorff维数至多为(d-1)的集合）。成本函数为$c(x, y) = \frac{1}{2} \|x - y\|^2$。

2. 最优传输映射：

   • 对于每个在$\Pi(\mu, \nu)$上最小化$\mathcal{K}$的$\pi^\dagger$，存在一个在$\mathcal{T}$上最小化$\mathcal{M}$的$T$，使得$\pi^\dagger = (\text{Id}, T)_{\sharp}\mu$。
   • 对于每个$T \in \mathcal{T}$，$T$在$\mathcal{T}$上最小化$\mathcal{M}$当且仅当$T = \nabla \varphi$，其中$\varphi$是某个适当的下半连续凸函数，且$\varphi \in L_1(\mu)$。

3. 唯一性：

   • 在$\mathcal{T}$上存在一个唯一的（$\mu$-几乎处处）$\mathcal{M}$的最小化器。

在最优传输问题中，Brenier定理指出，对于在欧几里得空间上的两个概率测度（一个是绝对连续的），存在一个唯一的（几乎处处）梯度映射，该映射可以通过一个凸函数的梯度来实现。这个凸函数就是所谓的Brenier势。最优传输映射是Brenier势的梯度。

也可以看成三个方向：

$$\nabla u=T,\nabla(\Omega)=\Omega^*,\det D^2 u=\frac{f}{g \cdot \nabla u}$$，第三个是蒙日-安培方程。 > 对偶的观点容易看出来凸函数对偶是函数，在原空间的一条直线，在另一个空间是一个点，如果是支撑，在另一个空间则是epigraph上的点。同理，原空间的个点在对偶空间是一个直线。保凸可以通过凸函数最原始的定义来看，具体是epigraph是凸的得到函数是凸的。 > > 勒让德对偶另一重意思是 $$x\to y$$ 意味着 $$\varphi(x)+\varphi^c(y)=\left<x,y\right>$$，以及两个凸函数 $$u$$ 和 $$u^*$$ 的梯度其实是互逆的。 可以证明存在性和唯一性。 **Brenier极分解**：某种条件下，任何一个微分同胚变化 $$\xi$$，一定存在一个 $$u$$，和对应的 volume-perseving的 $$s$$，使得 $$T=(\nabla u)\circ s$$，其中 $$u$$ 是一个最优传输映射的brenier势，$$s$$ 是一个保体积的映射。 >听着有点像把一个矢量场分解成无散场和无旋场 > >Brenier极分解至少是实矩阵极分解和Hodge-Helmholtz分解的推广。 如果说 $$\xi$$ 把 $$L_{\Omega}$$ 映到 $$\mu$$ 上，证明是说构造一个 $$u^*$$ 这样的凸函数，使得 $$u^*$$ 把 $$\mu$$ push到 $$L_\Omega$$ 上。 那么让 $$s = u^* \circ \xi$$ ，会发现 $$s$$ 是 $$L_{\Omega} \to L_{\Omega}$$ 的。而定义 $$u$$ 是 $$u^*$$ 的对偶。 --- **最优传输映射如何推广到球面上** 球面上也可以定义切平面，一个平面的球极坐标表示为$$

\pi:={\rho(\vec x) \vec x\mid \rho(\vec x)=\frac{h}{\left<\vec{x},{\vec y}\right>} }

$$很容易理解，就是上面的点的高度和 $$y$$ 内积就是 $$h$$，直观上想把 $$h$$ 作为高度。 所以我们定义球面凸函数的 Legendre对偶（x和y都是矢量）$$

\rho^(y)=\sup{x\in S^2} \rho(x)\left<\vec x,\vec y \right>\
\rho(x)=\inf{y\in S^2} \frac{\rho^(y)}{\left}

$$直接推导可以发现$$

-\log \frac{1}{\rho(x)}+\log \frac{1}{\rho^*(y)}=\log \frac{1}{\left}

$$所以如果把 $$\varphi:=\log \rho,\psi=-\log \rho^*,c=-\log \left<x,y\right>$$，就回到了c-transform。所以同样的把最优传输里的Monge问题，Kantorovich对偶形式，用进去。 --- > 透镜设计，很有趣，但是skip --- **流体力学解释最优传输** 如果我们能得到一组概率测度，这族概率测度是Wasserstein Space的测地线。 我们先来考虑流体力学中对于恒定密度无粘性不可压缩理想流体的研究： 对流体力学我们有两套观点，Euler观点（定义了 $$v(t,x)$$ 和 $$\rho(t,x)$$） Lagrange观点（定义了位置 $$\gamma(t,x)$$），转化公式是$$

\cases{\frac{d}{dt} \gamma_x(t)=v_t(\gamma_x(t))\\gamma_x(0)=x}

$$**不可压缩流体**，速度场散度为零，$$\nabla \cdot \mathbf v = 0$$

物质导数，考虑 $\varphi=\varphi(x,t)$，关于位置和时间，$\frac{D\varphi}{Dt}=\frac{\partial \varphi}{\partial t}+v\cdot \nabla \varphi$，这个是链式法则的推论。

牛顿第二定律，不考虑粘性效应，只考虑表面力（如压强）和体作用力（如重力）

$$F_{\Omega}=\int_\Omega \rho g \mathrm d\Omega\\ F_{S}=\int_{S=\partial \Omega} - p\vec n\mathrm dS$$

那么

$$\int_\Omega \rho g \mathrm d\Omega+\int_{S} - p\vec n\mathrm dS=\int_\Omega \rho \frac{Dv}{dt} \mathrm d \Omega$$

点点成立，运用stokes定理，于是有（流体动量演化的Euler方程）

$$\rho\frac{Dv}{Dt}=-\nabla p + \rho g$$

如果考虑粘性之后会得到NS方程, $\rho\frac{Dv}{Dt}=-\nabla p + \rho g+\mu\nabla ^2v$

所谓的欧拉方程是就是在 $\Omega \subset R^n$ 中不可压缩无粘性流体的牛顿第二定律方程加上无散度性质，我们考虑证明其能量守恒，在最简单的版本无外力。

直接考虑对时间的导数，由于 $\rho$ 对时间是不变的（但是不严格似乎）

$$\frac{d }{d t}(\frac{1}{2}\rho \mathbf v\cdot \mathbf v)=\rho \mathbf v\cdot \frac{\partial \mathbf v}{\partial t}=-\rho v \cdot (v\cdot \nabla v)-v\cdot \nabla p$$

一方面就是对于标量场 $p$，矢量场 $v$，

$$\nabla \cdot (pv)= v\cdot \nabla p+ p(\nabla \cdot v)=v\cdot \nabla p$$

从而(考虑特殊的边界条件，在 $\Omega$ 的边缘我们一定有$v$ 和 $\Omega$ 边界相切)

$$\int_\Omega v\cdot \nabla p=\int_{\partial \Omega}\left<pv,n\right> ds=0$$

另一方面

$$\int_\Omega v\cdot (v\cdot \nabla v)=\int_{\Omega} \sum _{ij}v_jv_i\frac{\partial v^i}{\partial x^j}= \frac{1}{2}\int\sum_{ij}\frac{\partial v_i^2}{\partial x^j}v_j\\ =\frac{1}{2}\int_\Omega v\cdot \nabla ||v||^2=0$$

最后一步是因为这个 $||v||^2$ 是一个标量函数，所以适用于之前的 $\nabla\cdot (pv)=v\cdot \nabla p+p(\nabla \cdot v)$

所以合起来 $\frac{d}{dt} E=0$

这一项我大致的理解是说，如果我去看整体的变化，那么一部分是流动导致的，沿着方向有一些进来有一些出去，一部分是散度导致的，有一些扩张和收缩。

Hodge 分解说 $k$ 形式的 $w=d\alpha +\delta \beta+\gamma$z。

可压缩流体的连续性方程

大概是 $\nabla \cdot (\rho_t v_t)+\partial_t \rho_t=0$。他是质量守恒的微分表示，密度变化率和动量的散度有关。

这个方程有经典解，分布解，弱解……

如果由 $v_t$ 诱导的微分自同胚群 $g_t$ 把初始测度 $\rho_0$ 传输到 $\rho_t$，那么 $(v_t,\rho_t)$ 是连续性方程的唯一解。（为什么是唯一的？）

【流体力学】连续性方程 - 知乎

$$\frac{d\rho}{dt}=-\rho \nabla \cdot v\\\frac{\partial \rho}{\partial t}+v\cdot \nabla \rho+\rho \nabla \cdot v=\frac{\partial \rho}{\partial t}+\nabla (\rho \cdot v) = 0$$

Arnold几何化理论

不可压缩流体力学中，Euler方程视为保体积微分同胚群中的测地线方程。用 $\{g_t\}_{t\ge 0}$ 表示一个微分同胚族。它是保体积的。

$$\frac{\partial }{\partial t} \log \det (D_x g_t)=(\nabla \cdot v)(t,g_t(x))$$

暂时不知道怎么推，但是假装是对的的话那么这个映射就是保体积的。

$$v(t,g_t(x))=\frac{d}{dt} g(t,x)\iff v(t,y)=\frac{\partial g}{\partial t} \circ g^{-1}(t,y)$$

求两次偏导，只考虑压强的话，

$$\frac{d^2}{dt^2} g_t(x)= -\nabla p (t,g_t(x))$$

用 $G(\Omega)$ 表示一般情况下所有保持体积的微分同胚群，则 $g(t)$ 是黎曼流形上的一条路径。我们说其实只有压力场的话，是一条测地线。

首先它定义在哪里，定义在所有保体积的微分同胚群上，$g\in G(\Omega)$，我有两个点一个是 $g_0$，一个是 $g_1$，那么这个 $g(t),t\in [0,1]$ 就是一个曲线。之前说到 $g$ 是保体积的要求速度场无散，$\nabla \cdot v=0$，也就是 $\nabla \cdot \left[\frac{\partial g}{\partial t} \circ g^{-1}\right] = 0$，就是说 $\frac{\partial g}{\partial t} =\vec w \circ g$，其中 $\vec w$ 是一个无散的，换言之和切空间垂直的就要求旋度为零，是一个梯度场，不妨设 $\nabla p \circ g$，测地线要求加速度永远和这个切线垂直，惊奇地发现这个就是之前的不可压缩流体Euler发成中的Lagrange公式。

我数学不好，不知道什么同调，就先这么写着。我也不知道测地线为什么这么要求的，我也不知道这样为什么这个分解就是对的，我也还不知道为什么可以继承平方可积函数的黎曼度量来定义。

因为是用过程中的速度平方来定义距离 $[\int_{t_0}^{t_1} |\dot g(t)|^2 dt]^{1/2}$，这个理解成速度场决定的动能随时间的积分，所以在某些条件下（似乎得首先让压力场关于时间一致有界，取一些特殊的比较短程）我们觉得这里的能量是最小的。

---

依赖时间的最优传输

就是把时间积分起来，把所有可能的点积分起来，最开始是一个恒同映射。如果轨迹可微，就是把路径的代价和速度代价构建一个联系。如果对于所有 $x,y$ 满足 $c(x,y)=\inf C[z_t]_{0\le t\le 1}$ ，那么可以把和时间有关的代价和与实践无关的代价联系在一起。

凸函数最优轨迹

对于 $R^n$ 中最优传输映射，如果传输代价是严格凸函数，利用jensen不等式取等条件来看，其最优传输中 $\dot z_t$ 是常数，也就是 $z_t=x+t(y-x)$。

是的，这段话非常不清晰，不知道这样的笔记怎么看都是不对的。

定理 11.1（依赖时间的最优传输）

考虑在 $\mathbb{R}^n$ 上的传输代价函数 $c(x, y) = c(x - y)$，其中 $c$ 严格凸，$c(0) = 0$。设 $\mu, \nu$ 是在 $\mathbb{R}^n$ 中的概率测度，相对于 Lebesgue 测度绝对连续，令

$$C([z_t]) = \int_0^1 c(z_t) \, dt.$$

令 $\psi$ 是 $(d\mu$-几乎处处) 唯一的 $c$-凹函数，其梯度 $\nabla \psi$ 满足

$$[id - \nabla c^*(\nabla \psi)]_{\sharp} \mu = \nu.$$

那么依赖时间的最优传输问题 (11.2) 的解由下式给出：

$$T_t(x) = x - t \nabla c^*(\nabla \psi(x)), \quad 0 \leq t \leq 1.$$

他说在最优传输中激波不会出现。对于可压缩流体确实会出现激波在有限时间之内出现（两个轨道并在一起了，不再是微分同胚）但是在最优传输中不会出现。如果交叉的话看一下三角形不等式，违背了最优性。

测地线轨迹的Euler表示

最优传输映射的流体力学方程，一个是质量守恒，一个是加速度为零

$$\begin{cases} \frac{\partial \rho}{\partial t} + \nabla \cdot (\rho v) = 0 & \rho_0 = \mu \\ \frac{\partial v}{\partial t} + v \cdot \nabla v = \textcolor{red}{0}. \end{cases}$$

对于不同的传输代价得到的方程是同一个方程，传输代价隐藏在初始条件的速度场里。

初始速度场是 $v(t=0,\cdot )\nabla c^{-1}(\nabla \psi)$，数值上，似乎还是要用蒙日安培方程，依然要有势能函数。

McCann平移

就是 $Id$ 和 $\nabla \psi$ 的一个线性插值，实质上给出了 Wasserstein空间上的测地线。

保体积的微分同胚群定义了测地线

概率测度构成的空间给出了测地线

于是Wasserstein Distance看起来还是

$$\mathcal{W}_2(\mu, \rho_t)^2 = \int_{\mathbb{R}^n} \left| x - \left[(1-t)x + t \nabla \varphi(x)\right] \right|^2 \, d\mu(x) \\ = t^2 \int_{\mathbb{R}^n} \left| x - \nabla \varphi(x) \right|^2 \, d\mu(x) = t^2 \mathcal{W}_2(\mu, \nu)^2.$$

问题是，如何用物理的方法求出这个最优传输的解？这还是不知道

在Wasserstein空间的两个点 $\mu,\nu$ 之间有一个路径，因为 $(\nabla \psi)_(\mu)=\nu$，所以这两点之间的最短路径的一种看法就是利用 McCann平移，定义中间的过程为 $(1-t) Id+t \nabla \psi$。这是一个作用在概率测度上，得到一个概率测度的算子。

这种观点定义的Wasserstein距离如上述所提，在保体积微分同胚群的空间里去看，是一个最优传输。

Wasserstein空间

第二种观点看Wasserstein空间，可以从最小作用量来看

$$A[\rho,v]=\int_{0}^1 (\int_{R^n} \rho_t(x)|v_t(x)|^2 dx)dt$$

实际上，Wasserstein上，研究两个测度之间所有的流场，使得流场的总动能达到全局最小，最小的总动能被定义为两个测度之间的Wasserstein距离。

另一种看这条路径的方法是，我们走的是一个平移变化。根据质量守恒的连续性方程 $\nabla \cdot (\rho_t v_t)+\partial_t \rho_t=0$，很自然地要求在路径上某一点的切向量要形如 $-\nabla \cdot (\rho_t v_t)$ 的标量场，是某个概率密度。但也就是实际上是一个 $v_t$ 定义了一个矢量，不过满足这样条件的矢量 $v$ 实际上是有无限多的，假设 $v_0$ 是某个特殊的满足条件的速度矢量场，那么 $v=v_0+\epsilon \rho^{-1}\cdot w$ 对于任何无散向量场 $w$ 都成立。

一种不知道自不自然的方法是定义切向量的范数为（但是奇妙的是这种定义方法能和上面等价）

$$\left\| \frac{\partial \rho}{\partial t} \right\|_{\rho}^2 = \inf_{v \in L^2(d\rho; \mathbb{R}^n)} \left\{ \int \rho |v|^2; \frac{\partial \rho}{\partial t} + \nabla \cdot (\rho v) = 0 \right\}.$$

也就是在所有可能的从一个概率密度到另一个微小改变的概率密度的变化，这些所有变化里面那个动能最小的。

我们断言这个最小动能的 $v_0$ 其实也是个梯度场，因为它动能最小，所以必然有 $\int \rho |v_0|^2 \leq \int \rho \left| v_0 + \varepsilon \frac{w}{\rho} \right|^2$，取变分得到 $\int v_0 \cdot w = 0$，在 L2 意义下和任何无散向量场正交。

我的Wasserstein Distance在这种观点下有（Benamou-Brenier定理，证明略）

$$\mathcal{W}_2(\rho_0, \rho_1) = \inf \left\{ \int_0^1 \left\| \frac{\partial \rho}{\partial t} \right\|_{\rho(t)}^2 \, dt; \, \rho(0) = \rho_0, \, \rho(1) = \rho_1 \right\},\\ \left\| \frac{\partial \rho}{\partial t} \right\| = \int \rho |\nabla u|^2, \quad -\nabla \cdot (\rho \nabla u) = \frac{\partial \rho}{\partial t}.$$

不过至少现在我们有Riemann度量结构了，毕竟如果你切空间的模长按这个定义，我两个切向量的标量积就应该是

$$\left< \frac{\partial \rho}{\partial t_1},\frac{\partial \rho}{\partial t_2} \right> = \int \rho \left<\nabla u_1,\nabla u_2\right>$$

原始你看最优传输你是在所有保体积的微分同胚群下看的，当时的切向量是个无散场导出的东西，现在在Wasserstein空间看切向量反而是一个梯度场导出的东西了。

看着很对偶，毕竟一个是在看映射，一个是在看概率。

好，接下来应该就可以尝试看看Villani的Introduction了。希望能从中理解梯度流的概念。