你看不见的那一层高维球壳，
正是 Flow Matching 学的东西

§0这句话到底说了什么？

这句话其实是把三件不同的事叠加在一起讲：

§1流匹配在学什么 —— 把噪声"运输"到数据

所有生成模型本质上都在做一件事：把一个简单分布（例如 $N(0, I)$）变成一个复杂分布（例如所有自然图像的分布）。

不同的生成模型只是用不同的方式去做这种"运输":

• GAN：一步把噪声变成图（生成器是一个大函数 $G: z \mapsto x$）。
• Diffusion：分很多步，每步去掉一点噪声。
• Flow Matching：把整个过程看成一个连续时间的常微分方程（ODE），学这个 ODE 的速度场。

具体来说，定义一族中间分布 $p_t$，从 $p_0 = N(0, I)$（纯噪声）连续过渡到 $p_1 = $ 数据分布。每个粒子 $x_t$ 在每个时刻有一个速度 $\frac{dx}{dt}$，所有这些速度合起来就是一个向量场 / 速度场：

最简单也最常用的一种设计，叫 Rectified Flow / Conditional Flow Matching with optimal-transport coupling：让粒子走直线。

§2反直觉时刻 —— 高维 Gaussian 根本不是"一团云"

问你一个问题：你脑海里的 $N(0, I_d)$（$d$ 很大，比如 1024）长什么样？

大多数人的第一反应："一团绕着原点的雾，大部分概率密度在原点附近，越远越稀疏"——这在 1 维、2 维、3 维都对，但到了高维，这个图像是错的。

这是经典的 测度浓度 (concentration of measure) 现象。形象地说：

SD3 / Flux / DiT 这类现代生成模型，工作维度通常是 latent 的 $4 \times 64 \times 64 = 16384$ 或更大。所谓"采样一个噪声 $x_0$"，几何上就是在那层薄薄的 $\sqrt{d}$ 球壳上随机取一个点。

§3把两件事拼起来 —— 流匹配 $=$ 球壳上的散步

现在我们把 §1（速度场）和 §2（球壳）拼起来。

1. 起点：$x_0 \sim N(0, I_d)$，几乎一定满足 $\|x_0\| \approx \sqrt{d}$——位于噪声壳上。
2. 终点：$x_1 \sim p_{\text{data}}$。真实数据（图像 latent、speech token、3D 点云……）通常也有自己的典型范数 $\|x_1\| \approx R_{\text{data}}$，所以也大致活在某个"数据壳"上。
3. 中途：$x_t = (1-t) x_0 + t x_1$，它的范数会从 $\sqrt{d}$ 平滑过渡到 $R_{\text{data}}$。

所以一整条轨迹的形状是：

从噪声壳出发 $\;\to\;$ 一段 带方向 的连续运动 $\;\to\;$ 到达数据流形。
这就是原句里说的"球壳上一段运动轨迹"。

速度场 $u_\theta(x_t, t)$ 在每一点上其实可以分解为两个分量：

• 径向分量 $u_r$：决定范数怎么变（壳半径的演化）；
• 切向分量 $u_\perp$：决定在壳上朝哪个方向转（这就是"瞄向哪个目标点"）。

对早期 $t$（接近 $0$），$x_t$ 离 $x_0$ 很近、还在噪声壳附近，所以速度场主要在做切向调整——决定"这粒噪声将来要变成猫还是变成狗"。对后期 $t$（接近 $1$），径向分量才开始压缩范数，让样本落到数据流形上。

§4"偏置"是什么 —— 条件信息决定壳上选哪条路

现在最后一块拼图：原句里的"有偏置的"和"固定条件控制下"到底什么意思？

同一个噪声出发点 $x_0$，不能同时变成猫、变成狗、变成宇航员。要让它确定地变成"猫"，必须告诉网络一个条件 $c$（"猫"这个 prompt / class / image / mask）。

训练时改成条件流匹配：

几何上：原本"无条件速度场"会把每个噪声粒子推向"所有可能数据的某种平均"（图像里就是模糊的平均脸）。一旦你给了条件 $c$，速度场就被偏置（biased）到指向"$c$ 对应的那一小块数据流形"。

这就是为什么 Classifier-Free Guidance（CFG）work：

§5重读那句话

现在你有了 4 个停靠站、4 个互动演示作为锚点，再读一次原句：

§∞实践中的样子 —— 一段最小可读代码 $+$ 论文索引

下面是最小化的条件 rectified flow 训练 $+$ 采样片段。50 行内就能跑通，可以一对一对应到上面五站的概念：

# 条件 Rectified Flow —— 最小版本（PyTorch 风格伪代码）
import torch
import torch.nn.functional as F

def train_step(model, x1, c, optimizer):
    # x1: 一个 batch 的真实数据 (B, D); c: 条件 (B, ...)
    x0 = torch.randn_like(x1)                # ← 高维球壳上的样本 (§2)
    t  = torch.rand(x1.size(0), 1, device=x1.device)

    xt     = (1 - t) * x0 + t * x1           # ← 一段轨迹 (§3)
    target = x1 - x0                         # ← "噪声的流动方向" (§1)
    pred   = model(xt, t.squeeze(-1), c)     # ← u_theta(x, t, c) 学到的速度

    loss = F.mse_loss(pred, target)          # ← 条件流匹配损失 (§4)
    optimizer.zero_grad(); loss.backward(); optimizer.step()
    return loss.item()


@torch.no_grad()
def sample(model, c, D, steps=50, cfg_scale=0.0):
    # 推理：从噪声壳上一点出发，沿 ODE 积分到 t=1
    x = torch.randn(c.size(0), D)            # ← 起点：随机一个噪声壳上的点
    dt = 1.0 / steps
    for k in range(steps):
        t = torch.full((c.size(0),), k * dt, device=x.device)
        v_c = model(x, t, c)                 # ← 条件方向
        if cfg_scale > 0:
            v_u = model(x, t, torch.zeros_like(c))   # ← 无条件方向
            v = v_c + cfg_scale * (v_c - v_u)        # ← CFG 偏置 (§4 公式)
        else:
            v = v_c
        x = x + v * dt                       # ← 欧拉法走一小步
    return x

每一行代码都对应到原句的某个词：x0 = torch.randn_like(x1) 在视觉化层面就是选了高维球壳上一个点；target = x1 - x0 就是这一粒噪声的"流动方向"；模型的输入 $c$ 就是那个"偏置"；从 $t=0$ 走到 $t=1$ 的循环就是那"一段运动轨迹"。

进一步阅读

从入门到现代实践的推荐顺序：

• 入门读物："An Introduction to Flow Matching" — Cambridge MLG blog. 如果你只读一篇，读这个。
• 原始论文：Lipman et al., Flow Matching for Generative Modeling, ICLR 2023.
• 等价 / 同期工作：Liu et al., Flow Straight and Fast: Learning to Generate and Transfer Data with Rectified Flow, 2022/23.
  Albergo & Vanden-Eijnden, Building Normalizing Flows with Stochastic Interpolants, 2023.
• OT 耦合改进：Tong et al., Improving and Generalizing Flow-Based Generative Models with Minibatch Optimal Transport, TMLR 2024.
• 大规模实践：Esser et al. (Stability AI), Scaling Rectified Flow Transformers for High-Resolution Image Synthesis, 2024 (SD3 paper).
  Black Forest Labs, Flux, 2024.
• 高维几何 / 浓度测度（理解"球壳"那部分的数学）：Vershynin, High-Dimensional Probability, 2018. 看第 3 章就够了。
• 蒸馏与一步采样：Liu et al., InstaFlow; Yin et al., One-Step Diffusion Distillation. 这些工作都是在尝试"把那段球壳上的轨迹拉直成一步跳"。