2023 年 8 月，Kerbl 等人的 3D Gaussian Splatting（3DGS）让"实时神经渲染"从奢侈品变成了日用品。但原始 3DGS 仍然继承了 NeRF 的一个痛点：每来一个新场景，都要从头优化一遍，少则几分钟，多则几小时。
很快，一个新问题被提出：能否让一个神经网络看几张图，一次前向就吐出整个 Gaussian 场景？ 这就是 Feedforward 3D Gaussian Splatting。从 2023 年 12 月的 Splatter Image、pixelSplat，到 2025 年 CVPR Best Paper 的 VGGT，再到 2026 年最新的 StreamVGGT、π³，短短两年半内，这个方向产出了 40 多篇有影响力的工作，且**深度**远超想象——它逐步合并了 NeRF、SfM、MVS、SLAM 与 3D 生成模型四大方向。
这份综述是为你写的：
我会尽量用类比和渐进的叙事，而不是公式罗列，来讲清每个工作"在做什么、解决了什么、为什么重要"。技术术语会用英文原词保留（如 pointmap、epipolar transformer、cost volume），并在术语表中给出解释。
在跳进 40 篇论文之前，先用 5 分钟把"3DGS 是什么"和"feedforward 意味着什么"装进脑子。这两件事确定了，后面所有工作都只是它们的变奏。
想象你要把一座教堂"装进电脑"，让别人能从任意角度看它。NeRF 的做法是训一个 MLP，给它一个 3D 坐标 (x,y,z)，它返回那个点的颜色和密度——整个场景被"隐式"地写进神经网络的权重里。3DGS 反其道而行之：场景被"显式"地写成一堆 3D 椭球体——3D Gaussian——漂浮在空间中。
每个 Gaussian 携带 5 个参数：
3DGS 真正的工程突破在于可微分的 tile-based 光栅化器：它把屏幕分成 16×16 的小块，每个 Gaussian 只参与它真正覆盖到的小块，因此整个渲染管线既快又对参数可导。给定一堆已知相机参数的图片，可以用反向传播让 Gaussians 拟合这些图片。这就是per-scene 优化：每个场景，几万到几十万个 Gaussian，反复迭代几万步。
所以原始 3DGS 的"训练"本质上是：把若干 2D 图片"反卷"成一个 3D Gaussian 集合。这跟训练神经网络没关系——网络在哪？没有网络。它就是一次大型几何拟合。
原始 3DGS 的痛点显而易见：
Feedforward GS 的目标是把这一整套流程替换成一次神经网络前向：
整个 2023–2026 年的 feedforward GS 史，本质上就是三个问题的拉锯战：
下面 8 章的故事，就是这三个问题在每一年被推进的过程。
先看一眼这场赛事的节奏感。注意 2023 年 12 月那个"同时被四组人想出来"的爆炸瞬间，以及 2025 年 3 月 VGGT 落地后整个领域的重排。
这棵树是后面所有章节的"地图"。两条主线最初互不相干：左边是渲染派（从 pixelSplat 一路走过来的 feedforward 3DGS），右边是几何派（DUSt3R 开创的 pointmap）。它们在 2025 年的 VGGT/AnySplat 处合流。
2023 年 12 月，仅仅在 3DGS 发表 4 个月后，整整四组人在 16 天内同时把同一个 idea 投上了 arXiv：用 2D 神经网络一次预测出一组 3D Gaussians。
这一章的所有论文都共享同一个核心 trick——per-pixel Gaussian 预测。把输入图像送进一个 U-Net 或 Transformer，让网络对每个输入像素预测出一个 3D Gaussian 的全部参数（位置、协方差、不透明度、颜色）。直观地说：
这个观察非常有力，因为它让所有 2D 视觉的工具（U-Net、Swin Transformer、cost volume）都能直接拿来做 3D 重建——只需要换个输出头。下面的所有工作都是这个范式的变奏。
2023 年 NeRF 一侧已经诞生了 LRM (Large Reconstruction Model) — 用 GPT 一样大的 Transformer 把"多视图 → 3D"摊成一次前向。2024 年春，三组人几乎同时把这个 recipe 移植到 Gaussian Splatting 上：多视图 → 大 Transformer → 一堆 Gaussian。
这一章和第 1 章的区别：第 1 章是"U-Net + 几何先验" (cost volume / epipolar)，第 2 章是"纯 Transformer + 大数据"。这场对决是"bitter lesson"的一次小型重演——纯 transformer 最终赢了，但赢得不那么干净，因为它需要海量已知位姿的数据。
另一个关键背景：多视图 diffusion model (MVDream、ImageDream、SV3D) 在 2024 年初成熟，能从一张图或一段文字生成几张视角一致的图像。这给了 feedforward GS 一个完美的上游——"我幻想出 4 张视角，再把它们一次性变成 3D"。这就是 LGM、GRM 这一类"文本/单图 → 3D 生成"的标准 pipeline。
前两章所有方法都默认相机内外参已知——这是 NeRF 时代的标准假设。但 COLMAP 跑一遍要几十分钟到几小时，且容易失败。2023 年 12 月，DUSt3R 横空出世，提出"能不能不算相机？"——这一脚踢开的门，是后面 VGGT 时代的真正入口。
这是整个 2024 下半年 + 2025 年 feedforward 3D 的最重要一个概念。先把它讲透，后面一切都顺。
传统 SfM/MVS 的步骤：
整条链上每一步都可能崩——纹理不足时特征匹配挂，相机姿态估错就一切完蛋。
DUSt3R 的做法是跳过 1-4 步，直接训一个网络让它对每个像素回归一个 3D 坐标。这张 (H, W, 3) 的图就叫 pointmap。
关键魔法在于两张 pointmap 都表示在第一张图的相机坐标系里。这意味着：
DUSt3R 的具体架构后来被几乎所有 pose-free GS 工作继承：
下面看几个把 DUSt3R 改造成"输出 Gaussian"的工作。
第 1-3 章的方法基本只能吃 2-4 张图，且场景不大。要把整个房间或整个 360° 户外塞进 feedforward 网络，需要解决三个新问题：(1) 视图多了，重复 Gaussian 怎么处理；(2) 视图基线宽了，epipolar attention 失效；(3) 看不到的区域，怎么"想象"。这一章三条主线各破一题。
2024 年下半年开始，整个领域意识到：DUSt3R 的"pointmap + 一次前向"框架完全可以延伸——为什么只输出 pointmap？深度、相机参数、3D 点轨迹、Gaussian 都可以塞进同一个 transformer 的多个 head。这条"大一统"路线在 2025 年 3 月以 VGGT 拿下 CVPR Best Paper 达到顶峰。
1. DINO 把每张图 patchify 成 token；
2. 每帧额外配 1 个 camera token + 4 个 register token；
3. 关键：attention 层严格交替—— (a) frame-wise 自注意力 (一张图内部) (b) global 自注意力 (跨所有视图)；
4. 不同 head: camera head 从 camera token 出内外参; DPT head 从图像 token 出 depth/pointmap/track。
VGGT 拿下 best paper 后，两个明显的缺口被立刻发现：(1) 它是 offline / bidirectional 的，每来一帧新图都得把所有图重新 attend 一遍——AR / 机器人 / SLAM 用不了。 (2) 它有 reference frame 偏向——把同一组图换个顺序输入，结果不一样。第 6 章是这两个问题的修补，也是 2025-2026 的最前沿。
1. 模型可以"作弊"——把第一张图过拟合；
2. 输入顺序敏感；
3. reference 选不好整体崩塌（MV-DUSt3R+ 的 cross-reference 是工程式补救，π³ 是架构式根除）。
看不到的地方怎么办？回归模型只能"糊一片"；生成模型 (video diffusion) 能"幻想合理细节"。2024 年末开始，一批工作探索：能不能让 GS 在 video diffusion 的 latent 空间里运作？
→ MVSplat360（已在第 4 章介绍）也属于这一脉——Gaussian splat 到 SVD latent 空间再去噪。
VGGT 之后，feedforward 3DGS 的 SOTA 工作几乎全部长成同一个样子：VGGT (或类似的几何 foundation model) 作骨干，加一个轻量 GS 头预测 Gaussian 属性。第 8 章把这些"VGGT 时代"的 GS 工作列出来——它们也是你今天最值得用的工具。
把 40 篇论文按时间排好后，会浮现三条主轴。理解这三条，就抓住了 feedforward 3DGS 的全部精神。
2023 年：一次前向出 Gaussian (Splatter Image)。
2024 年：一次前向出 Gaussian + pose（pose-free 系列）。
2025 年：一次前向出 Gaussian + pose + 深度 + 3D 轨迹 (VGGT)。
2026 年：流式一次前向出以上所有 (StreamVGGT) + 顺序不敏感 (π³)。
这条轴的本质是 3D 视觉 pipeline 的"端到端"压缩。每一年，能塞进一次前向的输出种类就多一种，能略掉的传统步骤就再少一个。
DUSt3R (pairwise) → Spann3R (memory bank) → CUT3R (persistent state) → StreamVGGT (causal + KV-cache) → XStreamVGGT (compressed cache)。
这条轴在把 LLM 的研究工具一件件搬进 3D 视觉：因果注意力、KV-cache、FlashAttention、知识蒸馏、长上下文压缩。它告诉我们 3D 视觉的研究方法在 2025-2026 越来越像 NLP。
3DGS 原始版要：(a) 已知位姿, (b) 密集视图, (c) per-scene 优化, (d) 单场景训。
每一篇主要工作都对应去掉某个约束：
现在所有问题都还没真正解决——但这场两年半的"去约束"接力，把 3D 重建从"一个昂贵的优化问题"变成了"一个普通的神经网络问题"。这是 feedforward 3DGS 浪潮最核心的遗产。
下面只列出本综述中频繁出现、且需要解释的术语。
覆盖整片森林的最小生成树。读完知道每一脉的代表。
在 A 之上加进"每个 sub-trend 的代表"。
余下的论文按以下顺序阅读：
所有 arXiv 链接均已验证，按章节顺序排列。