从 3DGS 到 VGGT

用一个普通的 2D U-Net 一次性预测每个像素对应的 3D Gaussian——单图秒级 3D 重建。

输入

1 张物体图像 (可扩展到多图，加 cross-view attention)

输出

每像素一个 3D Gaussian，组成物体的 3D 表示

架构

就是个 2D U-Net，输出通道从 3 变成 14（一个 Gaussian 全部参数）。完全没有 3D 模块。

关键 trick

把背面（看不见的部分）"借"给前景或背景的像素来表示——一个像素可以代表一个"漂在场景前面"或"远处"的 Gaussian。换句话说，U-Net 学会了用某些像素"代表"它看不到的几何。

速度

38 FPS 重建，588 FPS 渲染（$128 \times 128$）

局限

SH 仅到 L=1（视角依赖弱）；分辨率受限；遮挡区域的"借位"策略容量有限。

两张已知位姿的图，通过 epipolar attention 加可微"深度抽样"，一次前向预测整个场景的 Gaussian 场。

输入

2 张已知位姿的场景图像（房间、户外等）

输出

两张图各自的 per-pixel Gaussian，叠在一起就是场景

关键 trick 1

Epipolar Transformer。对图 A 的每个像素，找出它在图 B 中的对极线，沿这条线采样若干个点，让这些点的特征 cross-attend 到图 A 的当前像素。这把传统几何（对极几何）直接嵌进了 attention 里。

关键 trick 2

概率深度抽样。直接回归一个深度值，梯度很容易陷入局部极小（深度跳过遮挡边界时不可导）。pixelSplat 改成预测深度分布，从分布里抽样 Gaussian 的中心位置（用 reparameterization trick 让梯度可流），优雅地绕开了这个坑。

局限

反光物体被预测成透明；从奇怪角度看 Gaussian 像广告牌；两个视图的 Gaussian 简单叠加，没去重。

与其用 pixelSplat 的概率深度，不如直接搭一个 plane-sweep cost volume——经典 MVS 的几何先验恰好就是 feedforward GS 缺的那块。

输入

2–3 张已知位姿的稀疏图像

输出

per-pixel Gaussians，仅用光度损失训练（无需 GT 深度）

架构

ResNet + Swin Transformer 提特征 → plane-sweep cost volume (经典 MVSNet 那一套) → U-Net 精修深度 → 每像素 Gaussian 头

为什么 cost volume 重要

cost volume 就是把"假设深度 $= d$，两图特征匹配得多好"这件事算 $N$ 次（$N$ 个深度候选），变成一个 $(H, W, N)$ 的张量。这是 20 年来 MVS 的看家本领，把"对极几何 + 多视图一致性"显式写进了网络结构里。

效果

参数量是 pixelSplat 的 1/10，速度快 2×，PSNR 还更高。

局限

反光面（玻璃）依然失效；仅 RealEstate10K 上训练，泛化弱。

围着人转一圈的相机阵列里，对每个目标视角挑最近的两台相机做学习型双目立体匹配，把 2D Gaussian 参数图反投影到 3D——人体新视角实时 2K 渲染。

输入

围绕人体的稀疏多相机阵列（典型 ~8 台），每次用最近两台做 stereo pair

输出

2K 分辨率新视角，实时

架构

两路并行的 2D 头：(1) 参数图头预测 Gaussian 属性；(2) RAFT-Stereo 风格的迭代深度估计器。两路结果反投影到 3D 拼成 Gaussian 集合。

局限

需要前景抠图（不能直接拍现实环境）；训练需要 GT 深度（数据获取贵）；只针对人体；少于 ~8 台相机就糊。

单图 → 先用 transformer 解出点云（Gaussian 中心），再用另一个 transformer 解出 triplane 特征体，每个点在 triplane 里查询自己的其他属性。

为什么混合

直接回归所有 Gaussian 属性的网络容易学崩（位置和颜色尺度差太多）。TriplaneGaussian 把"位置"做显式预测（点解码器），把"颜色/形状"做隐式查询（triplane 解码器）。

历史地位

与 LRM (NeRF + triplane) 一脉相承，是 triplane 这个表示首次嫁接到 GS 上的工作。后被 LGM / GRM / GS-LRM 用更纯粹的方案超越。

把 DreamFusion 那种 per-instance score-distillation 优化"摊销"到一个 feedforward 网络里——单图直接出 Gaussian。

关键设计

把 "Gaussian 在哪 (位置)" 和 "Gaussian 长什么样 (属性)" 拆成两个子任务联合训。Coarse-to-fine 级联结构，最后用一个 "Gaussian 超分模块" 上采样。

历史地位

DreamFusion / DreamGaussian 是 per-instance 优化（每生成一个物体要等几分钟），AGG 把它变成一次前向。是从"优化式生成"过渡到"摊销式生成"的桥梁。

用多视图 diffusion 幻想出 4 张正交视图 → 一个非对称 U-Net 读 4 张图 → 输出 65,536 个 Gaussian，5 秒搞定 $512^2$ 渲染。

输入

文本 (经 MVDream) 或单图 (经 ImageDream) → 4 张 $256^2$ 多视图图像 (方位角 0/90/180/270)

输出

~65K Gaussians 的物体资产，$512^2$ 渲染。也支持转 Mesh。

架构关键

非对称 U-Net：6 个下采样、5 个上采样，输入 $256^2$ 但输出 Gaussian 图 $128^2$。每个 down/up block 里有 cross-view self-attention（4 张图的 token 拼起来一起算）。输入还拼了 Plücker 射线，这样 U-Net "知道每个像素对应的射线方向"。

数据 trick

训练时给输入图加 grid distortion + orbital camera jitter，模拟 diffusion 给出的视图不完全 3D 一致的真实情况——这是从 Objaverse 渲染图迁移到 diffusion 输出的关键。

局限

上游 diffusion 不 3D 一致 → floater；4 张 $256^2$ 图限制了细节；细长结构（椅子腿）失败。

LGM 的双胞胎，但把 U-Net 全部换成 Transformer——包括上采样模块，最终 0.1 秒出 Gaussian。

输入/输出

4 张已知位姿视图 → per-pixel Gaussian (物体)

独门绝活

Transformer Upsampler。一般人用 CNN 或 PixelShuffle 上采样，GRM 用窗口自注意力 (Swin 风格) + PixelShuffle，整个网络"transformer all the way down"，包括 upsampler。

速度

0.1 秒重建；接上多视图 diffusion (Instant3D/SV3D) 后端到端 8 秒以内出 3D。

把图片 patchify 成 token，全部丢进一个朴素 transformer 栈，最后线性 decode 出 per-pixel Gaussian——物体和场景都能做，0.23 秒。

输入

2–4 张已知位姿图像 (~$512 \times 900$)

输出

per-pixel Gaussian，物体或场景

架构

朴素得令人困惑：每张图 patchify → 所有视图 token 拼起来 → 多层标准 Transformer block（带 Plücker 射线 embedding）→ 线性头解码 Gaussian。没有 cost volume，没有 epipolar attention，没有 U-Net。FlashAttention-2 + 梯度 checkpointing 让它能扩展。

局限

需要已知相机参数（同期 pose-free 的 NoPoSplat 还没出）；分辨率上限 ~$512 \times 900$；遮挡区域无想象能力。

从两张未标定图像直接回归 pointmap，绕开所有传统 SfM 步骤——这是 2024-2026 整个 feedforward 3D 浪潮的鼻祖。

输入

2 张图。什么都不知道——没有相机参数。

输出

两张 pointmap + 每像素 confidence。多视图时需要后处理 global alignment。

局限

每次只吃两张图；多于 2 张要 pairwise + global alignment，慢且累积误差；反光面、无纹理面表现差。

在 DUSt3R 上加一个 dense 特征匹配头——同一个网络同时做 3D 重建和像素匹配。

为什么重要

"匹配"现在不再是 2D 问题，而是 3D 问题——两个像素是否对应，取决于它们的 3D 点是否重合。换框架后，极大视角变化下的匹配鲁棒性大幅提升 (+30% AUC on Map-free localization)。

下游

Splatt3R 选择基于 MASt3R 而非 DUSt3R 构建，正是因为这个 dense 特征头能给 Gaussian-prediction 头更干净的输入。

把 MASt3R 当 3D 估计器冻起来，只训一个轻量头预测每像素 Gaussian 属性——零样本 pose-free Gaussian Splatting。

输入

2 张未标定图。无内参、无外参、无深度。

架构

MASt3R 主干冻结，外加一个新的 Gaussian 头预测每像素的协方差（四元数 + scale）、SH 系数、不透明度、以及一个 mean-offset（让 Gaussian 中心可以略微偏离 MASt3R 预测的 3D 点）。

训练 trick

两阶段训练：先训几何损失，再训新视角合成损失，避免直接训 Gaussian 陷入局部极小。对外推视角 mask 损失，避免拉伸。

速度

~4 FPS 重建 ($512^2$)，实时渲染。

直接预测所有视图的 Gaussian 到同一个规范坐标系（第一张图的相机坐标系）里——一次前向，纯光度训练，无需任何几何监督。

输入

2 张未标定 (稀疏) 图。但是要求已知内参（intrinsics 被 token 化进 transformer），位姿不要求。

输出

所有 Gaussian 都在第一视图坐标系里。如果需要位姿，事后做 PnP 即可。

架构

MASt3R 初始化的双塔 ViT + 两个 DPT 风格头（一个预测 Gaussian 中心 = pointmap，另一个预测其余属性，第二个还吃原始 RGB 作为额外输入）。

关键洞察

"把所有 Gaussian 锚到一个 reference frame" 直接消灭了 "per-view 预测 + 后期对齐" 这条路里所有的累积误差。论文标题就是 punchline：No Pose, No Problem。

局限

仍要内参；无生成先验，遮挡区域细节差；主要在 RealEstate10K/ACID/DL3DV 训练。

不走 DUSt3R 路线——用预训练的单目深度 (UniDepth v2) + 匹配 (LightGlue) 给出初始粗对齐，再用轻量模块细化深度和姿态，纯前向。

血统

基于 pixelSplat / MVSplat 一系（"per-pixel Gaussian"派），而非 DUSt3R 派。

核心洞察

pixelSplat 在无位姿时崩，原因是错位的 Gaussian 梯度会让训练发散。PF3plat 加了 confidence-weighted Gaussian 预测，让低置信度区域不参与训练。

既不用相机参数，也不用 DUSt3R 等 3D 基础模型——纯端到端自监督学习深度 + 姿态 + Gaussian。

为什么重要

SelfSplat 是 pose-free GS 路线的反例——它证明不需要 DUSt3R/MASt3R 这种几何 foundation model 也能做 pose-free。基础模型只是充分条件，不是必要条件。

用 MASt3R 初始化 Gaussian 与位姿，再跑一个非常快的联合优化——本质是"COLMAP 被换成了基础模型"的快速 3DGS pipeline。

为什么单列出来

很多博客把 InstantSplat 和 NoPoSplat/Splatt3R 并列为 "pose-free feedforward GS"，这是错误的。InstantSplat 在推断时仍然要做优化（几秒到 1 分钟），它只是把 COLMAP 那步换掉了，不是把整个优化换成一次前向。

价值

在实际工程上是目前 pose-free 3DGS 最好用的 baseline 之一（30× 快于 COLMAP+3DGS）。但它不属于"feedforward 流派"。

Gaussian 不直接装 RGB，而是装一个学到的latent 向量；先把它们 splat 成 feature map，再用一个轻量 VAE 解码器把 feature map 变成图像。

为什么

纯回归方法（pixelSplat）的遮挡区域只能糊；纯生成方法（GeNVS）慢且视角不一致。latentSplat 让 Gaussian 携带"带不确定性"的 latent，VAE 在解码时填补合理的细节，同时光度训练保证视角一致。

规模

2 张图，CO3Dv2 物体 / RealEstate10K 房间，~83ms，~2000× 快于 GeNVS。

用粗 Gaussian 表达大结构、细 Gaussian 表达纹理细节——层级化预测。

为什么

单尺度 per-pixel Gaussian 在大结构 (墙) 和纹理细节 (画框) 上无法两全。

轻量 CNN backbone + 邻近视图的 adaptive cost volume + Pixel-wise Triplet Fusion (PTF) 显式合并重叠 Gaussian——一次前向吃 10+ 张视图，Gaussian 减少 ~55%。

关键贡献

PTF：跨视图三元组比对 per-pixel Gaussian，如果两个像素映射到几乎同一 3D 点，就合并它们。这是第一个在 feedforward GS 里显式"去重"的模块。

规模

2-10+ 视图 (室内房间)，10 视图推断 ~0.6s，72 FPS 渲染。

局限

>50 张图时 GPU 显存 >40GB；无纹理 / 反光区域深度估计差。

基线越宽，epipolar 区域越窄，注意力越退化——干脆全用 CroCo 风格的 cross-view completion 预训练 ViT 做全图匹配。

为什么重要

pixelSplat / MVSplat 的 epipolar attention 在宽基线下失效（极线穿过的大部分像素都不重叠）。eFreeSplat 用学到的跨视先验代替了几何先验。

把 GS-LRM 的纯 transformer 换成 7 个 Mamba2 块 + 1 个 transformer 块的混合结构——线性注意力让 32 视图 250K token 在一张 A100 上 ~1 秒搞定。

输入/输出

32 张 $960 \times 540$ → ~250K tokens → ~1s 出 Gaussian。比 GS-LRM 多吃 60× 视图。

规模 trick

Mamba2 是线性复杂度（$O(N)$ 而非 transformer 的 $O(N^2)$），让长序列 tractable；中间一层做token merging 砍半序列；训练和推理都做 Gaussian opacity pruning。

局限

>32 视图收益骤减；FOV 差异大时表现不稳。

5 张稀疏视图覆盖 360° → MVSplat 给出 Gaussians → 把它们 splat 到 Stable Video Diffusion 的 latent 空间 → SVD 去噪出光照真实的 360° 视频。

为什么

5 视图覆盖 360° 时基线极宽，纯回归出来一片糊。SVD 的视频先验填补空隙，让看不见的方向也"看起来合理"。

输入是全景图 (panorama) 不是普通视图——既然球面投影几何变了，cost volume 也要在球面上算。

关键设计

Spherical sweep + 兼容透视/等距柱状投影的双投影编码器。

深度估计和 GS 互为先验——预训练单目深度特征稳住多视图深度，GS 渲染损失反过来当作深度模型的无监督预训练目标。

规模

12 视图 $512 \times 960$ → 0.6 秒（A100），处于 MVSplat 显存爆掉的输入规模。

深刻

论文论证 GS 本身可以作为深度模型的预训练目标，相当于在 GS 渲染中拿到的损失能反传给深度网络。这是首次把 GS 当成"辅助任务"用。

把 DUSt3R 的"两两 pointmap + global alignment"改成"一次吃所有视图"——再加 Gaussian 头做新视角合成，2 秒重建一间房。

输入/输出

12 视图房间 0.89s，20 视图多房间 1.54s，100 视图 19.1s。训练时用 8 视图，能泛化到 100 视图。

关键创新

多视图 decoder 块（每个视图 attend 其它所有视图，相对一个 reference）+ cross-reference-view 块（融合不同 reference 选择下的结果）。后者修复了 DUSt3R 的"参考视图依赖"问题。

FreeSplat 的升级：扩大 PTF 深度融合范围、加 Weighted Floater Removal、可选 per-scene 微调——把"长序列"推到"整间公寓 ScanNet 场景"。

规模

2-3 视图 ~0.1s；整个 ScanNet 场景 ~21s, ScanNet++ ~42s；Gaussian 减少 ~75%。

给 DUSt3R 配一个"空间记忆"——网络看过的 3D 点都被存起来，新一帧的 pointmap 直接预测到全局坐标系，无需任何 alignment。

关键

DUSt3R 是 pairwise 的，$n$ 张图要 $O(n^2)$ 对 + 全局优化。Spann3R 用一个 memory bank 让新视图直接预测在累积的 global frame，线性扩展。

stateful 循环 transformer——每来一张新图，更新内部 state，吐出一个 metric-scale pointmap，可处理无序图集、视频、动态场景。

高级特性

可以"探测"未观察到的虚拟视角——state 里编码了场景先验。

朴素扩展：一个 transformer 同时吃 N 张图，输出所有 pointmap——训练时见 20 张，推断时能跑 1500 张。

关键 trick

Randomized positional index embeddings——训练时随机化视图序号编码，让模型在推断时不"过拟合"到序号 $N \leq 20$。这就是 "anti-extrapolation"。

数字

单 A100 上 1500 视图一次前向；CO3Dv2 上 99.7% rotation 误差 $< 15^\circ$；相机姿态精度比 DUSt3R+global alignment 提升 14×。

DUSt3R 原作者团队的多视图升级：架构对称化（不再有"reference frame"偏向）、多层 memory 让其扩展到大型图集。

在罕见的动态场景数据上微调 DUSt3R——每个时间步出一对 pointmap 和姿态，得到 feedforward 4D 重建。

两阶段 feedforward SLAM：滑窗局部 pointmap → 渐进配准到全局一致地图，20+ FPS，无显式位姿优化。

分块 + 闭环 + 漂移修正——让 VGGT 能跑到公里级路径，那些会让原始 VGGT / Fast3R / CUT3R OOM 的序列。

用 VGGT 在重叠 keyframe 窗口上算 submap，然后用 15-DOF 单应性 (SL(4) 流形) 把 submap 拼起来——因为未标定单目本质上有投影模糊。

显存高效的 VGGT 扩展 + adaptive global alignment + 后端鲁棒 3DGS 训练 pipeline——突破 1000 图。

把每帧 token 用双线性插值压成一个小型 descriptor 集；global attention 变成 "全 token ↔ 小描述符集" 的 cross-attention；支持块递归式在线推理。

StreamVGGT 的 KV-cache 随时间无界增长——XStreamVGGT 提出压缩策略，让真正长时间的视频流也能跑。

先训一个相机可控的 video diffusion 把单图变成视角一致的视频 latent；再训一个 LRM 在这些 latent 上跑出 Gaussian。

深刻洞察

不是 "diffusion 出图 → LRM 看图"，而是 "diffusion 出 latent → LRM 看 latent"。这样既省带宽又自带视角一致性。

一个框架同时联合训练：4D 动态重建、动作条件视频预测、目标条件视觉规划。纯合成数据训练，零样本迁移到真实。

为什么相关

把 feedforward 3D（重建）与 world model（视频预测 + 规划）打通——3D 不再只是"重建"，而是"机器人决策的世界模型"的一部分。

2-8 张未标定图 → 先估相机姿态 → 再以姿态为桥梁条件化几何 + 外观学习 → Gaussian。<0.5 秒。

关键

不像 NoPoSplat 把"无姿态"当一个非问题，而是把姿态作为显式中间产物。一个"neural scene projector"统一不同相机的局部 pointmap。

手机随手拍几张（不要求位姿、不要求数量），一次前向出整套 3D：Gaussian + 内参 + 外参。backbone 是预训练的 VGGT，外挂三个 head（Gaussian、深度、相机）。

为什么有意义

把 VGGT 的"通用几何"能力直接续上 GS。实现了 "snap photos → renderable 3D in seconds"——完全不要 COLMAP，也不要 per-scene 训练。

范式

这是 "VGGT-backbone era" feedforward GS 的典型样本。读完它你会感觉所有 2025 下半年的 GS 工作都是它的变奏。

把"每像素一个 Gaussian"换成"每个 3D 体素预测出 Gaussian"——Gaussian 密度跟随 3D 场景复杂度，不再被像素密度绑架。

为什么

像素对齐的两大问题：(1) 被相机数量多的区域不公平地放更多 Gaussian；(2) 2D 特征匹配在遮挡 / 无纹理区域出错。体素对齐天然规避这两点。

把 VGGT 的几何 prior 蒸馏到一个轻量 feedforward GS 网络，用于自动驾驶的环视重建。

面向 casual 长视频的鲁棒 unposed 3DGS：渐进式联合优化位姿与 Gaussian，八叉树锚点。

单图 → affine-invariant pointmap (MoGe) 或 metric-scale pointmap (MoGe-2)。新型对齐 solver 解决了之前单目几何模型的训练矛盾。

2026 新作。引入全局 scene token 让 feedforward GS 达到全局一致，2K-32K Gaussian + 极小磁盘占用。