A pedagogical survey · 2023.08 — 2026.05

3D 高斯泼溅 × 表面重建

3DGS 在 2023 年横空出世时,社区第一时间欢呼的是渲染速度和 PSNR——从远处看, 每一帧都像照片。可只要你拿任何一个训练好的 3DGS 模型去抠 mesh,就会发现 一团团软乎乎的椭球漂浮在物体周围:它们渲得对,但根本就不是表面。

这件事推开了过去三年里最热闹的一道门——怎样让 3DGS 同时会渲染又会建模型? 本综述把这条路上所有"主流站点"按七条思想路线拼成一张地图。

约 69 篇论文 · 7 条思想路线 · 1 张族谱图 · 1 条交互时间线 · 1 张可排序 benchmark · 单页阅读 35 分钟

阅读路径建议

想要快速入门:顺序读 §1 三宗罪§2 思想地图§12 推荐路径, 然后挑你感兴趣的一两条路线深读。 想看最新趋势:直接跳 §8 Mesh-in-the-loop——这是 2025 年最热的方向。 只想找 SOTA:§11 Benchmark 按 DTU 排序。

§1序章:高斯泼溅为何不重建表面

回顾一下 3DGS 做了什么:每个高斯是一个各向异性 3D 椭球——位置 $\boldsymbol{\mu}$、 协方差 $\Sigma$(由旋转 $q$ 与缩放 $s$ 拼出)、不透明度 $\alpha$、视角相关颜色 SH。 渲染时把每个椭球沿视线方向 splat 到屏幕上,alpha 合成所有命中像素的椭球得到颜色。 监督只有一个光度损失。

这一套机制为什么不给你表面?三个原因,本综述把它们叫作 "三宗罪", 每一条都对应着后续若干工作要解决的问题。

一条射线穿过四种"表面表达基元" 3D 椭球 (3DGS) 射线进/出两次 没有"表面点" 2D 圆盘 (2DGS) 射线-平面唯一交点 天然法线 + 视角无关深度 二次曲面 (QGS) 一个基元盖更大曲率 沿测地距离衰减 三角形 (Triangle Splat) 基元 = mesh 单元 训练即 mesh 射线 → "渲染好" 不等于 "几何好" — 同一条射线,四种基元的"表面位置"含义完全不同。
从左到右是路线 B 的浓缩: 3D 椭球的"表面"在哪儿是说不清的(射线穿过两次、内部密度连续衰减); 2DGS 把基元降到 2D,射线-平面的交点就是表面点; QGS 升到二阶曲面,单基元能拟合更大曲率; Triangle Splatting 直接用三角形——基元本身就是 mesh 的最小单元。

三宗罪

第一宗 · 基元是体积,没有"表面点"。 一个 3D 椭球被一条射线穿过时,进入和退出两次,中间是连续的密度衰减; 你说"表面在哪里"是哲学问题——是 $\alpha=0.5$ 的等值面?是峰值处?是中心投影? 不同视角的回答不一样,所以多视图几何一致性从根上就崩。

第二宗 · 椭球没有内禀法线。 椭球有三个主轴,谁是法向是优化器猜的。 任何想用法线监督驯服 3DGS 的工作, 都得先回答"梯度应该流回旋转 $q$、缩放 $s$ 还是位置 $\boldsymbol{\mu}$"这个问题 (路线 A 中 VCR-GauS 把这件事看得最透)。

第三宗 · 光度损失对几何不敏感。 只要图像渲对了,椭球互相穿插、漂浮在空中、巨大半透明都不会被惩罚。 你看到的 3DGS 重建通常是"几个巨大的半透明椭球叠加出一个看起来对的颜色", TSDF 或 Poisson 抽出来的几何自然碎成豆腐渣。

这页的核心 insight

本综述要回答的就是这一句:3DGS 渲染好 $\ne$ 几何好。 后续七条路线,本质上都是在三宗罪的某一条上下功夫—— 要么给损失加监督(A)、要么换基元让法线/深度天然存在(B 与 E)、 要么把已知会建几何的 SDF/NeuS 缝进来(C), 要么不强求 GS 给 mesh、改让 mesh 反过来约束 GS(D 与 E), 要么干脆借助工业级感知模型间接拿几何(F)。

本综述的范围与目标

我收录了从 2023 年 11 月(3DGS 后第一个表面工作 SuGaR)到 2025 年 12 月(MeshSplatting)之间, 所有提出独立思想、被社区广泛引用、或代表某条路线"最新前沿"的工作——约 69 篇。 所有微小变体(仅改超参、换数据集)一律不收。

对每一篇我只回答三个问题:它做了什么新东西它和它的"前任"最关键的区别它失败在哪。 而 逐字搬运 abstract、 抄数学符号。

§2思想地图与七条路线

所有工作可以放进七条思想路线。它们不是互斥的——许多 2024–2025 年的 SOTA 工作把 A + B + F 缝在一起跑。但每条路线都有自己的"祖师"和"看待问题的方式", 理解了路线就理解了一篇论文为什么这样设计 loss。

3DGS (2023.08) SIGGRAPH 2023 A 软对齐 SuGaR DN-Splatter VCR-GauS TrimGS AbsGS GaussianPro GausSurf B 换基元 2DGS Surfels PGSR RaDe-GS GOF / SOF QGS · 3DCS Beta · EVER C SDF 混合 NeuSG GSDF 3DGSR GaussianRoom GS-Pull DiGS DiscretizedSDF D Mesh-bound GaMeS Frosting Mani-GS MeshGS NPGA E Mesh-in-the-loop Triangle Splat MILo 2D Tri Splat Tri Splat+ MeshSplatting 2025 新潮 F 外部知识注入 GS2Mesh InstantSplat DepthSplat MonoGS V 垂直方向 SparseSurf CityGS V2 DeSiRe-GS Reflective GS GSTAR NPGA / RM 三种主要"治疗" A 加监督 · B+E 换基元 · C 借 SDF 两种"应用导向":D 给已有 mesh 化妆 · F 借外部模型 任意 SOTA 工作通常是 A + B + F 三条路线的叠加

七条路线一句话定义

  • A 软对齐:基元不动,靠新的 loss(深度、法线、MVS 一致性、剪枝策略)"拽"高斯往表面靠。代表作 SuGaR。
  • B 换基元:直接换掉 3D 椭球。降维成 2D 圆盘(2DGS)、升阶到二次曲面(QGS)、换成凸体(3DCS)、换成 Beta 核——让基元在结构上就接近表面。代表作 2DGS。
  • C SDF 混合:把 NeuS / 隐式 SDF 缝进 3DGS。可以两个分支互相蒸馏(GSDF),可以用 SDF 决定每个高斯的 opacity(3DGSR),也可以让 SDF 梯度"拽"高斯(GS-Pull)。代表作 3DGSR / GSDF。
  • D Mesh-bound:先有 mesh,再让高斯依附在三角面上。目标不是提 mesh,而是 可编辑、可动画、可仿真。代表作 GaMeS / Gaussian Frosting。
  • E Mesh-in-the-loop2025 年最新潮流):让 mesh 提取本身可微,训练循环里随时有 mesh,梯度从 mesh 流回 splat。代表作 Triangle Splatting / MILo。
  • F 外部知识注入:训练管线和工业级感知模型缝合。DUSt3R 给位姿和点云(InstantSplat),stereo 网络给深度(GS2Mesh),SLAM 给跟踪建图(MonoGS)。
  • V 垂直方向:稀疏视图、城市/驾驶、反射/材质、动态、数字人——各自跑出 SOTA,对 vanilla DTU 通杀已不再是大家追的目标。

§3三年时间线

横轴是论文首次公开时间(arXiv 月份),颜色对应路线。鼠标悬停查看一句话简介, 点击跳转到正文卡片。

← 可横向滚动 · 每个圆点是一篇论文 · 悬停看简介 · 点击跳到正文 →

三个明显的浪潮

第一波(2023.11 – 2024.04):所有人都在解决"3DGS 提不了 mesh"。 SuGaR 用"软对齐"把这条路打开,DN-Splatter / DNGaussian / GeoGaussian 跟进; NeuSG / GSDF / 3DGSR 同时探索"借 SDF"; 2DGS / Gaussian Surfels 几乎同月独立提出"换基元"。

第二波(2024.06 – 2024.12):路线 B 高速成熟。 PGSR / RaDe-GS / GOF 把"2D / 无偏深度 / 等值面"做到 DTU SOTA; QGS、3DCS、Beta、EVER 开始探索"非高斯非平面"的下一代基元。 同期 InstantSplat 把 DUSt3R 注入,路线 F 开始独立。

第三波(2025.01 – 2026.05):训练循环里直接有 mesh。 Triangle Splatting $\to$ MILo $\to$ Triangle Splatting+ $\to$ MeshSplatting, "基元 = mesh 单元"成为新共识; 同时 SDF 混合路线进入 DiGS / DiscretizedSDF 阶段, SDF 不再是大 MLP,而是每个高斯绑一个标量; 垂直方向(稀疏视图、大场景、反射、4D)独立成熟,各自跑 SOTA。

§4A软对齐:基元不动,加监督

这条路线的信念:3DGS 几何差 不是因为 基元有问题, 而是因为 光度 loss 不约束几何。 那就把所有能拿到的几何信号塞进 loss——深度、法线、平面、MVS 一致性、剪枝、densify 修正—— 把椭球"拽"到表面上去。它是历史最长、工作最多、最容易和其它路线叠加的一支。

SuGaR — Surface-Aligned Gaussian Splatting
CVPR 2024 · 2023.11 Guédon, Lepetit · ENPC / LIGM · arXiv 2311.12775 · project

在 SuGaR 之前要从 3DGS 拿 mesh,要么 marching cubes 体素化(慢且糙), 要么训一个独立 NeuS(极慢)——没人把"对齐表面"直接写进 loss。

关键想法:如果所有高斯都贴在表面上,那场景的密度场就近似一个理想 SDF。 作者据此推导了一个理想 SDF 的解析表达式(用最近高斯的距离和不透明度算), 然后把"GS 实际密度 vs 理想 SDF 之差"做成正则项推高斯收敛。 训练完,从这个伪 SDF 采样点跑标准 Poisson 重建拿 mesh, 再把高斯重新绑回 mesh 三角面继续优化。

从此整条软对齐路线开张。后续 DN-Splatter / VCR-GauS / TrimGS 都在 SuGaR 的"加几何 loss"模板上做更细的事。

压扁仍是 3D 椭球的退化形式,深度/法线并非无偏;Poisson 重建对椭球噪声敏感;正则强度需要手调。

正则化的两大派别

紧接 SuGaR,社区分成两派:" 从大模型拿监督" vs " 从场景自身拿监督"。 前者依赖现成的单目深度/法线预测网络(Marigold、Omnidata、StableNormal), 后者只用多视图自一致性。两派各有道理:前者上限高但依赖 prior 质量,后者鲁棒但弱纹理区会塌。

DN-Splatter — Depth + Normal regularization for 3DGS
WACV 2025 · 2024.03 Turkulainen et al. · Aalto + Niantic · arXiv 2403.17822 · project

室内大白墙这种纹理稀的地方,光度 loss 几乎没信号——高斯随便长成针刺都行。

关键想法:把现成的单目深度/法线预测直接当伪 GT,用 $L_1$ 监督深度、cosine 监督法线、 邻接高斯法线一致性正则。还做了一个细节:用 RGB 梯度调权"高频处放松、低频处加强"。 瞄准 iPhone LiDAR / RGB-D 扫描的室内场景。

后续 AGS-Mesh(2024.11)是它的直系下一代——增加多视图一致性筛选机制丢弃低质 prior 像素。

深度/法线 prior 的质量决定上限;室外、强反射场景效果一般。

DNGaussian — Hard + Soft depth with global-local normalization
CVPR 2024 · 2024.03 Li et al. · 南京大学 · arXiv 2403.06912 · code

单目深度预测有未知尺度,不能直接当 GT。

关键想法:同时用"硬深度"(仅最大不透明度高斯算出来的深度,约束位置)和 "软深度"($\alpha$ 合成深度,约束分布),再用全局-局部双归一化让 loss 对尺度漂移不敏感。 是 sparse-view 3DGS 的常被引基线。

极稀疏(少于 3 视图)仍会崩;纯靠单目深度,镜面/透明物失败。

GaussianPro — Progressive PatchMatch propagation
ICML 2024 · 2024.02 Cheng et al. · 中科大 / HKU · arXiv 2402.14650 · project

SfM 在纹理缺失区没点 $\to$ 3DGS 没初值 $\to$ 永远建不好。

关键想法:走"纯传统 MVS 自一致性"路线。 训练过程中用 PatchMatch 风格的 propagation,从邻域已建好的高斯传播深度/法线到没点的位置, 再 densify 新高斯。监督完全来自自己,不吃任何大模型 prior。

和 DN-Splatter 形成思想对照——"自一致性" vs "大模型 prior"。

依赖局部平面性假设;高曲率区可能过平滑。

GeoGaussian — Plane-aware thin-Gaussian init
ECCV 2024 · 2024.03 Li et al. · TUM / Google / NUS · arXiv 2403.11324 · code

关键想法:SfM 点云上检测共面区,那里的高斯一律初始化成"薄片 + 朝法向"; densify 时新生高斯继承父高斯的方向。本质是"用显式几何约束模拟 SDF 的零等值面"的轻量替代品。

非平面物体无收益;需预先的 PlanarSLAM 输入。

AbsGS — Absolute gradient densification
ACM MM 2024 · 2024.04 Ye et al. · arXiv 2404.10484 · project

原 3DGS 用 $\sum \nabla$ 决定 densify——但梯度方向相反的会相消, 导致一个大高斯压住高频区却"看不到自己需要分裂"。

关键想法:改成 $\sum |\nabla|$ 消除"gradient collision"。 小改动,大影响。几乎所有想要清晰表面的方法都把它当 baseline trick 叠加。

高斯数量显著增长;不解决核心几何错配。

把法线监督真正传到对的参数上

VCR-GauS — View-Consistent Regularization on Gaussians
NeurIPS 2024 · 2024.06 Chen et al. · NTU / Princeton · arXiv 2406.05774 · project

以往直接监督"渲染出来的法线",梯度只回到 rotation $q$,对位置 $\boldsymbol{\mu}$ 和 scale $s$ 没影响—— 椭球可以原地转个角度满足法线 loss 而几何丝毫不动。

关键想法:把"渲染深度对像素的导数 $=$ 法线"显式写进 loss, 让法线信号真正可以挪椭球;再加视角置信度过滤多视图不一致区。

本路线对"梯度到底流去哪儿了"看得最透的工作。

仍依赖法线预测;薄表面物体会被过度光滑。

TrimGS — Trimming low-contribution Gaussians
arXiv · 2024.06 Fan et al. · arXiv 2406.07499 · project

关键想法:好几何的 3DGS 应该由"小而准"的高斯组成。直接 trim 掉那些 "占地大但贡献低"的高斯,强制保留小尺寸高斯表达细节。

与 PGSR、2DGS 正交,可叠加。

剪枝阈值敏感;上游训歪了剪枝救不了。

GausSurf — Hybrid MVS + monocular prior routing
arXiv · 2024.11 Wang et al. · arXiv 2411.19454 · project

关键想法:不再纠结"用大模型 prior 还是 MVS 自一致性"——都用, 但按场景区域路由。纹理丰富区用 PatchMatch MVS,无纹理区用单目法线先验。 路线 A 后期的混合系代表。

2DGS-R — Revisiting Normal-Consistency in 2DGS
arXiv · 2025.10 · arXiv 2510.16837

关键想法:指出 2DGS 的 normal consistency loss 会损害渲染质量, 原因是几何正则和外观目标在某些像素冲突。解决:在差像素处"in-place clone"局部克隆 2D Gaussian, 让几何正则与渲染质量解耦。

软对齐思路里最精巧的微观调优。

小结 · 路线 A vs 路线 B

路线 A 相信问题出在优化信号,所以在外面套约束; 路线 B 相信问题出在表示能力,所以直接换基元。 实践中 SOTA 几乎总是"AbsGS 的密度策略 + PGSR/VCR-GauS 的深度法线正则 + 后处理 mesh",两条路线并不互斥。

§5B换基元:让基元天然就是表面

这条路线相信 3DGS 几何差的根在基元本身——3D 椭球天然不是表面元。 解决方案沿两个正交方向收敛: 降维(3D $\to$ 2D 流形片)让法线、切平面、深度成为基元的一等公民; 硬化边界(无界软高斯 $\to$ 有界硬核)让基元有明确"内外"。 极致形态是 Triangle Splatting:基元 $=$ mesh 单元(已划到路线 E)。

2DGS — 2D Gaussian Splatting for Geometrically Accurate Radiance Fields
SIGGRAPH 2024 · 2024.03 Huang, Yu, Chen, Geiger, Gao · 上海科技 / Tübingen · arXiv 2403.17888 · project

回到序章的"三宗罪":椭球深度依赖视角、没有内禀法线——这两条同时崩。

关键想法:把基元降到 2D 流形片(带方向的 2D 椭圆盘)。 2D 盘有一个切平面,切平面的法线就是基元法线; 任意射线与盘只有一个交点,深度是解析视角无关的。 两个新 loss 让一切运作:depth distortion(鼓励同射线上的盘聚集在一个深度)和 normal consistency(渲染法线 $\approx$ 渲染深度的梯度算出的法线)。 表面提取走 TSDF fusion。

SuGaR 用"软"正则把 3D 高斯往表面拽;2DGS 直接换基元,几何无偏是结构性保证。 DTU Chamfer 从 SuGaR 的 $1.33$ 干到 $0.80$,是整个三年里最重要的 step change。

背景/天空等无界区域处理欠佳;薄结构仍有 floaters;TSDF 引入额外步骤; 纯薄盘对毛发、半透明体积表达力下降,PSNR 通常略低于 3DGS。

Gaussian Surfels — High-quality Surface Reconstruction with Flat Gaussians
SIGGRAPH 2024 · 2024.04 Dai et al. · 浙大 · arXiv 2404.17774 · project

关键想法:和 2DGS 几乎同月独立提出的"扁高斯"工作—— 直接把 3DGS 的 z-scale 强制设为 $0$。结构等价于 2D 椭圆 surfel,但带来一个新问题: 退化协方差矩阵在数值上不稳定,所以引入了一个特定的"深度-法线自监督一致性损失"作平衡。

和 2DGS 各有取舍,但都是"3D 椭球 $\to$ 2D 流形片"这一思想跃迁的代表。

PGSR — Planar-based Gaussian Splatting Reconstruction
TVCG 2024 · 2024.06 Chen et al. · 浙大 CAD&CG · arXiv 2406.06521 · project

关键想法:把高斯强制扁平化后,渲染时直接输出"相机到平面的距离"和"法线", 两者相除得到无偏深度(平面方程 + cosine 校正)——这避开了 z-buffer 偏置。 再叠加单视图几何正则 + 多视图光度 & 几何一致性正则。 完全不需要预训练 depth / normal,全靠多视图自一致性。

相比 2DGS 深度公式更精确;相比 SuGaR 不需要 Poisson。 DTU Chamfer $0.53$,是这一时期纯几何路线的天花板。

高反光 / 透明物的平面假设不成立;室外大场景需要额外调度。

RaDe-GS — Rasterizing Depth in Gaussian Splatting
arXiv · 2024.06 Zhang et al. · 港科大 · arXiv 2406.01467 · project

关键想法:本路线里的少数派意见——保留通用 3D 椭球,只改深度光栅化方式。 推导 general 3D 高斯的射线-高斯峰点闭式相交,把这个交点深度作为 splat 深度, 而非原版 3DGS 的"高斯中心投影深度"。

"3DGS 几何不准"不是基元的错,是渲染公式选错了。属于"让所有路线 A 的 loss 真的能传梯度"的基础设施工作。

仍是体积基元,重建的"表面"是模糊等密度面;高反光场景受限。

从"等密度面"到"等值面"

GOF — Gaussian Opacity Fields
SIGGRAPH Asia 2024 · 2024.04 Yu, Sattler, Geiger · Tübingen · arXiv 2404.10772 · project

关键想法:从光线追踪式体渲染重新推导 3DGS,得到任意 3D 点的不透明度值, 把它定义为一个连续的"opacity field"。然后用高斯中心做正则四面体剖分, 跑 marching tetrahedra 直接抽出等值面的 mesh。

SuGaR / 2DGS 都还需要外部 TSDF 或 Poisson;GOF 把网格抽取看成场的等值面问题,更优雅, 且天然处理无界场景。DTU Chamfer $0.74$,等值面密度自适应——靠近物体密、远处稀。

四面体化在大场景仍较重;薄面 / 小孔可能因等值面阈值丢失。

SOF — Sorted Opacity Fields
SIGGRAPH Asia 2025 · 2025.06 Radl et al. · TU Graz · arXiv 2506.19139 · project

关键想法:分析出 GOF 存在系统性高估深度的问题——原因是 $\alpha$ 合成中的排序近似。 引入分层 resort + 精确深度公式 + 并行 Marching Tetrahedra, mesh 抽取时间快约 1 个数量级,重建精度同时上升。

是 GOF 路线 2025 年的归宿。

升阶到二次曲面 / 升结构到凸体 / 换核函数

QGS — Quadratic Gaussian Splatting
ICCV 2025 · 2024.11 Zhang et al. · arXiv 2411.16392 · project

关键想法:从一阶贴面(2D 盘)升到二阶贴面 (可变形二次曲面:椭球面、抛物面、鞍面)。 密度沿曲面的测地距离而非欧氏距离衰减——这才是"在表面上的高斯"该有的几何直觉。 单个 QGS 基元能匹配局部 Hessian,等价于"用更少基元覆盖弯曲表面"。

DTU Chamfer $0.51$,比 2DGS 降 33%。

实现复杂;测地距离的解析求解只对若干二次曲面族成立。

3DCS — 3D Convex Splatting
CVPR 2025 Highlight · 2024.11 Held et al. · Liège / KAUST / Oxford · arXiv 2411.14974 · project

关键想法:方向和 2DGS 相反——不是降维,是升结构。 用平滑凸多面体(顶点 + 锐度 $\delta$、平滑 $\sigma$)替代高斯, 通过线段 SDF 的组合得到指示函数。凸体可表达硬边界致密体, 对建筑边角、薄片这类尖锐结构比 Gaussian 软斑点更紧凑。

参数多,训练慢;不是显式 surface 基元,主要解决"硬边界"问题。

Deformable Beta Splatting — Tunable-shape Beta kernel
SIGGRAPH 2025 · 2025.01 Liu et al. · USC ICT · arXiv 2501.18630 · project

关键想法:换核函数——把无界 Gaussian 换成可形变 Beta 核。 引入形状参数 $b$:$b<0$ 时是"平顶 + 锐切断"(有界支撑 + 硬边界,适合表面), $b>0$ 时是"尖峰"(适合高频细节),$b=0$ 退化为 Gaussian。 同一基元能根据 $b$ 自适应频率,省参数 55%、快 $1.5\times$。

EVER — Exact Volumetric Ellipsoid Rendering
arXiv · 2024.10 Mai et al. · UC Berkeley / Google · arXiv 2410.01804 · project

关键想法:把高斯换成常密度椭球(hard boundary),用 ray tracing 精确积分。 椭球边界明确,射线进/出点是解析的,消除了 $\alpha$ 合成的近似带来的 popping 和视角相关密度伪影。

依赖 RT 硬件;常密度边界仍是椭球,不天然贴面。

3D-HGS — Half-Gaussian primitives
CVPR 2025 · 2024.06 · arXiv 2406.02720

关键想法:把椭球切一刀只保留半边,作为 plug-and-play 基元处理边缘 / 纹理不连续。 适合"基元一半在物体内、一半在空气中"的边缘像素。

GFSGS — Geometry Field Splatting with Gaussian Surfels
CVPR 2025 · 2024.11 Jiang et al. · UC San Diego / JHU · arXiv 2411.17067 · code

关键想法:2DGS 的精细化版本——把 surfel 视作"对几何场(geometry field)的采样器" 而非"对体积的采样器",去掉 2DGS 中的 Taylor 近似与自衰减近似,并用球谐编码反射向量替代颜色。

镜面物体的几何更稳。

3DGUT — 3D Gaussian Unscented Transform
CVPR 2025 Oral · 2024.12 Wu et al. · NVIDIA · arXiv 2412.12507

关键想法:基元仍是高斯,但把 EWA splatting 的线性化投影换成 Unscented Transform用 sigma points 精确投影。 在 fisheye、rolling-shutter 等强非线性投影下也能保持几何准确;还支持反射/折射 secondary rays。

和 EVER 同方向,3DGUT 是栅格化版,EVER 是 ray tracing 版。

基元谱系:从最贴表面 到 最厚体积 Triangle Splatting Surfels 2DGS PGSR QGS (二次曲面) Beta (b≪0) Linear RaDe-GS Mip-Splat 3DGS EVER 3DCS 最薄 / 最贴面 法线、深度天然解析 最厚 / 最复杂结构 表达力强但几何模糊
路线 B 的基元谱系。降维(Triangle / Surfel / 2DGS / PGSR)让基元结构性贴面; 升阶(QGS)让单基元能拟合曲率; 硬化(Beta、EVER、3DCS)让基元有明确内外。 极致形态是 Triangle Splatting——基元 $=$ mesh 三角形,本综述把它划到路线 E。

§6CSDF / 隐式表面混合

3DGS 给出离散漂浮的椭球——擅长拟合光度但不知道"表面在哪里"; NeuS / VolSDF 给出连续 SDF——知道表面在哪但渲染慢、细节糊。 把两者粘起来是 2023 年底开始爆发的一条主线。 按"耦合方式"分五个子路线:单向蒸馏($\to$ / $\leftarrow$)、双分支并行、一体化、SDF 拽动高斯。

NeuSG — 3DGS as dense prior for NeuS
arXiv · 2023.12 Chen et al. · NUS · arXiv 2312.00846

关键想法:本路线最早期工作之一。朴素 3DGS 椭球中心并不一定落在物体表面上—— NeuSG 加了一条"最小尺度趋近于零"的正则把椭球压成几乎二维的薄片, 逼迫椭球中心爬到真实表面附近; 然后用这些"贴在表面上的点"当作 NeuS 的位置和法向先验。

单向偏多——GS 给 NeuS 几何先验,NeuS 反向只通过共享场景隐式约束 GS。

GS 压扁后渲染质量下降;训练成本几乎是 NeuS + 3DGS 之和。

GSDF — Dual-branch 3DGS + SDF mutual supervision
NeurIPS 2024 · 2024.03 Yu et al. · 上海 AI Lab / CUHK · arXiv 2403.16964 · project

关键想法:第一个明确的双分支架构。 GS 分支专管"漂亮渲染",SDF 分支专管"准确表面",三座桥梁互喂监督: GS 渲染的深度图给 SDF 当 ray sampling 提示(让 SDF 只在表面附近精算,极大减少 marching 开销); SDF 反过来告诉 GS 哪儿是表面(指导高斯的克隆/剪枝只发生在表面附近); GS 渲染的法向被 SDF 法向监督。

两套网络,显存压力大;两个表征最终仍然分离,没有"统一表征"。

3DGSR — Implicit Surface Reconstruction with 3DGS (SDF welded into each Gaussian)
SIGGRAPH Asia 2024 / TOG · 2024.04 Lyu, Sun, Huang et al. · 港大 CVMI / 上海 AI Lab · arXiv 2404.00409 · code

之前的方法都是"两个分支并行"——SDF 和 GS 实际上是两个东西。

关键想法:走一体化路线——每个高斯的 $\alpha$ 不是自由变量, 而是由它中心处的 SDF 值经 sigmoid 函数算出:SDF 接近 $0$ 时 $\alpha$ 大;SDF 远离 $0$ 时 $\alpha$ 小。 这样优化 GS 渲染时就在隐式优化 SDF。 同一标量场(SDF)同时决定渲染($\alpha$)和几何(zero-level set)。

渲染速度仍是 3DGS 级(无 ray marching),提取的 mesh 是 NeuS 级的连续光滑。

SDF 监督信号只在有高斯的稀疏位置,远离表面处 SDF 实际上无约束;scene scale 大时优化不稳。

GaussianRoom — SDF-guided densify/prune for indoor scenes
arXiv · 2024.05 Xiang et al. · 港城大 / 港中文 · arXiv 2405.19671 · project

关键想法:室内场景的大白墙是 3DGS 的噩梦。 用 SDF 零等值面指导高斯的克隆/剪枝: 表面缺高斯的地方主动 densify、远离表面的浮点主动 prune。 再加上单目法向 + 单目深度先验在无纹理区注入伪监督。

GS-Pull — SDF gradient actively pulls Gaussians
NeurIPS 2024 · 2024.10 Zhang et al. · arXiv 2410.14189 · project

关键想法:来自 Neural Pull 系列。优化时每一步—— (1) 查询 SDF 在当前高斯位置的值和梯度; (2) 沿梯度方向把高斯"朝零等值面拽一下"; (3) 在拽过去的位置渲染并算 RGB loss。 这样 RGB loss 的梯度会反向流过 pull 操作去更新 SDF。高斯永远在表面上

每步引入额外计算;SDF 初期不准时拽错位置会发散。

DiscretizedSDF — SDF discretized onto each Gaussian
ICCV 2025 · 2025.07 Zhu, Yang, Wang · 南开 / 南大 · arXiv 2507.15629 · code

关键想法:连续 SDF MLP 代价高。直接把 SDF离散到每个高斯上 (每高斯一个 SDF 标量),$\alpha$ 由 SDF 经 sigmoid 转换得到(沿用 3DGSR 思路), 中位数 loss + projection 一致性 loss 把这些离散值约束成全局一致的 SDF。 为 relighting 应用——SDF 是 PBR 解耦质量的关键。

DiGS — Direct SDF Learning from 3DGS + grid-growth
arXiv · 2025.09 Guo, Wang · arXiv 2509.07493 · code

关键想法:与 DiscretizedSDF 思路接近——SDF 绑高斯上。 但 DiGS 强调"几何引导的 grid growth"——多尺度按几何一致性分布高斯。

DTU、Mip-NeRF360、TnT 上对 GOF / PGSR / 2DGS 全面提升,是路线 C 最新前沿。

相对路线 B 的优劣

优势:SDF 天生连续光滑——mesh 提取后没有 SuGaR / 2DGS 那种"碎裂、孔洞、薄壁穿插"; SDF 在空间任一点都有值,可做正则(Eikonal)、做 CSG 编辑、做物理仿真初始化; 薄结构(椅子腿、栏杆、电线杆)明显胜过纯 SuGaR / 2DGS;可重光照。

劣势:训练慢——双分支或每高斯绑 SDF 都加显存; 远场 SDF 没有监督(路线 D 的一致 pitfall); 超参敏感(SDF 正则系数、pull 学习率、SDF→opacity 函数温度); 大场景外推下 SDF 归一化是新难题(G2SDF 才开始处理)。

§7DMesh-bound:高斯绑在网格上

前面 A / B / C 三条路线的目标都是"从 3DGS 提 mesh"。 路线 D 反过来: 假设你已经有 mesh,把高斯锚定到三角面上,得到一个混合表达—— mesh 一动,高斯自动跟着动;mesh 提供拓扑结构,高斯提供高质量外观。 这条路线服务的是 编辑、动画、仿真 的下游需求。

GaMeS — Mesh-based Gaussian Splatting via barycentric coords
arXiv · 2024.02 Waczyńska et al. · Jagiellonian Univ. · arXiv 2402.01459 · code

关键想法:每个高斯属于某个三角形,位置用重心坐标表示, 旋转 / 缩放由三角形局部坐标系决定。mesh 变形 $\to$ 三角形变形 $\to$ 高斯自动重新计算。 结构上最简洁的"mesh-bound 高斯"。

依赖外部 mesh 拓扑;mesh 提取本身不是这篇的贡献。

Gaussian Frosting — Editable layer of Gaussians on a mesh
ECCV 2024 Oral · 2024.03 Guédon, Lepetit · ENPC · arXiv 2403.14554 · project

SuGaR 重在"提网格",但提完之后毛发、草、纤维这种"严格说不是 mesh 表面"的细节会被洗掉。

关键想法:SuGaR 同班人马的进阶——先用 SuGaR 抽 base mesh, 然后在 mesh 周围生长一层可变厚度的 frosting; 高斯被参数化为"层内坐标" $(u, v, w)$,mesh 变形时高斯随之拖动。

这层 frosting 让毛发、草、纤维这种模糊体积感也能保住,同时 mesh 一变形高斯自动跟。

Mani-GS — Mesh as proxy for 3DGS manipulation
CVPR 2025 · 2024.05 Gao et al. · HKUST / 腾讯 ARC · arXiv 2405.17811 · code

关键想法:三角形感知的高斯绑定 + 自适应方法。即便 mesh 不精确也能工作—— mesh 变形 $\to$ 高斯随动,支持大形变、软体仿真。

MeshGS — Tight + Loose splats
ACCV 2024 · 2024.10 Choi et al. · arXiv 2410.08941

关键想法:观察到完全"贴 mesh"的 splats 会受 mesh 误差拖累。分两类训练: tight-bound splats 拍扁贴在 mesh 上保几何; loose-bound splats 自由漂浮补 mesh 的伪影。

相比 GaMeS 对不准的输入 mesh 更鲁棒。

NPGA — Neural Parametric Gaussian Avatars
SIGGRAPH Asia 2024 · 2024.05 Giebenhain et al. · TUM / UCL · arXiv 2405.19331 · project

关键想法:为数字头像特化——把高斯绑到神经参数化头模 NPHM (非 mesh 表面)上而非传统 FLAME mesh。把反向变形场蒸馏成前向变形以兼容光栅化。

是 D 路线"非显式 mesh 也行"的代表。

§8EMesh-in-the-loop:训练循环里就有 mesh

2025 年最值得关注的方向。前面四条路线 A / B / C / D 都把 mesh 视为"训练后才有的副产品"—— 要么 Poisson、要么 TSDF、要么 marching cubes / tetrahedra。 路线 E 颠覆这一点: 让 mesh 提取本身可微,训练每一步都能拿到 mesh, 梯度可以从 mesh 直接流回 splat。"高斯泼溅"和"传统 mesh-based 渲染"的边界正在消失。

Triangle Splatting — Primitives are triangles themselves
arXiv · 2025.05 Held et al. · arXiv 2505.19175 · project

所有路线 B 的改基元工作还要事后抽 mesh。能不能直接把基元设为 mesh 单元?

关键想法:路线 B 的极致形态、也是路线 E 的起点。 每个三角形 $=$ 3 个顶点 + 平滑度 $\sigma$ + 颜色 / 不透明度;不透明度由三角形 2D SDF 给出。 三角形是计算机图形学的原生表面基元,输出直接是 mesh soup, 能用任何标准 mesh 渲染器以 $2400+$ FPS 渲染。

2DGS 是椭圆盘(仍是 splatting 框架),Triangle Splatting 是直接学习 mesh

输出拓扑仍是"三角形汤",不是流形 mesh;薄结构、半透明对单三角形仍是挑战。

MILo — Mesh-In-the-Loop Gaussian Splatting
SIGGRAPH Asia 2025 / TOG · 2025.06 Guédon et al. · INRIA / École Polytechnique · arXiv 2506.24096 · project

关键想法:SuGaR / Frosting 同班人马的最新作。摒弃"训练完再 marching cubes / Poisson"的 pipeline—— 让 mesh 顶点位置和连通性都每一步训练里通过可微 Delaunay 重抽, 梯度从 mesh 反向流回高斯。

顶点数比同类少约 $10\times$,但精度更高。

2D Triangle Splatting — 2D triangles as primitives
arXiv · 2025.06 · arXiv 2506.18575

关键想法:和 Triangle Splatting 同年的"2D 版"——直接用 2D 三角形作 splatting 基元, 不透明度由 barycentric 坐标给。

属于"基元和 mesh 合二为一"的另一种实现。

Triangle Splatting+ — Opaque + shared-vertex manifold mesh
arXiv · 2025.09 · arXiv 2509.25122

关键想法:Triangle Splatting 的工程化升级——共享顶点连通性 + 强制不透明, 输出真正可编辑的流形 mesh,可以直接进游戏引擎。

MeshSplatting — Constrained Delaunay for connectivity
arXiv · 2025.12 · arXiv 2512.06818

关键想法:本路线最新(2025 末)作。在 MILo / Triangle Splatting+ 之后的进一步—— 用受限 Delaunay 三角化保证连通性,输出可直接渲染的不透明 mesh。

比 MILo 高 $+0.69$ dB PSNR、训练快 $2\times$。

为什么 E 这么重要

路线 E 直接消解了"渲染基元"和"几何输出"的分离。 当训练循环里随时有 mesh 时—— 你可以用 mesh 的拓扑当正则(流形性、连通性、薄壁性), 可以让物理引擎在训练循环里参与, 可以无缝接入传统 CG pipeline(动画、贴图、UV unwrap)。 这是 2025 年最有可能定义 2026–2027 走向的方向。

§9F外部知识注入:借力工业级感知模型

这条路线的信念:与其重新发明几何,不如借用计算机视觉社区已经做了 10 年的工具—— 立体匹配、SLAM、多视图 stereo 基础模型。 3DGS 只负责"漂亮渲染",几何由外部模型提供或反向蒸馏。

GS2Mesh — 3DGS as virtual stereo camera
ECCV 2024 · 2024.04 Wolf et al. · arXiv 2404.01810 · project

关键想法:完全不改 3DGS 优化目标——训完之后,从训练位姿渲一对左右目图像, 喂给现成的 stereo matching 模型(如 DLNR / RAFT-Stereo)出深度,最后 TSDF 融合。 本质把"3DGS $\to$ mesh"问题转化为"立体重建"问题。 把工业级 stereo 网络在 KITTI / SceneFlow 上学到的真实世界知识"注入"进来。

依赖 stereo 网络的领域外泛化;视野缝隙处仍会出现一致性问题。

InstantSplat — DUSt3R replaces SfM
arXiv · 2024.03 Fan et al. · NVIDIA / UT Austin · arXiv 2403.20309 · project

关键想法:跳过 SfM。基础模型 DUSt3R / MASt3R 一步出位姿 + 稠密点云, 把 3DGS 收敛半径从"几小时"压到"40 秒"。

和 Splatt3R / MV-DUSt3R+ 形成 family,是路线 F 在 pose-free / 极少视图重建上的代表。

DUSt3R 视图数多了 OOM;长基线 / 室外大场景仍有瓶颈。

MonoGS — 3DGS as SLAM backend
CVPR 2024 Highlight · 2023.12 Matsuki et al. · Imperial College · arXiv 2312.06741 · project

关键想法:把 3DGS 当 SLAM 后端——跟踪和优化一锅炖,几何由位姿一致性约束。 3 FPS 在线,各向同性正则让在线增量优化稳定。

是路线 F 的"实时"分支。

DepthSplat — Bidirectional depth-GS coupling
CVPR 2025 · 2025.03

关键想法:更好的深度训出更好的 GS,更好的 GS 反哺深度模型—— 把 3DGS 训练和 depth estimation 当作一个双向任务。 "外部知识"在这里不再是冻结的,而是可被 3DGS 微调。

§10V垂直方向

2025 年开始,"通用 DTU 通杀"已经不是大家追的目标—— 各个垂直方向独立成熟,每条赛道有自己的 SOTA、自己的 benchmark、自己的失败模式。 本节按方向梳理。

稀疏视图 · sparse-view surface

当训练视图从 100+ 掉到 3–9 张,路线 A / B 的方法几乎都崩——光度信号不够,几何先验和正则成为必须。

  • FSGS / DNGaussian / SparseGS(2024 早期):单目深度先验 + densify 修正,奠基。
  • FatesGS(AAAI 2025):单视图内深度 + 多视图特征一致性双正则,$60$–$200\times$ 加速。
  • Sparse2DGS(CVPR 2025):MVS 初始化 + 几何先验加权的 2DGS。
  • SparSplat(2025.05):feed-forward 直接回归 2DGS 参数,DTU sparse-view SOTA + 约 $100\times$ 加速。
  • MeshSplat(AAAI 2026):feed-forward 输出像素对齐 2DGS + 加权 Chamfer + 单目法线监督。
  • SparseSurf(2025.11):用伪特征增强的几何一致性在训练 / 未见视图之间双向约束,DTU / BlendedMVS / Mip-NeRF360 sparse-view SOTA。
  • SurfelSplat(NeurIPS 2025):把 Gaussian surfel 设计成 generalizable 稀疏视图 feed-forward 表示。
  • GSRecon(ICCV 2025):cross-view 几何感知模块 + 栅格化渲染。

大规模 · city / aerial / driving

  • GigaGS(AAAI 2025):把 PGSR 思路扩展到城市/大场景的首篇——分区并行 + LoD 多视图一致性。
  • CityGaussianV2(ICLR 2025):2DGS $\times$ 并行训练 $\times$ 深度压缩——$10\times$ 压缩、节省 25% 训练时间、50% 显存。
  • UrbanGS / ULSR-GS:2DGS 在无人机大场景的扩展,强调几何一致性 + 分块。
  • StreetSurfGS(TVCG 2025):planar-Gaussian + octree + 段训练做城市街道表面重建。

驾驶 · autonomous driving

  • DeSiRe-GS(CVPR 2025):4D 街景静-动分解 + 2D-SDF 表达局部路面。
  • SplatAD(CVPR 2025):LiDAR + Camera 同时用 3DGS 渲染,做自驾闭环仿真。

反射 / 镜面 / 材质

  • Reflective Gaussian Splatting(ICLR 2025):在抽取的 mesh 上做射线追踪算 specular 可见性。
  • Ref-DGS:几何 Gaussian + 反射 Gaussian 双流,配 global env reflection field。
  • Car-GS:专门面向汽车(反射玻璃 / 金属漆)的视依赖基元设计。
  • GS-2M:材质感知 + 表面重建一体化,多视图分解出 BRDF + mesh。

动态 / 4D 表面

  • GSTAR(2025.01):把高斯绑到 mesh 面片上,能处理拓扑变化(断裂 / 合并)。
  • DynaSurfGS / DGNS:可变形 GS + 动态 neural surface 混合。
  • Anchored 4DGS(SIGGRAPH Asia 2025):4D anchor 框架降低 4DGS 存储与时延。

数字人 · avatar

  • NPGA:见路线 D。
  • Gaussian Frosting:见路线 D,毛发是杀手锏。
  • RMAvatar(2025.01):rectified mesh + 嵌入高斯,单目视频 photoreal 人体表面。

§11Benchmark 对比表

作者自报数字(不是我重新跑的)。DTU Chamfer:15 个 scene 的均值, 越低越好 ($\downarrow$)。 TnT F-score:Tanks & Temples 表面 benchmark, 越高越好 ($\uparrow$)。 点击表头排序;缺失值表示原论文未在该 benchmark 上报。

工作 路线 日期 场所 DTU Chamfer $\downarrow$ TnT F-score $\uparrow$
注:DTU 上 PGSR ($0.53$)、QGS ($0.51$) 是 2024–2025 年纯几何路线的最强水平; 2DGS ($0.80$) 是路线 B 的 step-change 锚点;3DGS 原版作为对照基线约 $1.96$。

§12怎么读:推荐入门路径

假设你已经懂 NeRF 体渲染 + SDF / NeuS 基础。读 69 篇没必要, 按下面四步走能让你 真正理解 这条 research line 的演化逻辑。

  1. Step 1 · 把"为什么 3DGS 几何差"想透。读原始 3DGS 论文 + 本页 §1,反复盯着"三宗罪"。 能用自己的话讲明白"椭球深度为什么视角依赖"再走下一步。
  2. Step 2 · 路线 B 的旗舰:读 2DGS 论文。这是这条 research line 上最重要的单篇—— 整个"换基元"思想的支点。读完去看 PGSR 怎么把它工程化、GOF 怎么把"提 mesh"变成"取等值面"。 这一步走完,你会理解为什么社区把 2DGS 当锚点。
  3. Step 3 · 路线 C 一个一体化代表:读 3DGSR。 你会看到"用 SDF 决定 opacity"这一招怎么把两个表征焊在一起, 以及"远场 SDF 没监督"这个一致 pitfall 是怎么来的。
  4. Step 4 · 路线 E 的最新潮流:读 MILo 或 Triangle Splatting+。 你会看到 2025 年怎么把"训练时就有 mesh"做出来—— 这是 2026 之后所有工作几乎都会以某种形式继承的方向。

读完这四篇 + 本页,你对整条 research line 的脉络就建立起来了。 剩下的 65 篇都是这四个支点的细化、推广、特化或修补—— 任何一篇你都能 30 秒判断它属于哪条路线、解决了什么"前任的痛点"。

读论文的快速通道

进入任何一篇 3DGS-surface 论文先问三个问题:

  1. 它属于本综述哪条路线(A / B / C / D / E / F / V)?
  2. 它的直接前任是谁,它改了 loss / 基元 / 网络结构中的哪一项?
  3. 它在 DTU / TnT / Mip-NeRF360 上哪一项比前任好、哪一项变差?

能回答这三个问题,你就读懂了一篇 3DGS-surface 论文 90% 的"信息密度"。

§13Open problems

2025 年底社区公认的开放问题。如果你是研究生在找选题,这里大概是收益最高的几个方向。

  1. 训练时-mesh 与渲染质量的真正解耦。 MILo / 2D Triangle Splatting 已经开了头,但在 unbounded outdoor、强反射、薄结构(电线、植被)上仍会出现 mesh 与高斯一方拖累另一方。
  2. 拓扑变化下的动态表面。 GSTAR 是目前最完整的尝试,但人手、布料、流体等高频拓扑变化仍未真正可用,4D mesh + GS 的统一表示是开放问题。
  3. 大规模无界场景的可扩展 watertight mesh。 CityGaussianV2 / StreetSurfGS 解决了渲染与几何质量,但产出的 mesh 通常非 watertight,无法直接拿去做物理仿真 / 碰撞 / 烘焙。
  4. 镜面 + 透明 + 半透明对几何的"骗"。 所有当前方法在玻璃、水面、镜子上几何都偏,Unbiased Depth 2DGS / Reflective GS / GS-2M 各自只解决了一部分。
  5. 稀疏视图 + 生成先验下的 mesh 评估标准缺失。 generative-prior-aided mesh 容易"幻觉"出貌似合理但与真值不符的结构,社区还没有公认的"幻觉敏感"指标。
  6. 可微 mesh 的下游可用性。 拿到 mesh 之后接到物理引擎、相机仿真、机器人 affordance 推理的完整 pipeline 仍稀缺,是 industry 真正关心却 academic benchmark 没量化的方向。
  7. 算力 / 内存的甜区。 QGS / DiGS / SOF 都偏重精度,训练时长仍在小时级;MILo 显存大;社区还缺"5 分钟即可在 RTX 4060 上跑出可用 mesh"的方案。

§14综述论文与资源

想读已发表的综述,下面是我推荐的优先级。

  • A Survey on Surface Reconstruction Based on 3D Gaussian Splatting, Xu et al., PeerJ CS 11:e3034 (2025-08). 本主题最对口——3D 表示 $\to$ 优化 $\to$ 表面提取三段式分类,含 SuGaR / 2DGS / GOF / PGSR / QGS 等系谱。 链接
  • A Survey on 3D Gaussian Splatting,Chen et al., arXiv:2401.03890(v8 / v9 持续 2025–2026 更新)。通用 3DGS 综述,含表面章节。
  • 3D Gaussian Splatting: Survey, Technologies, Challenges, and Opportunities, Bao et al., arXiv:2407.17418 / IEEE TVCG 31:4429 (2025)。技术挑战分类,含 mesh 章节。
  • A Survey on 3D Gaussian Splatting Applications: Segmentation, Editing, and Generation, arXiv:2508.09977。编辑 / 分割 / 生成应用面,含 mesh-based editing。
  • Human Reconstruction using 3DGS: A Brief SurveyFrontiers in AI 2025。数字人方向专题。

持续追踪资源