3D 高斯泼溅 × 表面重建

从 2023 年 SIGGRAPH 那篇引爆全行业的 3DGS 算起,三年里所有把"高斯"和"几何/表面/网格"焊在一起的主要工作——一份给 NeRF/SDF 入门者的图文综述。

3D 高斯泼溅(3DGS)2023 年横空出世时,社区第一时间欢呼的是渲染速度和 PSNR—— 从远处看,每一帧都像照片。可只要你拿任何一个训练好的 3DGS 模型去抠 mesh, 就会发现一团团软乎乎的椭球漂浮在物体周围:它们渲得对,但根本就不是表面。 这件事推开了过去三年里最热闹的一道门——怎样让 3DGS 同时会渲染又会建模型? 本综述把这条路上所有"主流站点"按七条思想路线拼成一张地图。

§1序章:高斯泼溅为何不重建表面

回顾一下 3DGS 做了什么:每个高斯是一个三维各向异性椭球——位置 μ、协方差 Σ(由旋转 q 和缩放 s 拼出来)、不透明度 α、视角相关的颜色 SH。渲染时把每个椭球沿视线方向 splat 到屏幕上,alpha 合成所有命中像素的椭球得到颜色。监督只有一个光度损失。

这一套机制为什么不给你表面?三个原因,本综述把它们叫作「三宗罪」,每一条都对应着后续若干工作要解决的问题。

一条射线穿过四种"表面表达基元" 3D 椭球(3DGS) 射线进/出两次 没有"表面点" 2D 圆盘(2DGS) 射线-平面唯一交点 天然法线 + 视角无关深度 二次曲面(QGS) 一个基元盖更大曲率 沿测地距离衰减 三角形(Triangle Splatting) 基元 = mesh 单元 训练即 mesh 射线 → "渲染好" ≠ "几何好" — 同一条射线,前三种基元的"表面位置"含义完全不同。
从左到右是三年路线 B 的浓缩: 3D 椭球的"表面"在哪儿是说不清的(射线穿过两次、内部密度连续衰减); 2DGS 把基元降到 2D,射线-平面的交点就是表面点; QGS 升到二阶曲面,单基元能拟合更大曲率; Triangle Splatting 直接用三角形——基元本身就是 mesh 的最小单元。

三宗罪

第一宗:基元是体积,没有一个明确的"表面点"。 一个 3D 椭球被一条射线穿过时,进入和退出两次,中间是连续的密度衰减; 你说"表面在哪里"是哲学问题——是 α=0.5 的等值面?是峰值处?是中心投影? 不同视角的回答不一样,所以多视图几何一致性从根上就崩。

第二宗:椭球没有内禀法线。 椭球有三个主轴,谁是法向是优化器猜的。 任何想用"法线监督"驯服 3DGS 的工作, 都得先回答"梯度应该流回旋转、缩放还是位置"这个问题 (路线 A 中 VCR-GauS 把这件事看得最透)。

第三宗:光度损失对几何不敏感。 只要图像渲对了,椭球互相穿插、漂浮在空中、巨大半透明都不会被惩罚。 你看到的 3DGS 重建图通常是"几个巨大的半透明椭球叠加出一个看起来对的颜色", TSDF/Poisson 抽出来的几何自然碎成豆腐渣。

这页的核心 insight
本综述要回答的就是这一句:3DGS 渲染好 ≠ 几何好。 后续七条路线,本质上都是在三宗罪的某一条上下功夫—— 要么给损失加监督(A)、要么换基元让法线/深度天然存在(B/E)、 要么把已知会建几何的 SDF/NeuS 缝进来(C), 要么不强求 GS 给 mesh、改让 mesh 反过来约束 GS(D/E), 要么干脆借助工业级感知模型间接拿几何(F)。

本综述的范围与目标

我收录了从 2023 年 11 月(3DGS 后第一个表面工作 SuGaR)到 2026 年 5 月之间, 所有提出了独立思想、被社区广泛引用或代表某条路线"最新前沿"的工作——约 60 篇。 所有微小变体(仅改超参、换数据集)一律不收。

对每一篇我只回答三个问题: 它做了什么新东西它和它的"前任"最关键的区别它失败在哪。 而逐字搬运 abstract,抄数学符号。

§2思想地图与七条路线

所有工作可以放进七条思想路线。它们不是互斥的——许多 2024-2025 年的 SOTA 工作把 A + B + F 缝在一起跑。但每条路线都有自己的"祖师"和"看待问题的方式",理解了路线就理解了一篇论文为什么这样设计 loss。

3DGS (2023.08) SIGGRAPH 2023 A 软对齐 SuGaR DN-Splatter VCR-GauS TrimGS AbsGS GaussianPro GausSurf B 换基元 2DGS Surfels PGSR RaDe-GS GOF / SOF QGS · 3DCS Beta · EVER C SDF 混合 NeuSG GSDF 3DGSR GaussianRoom GS-Pull DiGS DiscretizedSDF D Mesh-bound GaMeS Frosting Mani-GS MeshGS NPGA E Mesh-in-the-loop Triangle Splat MILo 2D Tri Splat Tri Splat+ MeshSplatting 2025 新潮 F 外部知识注入 GS2Mesh InstantSplat DepthSplat MonoGS V 垂直方向 SparseSurf CityGS V2 DeSiRe-GS Reflective GS GSTAR NPGA / RM 三种主要"治疗" A 加监督 · B+E 换基元 · C 借 SDF 两种"应用导向":D 给已有 mesh 化妆 · F 借外部模型 任意 SOTA 工作通常是 A + B + F 三条路线的叠加

七条路线一句话定义

§3三年时间线

横轴是论文首次公开时间(arXiv 月份),颜色对应路线。鼠标悬停查看一句话简介, 点击跳转到正文卡片。

← 可横向滚动 · 每个圆点是一篇论文 · 悬停看简介 · 点击跳到正文 →

三个明显的浪潮

第一波(2023.11 – 2024.04):所有人都在解决"3DGS 提不了 mesh"。 SuGaR 用"软对齐"把这条路打开,DN-Splatter / DNGaussian / GeoGaussian 跟进; NeuSG / GSDF / 3DGSR 同时探索"借 SDF"; 2DGS / Gaussian Surfels 几乎同月独立提出"换基元"。

第二波(2024.06 – 2024.12):路线 B 高速成熟。 PGSR / RaDe-GS / GOF 把"2D / 无偏深度 / 等值面"做到 DTU SOTA; QGS、3DCS、Beta、EVER 开始探索"非高斯非平面"的下一代基元。 同期 InstantSplat 把 DUSt3R 注入,路线 F 开始独立。

第三波(2025.01 – 2026.05):训练循环里直接有 mesh。 Triangle Splatting → MILo → Triangle Splatting+ → MeshSplatting, "基元 = mesh 单元"成为新共识; 同时 SDF 混合路线进入 DiGS / DiscretizedSDF 阶段, SDF 不再是大 MLP,而是每个高斯绑一个标量; 垂直方向(稀疏视图、大场景、反射、4D)独立成熟,各自跑 SOTA。

§4A软对齐:基元不动,加监督

这条路线的信念:3DGS 几何差不是因为基元有问题,而是因为光度 loss 不约束几何。 那就把所有能拿到的几何信号塞进 loss——深度、法线、平面、MVS 一致性、剪枝、densify 修正—— 把椭球"拽"到表面上去。它是历史最长、工作最多、最容易和其它路线叠加的一支。

SuGaR · Surface-Aligned Gaussian Splatting

CVPR 2024 · 2023.11 arXiv 2311.12775 project

首次把"贴表面"写进 3DGS 的训练 loss——压扁高斯、对齐到一个"理想 SDF"、Poisson 抽 mesh。

SuGaR 的洞察其实只有一句:如果所有高斯都贴在表面上,那场景的密度场就近似一个理想的 SDF。 作者据此推导了一个"理想 SDF"的解析表达式(用最近高斯的距离和不透明度算), 然后把"GS 实际密度 vs 理想 SDF 之差"做成正则项推高斯收敛。 训练完,从这个伪 SDF 采样点,跑标准 Poisson 重建拿 mesh,再把高斯重新绑回 mesh 三角面继续优化。

关键区分:在 SuGaR 之前要从 3DGS 拿 mesh,要么 marching cubes 体素化(慢且糙), 要么训一个独立 NeuS(极慢)。SuGaR 是第一篇把"对齐表面"直接写进 loss 的,从此整条软对齐路线开张。

压扁仍是 3D 椭球的退化形式,深度/法线并非无偏;Poisson 重建对椭球噪声敏感;正则强度需要手调。

正则化的两大派别

紧接 SuGaR,社区分成两派:"从大模型拿监督" vs "从场景自身拿监督"。 前者依赖现成的单目深度/法线预测网络(Marigold、Omnidata、StableNormal), 后者只用多视图自一致性。两派各有道理:前者上限高但依赖 prior 质量,后者鲁棒但弱纹理区会塌。

DN-Splatter · 单目深度 + 法线 + 平滑三合一

WACV 2025 · 2024.03 arXiv 2403.17822 project

用单目深度 + 法线 + 邻接高斯平滑,瞄准 iPhone LiDAR/RGB-D 扫描的室内场景。

对室内大白墙这种纹理稀的地方,光度 loss 几乎没信号——高斯随便长成针刺都行。 DN-Splatter 把现成的单目深度/法线预测直接当伪 GT,用 L1 监督深度、cosine 监督法线、 邻接高斯法线一致性正则。还做了一个细节:用 RGB 梯度调权"高频处放松、低频处加强"。

关键区分:和同期 DNGaussian 思路相似,但 DN-Splatter 主推 mesh 提取 pipeline (Poisson 后处理),更工程化、对手机扫描场景做了特化。后续 AGS-Mesh(2024.11)是它的直系下一代—— 增加多视图一致性筛选机制丢弃低质 prior 像素。

深度/法线 prior 的质量决定上限;室外、强反射场景效果一般。

DNGaussian · 双重深度 + 全局-局部归一化

CVPR 2024 · 2024.03 arXiv 2403.06912 code

解决一个具体问题:单目深度预测有未知尺度,不能直接当 GT 用。 DNGaussian 同时用"硬深度"(仅最大不透明度高斯算出来的深度,约束位置)和"软深度" (α 合成深度,约束分布),再用全局-局部双归一化让 loss 对尺度漂移不敏感。 是 sparse-view 3DGS 的常被引基线。

极稀疏(< 3 视图)仍会崩;纯靠单目深度,镜面/透明物失败。

GaussianPro · 不靠大模型,只靠多视图一致性

ICML 2024 · 2024.02 arXiv 2402.14650 project

和 DN-Splatter 形成思想对照。GaussianPro 走"纯传统 MVS 自一致性"路线: SfM 在纹理缺失区没点 → 3DGS 没初值 → 永远建不好。 解决方案:训练过程中用 PatchMatch 风格的 propagation,从邻域已建好的高斯传播 深度/法线到没点的位置,再 densify 新高斯。监督完全来自自己,不吃任何大模型 prior。

依赖局部平面性假设;高曲率区可能过平滑。

GeoGaussian · 平面区初始化薄高斯,densify 时传承方向

ECCV 2024 · 2024.03 arXiv 2403.11324 code

另一种"不靠大模型"思路:SfM 点云上检测共面区,那里的高斯一律初始化成"薄片 + 朝法向"; densify 时新生高斯继承父高斯的方向。本质是"用显式几何约束模拟 SDF 的零等值面"的轻量替代品。

非平面物体无收益;需预先的 PlanarSLAM 输入。

AbsGS · 修一个 3DGS 的隐藏 bug

ACM MM 2024 · 2024.04 arXiv 2404.10484 project

不属于"加几何监督",但几乎所有想要清晰表面的方法都把它当 baseline trick 叠加。 原 3DGS 用 Σ grad 决定 densify——但梯度方向相反的会相消, 导致一个大高斯压住高频区却"看不到自己需要分裂"。AbsGS 改成 Σ |grad| 消除"gradient collision"。 小改动,大影响。

高斯数量显著增长;不解决核心几何错配。

把法线监督真正传到对的参数上

VCR-GauS · 法线监督到底监督到了谁

NeurIPS 2024 · 2024.06 arXiv 2406.05774 project

本路线对"梯度到底流去哪儿了"看得最透的工作。以往直接监督"渲染出来的法线", 梯度只回到 rotation,对位置和 scale 没影响——意味着椭球可以原地转个角度满足法线 loss 而几何丝毫不动。VCR-GauS 把"渲染深度对像素的导数 = 法线"显式写进 loss, 让法线信号真正可以挪椭球;再加视角置信度过滤多视图不一致区。

仍依赖法线预测;薄表面物体会被过度光滑。

TrimGS · 训练中剪枝"假高斯"

arXiv · 2024.06 arXiv 2406.07499 project

观察:好几何的 3DGS 应该由"小而准"的高斯组成。直接 trim 掉那些"占地大但贡献低"的高斯, 强制保留小尺寸高斯表达细节。与 PGSR、2DGS 正交,可叠加。

剪枝阈值敏感;上游训歪了剪枝救不了。

GausSurf · 分区路由几何监督

arXiv · 2024.11 arXiv 2411.19454 project

不再纠结"用大模型 prior 还是 MVS 自一致性"——都用,但按场景区域路由。 纹理丰富区用 PatchMatch MVS,无纹理区用单目法线先验。是路线 A 后期的混合系代表。

2DGS-R · 修一个 2DGS 的设计缺陷

arXiv · 2025.10 arXiv 2510.16837

2DGS 路线发展到 2025 年的回访工作。指出 2DGS 的 normal consistency loss 会损害渲染质量, 原因是几何正则和外观目标在某些像素冲突。解决:在差像素处"in-place clone"局部克隆 2D Gaussian, 让几何正则与渲染质量解耦。是"软对齐"思路里最精巧的微观调优。

小结 · 路线 A vs 路线 B
路线 A 相信问题出在优化信号,所以在外面套约束; 路线 B 相信问题出在表示能力,所以直接换基元。 实践中 SOTA 几乎总是"AbsGS 的密度策略 + PGSR/VCR-GauS 的深度法线正则 + 后处理 mesh", 两条路线并不互斥。

§5B换基元:让基元天然就是表面

这条路线相信 3DGS 几何差的根在基元本身——3D 椭球天然不是表面元。 解决方案沿两个正交方向收敛:降维(3D → 2D 流形片)让法线、切平面、深度成为基元的一等公民; 硬化边界(无界软高斯 → 有界硬核)让基元有明确"内外"。 极致形态是 Triangle Splatting:基元 = mesh 单元(已划到路线 E)。

2DGS · 把 3D 椭球退化成 2D 圆盘

SIGGRAPH 2024 · 2024.03 arXiv 2403.17888 project

这条路线的旗舰——把椭球的 z 维度压到零,基元变成有方向的 2D 椭圆盘,深度、法线、切平面都解析地确定。

回到序章的"三宗罪":椭球深度依赖视角、没有内禀法线。 2DGS 把基元降到 2D 流形片后这两条同时消失——2D 盘有一个切平面,切平面的法线就是基元法线; 任意射线与盘只有一个交点,深度是解析视角无关的。 两个新 loss 让一切运作:depth distortion(鼓励同射线上的盘聚集在一个深度,防止"两层薄盘错位")和 normal consistency(渲染法线 ≈ 渲染深度的梯度算出的法线)。 表面提取走 TSDF fusion。

关键区分:SuGaR 用"软"正则把 3D 高斯往表面拽;2DGS 直接换基元,几何无偏是结构性保证。 DTU Chamfer 从 SuGaR 的 1.33 干到 0.80,是整个三年里最重要的 step change。

背景/天空等无界区域处理欠佳;薄结构仍有 floaters;TSDF 引入额外步骤;纯薄盘对毛发、半透明体积表达力下降,PSNR 通常略低于 3DGS。

Gaussian Surfels · 同期独立的"扁高斯"

SIGGRAPH 2024 · 2024.04 arXiv 2404.17774 project

和 2DGS 几乎同月独立提出的"扁高斯"工作,实现路线略不同—— 直接把 3DGS 的 z-scale强制设为零。结构等价于 2D 椭圆 surfel,但带来一个新问题: 退化协方差矩阵在数值上不稳定,所以引入了一个特定的"深度-法线自监督一致性损失"作平衡。 和 2DGS 各有取舍,但都是"3D 椭球 → 2D 流形片"这一思想跃迁的代表。

PGSR · 平面化 + 无偏深度,纯几何路线

TVCG 2024 · 2024.06 arXiv 2406.06521 project

紧接 2DGS 的工程化加强版。把高斯强制扁平化后,渲染时直接输出"相机到平面的距离"和"法线", 两者相除得到无偏深度(平面方程 + cosine 校正)——这避开了 z-buffer 偏置。 再叠加单视图几何正则 + 多视图光度&几何一致性正则。完全不需要预训练 depth/normal,全靠多视图自一致性。

关键区分:相比 2DGS,深度公式更精确;相比 SuGaR 不需要 Poisson。 DTU Chamfer 0.53,是这一时期纯几何路线的天花板。

高反光/透明物的平面假设不成立;室外大场景需要额外调度。

RaDe-GS · "不必降到 2D"——只改深度公式

arXiv · 2024.06 arXiv 2406.01467 project

本路线里的少数派意见——保留通用 3D 椭球,只改深度光栅化方式。 RaDe-GS 推导 general 3D 高斯的射线-高斯峰点闭式相交,把这个交点深度作为 splat 深度, 而非原版 3DGS 的"高斯中心投影深度"。换句话说,"3DGS 几何不准"不是基元的错,是渲染公式选错了。 属于"让所有路线 A 的 loss 真的能传梯度"的基础设施工作。

仍是体积基元,重建的"表面"是模糊等密度面;高反光场景受限。

从"等密度面"到"等值面"

GOF · Gaussian Opacity Fields

SIGGRAPH Asia 2024 · 2024.04 arXiv 2404.10772 project

重新解释 3DGS:从光线追踪式体渲染推导,得到任意 3D 点的不透明度值, 把它定义为一个连续的"opacity field"。然后用高斯中心做正则四面体剖分, 跑 marching tetrahedra 直接抽出等值面的 mesh。

关键区分:SuGaR/2DGS 都还需要外部 TSDF 或 Poisson;GOF 把网格抽取看成场的等值面问题,更优雅,且天然处理无界场景。 DTU Chamfer 0.74,等值面密度自适应——靠近物体密、远处稀。

四面体化在大场景仍较重;薄面/小孔可能因等值面阈值丢失。

SOF · Sorted Opacity Fields(GOF 的下一代)

SIGGRAPH Asia 2025 · 2025.06 arXiv 2506.19139 project

分析出 GOF 存在系统性高估深度的问题——原因是 α 合成中的排序近似。 SOF 引入分层 resort + 精确深度公式 + 并行 Marching Tetrahedra,mesh 抽取时间快约 1 个数量级, 重建精度同时上升。是 GOF 路线 2025 年的归宿。

升阶到二次曲面 / 升结构到凸体 / 换核函数

QGS · Quadratic Gaussian Splatting

ICCV 2025 · 2024.11 arXiv 2411.16392 project

从一阶贴面(2D 盘)升到二阶贴面(可变形二次曲面:椭球面、抛物面、鞍面)。 密度沿曲面的测地距离而非欧氏距离衰减——这才是"在表面上的高斯"该有的几何直觉。 单个 QGS 基元能匹配局部 Hessian,等价于"用更少基元覆盖弯曲表面"。DTU Chamfer 0.51,比 2DGS 降 33%。

实现复杂;测地距离的解析求解只对若干二次曲面族成立。

3DCS · 3D Convex Splatting

CVPR 2025 Highlight · 2024.11 arXiv 2411.14974 project

方向和 2DGS 相反——不是"降维",是"升结构"。 用平滑凸多面体(顶点 + 锐度 δ、平滑 σ)替代高斯,通过线段 SDF 的组合得到指示函数。 凸体可表达硬边界致密体,对建筑边角、薄片这类尖锐结构比 Gaussian 软斑点更紧凑。

参数多,训练慢;不是显式 surface 基元,主要解决"硬边界"问题。

Deformable Beta Splatting · 可调形状的 Beta 核

SIGGRAPH 2025 · 2025.01 arXiv 2501.18630 project

换核函数:把无界 Gaussian 换成可形变 Beta 核——引入形状参数 b, b<0 时是"平顶 + 锐切断"(有界支撑 + 硬边界,适合表面), b>0 时是"尖峰"(适合高频细节),b=0 退化为 Gaussian。 同一基元能根据 b 自适应频率,省参数 55%、快 1.5×。

EVER · 常密度硬椭球 + 精确 ray tracing

arXiv · 2024.10 arXiv 2410.01804 project

把高斯换成常密度椭球(hard boundary),用 ray tracing 精确积分。 椭球边界明确,射线进/出点是解析的,消除了 α 合成的近似带来的 popping 和视角相关密度伪影。 依赖 RT 硬件,但是路线 B "硬化基元边界"分支的极致表达。

3D-HGS · 半高斯

CVPR 2025 · 2024.06 arXiv 2406.02720

把椭球切一刀只保留半边,作为 plug-and-play 基元处理边缘/纹理不连续。 适合"基元一半在物体内、一半在空气中"的边缘像素。

GFSGS · 把 surfel 看作几何场采样器

CVPR 2025 · 2024.11 arXiv 2411.17067 code

2DGS 的精细化版本——把 surfel 视作"对几何场(geometry field)的采样器"而非"对体积的采样器", 去掉 2DGS 中的 Taylor 近似与自衰减近似,并用球谐编码反射向量替代颜色。 镜面物体的几何更稳。

3DGUT · 修投影忠实度

CVPR 2025 Oral · 2024.12 arXiv 2412.12507

基元仍是高斯,但把 EWA splatting 的线性化投影换成无迹变换 (Unscented Transform)用 sigma points 精确投影。 在 fisheye、rolling-shutter 等强非线性投影下也能保持几何准确;还支持反射/折射 secondary rays。 和 EVER 同方向,3DGUT 是栅格化版,EVER 是 ray tracing 版。NVIDIA 已开源。

基元谱系:从最贴表面 → 最厚体积 Triangle Splatting Surfels 2DGS PGSR QGS (二次曲面) Beta (b≪0) Linear RaDe-GS Mip-Splat 3DGS EVER 3DCS 最薄 / 最贴面 ↓ 法线、深度天然解析 最厚 / 最复杂结构 ↑ 表达力强但几何模糊
路线 B 的基元谱系。降维(Triangle / Surfel / 2DGS / PGSR)让基元结构性贴面; 升阶(QGS)让单基元能拟合曲率; 硬化(Beta、EVER、3DCS)让基元有明确内外。 极致形态是 Triangle Splatting——基元 = mesh 三角形,本综述把它划到路线 E。

§6CSDF / 隐式表面混合

3DGS 给出离散漂浮的椭球——擅长拟合光度但不知道"表面在哪里"; NeuS / VolSDF 给出连续 SDF——知道表面在哪但渲染慢、细节糊。 把两者粘起来是 2023 年底开始爆发的一条主线。 按"耦合方式"分五个子路线:单向蒸馏(→/←)、双分支并行、一体化、SDF 拽动高斯。

NeuSG · GS 当 NeuS 的几何先验

arXiv · 2023.12 arXiv 2312.00846

本路线最早期工作之一。朴素 3DGS 椭球中心并不一定落在物体表面上—— NeuSG 加了一条"最小尺度趋近于零"的正则把椭球压成几乎二维的薄片,逼迫椭球中心爬到真实表面附近; 然后用这些"贴在表面上的点"当作 NeuS 的位置和法向先验。 单向偏多——GS 给 NeuS 几何先验,NeuS 反向只通过共享场景隐式约束 GS。

GS 压扁后渲染质量下降;训练成本几乎是 NeuS+3DGS 之和。

GSDF · 双分支并行互喂

NeurIPS 2024 · 2024.03 arXiv 2403.16964 project

第一个明确的"双分支"架构。 GS 分支专管"漂亮渲染",SDF 分支专管"准确表面",三座桥梁互喂监督: GS 渲染的深度图给 SDF 当 ray sampling 提示(让 SDF 只在表面附近精算,极大减少 marching 开销); SDF 反过来告诉 GS 哪儿是表面(指导高斯的克隆/剪枝只发生在表面附近); GS 渲染的法向被 SDF 法向监督。

两套网络,显存压力大;两个表征最终仍然分离,没有"统一表征"。

3DGSR · SDF 焊进每个高斯里

SIGGRAPH Asia 2024 / TOG · 2024.04 arXiv 2404.00409 code

"一体化"路线代表:每个高斯的 α 不是自由变量,而是由它中心处的 SDF 值经 sigmoid-like 函数算出。

之前的方法都是"两个分支并行",3DGSR 走的是一体化—— SDF 接近 0 → α 大;SDF 远离 0 → α 小。这样优化 GS 渲染时就在隐式优化 SDF。 同一标量场(SDF)同时决定渲染(α)和几何(zero-level set)。 渲染速度仍是 3DGS 级(无 ray marching),提取的 mesh 是 NeuS 级的连续光滑。

SDF 监督信号只在有高斯的稀疏位置,远离表面处 SDF 实际上无约束;scene scale 大时优化不稳。

GaussianRoom · 把 3DGSR 思路搬到室内

arXiv · 2024.05 arXiv 2405.19671 project

室内场景的大白墙是 3DGS 的噩梦。GaussianRoom 用 SDF 零等值面指导高斯的克隆/剪枝: 表面缺高斯的地方主动 densify、远离表面的浮点主动 prune。再加上单目法向 + 单目深度先验在无纹理区注入伪监督。

GS-Pull · SDF 梯度主动拽动高斯

NeurIPS 2024 · 2024.10 arXiv 2410.14189 project

来自 Neural Pull 系列的思路:优化时每一步—— (1) 查询 SDF 在当前高斯位置的值和梯度; (2) 沿梯度方向把高斯"朝零等值面拽一下"; (3) 在拽过去的位置渲染并算 RGB loss。 这样 RGB loss 的梯度会反向流过 pull 操作去更新 SDF。高斯永远在表面上

每步引入额外计算;SDF 初期不准时拽错位置会发散。

DiscretizedSDF · SDF 不再用 MLP

ICCV 2025 · 2025.07 arXiv 2507.15629 code

连续 SDF MLP 代价高。DiscretizedSDF 直接把 SDF离散到每个高斯上(每高斯一个 SDF 标量), opacity 由 SDF 经 sigmoid 转换得到(沿用 3DGSR 思路), 中位数 loss + projection 一致性 loss 把这些离散值约束成全局一致的 SDF。 为 relighting 应用——SDF 是 PBR 解耦质量的关键。

DiGS · 每高斯绑 SDF + grid-growth

arXiv · 2025.09 arXiv 2509.07493 code

与 DiscretizedSDF 思路接近——SDF 绑高斯上。 但 DiGS 强调"几何引导的 grid growth"——多尺度按几何一致性分布高斯。 DTU、Mip-NeRF360、TnT 上对 GOF/PGSR/2DGS 全面提升,是路线 C 最新前沿。

相对路线 B 的优劣
优势:SDF 天生连续光滑——mesh 提取后没有 SuGaR/2DGS 那种"碎裂、孔洞、薄壁穿插"; SDF 在空间任一点都有值,可做正则(Eikonal)、做 CSG 编辑、做物理仿真初始化; 薄结构(椅子腿、栏杆、电线杆)明显胜过纯 SuGaR/2DGS;可重光照。

劣势:训练慢——双分支或每高斯绑 SDF 都加显存; 远场 SDF 没有监督(路线 D 的一致 pitfall); 超参敏感(SDF 正则系数、pull 学习率、SDF→opacity 函数温度); 大场景外推下 SDF 归一化是新难题(G2SDF 才开始处理)。

§7DMesh-bound:高斯绑在网格上

前面 A/B/C 三条路线的目标都是"从 3DGS 提 mesh"。 路线 D 反过来:假设你已经有 mesh,把高斯锚定到三角面上,得到一个混合表达—— mesh 一动,高斯自动跟着动;mesh 提供拓扑结构,高斯提供高质量外观。 这条路线服务的是编辑、动画、仿真的下游需求。

GaMeS · 重心坐标参数化

arXiv · 2024.02 arXiv 2402.01459 code

每个高斯属于某个三角形,位置用重心坐标表示,旋转/缩放由三角形局部坐标系决定。 mesh 变形 → 三角形变形 → 高斯自动重新计算。结构上最简洁的"mesh-bound 高斯"。

依赖外部 mesh 拓扑;mesh 提取本身不是这篇的贡献。

Gaussian Frosting · 在 mesh 表面敷一层"糖霜"

ECCV 2024 Oral · 2024.03 arXiv 2403.14554 project

SuGaR 同班人马(Guédon & Lepetit)的进阶——既提 mesh 又能表达毛发、草这种模糊体积感。

SuGaR 重在"提网格",Frosting 重在"提完网格还能编辑动画"。 先用 SuGaR 抽 base mesh,然后在 mesh 周围生长一层可变厚度的 frosting; 高斯被参数化为"层内坐标"(u, v, w),mesh 变形时高斯随之拖动。 这层 frosting 让毛发、草、纤维这种"严格说不是 mesh 表面"的细节也能保住。

Mani-GS · 用 mesh 作代理操控 3DGS

CVPR 2025 · 2024.05 arXiv 2405.17811 code

三角形感知的高斯绑定 + 自适应方法。即便 mesh 不精确也能工作—— mesh 变形 → 高斯随动,支持大形变、软体仿真。

MeshGS · tight + loose 两类高斯

ACCV 2024 · 2024.10 arXiv 2410.08941

观察到完全"贴 mesh"的 splats 会受 mesh 误差拖累。分两类训练: tight-bound splats 拍扁贴在 mesh 上保几何; loose-bound splats 自由漂浮补 mesh 的伪影。 相比 GaMeS 对不准的输入 mesh 更鲁棒。

NPGA · 高斯绑在神经参数化头模上

SIGGRAPH Asia 2024 · 2024.05 arXiv 2405.19331 project

为数字头像特化——把高斯绑到神经参数化头模 NPHM(非 mesh 表面)上而非传统 FLAME mesh。 把反向变形场蒸馏成前向变形以兼容光栅化。是 D 路线"非显式 mesh 也行"的代表。

§8EMesh-in-the-loop:训练循环里就有 mesh

2025 年最值得关注的方向。前面四条路线 A/B/C/D 都把 mesh 视为"训练后才有的副产品"—— 要么 Poisson、要么 TSDF、要么 marching cubes/tetrahedra。 路线 E 颠覆这一点:让 mesh 提取本身可微,训练每一步都能拿到 mesh, 梯度可以从 mesh 直接流回 splat。"高斯泼溅"和"传统 mesh-based 渲染"的边界正在消失。

Triangle Splatting · 基元就是三角形

arXiv · 2025.05 arXiv 2505.19175 project

直接把可微三角形当作 splat 基元——基元 = mesh 单元,跳过任何 marching cubes/Poisson 后处理。

路线 B 的极致形态、也是路线 E 的起点。 每个三角形 = 3 个顶点 + 平滑度 σ + 颜色/不透明度;不透明度由三角形 2D SDF 给出。 三角形是计算机图形学的原生表面基元,输出直接是 mesh soup, 能用任何标准 mesh 渲染器以 2400+ FPS 渲染。

关键区分:2DGS 是椭圆盘(仍是 splatting 框架),Triangle Splatting 是直接学习 mesh

输出拓扑仍是"三角形汤",不是流形 mesh;薄结构、半透明对单三角形仍是挑战。

MILo · Mesh-In-the-Loop Gaussian Splatting

SIGGRAPH Asia 2025 / TOG · 2025.06 arXiv 2506.24096 project

SuGaR/Frosting 同班人马的最新作。摒弃"训练完再 marching cubes/Poisson" 的 pipeline—— 让 mesh 顶点位置和连通性都每一步训练里通过可微 Delaunay 重抽, 梯度从 mesh 反向流回高斯。顶点数比同类少约 10×,但精度更高。

2D Triangle Splatting · 训练即 mesh

arXiv · 2025.06 arXiv 2506.18575

和 Triangle Splatting 同年的"2D 版"——直接用 2D 三角形作 splatting 基元, 不透明度由 barycentric 坐标给。 属于"基元和 mesh 合二为一"的另一种实现。

Triangle Splatting+ · 不透明三角形 + 顶点连通性

arXiv · 2025.09 arXiv 2509.25122

Triangle Splatting 的工程化升级——共享顶点连通性 + 强制不透明, 输出真正可编辑的流形 mesh,可以直接进游戏引擎。

MeshSplatting · 受限 Delaunay 三角化

arXiv · 2025.12 arXiv 2512.06818

本路线最新(2025 末)作。在 MILo / Triangle Splatting+ 之后的进一步—— 用受限 Delaunay 三角化保证连通性,输出可直接渲染的不透明 mesh。 比 MILo +0.69 dB PSNR、训练快 2×。

为什么 E 这么重要
路线 E 直接消解了"渲染基元"和"几何输出"的分离。 当训练循环里随时有 mesh 时—— 你可以用 mesh 的拓扑当正则(流形性、连通性、薄壁性), 可以让物理引擎在训练循环里参与, 可以无缝接入传统 CG pipeline(动画、贴图、UV unwrap)。 这是 2025 年最有可能定义 2026-2027 走向的方向。

§9F外部知识注入:借力工业级感知模型

这条路线的信念:与其重新发明几何,不如借用计算机视觉社区已经做了 10 年的工具—— 立体匹配、SLAM、多视图 stereo 基础模型。 3DGS 只负责"漂亮渲染",几何由外部模型提供或反向蒸馏。

GS2Mesh · 用 3DGS 当虚拟相机

ECCV 2024 · 2024.04 arXiv 2404.01810 project

完全不改 3DGS 优化目标——训完之后,从训练位姿渲一对左右目图像, 喂给现成的 stereo matching 模型(如 DLNR / RAFT-Stereo)出深度,最后 TSDF 融合。 本质把"3DGS → mesh"问题转化为"立体重建"问题。 把工业级 stereo 网络在 KITTI / SceneFlow 上学到的真实世界知识"注入"进来。

依赖 stereo 网络的领域外泛化;视野缝隙处仍会出现一致性问题。

InstantSplat · DUSt3R 替代 SfM

arXiv · 2024.03 arXiv 2403.20309 project

跳过 SfM。基础模型 DUSt3R / MASt3R 一步出位姿 + 稠密点云, 把 3DGS 收敛半径从"几小时"压到"40 秒"。 和 Splatt3R / MV-DUSt3R+ 形成 family,是路线 F 在 pose-free / 极少视图重建上的代表。

DUSt3R 视图数多了 OOM;长基线 / 室外大场景仍有瓶颈。

MonoGS · 3DGS 当 SLAM 后端

CVPR 2024 Highlight · 2023.12 arXiv 2312.06741 project

把 3DGS 当 SLAM 后端——跟踪和优化一锅炖,几何由位姿一致性约束。 3 FPS 在线,各向同性正则让在线增量优化稳定。是路线 F 的"实时"分支。

DepthSplat · 深度与 GS 双向耦合

CVPR 2025 · 2025.03

更好的深度训出更好的 GS,更好的 GS 反哺深度模型—— 把 3DGS 训练和 depth estimation 当作一个双向任务。 "外部知识"在这里不再是冻结的,而是可被 3DGS 微调。

§10V垂直方向

2025 年开始,"通用 DTU 通杀"已经不是大家追的目标—— 各个垂直方向独立成熟,每条赛道有自己的 SOTA、自己的 benchmark、自己的失败模式。 本节按方向梳理。

稀疏视图 · sparse-view surface

当训练视图从 100+ 掉到 3-9 张,路线 A/B 的方法几乎都崩——光度信号不够,几何先验和正则成为必须。

大规模 · city / aerial / driving

驾驶 · autonomous driving

反射 / 镜面 / 材质

动态 / 4D 表面

数字人 · avatar

§11Benchmark 对比表

作者自报数字(不是我重新跑的)。DTU Chamfer:15 个 scene 的均值,越低越好。 TnT F-score:Tanks & Temples 表面 benchmark,越高越好。 点击表头排序;缺失值表示原论文未在该 benchmark 上报。

工作 路线 日期 场所 DTU Chamfer ↓ TnT F-score ↑
注:DTU 上 PGSR (0.53)、QGS (0.51) 是 2024–2025 年纯几何路线的最强水平; 2DGS (0.80) 是路线 B 的 step-change 锚点;3DGS 原版作为对照基线 ~1.96。

§12怎么读:推荐入门路径

我假设你已经懂 NeRF 体渲染 + SDF/NeuS 基础。读 60 篇没必要, 按下面四步走能让你真正理解这条 research line 的演化逻辑。

  1. Step 1 · 把"为什么 3DGS 几何差"想透。读原始 3DGS 论文 + 本页 §1,反复盯着"三宗罪"。 能用自己的话讲明白"椭球深度为什么视角依赖"再走下一步。
  2. Step 2 · 路线 B 的旗舰:读 2DGS 论文。这是这条 research line 上最重要的单篇—— 整个"换基元"思想的支点。读完去看 PGSR 怎么把它工程化、GOF 怎么把"提 mesh"变成"取等值面"。 这一步走完,你会理解为什么社区把 2DGS 当锚点。
  3. Step 3 · 路线 C 一个一体化代表:读 3DGSR。 你会看到"用 SDF 决定 opacity"这一招怎么把两个表征焊在一起, 以及"远场 SDF 没监督"这个一致 pitfall 是怎么来的。
  4. Step 4 · 路线 E 的最新潮流:读 MILo 或 Triangle Splatting+。 你会看到 2025 年怎么把"训练时就有 mesh"做出来—— 这是 2026 之后所有工作几乎都会以某种形式继承的方向。

读完这四篇 + 本页,你对整条 research line 的脉络就建立起来了。 剩下的 56 篇都是这四个支点的细化、推广、特化或修补—— 任何一篇你都能 30 秒判断它属于哪条路线、解决了什么"前任的痛点"。

读论文的快速通道
进入任何一篇 3DGS-surface 论文先问三个问题:
(1) 它属于本综述哪条路线(A/B/C/D/E/F/V)?
(2) 它的直接前任是谁,它改了 loss / 基元 / 网络结构中的哪一项?
(3) 它在 DTU / TnT / Mip-NeRF360 上哪一项比前任好、哪一项变差?
能回答这三个问题,你就读懂了一篇 3DGS-surface 论文 90% 的"信息密度"。

§13Open problems

2025 年底社区公认的开放问题。如果你是研究生在找选题,这里大概是收益最高的几个方向。

  1. 训练时-mesh 与渲染质量的真正解耦。 MILo / 2D Triangle Splatting 开了头,但在 unbounded outdoor、强反射、薄结构(电线、植被)上仍会出现 mesh 与高斯一方拖累另一方。
  2. 拓扑变化下的动态表面。 GSTAR 是目前最完整的尝试,但人手、布料、流体等高频拓扑变化仍未真正可用, 4D mesh + GS 的统一表示是开放问题。
  3. 大规模无界场景的可扩展 watertight mesh。 CityGaussianV2 / StreetSurfGS 解决了渲染与几何质量, 但产出的 mesh 通常非 watertight,无法直接拿去做物理仿真 / 碰撞 / 烘焙。
  4. 镜面 + 透明 + 半透明对几何的"骗"。 所有当前方法在玻璃、水面、镜子上几何都偏, Unbiased Depth 2DGS / Reflective GS / GS-2M 各自只解决了一部分。
  5. 稀疏视图 + 生成先验下的 mesh 评估标准缺失。 generative-prior-aided mesh 容易"幻觉"出貌似合理但与真值不符的结构, 社区还没有公认的"幻觉敏感"指标。
  6. 可微 mesh 的下游可用性。 拿到 mesh 之后接到物理引擎、相机仿真、机器人 affordance 推理的完整 pipeline 仍稀缺, 是 industry 真正关心却 academic benchmark 没量化的方向。
  7. 算力/内存的甜区。 QGS / DiGS / SOF 都偏重精度,训练时长仍在小时级;MILo 显存大; 社区还缺"5 分钟即可在 RTX 4060 上跑出可用 mesh"的方案。

§14综述论文与资源

想读已发表的综述,下面是我推荐的优先级。

持续追踪资源