A pedagogical survey · 2023.08 — 2026.05
3D 高斯泼溅 × 表面重建
3DGS 在 2023 年横空出世时,社区第一时间欢呼的是渲染速度和 PSNR——从远处看,
每一帧都像照片。可只要你拿任何一个训练好的 3DGS 模型去抠 mesh,就会发现
一团团软乎乎的椭球漂浮在物体周围:它们渲得对,但根本就不是表面。
这件事推开了过去三年里最热闹的一道门——怎样让 3DGS 同时会渲染又会建模型?
本综述把这条路上所有"主流站点"按七条思想路线拼成一张地图。
约 69 篇论文 · 7 条思想路线 · 1 张族谱图 · 1 条交互时间线 · 1 张可排序 benchmark · 单页阅读 35 分钟
§1序章:高斯泼溅为何不重建表面
回顾一下 3DGS 做了什么:每个高斯是一个各向异性 3D 椭球——位置 $\boldsymbol{\mu}$、
协方差 $\Sigma$(由旋转 $q$ 与缩放 $s$ 拼出)、不透明度 $\alpha$、视角相关颜色 SH。
渲染时把每个椭球沿视线方向 splat 到屏幕上,alpha 合成所有命中像素的椭球得到颜色。
监督只有一个光度损失。
这一套机制为什么不给你表面?三个原因,本综述把它们叫作 "三宗罪",
每一条都对应着后续若干工作要解决的问题。
从左到右是路线 B 的浓缩:
3D 椭球的"表面"在哪儿是说不清的(射线穿过两次、内部密度连续衰减);
2DGS 把基元降到 2D,射线-平面的交点就是表面点;
QGS 升到二阶曲面,单基元能拟合更大曲率;
Triangle Splatting 直接用三角形——基元本身就是 mesh 的最小单元。
三宗罪
第一宗 · 基元是体积,没有"表面点"。
一个 3D 椭球被一条射线穿过时,进入和退出两次,中间是连续的密度衰减;
你说"表面在哪里"是哲学问题——是 $\alpha=0.5$ 的等值面?是峰值处?是中心投影?
不同视角的回答不一样,所以多视图几何一致性从根上就崩。
第二宗 · 椭球没有内禀法线。
椭球有三个主轴,谁是法向是优化器猜的。
任何想用法线监督驯服 3DGS 的工作,
都得先回答"梯度应该流回旋转 $q$、缩放 $s$ 还是位置 $\boldsymbol{\mu}$"这个问题
(路线 A 中 VCR-GauS 把这件事看得最透)。
第三宗 · 光度损失对几何不敏感。
只要图像渲对了,椭球互相穿插、漂浮在空中、巨大半透明都不会被惩罚。
你看到的 3DGS 重建通常是"几个巨大的半透明椭球叠加出一个看起来对的颜色",
TSDF 或 Poisson 抽出来的几何自然碎成豆腐渣。
这页的核心 insight
本综述要回答的就是这一句:3DGS 渲染好 $\ne$ 几何好。
后续七条路线,本质上都是在三宗罪的某一条上下功夫——
要么给损失加监督(A)、要么换基元让法线/深度天然存在(B 与 E)、
要么把已知会建几何的 SDF/NeuS 缝进来(C),
要么不强求 GS 给 mesh、改让 mesh 反过来约束 GS(D 与 E),
要么干脆借助工业级感知模型间接拿几何(F)。
本综述的范围与目标
我收录了从 2023 年 11 月(3DGS 后第一个表面工作 SuGaR)到 2025 年 12 月(MeshSplatting)之间,
所有提出独立思想、被社区广泛引用、或代表某条路线"最新前沿"的工作——约 69 篇。
所有微小变体(仅改超参、换数据集)一律不收。
对每一篇我只回答三个问题:它做了什么新东西、
它和它的"前任"最关键的区别、它失败在哪。
而 不 逐字搬运 abstract、 不 抄数学符号。
§2思想地图与七条路线
所有工作可以放进七条思想路线。它们不是互斥的——许多 2024–2025 年的 SOTA 工作把 A + B + F
缝在一起跑。但每条路线都有自己的"祖师"和"看待问题的方式",
理解了路线就理解了一篇论文为什么这样设计 loss。
七条路线一句话定义
- A 软对齐:基元不动,靠新的 loss(深度、法线、MVS 一致性、剪枝策略)"拽"高斯往表面靠。代表作 SuGaR。
- B 换基元:直接换掉 3D 椭球。降维成 2D 圆盘(2DGS)、升阶到二次曲面(QGS)、换成凸体(3DCS)、换成 Beta 核——让基元在结构上就接近表面。代表作 2DGS。
- C SDF 混合:把 NeuS / 隐式 SDF 缝进 3DGS。可以两个分支互相蒸馏(GSDF),可以用 SDF 决定每个高斯的 opacity(3DGSR),也可以让 SDF 梯度"拽"高斯(GS-Pull)。代表作 3DGSR / GSDF。
- D Mesh-bound:先有 mesh,再让高斯依附在三角面上。目标不是提 mesh,而是 可编辑、可动画、可仿真。代表作 GaMeS / Gaussian Frosting。
- E Mesh-in-the-loop(2025 年最新潮流):让 mesh 提取本身可微,训练循环里随时有 mesh,梯度从 mesh 流回 splat。代表作 Triangle Splatting / MILo。
- F 外部知识注入:训练管线和工业级感知模型缝合。DUSt3R 给位姿和点云(InstantSplat),stereo 网络给深度(GS2Mesh),SLAM 给跟踪建图(MonoGS)。
- V 垂直方向:稀疏视图、城市/驾驶、反射/材质、动态、数字人——各自跑出 SOTA,对 vanilla DTU 通杀已不再是大家追的目标。
§3三年时间线
横轴是论文首次公开时间(arXiv 月份),颜色对应路线。鼠标悬停查看一句话简介,
点击跳转到正文卡片。
← 可横向滚动 · 每个圆点是一篇论文 · 悬停看简介 · 点击跳到正文 →
三个明显的浪潮
第一波(2023.11 – 2024.04):所有人都在解决"3DGS 提不了 mesh"。
SuGaR 用"软对齐"把这条路打开,DN-Splatter / DNGaussian / GeoGaussian 跟进;
NeuSG / GSDF / 3DGSR 同时探索"借 SDF";
2DGS / Gaussian Surfels 几乎同月独立提出"换基元"。
第二波(2024.06 – 2024.12):路线 B 高速成熟。
PGSR / RaDe-GS / GOF 把"2D / 无偏深度 / 等值面"做到 DTU SOTA;
QGS、3DCS、Beta、EVER 开始探索"非高斯非平面"的下一代基元。
同期 InstantSplat 把 DUSt3R 注入,路线 F 开始独立。
第三波(2025.01 – 2026.05):训练循环里直接有 mesh。
Triangle Splatting $\to$ MILo $\to$ Triangle Splatting+ $\to$ MeshSplatting,
"基元 = mesh 单元"成为新共识;
同时 SDF 混合路线进入 DiGS / DiscretizedSDF 阶段,
SDF 不再是大 MLP,而是每个高斯绑一个标量;
垂直方向(稀疏视图、大场景、反射、4D)独立成熟,各自跑 SOTA。
§4A软对齐:基元不动,加监督
这条路线的信念:3DGS 几何差 不是因为 基元有问题, 而是因为 光度 loss 不约束几何。
那就把所有能拿到的几何信号塞进 loss——深度、法线、平面、MVS 一致性、剪枝、densify 修正——
把椭球"拽"到表面上去。它是历史最长、工作最多、最容易和其它路线叠加的一支。
SuGaR
— Surface-Aligned Gaussian Splatting
在 SuGaR 之前要从 3DGS 拿 mesh,要么 marching cubes 体素化(慢且糙),
要么训一个独立 NeuS(极慢)——没人把"对齐表面"直接写进 loss。
关键想法:如果所有高斯都贴在表面上,那场景的密度场就近似一个理想 SDF。
作者据此推导了一个理想 SDF 的解析表达式(用最近高斯的距离和不透明度算),
然后把"GS 实际密度 vs 理想 SDF 之差"做成正则项推高斯收敛。
训练完,从这个伪 SDF 采样点跑标准 Poisson 重建拿 mesh,
再把高斯重新绑回 mesh 三角面继续优化。
从此整条软对齐路线开张。后续 DN-Splatter / VCR-GauS / TrimGS 都在 SuGaR 的"加几何 loss"模板上做更细的事。
压扁仍是 3D 椭球的退化形式,深度/法线并非无偏;Poisson 重建对椭球噪声敏感;正则强度需要手调。
正则化的两大派别
紧接 SuGaR,社区分成两派:" 从大模型拿监督" vs " 从场景自身拿监督"。
前者依赖现成的单目深度/法线预测网络(Marigold、Omnidata、StableNormal),
后者只用多视图自一致性。两派各有道理:前者上限高但依赖 prior 质量,后者鲁棒但弱纹理区会塌。
DN-Splatter
— Depth + Normal regularization for 3DGS
室内大白墙这种纹理稀的地方,光度 loss 几乎没信号——高斯随便长成针刺都行。
关键想法:把现成的单目深度/法线预测直接当伪 GT,用 $L_1$ 监督深度、cosine 监督法线、
邻接高斯法线一致性正则。还做了一个细节:用 RGB 梯度调权"高频处放松、低频处加强"。
瞄准 iPhone LiDAR / RGB-D 扫描的室内场景。
后续 AGS-Mesh(2024.11)是它的直系下一代——增加多视图一致性筛选机制丢弃低质 prior 像素。
深度/法线 prior 的质量决定上限;室外、强反射场景效果一般。
DNGaussian
— Hard + Soft depth with global-local normalization
单目深度预测有未知尺度,不能直接当 GT。
关键想法:同时用"硬深度"(仅最大不透明度高斯算出来的深度,约束位置)和
"软深度"($\alpha$ 合成深度,约束分布),再用全局-局部双归一化让 loss 对尺度漂移不敏感。
是 sparse-view 3DGS 的常被引基线。
极稀疏(少于 3 视图)仍会崩;纯靠单目深度,镜面/透明物失败。
GaussianPro
— Progressive PatchMatch propagation
SfM 在纹理缺失区没点 $\to$ 3DGS 没初值 $\to$ 永远建不好。
关键想法:走"纯传统 MVS 自一致性"路线。
训练过程中用 PatchMatch 风格的 propagation,从邻域已建好的高斯传播深度/法线到没点的位置,
再 densify 新高斯。监督完全来自自己,不吃任何大模型 prior。
和 DN-Splatter 形成思想对照——"自一致性" vs "大模型 prior"。
依赖局部平面性假设;高曲率区可能过平滑。
GeoGaussian
— Plane-aware thin-Gaussian init
关键想法:SfM 点云上检测共面区,那里的高斯一律初始化成"薄片 + 朝法向";
densify 时新生高斯继承父高斯的方向。本质是"用显式几何约束模拟 SDF 的零等值面"的轻量替代品。
非平面物体无收益;需预先的 PlanarSLAM 输入。
AbsGS
— Absolute gradient densification
原 3DGS 用 $\sum \nabla$ 决定 densify——但梯度方向相反的会相消,
导致一个大高斯压住高频区却"看不到自己需要分裂"。
关键想法:改成 $\sum |\nabla|$ 消除"gradient collision"。
小改动,大影响。几乎所有想要清晰表面的方法都把它当 baseline trick 叠加。
高斯数量显著增长;不解决核心几何错配。
把法线监督真正传到对的参数上
VCR-GauS
— View-Consistent Regularization on Gaussians
以往直接监督"渲染出来的法线",梯度只回到 rotation $q$,对位置 $\boldsymbol{\mu}$ 和 scale $s$ 没影响——
椭球可以原地转个角度满足法线 loss 而几何丝毫不动。
关键想法:把"渲染深度对像素的导数 $=$ 法线"显式写进 loss,
让法线信号真正可以挪椭球;再加视角置信度过滤多视图不一致区。
本路线对"梯度到底流去哪儿了"看得最透的工作。
仍依赖法线预测;薄表面物体会被过度光滑。
TrimGS
— Trimming low-contribution Gaussians
关键想法:好几何的 3DGS 应该由"小而准"的高斯组成。直接 trim 掉那些
"占地大但贡献低"的高斯,强制保留小尺寸高斯表达细节。
与 PGSR、2DGS 正交,可叠加。
剪枝阈值敏感;上游训歪了剪枝救不了。
GausSurf
— Hybrid MVS + monocular prior routing
关键想法:不再纠结"用大模型 prior 还是 MVS 自一致性"——都用,
但按场景区域路由。纹理丰富区用 PatchMatch MVS,无纹理区用单目法线先验。
路线 A 后期的混合系代表。
2DGS-R
— Revisiting Normal-Consistency in 2DGS
关键想法:指出 2DGS 的 normal consistency loss 会损害渲染质量,
原因是几何正则和外观目标在某些像素冲突。解决:在差像素处"in-place clone"局部克隆 2D Gaussian,
让几何正则与渲染质量解耦。
软对齐思路里最精巧的微观调优。
小结 · 路线 A vs 路线 B
路线 A 相信问题出在优化信号,所以在外面套约束;
路线 B 相信问题出在表示能力,所以直接换基元。
实践中 SOTA 几乎总是"AbsGS 的密度策略 + PGSR/VCR-GauS 的深度法线正则 + 后处理 mesh",两条路线并不互斥。
§5B换基元:让基元天然就是表面
这条路线相信 3DGS 几何差的根在基元本身——3D 椭球天然不是表面元。
解决方案沿两个正交方向收敛: 降维(3D $\to$ 2D 流形片)让法线、切平面、深度成为基元的一等公民;
硬化边界(无界软高斯 $\to$ 有界硬核)让基元有明确"内外"。
极致形态是 Triangle Splatting:基元 $=$ mesh 单元(已划到路线 E)。
2DGS
— 2D Gaussian Splatting for Geometrically Accurate Radiance Fields
回到序章的"三宗罪":椭球深度依赖视角、没有内禀法线——这两条同时崩。
关键想法:把基元降到 2D 流形片(带方向的 2D 椭圆盘)。
2D 盘有一个切平面,切平面的法线就是基元法线;
任意射线与盘只有一个交点,深度是解析且视角无关的。
两个新 loss 让一切运作:depth distortion(鼓励同射线上的盘聚集在一个深度)和
normal consistency(渲染法线 $\approx$ 渲染深度的梯度算出的法线)。
表面提取走 TSDF fusion。
SuGaR 用"软"正则把 3D 高斯往表面拽;2DGS 直接换基元,几何无偏是结构性保证。
DTU Chamfer 从 SuGaR 的 $1.33$ 干到 $0.80$,是整个三年里最重要的 step change。
背景/天空等无界区域处理欠佳;薄结构仍有 floaters;TSDF 引入额外步骤;
纯薄盘对毛发、半透明体积表达力下降,PSNR 通常略低于 3DGS。
Gaussian Surfels
— High-quality Surface Reconstruction with Flat Gaussians
关键想法:和 2DGS 几乎同月独立提出的"扁高斯"工作——
直接把 3DGS 的 z-scale 强制设为 $0$。结构等价于 2D 椭圆 surfel,但带来一个新问题:
退化协方差矩阵在数值上不稳定,所以引入了一个特定的"深度-法线自监督一致性损失"作平衡。
和 2DGS 各有取舍,但都是"3D 椭球 $\to$ 2D 流形片"这一思想跃迁的代表。
PGSR
— Planar-based Gaussian Splatting Reconstruction
关键想法:把高斯强制扁平化后,渲染时直接输出"相机到平面的距离"和"法线",
两者相除得到无偏深度(平面方程 + cosine 校正)——这避开了 z-buffer 偏置。
再叠加单视图几何正则 + 多视图光度 & 几何一致性正则。
完全不需要预训练 depth / normal,全靠多视图自一致性。
相比 2DGS 深度公式更精确;相比 SuGaR 不需要 Poisson。
DTU Chamfer $0.53$,是这一时期纯几何路线的天花板。
高反光 / 透明物的平面假设不成立;室外大场景需要额外调度。
RaDe-GS
— Rasterizing Depth in Gaussian Splatting
关键想法:本路线里的少数派意见——保留通用 3D 椭球,只改深度光栅化方式。
推导 general 3D 高斯的射线-高斯峰点闭式相交,把这个交点深度作为 splat 深度,
而非原版 3DGS 的"高斯中心投影深度"。
"3DGS 几何不准"不是基元的错,是渲染公式选错了。属于"让所有路线 A 的 loss 真的能传梯度"的基础设施工作。
仍是体积基元,重建的"表面"是模糊等密度面;高反光场景受限。
从"等密度面"到"等值面"
GOF
— Gaussian Opacity Fields
关键想法:从光线追踪式体渲染重新推导 3DGS,得到任意 3D 点的不透明度值,
把它定义为一个连续的"opacity field"。然后用高斯中心做正则四面体剖分,
跑 marching tetrahedra 直接抽出等值面的 mesh。
SuGaR / 2DGS 都还需要外部 TSDF 或 Poisson;GOF 把网格抽取看成场的等值面问题,更优雅,
且天然处理无界场景。DTU Chamfer $0.74$,等值面密度自适应——靠近物体密、远处稀。
四面体化在大场景仍较重;薄面 / 小孔可能因等值面阈值丢失。
SOF
— Sorted Opacity Fields
关键想法:分析出 GOF 存在系统性高估深度的问题——原因是 $\alpha$ 合成中的排序近似。
引入分层 resort + 精确深度公式 + 并行 Marching Tetrahedra,
mesh 抽取时间快约 1 个数量级,重建精度同时上升。
是 GOF 路线 2025 年的归宿。
升阶到二次曲面 / 升结构到凸体 / 换核函数
QGS
— Quadratic Gaussian Splatting
关键想法:从一阶贴面(2D 盘)升到二阶贴面
(可变形二次曲面:椭球面、抛物面、鞍面)。
密度沿曲面的测地距离而非欧氏距离衰减——这才是"在表面上的高斯"该有的几何直觉。
单个 QGS 基元能匹配局部 Hessian,等价于"用更少基元覆盖弯曲表面"。
DTU Chamfer $0.51$,比 2DGS 降 33%。
实现复杂;测地距离的解析求解只对若干二次曲面族成立。
3DCS
— 3D Convex Splatting
关键想法:方向和 2DGS 相反——不是降维,是升结构。
用平滑凸多面体(顶点 + 锐度 $\delta$、平滑 $\sigma$)替代高斯,
通过线段 SDF 的组合得到指示函数。凸体可表达硬边界和致密体,
对建筑边角、薄片这类尖锐结构比 Gaussian 软斑点更紧凑。
参数多,训练慢;不是显式 surface 基元,主要解决"硬边界"问题。
Deformable Beta Splatting
— Tunable-shape Beta kernel
关键想法:换核函数——把无界 Gaussian 换成可形变 Beta 核。
引入形状参数 $b$:$b<0$ 时是"平顶 + 锐切断"(有界支撑 + 硬边界,适合表面),
$b>0$ 时是"尖峰"(适合高频细节),$b=0$ 退化为 Gaussian。
同一基元能根据 $b$ 自适应频率,省参数 55%、快 $1.5\times$。
EVER
— Exact Volumetric Ellipsoid Rendering
关键想法:把高斯换成常密度椭球(hard boundary),用 ray tracing 精确积分。
椭球边界明确,射线进/出点是解析的,消除了 $\alpha$ 合成的近似带来的 popping 和视角相关密度伪影。
依赖 RT 硬件;常密度边界仍是椭球,不天然贴面。
3D-HGS
— Half-Gaussian primitives
关键想法:把椭球切一刀只保留半边,作为 plug-and-play 基元处理边缘 / 纹理不连续。
适合"基元一半在物体内、一半在空气中"的边缘像素。
GFSGS
— Geometry Field Splatting with Gaussian Surfels
关键想法:2DGS 的精细化版本——把 surfel 视作"对几何场(geometry field)的采样器"
而非"对体积的采样器",去掉 2DGS 中的 Taylor 近似与自衰减近似,并用球谐编码反射向量替代颜色。
镜面物体的几何更稳。
3DGUT
— 3D Gaussian Unscented Transform
关键想法:基元仍是高斯,但把 EWA splatting 的线性化投影换成
Unscented Transform用 sigma points 精确投影。
在 fisheye、rolling-shutter 等强非线性投影下也能保持几何准确;还支持反射/折射 secondary rays。
和 EVER 同方向,3DGUT 是栅格化版,EVER 是 ray tracing 版。
路线 B 的基元谱系。降维(Triangle / Surfel / 2DGS / PGSR)让基元结构性贴面;
升阶(QGS)让单基元能拟合曲率;
硬化(Beta、EVER、3DCS)让基元有明确内外。
极致形态是 Triangle Splatting——基元 $=$ mesh 三角形,本综述把它划到路线 E。
§6CSDF / 隐式表面混合
3DGS 给出离散漂浮的椭球——擅长拟合光度但不知道"表面在哪里";
NeuS / VolSDF 给出连续 SDF——知道表面在哪但渲染慢、细节糊。
把两者粘起来是 2023 年底开始爆发的一条主线。
按"耦合方式"分五个子路线:单向蒸馏($\to$ / $\leftarrow$)、双分支并行、一体化、SDF 拽动高斯。
NeuSG
— 3DGS as dense prior for NeuS
关键想法:本路线最早期工作之一。朴素 3DGS 椭球中心并不一定落在物体表面上——
NeuSG 加了一条"最小尺度趋近于零"的正则把椭球压成几乎二维的薄片,
逼迫椭球中心爬到真实表面附近;
然后用这些"贴在表面上的点"当作 NeuS 的位置和法向先验。
单向偏多——GS 给 NeuS 几何先验,NeuS 反向只通过共享场景隐式约束 GS。
GS 压扁后渲染质量下降;训练成本几乎是 NeuS + 3DGS 之和。
GSDF
— Dual-branch 3DGS + SDF mutual supervision
关键想法:第一个明确的双分支架构。
GS 分支专管"漂亮渲染",SDF 分支专管"准确表面",三座桥梁互喂监督:
GS 渲染的深度图给 SDF 当 ray sampling 提示(让 SDF 只在表面附近精算,极大减少 marching 开销);
SDF 反过来告诉 GS 哪儿是表面(指导高斯的克隆/剪枝只发生在表面附近);
GS 渲染的法向被 SDF 法向监督。
两套网络,显存压力大;两个表征最终仍然分离,没有"统一表征"。
3DGSR
— Implicit Surface Reconstruction with 3DGS (SDF welded into each Gaussian)
之前的方法都是"两个分支并行"——SDF 和 GS 实际上是两个东西。
关键想法:走一体化路线——每个高斯的 $\alpha$ 不是自由变量,
而是由它中心处的 SDF 值经 sigmoid 函数算出:SDF 接近 $0$ 时 $\alpha$ 大;SDF 远离 $0$ 时 $\alpha$ 小。
这样优化 GS 渲染时就在隐式优化 SDF。
同一标量场(SDF)同时决定渲染($\alpha$)和几何(zero-level set)。
渲染速度仍是 3DGS 级(无 ray marching),提取的 mesh 是 NeuS 级的连续光滑。
SDF 监督信号只在有高斯的稀疏位置,远离表面处 SDF 实际上无约束;scene scale 大时优化不稳。
GaussianRoom
— SDF-guided densify/prune for indoor scenes
关键想法:室内场景的大白墙是 3DGS 的噩梦。
用 SDF 零等值面指导高斯的克隆/剪枝:
表面缺高斯的地方主动 densify、远离表面的浮点主动 prune。
再加上单目法向 + 单目深度先验在无纹理区注入伪监督。
GS-Pull
— SDF gradient actively pulls Gaussians
关键想法:来自 Neural Pull 系列。优化时每一步——
(1) 查询 SDF 在当前高斯位置的值和梯度;
(2) 沿梯度方向把高斯"朝零等值面拽一下";
(3) 在拽过去的位置渲染并算 RGB loss。
这样 RGB loss 的梯度会反向流过 pull 操作去更新 SDF。高斯永远在表面上。
每步引入额外计算;SDF 初期不准时拽错位置会发散。
DiscretizedSDF
— SDF discretized onto each Gaussian
关键想法:连续 SDF MLP 代价高。直接把 SDF离散到每个高斯上
(每高斯一个 SDF 标量),$\alpha$ 由 SDF 经 sigmoid 转换得到(沿用 3DGSR 思路),
中位数 loss + projection 一致性 loss 把这些离散值约束成全局一致的 SDF。
为 relighting 应用——SDF 是 PBR 解耦质量的关键。
DiGS
— Direct SDF Learning from 3DGS + grid-growth
关键想法:与 DiscretizedSDF 思路接近——SDF 绑高斯上。
但 DiGS 强调"几何引导的 grid growth"——多尺度按几何一致性分布高斯。
DTU、Mip-NeRF360、TnT 上对 GOF / PGSR / 2DGS 全面提升,是路线 C 最新前沿。
相对路线 B 的优劣
优势:SDF 天生连续光滑——mesh 提取后没有 SuGaR / 2DGS 那种"碎裂、孔洞、薄壁穿插";
SDF 在空间任一点都有值,可做正则(Eikonal)、做 CSG 编辑、做物理仿真初始化;
薄结构(椅子腿、栏杆、电线杆)明显胜过纯 SuGaR / 2DGS;可重光照。
劣势:训练慢——双分支或每高斯绑 SDF 都加显存;
远场 SDF 没有监督(路线 D 的一致 pitfall);
超参敏感(SDF 正则系数、pull 学习率、SDF→opacity 函数温度);
大场景外推下 SDF 归一化是新难题(G2SDF 才开始处理)。
§7DMesh-bound:高斯绑在网格上
前面 A / B / C 三条路线的目标都是"从 3DGS 提 mesh"。
路线 D 反过来: 假设你已经有 mesh,把高斯锚定到三角面上,得到一个混合表达——
mesh 一动,高斯自动跟着动;mesh 提供拓扑结构,高斯提供高质量外观。
这条路线服务的是 编辑、动画、仿真 的下游需求。
GaMeS
— Mesh-based Gaussian Splatting via barycentric coords
关键想法:每个高斯属于某个三角形,位置用重心坐标表示,
旋转 / 缩放由三角形局部坐标系决定。mesh 变形 $\to$ 三角形变形 $\to$ 高斯自动重新计算。
结构上最简洁的"mesh-bound 高斯"。
依赖外部 mesh 拓扑;mesh 提取本身不是这篇的贡献。
Gaussian Frosting
— Editable layer of Gaussians on a mesh
SuGaR 重在"提网格",但提完之后毛发、草、纤维这种"严格说不是 mesh 表面"的细节会被洗掉。
关键想法:SuGaR 同班人马的进阶——先用 SuGaR 抽 base mesh,
然后在 mesh 周围生长一层可变厚度的 frosting;
高斯被参数化为"层内坐标" $(u, v, w)$,mesh 变形时高斯随之拖动。
这层 frosting 让毛发、草、纤维这种模糊体积感也能保住,同时 mesh 一变形高斯自动跟。
Mani-GS
— Mesh as proxy for 3DGS manipulation
关键想法:三角形感知的高斯绑定 + 自适应方法。即便 mesh 不精确也能工作——
mesh 变形 $\to$ 高斯随动,支持大形变、软体仿真。
MeshGS
— Tight + Loose splats
关键想法:观察到完全"贴 mesh"的 splats 会受 mesh 误差拖累。分两类训练:
tight-bound splats 拍扁贴在 mesh 上保几何;
loose-bound splats 自由漂浮补 mesh 的伪影。
相比 GaMeS 对不准的输入 mesh 更鲁棒。
NPGA
— Neural Parametric Gaussian Avatars
关键想法:为数字头像特化——把高斯绑到神经参数化头模 NPHM
(非 mesh 表面)上而非传统 FLAME mesh。把反向变形场蒸馏成前向变形以兼容光栅化。
是 D 路线"非显式 mesh 也行"的代表。
§8EMesh-in-the-loop:训练循环里就有 mesh
2025 年最值得关注的方向。前面四条路线 A / B / C / D 都把 mesh 视为"训练后才有的副产品"——
要么 Poisson、要么 TSDF、要么 marching cubes / tetrahedra。
路线 E 颠覆这一点: 让 mesh 提取本身可微,训练每一步都能拿到 mesh,
梯度可以从 mesh 直接流回 splat。"高斯泼溅"和"传统 mesh-based 渲染"的边界正在消失。
Triangle Splatting
— Primitives are triangles themselves
所有路线 B 的改基元工作还要事后抽 mesh。能不能直接把基元设为 mesh 单元?
关键想法:路线 B 的极致形态、也是路线 E 的起点。
每个三角形 $=$ 3 个顶点 + 平滑度 $\sigma$ + 颜色 / 不透明度;不透明度由三角形 2D SDF 给出。
三角形是计算机图形学的原生表面基元,输出直接是 mesh soup,
能用任何标准 mesh 渲染器以 $2400+$ FPS 渲染。
2DGS 是椭圆盘(仍是 splatting 框架),Triangle Splatting 是直接学习 mesh。
输出拓扑仍是"三角形汤",不是流形 mesh;薄结构、半透明对单三角形仍是挑战。
MILo
— Mesh-In-the-Loop Gaussian Splatting
关键想法:SuGaR / Frosting 同班人马的最新作。摒弃"训练完再 marching cubes / Poisson"的 pipeline——
让 mesh 顶点位置和连通性都每一步训练里通过可微 Delaunay 重抽,
梯度从 mesh 反向流回高斯。
顶点数比同类少约 $10\times$,但精度更高。
2D Triangle Splatting
— 2D triangles as primitives
关键想法:和 Triangle Splatting 同年的"2D 版"——直接用 2D 三角形作 splatting 基元,
不透明度由 barycentric 坐标给。
属于"基元和 mesh 合二为一"的另一种实现。
Triangle Splatting+
— Opaque + shared-vertex manifold mesh
关键想法:Triangle Splatting 的工程化升级——共享顶点连通性 + 强制不透明,
输出真正可编辑的流形 mesh,可以直接进游戏引擎。
MeshSplatting
— Constrained Delaunay for connectivity
关键想法:本路线最新(2025 末)作。在 MILo / Triangle Splatting+ 之后的进一步——
用受限 Delaunay 三角化保证连通性,输出可直接渲染的不透明 mesh。
比 MILo 高 $+0.69$ dB PSNR、训练快 $2\times$。
为什么 E 这么重要
路线 E 直接消解了"渲染基元"和"几何输出"的分离。
当训练循环里随时有 mesh 时——
你可以用 mesh 的拓扑当正则(流形性、连通性、薄壁性),
可以让物理引擎在训练循环里参与,
可以无缝接入传统 CG pipeline(动画、贴图、UV unwrap)。
这是 2025 年最有可能定义 2026–2027 走向的方向。
§9F外部知识注入:借力工业级感知模型
这条路线的信念:与其重新发明几何,不如借用计算机视觉社区已经做了 10 年的工具——
立体匹配、SLAM、多视图 stereo 基础模型。
3DGS 只负责"漂亮渲染",几何由外部模型提供或反向蒸馏。
GS2Mesh
— 3DGS as virtual stereo camera
关键想法:完全不改 3DGS 优化目标——训完之后,从训练位姿渲一对左右目图像,
喂给现成的 stereo matching 模型(如 DLNR / RAFT-Stereo)出深度,最后 TSDF 融合。
本质把"3DGS $\to$ mesh"问题转化为"立体重建"问题。
把工业级 stereo 网络在 KITTI / SceneFlow 上学到的真实世界知识"注入"进来。
依赖 stereo 网络的领域外泛化;视野缝隙处仍会出现一致性问题。
InstantSplat
— DUSt3R replaces SfM
关键想法:跳过 SfM。基础模型 DUSt3R / MASt3R 一步出位姿 + 稠密点云,
把 3DGS 收敛半径从"几小时"压到"40 秒"。
和 Splatt3R / MV-DUSt3R+ 形成 family,是路线 F 在 pose-free / 极少视图重建上的代表。
DUSt3R 视图数多了 OOM;长基线 / 室外大场景仍有瓶颈。
MonoGS
— 3DGS as SLAM backend
关键想法:把 3DGS 当 SLAM 后端——跟踪和优化一锅炖,几何由位姿一致性约束。
3 FPS 在线,各向同性正则让在线增量优化稳定。
是路线 F 的"实时"分支。
DepthSplat
— Bidirectional depth-GS coupling
CVPR 2025 · 2025.03
关键想法:更好的深度训出更好的 GS,更好的 GS 反哺深度模型——
把 3DGS 训练和 depth estimation 当作一个双向任务。
"外部知识"在这里不再是冻结的,而是可被 3DGS 微调。
§10V垂直方向
2025 年开始,"通用 DTU 通杀"已经不是大家追的目标——
各个垂直方向独立成熟,每条赛道有自己的 SOTA、自己的 benchmark、自己的失败模式。
本节按方向梳理。
稀疏视图 · sparse-view surface
当训练视图从 100+ 掉到 3–9 张,路线 A / B 的方法几乎都崩——光度信号不够,几何先验和正则成为必须。
- FSGS / DNGaussian / SparseGS(2024 早期):单目深度先验 + densify 修正,奠基。
- FatesGS(AAAI 2025):单视图内深度 + 多视图特征一致性双正则,$60$–$200\times$ 加速。
- Sparse2DGS(CVPR 2025):MVS 初始化 + 几何先验加权的 2DGS。
- SparSplat(2025.05):feed-forward 直接回归 2DGS 参数,DTU sparse-view SOTA + 约 $100\times$ 加速。
- MeshSplat(AAAI 2026):feed-forward 输出像素对齐 2DGS + 加权 Chamfer + 单目法线监督。
- SparseSurf(2025.11):用伪特征增强的几何一致性在训练 / 未见视图之间双向约束,DTU / BlendedMVS / Mip-NeRF360 sparse-view SOTA。
- SurfelSplat(NeurIPS 2025):把 Gaussian surfel 设计成 generalizable 稀疏视图 feed-forward 表示。
- GSRecon(ICCV 2025):cross-view 几何感知模块 + 栅格化渲染。
大规模 · city / aerial / driving
- GigaGS(AAAI 2025):把 PGSR 思路扩展到城市/大场景的首篇——分区并行 + LoD 多视图一致性。
- CityGaussianV2(ICLR 2025):2DGS $\times$ 并行训练 $\times$ 深度压缩——$10\times$ 压缩、节省 25% 训练时间、50% 显存。
- UrbanGS / ULSR-GS:2DGS 在无人机大场景的扩展,强调几何一致性 + 分块。
- StreetSurfGS(TVCG 2025):planar-Gaussian + octree + 段训练做城市街道表面重建。
驾驶 · autonomous driving
- DeSiRe-GS(CVPR 2025):4D 街景静-动分解 + 2D-SDF 表达局部路面。
- SplatAD(CVPR 2025):LiDAR + Camera 同时用 3DGS 渲染,做自驾闭环仿真。
反射 / 镜面 / 材质
- Reflective Gaussian Splatting(ICLR 2025):在抽取的 mesh 上做射线追踪算 specular 可见性。
- Ref-DGS:几何 Gaussian + 反射 Gaussian 双流,配 global env reflection field。
- Car-GS:专门面向汽车(反射玻璃 / 金属漆)的视依赖基元设计。
- GS-2M:材质感知 + 表面重建一体化,多视图分解出 BRDF + mesh。
动态 / 4D 表面
- GSTAR(2025.01):把高斯绑到 mesh 面片上,能处理拓扑变化(断裂 / 合并)。
- DynaSurfGS / DGNS:可变形 GS + 动态 neural surface 混合。
- Anchored 4DGS(SIGGRAPH Asia 2025):4D anchor 框架降低 4DGS 存储与时延。
数字人 · avatar
- NPGA:见路线 D。
- Gaussian Frosting:见路线 D,毛发是杀手锏。
- RMAvatar(2025.01):rectified mesh + 嵌入高斯,单目视频 photoreal 人体表面。
§11Benchmark 对比表
作者自报数字(不是我重新跑的)。DTU Chamfer:15 个 scene 的均值, 越低越好 ($\downarrow$)。
TnT F-score:Tanks & Temples 表面 benchmark, 越高越好 ($\uparrow$)。
点击表头排序;缺失值表示原论文未在该 benchmark 上报。
| 工作 |
路线 |
日期 |
场所 |
DTU Chamfer $\downarrow$ |
TnT F-score $\uparrow$ |
注:DTU 上 PGSR ($0.53$)、QGS ($0.51$) 是 2024–2025 年纯几何路线的最强水平;
2DGS ($0.80$) 是路线 B 的 step-change 锚点;3DGS 原版作为对照基线约 $1.96$。
§12怎么读:推荐入门路径
假设你已经懂 NeRF 体渲染 + SDF / NeuS 基础。读 69 篇没必要,
按下面四步走能让你 真正理解 这条 research line 的演化逻辑。
- Step 1 · 把"为什么 3DGS 几何差"想透。读原始 3DGS 论文 + 本页 §1,反复盯着"三宗罪"。
能用自己的话讲明白"椭球深度为什么视角依赖"再走下一步。
- Step 2 · 路线 B 的旗舰:读 2DGS 论文。这是这条 research line 上最重要的单篇——
整个"换基元"思想的支点。读完去看 PGSR 怎么把它工程化、GOF 怎么把"提 mesh"变成"取等值面"。
这一步走完,你会理解为什么社区把 2DGS 当锚点。
- Step 3 · 路线 C 一个一体化代表:读 3DGSR。
你会看到"用 SDF 决定 opacity"这一招怎么把两个表征焊在一起,
以及"远场 SDF 没监督"这个一致 pitfall 是怎么来的。
- Step 4 · 路线 E 的最新潮流:读 MILo 或 Triangle Splatting+。
你会看到 2025 年怎么把"训练时就有 mesh"做出来——
这是 2026 之后所有工作几乎都会以某种形式继承的方向。
读完这四篇 + 本页,你对整条 research line 的脉络就建立起来了。
剩下的 65 篇都是这四个支点的细化、推广、特化或修补——
任何一篇你都能 30 秒判断它属于哪条路线、解决了什么"前任的痛点"。
读论文的快速通道
进入任何一篇 3DGS-surface 论文先问三个问题:
- 它属于本综述哪条路线(A / B / C / D / E / F / V)?
- 它的直接前任是谁,它改了 loss / 基元 / 网络结构中的哪一项?
- 它在 DTU / TnT / Mip-NeRF360 上哪一项比前任好、哪一项变差?
能回答这三个问题,你就读懂了一篇 3DGS-surface 论文 90% 的"信息密度"。
§13Open problems
2025 年底社区公认的开放问题。如果你是研究生在找选题,这里大概是收益最高的几个方向。
- 训练时-mesh 与渲染质量的真正解耦。
MILo / 2D Triangle Splatting 已经开了头,但在 unbounded outdoor、强反射、薄结构(电线、植被)上仍会出现 mesh 与高斯一方拖累另一方。
- 拓扑变化下的动态表面。
GSTAR 是目前最完整的尝试,但人手、布料、流体等高频拓扑变化仍未真正可用,4D mesh + GS 的统一表示是开放问题。
- 大规模无界场景的可扩展 watertight mesh。
CityGaussianV2 / StreetSurfGS 解决了渲染与几何质量,但产出的 mesh 通常非 watertight,无法直接拿去做物理仿真 / 碰撞 / 烘焙。
- 镜面 + 透明 + 半透明对几何的"骗"。
所有当前方法在玻璃、水面、镜子上几何都偏,Unbiased Depth 2DGS / Reflective GS / GS-2M 各自只解决了一部分。
- 稀疏视图 + 生成先验下的 mesh 评估标准缺失。
generative-prior-aided mesh 容易"幻觉"出貌似合理但与真值不符的结构,社区还没有公认的"幻觉敏感"指标。
- 可微 mesh 的下游可用性。
拿到 mesh 之后接到物理引擎、相机仿真、机器人 affordance 推理的完整 pipeline 仍稀缺,是 industry 真正关心却 academic benchmark 没量化的方向。
- 算力 / 内存的甜区。
QGS / DiGS / SOF 都偏重精度,训练时长仍在小时级;MILo 显存大;社区还缺"5 分钟即可在 RTX 4060 上跑出可用 mesh"的方案。
§14综述论文与资源
想读已发表的综述,下面是我推荐的优先级。
- A Survey on Surface Reconstruction Based on 3D Gaussian Splatting,
Xu et al., PeerJ CS 11:e3034 (2025-08).
本主题最对口——3D 表示 $\to$ 优化 $\to$ 表面提取三段式分类,含 SuGaR / 2DGS / GOF / PGSR / QGS 等系谱。
链接
- A Survey on 3D Gaussian Splatting,Chen et al.,
arXiv:2401.03890(v8 / v9 持续 2025–2026 更新)。通用 3DGS 综述,含表面章节。
- 3D Gaussian Splatting: Survey, Technologies, Challenges, and Opportunities,
Bao et al., arXiv:2407.17418 / IEEE TVCG 31:4429 (2025)。技术挑战分类,含 mesh 章节。
- A Survey on 3D Gaussian Splatting Applications: Segmentation, Editing, and Generation,
arXiv:2508.09977。编辑 / 分割 / 生成应用面,含 mesh-based editing。
- Human Reconstruction using 3DGS: A Brief Survey,
Frontiers in AI 2025。数字人方向专题。
持续追踪资源