3D 高斯泼溅 × 表面重建
从 2023 年 SIGGRAPH 那篇引爆全行业的 3DGS 算起,三年里所有把"高斯"和"几何/表面/网格"焊在一起的主要工作——一份给 NeRF/SDF 入门者的图文综述。
3D 高斯泼溅(3DGS)2023 年横空出世时,社区第一时间欢呼的是渲染速度和 PSNR—— 从远处看,每一帧都像照片。可只要你拿任何一个训练好的 3DGS 模型去抠 mesh, 就会发现一团团软乎乎的椭球漂浮在物体周围:它们渲得对,但根本就不是表面。 这件事推开了过去三年里最热闹的一道门——怎样让 3DGS 同时会渲染又会建模型? 本综述把这条路上所有"主流站点"按七条思想路线拼成一张地图。
§1序章:高斯泼溅为何不重建表面
回顾一下 3DGS 做了什么:每个高斯是一个三维各向异性椭球——位置 μ、协方差 Σ(由旋转 q 和缩放 s 拼出来)、不透明度 α、视角相关的颜色 SH。渲染时把每个椭球沿视线方向 splat 到屏幕上,alpha 合成所有命中像素的椭球得到颜色。监督只有一个光度损失。
这一套机制为什么不给你表面?三个原因,本综述把它们叫作「三宗罪」,每一条都对应着后续若干工作要解决的问题。
三宗罪
第一宗:基元是体积,没有一个明确的"表面点"。 一个 3D 椭球被一条射线穿过时,进入和退出两次,中间是连续的密度衰减; 你说"表面在哪里"是哲学问题——是 α=0.5 的等值面?是峰值处?是中心投影? 不同视角的回答不一样,所以多视图几何一致性从根上就崩。
第二宗:椭球没有内禀法线。 椭球有三个主轴,谁是法向是优化器猜的。 任何想用"法线监督"驯服 3DGS 的工作, 都得先回答"梯度应该流回旋转、缩放还是位置"这个问题 (路线 A 中 VCR-GauS 把这件事看得最透)。
第三宗:光度损失对几何不敏感。 只要图像渲对了,椭球互相穿插、漂浮在空中、巨大半透明都不会被惩罚。 你看到的 3DGS 重建图通常是"几个巨大的半透明椭球叠加出一个看起来对的颜色", TSDF/Poisson 抽出来的几何自然碎成豆腐渣。
本综述的范围与目标
我收录了从 2023 年 11 月(3DGS 后第一个表面工作 SuGaR)到 2026 年 5 月之间, 所有提出了独立思想、被社区广泛引用或代表某条路线"最新前沿"的工作——约 60 篇。 所有微小变体(仅改超参、换数据集)一律不收。
对每一篇我只回答三个问题: 它做了什么新东西、 它和它的"前任"最关键的区别、 它失败在哪。 而不逐字搬运 abstract,不抄数学符号。
§2思想地图与七条路线
所有工作可以放进七条思想路线。它们不是互斥的——许多 2024-2025 年的 SOTA 工作把 A + B + F 缝在一起跑。但每条路线都有自己的"祖师"和"看待问题的方式",理解了路线就理解了一篇论文为什么这样设计 loss。
七条路线一句话定义
- A 软对齐:基元不动,靠新的 loss(深度、法线、MVS 一致性、剪枝策略)"拽"高斯往表面靠。代表作 SuGaR。
- B 换基元:直接换掉 3D 椭球。降维成 2D 圆盘(2DGS)、升阶到二次曲面(QGS)、换成凸体(3DCS)、换成 Beta 核——让基元在结构上就接近表面。代表作 2DGS。
- C SDF 混合:把 NeuS / 隐式 SDF 缝进 3DGS。可以两个分支互相蒸馏(GSDF),可以用 SDF 决定每个高斯的 opacity(3DGSR),也可以让 SDF 梯度"拽"高斯(GS-Pull)。代表作 3DGSR / GSDF。
- D Mesh-bound:先有 mesh,再让高斯依附在三角面上。目标不是提 mesh,而是可编辑、可动画、可仿真。代表作 GaMeS / Gaussian Frosting。
- E Mesh-in-the-loop(2025 年最新潮流):让 mesh 提取本身可微,训练循环里随时有 mesh,梯度从 mesh 流回 splat。代表作 Triangle Splatting / MILo。
- F 外部知识注入:训练管线和工业级感知模型缝合。DUSt3R 给位姿和点云(InstantSplat),stereo 网络给深度(GS2Mesh),SLAM 给跟踪建图(MonoGS)。
- V 垂直方向:稀疏视图、城市/驾驶、反射/材质、动态、数字人——各自跑出 SOTA,对 vanilla DTU 通杀已不再是大家追的目标。
§3三年时间线
横轴是论文首次公开时间(arXiv 月份),颜色对应路线。鼠标悬停查看一句话简介, 点击跳转到正文卡片。
三个明显的浪潮
第一波(2023.11 – 2024.04):所有人都在解决"3DGS 提不了 mesh"。 SuGaR 用"软对齐"把这条路打开,DN-Splatter / DNGaussian / GeoGaussian 跟进; NeuSG / GSDF / 3DGSR 同时探索"借 SDF"; 2DGS / Gaussian Surfels 几乎同月独立提出"换基元"。
第二波(2024.06 – 2024.12):路线 B 高速成熟。 PGSR / RaDe-GS / GOF 把"2D / 无偏深度 / 等值面"做到 DTU SOTA; QGS、3DCS、Beta、EVER 开始探索"非高斯非平面"的下一代基元。 同期 InstantSplat 把 DUSt3R 注入,路线 F 开始独立。
第三波(2025.01 – 2026.05):训练循环里直接有 mesh。 Triangle Splatting → MILo → Triangle Splatting+ → MeshSplatting, "基元 = mesh 单元"成为新共识; 同时 SDF 混合路线进入 DiGS / DiscretizedSDF 阶段, SDF 不再是大 MLP,而是每个高斯绑一个标量; 垂直方向(稀疏视图、大场景、反射、4D)独立成熟,各自跑 SOTA。
§4A软对齐:基元不动,加监督
这条路线的信念:3DGS 几何差不是因为基元有问题,而是因为光度 loss 不约束几何。 那就把所有能拿到的几何信号塞进 loss——深度、法线、平面、MVS 一致性、剪枝、densify 修正—— 把椭球"拽"到表面上去。它是历史最长、工作最多、最容易和其它路线叠加的一支。
SuGaR · Surface-Aligned Gaussian Splatting
首次把"贴表面"写进 3DGS 的训练 loss——压扁高斯、对齐到一个"理想 SDF"、Poisson 抽 mesh。
SuGaR 的洞察其实只有一句:如果所有高斯都贴在表面上,那场景的密度场就近似一个理想的 SDF。 作者据此推导了一个"理想 SDF"的解析表达式(用最近高斯的距离和不透明度算), 然后把"GS 实际密度 vs 理想 SDF 之差"做成正则项推高斯收敛。 训练完,从这个伪 SDF 采样点,跑标准 Poisson 重建拿 mesh,再把高斯重新绑回 mesh 三角面继续优化。
关键区分:在 SuGaR 之前要从 3DGS 拿 mesh,要么 marching cubes 体素化(慢且糙), 要么训一个独立 NeuS(极慢)。SuGaR 是第一篇把"对齐表面"直接写进 loss 的,从此整条软对齐路线开张。
正则化的两大派别
紧接 SuGaR,社区分成两派:"从大模型拿监督" vs "从场景自身拿监督"。 前者依赖现成的单目深度/法线预测网络(Marigold、Omnidata、StableNormal), 后者只用多视图自一致性。两派各有道理:前者上限高但依赖 prior 质量,后者鲁棒但弱纹理区会塌。
DN-Splatter · 单目深度 + 法线 + 平滑三合一
用单目深度 + 法线 + 邻接高斯平滑,瞄准 iPhone LiDAR/RGB-D 扫描的室内场景。
对室内大白墙这种纹理稀的地方,光度 loss 几乎没信号——高斯随便长成针刺都行。 DN-Splatter 把现成的单目深度/法线预测直接当伪 GT,用 L1 监督深度、cosine 监督法线、 邻接高斯法线一致性正则。还做了一个细节:用 RGB 梯度调权"高频处放松、低频处加强"。
关键区分:和同期 DNGaussian 思路相似,但 DN-Splatter 主推 mesh 提取 pipeline (Poisson 后处理),更工程化、对手机扫描场景做了特化。后续 AGS-Mesh(2024.11)是它的直系下一代—— 增加多视图一致性筛选机制丢弃低质 prior 像素。
DNGaussian · 双重深度 + 全局-局部归一化
解决一个具体问题:单目深度预测有未知尺度,不能直接当 GT 用。 DNGaussian 同时用"硬深度"(仅最大不透明度高斯算出来的深度,约束位置)和"软深度" (α 合成深度,约束分布),再用全局-局部双归一化让 loss 对尺度漂移不敏感。 是 sparse-view 3DGS 的常被引基线。
GaussianPro · 不靠大模型,只靠多视图一致性
和 DN-Splatter 形成思想对照。GaussianPro 走"纯传统 MVS 自一致性"路线: SfM 在纹理缺失区没点 → 3DGS 没初值 → 永远建不好。 解决方案:训练过程中用 PatchMatch 风格的 propagation,从邻域已建好的高斯传播 深度/法线到没点的位置,再 densify 新高斯。监督完全来自自己,不吃任何大模型 prior。
GeoGaussian · 平面区初始化薄高斯,densify 时传承方向
另一种"不靠大模型"思路:SfM 点云上检测共面区,那里的高斯一律初始化成"薄片 + 朝法向"; densify 时新生高斯继承父高斯的方向。本质是"用显式几何约束模拟 SDF 的零等值面"的轻量替代品。
AbsGS · 修一个 3DGS 的隐藏 bug
不属于"加几何监督",但几乎所有想要清晰表面的方法都把它当 baseline trick 叠加。
原 3DGS 用 Σ grad 决定 densify——但梯度方向相反的会相消,
导致一个大高斯压住高频区却"看不到自己需要分裂"。AbsGS 改成 Σ |grad| 消除"gradient collision"。
小改动,大影响。
把法线监督真正传到对的参数上
VCR-GauS · 法线监督到底监督到了谁
本路线对"梯度到底流去哪儿了"看得最透的工作。以往直接监督"渲染出来的法线", 梯度只回到 rotation,对位置和 scale 没影响——意味着椭球可以原地转个角度满足法线 loss 而几何丝毫不动。VCR-GauS 把"渲染深度对像素的导数 = 法线"显式写进 loss, 让法线信号真正可以挪椭球;再加视角置信度过滤多视图不一致区。
TrimGS · 训练中剪枝"假高斯"
观察:好几何的 3DGS 应该由"小而准"的高斯组成。直接 trim 掉那些"占地大但贡献低"的高斯, 强制保留小尺寸高斯表达细节。与 PGSR、2DGS 正交,可叠加。
GausSurf · 分区路由几何监督
不再纠结"用大模型 prior 还是 MVS 自一致性"——都用,但按场景区域路由。 纹理丰富区用 PatchMatch MVS,无纹理区用单目法线先验。是路线 A 后期的混合系代表。
2DGS-R · 修一个 2DGS 的设计缺陷
2DGS 路线发展到 2025 年的回访工作。指出 2DGS 的 normal consistency loss 会损害渲染质量, 原因是几何正则和外观目标在某些像素冲突。解决:在差像素处"in-place clone"局部克隆 2D Gaussian, 让几何正则与渲染质量解耦。是"软对齐"思路里最精巧的微观调优。
§5B换基元:让基元天然就是表面
这条路线相信 3DGS 几何差的根在基元本身——3D 椭球天然不是表面元。 解决方案沿两个正交方向收敛:降维(3D → 2D 流形片)让法线、切平面、深度成为基元的一等公民; 硬化边界(无界软高斯 → 有界硬核)让基元有明确"内外"。 极致形态是 Triangle Splatting:基元 = mesh 单元(已划到路线 E)。
2DGS · 把 3D 椭球退化成 2D 圆盘
这条路线的旗舰——把椭球的 z 维度压到零,基元变成有方向的 2D 椭圆盘,深度、法线、切平面都解析地确定。
回到序章的"三宗罪":椭球深度依赖视角、没有内禀法线。 2DGS 把基元降到 2D 流形片后这两条同时消失——2D 盘有一个切平面,切平面的法线就是基元法线; 任意射线与盘只有一个交点,深度是解析且视角无关的。 两个新 loss 让一切运作:depth distortion(鼓励同射线上的盘聚集在一个深度,防止"两层薄盘错位")和 normal consistency(渲染法线 ≈ 渲染深度的梯度算出的法线)。 表面提取走 TSDF fusion。
关键区分:SuGaR 用"软"正则把 3D 高斯往表面拽;2DGS 直接换基元,几何无偏是结构性保证。 DTU Chamfer 从 SuGaR 的 1.33 干到 0.80,是整个三年里最重要的 step change。
Gaussian Surfels · 同期独立的"扁高斯"
和 2DGS 几乎同月独立提出的"扁高斯"工作,实现路线略不同—— 直接把 3DGS 的 z-scale强制设为零。结构等价于 2D 椭圆 surfel,但带来一个新问题: 退化协方差矩阵在数值上不稳定,所以引入了一个特定的"深度-法线自监督一致性损失"作平衡。 和 2DGS 各有取舍,但都是"3D 椭球 → 2D 流形片"这一思想跃迁的代表。
PGSR · 平面化 + 无偏深度,纯几何路线
紧接 2DGS 的工程化加强版。把高斯强制扁平化后,渲染时直接输出"相机到平面的距离"和"法线", 两者相除得到无偏深度(平面方程 + cosine 校正)——这避开了 z-buffer 偏置。 再叠加单视图几何正则 + 多视图光度&几何一致性正则。完全不需要预训练 depth/normal,全靠多视图自一致性。
关键区分:相比 2DGS,深度公式更精确;相比 SuGaR 不需要 Poisson。 DTU Chamfer 0.53,是这一时期纯几何路线的天花板。
RaDe-GS · "不必降到 2D"——只改深度公式
本路线里的少数派意见——保留通用 3D 椭球,只改深度光栅化方式。 RaDe-GS 推导 general 3D 高斯的射线-高斯峰点闭式相交,把这个交点深度作为 splat 深度, 而非原版 3DGS 的"高斯中心投影深度"。换句话说,"3DGS 几何不准"不是基元的错,是渲染公式选错了。 属于"让所有路线 A 的 loss 真的能传梯度"的基础设施工作。
从"等密度面"到"等值面"
GOF · Gaussian Opacity Fields
重新解释 3DGS:从光线追踪式体渲染推导,得到任意 3D 点的不透明度值, 把它定义为一个连续的"opacity field"。然后用高斯中心做正则四面体剖分, 跑 marching tetrahedra 直接抽出等值面的 mesh。
关键区分:SuGaR/2DGS 都还需要外部 TSDF 或 Poisson;GOF 把网格抽取看成场的等值面问题,更优雅,且天然处理无界场景。 DTU Chamfer 0.74,等值面密度自适应——靠近物体密、远处稀。
SOF · Sorted Opacity Fields(GOF 的下一代)
分析出 GOF 存在系统性高估深度的问题——原因是 α 合成中的排序近似。 SOF 引入分层 resort + 精确深度公式 + 并行 Marching Tetrahedra,mesh 抽取时间快约 1 个数量级, 重建精度同时上升。是 GOF 路线 2025 年的归宿。
升阶到二次曲面 / 升结构到凸体 / 换核函数
QGS · Quadratic Gaussian Splatting
从一阶贴面(2D 盘)升到二阶贴面(可变形二次曲面:椭球面、抛物面、鞍面)。 密度沿曲面的测地距离而非欧氏距离衰减——这才是"在表面上的高斯"该有的几何直觉。 单个 QGS 基元能匹配局部 Hessian,等价于"用更少基元覆盖弯曲表面"。DTU Chamfer 0.51,比 2DGS 降 33%。
3DCS · 3D Convex Splatting
方向和 2DGS 相反——不是"降维",是"升结构"。 用平滑凸多面体(顶点 + 锐度 δ、平滑 σ)替代高斯,通过线段 SDF 的组合得到指示函数。 凸体可表达硬边界和致密体,对建筑边角、薄片这类尖锐结构比 Gaussian 软斑点更紧凑。
Deformable Beta Splatting · 可调形状的 Beta 核
换核函数:把无界 Gaussian 换成可形变 Beta 核——引入形状参数 b,
b<0 时是"平顶 + 锐切断"(有界支撑 + 硬边界,适合表面),
b>0 时是"尖峰"(适合高频细节),b=0 退化为 Gaussian。
同一基元能根据 b 自适应频率,省参数 55%、快 1.5×。
EVER · 常密度硬椭球 + 精确 ray tracing
把高斯换成常密度椭球(hard boundary),用 ray tracing 精确积分。 椭球边界明确,射线进/出点是解析的,消除了 α 合成的近似带来的 popping 和视角相关密度伪影。 依赖 RT 硬件,但是路线 B "硬化基元边界"分支的极致表达。
3D-HGS · 半高斯
把椭球切一刀只保留半边,作为 plug-and-play 基元处理边缘/纹理不连续。 适合"基元一半在物体内、一半在空气中"的边缘像素。
GFSGS · 把 surfel 看作几何场采样器
2DGS 的精细化版本——把 surfel 视作"对几何场(geometry field)的采样器"而非"对体积的采样器", 去掉 2DGS 中的 Taylor 近似与自衰减近似,并用球谐编码反射向量替代颜色。 镜面物体的几何更稳。
3DGUT · 修投影忠实度
基元仍是高斯,但把 EWA splatting 的线性化投影换成无迹变换 (Unscented Transform)用 sigma points 精确投影。 在 fisheye、rolling-shutter 等强非线性投影下也能保持几何准确;还支持反射/折射 secondary rays。 和 EVER 同方向,3DGUT 是栅格化版,EVER 是 ray tracing 版。NVIDIA 已开源。
§6CSDF / 隐式表面混合
3DGS 给出离散漂浮的椭球——擅长拟合光度但不知道"表面在哪里"; NeuS / VolSDF 给出连续 SDF——知道表面在哪但渲染慢、细节糊。 把两者粘起来是 2023 年底开始爆发的一条主线。 按"耦合方式"分五个子路线:单向蒸馏(→/←)、双分支并行、一体化、SDF 拽动高斯。
NeuSG · GS 当 NeuS 的几何先验
本路线最早期工作之一。朴素 3DGS 椭球中心并不一定落在物体表面上—— NeuSG 加了一条"最小尺度趋近于零"的正则把椭球压成几乎二维的薄片,逼迫椭球中心爬到真实表面附近; 然后用这些"贴在表面上的点"当作 NeuS 的位置和法向先验。 单向偏多——GS 给 NeuS 几何先验,NeuS 反向只通过共享场景隐式约束 GS。
GSDF · 双分支并行互喂
第一个明确的"双分支"架构。 GS 分支专管"漂亮渲染",SDF 分支专管"准确表面",三座桥梁互喂监督: GS 渲染的深度图给 SDF 当 ray sampling 提示(让 SDF 只在表面附近精算,极大减少 marching 开销); SDF 反过来告诉 GS 哪儿是表面(指导高斯的克隆/剪枝只发生在表面附近); GS 渲染的法向被 SDF 法向监督。
3DGSR · SDF 焊进每个高斯里
"一体化"路线代表:每个高斯的 α 不是自由变量,而是由它中心处的 SDF 值经 sigmoid-like 函数算出。
之前的方法都是"两个分支并行",3DGSR 走的是一体化—— SDF 接近 0 → α 大;SDF 远离 0 → α 小。这样优化 GS 渲染时就在隐式优化 SDF。 同一标量场(SDF)同时决定渲染(α)和几何(zero-level set)。 渲染速度仍是 3DGS 级(无 ray marching),提取的 mesh 是 NeuS 级的连续光滑。
GaussianRoom · 把 3DGSR 思路搬到室内
室内场景的大白墙是 3DGS 的噩梦。GaussianRoom 用 SDF 零等值面指导高斯的克隆/剪枝: 表面缺高斯的地方主动 densify、远离表面的浮点主动 prune。再加上单目法向 + 单目深度先验在无纹理区注入伪监督。
GS-Pull · SDF 梯度主动拽动高斯
来自 Neural Pull 系列的思路:优化时每一步—— (1) 查询 SDF 在当前高斯位置的值和梯度; (2) 沿梯度方向把高斯"朝零等值面拽一下"; (3) 在拽过去的位置渲染并算 RGB loss。 这样 RGB loss 的梯度会反向流过 pull 操作去更新 SDF。高斯永远在表面上。
DiscretizedSDF · SDF 不再用 MLP
连续 SDF MLP 代价高。DiscretizedSDF 直接把 SDF离散到每个高斯上(每高斯一个 SDF 标量), opacity 由 SDF 经 sigmoid 转换得到(沿用 3DGSR 思路), 中位数 loss + projection 一致性 loss 把这些离散值约束成全局一致的 SDF。 为 relighting 应用——SDF 是 PBR 解耦质量的关键。
DiGS · 每高斯绑 SDF + grid-growth
与 DiscretizedSDF 思路接近——SDF 绑高斯上。 但 DiGS 强调"几何引导的 grid growth"——多尺度按几何一致性分布高斯。 DTU、Mip-NeRF360、TnT 上对 GOF/PGSR/2DGS 全面提升,是路线 C 最新前沿。
劣势:训练慢——双分支或每高斯绑 SDF 都加显存; 远场 SDF 没有监督(路线 D 的一致 pitfall); 超参敏感(SDF 正则系数、pull 学习率、SDF→opacity 函数温度); 大场景外推下 SDF 归一化是新难题(G2SDF 才开始处理)。
§7DMesh-bound:高斯绑在网格上
前面 A/B/C 三条路线的目标都是"从 3DGS 提 mesh"。 路线 D 反过来:假设你已经有 mesh,把高斯锚定到三角面上,得到一个混合表达—— mesh 一动,高斯自动跟着动;mesh 提供拓扑结构,高斯提供高质量外观。 这条路线服务的是编辑、动画、仿真的下游需求。
GaMeS · 重心坐标参数化
每个高斯属于某个三角形,位置用重心坐标表示,旋转/缩放由三角形局部坐标系决定。 mesh 变形 → 三角形变形 → 高斯自动重新计算。结构上最简洁的"mesh-bound 高斯"。
Gaussian Frosting · 在 mesh 表面敷一层"糖霜"
SuGaR 同班人马(Guédon & Lepetit)的进阶——既提 mesh 又能表达毛发、草这种模糊体积感。
SuGaR 重在"提网格",Frosting 重在"提完网格还能编辑动画"。 先用 SuGaR 抽 base mesh,然后在 mesh 周围生长一层可变厚度的 frosting; 高斯被参数化为"层内坐标"(u, v, w),mesh 变形时高斯随之拖动。 这层 frosting 让毛发、草、纤维这种"严格说不是 mesh 表面"的细节也能保住。
Mani-GS · 用 mesh 作代理操控 3DGS
三角形感知的高斯绑定 + 自适应方法。即便 mesh 不精确也能工作—— mesh 变形 → 高斯随动,支持大形变、软体仿真。
MeshGS · tight + loose 两类高斯
观察到完全"贴 mesh"的 splats 会受 mesh 误差拖累。分两类训练: tight-bound splats 拍扁贴在 mesh 上保几何; loose-bound splats 自由漂浮补 mesh 的伪影。 相比 GaMeS 对不准的输入 mesh 更鲁棒。
NPGA · 高斯绑在神经参数化头模上
为数字头像特化——把高斯绑到神经参数化头模 NPHM(非 mesh 表面)上而非传统 FLAME mesh。 把反向变形场蒸馏成前向变形以兼容光栅化。是 D 路线"非显式 mesh 也行"的代表。
§8EMesh-in-the-loop:训练循环里就有 mesh
2025 年最值得关注的方向。前面四条路线 A/B/C/D 都把 mesh 视为"训练后才有的副产品"—— 要么 Poisson、要么 TSDF、要么 marching cubes/tetrahedra。 路线 E 颠覆这一点:让 mesh 提取本身可微,训练每一步都能拿到 mesh, 梯度可以从 mesh 直接流回 splat。"高斯泼溅"和"传统 mesh-based 渲染"的边界正在消失。
Triangle Splatting · 基元就是三角形
直接把可微三角形当作 splat 基元——基元 = mesh 单元,跳过任何 marching cubes/Poisson 后处理。
路线 B 的极致形态、也是路线 E 的起点。 每个三角形 = 3 个顶点 + 平滑度 σ + 颜色/不透明度;不透明度由三角形 2D SDF 给出。 三角形是计算机图形学的原生表面基元,输出直接是 mesh soup, 能用任何标准 mesh 渲染器以 2400+ FPS 渲染。
关键区分:2DGS 是椭圆盘(仍是 splatting 框架),Triangle Splatting 是直接学习 mesh。
MILo · Mesh-In-the-Loop Gaussian Splatting
SuGaR/Frosting 同班人马的最新作。摒弃"训练完再 marching cubes/Poisson" 的 pipeline—— 让 mesh 顶点位置和连通性都每一步训练里通过可微 Delaunay 重抽, 梯度从 mesh 反向流回高斯。顶点数比同类少约 10×,但精度更高。
2D Triangle Splatting · 训练即 mesh
和 Triangle Splatting 同年的"2D 版"——直接用 2D 三角形作 splatting 基元, 不透明度由 barycentric 坐标给。 属于"基元和 mesh 合二为一"的另一种实现。
Triangle Splatting+ · 不透明三角形 + 顶点连通性
Triangle Splatting 的工程化升级——共享顶点连通性 + 强制不透明, 输出真正可编辑的流形 mesh,可以直接进游戏引擎。
MeshSplatting · 受限 Delaunay 三角化
本路线最新(2025 末)作。在 MILo / Triangle Splatting+ 之后的进一步—— 用受限 Delaunay 三角化保证连通性,输出可直接渲染的不透明 mesh。 比 MILo +0.69 dB PSNR、训练快 2×。
§9F外部知识注入:借力工业级感知模型
这条路线的信念:与其重新发明几何,不如借用计算机视觉社区已经做了 10 年的工具—— 立体匹配、SLAM、多视图 stereo 基础模型。 3DGS 只负责"漂亮渲染",几何由外部模型提供或反向蒸馏。
GS2Mesh · 用 3DGS 当虚拟相机
完全不改 3DGS 优化目标——训完之后,从训练位姿渲一对左右目图像, 喂给现成的 stereo matching 模型(如 DLNR / RAFT-Stereo)出深度,最后 TSDF 融合。 本质把"3DGS → mesh"问题转化为"立体重建"问题。 把工业级 stereo 网络在 KITTI / SceneFlow 上学到的真实世界知识"注入"进来。
InstantSplat · DUSt3R 替代 SfM
跳过 SfM。基础模型 DUSt3R / MASt3R 一步出位姿 + 稠密点云, 把 3DGS 收敛半径从"几小时"压到"40 秒"。 和 Splatt3R / MV-DUSt3R+ 形成 family,是路线 F 在 pose-free / 极少视图重建上的代表。
MonoGS · 3DGS 当 SLAM 后端
把 3DGS 当 SLAM 后端——跟踪和优化一锅炖,几何由位姿一致性约束。 3 FPS 在线,各向同性正则让在线增量优化稳定。是路线 F 的"实时"分支。
DepthSplat · 深度与 GS 双向耦合
更好的深度训出更好的 GS,更好的 GS 反哺深度模型—— 把 3DGS 训练和 depth estimation 当作一个双向任务。 "外部知识"在这里不再是冻结的,而是可被 3DGS 微调。
§10V垂直方向
2025 年开始,"通用 DTU 通杀"已经不是大家追的目标—— 各个垂直方向独立成熟,每条赛道有自己的 SOTA、自己的 benchmark、自己的失败模式。 本节按方向梳理。
稀疏视图 · sparse-view surface
当训练视图从 100+ 掉到 3-9 张,路线 A/B 的方法几乎都崩——光度信号不够,几何先验和正则成为必须。
- FSGS / DNGaussian / SparseGS(2024 早期):单目深度先验 + densify 修正,奠基。
- FatesGS(AAAI 2025):单视图内深度 + 多视图特征一致性双正则,60-200× 加速。
- Sparse2DGS(CVPR 2025):MVS 初始化 + 几何先验加权的 2DGS。
- SparSplat(2025.05):feed-forward 直接回归 2DGS 参数,DTU sparse-view SOTA + ~100× 加速。
- MeshSplat(AAAI 2026):feed-forward 输出像素对齐 2DGS + 加权 Chamfer + 单目法线监督。
- SparseSurf(2025.11):用伪特征增强的几何一致性在训练/未见视图之间双向约束,DTU/BlendedMVS/Mip-NeRF360 sparse-view SOTA。
- SurfelSplat(NeurIPS 2025):把 Gaussian surfel 设计成 generalizable 稀疏视图 feed-forward 表示。
- GSRecon(ICCV 2025):cross-view 几何感知模块 + 栅格化渲染。
大规模 · city / aerial / driving
- GigaGS(AAAI 2025):把 PGSR 思路扩展到城市/大场景的首篇——分区并行 + LoD 多视图一致性。
- CityGaussianV2(ICLR 2025):2DGS × 并行训练 × 深度压缩——10× 压缩、节省 25% 训练时间、50% 显存。
- UrbanGS / ULSR-GS:2DGS 在无人机大场景的扩展,强调几何一致性 + 分块。
- StreetSurfGS(TVCG 2025):planar-Gaussian + octree + 段训练做城市街道表面重建。
驾驶 · autonomous driving
- DeSiRe-GS(CVPR 2025):4D 街景静-动分解 + 2D-SDF 表达局部路面。
- SplatAD(CVPR 2025):LiDAR + Camera 同时用 3DGS 渲染,做自驾闭环仿真。
反射 / 镜面 / 材质
- Reflective Gaussian Splatting(ICLR 2025):在抽取的 mesh 上做射线追踪算 specular 可见性。
- Ref-DGS:几何 Gaussian + 反射 Gaussian 双流,配 global env reflection field。
- Car-GS:专门面向汽车(反射玻璃/金属漆)的视依赖基元设计。
- GS-2M:材质感知 + 表面重建一体化,多视图分解出 BRDF + mesh。
动态 / 4D 表面
- GSTAR(2025.01):把高斯绑到 mesh 面片上,能处理拓扑变化(断裂/合并)。
- DynaSurfGS / DGNS:可变形 GS + 动态 neural surface 混合。
- Anchored 4DGS(SIGGRAPH Asia 2025):4D anchor 框架降低 4DGS 存储与时延。
数字人 · avatar
- NPGA:见路线 D。
- Gaussian Frosting:见路线 D,毛发是杀手锏。
- RMAvatar(2025.01):rectified mesh + 嵌入高斯,单目视频 photoreal 人体表面。
§11Benchmark 对比表
作者自报数字(不是我重新跑的)。DTU Chamfer:15 个 scene 的均值,越低越好。 TnT F-score:Tanks & Temples 表面 benchmark,越高越好。 点击表头排序;缺失值表示原论文未在该 benchmark 上报。
| 工作 | 路线 | 日期 | 场所 | DTU Chamfer ↓ | TnT F-score ↑ |
|---|
§12怎么读:推荐入门路径
我假设你已经懂 NeRF 体渲染 + SDF/NeuS 基础。读 60 篇没必要, 按下面四步走能让你真正理解这条 research line 的演化逻辑。
- Step 1 · 把"为什么 3DGS 几何差"想透。读原始 3DGS 论文 + 本页 §1,反复盯着"三宗罪"。 能用自己的话讲明白"椭球深度为什么视角依赖"再走下一步。
- Step 2 · 路线 B 的旗舰:读 2DGS 论文。这是这条 research line 上最重要的单篇—— 整个"换基元"思想的支点。读完去看 PGSR 怎么把它工程化、GOF 怎么把"提 mesh"变成"取等值面"。 这一步走完,你会理解为什么社区把 2DGS 当锚点。
- Step 3 · 路线 C 一个一体化代表:读 3DGSR。 你会看到"用 SDF 决定 opacity"这一招怎么把两个表征焊在一起, 以及"远场 SDF 没监督"这个一致 pitfall 是怎么来的。
- Step 4 · 路线 E 的最新潮流:读 MILo 或 Triangle Splatting+。 你会看到 2025 年怎么把"训练时就有 mesh"做出来—— 这是 2026 之后所有工作几乎都会以某种形式继承的方向。
读完这四篇 + 本页,你对整条 research line 的脉络就建立起来了。 剩下的 56 篇都是这四个支点的细化、推广、特化或修补—— 任何一篇你都能 30 秒判断它属于哪条路线、解决了什么"前任的痛点"。
(1) 它属于本综述哪条路线(A/B/C/D/E/F/V)?
(2) 它的直接前任是谁,它改了 loss / 基元 / 网络结构中的哪一项?
(3) 它在 DTU / TnT / Mip-NeRF360 上哪一项比前任好、哪一项变差?
能回答这三个问题,你就读懂了一篇 3DGS-surface 论文 90% 的"信息密度"。
§13Open problems
2025 年底社区公认的开放问题。如果你是研究生在找选题,这里大概是收益最高的几个方向。
- 训练时-mesh 与渲染质量的真正解耦。 MILo / 2D Triangle Splatting 开了头,但在 unbounded outdoor、强反射、薄结构(电线、植被)上仍会出现 mesh 与高斯一方拖累另一方。
- 拓扑变化下的动态表面。 GSTAR 是目前最完整的尝试,但人手、布料、流体等高频拓扑变化仍未真正可用, 4D mesh + GS 的统一表示是开放问题。
- 大规模无界场景的可扩展 watertight mesh。 CityGaussianV2 / StreetSurfGS 解决了渲染与几何质量, 但产出的 mesh 通常非 watertight,无法直接拿去做物理仿真 / 碰撞 / 烘焙。
- 镜面 + 透明 + 半透明对几何的"骗"。 所有当前方法在玻璃、水面、镜子上几何都偏, Unbiased Depth 2DGS / Reflective GS / GS-2M 各自只解决了一部分。
- 稀疏视图 + 生成先验下的 mesh 评估标准缺失。 generative-prior-aided mesh 容易"幻觉"出貌似合理但与真值不符的结构, 社区还没有公认的"幻觉敏感"指标。
- 可微 mesh 的下游可用性。 拿到 mesh 之后接到物理引擎、相机仿真、机器人 affordance 推理的完整 pipeline 仍稀缺, 是 industry 真正关心却 academic benchmark 没量化的方向。
- 算力/内存的甜区。 QGS / DiGS / SOF 都偏重精度,训练时长仍在小时级;MILo 显存大; 社区还缺"5 分钟即可在 RTX 4060 上跑出可用 mesh"的方案。
§14综述论文与资源
想读已发表的综述,下面是我推荐的优先级。
- A Survey on Surface Reconstruction Based on 3D Gaussian Splatting, Xu et al., PeerJ CS 11:e3034 (2025-08). 本主题最对口——3D 表示 → 优化 → 表面提取三段式分类,含 SuGaR/2DGS/GOF/PGSR/QGS 等系谱。 链接
- A Survey on 3D Gaussian Splatting,Chen et al., arXiv:2401.03890(v8/v9 持续 2025–2026 更新)。通用 3DGS 综述,含表面章节。
- 3D Gaussian Splatting: Survey, Technologies, Challenges, and Opportunities, Bao et al., arXiv:2407.17418 / IEEE TVCG 31:4429 (2025)。技术挑战分类,含 mesh 章节。
- A Survey on 3D Gaussian Splatting Applications: Segmentation, Editing, and Generation, arXiv:2508.09977。编辑/分割/生成应用面,含 mesh-based editing。
- Human Reconstruction using 3DGS: A Brief Survey, Frontiers in AI 2025。数字人方向专题。
持续追踪资源
- MrNeRF Awesome 3DGS Papers: mrnerf.github.io/awesome-3D-gaussian-splatting
- Lee-JaeWon 2025 Arxiv Paper List Gaussian Splatting: GitHub