A pedagogical survey · 2016 — 2026.06

会做梦的几何

一句话概括过去十年的 3D 生成: 我们几乎没有 3D 数据,却有强到离谱的 2D 图像模型——于是所有聪明人都在回答同一个问题:怎么把"3D 的先验"放到离 3D 越来越近的地方。 答案越来越直接:先逐个资产借 2D 模型蒸馏(SDS)、再借 2D 模型生成一致多视图后重建、再把这个映射压进一个前馈网络(LRM)、 最后干脆在一个 3D latent 空间里学真正的分布并采样(原生 3D 扩散)。

预设读者:会基本的机器学习、微积分、线性代数,懂一点 NeRF / SDF,略知 tets(DMTet)。 不懂 3D 生成也没关系——我们从表示(representation)开始从头讲。 全站拆成 9 个 part 页,每页按"一句话痛点 + 关键想法 + 必要代码 / 交互 demo"的格式逐篇剖析。

9 部 · ~50 小节 · ~100 篇 cite · 9 个交互 demo · 最后更新 2026-06-03

9parts
~100cited works
9interactive demos
4pain points
≥2505"newer is better" 前沿

这条主线 · The one storyline

把整张地图压成一根轴:3D 的先验放在哪。从左到右,先验离真正的 3D 越来越近、单个资产越来越快:

一句话主线

① SDS 蒸馏(逐资产借 2D 模型,分钟~小时) ② 多视图扩散 + 重建(借 2D 模型生成一致视图) ③ 前馈 LRM(把映射压进一个网络,亚秒) ④ 原生 3D 扩散(在 3D latent 空间学真分布、直接采样——当今主线)。 剩下两件事——干净拓扑(mesh-AR)与可重光照材质(PBR)——决定它能不能真进生产管线。

分类索引 · Taxonomy

从下方任一卡片入手都行。每张卡列出该 part 的 1-2 个 anchor 工作和 sub-topic chips —— 它们决定了该页 80% 的篇幅。橙黄 chip = 2026 前沿、未二次核验的引用。

PART I

Primer · 基础

把"表示 zoo"、可微取面(DMTet / FlexiCubes)、两台生成引擎(SDS vs rectified flow)、原生 3D 扩散流水线一口气讲清,并立起全站 4 个痛点。

表示 zoo marching cubes DMTet vecset rectified flow
§1.1–§1.6 · Demo 1-3
PART II

史前史 2016–2022

现代之前的三条线:voxel/point GAN、隐式场自解码器(DeepSDF/OccNet)、triplane GAN(EG3D/GET3D),以及把扩散搬上 3D 的第一波(Point-E / Shap-E)。

3D-GAN DeepSDF EG3D GET3D Shap-E
§2.1–§2.4
PART III

SDS 蒸馏家族

没有 3D 数据?把冻结的 2D 扩散模型当"评委",逐个资产优化一个 NeRF/3DGS。DreamFusion 开山,VSD 修锐度,DreamGaussian 提速,MVDream 治 Janus。

DreamFusion ProlificDreamer DreamGaussian MVDream
§3.1–§3.5 · Demo 4
PART IV

多视图扩散家族

微调 2D 扩散模型,让它一次吐出几张一致的视图,再前馈重建。靠"视图共享 attention"换一致性;Zero123 起步,CAT3D 收尾。

Zero123 / ++ SyncDreamer Wonder3D SV3D CAT3D
§4.1–§4.5 · Demo 5
PART V

前馈大重建 · LRM

一次前向就吐出 3D:大 transformer 把图像 token 映射成 triplane / Gaussians / mesh。triplane-NeRF 时代 → Gaussian 时代 → 直出 mesh 时代。

LRM TripoSR LGM / GRM InstantMesh
§5.1–§5.4 · Demo 6
PART VI

原生 3D 扩散 · vecset 主线

当今最强 image→mesh 的配方:把形状压成一组 latent 向量(vecset),在这个空间里用 rectified-flow DiT 学分布。3DShape2VecSet → CLAY → TripoSG / Step1X-3D / Hunyuan3D。

3DShape2VecSet CLAY TripoSG Step1X-3D Hunyuan3D 2.x Direct3D-S2
§6.1–§6.7 · Demo 7
PART VII

结构化潜变量 · 稀疏体素

latent 到底"有没有坐标"?结构化派把 latent 钉在稀疏体素上(TRELLIS 的 SLAT,一份 latent 解出 mesh/3DGS/RF);外加把"无序"高斯结构化后再生成。

TRELLIS Pixal3D GaussianCube TripoSplat PartCrafter
§7.1–§7.5 · Demo 8
PART VIII

干净拓扑与材质

marching cubes 出来的网格太"糊"。自回归 mesh 把面当 token 像艺术家一样生成(一场 tokenization 军备竞赛);材质则从烤死光照走向同步 PBR。

MeshGPT BPT TEXTure Hunyuan3D-Paint PBR
§8.1–§8.6 · Demo 9
PART IX

2026 前沿

下一代原生扩散(TRELLIS.2 的 O-Voxel、LATTICE 的半结构 VoxSet 弥合两派)、像素对齐(Pixal3D)、可动资产(AniGen 直出骨骼蒙皮)、少步蒸馏,以及仍然没解决的问题。

TRELLIS.2 LATTICE AniGen MDT-dist
§9.1–§9.6
APPENDIX

名词表 · 阅读清单

30+ 核心术语索引 + 按"该怎么读原文"重排的 12 步阅读顺序——比按发表时间读高效得多。

Glossary Reading list
§A–§B

阅读路径建议 · Reading Paths

按背景选一条。每条 40–90 分钟,能完整走过 3D 生成主线的一个切面。

① 零基础、想完整理解来龙去脉 · 90 分钟
② 想搞懂"当下生产管线长什么样" · 60 分钟
③ "只看最新" 路径(≥ 2025-Q4) · 45 分钟
④ 几何控(表示 / 拓扑 / 取面 / 材质) · 60 分钟
⑤ 研究者视角 · 按谱系读完整条线 · 75 分钟
II III IV V VI VII IX

本站约定 · How to read

全站 9 个 part 页都遵循同样的"配方":

  • 每篇 paper 一张卡:alias + 全名 + 年份 + arXiv/project 链接 + 一句话痛点 + 关键想法(粗体)+ 必要的小数学 / 代码 + 一句话 "vs prior" 差异。
  • 每个 part 页顶部有 local TOC + 一段 lede;底部有 prev/next 翻页。
  • 代码片段是教学伪代码——不为性能、只为讲清楚。交互 demo 是 Canvas2D 玩具,数字是数量级估计,不代表论文实际性能。
  • "越新越好"——arXiv ID ≥ 2505 的工作尽量收进 Part IX,但里程碑老论文(DeepSDF、EG3D、DreamFusion、3DShape2VecSet、LRM …)一定保留。mustard tag = 来自单一信源、未二次核验的前沿引用。
姊妹站的边界

本站讲的是整个 3D 资产生成领域,重心放在"原生 3D 扩散 → mesh"这条生产主线(Step1X-3D / TripoSG / Pixal3D 都在这)。 如果你只关心 3DGS 作为输出格式 的那一支,去隔壁 《生成式 3DGS 综述》; 场景级 / 4D / 数字人有各自的专站。本站对 3DGS-native 生成只做必要的交叉引用。

总结一句话

现代 3D 生成的历史 = 不断把"3D 的先验"放到更靠近 3D 的地方: SDS(逐资产借 2D)→ 多视图扩散(借 2D 造一致视图)→ LRM(把映射压进前馈网络)→ 原生 3D 扩散(在 3D latent 空间学真分布并采样)。 当 latent 学好了,剩下的全是工程——干净拓扑可重光照 PBR 材质——决定它进不进得了生产管线。