会做梦的几何
一句话概括过去十年的 3D 生成: 我们几乎没有 3D 数据,却有强到离谱的 2D 图像模型——于是所有聪明人都在回答同一个问题:怎么把"3D 的先验"放到离 3D 越来越近的地方。 答案越来越直接:先逐个资产借 2D 模型蒸馏(SDS)、再借 2D 模型生成一致多视图后重建、再把这个映射压进一个前馈网络(LRM)、 最后干脆在一个 3D latent 空间里学真正的分布并采样(原生 3D 扩散)。
预设读者:会基本的机器学习、微积分、线性代数,懂一点 NeRF / SDF,略知 tets(DMTet)。 不懂 3D 生成也没关系——我们从表示(representation)开始从头讲。 全站拆成 9 个 part 页,每页按"一句话痛点 + 关键想法 + 必要代码 / 交互 demo"的格式逐篇剖析。
这条主线 · The one storyline
把整张地图压成一根轴:3D 的先验放在哪。从左到右,先验离真正的 3D 越来越近、单个资产越来越快:
① SDS 蒸馏(逐资产借 2D 模型,分钟~小时) → ② 多视图扩散 + 重建(借 2D 模型生成一致视图) → ③ 前馈 LRM(把映射压进一个网络,亚秒) → ④ 原生 3D 扩散(在 3D latent 空间学真分布、直接采样——当今主线)。 剩下两件事——干净拓扑(mesh-AR)与可重光照材质(PBR)——决定它能不能真进生产管线。
分类索引 · Taxonomy
从下方任一卡片入手都行。每张卡列出该 part 的 1-2 个 anchor 工作和 sub-topic chips —— 它们决定了该页 80% 的篇幅。橙黄 chip = 2026 前沿、未二次核验的引用。
Primer · 基础
把"表示 zoo"、可微取面(DMTet / FlexiCubes)、两台生成引擎(SDS vs rectified flow)、原生 3D 扩散流水线一口气讲清,并立起全站 4 个痛点。
史前史 2016–2022
现代之前的三条线:voxel/point GAN、隐式场自解码器(DeepSDF/OccNet)、triplane GAN(EG3D/GET3D),以及把扩散搬上 3D 的第一波(Point-E / Shap-E)。
SDS 蒸馏家族
没有 3D 数据?把冻结的 2D 扩散模型当"评委",逐个资产优化一个 NeRF/3DGS。DreamFusion 开山,VSD 修锐度,DreamGaussian 提速,MVDream 治 Janus。
多视图扩散家族
微调 2D 扩散模型,让它一次吐出几张一致的视图,再前馈重建。靠"视图共享 attention"换一致性;Zero123 起步,CAT3D 收尾。
前馈大重建 · LRM
一次前向就吐出 3D:大 transformer 把图像 token 映射成 triplane / Gaussians / mesh。triplane-NeRF 时代 → Gaussian 时代 → 直出 mesh 时代。
原生 3D 扩散 · vecset 主线
当今最强 image→mesh 的配方:把形状压成一组 latent 向量(vecset),在这个空间里用 rectified-flow DiT 学分布。3DShape2VecSet → CLAY → TripoSG / Step1X-3D / Hunyuan3D。
结构化潜变量 · 稀疏体素
latent 到底"有没有坐标"?结构化派把 latent 钉在稀疏体素上(TRELLIS 的 SLAT,一份 latent 解出 mesh/3DGS/RF);外加把"无序"高斯结构化后再生成。
干净拓扑与材质
marching cubes 出来的网格太"糊"。自回归 mesh 把面当 token 像艺术家一样生成(一场 tokenization 军备竞赛);材质则从烤死光照走向同步 PBR。
2026 前沿
下一代原生扩散(TRELLIS.2 的 O-Voxel、LATTICE 的半结构 VoxSet 弥合两派)、像素对齐(Pixal3D)、可动资产(AniGen 直出骨骼蒙皮)、少步蒸馏,以及仍然没解决的问题。
名词表 · 阅读清单
30+ 核心术语索引 + 按"该怎么读原文"重排的 12 步阅读顺序——比按发表时间读高效得多。
阅读路径建议 · Reading Paths
按背景选一条。每条 40–90 分钟,能完整走过 3D 生成主线的一个切面。
本站约定 · How to read
全站 9 个 part 页都遵循同样的"配方":
- 每篇 paper 一张卡:alias + 全名 + 年份 + arXiv/project 链接 + 一句话痛点 + 关键想法(粗体)+ 必要的小数学 / 代码 + 一句话 "vs prior" 差异。
- 每个 part 页顶部有 local TOC + 一段 lede;底部有 prev/next 翻页。
- 代码片段是教学伪代码——不为性能、只为讲清楚。交互 demo 是 Canvas2D 玩具,数字是数量级估计,不代表论文实际性能。
- "越新越好"——arXiv ID ≥ 2505 的工作尽量收进 Part IX,但里程碑老论文(DeepSDF、EG3D、DreamFusion、3DShape2VecSet、LRM …)一定保留。mustard tag = 来自单一信源、未二次核验的前沿引用。
本站讲的是整个 3D 资产生成领域,重心放在"原生 3D 扩散 → mesh"这条生产主线(Step1X-3D / TripoSG / Pixal3D 都在这)。 如果你只关心 3DGS 作为输出格式 的那一支,去隔壁 《生成式 3DGS 综述》; 场景级 / 4D / 数字人有各自的专站。本站对 3DGS-native 生成只做必要的交叉引用。
现代 3D 生成的历史 = 不断把"3D 的先验"放到更靠近 3D 的地方: SDS(逐资产借 2D)→ 多视图扩散(借 2D 造一致视图)→ LRM(把映射压进前馈网络)→ 原生 3D 扩散(在 3D latent 空间学真分布并采样)。 当 latent 学好了,剩下的全是工程——干净拓扑 与 可重光照 PBR 材质——决定它进不进得了生产管线。