§7.1祖先 · 体素层级与原语扩散
XCube / 3DTopia-XL— Sparse Voxel Hierarchies · Primitive (PrimX) Diffusion
想原生生成高分辨率、带材质的 3D,但稠密体素太贵(痛点 b)。
关键想法:XCube 在 稀疏体素层级(VDB)上做粗到细的潜变量扩散,前馈生成到 $1024^3$ 有效分辨率。3DTopia-XL 用 PrimX——把资产编码成 $N$ 个"原语",每个原语 = 3D 位置 + 尺度 + 一小块体素载荷(局部 SDF + albedo + 材质),整个物体成了一个紧凑、空间锚定的原语张量,跑 DiT。
相比 vecset 的"无坐标一袋向量",这里 latent 挂在显式 3D 结构上——这是 SLAT 的稀疏体素骨架的概念种子。
§7.2TRELLIS · 结构化 latent(SLAT)的集大成
TRELLIS— Structured 3D Latents for Scalable and Versatile 3D Generation
以往生成器把你锁死在一种输出格式(mesh 或 NeRF 或高斯)和一个 decoder,难通用、难编辑。
关键想法:一个 Structured LATent (SLAT)——稀疏体素骨架 + 每个活跃体素一个局部 latent(局部 latent 来自把多视图 DINOv2 特征反投影聚合到体素上)。两阶段 rectified-flow:先采结构(哪些体素活跃),再采局部 latent。一份 SLAT 用三个小 decoder 分别解出 mesh / 3DGS / 辐射场。最高 2B 参数,~50 万物体。
相比 vecset(无坐标、单 decoder、单格式),SLAT 有坐标、可原地编辑、一份 latent 解多种格式——结构化派的奠基之作。
SLAT 详解 · 一份 latent 为什么能解多种格式
SLAT 两层:(1) 结构——只有与表面相交的体素"活跃"(稀疏占据格,内存随表面积而非体积涨);
(2) 局部 latent——从多视图渲染里抽 DINOv2 特征、反投影聚合到每个活跃体素,编码局部几何+外观。
既然 latent 钉在一个共享 3D 空间里,就能训一个重的生成先验、摊给所有下游格式:mesh 进引擎、3DGS 实时渲、RF 做视图合成——而且三者天然互相一致(同一份 latent 解出来的)。还能局部编辑(只改一块体素的 latent),这是单格式模型给不了的。
Demo 8 · 结构化 vs 非结构化 latent
左 = 结构化(SLAT):latent 钉在稀疏体素上,每个都有坐标,所以能"只编辑右半边这些体素"(点按钮看高亮)。
右 = 非结构化(vecset):一袋无坐标、置换不变的向量——灵活,但你没法"编辑这个角",因为根本没有角。
这就是贯穿 Part VI/VII 的那条分轴。
§7.3Pixal3D · 像素对齐的 TRELLIS 谱系后继
Pixal3D— Pixel-Aligned 3D Generation from Images
TRELLIS 类模型在规范姿态里生成、只靠 cross-attention 松散注入图像,导致几何与输入视角对不齐、丢像素级保真。
关键想法:在像素对齐空间里生成——每个稀疏体素显式反投影采样输入特征图(投影 + 双线性插值),建立直接的像素↔3D 对应,而不是只靠注意力。多阶段 rectified-flow 级联(稀疏结构 → 形状 latent → PBR 纹理 latent),解出带 PBR 的 GLB 网格,可扩到多视图/场景。
相比 TRELLIS 的规范姿态 + 注意力条件,Pixal3D 用显式反投影把输入像素钉进体素 → 输入保真显著更高(Toys4K 上 IoU 93.6)。
关于 Pixal3D / TripoSplat 的引用诚实性 前沿 · 已二次核验
两者都是 2026 年的极新工作(SIGGRAPH 2026 投稿期),仍带 mustard 前沿 tag,但 arXiv ID 已对照官方摘要页核验:
Pixal3D = 2605.10922(标题、作者、像素反投影摘要均符);TripoSplat = 2605.16355,论文标题其实是 "Generative 3D Gaussians with Learned Density Control","TripoSplat" 是其项目 / 发布名。
一个值得记住的细节:Pixal3D 的论文分支基座是 Direct3D-S2,其代码仓 main 分支改进版才用 TRELLIS.2 基座——
所以它属于 TRELLIS 谱系 / 家族,而非 TRELLIS 本体。
§7.4原生 3DGS 生成 · 把"无序"结构化后再生成
原生网格生成相对容易(SDF 是空间上的单个连续函数)。原生3D 高斯生成难得多——它是
一组无序、数目可变、属性尺度跨好几个量级的原语。于是几乎所有方法都先把高斯"结构化",再扩散。
GaussianCube / GVGEN / DiffGS / L3DG— 把高斯搬上规则格 / 体积 / 函数 / 压缩 latent
3DGS 在空间上无组织,没法直接上标准卷积/扩散网络。
关键想法:GaussianCube 用最优传输把固定数量高斯搬到规则体素格 → 跑 3D U-Net 扩散;GVGEN 排成 GaussianVolume + 先扩 GDF 骨架;DiffGS 把 3DGS 表示成三个连续函数(概率/颜色/变换)再扩散,可任意数量采样;L3DG 用稀疏卷积 VQ-VAE 压成 latent 再扩散。
共同主题——"先把无序高斯结构化(OT 到格 / 函数 / 压缩 latent),再扩散"。
TripoSplat— Generative 3D Gaussians with Learned Density Control
原生高斯生成需要可变、无序、数目任意的高斯;固定格法封顶细节、还浪费容量在空处。
关键想法:Density-Sampled Gaussians (DeG)——把高斯中心建模成一个八叉树上可学概率密度的采样("learned density control"),推理时能抽任意数量(最高 262,144)、按需权衡质量 vs 渲染代价;用 VecSeq(把 latent token 锚到确定性 Sobol 序列)治高斯的置换无序性。单图 → 3D 高斯。
相比 GaussianCube 的固定格,DeG 是无格、可变分辨率的高斯生成;和 TripoSG(VAST 的 vecset/mesh 分支)是同门的"原生高斯分支"。
§7.5部件级 / 组合生成 · 前沿方向
把资产从"一坨融合的 blob"变成可编辑、有结构、能拆件的对象,是结构化思想的自然延伸。
PartCrafter / HoloPart / PartGen— 组合潜变量 · 部件amodal补全 · 多视图部件生成
单一融合 mesh 不可编辑、不能单独动一个部件。
关键想法:PartCrafter 在组合潜变量里(每个部件一组解耦 latent token)+ 层次注意力,从一张图联合生成多个语义部件、还能补全被遮挡部件,无需预分割;HoloPart 定义 3D 部件amodal 分割(扩散补全被遮表面成完整部件);PartGen 用多视图扩散先分件再逐件重建。
从"生成一个不可分的形状"走向"生成带部件结构的资产"——通往可动、可编辑资产(见 Part IX 的 AniGen)。
场景一支的 MIDI(2412.03558,多实例扩散,一次性生成场景里所有物体并用多实例注意力建模相互关系)把这套组合思想抬到了场景尺度。
这一部的谱系 · 结构化 vs 非结构化
祖先(XCube 稀疏体素层级 / 3DTopia-XL 的 PrimX 原语)→ TRELLIS 的 SLAT(稀疏体素 + 局部 latent,一份解多格式)→ 2026 后继(Pixal3D 像素对齐)。
它和 Part VI 的 vecset 派 构成全领域的定义性分轴:结构化 = latent 有坐标(可编辑、可解多格式、按表面稀疏);非结构化 = 一袋向量(灵活、分辨率无关,但难定位/编辑)。
原生 3DGS 生成(GaussianCube/DiffGS/TripoSplat)多半是"先结构化无序高斯、再扩散"的工程。下一部,回到"能用"二字——干净拓扑与材质。