HubPart VII · 结构化潜变量
Part VII · 结构化潜变量 · 稀疏体素 & 原生高斯 · 2024 → 2026

latent 到底"有没有坐标"?

上一部的 vecset 是无序的一袋向量。这一部是它的对立面:把 latent 钉在一个显式 3D 骨架(稀疏体素)上, 每个 token 都有坐标——可原地编辑、能用空间生成器、还能一份 latent 解出 mesh / 3DGS / 辐射场。 结构化 vs 非结构化 latent,是这个领域的定义性分轴。 本部还收了"把无序高斯结构化后再生成"(含你点名的 TripoSplat)和正在崛起的部件级生成。

§7.1祖先 · 体素层级与原语扩散

XCube / 3DTopia-XL— Sparse Voxel Hierarchies · Primitive (PrimX) Diffusion
CVPR 2024/2025 NVIDIA · 3DTopia · XCube 2312.03806 · 3DTopia-XL 2409.12957

想原生生成高分辨率、带材质的 3D,但稠密体素太贵(痛点 b)。

关键想法:XCube 在 稀疏体素层级(VDB)上做粗到细的潜变量扩散,前馈生成到 $1024^3$ 有效分辨率。3DTopia-XL 用 PrimX——把资产编码成 $N$ 个"原语",每个原语 = 3D 位置 + 尺度 + 一小块体素载荷(局部 SDF + albedo + 材质),整个物体成了一个紧凑、空间锚定的原语张量,跑 DiT。

相比 vecset 的"无坐标一袋向量",这里 latent 挂在显式 3D 结构上——这是 SLAT 的稀疏体素骨架的概念种子。

§7.2TRELLIS · 结构化 latent(SLAT)的集大成

TRELLIS— Structured 3D Latents for Scalable and Versatile 3D Generation
CVPR 2025 Spotlight Xiang et al. · Microsoft Research · arXiv:2412.01506 · project

以往生成器把你锁死在一种输出格式(mesh 或 NeRF 或高斯)和一个 decoder,难通用、难编辑。

关键想法:一个 Structured LATent (SLAT)——稀疏体素骨架 + 每个活跃体素一个局部 latent(局部 latent 来自把多视图 DINOv2 特征反投影聚合到体素上)。两阶段 rectified-flow:先采结构(哪些体素活跃),再采局部 latent。一份 SLAT 用三个小 decoder 分别解出 mesh / 3DGS / 辐射场。最高 2B 参数,~50 万物体。

相比 vecset(无坐标、单 decoder、单格式),SLAT 有坐标、可原地编辑、一份 latent 解多种格式——结构化派的奠基之作。

SLAT 详解 · 一份 latent 为什么能解多种格式

SLAT 两层:(1) 结构——只有与表面相交的体素"活跃"(稀疏占据格,内存随表面积而非体积涨); (2) 局部 latent——从多视图渲染里抽 DINOv2 特征、反投影聚合到每个活跃体素,编码局部几何+外观。 既然 latent 钉在一个共享 3D 空间里,就能训一个重的生成先验、摊给所有下游格式:mesh 进引擎、3DGS 实时渲、RF 做视图合成——而且三者天然互相一致(同一份 latent 解出来的)。还能局部编辑(只改一块体素的 latent),这是单格式模型给不了的。

Demo 8 · 结构化 vs 非结构化 latent
左 = 结构化(SLAT):latent 钉在稀疏体素上,每个都有坐标,所以能"只编辑右半边这些体素"(点按钮看高亮)。 右 = 非结构化(vecset):一袋无坐标、置换不变的向量——灵活,但你没法"编辑这个角",因为根本没有角。 这就是贯穿 Part VI/VII 的那条分轴。

§7.3Pixal3D · 像素对齐的 TRELLIS 谱系后继

Pixal3D— Pixel-Aligned 3D Generation from Images
SIGGRAPH 2026 · 2026.05 Li, Zhao, Chen, Hu, Guo, Zhang, Shan, Hu · Tencent ARC + 清华 · arXiv:2605.10922 · code

TRELLIS 类模型在规范姿态里生成、只靠 cross-attention 松散注入图像,导致几何与输入视角对不齐、丢像素级保真。

关键想法:在像素对齐空间里生成——每个稀疏体素显式反投影采样输入特征图(投影 + 双线性插值),建立直接的像素↔3D 对应,而不是只靠注意力。多阶段 rectified-flow 级联(稀疏结构 → 形状 latent → PBR 纹理 latent),解出带 PBR 的 GLB 网格,可扩到多视图/场景。

相比 TRELLIS 的规范姿态 + 注意力条件,Pixal3D 用显式反投影把输入像素钉进体素 → 输入保真显著更高(Toys4K 上 IoU 93.6)。

关于 Pixal3D / TripoSplat 的引用诚实性 前沿 · 已二次核验

两者都是 2026 年的极新工作(SIGGRAPH 2026 投稿期),仍带 mustard 前沿 tag,但 arXiv ID 已对照官方摘要页核验: Pixal3D = 2605.10922(标题、作者、像素反投影摘要均符);TripoSplat = 2605.16355论文标题其实是 "Generative 3D Gaussians with Learned Density Control","TripoSplat" 是其项目 / 发布名。 一个值得记住的细节:Pixal3D 的论文分支基座是 Direct3D-S2,其代码仓 main 分支改进版才用 TRELLIS.2 基座—— 所以它属于 TRELLIS 谱系 / 家族,而非 TRELLIS 本体。

§7.4原生 3DGS 生成 · 把"无序"结构化后再生成

原生网格生成相对容易(SDF 是空间上的单个连续函数)。原生3D 高斯生成难得多——它是 一组无序、数目可变、属性尺度跨好几个量级的原语。于是几乎所有方法都先把高斯"结构化",再扩散。

GaussianCube / GVGEN / DiffGS / L3DG— 把高斯搬上规则格 / 体积 / 函数 / 压缩 latent

3DGS 在空间上无组织,没法直接上标准卷积/扩散网络。

关键想法:GaussianCube 用最优传输把固定数量高斯搬到规则体素格 → 跑 3D U-Net 扩散;GVGEN 排成 GaussianVolume + 先扩 GDF 骨架;DiffGS 把 3DGS 表示成三个连续函数(概率/颜色/变换)再扩散,可任意数量采样;L3DG 用稀疏卷积 VQ-VAE 压成 latent 再扩散。

共同主题——"先把无序高斯结构化(OT 到格 / 函数 / 压缩 latent),再扩散"。

TripoSplat— Generative 3D Gaussians with Learned Density Control
SIGGRAPH 2026 · 2026.05 Yan et al. · 清华 IIIS + VAST(Tripo) · arXiv:2605.16355 · research

原生高斯生成需要可变、无序、数目任意的高斯;固定格法封顶细节、还浪费容量在空处。

关键想法Density-Sampled Gaussians (DeG)——把高斯中心建模成一个八叉树上可学概率密度的采样("learned density control"),推理时能抽任意数量(最高 262,144)、按需权衡质量 vs 渲染代价;用 VecSeq(把 latent token 锚到确定性 Sobol 序列)治高斯的置换无序性。单图 → 3D 高斯。

相比 GaussianCube 的固定格,DeG 是无格、可变分辨率的高斯生成;和 TripoSG(VAST 的 vecset/mesh 分支)是同门的"原生高斯分支"。

§7.5部件级 / 组合生成 · 前沿方向

把资产从"一坨融合的 blob"变成可编辑、有结构、能拆件的对象,是结构化思想的自然延伸。

PartCrafter / HoloPart / PartGen— 组合潜变量 · 部件amodal补全 · 多视图部件生成

单一融合 mesh 不可编辑、不能单独动一个部件。

关键想法:PartCrafter 在组合潜变量里(每个部件一组解耦 latent token)+ 层次注意力,从一张图联合生成多个语义部件、还能补全被遮挡部件,无需预分割;HoloPart 定义 3D 部件amodal 分割(扩散补全被遮表面成完整部件);PartGen 用多视图扩散先分件再逐件重建。

从"生成一个不可分的形状"走向"生成带部件结构的资产"——通往可动、可编辑资产(见 Part IX 的 AniGen)。

场景一支的 MIDI2412.03558,多实例扩散,一次性生成场景里所有物体并用多实例注意力建模相互关系)把这套组合思想抬到了场景尺度。

这一部的谱系 · 结构化 vs 非结构化

祖先(XCube 稀疏体素层级 / 3DTopia-XL 的 PrimX 原语)→ TRELLIS 的 SLAT(稀疏体素 + 局部 latent,一份解多格式)→ 2026 后继(Pixal3D 像素对齐)。 它和 Part VI 的 vecset 派 构成全领域的定义性分轴:结构化 = latent 有坐标(可编辑、可解多格式、按表面稀疏);非结构化 = 一袋向量(灵活、分辨率无关,但难定位/编辑)。 原生 3DGS 生成(GaussianCube/DiffGS/TripoSplat)多半是"先结构化无序高斯、再扩散"的工程。下一部,回到"能用"二字——干净拓扑与材质。