逐资产优化太慢,且只能做特定类别。
关键想法:一个 5 亿参数的 transformer,从 ~100 万物体里学"图像→3D"的映射,而不是逐个优化。DINO 编码图像 → image-to-triplane transformer(triplane token 对图像 token 做 cross-attention 取证据、彼此 self-attention 保 3D 一致)→ triplane-NeRF。
把"逐场景拟合"替换成"一次大规模训练 + 一次前向"——5 秒内出 3D。
SDS 逐资产优化、多视图还要跑采样循环。LRM 更狠:一个大 transformer,一次前向, 直接把一张(或几张)图映射成 3D 表示。代价从"每个资产推理时优化"挪到了"一次性大规模训练"(Objaverse)。 主攻 痛点 (d) 速度。按输出表示分三代:triplane-NeRF → Gaussian → 直出 mesh。
逐资产优化太慢,且只能做特定类别。
关键想法:一个 5 亿参数的 transformer,从 ~100 万物体里学"图像→3D"的映射,而不是逐个优化。DINO 编码图像 → image-to-triplane transformer(triplane token 对图像 token 做 cross-attention 取证据、彼此 self-attention 保 3D 一致)→ triplane-NeRF。
把"逐场景拟合"替换成"一次大规模训练 + 一次前向"——5 秒内出 3D。
triplane 用三张 2D 特征平面(XY/XZ/YZ)表示一个 3D 场。查询任意点 $x$:投影到三平面、各双线性采一个特征、求和,喂一个小 MLP 出密度+颜色——比稠密体素省($3R^2$ vs $R^3$)又保留空间结构。 LRM 把三平面的格子当成一串 triplane token(初始化为可学 embedding),让它们 cross-attend 图像 token 拉证据、又 self-attend 保一致。Demo 6 让你拖一个点,看它在三平面上采样、求和、过 MLP。
开源 LRM 还不够快、不够好用。
关键想法:重做数据 / 通道 / 训练细节后的 LRM,单图 <0.5 秒出 mesh,MIT 协议开源——把前馈重建推成了人人能用的基线。
同样的 triplane-NeRF LRM 配方,工程化到亚秒级 + 完全开源。
这一代还有 OpenLRM(开源复现)、Instant3D(文本→4 视图→triplane LRM,来自 Part IV)、 DMV3D(2311.09217,把 LRM 放进扩散去噪器里——生成与重建合一,这是通往原生扩散的第一座桥)、 PF-LRM(pose-free,联合估位姿)。
triplane-NeRF 渲染慢、容量受限。2024 年这一代把输出换成 像素对齐的 3D 高斯,延迟砍到 ~0.1–0.2 秒。
triplane-NeRF 是速度/质量瓶颈。
关键想法:从多视图直接预测每像素一个 3D 高斯。LGM 用高吞吐非对称 U-Net;GRM 用纯 transformer(4 视图 ~0.1s);GS-LRM 把 patch 化的图像 token 直接解码成每像素高斯参数(0.23s),还能上场景尺度。
把 LRM 的输出从 triplane-NeRF 换成 3DGS——更快、能渲实时、能处理场景。
同代还有 Splatter Image(2312.13150,单图 U-Net 每像素一个高斯,38 FPS)、 GeoLRM(几何感知、稀疏锚点 + 可变形 cross-attention)、Long-LRM(Mamba2+transformer 吃 32 张高分辨率视图做大场景)。 注意 pixelSplat / MVSplat 架构同源但目标是真实场景的新视角合成(不是 Objaverse 物体生成)——细节在隔壁 Feedforward 3DGS 站。
NeRF/高斯输出还得后处理才成 mesh,且不水密、无 UV(痛点 d 的"能用")。
关键想法:把可微取面(FlexiCubes / DiffMC,见 §1.3)烤进 LRM,端到端用 mesh 渲染 loss 训练,直出水密网格。InstantMesh 用多视图扩散出 6 视图 → sparse-view LRM + FlexiCubes(~10s);MeshLRM 内嵌 DiffMC(4 视图 <1s);CRM 用卷积 U-Net 出正交三视图→triplane→FlexiCubes。
输出从隐式场/高斯换成直出水密 mesh——省掉后处理,朝生产管线靠了一大步。
还有 MeshFormer(稀疏体素特征 + 3D 卷积 + 法线监督,8 卡可训)、 SF3D(2408.00653,TripoSR 后继:快速 UV 展开 + 材质预测 + 去光照,~0.5s 出引擎可用资产)。 注意"去光照 / 材质"这件事——它是 Part VIII 的主题。
快:LRM 把所有优化/采样都摊进了权重——推理就是一次前向,无优化循环、无迭代采样(GS-LRM 0.23s、GRM ~0.1s、TripoSR ~0.5s)。 糊:LRM 是个用重建(L2/LPIPS)loss 训练的确定性回归器,对看不见的区域只能预测"期望外观"。单图输入的背面是高度歧义的,于是网络对所有合理补全求平均 → 背面糊、发白、几何含糊,还偏向 Objaverse 那种合成、简单的物体。
按输出表示分三代:triplane-NeRF(LRM/TripoSR)→ Gaussian(LGM/GRM/GS-LRM)→ 直出 mesh(InstantMesh/MeshLRM/SF3D)。 "确定性回归 → 背面糊"这个软肋,正是原生 3D 扩散的动机:与其回归一个平均,不如从学到的分布里采样一个锐利、合理的补全。 关键在于——LRM 的两样遗产(大 transformer 骨干 + Objaverse 规模训练)被原生扩散原样继承,只是外面套上了一个生成式扩散过程。 DMV3D(§5.1)就是那座桥。下一部,主角登场。