3D Gaussian Splatting · Relighting

一个 3D Gaussian primitive 总共带 59 个浮点：

• 位置 $\boldsymbol{\mu} \in \mathbb{R}^3$；
• 四元数 $\mathbf{q}$ + 缩放 $\mathbf{s}$（共同定义协方差 $\Sigma = R S S^\top R^\top$）；
• 不透明度 $o \in [0,1]$；
• SH 系数（degree 3：$16 \times \text{RGB} = 48$ 浮点）。

渲染流程：

1. 投影：把 3D 椭球投到 image plane，得 2D 椭圆—— $\Sigma' = J W \Sigma W^\top J^\top$（EWA splatting）；
2. tile-sort：屏幕分 $16 \times 16$ tile，每个 tile 收集投到自己头上的 Gaussian、按深度排序；
3. $\alpha$-blending： $$ C = \sum_i T_i\, \alpha_i\, c_i,\ \ T_i = \prod_{j \lt i}(1 - \alpha_j) $$ $$ \alpha_i = o_i \cdot \exp\!\left(-\tfrac{1}{2}(\mathbf{p}-\boldsymbol{\mu}_i')^\top \Sigma_i'^{-1}(\mathbf{p}-\boldsymbol{\mu}_i')\right) $$ $$ c_i = \text{SH}(\omega_o;\,\{c_\ell^m\}_i) $$

问题：$c_i = \text{SH}(\omega_o)$ 这个表达式里，什么光照下捕的就烤进什么。 没有法线、没有 BRDF、没有 incident light——所有这些在那 48 个 SH 系数里揉成一锅。

后续所有 relighting 工作的目标都是：把 $c_i$ 换成"物理 shading 表达式"， 让 $c_i = f(\mathbf{n}_i, \rho_i, \alpha_i, m_i, \omega_o, L_i, V_i)$。

Vanilla 3DGS 的 SH 颜色对反光物体（车漆、瓷器、金属球）束手无策——SH 是低频的， 映不出锐高光；同时也没有 BRDF / envmap 概念，无法 relight。

关键想法：每个 Gaussian 多带 (法线 $\mathbf{n}_i$, diffuse $\rho_i$, specular tint $\rho^s_i$, roughness $r_i$)。 颜色变成：

$\mathcal{E}$ 是一个可学的 envmap，在反射方向上按 roughness 做 mip filtering。 没有 Fresnel / metallic / 阴影 / 间接光——故意简化。

最重要的第二个想法：3D Gaussian 的最短主轴 $\mathbf{v}_3$ 应该近似垂直于表面。 引入一条 "normal consistency loss" $\mathcal{L}_{\rm normal} = \sum_i (1 - \mathbf{n}_i \cdot \mathbf{n}^g_i)^2$， 把shading normal 和geometric normal 拉齐。 这个 trick 后来被 GS-IR、GIR、3DGS-DR 大量复用——是 3DGS 法线问题的奠基答案。

第一个真正在 3DGS 上做 BRDF 分解的工作。比 Ref-NeRF 快 $\sim\!40\times$（30 min vs 23 h）， 在 Shiny-Blender 上 +1.57 dB PSNR over vanilla。但没有阴影、没有金属/绝缘体区分、没有间接光。

GaussianShader 没阴影。R3DG 想要正经的 cast shadows——这需要"对每个表面点、 往光源发射 shadow ray、看是否被场景里其他点遮挡"。

关键想法：每个 Gaussian 多带 9-元组 $\{\boldsymbol{\mu}, \mathbf{q}, \mathbf{s}, o, c, \mathbf{n}, \mathbf{b}, r, \mathbf{l}\}$—— 标准属性 + 法线 + albedo + roughness + per-Gaussian 间接光 SH。直接光由全局 $16 \times 32$ envmap 提供。 shading 时数值积分渲染方程（64 个 Fibonacci 采样方向），每个方向上：

最关键的 $V_i(\omega_k)$ 是可见性——靠在 Gaussian 点云上建 BVH、tracing shadow ray 烤出来。 两阶段训练：先 30k 步 fit 几何 + 法线，然后冻结几何 + 烤一次 visibility， 再 10k 步优化材质和光。"烤一次"是 R3DG 的核心 trick——shadow ray 太贵跑不起每一步， 但几何稳定后烤一次可以用很久。

第一个在 3DGS 上得到硬阴影的工作。两阶段训练 + per-Gaussian indirect SH 模板， 被后面 GS-IR、GIR、IRGS 沿用。代价：BVH 烤可见性是静态几何假设，动态场景失效。

R3DG 烤 visibility 用 BVH，每次几何变化要重烤。能不能用更轻的方式估遮挡？

关键想法：用 Unreal Engine 2014 的 split-sum 把 BRDF $\times$ envmap 积分拆成两个独立查表：

并用稀疏 SH 体素探针替代 BVH 烤可见性：场景里撒 $64^3$ 探针， 每个探针处渲 6 张 depth cubemap → 阈值化 → 投到 SH (degree 2, 9 系数) → 存到稀疏体素。 shading 时查最近探针、当前方向求 SH → $V_i$。 法线来自 depth-gradient 伪法线监督。

与 R3DG 同月发表、同样目标，visibility 解决方案不同：BVH 精确 vs SH 探针快、低频。 GS-IR 的 split-sum 模板成为大多数 PBR-内嵌后续工作（GIR、SVG-IR、RTR-GS、Ref-Gaussian）的标准做法。

GaussianShader 用"最短轴 = 法线"——但椭球有两个方向（$+$ 和 $-$），符号歧义没人解决。

关键想法：引入 directional masking 正则—— 所有可见 Gaussian 的最短轴必须与视方向形成钝角（朝向相机）。 免费的几何监督，不需要外部法线数据。 + 一个体素缓存的间接光、低分辨率 envmap + FCN 上采样。

把"GaussianShader 的 trick"修正到位。比 R3DG 的 BVH RT 快，比 GS-IR 的 SH 探针精细一档。

先声明：Spec-Gaussian 只能在训练光照下做 NVS，不能换 envmap。 但它出现在 relighting 综述里，是因为它定义的 Anisotropic Spherical Gaussian (ASG) 基 后来被大量 relighting 工作（RGCA、Ref-GS）借用。

两个主轴方向上 $\lambda \ne \mu$ 是关键——能表达椭圆形高光（拉丝金属、油漆）。 SH 永远是各向同性的圆斑——表达不了这个。

SH → ASG 是 3DGS 外观表达的一次小革命，奠定了"用更精巧的基替代 SH"这条思路。

反射难做的根源：想要正确法线得先看到正确反射、想要正确反射得先有正确法线。 GaussianShader 这种 forward shading（每个 Gaussian 单独算颜色再 $\alpha$-blend） 陷在这个死循环里——尤其镜面物体上失败。

关键想法：把 shading 从 splat-time 推迟到 pixel-time（deferred）。

1. splat 阶段：每个 Gaussian 只贡献 base color、normal、reflection strength 三张属性 buffer；
2. shading 阶段：在每个像素上，算反射方向 $\omega_r = \text{reflect}(\omega_o, N(p))$， 查 envmap $\mathcal{E}(\omega_r)$，合成 $C(p) = C_b(p) + \beta(p)\cdot \mathcal{E}(\omega_r)$。

第一个 3DGS 方法处理真正镜面反射（汽车、金属球），250 FPS、45 min 训练 on 4090。 没有 Fresnel / 阴影 / 二次反射——纯反射模型。"deferred shading 让法线共享梯度" 成为后续所有 deferred GS 工作的奠基洞察。

与 3DGS-DR 同月。差别：法线从一个共同训练的 SDF 蒸馏， splat 阶段输出 (法线, 纹理, 位置) 而非 base color——纹理和光照完全解耦， 支持后期 albedo / envmap 编辑。代价：要联合训 SDF，比 3DGS-DR 更重。

3DGS-DR 追求"反射能学就行"；DeferredGS 追求"编辑性"。

关键想法：把 3DGS-DR 的 deferred + GS-IR 的 split-sum + IRGS 的 inter-reflection 缝合到一起，但 inter-reflection只 1 次——折中。

1. 2DGS splat 出 G-buffer (normal/albedo/roughness/metallic/depth)；
2. 对每个像素做 split-sum 算 diffuse + specular envmap shading；
3. 对反射强的像素（高 metallic / 低 roughness）沿反射方向发一条 ray， 读命中 2DGS 的颜色作为额外入射光。

1 次反弹拿到 90% 视觉效果，渲染 ~30 FPS（介于 3DGS-DR 250 FPS 与 IRGS 1 FPS 之间）。 "镜中镜"还是失败，但"杯子映出桌上花瓶"这种典型场景 OK。

关键想法：deferred 2DGS shading 中， 用 spherical Mip-grid 替代 per-pixel MLP 做方向编码—— 采样的 mip level = $\log(\text{roughness})$，自然支持粗糙度自适应。 着色 = 几何特征 $\otimes$ 光特征（外积），不要 MLP，更快。

比 Ref-Gaussian 的 split-sum 更直接、比 NeRF-style directional MLP 更快。 解开了"orientation vs viewing"的混淆——2024 GS specular 方法常见的失败模式。

deferred PBR 之上加一个学习的方向残差 head，cleanup split-sum 漏掉的高频细节； envmap 用多 mip cubemap 做正确的 roughness 预过滤。

hybrid：低频 diffuse 走 forward radiance transfer（每 Gaussian SH 内积）， 高频 specular 走 deferred reflection。两套互补。

抑制单分支方法的 "SH-overfit floater"——比 GS-IR 和 GShader 在反射 benchmark 上稳定。

3D 椭球是"体"不是"面"——三个主轴长度差不多时最短轴不稳定，符号歧义；$\alpha$-blend 时多椭球重叠让"表面位置在哪"也糊。 NVS 不致命，IR 致命。

关键想法：把 splat 退化为 3D 空间中朝向自由的 2D 圆盘（surfel）。 每个 disc 有位置、两个切向量 (定义平面)、缩放、opacity、外观—— 法线就是切向量叉乘，唯一、无歧义。 渲染从 EWA splatting 改为 ray-disc 求交（解一次方程）。

正则：

• Depth distortion loss：鼓励一条 ray 上 disc 聚集在窄深度范围；
• Normal consistency loss：渲染深度差分出的法线 = disc 几何法线。

2025 年起，几乎所有新 3DGS IR 工作都基于 2DGS：IRGS、Ref-Gaussian、Ref-GS、 SVG-IR、RGS-DR、RTR-GS、GS-ROR²、GUS-IR、ROS-GS、RadiosityGS、RadioGS。 2DGS 是 IR 的事实标准基元。

关键想法：联合训练 3DGS 和 Neural SDF——SDF 给 GS 提供干净的法线 / 深度， GS 的 photometric loss 反过来监督 SDF 表面位置。SDF-aware pruning 砍掉远离 zero level set 的 floater。 200+ FPS 镜面物体 relighting，训练时间是 NeRF-PBR 的 25%。

"联合训表面 + Gaussian" 模板的代表作。比纯 2DGS 更准，但训练复杂度高一档。

更激进：从 GS 抽 mesh（TSDF + marching cubes），把 PBR 参数 bake 到顶点 / 纹理， 用 nvdiffrec-风格 differentiable rasterization 做 IR。 渲染回到标准 GL pipeline——下游工具友好，但失去 GS 灵活性。

关键想法：标准 3DGS 每个 splat 涂一层均匀材质——浪费表达力。 SVG-IR 在每个 2DGS 内部插入虚拟"顶点"，每个顶点带自己的 BRDF + 法线， splat 时插值这些顶点（类似 mesh 顶点着色）。

+3.5 dB PSNR over GS-IR on NeRF-synthetic IR benchmark。代价：每 Gaussian 参数变多、内存上升。

关键想法：高 roughness 和低 roughness 物体用同一个着色路径—— Mip-级别预过滤的 split-sum，按 roughness 自动挑 mip。 + SDF 监督的法线一致性 + 多尺度 Gabor 几何先验。

Ref-Gaussian 对反射像素特判，GUS-IR 不需要——一套公式覆盖整个 roughness 范围。

Splat-$\alpha$-blending 没法做次级光线——阴影 ray、反射 ray、折射 ray。 这些都是 ray tracing 的 bread and butter，但 3D Gaussian 是无限延伸（exp 永不为 0）， 不能直接 ray-trace。

关键想法：把每个 Gaussian 用一个 tight 多面体（8/20 面）包住其 99% 等高面， 让 NVIDIA OptiX / RT Cores 做 ray-triangle 求交，求交后在 Gaussian 内部解析算 $\alpha$。

一旦你有 RT，3DGS 突然能做：fisheye / 广角相机、rolling shutter、运动模糊、景深、 反射、折射、阴影 ray、递归全局光照。这些splatting 全部做不到。

不是 relighting 方法本身，是基础设施——以后所有 RT-based relighting 工作 (IRGS、GaRe、RadioGS、TransparentGS) 都站在它肩上。

关键想法：EWA splatting 用线性化 Jacobian投 3D 椭球到 2D，对非线性相机（fisheye）失效。 3DGUT 用 Unscented Transform——经典 Kalman filter trick—— 用 sigma-points 数值传播协方差，不依赖线性化。

与 3DGRT 组合成 3DGRUT：primary ray 用 splatting（快），secondary ray 用 3DGRT（精确）。 NVIDIA 当前默认 GS pipeline。

所有 PBR-内嵌 / deferred 方法都用 envmap 表入射光——这是远场假设，"近场 / 相互反射"完全错。 镜中镜、彩色墙在白瓶上的染色（color bleeding）等，都是 inter-reflection。

关键想法：在 2DGS 上做 differentiable Monte-Carlo ray tracing。 每个 primary hit 点上，往四面八方真发 ray， 找命中的另一个 2DGS、读它的出射 radiance、作为这条方向上的入射光：

这是渲染方程的 Neumann 级数展开——理论上无限反弹，实践中 1-2 次。 2DGS 的 ray-disc 求交是精确的（不像 3DGS 椭球求交是近似），所以梯度也是干净的。

第一个让 GS 处理 "镜中镜" / color bleeding 的工作。代价：训练 2-3 小时、渲染 ~1 FPS。 IRGS++ 在 2026 把它加速 $50\times$。

三件事：(1) Multiple Importance Sampling 把 ray 数压下来； (2) Cross-bilateral filter 在 MC 估计后做去噪； (3) 用 mesh proxy 替代 ray-Gaussian 求交——一根 ray 一次 ray-triangle 测试，而不是百次 ray-Gaussian。 $50\times$ 提速 + 对低 gloss 物体也鲁棒。

IRGS 思想正确但太慢。IRGS++ 让它进入可用 区间——2026 multi-bounce 全局光照的实用选择。

关键想法：每个 Gaussian 维护两个 radiance—— 一个是学到的 view-dependent radiance（NVS 用）， 一个是PBR-rendered radiance（由 BRDF + 当前光照算出）。 在每个 Gaussian 上施加 radiometric consistency loss： 两个值必须一致。

把 NVS-only 和 IR-only 之间的鸿沟缝起来——relighting 时用 PBR，重训只要微调几分钟即换 envmap。

捕获侧的 trick：把物体旋转拍 2-3 次（光照、相机不动）—— 同一表面在不同姿态下被同一光照打，"albedo vs 烤进去的阴影"的 ambiguity 自动解开（类似 photometric stereo）。 用 2DGS proxy mesh 做 ray tracing 反推材质。

其他方法解模型侧，RotLight 解数据侧——给 IR 喂更优良的约束。

关键想法：经典 radiosity 方程（diffuse-only GI 的闭式解）

其中 $K$ 是 Gaussian surfel 之间的 form-factor / visibility 矩阵，$E$ 是发射，$\rho$ 是 reflectance。 RadiosityGS 把它移植到 Gaussian surfels：处理"非二值可见性"（surfel 是半透的）的扩展， 在 SH 系数空间内闭式求解。view-independent → 视角换免费、光换便宜。

Monte Carlo (IRGS) vs 闭式求解 (RadiosityGS)——后者无噪声、可微、但 SH 频带限制了高光精细度。 2025 最优雅的 GI 工作。

显式 GI 分解 + deferred shading 的早期工作（2024.10）。

三套 Gaussian：spatial（位置）、angular（外观角度）、shadow（光空间 shadow splatting）。 专门为 OLAT-style point light relighting 训练——可以换 point light 位置，而不只是 envmap。

人脸 relighting 比静物难：几何随表情动、皮肤有 SSS、眼睛近镜面、头发各向异性、要 VR 实时。

架构：Codec Avatar——表情 latent $z_t$（~256 维）+ UV 坐标 → MLP 解码出该位置的 Gaussian 参数。 外观模型：

• Diffuse：每个 Gaussian 存 9 个 SH 系数，与入射光 envmap SH 做系数内积 （Sloan 2002 的 radiance transfer）；
• Specular：每个 Gaussian 存 $K$ 个 SG lobe，查 envmap 预过滤值再加和。SG 表全频高光远胜 SH。
• 眼睛单独建模（角膜近镜面、不能用脸部 Gaussian 表）。

训练数据：Light Stage / OLAT——同一受试者在数百已知光源下的多视角图像。relighting 监督的金本位。

第一个工业级 3DGS dynamic relightable 人脸；30+ FPS VR；亚毫米级毛孔；任意 envmap 重光照。 后续 URAvatar / RFGCA / GSHeadRelight / RelightAnyone 都是它的演化。

RGCA 需要 Light Stage——成本高。URAvatar 把它换成 identity prior： 在数百个 OLAT 个体上预训练，新用户只需手机扫描，几秒就能得到 relightable head。 不估 BRDF（太歧义）—— 直接 learn radiance transfer。

RGCA 只做头。全身有非局部 pose-conditioned 阴影——例如手臂抬起来在躯干上投出的阴影。 per-Gaussian local transport 处理不了这种"全局拓扑变化"。 RFGCA 加一个shadow network，给定 body pose → 预测每个 Gaussian 被身体其他部分挡多少光。

关键：抛弃 OLAT，从单目 video 反推 per-Gaussian PBR (albedo, roughness, normal)。 准确度比 RGCA 低，但可访问性大幅提升——任何手机都能拍。

在 generative 3DGS head（如 GGHead）上加 relighting：每个 Gaussian 学一个 线性 lighting operator——输入 HDRI 的 SH 系数、输出该 Gaussian 颜色。 in-the-wild 2D 图像即可训练，无 OLAT。$12\times$ 快于 RGCA、240 FPS。

feed-forward（无 per-subject 训练）relightable 全身 GS。 输入稀疏多视角 → "Lighting-aware Geometry Refinement" + "Physically Grounded Neural Rendering" 两阶段 → 输出 relightable 3DGS。 合成 AO/直接光/间接光 maps 做监督。

两阶段训练。 阶段 1：在大量 non-OLAT 多视角数据上学 flat-lit → relightable mapping（per-dataset learnable lighting code 做自监督光照对齐）。 阶段 2：用少量 OLAT 数据微调让 mapping 物理一致。 单张 in-the-wild 照片 → relightable head，no OLAT capture per subject。

每根头发用一连串极各向异性（cylindrical）的 Gaussian 表达， 支持各向异性高光 + strand-level scattering。Vanilla 3DGS 的 isotropic blob 表达不了头发。

Cloth simulation + relightable Gaussian——衣物在动态下仍可 relight。

NeRF-W 风格 → 3DGS。每个 Gaussian 多两个 feature：intrinsic（与光无关的"身份"）+ dynamic（随光照/天气）。 per-image latent $z_t$ + 小 MLP 解码颜色。+ 2D visibility mask 屏蔽 transient 物体（路人、车）。 不是物理 relighting——只是 appearance interpolation。

平行思路：DINOv2 robust features 找 transient occluder + per-image + per-Gaussian embedding → small MLP → 每个 Gaussian 的 affine color transform。保持 explicit GS 表达。

第一个在 unconstrained outdoor 照片上做真 envmap relighting 的工作。 基于 2DGS + 每张图联合优化一个 envmap，训完后换 envmap 真能换光。 但没有显式 sun / sky 分解。

最严肃的户外物理 relighter。

• Sun：方向光，per-image 可优化方向；hard shadow 用 2DGS RT 算；
• Sky：低频 envmap (SH)；
• Indirect：1-bounce 估计；
• + intrinsic image decomposition 前端 → albedo 监督。

测试时可改变太阳方向 / 时刻——重新算 cast shadow，得到时间序列。 GS-W / WildGaussians 这种 appearance interpolation 做不到。

比 GaRe 轻：不要 IID 前端。Sun = SG lobe（高频），Sky = SH transfer（低频）； Mesh-based intersection 算阴影（不用 RT）。

关键想法：场景显式拆 foreground (PBR Gaussian) + sky (emitter-only Gaussian)。 天空 Gaussian 不做 PBR、只发光——前景把它当远场入射光。 解决 LumiGauss / GaRe "天空被错当成反射物体"的伪影。 NeRF-OSR SOTA。

Vanilla 3DGS 看不见透明物体后面的东西——splatting 没有折射。酒杯、镜片完全无法重建。

关键想法：透明 Gaussian primitive + deferred refraction： 在折射界面处按 Snell's law 弯 ray、查 GaussProbe（远场 + 近场 light field）+ IterQuery 迭代视差校正得到折射颜色。

第一个 3DGS 能渲染玻璃、酒杯、透镜的工作。单一 IOR 假设；多层折射 / caustics 仍未解。

专攻"不是镜子但很亮"的中间材质——抛光塑料、瓷器、抛光金属。 Ref-Gaussian 偏向纯镜面、GaussianShader 偏向漫反射，glossy 中间地带常被忽视。

关键想法：每个 Gaussian 不止 BRDF——加一个learnable dipole-based scattering coefficient。 Dipole 是经典 BSSRDF 近似（Jensen 2001），能闭式表达光"钻进皮肤再从邻近点出来"的过程。

第一个 3DGS 处理次表面散射的工作。这对皮肤、蜡、玉、大理石、奶白塑料是必需的。 Saito 等人后续的 RGCA-style avatar 工作大概率会沿用这条路线。

关键想法：每个 Gaussian 存 SH 系数在两个方向上——入射方向和出射方向（双向 SH）。 渲染 = 入射光 SH $\times$ 存的 BSH $\times$ 出射方向 SH 的内积。不需要法线—— 天然适合 fuzzy / 半透 / SSS-like 材质（毛皮、蜡、玉）。

GaussianShader / R3DG 强制法线——对半透材质错。BiGS 不需要——但只能低频，无锐镜面。

Vanilla 3DGS 假设"接近表面"——对 fog / smoke / clouds 这种体积散射媒质失败。 这一支引入 volumetric extinction 模型：DehazeGS 联合训 scene + 雾透射图； SmokeSeer 做烟雾移除 + 后面物体重建； "Don't Splat"论文用 ray-traced volumetric primitive 完全替代 splatting。

per-scene 优化 IR 都要几十分钟到几小时。LRM 已能前馈从几张图出 NeRF/GS， 能不能把 relightable 也做成 1 秒前馈？

架构：两个 transformer。 (1) 几何重建——image tokens + pose embedding → coarse 3DGS； (2) relightable appearance generator (diffusion)—— 几何 + 目标 envmap embedding + 噪声 $\epsilon$ → 每个 Gaussian 的 relit 颜色。

4-8 张图 + envmap → 1 秒 relightable GS。换 envmap 再跑 appearance head 一次 → 又 1 秒。 训练域是合成 Objaverse 物体——对复杂场景泛化差。

一个视频 diffusion (Cosmos / SVD 家族) 同时做两件事：

• Inverse：RGB video → G-buffer video (normal/albedo/roughness/metallic/depth)；
• Forward：G-buffer + envmap → 重光照 RGB video。

不是 3DGS 方法，但是几乎所有 3DGS-relighting pipeline 的外部老师—— 供 GS 工作做 G-buffer 监督或合成多光照训练数据。

DiffusionRenderer 的极简版——一个 diffusion model 直接 "input video + 目标 envmap → relit video"， 不显式产生 G-buffer。论点：分两步会丢信息，端到端更准。

ControlNet-风格 2D diffusion：(input image, target lighting) → relit image。 单图非常 work，但3D 一致性差——对一个物体的不同视角分别跑结果不自洽。

类似 IC-Light，但条件用显式 envmap（不是文字）。更适合给 3DGS pipeline 当教师。

不训新模型，把现成组件串起来：LVLM 解析用户文字（"加左侧暖光"）→ 提取光照参数； 现成 depth/normal 估计器算每个 GS 视角的 G-buffer； IC-Light 按 G-buffer 一致地 condition 生成 multi-view relit 图； 用这些图重新 fit 一个 GS。整流程 ~6 分钟、零训练。

4-6 视角下 GS-IR 全崩——视角太少压不住欠定。GAINS 用 monocular depth/normal + intrinsic-image-decomp + diffusion 三种先验同时压。

单图 → relightable splats + PBR maps，通过一个轻量 adapter 嫁接到冻结的 2D diffusion model 的 decoder。

室内稀疏视角，dense semantic-Gaussian scaffold 稳住优化 + envmap + per-Gaussian SG lobe + 去阴影模块。

单张 LDR 照片 → HDR 3DGS光源资产，可插入第三方渲染器作 spatially-varying illumination。 比传统 HDR estimator（输出 envmap）多了"位置感"——光源不再只是远场方向。

问题重定义：以前所有 IR 都假设场景静态。 LumiMotion 论点：动态反而帮助 IR—— 同一表面在不同时刻被看到，姿态变了但光不变； "暗是因为 albedo 暗 vs. 暗是因为在阴影"的 ambiguity 在多个姿态下不再 ambiguous。

报告 albedo +23% LPIPS gain over static baselines。 2026 最有创意的工作之一——把动态从"麻烦"变成"额外信息"。

没有学术新意，但是 3DGS-relighting 第一次进入实际 VFX pipeline。 工程指标：<5 GB VRAM、<2h 训练、~35 FPS 渲染。 Per-Gaussian (albedo, roughness, metallic)、HDR envmap、deferred shading + split-sum + 预过滤 cubemap。

地位类似 NeRFstudio 之于 NeRF——把研究路径打包成工业可部署的东西。