← 回到 Learn 合集

一份图解长文综述 · 1988 — 2026

把表面写成一个场
——如何用局部基元优雅地拼出全局连续函数

3DGS 把场景拆成一堆各自飘着的高斯团;它在局部很好用,但放眼全局,它 其实是一个破碎的函数——一锅彼此独立、按视角顺序混合的 不透明度 blob,处处不连续、不闭合、没有统一语义。另一头,单一的 neural SDF 倒是给了你一个全局连续场,却把它压进一个没有结构、 没有局部性、没有层级的黑箱 MLP 里。

本文要问的,是介于这两者之间、却被现代 3DV 忽略的一整片数学: 能不能既保留局部基元的可控、可编辑、可自适应,又得到一个全局 连续、光滑、有层级、有集合语义的标量场?答案藏在四十年前的 图形学与逼近论里——单位分解、MLS、RBF、Poisson、R-函数、小波—— 而它们今天正以神经场和高斯前沿的名义悄悄回归。

预设读者:会基本的 NeRF、SDF、机器学习、微积分、线性代数。不会这里 任何一个名词都没关系——我们从零讲起,每个概念都配图、配方程,必要 时配交互 demo 和代码。

~48 篇论文 / 想法 · 4 个交互演示 · 最后更新 2026-06-01

阅读路径建议

(1) 零基础:从 §1 顺读到 §4,先把"等值面 + 单位分解" 这个主方程刻进脑子,再进入各家族。
(2) 已经懂 SDF / 3DGS:直接从 §5 单位分解开始,把它当 作贯穿全文的"母模式",沿着九个家族看每条路线如何拼装全局场。
(3) 只想看最新的:跳到 §27 Factor Fields(把现代神经场 一网打尽的大一统),再到第九部 §30–§34 看 2024–2026 高斯如何"变回场"。

§1等值面,与那个根本张力

先把舞台搭好。本文里的"表面"始终是某个连续标量函数 $F:\mathbb{R}^3\to\mathbb{R}$ 的等值面(level set)

$$ S=\{\,x\in\mathbb{R}^3 \mid F(x)=0\,\} $$

$F$ 在表面一侧为负(内部)、另一侧为正(外部),$F=0$ 处就是那张皮。 这就是 SDF(signed distance function,$F$ 还额外满足 $|\nabla F|=1$)和占据 场(occupancy)背后共同的"隐式表面"视角。和显式表示(三角网格、点云、 高斯团)相比,隐式场的好处是:拓扑自由(一个函数自动表达 任意形状、洞、分裂),处处可求值、可微,并且天然定义了 "内 / 外"。

关键想法 · 一句话

整篇文章只在回答一个问题:$F$ 到底怎么"造"出来?—— 不是单个全局 MLP,不是一堆散装高斯的相加,而是一个有层级、有组合代数、 有局部支撑、又有全局封闭语义的连续标量场。"造法"比"它叫不叫 SDF"重要得多。

现在看两种极端的"造法",它们正好是本文要超越的两个失败模式:

失败模式一:单一全局 MLP(neural SDF 的原罪)

DeepSDF / NeuS 这类把 $F(x)=\text{MLP}_\theta(x)$ 写成一个大网络。它确实是 全局连续的,但代价是:所有空间位置都纠缠在同一组权重里—— 你没法只编辑鼻子而不动耳朵;查询一个点要跑整张网;没有天然的 level-of-detail;也没有"这块是那块的并集 / 差集"这种几何语义。全局性是 真的,但结构是零

失败模式二:一堆散装基元的相加(3DGS 的原罪)

3DGS 把不透明度场写成各向异性高斯的叠加 $\sigma(x)=\sum_i\alpha_i G_i(x)$, 渲染时按视角从前往后 alpha 合成。注意两件要命的事:这些权重不归一 ($\sum_i$ 不等于 1),而且合成结果依赖排序、依赖视角。于是 全局看,它不是一个良定义、视角无关的标量场——基元与基元之间的空隙里函数 塌向 0,等值面破碎、外扩、不闭合。这正是"全局是一个破碎的函数"的精确技术 含义。

本文的全部内容,就是这两个极端之间那条被忽视的中间道路: 用局部基元,但用有数学结构的方式把它们装配成一个全局连续场。

§2主方程,与单位分解

把目标写成一个统一的抽象。我们想要的 $F$ 形如:

$$ F(x)=\mathcal{A}\Big(F_{\text{coarse}}(x),\;\{f_{\ell i}(x),\,w_{\ell i}(x)\}_{\ell,i}\Big) $$

其中 $F_{\text{coarse}}$ 给全局轮廓,$f_{\ell i}$ 是不同尺度 $\ell$ 上的 局部专家 / 局部基函数,$w_{\ell i}$ 是连续的权重或 support, $\mathcal{A}$ 是组合规则。整篇综述就是一张"$\mathcal{A}$ 的 分类表":每个家族都是 $\mathcal{A}$ 的一种选择,而它们的优劣,全在于这个 组合规则比"把一堆点加起来"多了多少数学结构

最朴素、也最重要的一个 $\mathcal{A}$,叫单位分解(partition of unity, PoU)。它要求一组权重 $\varphi_i$ 满足:

$$ F(x)=\sum_i \varphi_i(x)\,f_i(x),\qquad \sum_i \varphi_i(x)\equiv 1,\quad \varphi_i(x)\ge 0 $$

把这个和 3DGS 的式子并排放——差别只在那个分母:

$$ \underbrace{\sum_i \alpha_i G_i(x)}_{\text{3DGS:不归一的和}}\qquad\text{vs.}\qquad \underbrace{F(x)=\frac{\sum_i W_i(x)\,f_i(x)}{\sum_i W_i(x)}}_{\text{PoU:归一的加权平均}} $$

归一,是一切的分水岭。左边是"每个点各喷一点",空隙里塌向 0;右边是局部 专家们的一次加权平均,无论多少基元、它们的局部意见多么不一致, 结果都是处处良定义的。

为什么单位分解能"免费"买到全局光滑

把约束 $\sum_i\varphi_i\equiv 1$ 两边求梯度,得到 $\sum_i\nabla\varphi_i\equiv 0$。 这意味着:在任何两个基元的重叠区,权重的梯度项互相抵消—— 局部专家之间的"缝"被自动缝合,不会留下折痕。于是只要每个 $\varphi_i$ 是 $C^k$ 的、且任一点附近只有有限个非零,那么 $F=\sum_i\varphi_i f_i$ 作为 有限个 $C^k$ 函数之积的和,必然是 $C^k$ 的——跟局部 $f_i$ 们彼此是否 一致毫无关系。光滑性是你通过权重"买"来的,不是从数据里硬抠出来的。 把这句话刻在脑子里:它是后面一半论文的共同内核。

四个变量,逐个看

记号含义常见取法
$f_i(x)$第 $i$ 个局部专家:它说"在我这一带,表面长这样"局部平面 $n_i\!\cdot\!(x-\mu_i)$、局部二次曲面、局部 SDF、小 MLP
$W_i(x)$局部权重 / support:第 $i$ 个专家"管得到"的范围高斯 $e^{-\|x-\mu_i\|^2/2\sigma^2}$、Wendland 紧支撑核、三线性插值帽函数
$\varphi_i=\dfrac{W_i}{\sum_j W_j}$归一后的单位分解权重Shepard 权、自然邻坐标、调和坐标
$\ell$尺度 / 层级:粗层给轮廓,细层给残差细节八叉树层、B 样条 / 小波层、多分辨哈希层

记住一个"经验数字":一个局部二次曲面专家只要 ~10 个参数(中心、法向、两个 主曲率),就能在它的 support 里把表面拟合到很高精度。用对了组合规则, 几百到几千个这样的小专家就能拼出一个完整物体——这就是后面所有方法 在跟"几百万个散装高斯"较劲的底气。

Demo 1 · 散点求和 vs 单位分解
每个青色点是一个局部基元:中心 $\mu_i$、一个向外的法向 $n_i$(短线),它的局部 意见是平面 $f_i(x)=n_i\!\cdot\!(x-\mu_i)$。橙线是当前场的零等值线。先拖动 任意基元、加几个基元,再取消勾选"单位分解"切到散点求和——你会看到归一 的版本始终是一条闭合光滑的曲线,而不归一的求和在基元空隙里塌陷、零线破碎外扩。 这就是"破碎的全局函数",肉眼可见。

§3为什么"结构化局部装配"两头通吃

把三种造法摆上台面比一比。注意最后一列才是本文的主角。

维度单一 neural SDF3DGS(散装基元)结构化局部装配
全局连续场有(但黑箱)没有(破碎、视角相关)(归一 / 全局解)
局部性 / 可编辑没有(权重纠缠)有(删点即编辑)(局部 support)
层级 / LoD没有弱(要外挂八叉树)天然(粗+细残差)
集合语义(并/交/差)没有没有(R-函数 / FRep)
单点查询成本整张网前向邻域基元求和邻域 + 解(可稀疏)
逼近阶 / 光滑性保证无解析保证$C^0$、有缝$C^k$/$C^\infty$ 可证

一句话:单一 MLP 全局却无结构,散点基元有局部却破碎;结构化局部 装配同时拿到"全局连续 + 局部可控 + 层级 + 语义"这四样东西。下面这段 教学伪代码,把"主方程"的一次前向求值走一遍——它就是 Demo 1 背后的全部数学。

核心前向 · 教学伪代码

# 给定一组局部基元,求全局场 F 在某点 x 的值。
# 每个基元 = (中心 mu, 单位法向 n, support 半径 sigma)。
# 这就是 MPU / IMLS 共同的骨架:局部专家 + 单位分解。

def global_field(x, primitives, normalize=True):
    num = 0.0     # 分子:加权的局部意见之和
    den = 0.0     # 分母:权重之和(归一项)
    for (mu, n, sigma) in primitives:
        d = x - mu
        W = exp(-dot(d, d) / (2 * sigma**2))   # 高斯局部权重 W_i(x)
        f = dot(n, d)                          # 局部平面专家 f_i(x)=n·(x-mu)
        num += W * f
        den += W
    if normalize:
        return num / (den + 1e-9)   # 单位分解:处处良定义、光滑、闭合
    else:
        return num                  # 散装求和:空隙塌向 0 → 破碎

# 表面 = {x : global_field(x) == 0},用 marching cubes 抠出来即可。

§4四个痛点(贯穿全文的坐标轴)

下面把"散装基元 vs 单一黑箱"的所有麻烦,归成四个痛点。之后每 一篇论文,我都会标注它主要在解哪一个 (a)/(b)/(c)/(d)。这四个字母就是你 在脑子里给这片领域建坐标系的轴。

痛点 (a) · 破碎 Fragmentation

一堆局部 blob 的相加,全局看是个坑坑洼洼、不闭合、无语义的函数。我们要的是 一个良定义、视角无关、闭合的标量场。(单位分解、Poisson、核 方法都在治这个。)

痛点 (b) · 散装 / 黑箱

要么基元各自为政、彼此不知道对方存在(3DGS);要么所有信息糊在一个全局网络 里、谁也分不开(neural SDF)。我们要的是局部专家既各管一摊、又能优雅 地汇成全局。(MLS、局部特征隐式场、混合专家在治这个。)

痛点 (c) · 缝 Seams & 连续性

把局部片硬拼起来,接缝处往往只有 $C^0$(折痕、法向跳变)。$\min/\max$ 做并集 也是这毛病。我们要的是从局部片可证地拼出全局 $C^k$ 光滑。 (单位分解的 $\sum\nabla\varphi_i=0$、R-函数、smooth-min 在治这个。)

痛点 (d) · 没有层级 No LoD

扁平的表示给不出"先全局轮廓、再局部细节",没法压缩、没法 coarse-to-fine 优化、 没法按距离选细节。我们要的是一种能自动展开的内部层级: $F=F_0+\sum_\ell(\text{残差}_\ell)$。(多层 B 样条、小波、八叉树特征、尺度空间 在治这个。)

把四个痛点连起来

它们其实是同一件事的四个侧面:如何让"局部"和"全局"在数学上和解。 (a) 是全局性,(b) 是局部性,(c) 是两者的接缝,(d) 是两者之间的尺度阶梯。接下来 的九个家族,就是九种不同的和解方案。

§5PUFEM · 单位分解的母定理

既然单位分解是后面一半方法的内核,就先看它最干净的源头。这是一篇有限元 论文,但它给的是一条对整片领域都成立的"保证书"。

PUFEM — The Partition of Unity Finite Element Method: Basic Theory and Applications
CMAME 1996 Melenk & Babuška · ETH / Texas · doi:10.1016/S0045-7825(96)01087-0

痛点 (b)(c):怎么把一堆"局部该长什么样"的先验,拼成一个全局、可证收敛的函数空间。

关键想法:给定区域的一个覆盖 $\{\Omega_i\}$ 和从属于它的单位 分解 $\{\varphi_i\}$($\operatorname{supp}\varphi_i\subseteq\Omega_i$、 $\sum_i\varphi_i\equiv 1$),再给每个 patch 配一个局部逼近空间 $V_i$(多项式、 甚至把已知的解的行为"塞"进去的特殊函数),那么全局空间就是 $V=\sum_i\varphi_i V_i$,全局函数 $u(x)=\sum_i\varphi_i(x)u_i(x)$。论文证明: 全局逼近误差是局部误差的简单叠加,全局光滑性继承自权重 $\varphi_i$ 的 光滑性。这就是"局部拟合 + 光滑混合"为什么可证有效的母定理。

把有限元从"绑死在网格节点多项式"解放成"任意局部先验 + 光滑混合",比全局基函数更适应局部复杂行为。

§6MPU implicits · 图形学里的主力

MPU — Multi-level Partition of Unity Implicits
SIGGRAPH 2003 Ohtake, Belyaev, Alexa, Turk, Seidel · MPI · doi:10.1145/882262.882293 · pdf

痛点 (a)(b)(d):海量点云上,既要全局光滑场,又要局部细节、还要能自适应分辨率。

关键想法:全局隐式场就是局部拟合的单位分解混合 $$F(x)=\frac{\sum_i w_i(x)\,Q_i(x)}{\sum_i w_i(x)}=\sum_i\varphi_i(x)\,Q_i(x),$$ 其中 $w_i$ 是带 support 球的光滑权重,$Q_i$ 是局部分片二次曲面 (一般二次、双变量二次、或专门处理边/角的两片函数)。一棵八叉树 按局部拟合误差 $\varepsilon$ 自适应细分:哪里复杂就分到哪里,天然 LoD。因为 $\{\varphi_i\}$ 是光滑单位分解,无论局部二次面们怎么打架,$F$ 都和权重一样光滑。

vs 全局 RBF/MLS:把"局部逼近"和"全局混合"彻底解耦,于是能吃超大点集、能 error-控制、还能保住被光滑洗掉的尖锐边角。

直觉 · MPU 就是 3DGS 的"场函数版"

把 MPU 和 3DGS 并排:3DGS 是 $\sum_i\alpha_i G_i(x)$,高斯只是个不透明度 blob; MPU 是 $\sum_i\varphi_i(x)Q_i(x)$,每个高斯般的 support 里装着一个局部几何 专家 $Q_i$,而且权重归一。换句话说——如果你把 3DGS 的每个高斯从"喷一团雾" 升级成"携带一个局部 SDF 二次面",再把求和换成归一加权平均,你得到的就是 MPU。 本文后面很多"前沿"工作,本质都在重走这一步。

§7MLS / Point Set Surfaces · 点不是面,投影才是面

单位分解是"先有局部专家、再混合"。Moving Least Squares(MLS)给了另一种更深的 视角:点云只是约束,真正的表面是一个投影算子的不动点——根本不用 存面,面是被"算"出来的。

MLS(逼近论根基) — The Approximation Power of Moving Least Squares
Math. Comp. 1998 David Levin · Tel Aviv · doi:10.1090/S0025-5718-98-00974-0

痛点 (b)(c):散乱采样上,如何得到高阶、且可证光滑的局部拟合。

关键想法:在每个查询点 $x$,都现解一个带权最小二乘, 用邻域样本拟合一个 $m$ 次多项式 $p_x$: $$\min_{p\in\Pi_m}\sum_i\theta(\|x-x_i\|)\,\big(p(x_i)-f_i\big)^2,$$ 近似值就是 $\mathcal{M}f(x)=p_x(x)$。Levin 证明它能复现 $m$ 次多项式、误差 $O(h^{m+1})$,而且只要权核 $\theta\in C^\infty$,整个 $\mathcal{M}f$ 就是 $C^\infty$——虽然它处处是"局部"拟合。

把临时凑数的"局部平滑"升级成有可证收敛阶、可证光滑的逼近算子。

Point Set Surfaces — Point Set Surfaces / Computing and Rendering Point Set Surfaces
IEEE VIS 2001 / TVCG 2003 Alexa, Behr, Cohen-Or, Fleishman, Levin, Silva · doi:10.1109/TVCG.2003.1175093

痛点 (a)(b):点云能不能不靠网格、直接当成一张光滑流形来用?

关键想法:把表面定义成 MLS 投影算子的不动点集 $S=\{x:\Psi(x)=x\}$。投影 $\Psi$ 两步走:先在 $x$ 附近找一个局部参考平面,再在 该平面上做带权多项式拟合并投影回去。所得曲面 $C^\infty$,并支持按表面误差做点的 重采样(增/删点来控制精度)。点不是终点——所有局部拟合算子共同定义出的零 水平集 / 不动点,才是面

vs 存网格或存点:第一次把"无连接的点集"立为一等公民的曲面表示,并给出重采样与 splat 渲染的完整管线。

为什么 MLS 能做到高阶 / $C^\infty$

两件事叠在一起。其一,多项式复现:拟合 $m$ 次多项式,会强制误差的 前 $m{+}1$ 阶 Taylor 项归零,于是精度 $O(h^{m+1})$。其二,光滑全靠权核: 当 $x$ 移动时,正规方程的解随 $\theta$ 一样平滑地变化,$\theta\in C^\infty\Rightarrow$ 整个映射 $x\mapsto p_x(x)$ 是 $C^\infty$。注意这和单位分解的逻辑同源——光滑性都 是从权核继承的,不是逼局部拟合彼此一致逼出来的

§8IMLS · APSS · 把 MLS 写成一个隐式场

IMLS — Provably Good Moving Least Squares
SODA 2005 / TALG 2008 Ravikrishna Kolluri · UC Berkeley · doi:10.1145/1361192.1361195

痛点 (a)(c):能不能跳过 MLS 那个非线性投影,直接写出一个隐式场,还带拓扑正确性保证?

关键想法:把面直接定义成"每点到其切平面的带符号距离"的归一加权平均—— 一个干净的单位分解隐式场: $$F(x)=\frac{\sum_i\theta(\|x-x_i\|)\,\big(n_i\cdot(x-x_i)\big)}{\sum_i\theta(\|x-x_i\|)},$$ 面就是 $\{F=0\}$。在 $\varepsilon$-采样条件下,Kolluri 证明 $F$ 逼近真 SDF,且其零集与真表面同伦(拓扑等价)。注意这个式子正是 Demo 1 里跑的那个。

vs Point Set Surfaces 的非线性投影:换成一次成型的隐式场,并首次给出 MLS 重建的拓扑正确性保证。

APSS — Algebraic Point Set Surfaces
SIGGRAPH 2007 Guennebaud & Gross · ETH Zürich · doi:10.1145/1276377.1276406

痛点 (b):平面型 MLS 在高曲率、稀疏、带噪处会退化。

关键想法:把局部拟合的平面换成代数球面 $u_0+u_{1..3}\!\cdot x+u_4\|x\|^2=0$,用带权最小二乘(位置+法向)拟合。球面能 抓住曲率,于是在高曲率和稀疏采样下远比平面 MLS 稳,梯度也更乖。

vs 平面 MLS / Point Set Surfaces:换更高阶的局部基元(球面而非平面),鲁棒性与稳定性大幅提升,闭式快算。

§9变分隐式面 · 让"最光滑"自己挑出全局场

单位分解和 MLS 都需要你手写组合规则。变分 / RBF 这条线换了个 思路:你只定义一个能量,然后让"满足所有局部约束里最光滑的那个 函数"自动成为全局场。组合规则不是设计出来的,是变分变出来的。

Variational Implicits — Modelling with Implicit Surfaces that Interpolate
ACM TOG 2002 Greg Turk & James O'Brien · Georgia Tech / UC Berkeley · doi:10.1145/571647.571650 · pdf

痛点 (a)(c):从稀疏约束(面上=0、内外=±1)造一个精确插值、且全局最光滑的场。

关键想法:在所有满足约束 $f(c_j)=h_j$ 的函数里,挑使 薄板 / 弯曲能量 $E=\int\|\nabla^2 f\|^2\,dx$ 最小的那个。它的 Euler–Lagrange 解恰好是一个 RBF 展开 $$f(x)=\sum_j\lambda_j\,\phi(\|x-c_j\|)+P(x),$$ 其中 $\phi(r)=r^3$(三维薄板)或 $r^2\log r$(二维),$P$ 是低次多项式;系数 $\lambda_j$ 与 $P$ 由一个全局线性系统解出(外加 $\sum\lambda_j=0$ 等正交条件)。

把表面重建和形状变换统一到一个变分原理下——稀疏约束 + 全局光滑 + 任意拓扑。

§10多调和 RBF · 把脏扫描补成水密实体

Carr et al. RBF — Reconstruction and Representation of 3D Objects with Radial Basis Functions
SIGGRAPH 2001 Carr, Beatson, Cherrie, Mitchell, Fright, McCallum, Evans · doi:10.1145/383259.383266

痛点 (a):带洞、带噪、不完整的真实扫描,要补成一个水密的解析实体。

关键想法:拟合一个全局多调和样条 $s(x)=\sum_{i}\lambda_i\,\phi(\|x-x_i\|)+p(x)$($\phi(r)=r$ 或 $r^3$),面上点约束 为 0、沿法向放的"离面点"约束为 $\pm$ 距离(避免 $s\equiv 0$ 的平凡解)。工程上靠 快速多极子(FMM)+ 贪心中心精简把稠密 $N\times N$ 系统压到能在几十 万点上解。

vs 局部拼接:把全局变分 RBF 第一次做到能补洞、修网格的工业规模。

最深的一个"为什么":薄板样条 = 最小弯曲能量 = 双调和算子的 Green 函数

最小化 $\int\|\nabla^2 f\|^2$ 加插值约束,其 Euler–Lagrange 方程在数据点之外是 $\Delta^2 f=0$、在数据点上是 $\Delta^2 f=\sum_j\lambda_j\delta_{c_j}$。而双调和算子 $\Delta^2$ 在三维的基本解(Green 函数)正比于 $|x|$(二维是 $|x|^2\log|x|$)—— 这恰好就是多调和 RBF 的核。所以 RBF 求和 $\sum_j\lambda_j\phi(\|x-c_j\|)$ 字面上就是一堆"双调和点响应"的叠加,系数 $\lambda_j$ 是把一张无限薄板压着穿过 数据、且总曲率最小所需的"力"。多项式项 $P$ 张成能量的零空间(仿射函数不产生弯曲)。 这是整篇综述里最优雅的一条数学,也是对"单一黑箱 MLP"最锋利的反衬——RBF 的每个 系数都有清清楚楚的能量解释。

§11紧支撑 RBF · 像高斯一样局部,但服务于零集场

你喜欢高斯的可微局部性,又不想要 3DGS 那种散装不透明度?紧支撑 RBF(CSRBF) 正好:核在某半径外恒为 0,于是稠密系统变稀疏、编辑变局部,但拼出来的仍是一个 受全局约束的隐式零集场。

CSRBF — Interpolating Implicit Surfaces from Scattered Data Using Compactly Supported RBFs
SMI 2001 Morse, Yoo, Rheingans, Chen, Subramanian · doi:10.1109/SMA.2001.923379

痛点 (a)(b):全局 RBF 的稠密矩阵贵,且改一点要重解全局。

关键想法:把核换成 Wendland 紧支撑核,例如 $\phi(r)=(1-r)_+^4(4r+1)$,半径外恒 0。插值矩阵于是稀疏带状,能用 稀疏线代求解,编辑也只影响局部。Wendland 1995 的核是"在给定维度、给定光滑度 $C^{2k}$ 下次数最低的正定紧支撑多项式",保证矩阵可逆。

vs 全局薄板 RBF:稠密 → 稀疏、全局 → 可局部编辑(代价是远程补洞能力变弱)。

Multi-scale CSRBF · Walder 全局正则 — Multi-scale CSRBF (Ohtake–Belyaev–Seidel 2003) · Globally Regularised Basis of Compact Support (Walder–Schölkopf–Chapelle 2006)
SMI 2003 / EG 2006 Ohtake, Belyaev, Seidel · Walder, Schölkopf, Chapelle · pdf

痛点 (a)(d):紧支撑省事,但丢了全局 RBF 的补洞 / 全局光滑能力,怎么把两者都拿回来?

关键想法:两条路。Ohtake 做由粗到细的多尺度残差: 每层用一个支撑半径递减的 CSRBF 去修上一层的残差 $f=\sum_k f_k$,粗层补洞、细层 加细节。Walder 则把拟合写成 RKHS 里的正则回归 $\sum_j(f(x_j)-y_j)^2+\gamma\|f\|_\mathcal{H}^2$, 用一个频域定义的正则子,让紧支撑核也能有全局光滑插值的行为,并明确 指出它等价于一个改了协方差的高斯过程

vs 单尺度 CSRBF:用层级 / 全局正则,把"近局部成本"和"全局质量"同时拿到,并第一次把 CSRBF ⇄ GP 这座桥摆明。

§12GPIS · RBF = 薄板样条 = 高斯过程,三位一体

GPIS — Gaussian Process Implicit Surfaces
GP workshop 2006 Oliver Williams & Andrew Fitzgibbon · Microsoft Research · MSR page workshop · 无 DOI

痛点 (a):RBF 给了你一张面,但没告诉你"它有多确定"——主动感知 / 抓取急需不确定性。

关键想法:把隐式场建成一个高斯过程 $f\sim\mathcal{GP}(\mu,k)$,用约束(面上=0、内外=±)做条件。后验均值 的零集给表面,后验方差给"面到底在哪"的标定不确定性。而且只要把协方差 $k$ 取成薄板样条的正则子,GP 后验均值就恰好等于 Turk–O'Brien / Carr 的 RBF 重建。

vs 确定性 RBF/MLS:把重建重写成贝叶斯推断,白送一份不确定性(和学超参的路子)。

三个名字,同一个东西

把这条等式链记牢,它是本部的高潮:
(1) 变分:最小弯曲能量 $\Rightarrow$ 薄板样条。
(2) 核:那个极小元是一个 RBF 求和,核 = 能量算子的 Green 函数。
(3) 贝叶斯:协方差取成那个 Green 函数的 GP,其后验均值 = 同一个样条。
所以"最小弯曲能量""RBF 插值""GP 后验均值"是同一个估计量的三种说法 (RKHS 里的惩罚似然 MAP 与 GP 后验均值本就相等)——GP 只是额外多送你一个后验协方差。 对比一下单一 neural SDF:它拟合一个全局非线性函数,没有任何闭式能量 解释。这就是"老数学"比"黑箱"优雅的地方。

Demo 4 · 点是约束,不是表面
青点是面上的约束点。勾选 RBF 时,程序现解一个小线性系统,求一组权重让 $f(x)=\sum_j w_j\,\phi(\|x-c_j\|)$ 在所有点上为 0、在内部锚点为负—— 橙线(零集)是解出来的,不是画出来的;拖动任一点,整张面瞬间重解。 取消勾选切到"散点高斯":每点喷一个 blob,它们的并集凹凸、没有统一零线——这正是 把"点当成表面"而非"点当成约束"的代价。

§13Poisson 重建 · 不混合,而是一次性全局解

到目前为止的方法多少都在"局部混合"。Poisson 这条线最"全局封装":局部样本不直接 拼成面,而是先变成一个向量场 / 约束场,再通过一个偏微分方程解出一个 全局标量场。它的哲学和前面所有方法都不同。

Poisson / Screened Poisson — Poisson Surface Reconstruction (2006) · Screened Poisson Surface Reconstruction (2013)
SGP 2006 / TOG 2013 Kazhdan, Bolitho, Hoppe · Kazhdan & Hoppe · pdf SGP Test-of-Time

痛点 (a)(c):带噪的有向点,如何造一个全局一致、对噪声鲁棒、无需启发式分区的水密面。

关键想法:把法向看成指示函数 $\chi$(内 1 外 0)的梯度样本。 由法向造一个光滑向量场 $V$,再解 Poisson 方程 $$\Delta\chi=\nabla\!\cdot V\qquad\big(\text{等价于 }\min\textstyle\int\|\nabla\chi-V\|^2\big),$$ 面就是 $\{\chi=\tau\}$。$\chi$ 用八叉树上的局部支撑 B 样条展开,PDE 于是变成一个稀疏、良态的线性系统。Screened 版本再加一项把 $\chi$ 在输入点上钉住 $+\sum_j\lambda\,\chi(p_j)^2$,找回被过度光滑掉的细节,并给出线性时间多重网格求解。

vs RBF / 局部混合:一次性"考虑所有点",无需任何空间分区或逐区混合权,对噪声极鲁棒。

"一次性考虑所有点"到底什么意思

局部混合问的是:"在这个点附近,邻居样本怎么说?"——噪声会就地传播。Poisson 问的 是完全不同的问题:"存在哪一个全局一致的函数,它的梯度场最接近大家 一起投的票?"那个 $\nabla\!\cdot$ 和椭圆算子把每一个样本通过方程耦合到所有 其他样本,于是噪声被平均掉、而不是被传播。这就是为什么对同样脏的数据, Poisson 往往比逐点拼接干净得多。把这一点对应回 3DGS:与其把高斯当不透明度 blob, 不如把它当局部法向源 / 通量基元 $V(x)=\sum_i\alpha_i K_i(x)n_i$,再解 一次 $\Delta\chi=\nabla\!\cdot V$——散点就被一个 PDE 封装成了全局一致的指示场。

§14Shape As Points · 把全局解变成可微的一层

SAP / DPSR — Shape As Points: A Differentiable Poisson Solver
NeurIPS 2021 Peng, Jiang, Liao, Niemeyer, Pollefeys, Geiger · ETH / MPI · arXiv:2106.03452 · project

痛点 (a)(b):Poisson 是一次性前向解,能不能让"有向点"成为可被梯度优化的参数?

关键想法:把 Poisson 重写成谱(FFT)形式,于是整个求解 器可微、且 GPU 极快:把有向点栅格化成法向场 $\to$ FFT $\to$ 频域里 $\hat\chi(\omega)=\dfrac{-\,i\,\omega\cdot\hat V(\omega)}{\|\omega\|^2}$ 一步解出 $\to$ 逆 FFT 得指示场 $\to$ 抠网格。因为每步可微,一个表面损失(如到网格的 Chamfer 距离)的梯度能一路流回到点的位置和法向,让它们成为自由优化变量。

vs 经典 Poisson 的一次性前向:把全局解做成可微模块,于是"对 PDE 的输入做梯度下降"成为可能——显式点 ⇄ 隐式指示 ⇄ 显式网格被打通。

SAP 是连接"老数学"与"现代可微优化"的那根轴

它取了 §13 的"一次全局解",把它做成一层可微算子——于是你可以用输出表面的梯度,去 优化全局 PDE 的输入。那个 FFT 技巧是关键:它让全局解便宜到能在训练循环里被调用上千 次。这是本文里"经典思想 → 可微 3DV"最干净的一个范例,也预告了第八、九部里大量"老 重建术被重新可微化"的工作。

§15小波流式重建 · 用局部多分辨基拆指示函数

Streaming Wavelet Recon — Streaming Surface Reconstruction Using Wavelets
SGP 2008 Manson, Petrova, Schaefer · Texas A&M · pdf

痛点 (a)(d):海量 / 流式点云,没法把整套数据塞进内存做全局解。

关键想法:和 Poisson 同一个目标(重建指示函数 $\chi$),但把 $\chi$ 展成小波基 $\chi(x)=\sum_{j,k}c_{jk}\psi_{jk}(x)$。关键事实:一个小波系数 是 $\chi$ 对基函数的局部积分 $c=\int\chi\,\psi$,借散度定理可化为只对其 支撑内输入点的面积分——于是每个系数可以独立、增量地算出来。读点一次、累加系数、永 不持有全数据,流式 / out-of-core,常数内存。

vs Poisson 的全局线性解:小波的正交 + 局部性让系数彼此解耦、可增量算,省掉全局系统、支持流式与天然 LoD。

§16多层 B 样条 / T 样条 · 那个"可展开的内部层级"

你想要"自动可展开的内部层级表达"?这条线就是它的经典原型。基本形如:

$$ F_L(x)=F_0(x)+\sum_{\ell=1}^{L}\sum_i c_{\ell i}\,\psi_{\ell i}(x) $$

$F_0$ 是低频全局形状,高层 $\ell$ 是局部高频残差。这比一堆无层级的高斯优雅太多—— 它天然有 LoD、压缩、coarse-to-fine 优化、和局部编辑。

MBA — Scattered Data Interpolation with Multilevel B-Splines
IEEE TVCG 1997 Lee, Wolberg, Shin · doi:10.1109/2945.620490

痛点 (c)(d):一张粗格保不住细节、一张细格丢了光滑,怎么两者兼得。

关键想法:用一串由粗到细的控制格 $\Omega_0\subset\Omega_1\subset\cdots$; 每层用双三次 B 样条去拟合上一层留下的残差,于是 $F=\sum_k f_k$,结果 $C^2$ 连续。B 样条的细化还能把这串和"塌缩"成一张等价的细 B 样条。

vs 单张控制格:用层级叠加,同时拿到粗层的光滑和细层的保真。

H-splines · T-splines — Hierarchical B-Spline Refinement (1988) · T-splines and T-NURCCs (2003)
SIGGRAPH 1988 / 2003 Forsey & Bartels · Sederberg, Zheng, Bakenov, Nasri · doi:10.1145/882262.882295

痛点 (d):张量积样条的细化是"全局传播"的——想加一点局部细节,得插入一整行控制点。

关键想法:Forsey–Bartels 的层级 B 样条用"overlay"——只在需要处做局部 细分,细节以相对父层的偏移存储,于是动整体形状时细节的相对关系不变。Sederberg 的 T 样条更进一步:控制网允许 T-junction,一行控制点可以 在局部"中止",从而支持真正的局部细化,并能把不同 knot 向量的面无缝缝合(gap-free)。

vs NURBS 的全局行/列细化:T-junction 让控制点只在该细的地方插入,第一次让"局部细化"对样条成立。

为什么层级基"免费"给你 LoD + 压缩 + 自适应

$F=F_0+\sum_\ell(\text{残差}_\ell)$ 和 Laplacian 金字塔 / 小波是同一个想法,只是换成 B 样条基:粗层扛全局形状,细层扛局部细节。于是三件好事自动到手——(i) LoD: 截断求和即降细节;(ii) 压缩:远离特征处的细层系数几乎全是 0;(iii) 自适应:只在残差大的地方花控制点(这正是 T-junction 的动机)。这就是 "可自动展开的内部层级"的数学骨架。

Demo 3 · 层级展开:粗轮廓 + 局部残差
虚线是目标形状("真表面"),实线是当前用前 $L$ 层基函数重建的结果。把滑块从 0 拉到 5:$L=0$ 时只有全局轮廓(一个低频闭合曲线),每加一层就在局部叠一层更高 频的残差,RMS 误差随之下降。这就是 $F=F_0+\sum_\ell$ 残差的"内部层级展开",也是 LoD 和 coarse-to-fine 优化的来历。

§17尺度空间 · 把 LoD 升级成一条连续的尺度维度

更抽象、也更迷人的一招:把表示从 $F(x)$ 扩展成 $F(x,s)$,多一个连续的尺度 维度 $s$。粗尺度是全局轮廓,细尺度逐渐展开局部细节——LoD 不再是八叉树里几个离散分辨率, 而是 field 的一个连续尺度族

Scale-space — Scale-space theory (Koenderink 1984 · Lindeberg 综述)
经典 Koenderink · Lindeberg 理论背景,非单篇 3DV 论文

痛点 (d):层级若只是离散几层分辨率,尺度之间不连续、也无原理保证。

关键想法:经典尺度空间理论里,高斯平滑 / 扩散方程是多尺度表示的核心。 Koenderink 证明了高斯平滑对尺度空间表示的必要性,其"因果性"条件要求 尺度变粗时不能凭空产生新的局部结构 / 等值面。写成 PDE 就是 $$\partial_s F(x,s)=\Delta F(x,s),$$ 或反过来建模细节残差 $F(x,s-\Delta s)=F(x,s)+R_s(x)$。

vs 离散 LoD:把"层级"提升成一条连续、且有因果性保证的尺度轴,与小波 / B 样条结合即得到非常自然的 coarse-to-fine 隐式场。

这个 $F(x,s)$ 的视角,会在第八部以一个意想不到的现代化身回来——Mip-NeRF 的"积分位置 编码"本质上就是对神经场做高斯尺度空间(见 §29)。先记住这根线,到时候你会会心一笑。

§18R 函数 · 把"加一堆"升级成"连续函数代数"

这可能是最"别人没怎么想到能回流 3DV"的一条老路线。隐式场的组合,通常只会想到 $F=f+g$(无语义的相加)或 $F=\min(f,g),\max(f,g)$(有语义但只 $C^0$)。R 函数给的是 第三条路:把逻辑 / 集合运算换成实值函数运算,让并 / 交 / 差变成可控光滑的 连续函数组合。

R-functions — Semi-Analytic Geometry with R-Functions(理论源自 Rvachev)
Acta Numerica 2007 Vadim Shapiro(理论:V. L. Rvachev, 1960s–80s) · doi:10.1017/S096249290631001X 原始文献为俄文

痛点 (c)(d):$\min/\max$ 给对了集合,却在缝处只有 $C^0$(梯度有折痕)。

关键想法:R 函数是这样一种实函数——它的符号完全由参数的 符号决定,于是在离散符号集 $\{-,+\}$ 上它精确实现一个布尔函数,同时作为实映射又处处 光滑。并 / 交得到连续替身: $$f\vee g=f+g+\sqrt{f^2+g^2},\qquad f\wedge g=f+g-\sqrt{f^2+g^2},$$ ($R_0$ 系统;带参 $\alpha$ 的一族 $f+g\pm\sqrt{f^2+g^2-2\alpha fg}$ 可调融合度)。它们的 零集精确等于零集的布尔组合,但除"两参数同时为零"处外处处解析——于是你能规定 光滑度 $C^k$,而不是被迫接受 $C^0$。

vs $\min/\max$:给出同一个集合、却可规定光滑度的连续替身——于是 CSG 结果能进 PDE、能 meshing、能优化。

§19FRep · BlobTree · smin · 一棵可学习的场之树

FRep · BlobTree — Function Representation (Pasko 1995) · The BlobTree (Wyvill, Guy, Galin 1999)
Visual Computer 1995 / CGF 1999 Pasko, Adzhiev, Sourin, Savchenko · Wyvill, Guy, Galin · doi:10.1007/BF02464333

痛点 (b)(c):CSG 只能在固定基元上做刚性布尔树;soft blobby 又只会无脑相加。

关键想法:FRep 把实体定义成单个实函数 $f(x)\ge 0\Leftrightarrow x\in$ 实体, 其精髓是闭合性——集合运算(基于 R 函数)、blending、offset、sweep、warp、 笛卡尔积、变形,全是"实函数 → 实函数"的变换,于是任意组合后仍是一个可求值的 $f(x)$。 BlobTree 则把它组织成一棵树:叶子是骨架基元(各发一个势场 $f_i$),内部节点是算子—— blend(求和)、Boolean(min/max 或 R 函数)、warp(先变形查询点再下降)。求 $F(x)$ 就是 一次遍历。

vs CSG 树:把 blending 和 warping 提升为和 Boolean 平起平坐的树节点,让"软融合"和"硬切割"在一棵树里自由混合。

smooth-min(smin) — Smooth Minimum(Inigo Quilez,实践者参考)
web 2013/2024 Inigo Quilez · iquilezles.org/articles/smin 非同行评审

痛点 (c):硬 $\min$ 并集在缝处产生折痕 → 法向 / 着色 / meshing 全出问题。

关键想法:把硬并集 $\min(a,b)$ 换成光滑融合。多项式式: $h=\mathrm{clamp}(\tfrac12+\tfrac{a-b}{2k},0,1)$,$\mathrm{smin}=\mathrm{mix}(a,b,h)-k\,h(1-h)$; 指数式:$\mathrm{smin}=-\tfrac1k\log(e^{-ka}+e^{-kb})$。参数 $k$ 控制融合半径,$k\to0$ 回到硬 $\min$。这正是 R 函数 $\alpha$ 族的"demo 圈版本"。

vs 硬 min/max:用可调圆角缝合接缝;其指数形 $-\log\sum e^{-kf_i}$ 直接连到下面可学习 CSG 里用的 soft-max。

Demo 2 · 函数代数:min / smooth-min / R-function
两个圆是两个 SDF $f,g$;橙线是它们并集的零等值线,黄点标出两圆相交的"缝"。切换三个 算子、拖动滑块 k:$\min$ 在缝处留下尖角($C^0$ 折痕);smooth-min 把缝磨圆但丢了精确 并集;R-function 既光滑、又在远离缝处精确等于 $\min$(保住严格并集语义)。这就是"无脑相加" 和"有集合语义的连续函数代数"之间的差别。

§20可学习 CSG · 把函数代数交给梯度下降

上面这些组合规则,今天正被做成可微、可学习的版本:网络去发现"把形状拆成哪些 可组合基元、用什么布尔结构"。注意它们的 soft-max / soft-min 内核,正是 §19 指数 smin 的同一个 算子。

CvxNet · BSP-Net · CSG-Stump · UCSG-Net — 可学习凸分解 / 二叉空间剖分 / CSG-Stump / 无监督 CSG 树
CVPR/ICCV/NeurIPS 2020–21 Deng et al. · Chen et al. · Ren et al. · Kania et al. · CvxNet 1909.05736 · BSP-Net 1911.06971

痛点 (b)(c):能不能让网络自己把形状解析成一组可组合、可编辑、可解释的基元?

关键想法:CvxNet 把每个凸体写成学到的半空间的交(对半空间 SDF 取 soft-max), 形状是 $K$ 个凸体的 soft-min 并;指示函数与 SDF 都可微、端到端训练。BSP-Net 用一组学到的超平面 经交 → 并,镜像一棵 CSG/BSP 树,二值化后直接出带尖锐边的多边形网格。CSG-Stump 把任意深度的 CSG 树拍平成定深的"补 → 交 → 并"三层(可证与一般 CSG 等价),给网络一个定维输出。UCSG-Net 则无监督地同时学基元和布尔运算。

vs 手搓 CSG / FRep:把基元和组合结构都变成可微、可学习,于是从数据里"长出"一棵可解释、可编辑的场之树。

§21几何坐标 · 让权重由邻接结构而非手搓核来定

回到单位分解 $F=\sum_i\lambda_i(x)f_i(x)$。前面的权重 $\lambda_i$ 多半是手挑的高斯 / Wendland 核。这条被 3DV 忽略的线说:权重本身可以由几何(Voronoi、调和性、张角)算出来, 而不是每个基元自己飘着一个孤立核。

自然邻 · 重心 · 调和坐标 — Natural Neighbour Distance Functions (Boissonnat–Cazals 2002) · Mean Value Coordinates (Floater 2003) · Harmonic Coordinates (Joshi 2007)
CGTA 2002 / CAGD 2003 / SIGGRAPH 2007 Boissonnat & Cazals · Floater · Joshi, Meyer, DeRose, Green, Sanocki · NNI doi · MVC doi

痛点 (b)(c):手挑核的带宽是个超参;能不能让"局部 / 全局关系"由空间邻接结构自然决定?

关键想法:三种几何定义的权重。自然邻坐标把 $x$ 对样本 $p_i$ 的权 定为"$x$ 的 Voronoi 胞从 $p_i$ 原胞里抢走的体积分数"$\lambda_i(x)=\mathrm{vol}(V_i\cap V_x)/\mathrm{vol}(V_x)$, 用它插值各点的带符号距离即得光滑 pseudo-distance 场。均值坐标(MVC)从调和函数的 均值定理出发,给出任意多边形 / cage 上闭式、处处可算的广义重心权 $w_i=\big(\tan\tfrac{\alpha_{i-1}}{2}+\tan\tfrac{\alpha_i}{2}\big)/\|x-v_i\|$。调和坐标 则把每个坐标函数取成 cage 内 Laplace 方程 $\nabla^2 h_i=0$ 的解,于是即便强凹 cage 权也非负。

vs 手挑径向核:权重由 Voronoi / 张角 / 调和延拓导出——它们都满足 $\sum_i\lambda_i\equiv1$,即"天生就是单位分解",只是来自几何而非核。

为什么这条线"就是"单位分解

自然邻、均值、调和坐标全部满足 $\sum_i\lambda_i(x)\equiv1$ 且复现仿射函数——它们本身 就是单位分解,只不过权来自几何而非选定的核。把它们塞进 $F(x)=\sum_i\lambda_i(x)f_i$, 就继承 §2 那套"光滑权 ⇒ 全局光滑"的保证。代价是动态增删点要更新邻接结构;但若用一张粗 anchor 图或体素胞做局部坐标,它很适合做可学习隐式场的 backbone——这正是下一部 Scaffold-GS 的 anchor 思路的远祖。

§22Hypertexture · 把"表面"推广成有厚度的连续密度

最后一块拼图,呼应需求里"希望不透明度 / 厚度也有自适应强度"。老图形学里 Perlin & Hoffert 的 Hypertexture 很值得重读:它不把物体建模成连通表面,而是建模成空间中的密度分布。

Hypertexture — Hypertexture(Perlin & Hoffert)
SIGGRAPH 1989 Ken Perlin & Eric Hoffert · NYU

痛点 (a):硬表面表达不了毛发、烟、半透明边界这类"既不是纯内也不是纯外"的东西。

关键想法:把"面"扩展成密度 $\rho(x)=H(F(x),x)$——base shape $F$ 给硬区 / 软区, 软区里用 shaping function 调出体密度。现代写法可以是 $$\rho(x)=\sigma\!\Big(-\tfrac{F(x)}{\tau(x)}\Big)\cdot\beta(x)\quad\text{或}\quad \rho(x)=\beta(x)\,e^{-F(x)^2/2\tau(x)^2}\,|\nabla F(x)|,$$ 其中 $\tau(x)$ 是可学习厚度、$\beta(x)$ 是可学习不透明强度

vs 把不透明度散喷成点(3DGS):让不透明度 / 厚度成为依附在全局连续场 $F$ 上的一层可学习"密度壳",而不是每个点自己喷一点。

一个值得记住的合成路线

把前几部连起来:用结构化局部装配(PoU / 核 / 层级)得到一个干净的全局场 $F$,再用 Hypertexture 式的密度壳 $\rho=\sigma(-F/\tau)\cdot\beta$ 把它转成可微、可 splat / 可 raster 的体密度。这样你既有 SDF 般干净的几何,又能像 3DGS 那样直接体渲染—— 这恰是第九部许多"高斯 ⇄ 场"工作在工程上走的那条缝。

§23局部特征隐式场 · 把全局码切成一格格局部码

现在跨进神经场时代。一个反复出现的发现是:很多现代神经场,骨子里就是"局部基 × 系数"或"空间混合专家"——也就是前七部那些经典思想的神经化身。先从最直接的一类: 把 DeepSDF/OccNet 的"单一全局码 + 全局 MLP"换成"一格格局部码 + 共享小 decoder"。

ConvONet · LIG · DeepLS · IF-Net — Convolutional Occupancy Networks · Local Implicit Grid · Deep Local Shapes · IF-Net
ECCV/CVPR 2020 Peng et al. · Jiang et al. · Chabra et al. · Chibane et al. · ConvONet 2003.04618 · DeepLS 2003.10983

痛点 (b)(d):单一全局 latent + 全局 MLP(DeepSDF)纠缠、不可局部编辑、扩不到大场景。

关键想法:在空间里铺一张特征格 / 平面,查询点的占据值 $o(x)=f_\theta\big(\psi(x,c)\big)$,其中 $\psi$ 是对卷积特征格在 $x$ 处做三/双线性插值、 $f_\theta$ 是共享小 decoder。DeepLS 把一格格独立 latent 各参数化一个局部 SDF;LIG 学一个 part-scale 的局部几何字典、按重叠权混合;IF-Net 用多尺度特征体。它们共同点:场是局部 重建的,全局连续来自重叠 / 插值的码。

vs DeepSDF 的单一全局码:把它局部化成一张码格 + 插值——而那个三线性插值权,恰好就是帽函数单位分解(回到 §2)。

§24小 MLP 的空间混合 · 把单位分解推到极限

KiloNeRF · DeRF · MVP — KiloNeRF (thousands of tiny MLPs) · DeRF (Voronoi 分解) · Mixture of Volumetric Primitives
ICCV/CVPR/SIGGRAPH 2021 Reiser et al. · Rebain et al. · Lombardi et al. · KiloNeRF 2103.13744 · MVP 2103.01954

痛点 (b):一张大 MLP 慢且全局纠缠;能不能让成千个小专家各管一摊?

关键想法:KiloNeRF 把场景切成均匀格,每格一个极小 MLP,查询只用 所在格的网络——这是单位分解的"指示函数(硬盒子)权"极限,比整张 NeRF 快 ~1000×。DeRF 用 学到的 Voronoi 图分区,每胞一个网络,用与排序合成相容的 soft 归一混合(即自适应 Voronoi/Shepard 单位分解)。MVP 用一组可动的小体积基元(带 RGBA voxel 载荷), 沿光线按不透明度归一混合——这正是3DGS 的场式祖先

vs 单一 NeRF MLP:分而治之的空间混合专家——KiloNeRF 是硬分区单位分解、DeRF 是软自适应单位分解、MVP 是 soft blob 混合。

§25层级 / 多分辨网络 · 八叉树与多分辨哈希

NGLOD · ACORN · Instant-NGP · MINER — Neural Geometric LoD · Adaptive Coordinate Networks · Instant-NGP 多分辨哈希 · Multiscale INR
CVPR/SIGGRAPH/ECCV 2021–22 Takikawa et al. · Martel et al. · Müller et al. · Saragadam et al. · NGLOD 2101.10994 · Instant-NGP 2201.05989

痛点 (d):神经场要 LoD、要快、要按信号复杂度分配容量。

关键想法:NGLOD 在稀疏八叉树角点存特征,SDF 是各层三线性插值特征 之和——遍历几层即得连续 LoD。ACORN 是一棵局部坐标网络的四/八叉树,在线自适应分裂, 块间用单位分解窗混合保连续(论文里明写 partition of unity)。Instant-NGP 用 $L$ 个 分辨率层、每层用哈希表存可训练特征、三线性插值后拼接喂小 MLP——一张学到的多层局部基。 MINER 把 INR 写成 Laplacian 金字塔,每层小 MLP 拟合层间残差(最像小波的化身)。

vs 单尺度网络:用八叉树 / 多分辨哈希 / 金字塔把"层级基"神经化——NGLOD/Instant-NGP 是带三线性单位分解的多层有限元基,MINER 是 Laplacian 金字塔。

§26张量分解场 · 把场写成低秩张量积

TensoRF · K-Planes · Plenoxels · DVGO — Tensorial Radiance Fields · K-Planes/HexPlane · Plenoxels · Direct Voxel Grid Optimization
ECCV/CVPR 2022–23 Chen et al. · Fridovich-Keil et al. · Yu et al. · Sun et al. · TensoRF 2203.09517 · K-Planes 2301.10241

痛点 (b)(d):稠密体素太占内存;能不能用可分离的低秩因子表达场。

关键想法:把特征体当成张量做低秩分解。TensoRF 用 CP(向量外积和) 或更高效的 VM(向量–矩阵)分解 $\mathcal{T}=\sum_r v_r^X\otimes M_r^{YZ}+\cdots$;K-Planes/HexPlane 用 $\binom{d}{2}$ 张特征平面、查询时各平面双线性插值后相乘;Plenoxels 干脆不要 MLP, 稀疏体素存密度 + 球谐系数、三线性插值即得场;DVGO 是"密度体素格 + 浅 MLP"。这些里的基都是 沿轴 / 平面可分离的因子,组合规则是外积 / Hadamard。

vs 稠密体素 / 纯 MLP:把辐射场写成显式低秩张量分解——基 = 可分离因子,省内存、训得快,Plenoxels 更证明"MLP 可有可无、真正干活的是格 + 三线性单位分解 × 球谐基"。

§27Factor Fields · 把整片神经场一网打尽的大一统

如果只读本部的一节,读这一节。Factor Fields 证明了:上面(以及下面)这一整个动物园, 其实都是同一个模板——系数场 × 基函数场。

Factor Fields / Dictionary Fields — Factor Fields: A Unified Framework for Neural Fields and Beyond
SIGGRAPH 2023 Chen, Xu, Wei, Tang, Su, Geiger · arXiv:2302.01226

痛点 (b)(d):这么多神经场表示,到底有没有一个统一的数学骨架?

关键想法:把信号写成若干"因子"之积、再投影: $$ s(x)=\mathbf{P}\Big(\textstyle\prod_i f_i\big(\gamma_i(x)\big)\Big) =\underbrace{c(x)}_{\text{系数场}}\times\underbrace{b(\gamma(x))}_{\text{基函数场}} $$ 其中系数场 $c(x)$ 平滑、低容量,基场 $b$ 常在一个周期 / 平铺坐标变换 $\gamma$ 下取值。选不同因子 就还原出各家:one-hot 系数 + 每格基 → 稠密格 / DVGO;恒等系数 + Fourier 基 → 位置编码 NeRF;平面 / 向量因子 + 乘法组合 → TensoRF / K-Planes;多分辨哈希基 → Instant-NGP。 论文自己的新实例 Dictionary Fields 用"平铺坐标下的共享字典基 × 空间系数场",更紧凑、更易泛化。

vs 任意单一神经场:证明整个动物园是一个模板——系数场 × 基场——设计自由度只剩 (a) 坐标变换 γ、(b) 基、(c) 组合算子。

把经典与现代焊在一起的那句话

Factor Fields 的 $s(x)=\mathbf{P}(\prod_i f_i(\gamma_i(x)))$ 就是把有限元、RBF、Fourier、 张量分解同时一般化的"基 × 系数"。回头看前七部:单位分解是"局部基 × 帽函数系数",RBF 是 "Green 函数基 × 解出的系数",小波 / B 样条是"多分辨基 × 残差系数"。现代神经场没有发明新 范式,它只是把这套老范式的基和系数都换成了可学习的、并加了一个坐标变换 γ。这就是本文的 主论点。

§28可学习核 · 当 RBF / Poisson 学会了自己的核

§10–§13 的核方法和 Poisson,今天被重写成"学这个核"。这条线把经典重建术直接 接上了大数据先验。

Neural Splines · NKF · NKSR — Neural Splines (无限宽网=核) · Neural Fields as Learnable Kernels · Neural Kernel Surface Reconstruction
CVPR 2021 / 2022 / 2023 Williams et al. · Williams et al. · Huang et al. · NVIDIA · Neural Splines 2006.13782 · NKSR 2305.19590

痛点 (a)(d):RBF / Poisson 优雅但核是固定的、且扩不到场景级带噪点云。

关键想法:都还是核岭回归 $f(x)=\sum_i\alpha_i\,k(x,x_i)$,区别在核。Neural Splines 用无限宽浅 ReLU 网的 NTK 当核——把三次样条 / 薄板插值推广到 3D,无需 SGD 训场。 NKF 把核 $k_\theta$ 做成可学习的神经特征内积,测试时按输入点解 $\alpha$,于是核里 编码了形状先验、能泛化到没见过的类别。NKSR 把它扩到场景级:稀疏体素层级 + 紧支撑可学习核 + 稀疏线性解 + 梯度拟合(拟合场的梯度到法向)——而这正是 (Screened) Poisson 的 推广:Poisson 是固定 Green 函数核的特例,NKSR 学这个核、并保留稀疏层级解。

vs 固定核 RBF / Poisson:把核本身变成可学习、加层级与稀疏解——NKSR 即"学出来的 screened-Poisson",能吃百万级带噪点。

§29频率 / 尺度空间网络 · Fourier、小波、与 Mip 的回归

Fourier Features · SIREN · BACON · Mip-NeRF · NFFB — Fourier Features · SIREN · Band-limited Coordinate Networks · Mip-NeRF (积分位置编码) · Neural Fourier Filter Bank
NeurIPS/ICCV/CVPR 2020–23 Tancik et al. · Sitzmann et al. · Lindell et al. · Barron et al. · Wu et al. · Fourier 2006.10739 · Mip-NeRF 2103.13415

痛点 (c)(d):MLP 有谱偏置(学不动高频);多尺度 / 抗锯齿需要频率上的控制。

关键想法:把"局部基"搬到频域。Fourier Features 在输入前做 $\gamma(x)=[\cos 2\pi Bx,\sin 2\pi Bx]$,经 NTK 把网络等效核变成可调带宽的平稳核;SIREN 用 $\sin$ 激活,把频率基烤进激活、且导数精确(能解 Eikonal/Poisson)。BACON 的每层解析带限, 给出无需逐尺度监督的多尺度频带分解。Mip-NeRF 用积分位置编码——对锥台内 Fourier 特征 取期望,按 footprint 衰减高频,正是对神经场做高斯尺度空间(呼应 §17)。NFFB 把空间 层级与频带显式对齐成一个学到的滤波器组(小波)。

vs 朴素 MLP:把表示放进 Fourier / 小波 / 尺度空间——Mip-NeRF 的 IPE 就是 §17 那个 $F(x,s)$ 在神经场上的化身。

§30高斯 → 表面 · 让 blob 重新变成面

最后一部回到起点的那个 3DGS,看 2024 起的工作如何一步步把"散装 blob"拽回"全局场 / 表面"。 顺着 globality 递增来读:先让基元本身成为面片,再把它们的聚合定义成一个真正的标量场。

2DGS · Gaussian Surfels · SuGaR · GOF — 2D Gaussian Splatting · Gaussian Surfels · Surface-Aligned GS · Gaussian Opacity Fields
CVPR/SIGGRAPH(Asia) 2024 Huang et al. · Dai et al. · Guédon & Lepetit · Yu et al. · 2DGS 2403.17888 · GOF 2404.10772

痛点 (a):3DGS 是厚 blob、多视不一致,抠不出干净表面 / 法向。

关键想法:四步增 globality。2DGS 把椭球压成有向 2D 圆盘 (surfel)——基元本身就是 2-流形的一片局部切片,配深度畸变 / 法向一致正则把片们缝成 视角一致的面。Gaussian Surfels 把 z-scale 设 0 达到同样的 surfel 几何。SuGaR 加正则把高斯压到表面上,再跑 Poisson 重建出网格(直接用上了 §13)。GOF 最干脆:由高斯的体渲染直接定义一个不透明度场,表面就是它的等值面, 用 Marching Tetrahedra 抠——这是 2024 系里最彻底的"破碎堆 → 全局场"那一手。

vs 原始 3DGS:要么把基元变成切平面片(2DGS/Surfels),要么把聚合定义成一个真正的标量场取等值面(GOF)——破碎被治愈。

§31高斯 ⇄ 隐式场 · 显式局部 + 全局隐式,双向耦合

NeuSG · GSDF · GVKF — NeuSG (3DGS+NeuS) · GSDF (3DGS 与 SDF 双分支) · Gaussian Voxel Kernel Functions
NeurIPS 2024 / arXiv Chen et al. · Yu, Lu, Xu et al. · Song, Cheng, Wang · GSDF 2403.16964 · GVKF 2411.01853

痛点 (a)(b):能不能不只是事后抠网格,而让显式高斯与一个全局隐式场在训练里互相规整?

关键想法:把局部高斯和全局隐式场同时训、互相引导。NeuSG 把高斯压得极薄 当作 NeuS 隐式面的采样 / 引导。GSDF 是双分支:SDF 分支把高斯往零集拉(更干净、少 floater),高斯的深度 / 密度又反过来监督并加速 SDF 收敛。GVKF 最贴本文主题——对体素化的离散高斯做 核回归,直接建立一个连续(隐式)场再抠面:核回归本身就是那个 "局部→全局"算子,是本文论点的代表作。

vs 事后 Poisson 网格:把"显式局部基元 ⇄ 全局连续场"做成双向耦合的联合优化(GVKF 更是直接用核回归把高斯变成连续场)。

§32结构化 / LoD 高斯 · anchor 即局部 chart,树即层级

Scaffold-GS · Octree-GS · Hierarchical 3DGS — Scaffold-GS (anchor 神经高斯) · Octree-GS (LoD 锚) · A Hierarchical 3D Gaussian Representation
CVPR/SIGGRAPH 2024 · TPAMI 2025 Lu et al. · Ren et al. · Kerbl et al. (Inria) · Scaffold-GS 2312.00109 · Hierarchical 2406.12080

痛点 (b)(d):3DGS 是一锅无结构的散点,没层级、没自适应、城市级扛不住。

关键想法:给散点装上结构。Scaffold-GS 用一张稀疏 anchor 点格,每个 anchor 现场用 MLP 按视角 / 距离预测一小撮局部神经高斯——anchor 就是一个 局部 chart,全局场 = 一组被共享网络解码的 charts(正是"局部基元 → 装配场"的框架)。 Octree-GS 把 anchor 组织进八叉树,按观察距离选 LoD。Inria 的 Hierarchical 3DGS 把真高斯合并成一棵树(内部节点是子节点的近似), 支持 LoD 选择与层间平滑插值,分块训城市级。

vs 扁平 3DGS:用 anchor(局部 chart)+ 八叉树 / 合并树(层级),把散点装回一个有结构、可 LoD 的多尺度场。

§33新基元 · 当 splat 的核被换成更"场友好"的形状

另一条前沿:换掉高斯本身。注意一个统一线索——好的基元往往是紧支撑 / 有界(而非 高斯的无限拖尾)或频域可截断的,因为紧支撑 / 可截断正是构成一个良态全局场(接近真 单位分解)的关键性质。

3D Convex Splatting · Deformable Beta · DRK · Splat-the-Net — 3D 光滑凸体 · Deformable Beta Splatting · Deformable Radial Kernel · Splattable Neural Primitives
CVPR/SIGGRAPH 2025 Held et al. · Liu et al. · Huang et al. · Zhou et al. · 3DCS 2411.14974 · DBS 2501.18630 frontier · 部分需复核

痛点 (a)(c):高斯的无限拖尾、各向同性径向、糊边——用更富的局部基元能不能更少基元、更利索的全局场。

关键想法:把基元升级。3D Convex Splatting 用 3D 光滑凸体,能表达硬边 / 平面、基元更少。Deformable Beta Splatting 换成有界支撑、频率自适应的 Beta 核(拖尾不再无限,更接近真分区)。DRK 让径向轮廓沿角度可变、得到带可控边缘锐度 的星形 footprint。Splat-the-Net 把每个基元做成"椭球内的浅神经密度场",且 有闭式线积分——用 10× 更少的基元达到 3DGS 质量。

vs 高斯核:用凸体 / 有界 Beta / 各向异性径向 / 神经 splat 等更富、更"紧支撑"的局部基元,更少基元、更接近良态全局场。

Fourier / Polynomial Splatting — Fourier Splatting(频域可截断 = 内建 LoD)· Gaussian Splatting with Polynomial Kernels
2026 Jurca et al. · Mueller, Winter, Steinberger · Fourier 2603.19834 frontier · 需复核 ID

痛点 (d):splat 表示能不能内建连续 LoD / 更便宜的核。

关键想法:选基元的代数形式来让全局场更好用。Fourier Splatting 给基元 挂Fourier 描述子,运行时截断 Fourier 系数即连续调节细节(内建 LoD, 呼应 §29)。Polynomial-kernel splatting 把指数高斯核换成多项式核(紧支撑、算得更便宜,比无限拖尾的 高斯更"分区友好")。

vs 固定高斯核:在频域 / 多项式里选核,换来内建 LoD(截断系数)或更低算力——把 §16/§29 的层级与频率思想塞进 splat 基元。

§34精确积分 / 空间剖分 · 从渲染数学层面修好"破碎"

EVER · 3DGRT · Radiant Foam — Exact Volumetric Ellipsoid Rendering · 3D Gaussian Ray Tracing · Radiant Foam (Voronoi 泡沫)
2024–2025 Mai et al. (Google) · Moenne-Loccoz et al. (NVIDIA) · Govindarajan et al. · EVER 2410.01804 · Radiant Foam 2502.01157 frontier

痛点 (a):3DGS 的"破碎"一半来自渲染数学本身——2D billboard 的 alpha 合成不归一、依赖排序、会 popping。

关键想法:从积分层面修。EVER 对椭球做精确的发射型体渲染 (光线追踪,而非投影 billboard 合成),消除 popping 与视角相关密度。3DGRT 用 BVH 光追 高斯粒子、支持二次光线(反射 / 折射)。Radiant Foam 最激进:把场景表示成 Voronoi "泡沫"(一个体网格)并用经典网格遍历光追——这是最强的"真·全局剖分":局部胞精确铺满 空间(Voronoi 胞上的一个真单位分解),是重叠 blob 的反面。

vs 2D billboard alpha 合成:把全局聚合做成精确的体积分(EVER/3DGRT)或空间剖分(Radiant Foam)——从渲染数学层面根治"全局破碎"。

§A还没解决的问题

把这片领域读完,几个明显的缝隙浮出水面——它们大多正是"经典数学"和"现代可微 3DV"还 没真正焊死的地方。

  • 可微、可学习的单位分解 SDF 还没成主流。MPU/IMLS 那个 $F=\sum_i\varphi_i Q_i$ 的归一加权平均,理论上完全可以神经化、可 splat(chatgpt.md 押的 "Hierarchical Partition-of-Unity Implicit Field"),但还没有一篇把它做成像 3DGS 那样好用的 端到端可训练表示。这是最直接的一块空地。
  • 可微 Poisson / 核重建还没规模化进辐射场训练。SAP 和 NKSR 各自证明了"全局解 可微""核可学习且可扩展",但把"高斯当法向源 → 解 $\Delta\chi=\nabla\!\cdot V$ → 体渲染"整条 路做进实时辐射场训练,工程上仍重。
  • 函数代数(R-函数 / FRep)几乎没回流可微 3DV。可学习 CSG 还停在 ShapeNet 级 的几何解析,没人把 R-函数的"光滑 + 集合语义"内核接到照片重建里——一棵 coarse R-函数树 + 局部残差基的可学习场(chatgpt.md 的方案 C)基本是空白。
  • "连续尺度" $F(x,s)$ 仍多停在抗锯齿。Mip-NeRF/BACON 把尺度空间用在了频率 控制上,但把 $s$ 当成一条真正可查询、可编辑的 LoD 维度(而非只是离散几层)还很初步。
  • 厚度 / 密度壳缺乏统一处方。Hypertexture 式的 $\rho=\sigma(-F/\tau)\cdot\beta$ 把不透明度依附到全局场上,但"自适应厚度 / 强度"如何与几何联合学习、又不退化回散点,尚无定论。
  • 缺一个公认的"局部基 × 系数"统一实现。Factor Fields 在理论上统一了神经场, 但还没有一个把"经典基(PoU/RBF/小波)+ 现代可学习系数 + 可微渲染"打通的标准框架 / 代码库。
总结一句话

这片领域的故事可以压成一句:"全局连续场"从来不必等于"一个单一的大网络",也不该退化成 "一堆散装的点"——只要给局部基元配上一条有结构的组合规则 $\mathcal{A}$(单位分解 / 全局 PDE 解 / 函数代数 / 多尺度残差),局部就能优雅地、可证光滑地长成全局。过去四十年的图形学早把这套 数学备齐了;3DGS 和神经场只是又把它发现了一遍——而真正的空地,在于把"最有结构的那个 $\mathcal{A}$" (层级单位分解 + R-函数粗代数 + 紧支撑 / 多尺度残差核)做成既可微、又可 splat 的下一代表示。

§B名词表 · Glossary

术语解释
等值面 / level set标量场 $F$ 取定值(通常 0)的那张面 $\{x:F(x)=0\}$,即隐式表面。
SDF带符号距离函数:$F$ 给到面的带符号距离,额外满足 $|\nabla F|=1$(Eikonal)。
单位分解 / PoU一组非负权 $\varphi_i$ 满足 $\sum_i\varphi_i\equiv1$;$F=\sum_i\varphi_i f_i$ 是局部专家的归一加权平均。
local support一个基元 / 基函数只在某有限范围内非零;紧支撑核(Wendland、多项式)即其极端。
MLSMoving Least Squares:在每个查询点现解一个带权最小二乘局部拟合;面 = 投影算子不动点。
RBF径向基函数:$f(x)=\sum_i\lambda_i\phi(\|x-c_i\|)+P(x)$;薄板样条是其最小弯曲能量特例。
薄板样条 / 双调和最小化 $\int\|\nabla^2 f\|^2$ 的插值解;核 = 双调和算子 $\Delta^2$ 的 Green 函数 $\propto|x|$。
GP / GPIS高斯过程隐式面:把场建成 GP,后验均值给面、方差给不确定性;与薄板 RBF 等价。
Poisson 重建把法向当指示函数梯度,解 $\Delta\chi=\nabla\!\cdot V$,面 = $\{\chi=\tau\}$;一次全局解。
R 函数符号由参数符号决定的实函数;给 min/max 并交以可规定光滑度的连续替身。
FRep / BlobTree实函数表示 / 把基元 + blend + warp + Boolean 组织成一棵可遍历的场之树。
sminsmooth-minimum:硬 $\min$ 并集的可微圆角版;指数形 $-\tfrac1k\log\sum e^{-kf_i}$。
多层 / 层级基$F=F_0+\sum_\ell$ 残差:粗层给轮廓、细层给细节;天然 LoD + 压缩。
小波局部 + 多分辨的基;系数是局部积分,可独立 / 增量算(流式重建)。
尺度空间把表示扩成 $F(x,s)$,$s$ 是连续尺度;高斯平滑 / 扩散方程是其核心。
Factor Fields把神经场统一成"系数场 × 基场" $s(x)=\mathbf{P}(\prod_i f_i(\gamma_i(x)))$。
anchor / chart一个局部坐标块 / 局部专家的中心;Scaffold-GS 的 anchor 即一个局部 chart。
surfel有向的面元(小圆盘);2DGS / Gaussian Surfels 用它当 2-流形的局部切片。

§C推荐阅读顺序

按"先把母模式吃透、再沿家族铺开、最后看现代回响"的教学顺序,而非时间顺序。

  1. MPU implicits(§6) — 先看这一篇,把"局部专家 + 单位分解 + 八叉树 LoD"一次看全;它是整片领域的缩影。
  2. IMLS(§8) — 最干净的归一加权平均隐式场公式,正是 Demo 1 跑的那个;带拓扑保证。
  3. Turk–O'Brien 变分隐式面(§9)+ Carr RBF(§10) — 理解"最小弯曲能量 = 薄板样条 = 双调和 Green 函数"这条最优雅的等式链。
  4. Poisson 重建(§13) — 换一种哲学:"不局部混合,而一次性全局解";体会"考虑所有点"的鲁棒性。
  5. Shape As Points(§14) — 看经典全局解如何被做成可微的一层,是连接老数学与现代优化的轴。
  6. 多层 B 样条(§16) — 把"可自动展开的内部层级"$F=F_0+\sum_\ell$ 残差刻进直觉(配 Demo 3)。
  7. R 函数(§18)+ smin(§19) — 理解"有集合语义的连续函数代数"为何强于无脑相加(配 Demo 2)。
  8. Factor Fields(§27) — 现代部分的核心:一句 $s=\mathbf{P}(\prod f_i(\gamma_i(x)))$ 把整片神经场统一,回看前面全是它的特例。
  9. NKSR(§28) — 看 RBF / Poisson 如何以"可学习核 + 稀疏层级"的姿态规模化回归。
  10. GOF + GVKF(§30/§31) — 现代落点:高斯如何被真正定义成一个连续标量场、再取等值面。
  11. Radiant Foam(§34) — 收尾:用 Voronoi 剖分把"重叠 blob"换成"精确铺满空间的真单位分解",正好回到开篇那个"破碎 vs 封装"的对照。

Made for learning. 完整 BibTeX、勘误、补遗欢迎 issue。最后更新 2026-06-01。

本站所有内容基于公开发表论文 / arXiv preprint / 项目页 / 官方代码仓。 交互演示是 Canvas2D 的教学玩具,数值不代表论文实际性能。