← 回到 Learn 合集
一份图解长文综述 · 1988 — 2026
把表面写成一个场 ——如何用局部基元优雅地拼出全局连续函数
3DGS 把场景拆成一堆各自飘着的高斯团;它在局部很好用,但放眼全局,它
其实是一个破碎的函数 ——一锅彼此独立、按视角顺序混合的
不透明度 blob,处处不连续、不闭合、没有统一语义。另一头,单一的
neural SDF 倒是给了你一个全局连续场,却把它压进一个没有结构、
没有局部性、没有层级 的黑箱 MLP 里。
本文要问的,是介于这两者之间、却被现代 3DV 忽略的一整片数学:
能不能既保留局部基元的可控、可编辑、可自适应,又得到一个全局
连续、光滑、有层级、有集合语义的标量场 ?答案藏在四十年前的
图形学与逼近论里——单位分解、MLS、RBF、Poisson、R-函数、小波——
而它们今天正以神经场和高斯前沿的名义悄悄回归。
预设读者:会基本的 NeRF、SDF、机器学习、微积分、线性代数。不会这里
任何一个名词都没关系——我们从零讲起,每个概念都配图、配方程,必要
时配交互 demo 和代码。
~48 篇论文 / 想法 · 4 个交互演示 · 最后更新 2026-06-01
阅读路径建议
(1) 零基础 :从 §1 顺读到 §4,先把"等值面 + 单位分解"
这个主方程刻进脑子,再进入各家族。
(2) 已经懂 SDF / 3DGS :直接从 §5 单位分解开始,把它当
作贯穿全文的"母模式",沿着九个家族看每条路线如何拼装全局场。
(3) 只想看最新的 :跳到 §27 Factor Fields(把现代神经场
一网打尽的大一统),再到第九部 §30–§34 看 2024–2026 高斯如何"变回场"。
§1 等值面,与那个根本张力
先把舞台搭好。本文里的"表面"始终是某个连续标量函数 $F:\mathbb{R}^3\to\mathbb{R}$
的等值面(level set) :
$$ S=\{\,x\in\mathbb{R}^3 \mid F(x)=0\,\} $$
$F$ 在表面一侧为负(内部)、另一侧为正(外部),$F=0$ 处就是那张皮。
这就是 SDF(signed distance function,$F$ 还额外满足 $|\nabla F|=1$)和占据
场(occupancy)背后共同的"隐式表面"视角。和显式表示(三角网格、点云、
高斯团)相比,隐式场的好处是:拓扑自由 (一个函数自动表达
任意形状、洞、分裂),处处可求值、可微 ,并且天然定义了
"内 / 外"。
关键想法 · 一句话
整篇文章只在回答一个问题:$F$ 到底怎么"造"出来 ?——
不是单个全局 MLP,不是一堆散装高斯的相加,而是一个有层级、有组合代数、
有局部支撑、又有全局封闭语义的连续标量场。"造法"比"它叫不叫 SDF"重要得多。
现在看两种极端的"造法",它们正好是本文要超越的两个失败模式:
失败模式一:单一全局 MLP(neural SDF 的原罪)
DeepSDF / NeuS 这类把 $F(x)=\text{MLP}_\theta(x)$ 写成一个大网络。它确实是
全局连续的,但代价是:所有空间位置都纠缠 在同一组权重里——
你没法只编辑鼻子而不动耳朵;查询一个点要跑整张网;没有天然的
level-of-detail;也没有"这块是那块的并集 / 差集"这种几何语义。全局性是
真的,但结构是零 。
失败模式二:一堆散装基元的相加(3DGS 的原罪)
3DGS 把不透明度场写成各向异性高斯的叠加 $\sigma(x)=\sum_i\alpha_i G_i(x)$,
渲染时按视角从前往后 alpha 合成。注意两件要命的事:这些权重不归一
($\sum_i$ 不等于 1),而且合成结果依赖排序、依赖视角 。于是
全局看,它不是一个良定义、视角无关的标量场——基元与基元之间的空隙里函数
塌向 0,等值面破碎、外扩、不闭合。这正是"全局是一个破碎的函数"的精确技术
含义。
本文的全部内容,就是这两个极端之间那条被忽视的中间道路:
用局部基元,但用有数学结构的方式把它们装配成一个全局连续场。
§2 主方程,与单位分解
把目标写成一个统一的抽象。我们想要的 $F$ 形如:
$$ F(x)=\mathcal{A}\Big(F_{\text{coarse}}(x),\;\{f_{\ell i}(x),\,w_{\ell i}(x)\}_{\ell,i}\Big) $$
其中 $F_{\text{coarse}}$ 给全局轮廓,$f_{\ell i}$ 是不同尺度 $\ell$ 上的
局部专家 / 局部基函数 ,$w_{\ell i}$ 是连续的权重或 support,
$\mathcal{A}$ 是组合规则 。整篇综述就是一张"$\mathcal{A}$ 的
分类表":每个家族都是 $\mathcal{A}$ 的一种选择,而它们的优劣,全在于这个
组合规则比"把一堆点加起来"多了多少数学结构 。
最朴素、也最重要的一个 $\mathcal{A}$,叫单位分解(partition of
unity, PoU) 。它要求一组权重 $\varphi_i$ 满足:
$$ F(x)=\sum_i \varphi_i(x)\,f_i(x),\qquad \sum_i \varphi_i(x)\equiv 1,\quad \varphi_i(x)\ge 0 $$
把这个和 3DGS 的式子并排放——差别只在那个分母:
$$ \underbrace{\sum_i \alpha_i G_i(x)}_{\text{3DGS:不归一的和}}\qquad\text{vs.}\qquad \underbrace{F(x)=\frac{\sum_i W_i(x)\,f_i(x)}{\sum_i W_i(x)}}_{\text{PoU:归一的加权平均}} $$
归一,是一切的分水岭。左边是"每个点各喷一点",空隙里塌向 0;右边是局部
专家们的一次加权平均 ,无论多少基元、它们的局部意见多么不一致,
结果都是处处良定义的。
为什么单位分解能"免费"买到全局光滑
把约束 $\sum_i\varphi_i\equiv 1$ 两边求梯度,得到 $\sum_i\nabla\varphi_i\equiv 0$。
这意味着:在任何两个基元的重叠区,权重的梯度项互相抵消 ——
局部专家之间的"缝"被自动缝合,不会留下折痕。于是只要每个 $\varphi_i$ 是
$C^k$ 的、且任一点附近只有有限个非零,那么 $F=\sum_i\varphi_i f_i$ 作为
有限个 $C^k$ 函数之积的和,必然是 $C^k$ 的——跟局部 $f_i$ 们彼此是否
一致毫无关系 。光滑性是你通过权重"买"来的,不是从数据里硬抠出来的。
把这句话刻在脑子里:它是后面一半论文的共同内核。
四个变量,逐个看
记号 含义 常见取法
$f_i(x)$ 第 $i$ 个局部专家:它说"在我这一带,表面长这样" 局部平面 $n_i\!\cdot\!(x-\mu_i)$、局部二次曲面、局部 SDF、小 MLP
$W_i(x)$ 局部权重 / support:第 $i$ 个专家"管得到"的范围 高斯 $e^{-\|x-\mu_i\|^2/2\sigma^2}$、Wendland 紧支撑核、三线性插值帽函数
$\varphi_i=\dfrac{W_i}{\sum_j W_j}$ 归一后的单位分解权重 Shepard 权、自然邻坐标、调和坐标
$\ell$ 尺度 / 层级:粗层给轮廓,细层给残差细节 八叉树层、B 样条 / 小波层、多分辨哈希层
记住一个"经验数字":一个局部二次曲面专家只要 ~10 个参数(中心、法向、两个
主曲率),就能在它的 support 里把表面拟合到很高精度。用对了组合规则,
几百到几千个这样的小专家就能拼出一个完整物体 ——这就是后面所有方法
在跟"几百万个散装高斯"较劲的底气。
§3 为什么"结构化局部装配"两头通吃
把三种造法摆上台面比一比。注意最后一列才是本文的主角。
维度 单一 neural SDF 3DGS(散装基元) 结构化局部装配
全局连续场 有(但黑箱) 没有 (破碎、视角相关)有 (归一 / 全局解)
局部性 / 可编辑 没有 (权重纠缠)有(删点即编辑) 有 (局部 support)
层级 / LoD 没有 弱(要外挂八叉树) 天然 (粗+细残差)
集合语义(并/交/差) 没有 没有 有 (R-函数 / FRep)
单点查询成本 整张网前向 邻域基元求和 邻域 + 解(可稀疏)
逼近阶 / 光滑性保证 无解析保证 $C^0$、有缝 $C^k$/$C^\infty$ 可证
一句话:单一 MLP 全局却无结构,散点基元有局部却破碎;结构化局部
装配同时拿到"全局连续 + 局部可控 + 层级 + 语义"这四样东西。 下面这段
教学伪代码,把"主方程"的一次前向求值走一遍——它就是 Demo 1 背后的全部数学。
核心前向 · 教学伪代码
# 给定一组局部基元,求全局场 F 在某点 x 的值。
# 每个基元 = (中心 mu, 单位法向 n, support 半径 sigma)。
# 这就是 MPU / IMLS 共同的骨架:局部专家 + 单位分解。
def global_field(x, primitives, normalize=True):
num = 0.0 # 分子:加权的局部意见之和
den = 0.0 # 分母:权重之和(归一项)
for (mu, n, sigma) in primitives:
d = x - mu
W = exp(-dot(d, d) / (2 * sigma**2)) # 高斯局部权重 W_i(x)
f = dot(n, d) # 局部平面专家 f_i(x)=n·(x-mu)
num += W * f
den += W
if normalize:
return num / (den + 1e-9) # 单位分解:处处良定义、光滑、闭合
else:
return num # 散装求和:空隙塌向 0 → 破碎
# 表面 = {x : global_field(x) == 0},用 marching cubes 抠出来即可。
§4 四个痛点(贯穿全文的坐标轴)
下面把"散装基元 vs 单一黑箱"的所有麻烦,归成四个痛点 。之后每
一篇论文,我都会标注它主要在解哪一个 (a)/(b)/(c)/(d)。这四个字母就是你
在脑子里给这片领域建坐标系的轴。
痛点 (a) · 破碎 Fragmentation
一堆局部 blob 的相加,全局看是个坑坑洼洼、不闭合、无语义的函数。我们要的是
一个良定义、视角无关、闭合的标量场 。(单位分解、Poisson、核
方法都在治这个。)
痛点 (b) · 散装 / 黑箱
要么基元各自为政、彼此不知道对方存在(3DGS);要么所有信息糊在一个全局网络
里、谁也分不开(neural SDF)。我们要的是局部专家既各管一摊、又能优雅
地汇成全局 。(MLS、局部特征隐式场、混合专家在治这个。)
痛点 (c) · 缝 Seams & 连续性
把局部片硬拼起来,接缝处往往只有 $C^0$(折痕、法向跳变)。$\min/\max$ 做并集
也是这毛病。我们要的是从局部片可证地拼出全局 $C^k$ 光滑 。
(单位分解的 $\sum\nabla\varphi_i=0$、R-函数、smooth-min 在治这个。)
痛点 (d) · 没有层级 No LoD
扁平的表示给不出"先全局轮廓、再局部细节",没法压缩、没法 coarse-to-fine 优化、
没法按距离选细节。我们要的是一种能自动展开的内部层级 :
$F=F_0+\sum_\ell(\text{残差}_\ell)$。(多层 B 样条、小波、八叉树特征、尺度空间
在治这个。)
把四个痛点连起来
它们其实是同一件事的四个侧面:如何让"局部"和"全局"在数学上和解 。
(a) 是全局性,(b) 是局部性,(c) 是两者的接缝,(d) 是两者之间的尺度阶梯。接下来
的九个家族,就是九种不同的和解方案。
§5 PUFEM · 单位分解的母定理
既然单位分解是后面一半方法的内核,就先看它最干净的源头。这是一篇有限元
论文,但它给的是一条对整片领域都成立的"保证书"。
PUFEM
— The Partition of Unity Finite Element Method: Basic Theory and Applications
痛点 (b)(c):怎么把一堆"局部该长什么样"的先验,拼成一个全局、可证收敛的函数空间。
关键想法 :给定区域的一个覆盖 $\{\Omega_i\}$ 和从属于它的单位
分解 $\{\varphi_i\}$($\operatorname{supp}\varphi_i\subseteq\Omega_i$、
$\sum_i\varphi_i\equiv 1$),再给每个 patch 配一个局部逼近空间 $V_i$(多项式、
甚至把已知的解的行为"塞"进去的特殊函数),那么全局空间就是
$V=\sum_i\varphi_i V_i$,全局函数 $u(x)=\sum_i\varphi_i(x)u_i(x)$。论文证明:
全局逼近误差是局部误差的简单叠加,全局光滑性继承自权重 $\varphi_i$ 的
光滑性 。这就是"局部拟合 + 光滑混合"为什么可证有效的母定理。
把有限元从"绑死在网格节点多项式"解放成"任意局部先验 + 光滑混合",比全局基函数更适应局部复杂行为。
§6 MPU implicits · 图形学里的主力
MPU
— Multi-level Partition of Unity Implicits
痛点 (a)(b)(d):海量点云上,既要全局光滑场,又要局部细节、还要能自适应分辨率。
关键想法 :全局隐式场就是局部拟合的单位分解混合
$$F(x)=\frac{\sum_i w_i(x)\,Q_i(x)}{\sum_i w_i(x)}=\sum_i\varphi_i(x)\,Q_i(x),$$
其中 $w_i$ 是带 support 球的光滑权重,$Q_i$ 是局部分片二次曲面
(一般二次、双变量二次、或专门处理边/角的两片函数)。一棵八叉树
按局部拟合误差 $\varepsilon$ 自适应细分:哪里复杂就分到哪里,天然 LoD。因为
$\{\varphi_i\}$ 是光滑单位分解,无论局部二次面们怎么打架,$F$ 都和权重一样光滑。
vs 全局 RBF/MLS:把"局部逼近"和"全局混合"彻底解耦,于是能吃超大点集、能 error-控制、还能保住被光滑洗掉的尖锐边角。
直觉 · MPU 就是 3DGS 的"场函数版"
把 MPU 和 3DGS 并排:3DGS 是 $\sum_i\alpha_i G_i(x)$,高斯只是个不透明度 blob;
MPU 是 $\sum_i\varphi_i(x)Q_i(x)$,每个高斯般的 support 里装着一个局部几何
专家 $Q_i$ ,而且权重归一。换句话说——如果你把 3DGS 的每个高斯从"喷一团雾"
升级成"携带一个局部 SDF 二次面",再把求和换成归一加权平均,你得到的就是 MPU。
本文后面很多"前沿"工作,本质都在重走这一步。
§7 MLS / Point Set Surfaces · 点不是面,投影才是面
单位分解是"先有局部专家、再混合"。Moving Least Squares(MLS)给了另一种更深的
视角:点云只是约束,真正的表面是一个投影算子的不动点 ——根本不用
存面,面是被"算"出来的。
MLS(逼近论根基)
— The Approximation Power of Moving Least Squares
痛点 (b)(c):散乱采样上,如何得到高阶、且可证光滑的局部拟合。
关键想法 :在每个 查询点 $x$,都现解一个带权最小二乘,
用邻域样本拟合一个 $m$ 次多项式 $p_x$:
$$\min_{p\in\Pi_m}\sum_i\theta(\|x-x_i\|)\,\big(p(x_i)-f_i\big)^2,$$
近似值就是 $\mathcal{M}f(x)=p_x(x)$。Levin 证明它能复现 $m$ 次多项式、误差
$O(h^{m+1})$,而且只要权核 $\theta\in C^\infty$,整个 $\mathcal{M}f$ 就是
$C^\infty$——虽然它处处是"局部"拟合。
把临时凑数的"局部平滑"升级成有可证收敛阶、可证光滑的逼近算子。
Point Set Surfaces
— Point Set Surfaces / Computing and Rendering Point Set Surfaces
痛点 (a)(b):点云能不能不靠网格、直接当成一张光滑流形来用?
关键想法 :把表面定义成 MLS 投影算子的不动点集
$S=\{x:\Psi(x)=x\}$。投影 $\Psi$ 两步走:先在 $x$ 附近找一个局部参考平面,再在
该平面上做带权多项式拟合并投影回去。所得曲面 $C^\infty$,并支持按表面误差做点的
重采样(增/删点来控制精度)。点不是终点——所有局部拟合算子共同定义出的零
水平集 / 不动点,才是面 。
vs 存网格或存点:第一次把"无连接的点集"立为一等公民的曲面表示,并给出重采样与 splat 渲染的完整管线。
为什么 MLS 能做到高阶 / $C^\infty$
两件事叠在一起。其一,多项式复现 :拟合 $m$ 次多项式,会强制误差的
前 $m{+}1$ 阶 Taylor 项归零,于是精度 $O(h^{m+1})$。其二,光滑全靠权核 :
当 $x$ 移动时,正规方程的解随 $\theta$ 一样平滑地变化,$\theta\in C^\infty\Rightarrow$
整个映射 $x\mapsto p_x(x)$ 是 $C^\infty$。注意这和单位分解的逻辑同源——光滑性都
是从权核继承的,不是逼局部拟合彼此一致逼出来的 。
§8 IMLS · APSS · 把 MLS 写成一个隐式场
IMLS
— Provably Good Moving Least Squares
痛点 (a)(c):能不能跳过 MLS 那个非线性投影,直接写出一个隐式场,还带拓扑正确性保证?
关键想法 :把面直接定义成"每点到其切平面的带符号距离"的归一加权平均——
一个干净的单位分解隐式场:
$$F(x)=\frac{\sum_i\theta(\|x-x_i\|)\,\big(n_i\cdot(x-x_i)\big)}{\sum_i\theta(\|x-x_i\|)},$$
面就是 $\{F=0\}$。在 $\varepsilon$-采样条件下,Kolluri 证明 $F$ 逼近真
SDF,且其零集与真表面同伦(拓扑等价)。注意这个式子正是 Demo 1 里跑的那个。
vs Point Set Surfaces 的非线性投影:换成一次成型的隐式场,并首次给出 MLS 重建的拓扑正确性保证。
APSS
— Algebraic Point Set Surfaces
痛点 (b):平面型 MLS 在高曲率、稀疏、带噪处会退化。
关键想法 :把局部拟合的平面换成代数球面
$u_0+u_{1..3}\!\cdot x+u_4\|x\|^2=0$,用带权最小二乘(位置+法向)拟合。球面能
抓住曲率,于是在高曲率和稀疏采样下远比平面 MLS 稳,梯度也更乖。
vs 平面 MLS / Point Set Surfaces:换更高阶的局部基元(球面而非平面),鲁棒性与稳定性大幅提升,闭式快算。
§9 变分隐式面 · 让"最光滑"自己挑出全局场
单位分解和 MLS 都需要你手写 组合规则。变分 / RBF 这条线换了个
思路:你只定义一个能量 ,然后让"满足所有局部约束里最光滑的那个
函数"自动成为全局场。组合规则不是设计出来的,是变分变出来的。
Variational Implicits
— Modelling with Implicit Surfaces that Interpolate
痛点 (a)(c):从稀疏约束(面上=0、内外=±1)造一个精确插值、且全局最光滑的场。
关键想法 :在所有满足约束 $f(c_j)=h_j$ 的函数里,挑使
薄板 / 弯曲能量 $E=\int\|\nabla^2 f\|^2\,dx$ 最小的那个。它的
Euler–Lagrange 解恰好是一个 RBF 展开
$$f(x)=\sum_j\lambda_j\,\phi(\|x-c_j\|)+P(x),$$
其中 $\phi(r)=r^3$(三维薄板)或 $r^2\log r$(二维),$P$ 是低次多项式;系数
$\lambda_j$ 与 $P$ 由一个全局线性系统解出(外加 $\sum\lambda_j=0$ 等正交条件)。
把表面重建和形状变换统一到一个变分原理下——稀疏约束 + 全局光滑 + 任意拓扑。
§10 多调和 RBF · 把脏扫描补成水密实体
Carr et al. RBF
— Reconstruction and Representation of 3D Objects with Radial Basis Functions
痛点 (a):带洞、带噪、不完整的真实扫描,要补成一个水密的解析实体。
关键想法 :拟合一个全局 多调和样条
$s(x)=\sum_{i}\lambda_i\,\phi(\|x-x_i\|)+p(x)$($\phi(r)=r$ 或 $r^3$),面上点约束
为 0、沿法向放的"离面点"约束为 $\pm$ 距离(避免 $s\equiv 0$ 的平凡解)。工程上靠
快速多极子(FMM)+ 贪心中心精简 把稠密 $N\times N$ 系统压到能在几十
万点上解。
vs 局部拼接:把全局变分 RBF 第一次做到能补洞、修网格的工业规模。
最深的一个"为什么":薄板样条 = 最小弯曲能量 = 双调和算子的 Green 函数
最小化 $\int\|\nabla^2 f\|^2$ 加插值约束,其 Euler–Lagrange 方程在数据点之外是
$\Delta^2 f=0$、在数据点上是 $\Delta^2 f=\sum_j\lambda_j\delta_{c_j}$。而双调和算子
$\Delta^2$ 在三维的基本解(Green 函数)正比于 $|x|$(二维是 $|x|^2\log|x|$)——
这恰好就是多调和 RBF 的核 。所以 RBF 求和 $\sum_j\lambda_j\phi(\|x-c_j\|)$
字面上就是一堆"双调和点响应"的叠加,系数 $\lambda_j$ 是把一张无限薄板压着穿过
数据、且总曲率最小所需的"力"。多项式项 $P$ 张成能量的零空间(仿射函数不产生弯曲)。
这是整篇综述里最优雅的一条数学,也是对"单一黑箱 MLP"最锋利的反衬——RBF 的每个
系数都有清清楚楚的能量解释。
§11 紧支撑 RBF · 像高斯一样局部,但服务于零集场
你喜欢高斯的可微局部性,又不想要 3DGS 那种散装不透明度?紧支撑 RBF(CSRBF)
正好:核在某半径外恒为 0,于是稠密系统变稀疏、编辑变局部,但拼出来的仍是一个
受全局约束的隐式零集场。
CSRBF
— Interpolating Implicit Surfaces from Scattered Data Using Compactly Supported RBFs
痛点 (a)(b):全局 RBF 的稠密矩阵贵,且改一点要重解全局。
关键想法 :把核换成 Wendland 紧支撑核 ,例如
$\phi(r)=(1-r)_+^4(4r+1)$,半径外恒 0。插值矩阵于是稀疏带状 ,能用
稀疏线代求解,编辑也只影响局部。Wendland 1995 的核是"在给定维度、给定光滑度
$C^{2k}$ 下次数最低的正定紧支撑多项式",保证矩阵可逆。
vs 全局薄板 RBF:稠密 → 稀疏、全局 → 可局部编辑(代价是远程补洞能力变弱)。
Multi-scale CSRBF · Walder 全局正则
— Multi-scale CSRBF (Ohtake–Belyaev–Seidel 2003) · Globally Regularised Basis of Compact Support (Walder–Schölkopf–Chapelle 2006)
痛点 (a)(d):紧支撑省事,但丢了全局 RBF 的补洞 / 全局光滑能力,怎么把两者都拿回来?
关键想法 :两条路。Ohtake 做由粗到细的多尺度残差 :
每层用一个支撑半径递减的 CSRBF 去修上一层的残差 $f=\sum_k f_k$,粗层补洞、细层
加细节。Walder 则把拟合写成 RKHS 里的正则回归 $\sum_j(f(x_j)-y_j)^2+\gamma\|f\|_\mathcal{H}^2$,
用一个频域定义的正则子 ,让紧支撑核也能有全局光滑插值的行为,并明确
指出它等价于一个改了协方差的高斯过程 。
vs 单尺度 CSRBF:用层级 / 全局正则,把"近局部成本"和"全局质量"同时拿到,并第一次把 CSRBF ⇄ GP 这座桥摆明。
§12 GPIS · RBF = 薄板样条 = 高斯过程,三位一体
GPIS
— Gaussian Process Implicit Surfaces
痛点 (a):RBF 给了你一张面,但没告诉你"它有多确定"——主动感知 / 抓取急需不确定性。
关键想法 :把隐式场建成一个高斯过程
$f\sim\mathcal{GP}(\mu,k)$,用约束(面上=0、内外=±)做条件。后验均值
的零集给表面,后验方差 给"面到底在哪"的标定不确定性。而且只要把协方差
$k$ 取成薄板样条的正则子,GP 后验均值就恰好等于 Turk–O'Brien / Carr 的
RBF 重建。
vs 确定性 RBF/MLS:把重建重写成贝叶斯推断,白送一份不确定性(和学超参的路子)。
三个名字,同一个东西
把这条等式链记牢,它是本部的高潮:
(1) 变分 :最小弯曲能量 $\Rightarrow$ 薄板样条。
(2) 核 :那个极小元是一个 RBF 求和,核 = 能量算子的 Green 函数。
(3) 贝叶斯 :协方差取成那个 Green 函数的 GP,其后验均值 = 同一个样条。
所以"最小弯曲能量""RBF 插值""GP 后验均值"是同一个估计量 的三种说法
(RKHS 里的惩罚似然 MAP 与 GP 后验均值本就相等)——GP 只是额外多送你一个后验协方差。
对比一下单一 neural SDF:它拟合一个全局非线性函数,没有 任何闭式能量
解释。这就是"老数学"比"黑箱"优雅的地方。
§13 Poisson 重建 · 不混合,而是一次性全局解
到目前为止的方法多少都在"局部混合"。Poisson 这条线最"全局封装":局部样本不直接
拼成面,而是先变成一个向量场 / 约束场,再通过一个偏微分方程 解出一个
全局标量场。它的哲学和前面所有方法都不同。
Poisson / Screened Poisson
— Poisson Surface Reconstruction (2006) · Screened Poisson Surface Reconstruction (2013)
痛点 (a)(c):带噪的有向点,如何造一个全局一致、对噪声鲁棒、无需启发式分区的水密面。
关键想法 :把法向看成指示函数 $\chi$(内 1 外 0)的梯度样本 。
由法向造一个光滑向量场 $V$,再解 Poisson 方程
$$\Delta\chi=\nabla\!\cdot V\qquad\big(\text{等价于 }\min\textstyle\int\|\nabla\chi-V\|^2\big),$$
面就是 $\{\chi=\tau\}$。$\chi$ 用八叉树上的局部支撑 B 样条 展开,PDE
于是变成一个稀疏、良态的线性系统。Screened 版本再加一项把 $\chi$ 在输入点上钉住
$+\sum_j\lambda\,\chi(p_j)^2$,找回被过度光滑掉的细节,并给出线性时间多重网格求解。
vs RBF / 局部混合:一次性"考虑所有点",无需任何空间分区或逐区混合权,对噪声极鲁棒。
"一次性考虑所有点"到底什么意思
局部混合问的是:"在这个点附近,邻居样本怎么说?"——噪声会就地传播。Poisson 问的
是完全不同的问题:"存在哪一个全局一致的函数 ,它的梯度场最接近大家
一起投的票?"那个 $\nabla\!\cdot$ 和椭圆算子把每一个样本通过方程耦合到所有
其他样本 ,于是噪声被平均掉、而不是被传播。这就是为什么对同样脏的数据,
Poisson 往往比逐点拼接干净得多。把这一点对应回 3DGS:与其把高斯当不透明度 blob,
不如把它当局部法向源 / 通量基元 $V(x)=\sum_i\alpha_i K_i(x)n_i$,再解
一次 $\Delta\chi=\nabla\!\cdot V$——散点就被一个 PDE 封装成了全局一致的指示场。
§14 Shape As Points · 把全局解变成可微的一层
SAP / DPSR
— Shape As Points: A Differentiable Poisson Solver
痛点 (a)(b):Poisson 是一次性前向解,能不能让"有向点"成为可被梯度优化的参数?
关键想法 :把 Poisson 重写成谱(FFT)形式 ,于是整个求解
器可微、且 GPU 极快:把有向点栅格化成法向场 $\to$ FFT $\to$ 频域里
$\hat\chi(\omega)=\dfrac{-\,i\,\omega\cdot\hat V(\omega)}{\|\omega\|^2}$ 一步解出 $\to$
逆 FFT 得指示场 $\to$ 抠网格。因为每步可微,一个表面损失 (如到网格的
Chamfer 距离)的梯度能一路流回到点的位置和法向 ,让它们成为自由优化变量。
vs 经典 Poisson 的一次性前向:把全局解做成可微模块,于是"对 PDE 的输入做梯度下降"成为可能——显式点 ⇄ 隐式指示 ⇄ 显式网格被打通。
SAP 是连接"老数学"与"现代可微优化"的那根轴
它取了 §13 的"一次全局解",把它做成一层可微算子——于是你可以用输出表面的梯度,去
优化全局 PDE 的输入。那个 FFT 技巧是关键:它让全局解便宜到能在训练循环里被调用上千
次。这是本文里"经典思想 → 可微 3DV"最干净的一个范例,也预告了第八、九部里大量"老
重建术被重新可微化"的工作。
§15 小波流式重建 · 用局部多分辨基拆指示函数
Streaming Wavelet Recon
— Streaming Surface Reconstruction Using Wavelets
痛点 (a)(d):海量 / 流式点云,没法把整套数据塞进内存做全局解。
关键想法 :和 Poisson 同一个目标(重建指示函数 $\chi$),但把 $\chi$
展成小波基 $\chi(x)=\sum_{j,k}c_{jk}\psi_{jk}(x)$。关键事实:一个小波系数
是 $\chi$ 对基函数的局部积分 $c=\int\chi\,\psi$,借散度定理可化为只对其
支撑内输入点的面积分——于是每个系数可以独立、增量地算出来。读点一次、累加系数、永
不持有全数据,流式 / out-of-core ,常数内存。
vs Poisson 的全局线性解:小波的正交 + 局部性让系数彼此解耦、可增量算,省掉全局系统、支持流式与天然 LoD。
§16 多层 B 样条 / T 样条 · 那个"可展开的内部层级"
你想要"自动可展开的内部层级表达"?这条线就是它的经典原型。基本形如:
$$ F_L(x)=F_0(x)+\sum_{\ell=1}^{L}\sum_i c_{\ell i}\,\psi_{\ell i}(x) $$
$F_0$ 是低频全局形状,高层 $\ell$ 是局部高频残差。这比一堆无层级的高斯优雅太多——
它天然有 LoD、压缩、coarse-to-fine 优化、和局部编辑。
MBA
— Scattered Data Interpolation with Multilevel B-Splines
痛点 (c)(d):一张粗格保不住细节、一张细格丢了光滑,怎么两者兼得。
关键想法 :用一串由粗到细的控制格 $\Omega_0\subset\Omega_1\subset\cdots$;
每层用双三次 B 样条去拟合上一层留下的残差 ,于是 $F=\sum_k f_k$,结果
$C^2$ 连续。B 样条的细化还能把这串和"塌缩"成一张等价的细 B 样条。
vs 单张控制格:用层级叠加,同时拿到粗层的光滑和细层的保真。
H-splines · T-splines
— Hierarchical B-Spline Refinement (1988) · T-splines and T-NURCCs (2003)
痛点 (d):张量积样条的细化是"全局传播"的——想加一点局部细节,得插入一整行控制点。
关键想法 :Forsey–Bartels 的层级 B 样条用"overlay"——只在需要处做局部
细分,细节以相对父层的偏移存储,于是动整体形状时细节的相对关系不变。Sederberg 的
T 样条 更进一步:控制网允许 T-junction ,一行控制点可以
在局部"中止",从而支持真正的局部细化,并能把不同 knot 向量的面无缝缝合(gap-free)。
vs NURBS 的全局行/列细化:T-junction 让控制点只在该细的地方插入,第一次让"局部细化"对样条成立。
为什么层级基"免费"给你 LoD + 压缩 + 自适应
$F=F_0+\sum_\ell(\text{残差}_\ell)$ 和 Laplacian 金字塔 / 小波是同一个想法,只是换成
B 样条基:粗层扛全局形状,细层扛局部细节。于是三件好事自动到手——(i) LoD :
截断求和即降细节;(ii) 压缩 :远离特征处的细层系数几乎全是 0;(iii)
自适应 :只在残差大的地方花控制点(这正是 T-junction 的动机)。这就是
"可自动展开的内部层级"的数学骨架。
Demo 3 · 层级展开:粗轮廓 + 局部残差
层级 L
虚线是目标形状("真表面"),实线是当前用前 $L$ 层基函数重建的结果。把滑块从
0 拉到 5 :$L=0$ 时只有全局轮廓(一个低频闭合曲线),每加一层就在局部叠一层更高
频的残差,RMS 误差随之下降。这就是 $F=F_0+\sum_\ell$ 残差的"内部层级展开",也是 LoD 和
coarse-to-fine 优化的来历。
§17 尺度空间 · 把 LoD 升级成一条连续的尺度维度
更抽象、也更迷人的一招:把表示从 $F(x)$ 扩展成 $F(x,s)$,多一个连续的尺度
维度 $s$。粗尺度是全局轮廓,细尺度逐渐展开局部细节——LoD 不再是八叉树里几个离散分辨率,
而是 field 的一个连续尺度族 。
Scale-space
— Scale-space theory (Koenderink 1984 · Lindeberg 综述)
经典
Koenderink · Lindeberg
理论背景,非单篇 3DV 论文
痛点 (d):层级若只是离散几层分辨率,尺度之间不连续、也无原理保证。
关键想法 :经典尺度空间理论里,高斯平滑 / 扩散方程是多尺度表示的核心。
Koenderink 证明了高斯平滑对尺度空间表示的必要性 ,其"因果性"条件要求
尺度变粗时不能凭空产生新的局部结构 / 等值面。写成 PDE 就是
$$\partial_s F(x,s)=\Delta F(x,s),$$
或反过来建模细节残差 $F(x,s-\Delta s)=F(x,s)+R_s(x)$。
vs 离散 LoD:把"层级"提升成一条连续、且有因果性保证的尺度轴,与小波 / B 样条结合即得到非常自然的 coarse-to-fine 隐式场。
这个 $F(x,s)$ 的视角,会在第八部以一个意想不到的现代化身回来——Mip-NeRF 的"积分位置
编码"本质上就是对神经场做高斯尺度空间(见 §29)。先记住这根线,到时候你会会心一笑。
§18 R 函数 · 把"加一堆"升级成"连续函数代数"
这可能是最"别人没怎么想到能回流 3DV"的一条老路线。隐式场的组合,通常只会想到
$F=f+g$(无语义的相加)或 $F=\min(f,g),\max(f,g)$(有语义但只 $C^0$)。R 函数给的是
第三条路:把逻辑 / 集合运算换成实值函数运算 ,让并 / 交 / 差变成可控光滑的
连续函数组合。
R-functions
— Semi-Analytic Geometry with R-Functions(理论源自 Rvachev)
痛点 (c)(d):$\min/\max$ 给对了集合,却在缝处只有 $C^0$(梯度有折痕)。
关键想法 :R 函数是这样一种实函数——它的符号 完全由参数的
符号决定,于是在离散符号集 $\{-,+\}$ 上它精确实现一个布尔函数,同时作为实映射又处处
光滑。并 / 交得到连续替身:
$$f\vee g=f+g+\sqrt{f^2+g^2},\qquad f\wedge g=f+g-\sqrt{f^2+g^2},$$
($R_0$ 系统;带参 $\alpha$ 的一族 $f+g\pm\sqrt{f^2+g^2-2\alpha fg}$ 可调融合度)。它们的
零集精确等于零集的布尔组合,但除"两参数同时为零"处外处处解析——于是你能规定
光滑度 $C^k$ ,而不是被迫接受 $C^0$。
vs $\min/\max$:给出同一个集合、却可规定光滑度的连续替身——于是 CSG 结果能进 PDE、能 meshing、能优化。
§19 FRep · BlobTree · smin · 一棵可学习的场之树
FRep · BlobTree
— Function Representation (Pasko 1995) · The BlobTree (Wyvill, Guy, Galin 1999)
痛点 (b)(c):CSG 只能在固定基元上做刚性布尔树;soft blobby 又只会无脑相加。
关键想法 :FRep 把实体定义成单个实函数 $f(x)\ge 0\Leftrightarrow x\in$ 实体,
其精髓是闭合性 ——集合运算(基于 R 函数)、blending、offset、sweep、warp、
笛卡尔积、变形,全是"实函数 → 实函数"的变换,于是任意组合后仍是一个可求值的 $f(x)$。
BlobTree 则把它组织成一棵树:叶子是骨架基元(各发一个势场 $f_i$),内部节点是算子——
blend(求和)、Boolean(min/max 或 R 函数)、warp(先变形查询点再下降)。求 $F(x)$ 就是
一次遍历。
vs CSG 树:把 blending 和 warping 提升为和 Boolean 平起平坐的树节点,让"软融合"和"硬切割"在一棵树里自由混合。
smooth-min(smin)
— Smooth Minimum(Inigo Quilez,实践者参考)
痛点 (c):硬 $\min$ 并集在缝处产生折痕 → 法向 / 着色 / meshing 全出问题。
关键想法 :把硬并集 $\min(a,b)$ 换成光滑融合。多项式式:
$h=\mathrm{clamp}(\tfrac12+\tfrac{a-b}{2k},0,1)$,$\mathrm{smin}=\mathrm{mix}(a,b,h)-k\,h(1-h)$;
指数式:$\mathrm{smin}=-\tfrac1k\log(e^{-ka}+e^{-kb})$。参数 $k$ 控制融合半径,$k\to0$ 回到硬
$\min$。这正是 R 函数 $\alpha$ 族的"demo 圈版本"。
vs 硬 min/max:用可调圆角缝合接缝;其指数形 $-\log\sum e^{-kf_i}$ 直接连到下面可学习 CSG 里用的 soft-max。
Demo 2 · 函数代数:min / smooth-min / R-function
算子
min(f,g) · 硬并集
smooth-min · 圆角
R-function · 光滑并集
融合半径 k
两个圆是两个 SDF $f,g$;橙线是它们并集的零等值线,黄点标出两圆相交的"缝"。切换三个
算子、拖动滑块 k :$\min$ 在缝处留下尖角($C^0$ 折痕);smooth-min 把缝磨圆但丢了精确
并集;R-function 既光滑、又在远离缝处精确等于 $\min$(保住严格并集语义)。这就是"无脑相加"
和"有集合语义的连续函数代数"之间的差别。
§20 可学习 CSG · 把函数代数交给梯度下降
上面这些组合规则,今天正被做成可微、可学习 的版本:网络去发现"把形状拆成哪些
可组合基元、用什么布尔结构"。注意它们的 soft-max / soft-min 内核,正是 §19 指数 smin 的同一个
算子。
CvxNet · BSP-Net · CSG-Stump · UCSG-Net
— 可学习凸分解 / 二叉空间剖分 / CSG-Stump / 无监督 CSG 树
痛点 (b)(c):能不能让网络自己把形状解析成一组可组合、可编辑、可解释的基元?
关键想法 :CvxNet 把每个凸体写成学到的半空间的交(对半空间 SDF 取 soft-max),
形状是 $K$ 个凸体的 soft-min 并;指示函数与 SDF 都可微、端到端训练。BSP-Net 用一组学到的超平面
经交 → 并,镜像一棵 CSG/BSP 树,二值化后直接出带尖锐边的多边形网格。CSG-Stump 把任意深度的
CSG 树拍平成定深的"补 → 交 → 并"三层(可证与一般 CSG 等价),给网络一个定维输出。UCSG-Net
则无监督 地同时学基元和布尔运算。
vs 手搓 CSG / FRep:把基元和组合结构都变成可微、可学习,于是从数据里"长出"一棵可解释、可编辑的场之树。
§21 几何坐标 · 让权重由邻接结构而非手搓核来定
回到单位分解 $F=\sum_i\lambda_i(x)f_i(x)$。前面的权重 $\lambda_i$ 多半是手挑的高斯 / Wendland
核。这条被 3DV 忽略的线说:权重本身可以由几何(Voronoi、调和性、张角)算出来 ,
而不是每个基元自己飘着一个孤立核。
自然邻 · 重心 · 调和坐标
— Natural Neighbour Distance Functions (Boissonnat–Cazals 2002) · Mean Value Coordinates (Floater 2003) · Harmonic Coordinates (Joshi 2007)
痛点 (b)(c):手挑核的带宽是个超参;能不能让"局部 / 全局关系"由空间邻接结构自然决定?
关键想法 :三种几何定义的权重。自然邻坐标 把 $x$ 对样本 $p_i$ 的权
定为"$x$ 的 Voronoi 胞从 $p_i$ 原胞里抢走的体积分数"$\lambda_i(x)=\mathrm{vol}(V_i\cap V_x)/\mathrm{vol}(V_x)$,
用它插值各点的带符号距离即得光滑 pseudo-distance 场。均值坐标(MVC) 从调和函数的
均值定理出发,给出任意多边形 / cage 上闭式、处处可算的广义重心权
$w_i=\big(\tan\tfrac{\alpha_{i-1}}{2}+\tan\tfrac{\alpha_i}{2}\big)/\|x-v_i\|$。调和坐标
则把每个坐标函数取成 cage 内 Laplace 方程 $\nabla^2 h_i=0$ 的解,于是即便强凹 cage 权也非负。
vs 手挑径向核:权重由 Voronoi / 张角 / 调和延拓导出——它们都满足 $\sum_i\lambda_i\equiv1$,即"天生就是单位分解",只是来自几何而非核。
为什么这条线"就是"单位分解
自然邻、均值、调和坐标全部满足 $\sum_i\lambda_i(x)\equiv1$ 且复现仿射函数——它们本身
就是单位分解 ,只不过权来自几何而非选定的核。把它们塞进 $F(x)=\sum_i\lambda_i(x)f_i$,
就继承 §2 那套"光滑权 ⇒ 全局光滑"的保证。代价是动态增删点要更新邻接结构;但若用一张粗 anchor
图或体素胞做局部坐标,它很适合做可学习隐式场的 backbone——这正是下一部 Scaffold-GS 的 anchor
思路的远祖。
§22 Hypertexture · 把"表面"推广成有厚度的连续密度
最后一块拼图,呼应需求里"希望不透明度 / 厚度也有自适应强度"。老图形学里 Perlin & Hoffert
的 Hypertexture 很值得重读:它不把物体建模成连通表面,而是建模成空间中的密度分布。
Hypertexture
— Hypertexture(Perlin & Hoffert)
SIGGRAPH 1989
Ken Perlin & Eric Hoffert · NYU
痛点 (a):硬表面表达不了毛发、烟、半透明边界这类"既不是纯内也不是纯外"的东西。
关键想法 :把"面"扩展成密度 $\rho(x)=H(F(x),x)$——base shape $F$ 给硬区 / 软区,
软区里用 shaping function 调出体密度。现代写法可以是
$$\rho(x)=\sigma\!\Big(-\tfrac{F(x)}{\tau(x)}\Big)\cdot\beta(x)\quad\text{或}\quad
\rho(x)=\beta(x)\,e^{-F(x)^2/2\tau(x)^2}\,|\nabla F(x)|,$$
其中 $\tau(x)$ 是可学习厚度 、$\beta(x)$ 是可学习不透明强度 。
vs 把不透明度散喷成点(3DGS):让不透明度 / 厚度成为依附在全局连续场 $F$ 上的一层可学习"密度壳",而不是每个点自己喷一点。
一个值得记住的合成路线
把前几部连起来:用结构化局部装配(PoU / 核 / 层级)得到一个干净的全局场 $F$,再用
Hypertexture 式的密度壳 $\rho=\sigma(-F/\tau)\cdot\beta$ 把它转成可微、可 splat /
可 raster 的体密度。这样你既有 SDF 般干净的几何,又能像 3DGS 那样直接体渲染——
这恰是第九部许多"高斯 ⇄ 场"工作在工程上走的那条缝。
§23 局部特征隐式场 · 把全局码切成一格格局部码
现在跨进神经场时代。一个反复出现的发现是:很多现代神经场,骨子里就是"局部基 ×
系数"或"空间混合专家" ——也就是前七部那些经典思想的神经化身。先从最直接的一类:
把 DeepSDF/OccNet 的"单一全局码 + 全局 MLP"换成"一格格局部码 + 共享小 decoder"。
ConvONet · LIG · DeepLS · IF-Net
— Convolutional Occupancy Networks · Local Implicit Grid · Deep Local Shapes · IF-Net
痛点 (b)(d):单一全局 latent + 全局 MLP(DeepSDF)纠缠、不可局部编辑、扩不到大场景。
关键想法 :在空间里铺一张特征格 / 平面,查询点的占据值
$o(x)=f_\theta\big(\psi(x,c)\big)$,其中 $\psi$ 是对卷积特征格在 $x$ 处做三/双线性插值 、
$f_\theta$ 是共享小 decoder。DeepLS 把一格格独立 latent 各参数化一个局部 SDF;LIG 学一个
part-scale 的局部几何字典、按重叠权混合;IF-Net 用多尺度特征体。它们共同点:场是局部
重建 的,全局连续来自重叠 / 插值的码。
vs DeepSDF 的单一全局码:把它局部化成一张码格 + 插值——而那个三线性插值权,恰好就是帽函数单位分解(回到 §2)。
§24 小 MLP 的空间混合 · 把单位分解推到极限
KiloNeRF · DeRF · MVP
— KiloNeRF (thousands of tiny MLPs) · DeRF (Voronoi 分解) · Mixture of Volumetric Primitives
痛点 (b):一张大 MLP 慢且全局纠缠;能不能让成千个小专家各管一摊?
关键想法 :KiloNeRF 把场景切成均匀格,每格一个极小 MLP ,查询只用
所在格的网络——这是单位分解的"指示函数(硬盒子)权"极限,比整张 NeRF 快 ~1000×。DeRF 用
学到的 Voronoi 图 分区,每胞一个网络,用与排序合成相容的 soft 归一混合(即自适应
Voronoi/Shepard 单位分解)。MVP 用一组可动的小体积基元 (带 RGBA voxel 载荷),
沿光线按不透明度归一混合——这正是3DGS 的场式祖先 。
vs 单一 NeRF MLP:分而治之的空间混合专家——KiloNeRF 是硬分区单位分解、DeRF 是软自适应单位分解、MVP 是 soft blob 混合。
§25 层级 / 多分辨网络 · 八叉树与多分辨哈希
NGLOD · ACORN · Instant-NGP · MINER
— Neural Geometric LoD · Adaptive Coordinate Networks · Instant-NGP 多分辨哈希 · Multiscale INR
痛点 (d):神经场要 LoD、要快、要按信号复杂度分配容量。
关键想法 :NGLOD 在稀疏八叉树 角点存特征,SDF 是各层三线性插值特征
之和——遍历几层即得连续 LoD。ACORN 是一棵局部坐标网络的四/八叉树 ,在线自适应分裂,
块间用单位分解窗 混合保连续(论文里明写 partition of unity)。Instant-NGP 用 $L$ 个
分辨率层、每层用哈希表存可训练特征、三线性插值后拼接喂小 MLP——一张学到的多层局部基 。
MINER 把 INR 写成 Laplacian 金字塔 ,每层小 MLP 拟合层间残差(最像小波的化身)。
vs 单尺度网络:用八叉树 / 多分辨哈希 / 金字塔把"层级基"神经化——NGLOD/Instant-NGP 是带三线性单位分解的多层有限元基,MINER 是 Laplacian 金字塔。
§26 张量分解场 · 把场写成低秩张量积
TensoRF · K-Planes · Plenoxels · DVGO
— Tensorial Radiance Fields · K-Planes/HexPlane · Plenoxels · Direct Voxel Grid Optimization
痛点 (b)(d):稠密体素太占内存;能不能用可分离的低秩因子表达场。
关键想法 :把特征体当成张量做低秩分解 。TensoRF 用 CP(向量外积和)
或更高效的 VM(向量–矩阵)分解 $\mathcal{T}=\sum_r v_r^X\otimes M_r^{YZ}+\cdots$;K-Planes/HexPlane
用 $\binom{d}{2}$ 张特征平面、查询时各平面双线性插值后相乘;Plenoxels 干脆不要 MLP ,
稀疏体素存密度 + 球谐系数、三线性插值即得场;DVGO 是"密度体素格 + 浅 MLP"。这些里的基都是
沿轴 / 平面可分离的因子,组合规则是外积 / Hadamard。
vs 稠密体素 / 纯 MLP:把辐射场写成显式低秩张量分解——基 = 可分离因子,省内存、训得快,Plenoxels 更证明"MLP 可有可无、真正干活的是格 + 三线性单位分解 × 球谐基"。
§27 Factor Fields · 把整片神经场一网打尽的大一统
如果只读本部的一节,读这一节。Factor Fields 证明了:上面(以及下面)这一整个动物园,
其实都是同一个模板 ——系数场 × 基函数场。
Factor Fields / Dictionary Fields
— Factor Fields: A Unified Framework for Neural Fields and Beyond
痛点 (b)(d):这么多神经场表示,到底有没有一个统一的数学骨架?
关键想法 :把信号写成若干"因子"之积、再投影:
$$ s(x)=\mathbf{P}\Big(\textstyle\prod_i f_i\big(\gamma_i(x)\big)\Big) =\underbrace{c(x)}_{\text{系数场}}\times\underbrace{b(\gamma(x))}_{\text{基函数场}} $$
其中系数场 $c(x)$ 平滑、低容量,基场 $b$ 常在一个周期 / 平铺坐标变换 $\gamma$ 下取值。选不同因子
就还原出各家 :one-hot 系数 + 每格基 → 稠密格 / DVGO;恒等系数 + Fourier 基 →
位置编码 NeRF;平面 / 向量因子 + 乘法组合 → TensoRF / K-Planes;多分辨哈希基 → Instant-NGP。
论文自己的新实例 Dictionary Fields 用"平铺坐标下的共享字典基 × 空间系数场",更紧凑、更易泛化。
vs 任意单一神经场:证明整个动物园是一个模板 ——系数场 × 基场——设计自由度只剩 (a) 坐标变换 γ、(b) 基、(c) 组合算子。
把经典与现代焊在一起的那句话
Factor Fields 的 $s(x)=\mathbf{P}(\prod_i f_i(\gamma_i(x)))$ 就是把有限元、RBF、Fourier、
张量分解 同时一般化的"基 × 系数"。回头看前七部:单位分解是"局部基 × 帽函数系数",RBF 是
"Green 函数基 × 解出的系数",小波 / B 样条是"多分辨基 × 残差系数"。现代神经场没有发明新
范式,它只是把这套老范式的基和系数都换成了可学习的、并加了一个坐标变换 γ。 这就是本文的
主论点。
§28 可学习核 · 当 RBF / Poisson 学会了自己的核
§10–§13 的核方法和 Poisson,今天被重写成"学这个核 "。这条线把经典重建术直接
接上了大数据先验。
Neural Splines · NKF · NKSR
— Neural Splines (无限宽网=核) · Neural Fields as Learnable Kernels · Neural Kernel Surface Reconstruction
痛点 (a)(d):RBF / Poisson 优雅但核是固定的、且扩不到场景级带噪点云。
关键想法 :都还是核岭回归 $f(x)=\sum_i\alpha_i\,k(x,x_i)$,区别在核。Neural Splines
用无限宽浅 ReLU 网的 NTK 当核——把三次样条 / 薄板插值推广到 3D,无需 SGD 训场。
NKF 把核 $k_\theta$ 做成可学习 的神经特征内积,测试时按输入点解 $\alpha$,于是核里
编码了形状先验、能泛化到没见过的类别。NKSR 把它扩到场景级:稀疏体素层级 + 紧支撑可学习核
+ 稀疏线性解 + 梯度拟合(拟合场的梯度到法向) ——而这正是 (Screened) Poisson 的
推广 :Poisson 是固定 Green 函数核的特例,NKSR 学这个核、并保留稀疏层级解。
vs 固定核 RBF / Poisson:把核本身变成可学习、加层级与稀疏解——NKSR 即"学出来的 screened-Poisson",能吃百万级带噪点。
§29 频率 / 尺度空间网络 · Fourier、小波、与 Mip 的回归
Fourier Features · SIREN · BACON · Mip-NeRF · NFFB
— Fourier Features · SIREN · Band-limited Coordinate Networks · Mip-NeRF (积分位置编码) · Neural Fourier Filter Bank
痛点 (c)(d):MLP 有谱偏置(学不动高频);多尺度 / 抗锯齿需要频率上的控制。
关键想法 :把"局部基"搬到频域 。Fourier Features 在输入前做
$\gamma(x)=[\cos 2\pi Bx,\sin 2\pi Bx]$,经 NTK 把网络等效核变成可调带宽的平稳核;SIREN 用
$\sin$ 激活,把频率基烤进激活、且导数精确(能解 Eikonal/Poisson)。BACON 的每层解析带限 ,
给出无需逐尺度监督的多尺度频带分解。Mip-NeRF 用积分位置编码 ——对锥台内 Fourier 特征
取期望,按 footprint 衰减高频,正是对神经场做高斯尺度空间 (呼应 §17)。NFFB 把空间
层级与频带显式对齐成一个学到的滤波器组(小波)。
vs 朴素 MLP:把表示放进 Fourier / 小波 / 尺度空间——Mip-NeRF 的 IPE 就是 §17 那个 $F(x,s)$ 在神经场上的化身。
§30 高斯 → 表面 · 让 blob 重新变成面
最后一部回到起点的那个 3DGS,看 2024 起的工作如何一步步把"散装 blob"拽回"全局场 / 表面"。
顺着 globality 递增来读:先让基元本身成为面片,再把它们的聚合定义成一个真正的标量场。
2DGS · Gaussian Surfels · SuGaR · GOF
— 2D Gaussian Splatting · Gaussian Surfels · Surface-Aligned GS · Gaussian Opacity Fields
痛点 (a):3DGS 是厚 blob、多视不一致,抠不出干净表面 / 法向。
关键想法 :四步增 globality。2DGS 把椭球压成有向 2D 圆盘
(surfel) ——基元本身就是 2-流形的一片局部切片,配深度畸变 / 法向一致正则把片们缝成
视角一致的面。Gaussian Surfels 把 z-scale 设 0 达到同样的 surfel 几何。SuGaR
加正则把高斯压到表面上,再跑 Poisson 重建 出网格(直接用上了 §13)。GOF
最干脆:由高斯的体渲染直接定义一个不透明度场 ,表面就是它的等值面 ,
用 Marching Tetrahedra 抠——这是 2024 系里最彻底的"破碎堆 → 全局场"那一手。
vs 原始 3DGS:要么把基元变成切平面片(2DGS/Surfels),要么把聚合定义成一个真正的标量场取等值面(GOF)——破碎被治愈。
§31 高斯 ⇄ 隐式场 · 显式局部 + 全局隐式,双向耦合
NeuSG · GSDF · GVKF
— NeuSG (3DGS+NeuS) · GSDF (3DGS 与 SDF 双分支) · Gaussian Voxel Kernel Functions
痛点 (a)(b):能不能不只是事后抠网格,而让显式高斯与一个全局隐式场在训练里互相规整?
关键想法 :把局部高斯和全局隐式场同时 训、互相引导。NeuSG 把高斯压得极薄
当作 NeuS 隐式面的采样 / 引导。GSDF 是双分支 :SDF 分支把高斯往零集拉(更干净、少
floater),高斯的深度 / 密度又反过来监督并加速 SDF 收敛。GVKF 最贴本文主题——对体素化的离散高斯做
核回归 ,直接建立一个连续(隐式)场 再抠面:核回归本身就是那个
"局部→全局"算子,是本文论点的代表作。
vs 事后 Poisson 网格:把"显式局部基元 ⇄ 全局连续场"做成双向耦合的联合优化(GVKF 更是直接用核回归把高斯变成连续场)。
§32 结构化 / LoD 高斯 · anchor 即局部 chart,树即层级
Scaffold-GS · Octree-GS · Hierarchical 3DGS
— Scaffold-GS (anchor 神经高斯) · Octree-GS (LoD 锚) · A Hierarchical 3D Gaussian Representation
痛点 (b)(d):3DGS 是一锅无结构的散点,没层级、没自适应、城市级扛不住。
关键想法 :给散点装上结构。Scaffold-GS 用一张稀疏 anchor
点格,每个 anchor 现场用 MLP 按视角 / 距离预测 一小撮局部神经高斯——anchor 就是一个
局部 chart ,全局场 = 一组被共享网络解码的 charts(正是"局部基元 → 装配场"的框架)。
Octree-GS 把 anchor 组织进八叉树 ,按观察距离选 LoD。Inria 的
Hierarchical 3DGS 把真高斯合并成一棵树 (内部节点是子节点的近似),
支持 LoD 选择与层间平滑插值,分块训城市级。
vs 扁平 3DGS:用 anchor(局部 chart)+ 八叉树 / 合并树(层级),把散点装回一个有结构、可 LoD 的多尺度场。
§33 新基元 · 当 splat 的核被换成更"场友好"的形状
另一条前沿:换掉高斯本身。注意一个统一线索——好的基元往往是紧支撑 / 有界 (而非
高斯的无限拖尾)或频域可截断 的,因为紧支撑 / 可截断正是构成一个良态全局场(接近真
单位分解)的关键性质。
3D Convex Splatting · Deformable Beta · DRK · Splat-the-Net
— 3D 光滑凸体 · Deformable Beta Splatting · Deformable Radial Kernel · Splattable Neural Primitives
痛点 (a)(c):高斯的无限拖尾、各向同性径向、糊边——用更富的局部基元能不能更少基元、更利索的全局场。
关键想法 :把基元升级。3D Convex Splatting 用 3D 光滑凸体,能表达硬边 /
平面、基元更少。Deformable Beta Splatting 换成有界支撑 、频率自适应的
Beta 核(拖尾不再无限,更接近真分区)。DRK 让径向轮廓沿角度可变、得到带可控边缘锐度
的星形 footprint。Splat-the-Net 把每个基元做成"椭球内的浅神经密度场 ",且
有闭式线积分——用 10× 更少的基元达到 3DGS 质量。
vs 高斯核:用凸体 / 有界 Beta / 各向异性径向 / 神经 splat 等更富、更"紧支撑"的局部基元,更少基元、更接近良态全局场。
Fourier / Polynomial Splatting
— Fourier Splatting(频域可截断 = 内建 LoD)· Gaussian Splatting with Polynomial Kernels
痛点 (d):splat 表示能不能内建连续 LoD / 更便宜的核。
关键想法 :选基元的代数形式 来让全局场更好用。Fourier Splatting 给基元
挂Fourier 描述子 ,运行时截断 Fourier 系数 即连续调节细节(内建 LoD,
呼应 §29)。Polynomial-kernel splatting 把指数高斯核换成多项式核(紧支撑、算得更便宜,比无限拖尾的
高斯更"分区友好")。
vs 固定高斯核:在频域 / 多项式里选核,换来内建 LoD(截断系数)或更低算力——把 §16/§29 的层级与频率思想塞进 splat 基元。
§34 精确积分 / 空间剖分 · 从渲染数学层面修好"破碎"
EVER · 3DGRT · Radiant Foam
— Exact Volumetric Ellipsoid Rendering · 3D Gaussian Ray Tracing · Radiant Foam (Voronoi 泡沫)
痛点 (a):3DGS 的"破碎"一半来自渲染数学本身——2D billboard 的 alpha 合成不归一、依赖排序、会 popping。
关键想法 :从积分层面修。EVER 对椭球做精确 的发射型体渲染
(光线追踪,而非投影 billboard 合成),消除 popping 与视角相关密度。3DGRT 用 BVH 光追
高斯粒子、支持二次光线(反射 / 折射)。Radiant Foam 最激进:把场景表示成 Voronoi
"泡沫" (一个体网格)并用经典网格遍历光追——这是最强的"真·全局剖分":局部胞精确铺满
空间 (Voronoi 胞上的一个真单位分解),是重叠 blob 的反面。
vs 2D billboard alpha 合成:把全局聚合做成精确 的体积分(EVER/3DGRT)或空间剖分 (Radiant Foam)——从渲染数学层面根治"全局破碎"。
§A 还没解决的问题
把这片领域读完,几个明显的缝隙浮出水面——它们大多正是"经典数学"和"现代可微 3DV"还
没真正焊死的地方。
可微、可学习的单位分解 SDF 还没成主流。 MPU/IMLS 那个
$F=\sum_i\varphi_i Q_i$ 的归一加权平均,理论上完全可以神经化、可 splat(chatgpt.md 押的
"Hierarchical Partition-of-Unity Implicit Field"),但还没有一篇把它做成像 3DGS 那样好用的
端到端可训练表示。这是最直接的一块空地。
可微 Poisson / 核重建还没规模化进辐射场训练。 SAP 和 NKSR 各自证明了"全局解
可微""核可学习且可扩展",但把"高斯当法向源 → 解 $\Delta\chi=\nabla\!\cdot V$ → 体渲染"整条
路做进实时辐射场训练,工程上仍重。
函数代数(R-函数 / FRep)几乎没回流可微 3DV。 可学习 CSG 还停在 ShapeNet 级
的几何解析,没人把 R-函数的"光滑 + 集合语义"内核接到照片重建里——一棵 coarse R-函数树 +
局部残差基的可学习场(chatgpt.md 的方案 C)基本是空白。
"连续尺度" $F(x,s)$ 仍多停在抗锯齿。 Mip-NeRF/BACON 把尺度空间用在了频率
控制上,但把 $s$ 当成一条真正可查询、可编辑的 LoD 维度(而非只是离散几层)还很初步。
厚度 / 密度壳缺乏统一处方。 Hypertexture 式的 $\rho=\sigma(-F/\tau)\cdot\beta$
把不透明度依附到全局场上,但"自适应厚度 / 强度"如何与几何联合学习、又不退化回散点,尚无定论。
缺一个公认的"局部基 × 系数"统一实现。 Factor Fields 在理论上统一了神经场,
但还没有一个把"经典基(PoU/RBF/小波)+ 现代可学习系数 + 可微渲染"打通的标准框架 / 代码库。
总结一句话
这片领域的故事可以压成一句:"全局连续场"从来不必等于"一个单一的大网络",也不该退化成
"一堆散装的点"——只要给局部基元配上一条有结构的组合规则 $\mathcal{A}$(单位分解 / 全局 PDE 解 /
函数代数 / 多尺度残差),局部就能优雅地、可证光滑地长成全局。 过去四十年的图形学早把这套
数学备齐了;3DGS 和神经场只是又把它发现了一遍——而真正的空地,在于把"最有结构的那个 $\mathcal{A}$"
(层级单位分解 + R-函数粗代数 + 紧支撑 / 多尺度残差核)做成既可微、又可 splat 的下一代表示。
§B 名词表 · Glossary
术语 解释
等值面 / level set 标量场 $F$ 取定值(通常 0)的那张面 $\{x:F(x)=0\}$,即隐式表面。
SDF 带符号距离函数:$F$ 给到面的带符号距离,额外满足 $|\nabla F|=1$(Eikonal)。
单位分解 / PoU 一组非负权 $\varphi_i$ 满足 $\sum_i\varphi_i\equiv1$;$F=\sum_i\varphi_i f_i$ 是局部专家的归一加权平均。
local support 一个基元 / 基函数只在某有限范围内非零;紧支撑核(Wendland、多项式)即其极端。
MLS Moving Least Squares:在每个查询点现解一个带权最小二乘局部拟合;面 = 投影算子不动点。
RBF 径向基函数:$f(x)=\sum_i\lambda_i\phi(\|x-c_i\|)+P(x)$;薄板样条是其最小弯曲能量特例。
薄板样条 / 双调和 最小化 $\int\|\nabla^2 f\|^2$ 的插值解;核 = 双调和算子 $\Delta^2$ 的 Green 函数 $\propto|x|$。
GP / GPIS 高斯过程隐式面:把场建成 GP,后验均值给面、方差给不确定性;与薄板 RBF 等价。
Poisson 重建 把法向当指示函数梯度,解 $\Delta\chi=\nabla\!\cdot V$,面 = $\{\chi=\tau\}$;一次全局解。
R 函数 符号由参数符号决定的实函数;给 min/max 并交以可规定光滑度的连续替身。
FRep / BlobTree 实函数表示 / 把基元 + blend + warp + Boolean 组织成一棵可遍历的场之树。
smin smooth-minimum:硬 $\min$ 并集的可微圆角版;指数形 $-\tfrac1k\log\sum e^{-kf_i}$。
多层 / 层级基 $F=F_0+\sum_\ell$ 残差:粗层给轮廓、细层给细节;天然 LoD + 压缩。
小波 局部 + 多分辨的基;系数是局部积分,可独立 / 增量算(流式重建)。
尺度空间 把表示扩成 $F(x,s)$,$s$ 是连续尺度;高斯平滑 / 扩散方程是其核心。
Factor Fields 把神经场统一成"系数场 × 基场" $s(x)=\mathbf{P}(\prod_i f_i(\gamma_i(x)))$。
anchor / chart 一个局部坐标块 / 局部专家的中心;Scaffold-GS 的 anchor 即一个局部 chart。
surfel 有向的面元(小圆盘);2DGS / Gaussian Surfels 用它当 2-流形的局部切片。
§C 推荐阅读顺序
按"先把母模式吃透、再沿家族铺开、最后看现代回响"的教学顺序,而非时间顺序。
MPU implicits(§6) — 先看这一篇,把"局部专家 + 单位分解 + 八叉树 LoD"一次看全;它是整片领域的缩影。
IMLS(§8) — 最干净的归一加权平均隐式场公式,正是 Demo 1 跑的那个;带拓扑保证。
Turk–O'Brien 变分隐式面(§9)+ Carr RBF(§10) — 理解"最小弯曲能量 = 薄板样条 = 双调和 Green 函数"这条最优雅的等式链。
Poisson 重建(§13) — 换一种哲学:"不局部混合,而一次性全局解";体会"考虑所有点"的鲁棒性。
Shape As Points(§14) — 看经典全局解如何被做成可微的一层,是连接老数学与现代优化的轴。
多层 B 样条(§16) — 把"可自动展开的内部层级"$F=F_0+\sum_\ell$ 残差刻进直觉(配 Demo 3)。
R 函数(§18)+ smin(§19) — 理解"有集合语义的连续函数代数"为何强于无脑相加(配 Demo 2)。
Factor Fields(§27) — 现代部分的核心:一句 $s=\mathbf{P}(\prod f_i(\gamma_i(x)))$ 把整片神经场统一,回看前面全是它的特例。
NKSR(§28) — 看 RBF / Poisson 如何以"可学习核 + 稀疏层级"的姿态规模化回归。
GOF + GVKF(§30/§31) — 现代落点:高斯如何被真正定义成一个连续标量场、再取等值面。
Radiant Foam(§34) — 收尾:用 Voronoi 剖分把"重叠 blob"换成"精确铺满空间的真单位分解",正好回到开篇那个"破碎 vs 封装"的对照。
Made for learning. 完整 BibTeX、勘误、补遗欢迎 issue。最后更新 2026-06-01。
本站所有内容基于公开发表论文 / arXiv preprint / 项目页 / 官方代码仓。
交互演示是 Canvas2D 的教学玩具,数值不代表论文实际性能。