PPO
— Proximal Policy Optimization Algorithms
裸策略梯度一步更新太大就训崩，TRPO 又太重。
关键想法：用新旧策略的概率比 $r_t$ 乘优势，再把 $r_t$ 截断在 $[1-\epsilon,1+\epsilon]$， 超过就不再给奖励梯度——一行 clip 就近似了信任域，简单、稳、好并行。它是后面几乎每个「在仿真里 RL」工作的默认引擎。
把 TRPO 的二阶约束换成一阶 clip，几乎同等稳定却好实现得多。
机器人学习 · 模仿 vs 强化 · 两条通往泛化的路
机器人为什么必须 RL，
以及两条路线之争
一位朋友扔来三句话：「机器人任务要到泛化级成功率，一定得上 RL。要么在真实世界做 online RL， 要么把 sim 和 real 的 gap 关掉、然后在仿真里疯狂 RL。我觉得我们走第二条。」 这三句话背后压着十五年的机器人学习史、两个互相较劲的工程流派，和 2026 年最热的几篇工作。这篇就把它逐字拆开。
我们用一条具体的线索串起来：Physical Intelligence 的 π 家族—— π0 → π0.5 → π0.6 → π*0.6。最后那个带星号的 π*0.6，正是「给机器人做 RLHF」的当红样板。 预设读者：会基本高数、线性代数、机器学习（知道什么是梯度、什么是最大似然、什么是神经网络就够）。 不会强化学习、不懂 sim-to-real 也没关系——我们从零讲。
先给一句话答案
模仿学习（行为克隆）能让机器人「学会一个动作」，但它天花板就是示范者本身，而且小误差会 沿时间复利式累积，把机器人推到示范里从没出现过的状态——于是「能用一半的时候」很常见，「可靠到能部署」很难。 要跨过这道墙，唯一已知的办法是让机器人从自己的尝试里学——这就是 RL。RL 怎么落地，分成两条路： (一) 直接在真实机器人上做（贵、慢、危险，但没有 gap）； (二) 先把仿真做准（关 gap），再在上千个并行仿真里疯狂 RL，最后迁移回真机（省、快、能泛化，但 gap 是命门）。 这两条路不是对立，越来越多 2026 的工作是「在仿真/世界模型里学探索 → 真机上少量 online RL 收尾」的合流。
阅读路径建议
零基础：从 §1 顺读，Primer 四节把「模仿 vs 强化」和「为什么撞墙」讲透，配 Demo 1。 懂 RL、想看机器人这边：直接跳 §9（路线一）和 §13（路线二），两条线各自成章。 只想知道 π*0.6 / RECAP 是什么：跳 §12。 只看最新：跳第五部前沿（§19–§22），全是 2025.11 之后的工作。
§1中心对象：VLA、模仿学习，与 π 家族
先把舞台上的主角认全。今天的「通用机器人大脑」大多是一个 VLA（Vision-Language-Action）模型： 输入是看到的画面（V）和一句话指令（L），输出是该发给机器人的动作（A）。 它通常拿一个预训练好的视觉-语言模型（VLM）当骨架，再接一个「动作专家」把高层理解翻译成连续的关节/末端指令。 你可以把它想成「会动手的 GPT」：同样是预训练 + 微调的范式，只是输出从 token 变成了力矩。
这些模型怎么训出来的？绝大多数靠模仿学习（Imitation Learning），最常见的形式是行为克隆（Behavior Cloning, BC）： 人类遥操作机器人做几千上万次任务，录下「画面 → 人当时发的动作」成对数据，然后让模型做监督学习去拟合人的动作。 这和大语言模型的 SFT（监督微调）是一回事——都是「给定输入，最大化示范输出的似然」。把这句话刻在脑子里： BC 之于机器人 ≈ SFT 之于 LLM。
关键想法 · 一句话
模仿学习教机器人复刻人类示范；强化学习（RL）教机器人超过示范、从自己的成败里改进。 前者的上限是「和老师一样好」，后者才有「比老师更可靠」的可能。整篇文章都在讲：为什么机器人非要那一步 RL，以及那一步怎么走。
一条具体的线索：π0 → π0.5 → π0.6 → π*0.6
抽象的话容易飘，我们钉死一条真实的产品线——Physical Intelligence（Sergey Levine、Chelsea Finn 等人创办）的 π 家族。 它干净地演示了「从模仿到强化」这条主线：
| 型号 | 是什么 | 关键增量 | 时间 |
|---|---|---|---|
| π0 | flow-matching VLA，跨 7 种机器人 / 68 任务 | 用「流匹配」生成连续动作块（50Hz） | 2024.10 |
| π0.5 | 开放世界泛化的 VLA | 异构数据共训 + 先预测子任务再出动作 | 2025.04 |
| π0.6 | 下一代基础监督 VLA（BC/SFT 阶段） | 更强骨架（Gemma 3 4B + ~860M 动作专家） | 2025.11* |
| π*0.6 | π0.6 + RECAP：从经验里学的 VLA | 离线 RL 预训练 + 优势条件化 + 真机练习 | 2025.11 |
一个需要校正的说法（诚实优先）
朋友说「π0.6 = π0.5 + 更丰富的 conditioning；π0.6* = π0.6 + RECAP」。后半句是对的——
π*0.6 = π0.6 + RECAP 正是官方的命名逻辑（星号代表「经过离线 RL 预训练 / 从经验中学」的那一版）。
但前半句不太准：官方资料里 π0.6 是一个全新的基础监督模型（就是那个还没上 RL 的 BC 版），
并不是「π0.5 加 conditioning」。真正引入「更丰富 conditioning」的是 RECAP 的优势条件化（advantage-conditioning）——
让策略以「这次比平均好还是差」为条件。所以更准确的图景是：
π0.6 = 更强的基础 BC 模型，而 conditioning（优势） + RL = RECAP，两者合起来才是 π*0.6。
这个区分很重要，因为它正是「模仿 → 强化」那一步发生的地方。详见 §12。
§2核心方程：MDP、RL 目标、模仿目标
要讲清楚两者的差别，需要一个共同的数学舞台：马尔可夫决策过程（MDP）。它就是「机器人 + 世界」的标准抽象：
$$ \mathcal{M} = (\mathcal{S},\, \mathcal{A},\, P,\, r,\, \rho_0,\, \gamma) $$状态 $s\in\mathcal{S}$（机器人看到/知道的）、动作 $a\in\mathcal{A}$（发给电机的）、转移 $P(s'|s,a)$（世界怎么变，这就是「物理」）、 奖励 $r(s,a)$（做得好不好）、初始分布 $\rho_0$、折扣 $\gamma$。策略 $\pi_\theta(a|s)$ 是我们要学的神经网络。 RL 的目标是最大化期望折扣回报：
$$ J(\pi_\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\!\left[\sum_{t=0}^{\infty}\gamma^t\, r(s_t,a_t)\right],\qquad \theta^\star=\arg\max_\theta J(\pi_\theta) $$注意期望下标 $\tau\sim\pi_\theta$：轨迹是策略自己跑出来的。这一点是后面所有故事的根。 对比之下，模仿学习（BC）的目标根本不优化回报，它只在人类数据集 $\mathcal{D}$ 上做最大似然：
$$ \mathcal{L}_{\text{BC}}(\theta) = -\,\mathbb{E}_{(s,a)\sim\mathcal{D}}\big[\log\pi_\theta(a\mid s)\big]\ \xrightarrow{\text{高斯}}\ \mathbb{E}_{(s,a)\sim\mathcal{D}}\big\|\pi_\theta(s)-a\big\|_2^2 $$直觉：差别就藏在那个分布下标里
BC 在人类访问过的状态分布 $d_{\pi^\star}$ 上学；可部署时机器人走的是它自己的状态分布 $d_{\pi_\theta}$。 只要这两个分布对不齐（它们注定对不齐），训练时见过的招在测试时就不够用。RL 直接在 $d_{\pi_\theta}$ 上优化， 天生没有这个错位——代价是它需要 $r$、需要试错、需要交互。整篇的张力就在这里。
§3模仿为什么撞墙：复利误差与协变量漂移
现在把「撞墙」量化。2011 年 Ross 与 Bagnell 的经典结果（DAgger 那篇）给了一个吓人的界：设策略每一步犯错的概率不超过 $\epsilon$， 任务长度为 $T$ 步，那么纯模仿学习的总代价（相对最优）会以
$$ J(\pi^\star)-J(\pi)\ \le\ \mathcal{O}(T^2\,\epsilon) $$增长——关于时间是平方的。直觉很简单：第一步犯个小错，机器人就滑到一个稍微陌生的状态； 在陌生状态它更可能再犯错，于是滑得更远……误差不是相加，是复利。相比之下，如果能在机器人自己走到的状态上拿到正确标签 （这正是 DAgger / on-policy 的做法），总代价降到 $\mathcal{O}(T\,\epsilon)$，只是线性。 $T^2$ 对 $T$，这道鸿沟就是「为什么堆更多示范数据，成功率却越来越难涨」的全部秘密—— 示范数据教不会机器人「从它自己搞砸的地方爬回来」，因为人类示范里压根没有那些状态。
# 为什么模仿会复利式漂走，而在策略纠正不会（教学玩具，非真实动力学）
def rollout(corrected, eps, T=200):
d = 0.0 # 与专家分布的偏离
for t in range(T):
noise = uniform(-eps, eps)
if corrected: # DAgger / RL：在「自己走到的状态」上被纠正
d = 0.86 * d + noise # 均值回归 → |d| 被压住，~O(eps*sqrt(T))
else: # 纯 BC：脱离分布后误差被放大
d = d + noise + 0.05 * d # 正反馈 → |d| 爆炸，~O(eps*T^2)
return d # corrected 收敛在小范围；BC 末端发散
Demo 1 · 复利误差：模仿学习为什么撞墙
先什么都不动，把 ε 往右拉：橙色的 BC 轨迹（上图）一点点漂离虚线专家参考，下图它的偏离按 ε·T² 抛物线冲过红色失败阈值——任务崩。
再勾上「在策略纠正」：绿色轨迹被按回参考，偏离只按 ε·√T 缓增、始终在阈值下。这就是模仿的天花板：误差复利，而光堆数据补不上自己搞砸的状态。
§4三个痛点，两条路线
§3 的结论逼出一个唯一出路：让机器人在自己的状态分布上、按奖励改进——也就是 RL。 但 RL 这把钥匙在机器人上格外烫手，因为它要的「试错交互」恰恰是真实机器人最稀缺的东西。三个痛点：
痛点 (a)：样本贵到离谱
现代 RL 动辄要 $10^8\!\sim\!10^{10}$ 步交互。一台真机以 ~60Hz 跑、还要不停人工重置、避免撞坏自己， 实际有效采样率低到可怜。把 $10^8$ 步铺在一台真机上，是以「年」计的墙钟时间（Demo 2 会让你亲手算）。
痛点 (b)：奖励、重置、安全没人给
仿真里 $r$、$P$、重置都是免费的；真机上「这次成功没有」要么装传感器、要么训个分类器，重置要人手动摆回去，探索还可能把机器人或环境弄坏。
痛点 (c)：要泛化，就要见过足够多的「世界」
泛化的本质是见过足够多样的物体、光照、摩擦、布局。一台真机一个场景，多样性天生受限； 而泛化恰恰是 §1 那个「能用一半 → 可靠部署」最缺的东西。
两条路线，正是对这三个痛点的两种回答
路线一 · 真实世界 online RL：承认痛点、硬啃。用一切手段把样本效率榨到极限（off-policy、人在环、残差、免重置），
让真机在 1–2 小时内学出来。没有 sim-real gap，但贵、慢、难规模化（§9–§12）。
路线二 · sim-to-real：绕开痛点。先把仿真做得足够准（关掉 gap），再在上千个并行仿真里疯狂 RL——
样本无限、奖励免费、还能同时随机上千种物理参数顺便买到泛化，最后零样本/少样本迁移回真机（§13–§18）。
命门只剩一个：仿真到底有多准。朋友说「我们走第二条」，赌的就是「gap 可以被工程关掉」。
Demo 2 · 样本经济学：真实世界 RL vs 仿真 RL
红条＝在 1 台真机上凑齐同样经验要多久（含重置/磨损占空 25%），青条＝仿真要多久。默认 $10^8$ 步、4096 并行环境、100× 加速：
真机要好几年，仿真几分钟。把并行环境或加速往下拉，看仿真这条优势何时消失——这就是「为什么疯狂 RL 只能在仿真里」。
别忘了：那几千个环境还能同时跑不同物理，于是顺手买到了泛化（痛点 c）。
§5策略梯度 → PPO → 优势函数
两条路线都靠同一套 RL 内核。最小必要知识从这里开始。策略梯度定理告诉我们怎么对「期望回报」求梯度：
$$ \nabla_\theta J(\theta)=\mathbb{E}_{\tau\sim\pi_\theta}\!\left[\sum_t \nabla_\theta\log\pi_\theta(a_t|s_t)\,A^{\pi}(s_t,a_t)\right],\qquad A^\pi=Q^\pi-V^\pi $$直觉：把「让结果比平均更好」的动作的概率往上推，更差的往下压。这里的「比平均好多少」就是优势 $A$—— 动作价值 $Q$ 减去状态价值 $V$（基线）。优势是整套 RL（以及后面 RECAP）的灵魂。实践里 $A$ 用 GAE 估：
$$ \hat{A}_t^{\text{GAE}(\gamma,\lambda)}=\sum_{l\ge 0}(\gamma\lambda)^l\,\delta_{t+l},\qquad \delta_t=r_t+\gamma V(s_{t+1})-V(s_t) $$裸策略梯度方差大、一步走太猛会崩。PPO 用一个「截断」把每次更新摁在信任域里——这是仿真 RL（locomotion、灵巧手）和 VLA RL 微调最常用的算法：
$$ L^{\text{CLIP}}(\theta)=\mathbb{E}_t\!\left[\min\!\big(r_t(\theta)\hat{A}_t,\ \operatorname{clip}(r_t(\theta),1-\epsilon,1+\epsilon)\hat{A}_t\big)\right],\quad r_t(\theta)=\frac{\pi_\theta(a_t|s_t)}{\pi_{\theta_{\text{old}}}(a_t|s_t)} $$
SAC
— Soft Actor-Critic: Off-Policy Maximum Entropy Deep RL
PPO 是 on-policy 的，每批数据用一次就扔——真机上太奢侈。
关键想法：off-policy 的 actor-critic，从回放池反复学，同时最大化回报和策略熵（鼓励探索、更稳）。 样本效率远高于 PPO，正因如此它（及其各种高 UTD 变体）成了真实世界 RL（路线一）的主力。
vs PPO：把「用一次就扔」换成「回放池反复榨」，拿样本效率换掉一点实现复杂度——真机上的关键取舍。
§6GRPO 与「RLHF for robots」的类比
LLM 那边的后训练流水线是 预训练 → SFT → RLHF。最后那步用人类偏好训一个奖励、再用 RL 把模型对齐。 机器人这边的流水线长得几乎一样：预训练 VLA → 模仿/BC（=SFT）→ RL 微调。把这张对应表记住，整个第三部都会更顺：
| LLM | 机器人 VLA | |
|---|---|---|
| 预训练 | 海量文本自监督 | VLM 骨架 + 跨本体机器人数据 |
| SFT 阶段 | 在人类问答上做监督 | 在人类遥操作示范上做 BC |
| 对齐/拔高 | RLHF / GRPO（按奖励） | RL 微调（按任务成功 / 价值） |
| 「偏好/纠正」信号 | 人类对回答打分 | 人类介入纠正 + 价值函数打分 |
当下最流行的 RLHF 算法是 GRPO：它干脆不训 critic，而是对同一提示采 $G$ 个回答，用组内相对好坏当优势—— 这套「相对优势」思路和机器人里「同一任务试多次、按相对成败强化」惊人地像（§12 的 RECAP 正是机器人版的近亲）：
$$ \hat{A}_i=\frac{R_i-\operatorname{mean}(R_1,\dots,R_G)}{\operatorname{std}(R_1,\dots,R_G)},\qquad L_{\text{GRPO}}=\mathbb{E}\Big[\tfrac{1}{G}\textstyle\sum_i \min(r_i\hat{A}_i,\operatorname{clip}(r_i,1{-}\epsilon,1{+}\epsilon)\hat{A}_i)\Big]-\beta\,D_{\text{KL}}(\pi_\theta\|\pi_{\text{ref}}) $$
GRPO
— DeepSeekMath: Group Relative Policy Optimization
PPO 要同时维护一个和策略一样大的 value 网络，RLHF 里又贵又难调。
关键想法：取消 critic，用「一组采样里相对均值的标准化得分」当优势。少一半网络、训练更稳—— 后来被大量 VLA-RL 工作借用，因为机器人也常常是「同任务多试几次，看哪次更好」。
vs PPO：把学出来的 $V(s)$ 基线换成「组内经验均值」基线，省掉 value 网络。
§7离线 RL：从日志里榨出策略
真机交互贵，但遥操作/历史日志便宜又安全。离线 RL（Offline RL）就是「只用已有数据、不再交互」也能做 RL—— 它是连接两条路线的枢纽：先用一堆日志离线学个不错的起点，再用很少的在线交互（路线一）或仿真（路线二）收尾。 难点是「分布外动作」的 $Q$ 值会被高估，于是这族方法的核心都是「对没见过的动作保持悲观」。
CQL / IQL / Cal-QL
— Conservative / Implicit / Calibrated Q-Learning
直接在固定数据上做 Q-learning，会对没采过的动作盲目乐观，策略一上线就崩。
关键想法：CQL 把分布外动作的 $Q$ 主动压低；IQL 干脆从不查询未见动作（用期望分位回归拟合 $V$，再用优势加权 BC 抽策略）； Cal-QL 在「悲观」之上再「校准」量纲，让离线预训练的价值能无缝接到在线微调而不崩。Cal-QL 正是后面 PA-RL 把 OpenVLA 拉起来的引擎。
vs 朴素离线 Q-learning：把「乐观外推」换成「悲观 + 校准」，离线→在线才不会一上来就掉坑。
§8SFT 记忆，RL 泛化
SFT-Memorizes-RL-Generalizes
— SFT Memorizes, RL Generalizes: A Comparative Study of Foundation Model Post-training
既然 BC（=SFT）便宜，为什么还非要那一步 RL？
关键想法：在统一的设置下对比 SFT 与 RL，结论很干脆——SFT 倾向于「记住」训练分布，RL 才「泛化」到分布外 （包括视觉任务）。这是「模仿到泛化必须经过 RL」这一论点最干净的可引用锚点，也直接回应了 §3 的复利误差： RL 之所以泛化，正因为它在自己的状态分布上学、见过自己会搞砸的地方。
vs 只看 LLM 数学题：把「SFT 记忆 / RL 泛化」的结论扩到含视觉的多模态任务，离机器人更近了一步。
另一篇直指机器人的实证 What Can RL Bring to VLA Generalization?（arXiv:2505.19789, 2025） 也显示：用 PPO 微调 VLA，在「语义理解」和「执行鲁棒性」上的泛化都显著优于纯 SFT。结论一致：RL 是最后一公里。
§9路线一开篇：样本高效的真实世界 RL
路线一的信条是：不要 sim、不要 gap，直接在真机上 RL，只要把样本效率榨到「1–2 小时学会」就赢了。 这一派的工程重心全在痛点 (a)(b)：怎么用最少的真机交互、最省事的奖励，拿到接近满分的成功率。
SERL
— A Software Suite for Sample-Efficient Robotic RL
真机 RL 论文里能跑，换个实验室就复现不出来——魔鬼全在实现细节里。(a)(b)
关键想法：把一整套 off-policy 真机 RL 打包成开箱即用的库——RLPD 式学习器、分类器/前向-后向控制给奖励与重置、几条示范引导。 PCB 插装、排线、物体归位都能在 ~25–50 分钟内学到近乎满分。它把「真机 RL 能不能复现」从玄学变成工程。
vs 此前零散的真机 RL：第一次把「样本高效 + 可复现」做成标准件。
HIL-SERL
— Precise and Dexterous Robotic Manipulation via Human-in-the-Loop RL
接触密集 / 动态 / 双臂任务，光靠自主探索既慢又危险。(a)(b)
关键想法：示范打底、RLPD 在线学，关键时刻让人遥操作介入纠正——人替机器人挡住危险探索、顺带提供奖励信号。 在~1–2.5 小时内把一批精密/动态/双臂任务做到近乎 100%，相对同样人类数据的模仿学习成功率约 2×、节拍快 1.8×。 这是目前路线一的事实标准配方。
vs SERL：把「人在环纠正」正式编进 off-policy RL，换来近满分成功率和安全的探索。
这一派的算法底座值得单独点名：RLPD（2302.02948，对称采样 50% 离线/50% 在线 + 高 UTD + critic LayerNorm） 和 DroQ（2110.02034，用 dropout 小集成换 REDQ 大集成的样本效率）—— 它们就是 SERL / HIL-SERL 引擎盖下那台高 UTD 的 off-policy 发动机。
§10残差 RL 与免重置自主 RL
另外两条降本支线：残差 RL（别从零学，给一个已有控制器学个「修正量」，安全又省样本）和 免重置 / 自主 RL（别让人一直摆回初始状态，让机器人自己「收拾残局」）。
Residual RL
— Residual Reinforcement Learning for Robot Control
从零 RL 太慢、纯解析控制器又啃不下摩擦/接触。(a)
关键想法：动作 = 手写反馈控制器（出力大头、保证安全）+ RL 学的残差修正（只补那点解析模型搞不定的接触/摩擦）。 搜索空间小一大圈，样本效率和安全性都暴涨。这个「base policy + RL 残差」的范式在 2025 年又被搬去微调 VLA（见 §11、§19）。
vs 从零 RL：把 90% 的活交给已有控制器，RL 只学最后 10% 的难点。
R3L · MEDAL · EARL
— 免重置 / 自主真实世界 RL 的形式化与方法
真机不能被人重置上千次，奖励也没人手动标。(b)
关键想法：R3L 用一个「扰动控制器」代替人工重置，把机器人推到多样状态、奖励用成功图像分类器给； MEDAL 让「后向（重置）策略」去匹配示范的状态分布，把前向策略一直留在任务相关区；EARL 则把「少重置 RL」正式形式化并给出基准。 一句话：把「人当电池」从真机 RL 的循环里拿掉。
vs 标准 episodic RL：去掉「每集人工重置」的假设，机器人能无人值守地连练。
§11给预训练 VLA 做 RL 微调
前面是「从头在真机上 RL」。但 2024 年起更性感的玩法是：拿一个已经预训练好的大 VLA（OpenVLA、Octo、π0…）， 用少量 RL 把它从「能用一半」拔到「可靠」——完全对应 LLM 的「SFT 完再 RLHF」（§6）。这是路线一通往泛化的主战场。
PA-RL
— Policy-Agnostic RL: Fine-Tuning Any Policy Class & Backbone
diffusion、transformer、自回归各种策略类，RL 微调各有各的坑。
关键想法：用统一的 actor-critic 框架微调任意策略类，第一次在真机上用 Cal-QL 把 OpenVLA(7B) 从 40% 拉到 70%，仅 40 分钟。 它证明「大 VLA + 少量真机 RL」这条路真的能跑通。
vs 针对单一策略类的 RL 微调：一套方法吃下所有主流 VLA 骨架。
ConRFT · RLDG · V-GPS · DPPO
— 一族「把 RL 接到生成式策略上」的工作
diffusion / flow 策略的动作对数似然算不出来，标准策略梯度用不上。
关键想法：四种打法。ConRFT 用一致性策略 + 人在环，45–90 分钟做到 96.3%； RLDG 反过来用 RL 生成最优数据再蒸馏进通用策略（比人类示范微调高最多 40%）； V-GPS 训个离线价值函数，在部署时给冻结策略的候选动作重排序（不动一根权重就涨点）； DPPO 把 diffusion 的去噪链当成一个 MDP，沿链做策略梯度，得到「在流形上」的稳定探索。
vs 直接对 diffusion 做策略梯度：要么换价值引导/数据生成绕过似然，要么把去噪过程本身重写成可优化的 MDP。
§12路线一的旗舰：π*0.6 与 RECAP
现在回到开头那条线索的终点。2025 年 11 月，Physical Intelligence 放出 π*0.6，把「给机器人做 RLHF」做成了产品级样板， 也给本文的核心论点提供了最强的工业背书：imitation gets you to work half the time, RL gets you reliability。
π*0.6 / RECAP
— π*0.6: a VLA That Learns From Experience
纯示范训出来的 VLA 卡在「能用一半」，无法从自己的尝试里变可靠。(a)(c)
关键想法：RECAP = RL with Experience and Corrections via Advantage-conditioned Policies，三件套—— (1) 用离线 RL 预训练通用 π*0.6（星号即此阶段）； (2) 人类遥操作介入纠正（"coaching"），专门示范怎么从快搞砸的地方爬回来（呼应 §3 的复利误差）； (3) 机器人自主练习上千次，一个学出来的价值函数给每次打分，策略以优势为条件 （advantage-conditioning）——好的行为被强化、坏的被压低。它把示范 + 纠正 + 自身经验三种异构数据揉进一个配方。 结果：在最难的任务（组装/操作意式咖啡机、叠没见过的衣物、装箱）上吞吐翻倍、失败率减半，咖啡机器人连续跑 13–18 小时。
vs 纯模仿的 π0.6：在同一个基础 VLA 上加「优势条件化 + 真机经验」，把「能用一半」推向「可靠到能营业」。这就是 π*0.6 = π0.6 + RECAP 的全部含义。
Demo 4 · 从经验中学习：RECAP 的优势条件化 vs 纯模仿
起点都是「一半成功」（橙色虚线）。按再练一轮：纯 BC（取消勾选）每轮都在原地抖——它只会重看同一批示范，学不到自己的成败；
RECAP（勾选）每轮按价值/优势强化成功的尝试，成功率往可靠爬。把 coaching 拉大＝人类纠正更多，爬得更快。
这就是 §1 那句「模仿到泛化必须经过 RL」的可视化。
还有一篇纯真机 RL 的「性能党」值得记下：RL-100（2510.14830，2025.10）—— IL 预训练 → 迭代离线 RL → 少量在线 RL，统一在一个截断 PPO 代理目标下，把一批操作任务做到近乎 100% 可靠， 甚至让机器人在商场里连续无失误「营业」。它和 π*0.6 一起，构成路线一「真机 RL 拿下最后一公里」的两面旗帜。
§13路线二开篇：为什么仿真让 RL 变得可行
路线一再省，也逃不过「一台真机、实时、会坏」的物理上限（Demo 2）。路线二换个思路：把痛点 (a)(b)(c) 一次性绕过—— 在仿真里，样本几乎免费、奖励/重置/真值状态全都免费、还能同时跑上千个不同物理参数的世界。 这套打法在腿足上已经近乎「解决」了任务（§16），现在正全力攻操作。
Isaac Gym
— High Performance GPU-Based Physics Simulation for Robot Learning
RL 要几十亿步，但 CPU 仿真 + CPU↔GPU 来回拷贝是死结。(a)
关键想法：把物理和策略网络都放在 GPU 上，物理状态直接以张量喂给 PyTorch，无 CPU 往返。 一张 GPU 上跑成千上万个并行环境，把「几年的机器人经验」压进几小时。这台发动机点燃了之后整条 sim-to-real 路线。
vs 传统 CPU 仿真：把仿真搬进 GPU 显存，并行度和吞吐各涨 2–3 个数量级。
§14sim-real gap 是什么，怎么关：域随机化
路线二的命门是 sim-real gap：仿真和现实在动力学（摩擦、质量、延迟、电机响应）和观测（光照、纹理、噪声）上系统性地对不上。 关 gap 的第一招、也是最反直觉的一招，是域随机化（Domain Randomization, DR）：不去把某一个仿真调得跟现实一模一样， 而是把仿真参数随机化到夸张的程度，逼策略学到在所有这些世界都管用的不变特征——于是真实世界不过是「又一个采样」。形式化就是把 §2 的目标对参数分布 $p(\xi)$ 取期望：
$$ \theta^\star=\arg\max_\theta\ \mathbb{E}_{\xi\sim p(\xi)}\ \mathbb{E}_{\tau\sim\pi_\theta,\,\mathcal{M}_\xi}\!\left[\sum_t \gamma^t r(s_t,a_t)\right] $$「让现实成为 $p(\xi)$ 的一个采样 $\xi_{\text{real}}$」——这句话是整条路线二的世界观。
Domain Randomization
— DR for Transferring Deep NNs from Sim to the Real World（视觉）+ Dynamics Randomization（动力学）
仿真图像不像真的、仿真物理不等于真物理，策略零样本迁移就废。
关键想法：Tobin 随机化纹理/光照/相机，让真实图像看起来「只是又一种变体」，逼网络学不变特征； Peng 随机化质量/摩擦/延迟，让一个带记忆的策略在线隐式系统辨识、对真实动力学保持鲁棒。 两者合起来就是「视觉 + 动力学」双随机化的标准模板。
vs 「把仿真调准再迁移」：放弃精确匹配，改用「随机到现实落在分布内」来换鲁棒迁移。
Demo 3 · 域随机化：把现实变成一个采样（可拖动真实参数）
橙点是未知的真实摩擦 μ_real（可拖动），青框是仿真训练分布 $p(\xi)$。一开始真实在框外 → 迁移成功率（红条）很低。
把 w 拉宽到框住橙点 → 迁移成功 ✓；但拉太宽，「仿真内峰值」会下降（策略得照顾太多世界，变保守）。
再勾上系统辨识：μ₀ 直接滑到真实附近，于是用很窄的 w 就能命中——这正是 §15 SimOpt 的思想。
§15系统辨识 / 域适应 / 可微仿真
DR 是「撒大网」。另外三招是「精准对齐」：把仿真调准（系统辨识）、把观测翻译对齐（域适应）、或者干脆对物理求导（可微仿真）。
SimOpt
— Closing the Sim-to-Real Loop: Adapting Simulation Randomization with Real-World Experience
手调的随机化范围要么太宽（白学）要么偏（学错）。
关键想法：闭环——跑几条真机轨迹，反过来调整仿真参数分布让仿真 rollout 去匹配真实，再重训。 「真→仿」校准与「仿→真」迁移交替进行，把 gap 一圈圈收紧（swing-peg-in-hole、开抽屉上验证）。Demo 3 里勾「系统辨识」就是这件事。
vs 固定的 DR 范围：让真实数据反向驱动仿真分布，把「撒大网」变「瞄准」。
RCAN · 可微仿真
— Randomized-to-Canonical Adaptation；DiffTaichi / Brax / Warp
视觉 gap 想关却没真实标签；黑盒 RL 关 gap 又太费样本。
关键想法：RCAN 把「随机化仿真图」和「真实图」都翻译到同一张规范仿真图，策略永远只见规范域（零样本抓取 70%，加少量真实数据 91%）。 可微仿真（DiffTaichi/Brax/Warp）则让物理可求导，用梯度直接做系统辨识或策略优化，比黑盒 RL 样本效率高得多—— 代价是接触处的梯度又跳又噪，是 2025–26 仍在啃的硬骨头。
vs 纯 DR：RCAN 把「随机化」换成「翻译到规范域」；可微仿真把「黑盒采样」换成「白盒梯度」。
§16成功故事：腿足几乎被解决，灵巧手正在被攻克
路线二不是 PPT，它有一长串「在仿真里 RL、零样本搬上真机」的硬战绩。先看证明这条路能走通的两座里程碑群。
Dactyl + ADR
— Learning Dexterous In-Hand Manipulation；Solving Rubik's Cube with a Robot Hand
灵巧手有几十个自由度、接触极其复杂，真机 RL 几乎不可能。
关键想法：Dactyl 用重度 DR（物理 + 视觉）在纯仿真里训出 Shadow Hand 转方块的策略，零样本迁移、还自发学出换指技巧； Rubik's Cube 引入自动域随机化（ADR）——随着策略变强自动把随机化范围撑大（一条自动课程），换来对从没见过的扰动的鲁棒。 这是「仿真里疯狂 RL → 真机灵巧操作」最早的强证明。
vs 固定 DR：ADR 让随机化范围随能力自动生长，把「撒多大网」也交给学习。
ANYmal 系列
— 学习敏捷运动（Hwangbo 2019）→ 盲走复杂地形（Lee 2020）→ 野外感知运动（Miki 2022）
腿足动力学的 gap（尤其电机响应）大到让仿真策略一上真机就摔。
关键想法：Hwangbo 训一个执行器网络专门补电机动力学的 gap；Lee 用teacher-student（特权信息老师→只用本体感觉的学生）+ 地形课程， 盲走泥/雪/碎石零样本；Miki 再融合外感（视觉）做野外鲁棒。结果：腿足 locomotion 基本被 sim RL「解决」了—— 因为足-地刚体接触相对好仿真，剩下的 gap 被执行器网络 + DR + teacher-student 一一关掉。
vs 纯 DR 迁移：用「学出来的执行器模型 + 特权蒸馏」把 locomotion 的 gap 关到可以零样本野外部署。
DeXtreme · Visual Dexterity
— 把灵巧手在手内重定向从仿真迁到现实
Dactyl 太贵（昂贵硬件 + 巨量算力），灵巧操作能不能平民化、泛化到新形状？
关键想法：DeXtreme 用 Isaac Gym + DR + Omniverse 渲染，在便宜的 Allegro 手上训出方块重定向并迁移到真机； Visual Dexterity 用单个深度相机就能实时把没见过的复杂形状任意角度重定向。它们把「仿真 RL → 真机灵巧手」从 OpenAI 级预算拉进普通实验室。
vs Dactyl：同样 sim-to-real，但硬件便宜一个数量级、且开始泛化到新物体。
§17real2sim2real：用真实数据造一个准仿真
DR 是「不知道真值就撒大网」。但如果能从真实数据直接重建出一个高保真仿真呢？这就是 2024–26 最火的子方向 real-to-sim-to-real（数字孪生）：扫描真实场景 → 建数字孪生 → 在孪生里 RL → 搬回真机。 3DGS / NeRF 这类照片级重建技术正是它的燃料（外观 gap 几乎被直接消掉）。
RialTo
— Reconciling Reality through Simulation: A Real-to-Sim-to-Real Approach for Robust Manipulation
模仿策略脆，真机 RL 又慢又危险——两头不讨好。(a)(c)
关键想法：把一个真实场景扫成数字孪生，在孪生里用 RL + 「逆向蒸馏」把脆弱的模仿策略练鲁棒，再部署回真机， 鲁棒性 +67%。它示范了「用真实重建关掉 gap，再在仿真里疯狂 RL」这条具体工程链。
vs 纯 DR：不再盲猜物理，而是扫描真实场景得到一个对得上的孪生，再在里头 RL。
Video2Policy · DexMimicGen
— 从互联网视频 / 少量示范在仿真里规模化造数据
真机数据贵，怎么把「任务/示范」廉价地放大上千倍？
关键想法：Video2Policy 从 RGB 互联网视频重建任务、用 LLM 自动写奖励、在仿真里 RL，再 real2sim2real 迁回； DexMimicGen 把 ~5–60 条人类示范在仿真里变换/重放成 ~21K 条双臂灵巧手数据。两者都是「在仿真里把稀缺数据放大」的引擎。
vs 真机收集：把数据生产搬进仿真，成本降几个数量级、还能自动扩多样性。
SplatSim · RL-GSBridge
— 用 3D Gaussian Splatting 关掉视觉 gap
仿真渲染再努力也不够真，RGB 策略的视觉 gap 难关。
关键想法：用 3DGS 给场景做照片级渲染（外观 gap 几乎归零），物理仍交给引擎（动力学 gap 另行处理）。 SplatSim 让 RGB 策略零样本 sim2real；RoboSimGS 直接从多视角图像建出「3DGS 外观 + 网格物理」的可交互仿真。这是 §21 那批 2026 新作的直系前身。
vs 传统渲染器：把渲染换成 3DGS，视觉真实度跨一个台阶，专攻 sim-to-real 的「看」这一半。
§18仿真平台：从 Isaac Gym 到 Newton
路线二的胜负很大程度押在工具上。一张当前（2026 年中）的地图：
| 平台 | 定位 / 现状 | 备注 |
|---|---|---|
| Isaac Gym | 第一代 GPU 原生 RL 仿真，已成传统 | 2108.10470，后继者是 Isaac Lab |
| Isaac Lab | Isaac Gym 的正式后继，模块化 + 照片级 | 2511.04831（2025.11） |
| MuJoCo + MJX | 最准的接触引擎 + JAX/GPU 大规模并行 | 操作研究的主力；MuJoCo Playground 2502.08844 |
| ManiSkill3 | 专攻操作的开源 GPU 基准 | 2410.00425，含渲染可上万 FPS |
| Brax | JAX 可微刚体，极快并行 RL | 偏研究/可微 |
| Genesis | 多物理「生成式」引擎 + 照片级渲染 | 仅技术报告/博客，FPS 宣称有争议 ⚠ |
| NVIDIA Newton | NVIDIA+DeepMind+Disney 的开源可微引擎 | 基于 Warp + MuJoCo-Warp，GTC 2026 GA ⚠ |
趋势
平台层正在收敛到「GPU 原生 + 可微 + 照片级渲染 + 接触够准」这四件套。Newton 把 NVIDIA、DeepMind、Disney 拉到一起做 可微 物理，目标直指 sim-to-real 最难啃的接触密集操作——这正是路线二能不能从「解决 locomotion」走到「解决 manipulation」的关键基础设施。
§19前沿一：VLA 的 RL 微调浪潮
把时间拨到最近半年（2025.11 → 2026.06）。最清晰的信号是：「给大 VLA 做 RL」从论文走向规模化， 联合创始人 Karol Hausman 一句「RL is back」成了这半年的注脚。以下卡片均为该窗口内、已核对 arXiv 元数据的工作（mustard 标签＝前沿/近月）。
π_RL
— π_RL: Online RL Fine-tuning for Flow-based Vision-Language-Action Models
flow-matching VLA（π0、π0.5）的动作对数似然算不出来，标准策略梯度无从下手。
关键想法：两个估计器——Flow-Noise（把去噪当成可学噪声网络的离散时间 MDP）和 Flow-SDE（ODE→SDE 引入探索）， 让 PPO 式更新第一次能稳定地用在大流模型 VLA 上。它是把 §11 那套「RL 微调 VLA」正式扩到 flow VLA 的关键拼图。
vs 对 diffusion 的 DPPO：专门解决 flow-matching 的似然不可解，让 π 家族能直接吃 PPO。
VLA-RFT
— VLA-RFT: RL Fine-tuning with Verified Rewards in World Simulators
真机 RL 微调 VLA 又贵又危险，可仿真又难建得够准。
关键想法：训一个数据驱动的世界模型当可控仿真器，从动作预测未来帧、给出轨迹级稠密奖励，在里头 RL 微调 VLA。 它正好站在「路线一（RL 微调）×路线二（学到的仿真）」的交叉口——预示两条路线的合流（§22）。
vs 真机 RL：把昂贵的真机 rollout 换成「学出来的世界模型」里的 rollout，奖励还自带验证。
再加上 §12 已细讲的 π*0.6 / RECAP（2511.14759）与 RL-100（2510.14830）， 这四篇基本框定了该窗口「VLA + RL」的版图：似然问题（π_RL）、奖励来源（VLA-RFT 的世界模型）、配方集大成（RECAP）、性能极限（RL-100）。
§20前沿二：世界模型 / 学到的仿真器
如果「关 gap」太难，能不能干脆不手写仿真，而是从视频里学一个仿真器？这是 2025–26 另一条主线， 也是对「路线二」的一种激进改写：把「物理引擎」换成「神经世界模型」。
V-JEPA 2
— V-JEPA 2 / V-JEPA 2-AC: 自监督视频世界模型做零样本控制
每个新任务都要奖励、要数据，太重。
关键想法：在 >100 万小时视频 + 少量机器人视频上自监督学一个潜空间世界模型， 然后在潜空间里用 CEM 规划，零奖励零样本做 pick-and-place。它是「学到的世界模型 → 直接拿来控制」这条路最受关注的参照点。
vs 手写仿真：连物理引擎都不要，直接从视频学动力学、在潜空间里规划。
NVIDIA Cosmos
— World Foundation Models 作为「物理世界模拟器」
机器人需要海量带物理的交互数据，真机和手写仿真都喂不饱。
关键想法：把大规模世界基础模型当成「物理 grounded 的世界模拟器」，用来 rollout、打分、闭环收敛行为； 与 Newton/Isaac Lab/3DGS 孪生一起，构成「现实只是某个随机/学到仿真的一个采样」的工业版图景。
vs 传统仿真：用学出来的生成式世界模型补「数据多样性」这一环。⚠ 具体型号命名以官方为准。
§21前沿三：3DGS 数字孪生新作（2026）
§17 的 3DGS real2sim 在 2026 年继续爆发，且明显在攻最难的软体/可变形和真机 online RL 加速。
Real-to-Sim GS Eval
— Real-to-Sim Robot Policy Evaluation with Gaussian Splatting of Soft-Body Interactions
软体操作（毛绒、绳、布）既难仿真又难在真机上反复评测策略。
关键想法：从真实视频建软体数字孪生，用 3DGS 把机器人/物体/环境照片级渲染出来，在孪生里评测策略， 把「真机反复试」换成「孪生里跑」。它把 3DGS 孪生从刚体推进到可变形。
vs 此前 3DGS 孪生：第一次把软体接触纳进可渲染、可评测的数字孪生。
TwinRL · GaussTwin
— 数字孪生驱动的真机 RL；GS 统一仿真与视觉校正
真机 online RL 探索太慢；纯仿真又对不准真实。
关键想法：TwinRL 用手机扫出的高保真孪生当「探索放大器」——SFT 热身 → 孪生里 RL 热身 → 真机 RL 收尾， 专治真机探索慢；GaussTwin 把 position-based dynamics + Cosserat 杆的物理与 3DGS 渲染/视觉校正统一起来，做实时数字孪生。 两者正是 §22「合流」论点的活样本：用孪生学探索、用真机收尾。
vs 二选一：不再「纯真机」或「纯仿真」，而是把数字孪生塞进真机 RL 的循环里加速探索。
§22这场辩论的走向：不是谁赢，是合流
回到朋友那句「我觉得我们走第二条」。把这半年的工作摊开看，结论不是「路线一 vs 路线二谁干掉谁」，而是三股力量的合流：
| 阵营 | 主张 | 代表（本窗口） |
|---|---|---|
| 真机 RL 拿下最后一公里 | 泛化最终要在真实经验里长出来 | π*0.6 / RECAP、RL-100 |
| 仿真/世界模型挑大梁 | 现实只是随机/学到仿真的一个采样 | Cosmos、Newton、3DGS 孪生 |
| 合流（多数新作） | 仿真/孪生里学探索 + 真机少量 online RL 收尾 | TwinRL、VLA-RFT、explore-in-sim |
那「走第二条」到底意味着什么
选路线二，本质是下一个工程判断：「sim-real gap 可以被我们关到足够小」。这个赌注在 locomotion 上已经赢了（§16）， 在刚体抓放上正在赢，在接触密集 / 软体 / 灵巧上还没赢——这正是 Newton、可微接触、3DGS 软体孪生（§18、§21）在猛攻的地方。 务实的姿态是：把路线二当主干（在仿真/孪生里疯狂 RL 拿泛化），但保留一条真机 online RL 的收尾通道 （HIL-SERL / 残差 RL / RECAP 式优势条件化）来吃掉最后那点关不掉的 gap。两条路线不是单选题，是主干 + 兜底。
§23仍然没解决的问题 + 总结
把这趟旅程里还在流血的伤口列出来——它们既是风险，也是机会：
- 接触密集 / 软体 / 流体的仿真保真度。locomotion 的足-地接触好仿，灵巧操作的多指接触、滑移、形变还很难仿准——这是路线二的头号命门。
- 奖励规约（reward specification）。仿真里也得有人定义「成功」；任务一复杂，写奖励本身就成了瓶颈，于是有了 VLA/LLM 自动写奖励、世界模型验证奖励的尝试。
- 真机 RL 的安全探索。路线一最怕「探索把机器人或环境弄坏」；HIL、残差、Simplex 式安全层都只是部分答案。
- online vs sim 的最优配比。该在仿真里学多少、留多少给真机收尾，目前还是手艺活，没有理论。
- flow / diffusion 策略的 RL 仍不成熟。π_RL、DPPO 起了头，但似然不可解、探索难，离「像 PPO 那样稳」还有距离。
- 泛化的度量。「泛化级成功率」到底怎么量？跨物体、跨场景、跨本体的基准仍然零碎。
总结一句话
机器人通往「泛化级可靠」的故事可以压成两件事：(a) 为什么非 RL 不可——模仿的误差复利、天花板是示范者， 只有在自己的状态分布上按奖励改进才能跨过那道墙；(b) RL 的试错放在哪——要么忍着痛在真机上把样本效率榨干 （路线一：HIL-SERL → RECAP / π*0.6），要么把 sim-real gap 关掉、在上千并行仿真里疯狂 RL 再迁回真机 （路线二：DR → 数字孪生 → Newton/3DGS）。locomotion 证明了路线二能赢，manipulation 是它正在打、也最该下注的下一仗； 而最聪明的下法，是用仿真/孪生学探索、留一条真机 online RL 收尾——主干押第二条，兜底留第一条。
§A名词表 · Glossary
| 术语 | 解释 |
|---|---|
| VLA | Vision-Language-Action 模型：看画面 + 读指令 → 出动作的机器人大脑。 |
| BC / 模仿学习 | Behavior Cloning：监督拟合「状态→人类动作」，等价于 LLM 的 SFT。 |
| MDP | 马尔可夫决策过程，$(\mathcal{S},\mathcal{A},P,r,\rho_0,\gamma)$，机器人+世界的标准抽象。 |
| 协变量漂移 | 训练分布（人类状态）≠ 部署分布（策略自己的状态），模仿撞墙的根因。 |
| 复利误差 | 模仿误差沿时间 $O(T^2)$ 累积；on-policy 纠正可降到 $O(T)$。 |
| 优势 $A$ | $Q-V$，「这个动作比平均好多少」，策略梯度与 RECAP 的核心信号。 |
| PPO | 截断概率比的策略梯度，仿真 RL 与 VLA RL 微调的默认算法。 |
| GRPO | 用「组内相对得分」当优势、免 critic 的 RLHF 算法。 |
| 离线 RL | 只用已有数据、不再交互的 RL（CQL/IQL/Cal-QL），连接两条路线的枢纽。 |
| sim-real gap | 仿真与现实在动力学/观测上的系统性差异，路线二的命门。 |
| 域随机化 DR | 把仿真参数随机到夸张，让现实成为分布的一个采样。 |
| 系统辨识 | 用真实数据校准仿真参数（如 SimOpt），把「撒大网」变「瞄准」。 |
| teacher-student | 特权信息老师 → 只用可观测量的学生，腿足 sim2real 的标准蒸馏。 |
| real2sim2real | 扫真实→建数字孪生→孪生里 RL→迁回真机。 |
| RECAP | RL with Experience and Corrections via Advantage-conditioned Policies，π*0.6 的方法。 |
| 世界模型 | 从数据学出的「会预测未来」的神经仿真器，可替代手写物理引擎。 |
| UTD | Update-To-Data ratio，每条新数据反复更新多少次，off-policy 样本效率的关键旋钮。 |
§B推荐阅读顺序
给想读原文的人——这是教学顺序，不是时间顺序：
- DAgger（1011.0686）——先理解「模仿为什么撞墙」这个全篇的支点。
- SFT Memorizes, RL Generalizes（2501.17161）——为「必须经过 RL」拿到最干净的论据。
- PPO（1707.06347）——两条路线共用的引擎，必读。
- HIL-SERL（2410.21845）——路线一最该读的一篇：真机 RL 怎么 1–2 小时做到近满分。
- π*0.6 / RECAP（2511.14759）——把「给机器人做 RLHF」讲成产品的旗舰，接住第 4 篇。
- Domain Randomization（1703.06907 + 1710.06537）——路线二的世界观从这里开始。
- ANYmal/Lee 盲走（2010.11251）——看 teacher-student + DR 怎么把 locomotion「解决」。
- RialTo（2403.03949）——real2sim2real 的具体工程链，通向 2026 的 3DGS 孪生。
- π_RL（2510.25889）+ TwinRL（2602.09023）——看前沿怎么把两条路线缝在一起。