把"下一帧"当下一个 token

NVIDIA 开源的 video tokenizer 套件，提供 continuous (CV) 和 discrete (DV) 两版。 比 HunyuanVideo VAE 多 8× 压缩，重建质量接近—— Cosmos 自己的 4B-13B world models 都基于此。

Lightricks 的 LTX-Video VAE 是激进派：32×32×8 压缩比 + 128 维 latent。 token 数比 HunyuanVideo 少 32×，让 2B DiT 在单卡 4090 上做到 2-4 秒生成 5 秒 video。 代价：重建细节略损，"皮肤纹理 / 字符"等高频可能糊。

早期把 sliding window + memory module 引入视频生成的代表。 用 "conditional attention module" 让当前帧的去噪能看到过去帧的 latent； 用 "random blending" 让 chunk 之间的 transition 平滑。 在 SD-class 模型上能跑出 ~1200 帧的连续视频。

把双向 video DiT 蒸馏成 causal 版（用 distillation 从 bidirectional teacher 学）。 一次只生成 K 帧的 chunk，KV cache 沿时间维滚动； 配合 LCM-style 步数蒸馏 → 实时 ~10 FPS。 Causal + KV cache + step distillation 是 2025 之后的标准栈。

它不发明新架构——只是把已有的 bidirectional 模型用 student-teacher 转 causal。 所以 CausVid 等于"工程通用配方"，可应用到任意双向 DiT。

Causal video DiT 的致命病：训练时每帧 condition on ground-truth 历史， 推理时 condition on 模型自己生成的历史 → exposure bias，长 horizon 一定漂移。

关键想法：训练时也让模型 condition 在自己的输出上（self-forcing）， 用 reward / consistency loss 防止 collapse。 解决了 CausVid 长 horizon (>10s) 退化的问题， 在 minute-scale 视频上质量稳定。

早 timestep 用低分辨率 / 短 chunk 做粗修； 晚 timestep 才升到全分辨率。 跨时间金字塔结构让总 FLOPs 接近 1 个 keyframe 的成本， 长视频生成质量 / 算力比 SoTA。

Hybrid 思路：用一个 small AR LM 出"叙事大纲"（粗粒度未来 token）， 再用 DiT 把每段细化成视频。 DiT 不需要长上下文 attention → 单段算力小； 长 horizon 一致性靠 AR 那一边维持。 路线和 Helix 的 dual-system VLA（§11.4）同构—— "慢/快脑分离"在视频生成里也成立。

24B 参数 autoregressive chunked DiT。 一次出一个 ~24-frame chunk，chunk 内是 diffusion，chunk 间 AR。 把 causal + chunk + step-distill 三件事打在一个模型里、训出来，开源。

Self-Forcing 的下一步：从 chunk-wise 4-step 推到 frame-wise 1-2 step。 把交互视频生成延迟从 ~80 ms / 帧砍到 ~30 ms / 帧。

SDXL Turbo / ADD 的对抗蒸馏推到视频：teacher = Stable Video Diffusion 多步版， student = 1-step generator + image / video discriminator。 14-frame video 从 ~50 步压到 1 步，~50× 加速、FVD 仍接近 teacher。

不是后蒸馏，而是从架构层面就为速度设计：8192× VAE 压缩 + 2B 小 DiT + 双阶段训练。单卡 RTX 4090 上 5 秒 768p 视频 2-4 秒出。 提醒：VAE 压缩比也是 first-class lever。

把"步数"作为推理时可选 budget——同一模型既支持 1 step 也支持 50 step 走， 用 on-policy flow map distillation 训出来。 给生产部署带来"按 SLA 切换 quality" 的能力——和 §12.9 测试时算力直接对接。

关键洞察：视频 block 是连续的时空 tensor， 没有 token-level 离散分布——传统 specdec 的 rejection sampling 不能直接用。 SDVG 提出 block-level acceptance：draft 模型出整个 future block， verifier 在隐空间比对相似度。一帧延迟 -40%。 是第一个把 specdec 思想真正港到 AR video diffusion 的工作。

把 specdec 的"猜 + 验证"思想用在跨 step 特征上： 猜测下一 step 的中间特征，验证后接受或重算。比 DeepCache 更激进。

用 timestep embedding 作"是否会变多"的 cheap predictor。 差太小 → 跳 step 复用前一次输出。 Wan / HunyuanVideo / Mochi 上 2-3× 加速、几乎无损， 现在是所有开源大 video DiT 部署的默认开关。

比 TeaCache 早。组合三招： (a) attention output 跨 step 复用； (b) CFG 的 conditional / unconditional 之一可跳； (c) 跨帧 hidden 复用。 CogVideoX / Open-Sora 1.7× 加速。

Inference 时有意跳掉部分时空 attention，把跳过的版本当 negative （CFG-style），既加速又提质——少见的 free lunch。

2.6B 参数 open-source world model. 关键想法： Gated DeltaNet (GDN, 线性 attention) 做长 context，softmax attention 做短跨帧—— hybrid 配比是工程关键。 一分钟 720p 视频成本 $\approx$ baseline DiT 的 1/3，质量持平 LingBot-World / HY-WorldPlay。 第一次把 linear-attention / SSM 家族认真用在 minute-scale world model 上。

把 NSA（§2.6）的思想带到视频—— 训练即学的 block-sparse attention。 观察：AR video rollout 里 attention 集中在持续的"salient block" 上， 形成隐式时空 memory，并在滑窗内呈局部 block-sparse 模式。 长 horizon 质量 + 解码延迟同时改善——"NSA-Video"的可商用版本。

Hybrid 路线：帧内用 softmax（短上下文，效果好），帧间用 linear attention 做"线性 memory"。 具体做法和 SANA-WM 类似但聚焦 AR causal video。 长 horizon 一致性比 sliding-window 好。

Sparse attention 的派生变种：内容自适应 / Query-Key clustering / 频率域路由 / error-aware sparse — 都是把 dense $O(N^2)$ 砍到 $O(N \log N)$ 或更激进的工程实现。

Sparse + linear 混合的多种工程实现—— SLA2 走 learnable routing + QAT；MonarchRT 用 Monarch 矩阵做高效 attention； SpargeAttention2 (SageAttention 后继) trainable hybrid top-k + top-p mask。

上面都是推理。DSV 是训练侧—— 动态选 top-K 跳过其余 attention 位置。HunyuanVideo 级模型训练 2× 加速。

在 Blackwell NVFP4 上做的长视频生成基础设施—— 把 attention / GEMM 全走 NVFP4 tensor core, 并行调度。 把 minute-scale 视频生成推到 production latency。

AR 长视频生成时 KV 巨大；把 KV 量化到 2-bit。 类比 KIVI（§3.2）但针对视频 token 的时空分布单独设计。 显存 -8×、质量损失极小。

Video DiT PTQ 的精细化： 6Bit-Diffusion 做 inference-time mixed-precision； SemanticDialect 做 semantic-aware mixed-format； AdaTSQ 做 temporal-sensitivity-aware； LSGQuant 做 layer-sensitivity-guided。 每个都是对 Part XI 量化招在视频上的细化。

Attention 矩阵的 4-bit QAT。把 SageAttention（§2.3）的 INT8 思想推到 INT4，配合 QAT 防止精度坍塌。

Embodied World Model + MoE 的代表。 用 context-aware router（按场景 / 任务路由）做专家选择， 解决长 horizon 场景多样性导致的"single expert 学不过来"问题。 路线和 VLA 的 MoE-ACT (§11.8) 同构。

统一多模态 DiT-MoE：image + video + audio 共享 backbone， 用 MoE 路由按模态选 expert。比 dense 同算力强 25%。

MoE 不一定在 FFN——MoCA 把 cross-attention 也做成 MoE， 每个 expert 负责一个"identity" 维度。 展示 MoE 的应用可以更结构化。

在长视频 VLM 上用 posterior probing 动态分配算力—— 简单帧用少算力, 难帧 (复杂动作 / 多对象) 多算力。 给视频生成的 "想多久" 提供了第一个具体方法论。

跨 §12.5 与本节——同模型支持 1-50 step 推理 budget 切换， 是"adaptive compute" 的 generation 端解法。

多模态生成的分布式 serving 框架。 跨节点编排 encoder / DiT / decoder, 每段独立 scale。 "vLLM for multimodal generation" 的代表。

vLLM 项目的多模态扩展。 把 encoder / prefill / decode 三段（EPD）解耦, 各自独立 scale。 Video DiT 是这个架构最直接的受益者。

国产 Ascend NPU 上的 EPD 解耦实现, 跨厂商兼容证明。

第一个 20 FPS 实时神经游戏引擎——SD-1.4 finetune on Doom gameplay。 单卡 TPU-v5。关键招：(a) noise augmentation 防 AR drift；(b) 仅 4 步 denoise； (c) Doom 引擎做 RL training data。

Atari 上证明 diffusion world model 比 token-based (IRIS) 更高样本效率。 50M 小模型, 是 diffusion world model 路线的起点。

Genie 1 (2024-02): 11B ST-Transformer AR, 2D 平台游戏。 Genie 2 (2024-12): 3D 场景、动作可控、~10 秒。 Genie 3 (2025): 更长 horizon、更高分辨率、场景一致性。 DeepMind 把 foundation world model 作为可独立部署的 product。

OASIS (Decart): Minecraft-style 实时 (~20 FPS) world model, 浏览器跑。 工程栈: causal DiT + 4-step LCM + KV sliding + INT8。 GameGen-X (CUHK): 开放世界游戏生成开源版, 支持 multi-modal control。

2026 的下一代交互 world model： Matrix-Game 3.0 引入 long-horizon memory 模块解决 OASIS 的 30 秒漂移； Helios 强调"真 real-time"（不靠 chunking 假装实时）。 把"交互式" 从 demo 推到产品级别。