Towards Interactive Video World Modeling — L3 Per-Paper Synthesis #
本篇 (2606.01164) 是一篇综述，其"贡献"是把交互式视频世界模型拆成三大瓶颈——动作可控性、长程一致性与记忆、实时响应性 [2606.01164]。相关聚类中的 8 篇是具体机制/方法论文，天然构成"综述 vs 组件"的对照关系：它们要么是综述框架里某个瓶颈的一个具体解法，要么是综述所依赖的底层原语（attention 量化、RoPE、优化器稳定性），要么是同为 "world model" 却处在不同范式（RL vs 视频生成）的对照锚点。这种异质性本身是 L3 分析的价值来源。
1. 相关论文 — 谁相关、为什么相关 #
按与本综述"三瓶颈 + world-model 血统"的映射关系分四组：
- World-model 范式对照（最强相关）：DreamerV3 [2301.04104] 是 model-based RL 谱系的 world model——用 RSSM 在潜在空间想象中训练 actor-critic。本综述 §2 用 POMDP $(\mathcal{S},\mathcal{A},\mathcal{O},\mathcal{T},\mathcal{R})$ 形式化交互式世界模型 [2606.01164]，与 DreamerV3 的 POMDP 世界模型是同一形式框架的两个分支：Dreamer 走"低维离散 latent + 想象 rollout"，本综述覆盖的视频世界模型走"高维像素 + 扩散生成"。二者共享闭环递归采样结构 $o_{t+1}\sim p(\cdot\mid \mathcal{H}_t,a_t)$，是最深层的相关。
- 实时性瓶颈的底层加速原语：SageAttention [2410.02367] 与 SageAttention3 [2505.11594] 是 attention 量化加速方法。本综述 §6 实时性章节明确把"扩散蒸馏 + 缓存加速 + 并行解码"列为达到 24–60 FPS 的手段 [2606.01164]，而 attention 量化正是这些视频扩散骨干（CogVideoX/HunyuanVideo）落地的底层加速层——SageAttention 直接在 CogVideoX 上验证 2.09× 加速 [2410.02367]，SageAttention3 在 HunyuanVideo 上做端到端加速 [2505.11594]。
- 长程一致性/记忆瓶颈的机制解释：Massive Values [2502.01563] 揭示 RoPE 低频维度承载上下文理解，NoLiMa [2502.05167] 揭示注意力在长上下文下的稀释脆弱性。二者共同解释了本综述反复强调的"长历史 ↔ 动作跟随" trade-off 的微观根因：本综述提到 HY-WorldPlay 用 RoPE 时间索引重排（Temporal Reframing）对付长时间距离的外推 artifact [2606.01164]，这恰是 NoLiMa/Massive Values 所刻画的 RoPE 长程失效在世界模型域的对应表现。
- 系统/工程与多模态对照（弱相关，方法论借鉴）：Qwen2.5-Omni [2503.20215] 是流式多模态生成（TMRoPE 音视频对齐 + sliding-window DiT 流式），与本综述"实时响应 + 多感官模态趋势"呼应 [2606.01164]；Kimi K2 [2507.20534] 是 agentic LLM 训练（MuonClip 稳定 attention logit），与本综述"具身/world-action 策略"趋势与训练稳定性相关；ConCCL/DMA [2412.14335] 是 GPU 通算重叠，与"实时性=系统级吞吐"间接相关。这三篇是范式互补而非直接竞争。
2. 本篇 vs 相关论文的 delta — 新增 / 增量 / 矛盾 #
新增（本综述独有）：
- 跨方法的统一 Forcing/蒸馏演化谱系：把 Teacher→Diffusion→Self→LIVE→Geometry→Context Forcing 组织成"缓解 exposure bias + 因果蒸馏提速"同一条演化轴 [2606.01164]。这是任何单篇组件论文（包括 DreamerV3 的 imagination rollout）都不提供的元结构——DreamerV3 的开环预测 [2301.04104] 只是这条谱系里"self-rollout"思想在 RL 域的一个早期实例，综述把它与视频域的 Self-Forcing 对齐。
- 四域 benchmark 横评（开放世界/游戏/具身/自驾）[2606.01164]，聚合被引数值揭示"视觉可信 ≠ 动作跟随"的系统性 gap（WorldArena AF 列普遍 <5）。
增量（相对组件论文是抽象层上移）：
矛盾/张力：
- "想象 rollout 无害" vs "自回归漂移有界性未知"：DreamerV3 主张性能主要来自世界模型的无监督重构信号、在想象轨迹中训练 actor-critic 可信 [2301.04104]；但本综述明确指出自回归 rollout 的漂移上界随步数 $T$ 的增长率仍无形式化保证，只有 "Compounding Errors" 的经验描述 [2606.01164]。矛盾根源：DreamerV3 的开环预测只报 45 帧短程且在低维离散 latent 空间（误差被 RSSM 表示压缩），而视频世界模型在高维像素空间做分钟级 rollout，漂移量级与可观测性完全不同——两者在各自实验范围内都成立，但不能互相外推。
3. 可攻击面 — 针对具体主张的反驳 #
- 对"更强能力 + 更小模型"的乐观叙述（§5 Table 6，Matrix-Game 2.0 1.3B / Yume-1.5 5B，速度到 24–60 FPS）[2606.01164]：综述把参数下降 + 帧率上升解读为进步，但未控制质量维度。SageAttention3 的 HunyuanVideo 实测给出反例：4-bit 加速在部分模型上 VQA-t 掉 3.45、FScore 掉 0.247 [2505.11594]——"更快"往往以未充分报告的质量退化为代价。综述横评表缺"加速前后同模型质量 delta"列，容易高估"能力 + 效率同时进步"。
- 对"长历史提升一致性"的默认假设：综述把长历史条件当作一致性的手段（memory/history-as-context 路线）[2606.01164]。但 NoLiMa 证明当缺乏表面匹配线索时，注意力随 context length 增长而稀释、11/13 模型在 32K 降至基线 50% 以下 [2502.05167]；且 last-2K 对齐实验证明退化由总 context length 决定而非位置 [2502.05167]。攻击点：世界模型堆更长 history 未必换来一致性，可能只是稀释了对当前动作的注意——这恰好是综述自己承认的中心张力，但综述停在定性描述，NoLiMa 提供了可攻击的定量证据。
4. 生态位 — 范式定位与采纳证据 #
- 范式定位：本综述站在"视频生成 → 交互式世界模型"的范式迁移临界点，把三条传统上分离的研究线（视频扩散、RL world model、多模态生成）收拢到同一 POMDP 框架下 [2606.01164]。它不是范式发起者，而是范式命名者与整理者——类似 DreamerV3 之于 model-based RL 的"固定超参跨域"命名 [2301.04104]，但作用在更年轻、更碎片的视频域。
- 采纳证据：
- 上游底层原语已被广泛采纳：SageAttention 已集成进 ComfyUI/Diffusers 作为加速后端 [2410.02367]，即综述所依赖的视频扩散实时化在工程上已落地。
- Massive Values 的 RoPE 洞察已被量化实践反向验证（AWQ/SmoothQuant 保护大值优于 GPTQ）[2502.01563]，为综述"记忆帧 RoPE 重排"这类 trick 提供机制背书。
- 综述本身维护 curated list 仓库（Awesome-Interactive-World-Model）[2606.01164]，是领域 landmark 型综述的典型采纳形态——无代码但充当索引。
- 与相邻范式的区隔：区别于 DreamerV3 的"低维 latent 想象"[2301.04104] 和 Qwen2.5-Omni 的"理解为主的多模态流式"[2503.20215]，本综述界定的交互式世界模型强调高维像素 + 帧级动作闭环 + 生成即模拟，是三者的交集地带。
5. 未探索方向 — 从聚类导出的 hybrid / adaptive 方向 #
- 量化感知的世界模型 rollout（SageAttention3 × 世界模型）：SageAttention3 发现 fine-tuning 对 attention 量化几乎无损、但 pretraining 从零训练会持续损失收敛 [2505.11594]。世界模型的自回归 rollout 恰是"长序列误差累积"场景，与训练 backward 的 $dO\cdot V^\top$ 敏感路径同构 [2505.11594]——探索"哪个 attention matmul 在 rollout 漂移中最敏感、可否选择性保精度"是直接的 hybrid 方向，能把综述的定性漂移讨论 [2606.01164] 落到可量化的量化-精度权衡。
- RoPE 时间索引 × massive-value 保护（Massive Values × NoLiMa × HY-WorldPlay）：综述提到 HY-WorldPlay 的 Temporal Reframing [2606.01164]，但未与 Massive Values 的"低频维度承载语义"机制 [2502.01563] 打通。未探索方向：世界模型的记忆帧重排是否应专门保护 RoPE 低频/massive-value 维度以避免长程语义漂移？NoLiMa 的 last-2K 对齐协议 [2502.05167] 可直接改造成"世界模型 revisit 一致性"的评测协议。
- MuonClip 式训练稳定性移植到视频世界模型（Kimi K2 × diffusion-forcing）：视频世界模型的长序列自回归训练同样面临 attention logit / 梯度不稳定，而 MuonClip 的 per-head QK-Clip + self-deactivation [2507.20534] 是针对 bilinear attention 爆炸的成熟稳定器。综述的 Forcing 谱系 [2606.01164] 全部关注 exposure bias，未涉及优化器层稳定性——这是一个空白象限。
- DMA offload × 流式世界模型服务（ConCCL × 24–60 FPS 目标）：综述把实时性停在算法层（蒸馏/缓存）[2606.01164]，未触及多 GPU 服务时的通算重叠。ConCCL 的 DMA offload 消除 compute/cache interference [2412.14335] 对"多轮交互 + 高帧率"的在线世界模型服务是天然补充，但受限于 DMA 不支持 all-reduce [2412.14335]，仅适合 bandwidth-bound 的 all-gather 阶段——是"技术可解但需适配"的具体方向。
- 统一评测：把 WorldArena 的 AF gap 与 NoLiMa 的联想 recall 合并：综述揭示 AF（动作跟随）普遍 <5 [2606.01164]，NoLiMa 揭示 latent association recall 随长度崩溃 [2502.05167]。二者可能是同一"注意力无法把远端条件绑定到当前生成"问题的两个投影——构造一个同时测"动作跟随 + 长程记忆检索"的世界模型 benchmark 是尚未有人做的组合。