Target: 2301.04104 "Mastering Diverse Domains through World Models" (DreamerV3) Peers in scope: 2410.02367, 2412.14335, 2502.01563, 2502.05167, 2503.20215, 2505.11594, 2507.20534, 2509.24006 Mode A · category: algorithm
这是一个 弱谱系、强主题 的 cluster。DreamerV3 是唯一一篇 model-based RL / 世界模型论文，其余 8 篇分布在 attention 量化、系统调度、可解释性、benchmark、多模态与大模型训练。它们不共享算法血缘（no shared baselines、no citation lineage），仅共享 category: algorithm 标签。因此本篇的 relate 价值不在"改进/被改进"链条，而在跨子领域抽取共同的方法论母题。按母题相关度分三层：
第一层 — 数量级不变性 / 尺度鲁棒性（最强的真实相关）。
DreamerV3 的核心贡献不是网络结构，而是四项让固定超参跨域成立的量纲无关变换（symlog、symexp twohot、KL free bits、百分位回报归一化）[2301.04104]。这与 attention 量化系的三篇形成惊人的同构：
max(1,S) 分母是完全平行的"防塌缩"设计 [2301.04104]。第二层 — "一套配置打天下" 的 generality claim。
第三层 — 弱相关（同类别但方法论交集小）。
DreamerV3 独有、cluster 中无人企及的：
增量而非首创的部分：
矛盾 / 张力：
DreamerV3 隐含主张 "把所有回归目标压进对数空间是普遍有益的" [2301.04104]。但 Massive Values 证明在 RoPE LLM 中 不加区分地抑制大值会摧毁上下文理解能力（GSM8K 76.9%→4.0%）[2502.01563]。
矛盾根源：两者作用的对象与语义不同。DreamerV3 的 symlog 作用在标量回归目标（reward/return/observation reconstruction）——这些量的大数量级确实主要是"尺度噪声"，压缩无损语义 [2301.04104]。Massive Values 的大值出现在 Q/K 激活的特定低频维度，承载的是位置无关的语义通道——压缩即毁伤。两者在各自域内都正确，但都暗含了一个未经检验的普适性表述："magnitude compression 总是安全的"（DreamerV3）vs "大值总是功能性的"（隐含反命题）。真正的边界是：大值是尺度伪影还是信息载体，这需要逐机制判断，而非一刀切。
攻击 1 — "固定超参跨域" 的成本被 aggregate 指标掩盖。
DreamerV3 的聚合优势（Atari Gamer mean 3381% > MuZero 3054%）掩盖了大量逐任务失败：Breakout 384 vs MuZero 799、Ms Pacman 24079 vs 51310、DMLab Psychlab Visual Search 40.1 vs PPO 76.6 [2301.04104]。这与 NoLiMa 对长上下文模型的批判同构——声称的通用能力在特定切片下崩塌 [2502.05167]。反驳：一个真正"通用"的算法不应在某些任务上被简单 PPO 击败。DreamerV3 的"固定超参"更像是"一个在多数任务上足够好、但从未在任何单任务上最优"的折衷，其 generality 有被 aggregate mean 美化的嫌疑。
攻击 2 — 无形式化保证，全靠 14 任务消融。
DreamerV3 对"固定超参下 return normalization 稳定"这一核心 claim 无任何理论 bound（如策略梯度方差不随奖励尺度发散的证明）[2301.04104]。这是整个 cluster 的通病——SageAttention [2410.02367]、Kimi K2 [2507.20534]、Qwen2.5-Omni [2503.20215] 全部"无形式化作者证明，仅实证"。但 SageAttention3 至少给出了 two-level quantization 的 error bound（Appendix A.5，证明 E4M3 有效动态范围从 $[0,0.167]$ 扩到 $[0,448]$）[2505.11594]。相比之下 DreamerV3 连"symlog 为何跨域稳定"的最小误差分析都没有，max(1,S) 下限的值 1 是纯经验常数。
攻击 3 — "diamonds from scratch" 头条与 0.4% 单回合率的度量错位。
DreamerV3 宣传 "100% 的 agent 训练中拿到钻石"，但补充材料显示单回合仅 0.4% 采到钻石 [2301.04104]。这是两个不同度量的选择性呈现——"训练全程至少一次" vs "任意单回合"。反驳：若按单回合成功率，DreamerV3 的 Minecraft 能力更接近"偶尔运气好"而非"稳定掌握"。这种度量选择与 Kimi K2 用 end-to-end benchmark 而无 ablation 隔离 agentic data 贡献的问题类似 [2507.20534]——用有利的聚合口径包装一个更 nuanced 的真相。
攻击 4 — symlog 的普适压缩可能损失稀疏但关键的大回报信号。
借 Massive Values 的逻辑 [2502.01563]：DreamerV3 用 symlog 压缩所有大目标，但在某些环境中，罕见的大 reward spike 恰恰是唯一有价值的学习信号（如稀疏 milestone）。把它压进对数空间会削弱其相对于小噪声的梯度信号。DreamerV3 用百分位归一化 + max(1,S) 部分缓解，但从未直接测试"某些大值是否应被保护而非压缩"。
DreamerV3 在 model-based RL 谱系（PlaNet→DreamerV1→V2→V3）中处于"从专用到通用"的范式拐点：它把 world-model RL 从"需逐域调参的研究原型"推向"out-of-the-box 可用的通用算法" [2301.04104]。这一定位与 cluster 中两类工作形成对照：
采用证据：DreamerV3 官方开源、单卡可复现是其最强的采用杠杆——对照 MuZero"作者不放实现 + 组件复杂难复现" [2301.04104]，DreamerV3 的可复现性是它成为 model-based RL 事实标准的关键。但与 SageAttention 已进入生产推理栈不同，DreamerV3 的"通用 RL"愿景仍主要停留在 benchmark 层面，尚未见到大规模真实机器人/工业部署的公开证据。
DreamerV3 一刀切地 symlog 所有目标。借 Massive Values 的"大值可能是功能信号"洞察 [2502.01563] 和 SageAttention 的"先分析分布再决定处理"方法论 [2410.02367]，可以设计逐目标 profiling 的自适应压缩：对确认为尺度伪影的目标用 symlog，对承载稀疏关键信号的目标（如里程碑 reward）保留原尺度。这可能直接改善 Minecraft 这类极稀疏奖励任务。
DreamerV3 单卡 A100 已可复现，但世界模型的 imagination rollout 是计算密集环节。SageAttention3 证明 attention 可 FP4 推理、8-bit 训练（fine-tune 无损、pretrain 有损）[2505.11594]。一个未探索方向：把 low-bit attention 引入 RSSM 的想象采样，用 DreamerV3 已有的 symexp twohot（本身就是一种量纲无关的离散化）与 microscaling 量化协同——两者都在做"离散 bin 上的尺度自适应"，可能有天然兼容性。
DreamerV3 的 free bits（KL<1 nat 自动关闭）与 MuonClip 的 self-deactivation（30% 训练后停触发）[2507.20534] 是两个独立发现的"临时稳定器"。未探索方向：是否存在统一框架解释"为何某些约束在训练早期承重、后期自然失活"？这可能给出比 DreamerV3 经验常数 max(1,·)=1 更原理化的下限选择。
DreamerV3 的性能主要来自世界模型的无监督重构信号而非任务梯度 [2301.04104]；SLA 的线性注意力不是近似而是"可学习补偿"（Proj 零初始化 + 微调）[2509.24006]。两者共享"结构性/无监督信号承重、任务信号微调"的哲学。一个 hybrid 方向：在 low-bit / 稀疏化的世界模型中，用零初始化的可学习补偿层弥合量化引入的分布偏移，而非直接接受精度损失。