world-model-agent

1. 主题缘起 #

这个主题追问一件事：当一个模型学会"预测世界的下一步"，它离"成为一个会行动的 agent"还有多远？答案在 2026 年集中显形——世界模型不再只是被动的动力学预测器，而是被直接当成 agent 的模拟器、策略与规划器：先在脑中"想象"未来，再把想象读成动作。DreamZero 把世界动作模型明确定位为 zero-shot 策略，动作直接从"想象出的未来视频计划"里读出，无需任何 test-time 搜索 [2602.15922]；Cosmos Policy 把 policy / world model / value function 折叠进单一预训练生成模型，直接重写 agent 的内部大脑 [2601.16163]。这是一条"预见 → 行动"的主线。

但一个会想象的 agent 必须跑在某个基座上。世界模型驱动的 agent 恰恰是极重的负载来源：best-of-N 规划是天然的 fan-out DAG [2601.16163]，像素级视频去噪是主导运行时成本 [2603.16666]，闭环控制对每轮延迟极端敏感 [2602.15922]。与此同时，另一批工作把"agent serving"从"把每次 LLM 调用当独立请求"推进到"感知整个 workflow 结构"的调度基座——Halo 把批量 agentic workflow 合并成暴露共享计算的 consolidated DAG [2509.02121]，Scepsy 把问题上移到"决定 GPU 布局本身" [2604.15186]。因此本主题跨越两个 category：算法侧的世界模型–策略（algorithm）与运行侧的 agent 服务基座（agent），并主张后者正是前者部署时的天然归宿。

2. 覆盖的 category 分布 #

algorithm 侧的 7 篇是"世界模型如何变成动作"的不同答卷；agent 侧含一个特例——Cosmos Policy 虽挂 agent 标签，却是把生成模型改造成具身大脑，落在两侧的接缝上 [2601.16163]；其余 4 篇 agent-serving 论文构成"这些会想象的 agent 跑在哪里"的基座层。

3. 时间线 #

• 2025-09 · Halo — 把数据库式批量查询优化搬到 agentic serving：n 个同模板 query 合并成一张暴露共享计算的 DAG，用 makespan 最小化 + beam search 求放置 [2509.02121]。为"会想象的 agent"提前铺好了批量调度基座。
• 2026-01 · Cosmos Policy — 把 policy / world model / value 折进单一生成模型，用 best-of-N 一步 lookahead 规划取得 +12.5 分，但全流程需 8 GPU 并行 ~4.9s [2601.16163] [2601.16163]。第一次把"决策层想象"与"serving 层负载"显式接上。
• 2026-01 · LingBot-VA — video-world-model-as-policy 的激进落点：自回归扩散预测未来视频、再用逆动力学解码动作，KV-cache 承载长时程记忆 [2601.21998]。
• 2026-02 · DreamZero — 14B 自回归视频扩散骨干联合去噪未来帧 + 动作，靠 38× 推理优化栈跑到 7Hz 闭环 [2602.15922]；"世界模型即 zero-shot 策略"的旗舰实证。
• 2026-02 · Pancake — 认领 agent 服务栈最底层的数据层：把 agent 记忆的 ANN 向量索引当作被管理资源，hybrid graph 让粗搜索降 >20× [2602.21477]。
• 2026-03 · Helium — clairvoyant + query-optimizer 组合：编译期已知整批 workflow，做 CSE 剪枝 + 全局 prefix 调度，头条 up to 1.56× over KVFlow [2603.16104]。
• 2026-03 · Fast-WAM — 反向命题："视频预测的价值在训练期，而非 test-time 想象"，推理时直接删掉未来视频生成分支（810→190ms）[2603.16666] [2603.16666]。
• 2026-04 · Scepsy — 把 serving 问题上移到"决定 GPU 布局本身"：支持一个 workflow 里多个异构 LLM 的分数 GPU 分配 [2604.15186]。
• 2026-06 · τ₀-WM — 把想象力当作 deployment-time 推理接口：VAM 与 ACVS 共享 backbone，部署期对候选动作做 what-if 评估 + 修正（RCS+LAR），单张 RTX 5090 上 140–220ms/query [2606.01027] [2606.01027]。
• 2026-06 · 交互式视频世界模型综述 — 把"动作可控性 / 长程一致性与记忆 / 实时响应性"命名为三大瓶颈，用 POMDP 统一框架收拢视频扩散、RL world model 与多模态生成 [2606.01164] [2606.01164]。
• 2026-06 · LaWAM — "最便宜的显式世界模型接口"：复用潜动作模型被丢弃的前向解码器当非迭代世界模型，单步潜解码换控制，延迟降 24× [2606.15768]。
• 2026-07 · ABot-M0.5 — 移动操作世界动作模型，用 Dream Forcing 把生成 rollout 的 exposure bias 关进训练循环 [2607.00678]，但 serving 故事留白（边端实时推理列为未来工作）[2607.00678]。

4. Evolution timeline (技术谱系) #

两条谱系各自演化，最终在"会想象的 agent 需要基座"处交汇：

分叉点：DreamerV3 的"潜空间想象"分叉出像素/视频世界模型（DreamZero / LingBot-VA / ABot-M0.5）与部署期想象即推理接口（τ₀-WM / Cosmos Policy）两支 [2606.01027]。收敛点：Fast-WAM 与 LaWAM 从相反方向汇合到"想象很贵、能省则省"——一个在训练后删掉 test-time 想象 [2603.16666]，一个把迭代像素 rollout 压成单步潜解码 [2606.15768]。跨谱系的虚线才是本主题的主张：决策层制造的负载正好是服务层的调度对象 [2601.16163] [2509.02121]。

5. 技术线交错 #

(1) 决策层制造负载 → 服务层吸收负载（本主题最强的交错）。 Cosmos Policy 的 8 路 best-of-N 规划是一个标准 fan-out/fan-in DAG，恰是 Halo consolidated DAG 与 program-level 调度器的调度对象；二者不矛盾，而是上下游关系，但此前无人把它们接起来 [2601.16163] [2509.02121]。同理 Scepsy 的分数 GPU 分配层正是为"一个 workflow 里多个异构模型（如策略模型 + world-model 评估器 + value ensemble）"设计的资源布局器 [2604.15186]——而 Cosmos Policy 的规划恰恰同时用 world model 3× + value 5× ensemble [2601.16163]。

(2) 世界模型的延迟结构决定了它需要哪种服务优化。 当想象是"昂贵的像素/视频去噪"时（DreamZero 需 2× GB200 才 7Hz [2602.15922]、Fast-WAM 的 IDM 变体 810ms [2603.16666]），算法侧要么删想象（Fast-WAM）、要么压成潜解码（LaWAM），要么下沉到消费级硬件（τ₀-WM 单卡 5090 [2606.01027]）。这与服务侧"KV 迁移比重算快一个数量级"这一物理事实互补 [2509.02121]：serving 层能吸收的负载类型（可复用 prefix、可迁移 KV、可 overlap 的 CPU 工作），反过来约束了世界模型该把哪部分算力外置。

(3) 长时程记忆：算法侧押 KV-cache，服务侧管 KV-cache。 LingBot-VA 与 ABot-M0.5 都把长时程能力押在 KV-cache / 条件缓存上 [2601.21998] [2607.00678]；而 Pancake / Helium / Continuum 系正是"KV 与外部记忆索引什么时候留在 GPU"的管理者——Pancake 把 agent 记忆 ANN 索引当作可缓存资源 [2602.21477]，Helium 用 TRT 统一 prefix 层级与依赖 DAG [2603.16104]。会想象的 agent 的"记忆宣称"能否兑现，一半取决于服务层的记忆生命周期管理。

(4) test-time compute 分配是两侧共同的旋钮。 τ₀-WM 把"LLM 推理时花算力选更好答案"的 best-of-N / self-consistency 思路搬到连续动作空间 [2606.01027]，Cosmos Policy 对所有状态用固定 N=8 [2601.16163]。这种"何时该花更多算力想象"的决定，恰好是 Scepsy / Helium 这类分配/调度层的输入信号——固定 N 是浪费，自适应预算需要服务层与决策层协同。

6. 共识与分歧 #

共识。

• 世界模型承载了大部分有用信号，且比反应式策略更省数据。 DreamZero（policy 性能系于视频生成质量 [2602.15922]）、LingBot-VA（视频预训练即隐式正则、样本效率高 [2601.21998]）、Cosmos Policy（未经动作预训练却胜过经此预训练的 π0.5 [2601.16163]）一致指向"视觉动力学建模本身承载了策略所需的大部分信息"。
• 昂贵的像素/视频想象在 test-time 的性价比存疑。 Fast-WAM 直接删掉它 [2603.16666]、LaWAM 压成单步 [2606.15768]、DreamZero 用 38× 栈拼命压 [2602.15922]，都承认原始形态太贵。
• agent 服务是系统问题，不是建模问题。 Pancake / Helium / Halo / Scepsy 全部放弃 task-success 指标、只测吞吐/延迟，一致认为"LLM 调用已不是 agent 的全部成本" [2602.21477] [2603.16104]。

分歧。

• 想象要不要在 test-time 做？ Cosmos Policy / τ₀-WM 主张部署期主动想象-评估是收益来源 [2601.16163] [2606.01027]；Fast-WAM 主张想象只是训练脚手架、部署即弃 [2603.16666]。根源是想象的成本模型不同——Fast-WAM 的想象是 5B 视频 DiT 去噪（主导成本），而部署期评估类方法要么下沉到潜空间、要么下沉到消费级硬件；两者在各自成本 regime 内都成立，但不能互相外推 [2603.16666]。
• 想象要多深？ LingBot-VA / DreamZero 做多步自回归 rollout [2601.21998]，LaWAM 刻意只做单步非迭代解码、并主张 chunk 级控制一步足够 [2606.15768]，而综述指出自回归 rollout 的漂移上界随步数增长仍无形式化保证 [2606.01164]。深度是收益还是负债，尚无定论。
• 服务假设：工具/编排时间可忽略吗？ Scepsy 假设非 LLM 工具时间"至多几毫秒"并从资源模型里丢弃 [2604.15186]，Helium 把远程 tool call 排除出 scope [2603.16104]；但这类假设在工具密集场景会系统性低估 makespan——正是需要在世界模型 agent（其"工具"可能是昂贵的 world-model rollout 本身）里重新审视的边界 [2604.15186]。
• 算力放 CPU 还是 GPU？ Pancake 把热点 ANN 簇上载 GPU 换 >3× 搜索加速 [2602.21477]，而同族刻画工作主张 CPU 侧调度才是解药——同一算子的相反硬件策略，取决于数据能否装进 GPU 的 residency regime [2602.21477]。

7. Open challenges (根本性困难) #

• 自回归 rollout 的漂移无界，是理论困难而非工程空缺。 综述明确承认视频世界模型在高维像素空间做分钟级 rollout 时，漂移上界随步数的增长率无形式化保证，只有 "Compounding Errors" 的经验描述 [2606.01164]；LingBot-VA 的闭环稳定性甚至悬于单一 FDM 缓存 trick（Naive Async 在 Horizon=3 崩到 32.9%）[2601.21998]。这要求 algorithm 侧（更好的 grounding）与 agent 侧（何时必须重锚真实反馈的调度判据）协同，难度horizon 估计 3–5 年。
• self-consistency ≠ correctness：想象评估器的可靠性没有桥接保证。 τ₀-WM 的 RCS 度量"与学到的动作流形一致"，但一个"一致但错误"的候选（多模态分布里的坏 mode）完全可能得高分，缺一个把分布内一致性连到真实 task success 的界 [2606.01027]；Cosmos Policy 的 +12.5 分规划收益也无理论界、强依赖 rollout 数据覆盖 [2601.16163]。这是把世界模型当规划器的结构性弱点，非"没人试过"。
• "想象负载"与"服务基座"至今各说各话。 Cosmos Policy 制造 fan-out best-of-N 负载但不谈调度 [2601.16163]，Halo / Scepsy 设计调度/分配但从未把 embedded 世界模型规划当作一等 workload [2509.02121] [2604.15186]。要让会想象的 agent 真正实时，需要 algorithm 与 agent 两个 category 共同定义"世界模型 rollout 作为可调度算子"的接口——目前是空白象限。
• 长时程记忆的真实 effective horizon 未被压力测试。 算法侧把长时程押在 KV-cache 上却只在强表面线索、短时程玩具任务上验证 [2601.21998]；服务侧能管理 KV 生命周期却不保证注意力不被稀释。二者交叉处需要一个"动作跟随 + 长程联想 recall"的联合评测，目前无人构造 [2606.01164]。

8. 成熟度判断 #

整体：research-frontier，且正在加速。 证据：

• 算法侧集中爆发但尚未沉淀。 世界模型-策略路线在 2026 上半年密集出现（DreamZero / τ₀-WM / Fast-WAM / LaWAM / ABot-M0.5 半年内接连问世），综述已在为其命名与分类 [2606.01164]——这是范式成形期的典型信号，而非成熟期。采用证据普遍薄弱：τ₀-WM 无开源无第三方复现 [2606.01027]，LaWAM / ABot-M0.5 / Fast-WAM 均实现未公开 [2606.15768] [2607.00678] [2603.16666]；仅 Cosmos Policy 由 NVIDIA 官方开源（含训练与评测脚本），采用门槛最低 [2601.16163]。
• 服务侧更接近工程落地但仍以论文为主。 Halo / Pancake / Helium / Scepsy 都已进入 agentic-serving 社区的对照坐标（Continuum 与 CPU-centric 刻画工作主动把 Halo/Helium 列为 related [2603.16104]），但普遍只有 demo 级代码、无生产开源 [2509.02121] [2602.21477] [2604.15186]。
• 趋势方向：加速。 两侧都在向消费级硬件下沉（τ₀-WM 单卡 5090 [2606.01027]）、向 workflow 级结构感知演进（Halo→Helium→Scepsy 的逐层上移 [2604.15186]）。真正缺的是把两侧接起来的系统，这既是不成熟的标志，也是最大的机会窗。

9. 邻接 topic #

• world-model — 本主题的算法侧上游。world-model 主题聚焦"世界建模本身如何跨具身、长时稳定、几何一致"，以 DreamerV3 为历史基线 [2301.04104]；本主题则专注它"如何变成 agent 的动作/控制"以及"跑在哪里"。边界模糊处：ABot-M0.5、DreamZero、Cosmos Policy 同时属于两个主题——world-model 关心它们的建模质量，本主题关心它们的策略化与部署。二者可能在"世界动作模型（WAM）"子方向上进一步合并或分裂。
• agent-scheduling — 本主题的服务侧上游。agent-scheduling 主题覆盖 KV-cache 管理、负载均衡、workflow 调度、PD 分离等通用 agent 调度机制，Halo / Helium / Scepsy / Continuum 等都在其 scope 内。本主题借用其调度/分配基座，但把视角收窄到"世界模型驱动的 agent 制造的特殊负载（best-of-N fan-out、昂贵 rollout、闭环延迟）"。边界模糊处：4 篇 agent-serving 论文在两个主题里都出现——agent-scheduling 把它们当通用调度案例，本主题把它们当"会想象的 agent 的部署归宿"。未来若"embodied/world-model agent serving"积累足够，可从两个母主题里裂变出独立子主题。

10. 参考 #