本篇 (2512.15834) 首次提出将 speculative decoding 的"小模型投机、大模型验证"范式从 token 级别推广到 tool call 级别，实现 agent 工具执行与主模型推理的时间重叠。以下 7 篇论文构成其直接对话圈：
| 论文 | 关联类型 | 关联理由 |
|---|---|---|
| PASTE (2603.18897) | 直接后继 | 同做 speculative tool execution，用 Pattern Tuple 取代 SLM 做预测，添加参数推导和风险感知调度 |
| Saguaro/SSD (2603.03251) | 技术同源 | 将 speculative decoding 的 speculation-verification 解耦推到极致（cache 化），与本文的 tool-level speculation 共享"投机+验证"范式但在不同粒度 |
| Continuum (2511.02230) | 互补方案 | 解决 tool call 间隙的 KV cache 驱逐问题（TTL 机制），与本文的 engine-side "保持序列驻留"优化目标高度重叠 |
| CPU-Centric (2511.00739) | 问题刻画 | 首次量化 CPU 工具执行占 agent E2E 延迟高达 88%，为本文的"工具等待是瓶颈"论点提供独立验证 |
| Claude Code (2604.14228) | 生产参照 | 揭示生产级 coding agent 的 1.6% 决策+98.4% 基础设施范式，其 read-only/write 工具分类和 streaming execution 与本文的 stateless 工具约束相呼应 |
| SAGA (2605.00528) | 下游调度 | 以 Agent Execution Graph 做 workflow-level KV cache 管理，其 WA-LRU 的"预测复用概率"与本文的 tool cache 命中率优化在不同层次解决同一问题 |
| PBKV (2605.06472) | 下游缓存 | 用 GraphSAGE 预测 agent 调用序列驱动分层淘汰，与本文的"投机模型预测 tool call"共享预测范式但作用于缓存管理而非工具执行 |
本篇使用 SLM（xLAM 1B/3B/8B）作为投机模型预测下一个 tool call [2512.15834]。PASTE 直接后继了这一思路，但做了两个根本性改进：
预测机制的升维：本篇的投机模型只预测 tool call 的 name 和 arguments（依赖 SLM 的生成能力），无法处理参数需要从前序工具输出推导的情况。PASTE 引入 Pattern Tuple $(C, T, f, p)$，其中符号函数 $f$ 可以在 <100ms 内从前序 tool output 中推导参数（95% 的 URL 可直接提取） [2603.18897]。这使 PASTE 的 overall hit rate 达到 93.8%，远超本篇 xLAM-8B 的 ~80%。
安全性管理：本篇将工具分为 stateless（可投机）和 stateful（不可投机），但划分由人工判断，且无法处理介于两者之间的情况 [2512.15834]。PASTE 提供三级投机策略（full/dry_run/warm-up）和 Speculation Eligibility Policy，602/20000 有副作用的投机被自动阻止 [2603.18897]。
效果差距：本篇 client-side 节省 6-21% 端到端时延 [2512.15834]，PASTE 降低 E2E 延迟 48.5% [2603.18897]。差距主要来自两个因素：(1) PASTE 的 pattern mining 不需要额外 GPU 资源（CPU-only），而本篇的投机模型占用 3×A100；(2) PASTE 可以同时投机多个候选 pattern，而本篇的多重投机需要线性增加 API 成本。
本篇的不可替代贡献：尽管效果被 PASTE 超越，本篇的理论分析（Lemma 1 证明 client-side 加速严格 < 2×，Equations 4-6 的 engine-side 性能模型）是 PASTE 等后续工作未提供的。本篇还率先提出了 POST /cache-tool-output/{response_id} API 规范，为 engine-side 投机的标准化铺路 [2512.15834]。
本篇在 §2.2 明确区分了与 speculative decoding 的关键差异：传统 draft model 仅领先 3-10 tokens，用于 tool calling 时只能掩盖几毫秒 [2512.15834]。Saguaro/SSD 通过 speculation cache 将 verification 和 drafting 完全并行化，在 token 级别实现 30% over SD 的加速 [2603.03251]。
两者在 agent 场景中是正交互补的：
一个有趣的对比：Saguaro 将 draft model 部署在独立 GPU 上实现物理并行 [2603.03251]，本篇的 engine-side 算法也将投机模型部署在独立 GPU 上 [2512.15834]。两者共享"用额外 GPU 换延迟"的经济学逻辑，但 Saguaro 的 cache hit rate 在大 batch size 下按 $p_{\text{hit}}^b$ 衰减 [2603.03251]，而本篇的 tool cache 命中率与 batch size 无关（每个 agent session 独立）——这使得 tool-level speculation 在多租户场景中更具扩展性。
本篇的 engine-side 优化 O3 通过将 tool output 注入 KV cache 避免序列驱逐 [2512.15834]。Continuum 用 TTL 机制解决同一问题：在 tool call 间隙 pin 住 KV cache，通过 cost-benefit 模型计算最优保留时间 [2511.02230]。
矛盾根源：两者对"序列应该驻留多久"给出了不同答案。本篇的 engine-side 方案隐式假设投机 tool output 会在主模型 decode 完成前到达（$T_i < \delta R_i$），此时序列永远驻留（直到 cache miss 才 fallback）[2512.15834]。Continuum 认为无限 pin 不可行（因为 tool call 时长高度长尾，cd 最慢 10% 占 94.1% 总延迟），必须设置有界 TTL [2511.02230]。
两者在各自实验范围内都正确：本篇仅验证了 1 个并发 agent（vLLM speculative decoding 在 batch>1 时 overhead 高），此时 GPU 显存争用不严重，永驻策略可行 [2512.15834]。Continuum 在 16-256 并发下测试，显存争用是核心挑战，必须有有界保留策略 [2511.02230]。
融合方向：将本篇的 tool cache 投机作为 Continuum TTL 内的"加速器"——TTL 决定 KV cache 保留时长，投机的 tool output 在 TTL 窗口内注入以避免 prefill 重计算。投机失败时退化为 Continuum 的标准 TTL 重调度路径。
CPU-Centric 的核心发现——CPU 工具执行最高占 E2E 延迟 88% [2511.00739]——从完全不同的视角验证了本篇的出发点。本篇从推理引擎内部观察到 tool call 打断 decode、导致驱逐/重调度开销 [2512.15834]；CPU-Centric 从外部系统 profiling 角度揭示工具执行本身是 CPU-bound 的瓶颈。
两者的交集在于：本篇的投机执行将 tool call 与 LLM decode 重叠，CPU-Centric 的 COMB 将 CPU 工具批次与 GPU 推理批次重叠。两种重叠策略作用于不同层级（single request vs batch-level）但共享"CPU-GPU pipeline parallelism"的设计原语。
一个重要警示：CPU-Centric 指出随着 GPU 越来越强，CPU 瓶颈越来越严重（Toolformer 推理占比从 88%→77%）[2511.00739]。这意味着本篇的投机模型如果部署在独立 GPU 上（消耗 3×A100），在 GPU 不是瓶颈的场景下可能是资源浪费。PASTE 的 CPU-only pattern matching（~250MB 内存 + 1-3 CPU cores）[2603.18897] 在 CPU-GPU 比例失衡的系统中可能更具部署优势。
Claude Code 的 StreamingToolExecutor 将工具分为 read-only（并行执行）和 state-modifying（串行化），并通过 sibling abort controller 实现 fail-fast 语义 [2604.14228]。本篇的 stateless/stateful 二分法是更粗粒度的等价物。
关键观察：Claude Code 的 54 个 built-in tools 中，read-only 工具（Read、Glob、Grep、SemanticSearch 等）正是本篇认为"可安全投机"的工具类别。但 Claude Code 的 Bash tool（state-modifying 但高频）在本篇框架下无法被投机。PASTE 的 three-tier speculation policy（full/dry_run/warm-up）在这种场景下比本篇的 binary 分类更灵活 [2603.18897]。
Claude Code 的 93% approval rate 暗示 agent 在实践中高度自治 [2604.14228]，这支持了本篇"tool call 模式可预测"的前提——如果 agent 大多数时间在自主循环，tool call 序列应该呈现出可学习的模式。
本篇、SAGA 和 PBKV 都使用"预测下一步 agent 行为"来优化推理效率，但预测的目标和方法截然不同：
| 维度 | Speculative Tool Calls | SAGA | PBKV |
|---|---|---|---|
| 预测目标 | 下一个 tool call 的 name + args | 下一个 AEG 节点的转移概率 | 下一个 agent 的 $K$ 步分布 |
| 预测方法 | SLM 生成式投机 | 历史 trace 统计 + log-normal 拟合 | GraphSAGE + attention + MLP |
| 预测用途 | 提前执行工具 | KV cache 淘汰/TTL/预取 | KV cache 淘汰/预取 |
| 预测错误代价 | 浪费投机计算（无负面影响） | 过早淘汰 → re-prefill | Lipschitz 退化（有界） |
SAGA 的 WA-LRU 实现了 1.31× Bélády 最优竞争比 [2605.00528]。PBKV 的 Lipschitz 遗憾界确保增益随预测精度连续变化而不断崖式下降 [2605.06472]。这两个系统解决的是本篇 engine-side 优化 O3（避免驱逐）的更精细版本——它们不仅避免驱逐，还在多租户争用下做最优淘汰决策。
本篇引以为豪的 Lemma 1（client-side 加速严格 < 2×）在数学上正确，但其实际指导价值有限 [2512.15834]。实验中观察到的最大时间节省仅 ~21%（即 ~1.27× 加速） [2512.15834]，距离 2× 上界还很远。真正限制加速的不是理论上界，而是投机模型的准确率 $\alpha$（xLAM-8B 约 80%）和投机模型本身的推理延迟 $g$。PASTE 在完全不同的预测机制下达到 1.94× 加速（48.5% 时间节省） [2603.18897]，说明理论 bound 不是 binding constraint——工程实现和预测策略才是。
Engine-side 优化仅额外提供 2-3% 时间节省 [2512.15834]，但代价是：(1) 需要 fork vLLM 并深度改造 speculative decoding 基础设施；(2) 受限于 vLLM speculative decoding 在 batch>1 时的高 overhead，仅验证了单 agent 场景 [2512.15834]。与此对比，Continuum 作为 vLLM 的模块化插件实现了最高 8.18× 延迟下降，且在 16-256 并发下鲁棒 [2511.02230]。SAGA 在 64 GPU 集群上实现 1.64× TCT 下降 [2605.00528]。engine-side 的 2-3% 增益被这些下游系统级优化淹没。
反驳：engine-side 的 tool cache API 规范（POST /cache-tool-output/{response_id}）是一个标准化贡献，其价值不在于当前的 2-3% 增益，而在于为推理引擎厂商提供了一个低侵入的接口来支持工具投机。如果 vLLM 主线采纳此 API，client-side 和 engine-side 的收益可以叠加。
本篇声明"many common agent tools (web-search, file access) are both cheap and stateless"[2512.15834]，但未量化 stateless 工具在真实 agent workload 中的比例。CPU-Centric 的分析表明 SWE-Agent 的主要工具是 Bash/Python 执行（有副作用），占 E2E 延迟 25-65% [2511.00739]。Claude Code 的 Bash tool 是最高频的 state-modifying 工具 [2604.14228]。如果超过半数的高延迟工具是 stateful 的，本篇的覆盖范围就被大幅压缩。
本篇使用 BFCL 的预计算 tool output 而非真实工具执行 [2512.15834]，声称"algorithms and measurements depend only on when tools are called and how long they take to run, not on the content of the tool outputs themselves"。但 PASTE 的实验表明 tool output 的内容会影响 agent 的后续行为——参数推导函数 $f$ 需要解析 tool output 的结构 [2603.18897]。真实 tool output 的变异性可能影响投机模型的 cache hit rate。
Speculative Tool Calls 是 speculative execution 范式在 agent 推理中的首次形式化应用。它建立了一个清晰的理论框架：将 agent tool calling 的延迟分解为 $G$（生成时间）+ $T$（工具时延）+ $o$（调度开销），然后系统性地论证如何通过投机掩盖各项 [2512.15834]。这个分解框架被后续工作隐式采用——PASTE 的 overlap analysis、Continuum 的 cost-benefit model、SAGA 的 $O(k^2c)$ regeneration cost 分析都可以映射到此框架。
Token-level speculation (Leviathan 2023)
├── Saguaro/SSD: speculation cache → 消除 drafting 延迟
└── Tool-level speculation (本篇, 2025-12) ← FIRST
├── PASTE (2026-03): pattern-based 替代 SLM, +参数推导
└── [potential] Engine-native tool cache API 标准化
KV cache management for agent serving:
├── Continuum: TTL 机制 → pin KV 避免排队
├── SAGA: AEG + WA-LRU → workflow-level 淘汰
└── PBKV: GraphSAGE 预测 → 分层淘汰+保守预取
本篇的 engine-side O3（保持驻留）是这一分支的起源概念之一
在 tool-level speculation 赛道上，PASTE 已全面超越本篇的效果（48.5% vs 6-21% 时间节省），且不需要额外 GPU 资源。但本篇在两个维度上仍有不可替代性：
当前投机执行（本篇、PASTE）和 KV cache 管理（Continuum、SAGA、PBKV）是独立的优化层。一个自然的融合方向：用 PBKV 的 GraphSAGE 预测器同时驱动 (a) tool call 投机执行和 (b) KV cache 淘汰/预取。预测器的输出——$K$ 步 agent 分布——既可以用于提前执行 tool，也可以用于评估 cache 保留价值。这避免了维护两套独立的预测系统，且预测误差的鲁棒性保证（PBKV 的 Lipschitz 界）可以自然扩展到投机执行决策。
本篇和 PASTE 都将 stateful tool 排除在投机范围之外。但如果结合 Claude Code 的 worktree isolation 机制 [2604.14228]（git worktree 提供文件系统级隔离），可以在隔离沙箱中投机执行 stateful tool，通过事后验证决定是否 promote 结果。这将本篇的 binary（stateless/stateful）分类升级为 PASTE 的三级策略（full/sandbox/warm-up），覆盖 SWE-Agent 的 Bash 执行等高频 stateful 工具。
本篇的投机采样数 $\lambda$ 是静态超参数（1-9）[2512.15834]。但 SAGA 的 AFS 调度 [2605.00528] 和 Continuum 的 TTL [2511.02230] 都证明了自适应策略的价值。一个未探索的方向：根据当前系统负载动态调整 $\lambda$——低负载时激进投机（$\lambda$ 大），高负载时保守（$\lambda$ 小或不投机）。PASTE 的 risk-aware scheduler [2603.18897] 提供了一个初步的框架（$U(j) = p \cdot T / (c \cdot d)$），但未将系统负载纳入优化目标。
PBKV 的 GraphSAGE 预测器展示了跨工作流聚合缓存价值的能力 [2605.06472]。类似地，不同 agent session 的 tool call 模式可能存在共性（PASTE 的 pattern pool 就是跨 session 共享的） [2603.18897]。一个未探索的方向：构建全局 tool call pattern knowledge base，新 agent session 冷启动时直接继承已验证的投机策略，避免每个 session 独立积累投机模型的 context。这与 Continuum 的 per-tool/global 双层统计估计 [2511.02230] 有设计空间上的对应。
当前 tool-level speculation（本篇）和 token-level speculation（Saguaro）在时间尺度上互补但从未组合。一个激进的方向：在投机模型生成 tool call 的过程中，同时用 Saguaro 的 speculation cache 加速投机模型自身的 decode，形成"投机的投机"。这在概念上类似于 CPU 的 branch prediction + speculative execution 的深度流水线，但需要仔细管理两层投机的 correctness guarantee 和 resource allocation。