Target: Toolformer — a self-supervised recipe that teaches a 6.7B GPT-J to insert/execute API calls, filtering them by whether they reduce next-token loss [2302.04761]. Synthesized against 8 peers spanning foundation models, agent/reasoning, safety, long-context, and serving.
这个 cluster 极度异质——8 篇 peer 覆盖了 model 类别下几乎正交的子方向，与 Toolformer 的关联强度差异很大。按"与 Toolformer 主张的耦合度"分三档：
强相关（同一 tool-use / agent 谱系）
kind: baseline）。Toolformer 的头条结果就是"6.7B + 工具 > 175B GPT-3"[2302.04761]，而 GPT-3 恰好是"纯 scaling / in-context learning"路线的代表 [2005.14165]。Toolformer 攻击的正是 GPT-3 无法根治的算术/事实短板。中相关（同为"外部知识/能力增强 LLM"但机制不同）
→ 就外呼 API）正是它们担心的攻击面。弱相关（仅 category=model 或 serving 视角同框，机制无交集）
| 维度 | Toolformer | ReAct |
|---|---|---|
| 学习方式 | 微调（GPT-J 6.7B 在自监督增广数据上 finetune）[2302.04761] | 冻结 LLM + few-shot（PaLM-540B 不改一个参数）[2210.03629] |
| 何时调用工具 | 模型自身 | thought/action 交替，模型每步自行决定 [2210.03629] |
| 多步/链式 | 不支持——调用独立采样，无链式训练样本 [2302.04761] | 原生支持——thought 重写上下文 $c_{t+1}=(c_t,\hat a_t)$，天然多步闭环 [2210.03629] |
| 交互纠偏 | 无——单次调用，结果插回即完 [2302.04761] | 有——observation 可纠正下一步 thought [2210.03629] |
delta 本质：Toolformer 把"工具是否有用"编译成一个离线、自监督、无标签的标量信号（未来 token 降损），代价是丧失了运行时的多步推理与纠偏；ReAct 把这一切留在运行时 in-context，换来链式/交互但需要一个足够强（540B）的冻结模型且无 grounding 保证以外的学习。二者的 §7 "未探索方向"实际互补：Toolformer 明说 chaining/interactivity 是未来工作 [2302.04761]，而 ReAct 正是那个未来的雏形。
Toolformer 的头条 claim 是"6.7B + 工具在 LAMA T-REx (53.5) 和数学 SVAMP (29.4) 上击败 25× 更大的 GPT-3-175B (39.8 / 10.0)"[2302.04761]。这是对 GPT-3 "scaling 解决一切"叙事 [2005.14165] 的直接反例：算术/事实查找这类能力，用外部工具比堆参数更划算。
但 delta 是有条件的，需与 GPT-3 的 L2 交叉验证后标注矛盾：
Toolformer 声称"工具让小模型超越大模型"[2302.04761]，但其自身实验里在开放域 QA（WebQS/NQ/TriviaQA）上 Toolformer 仍输 GPT-3-175B（TriviaQA 48.8 vs 65.9）[2302.04761]。
矛盾根源（非真矛盾，是适用域差异）: GPT-3 的优势在于参数内化的世界知识 + in-context 元学习在开放域 QA 上仍占优 [2005.14165]，Toolformer 的弱搜索引擎（BM25、无 query 改写）无法弥补 [2302.04761]。所以"工具 > 规模"只在能被单次精确调用消解的任务（算术、单跳事实）成立；需要开放检索+推理时，规模路线仍胜。两者在各自域内都正确，Toolformer 的 tl-dr 表述略过绝对。
另一处必须并置的观察：GPT-3 和 Toolformer 都报告了"能力随规模涌现"。GPT-3 的是"few-shot gap 随规模变宽"[2005.14165]，Toolformer 的是"工具使用能力在 ~775M 处才涌现，更小模型工具完全无用"[2302.04761]。这不是矛盾而是同一涌现现象的两个切面——工具使用本身也是一种需要足够容量才能激活的 emergent ability。
两篇都主张"不改架构、用合成/增广数据 + SFT 修复固有缺陷"。delta 在监督信号的来源：
这是一个有意思的 incremental 对照：Toolformer（2023）证明"模型能用自身困惑度当过滤器"，FilM（2024）则回退到"用更强模型当 teacher"。Toolformer 路线更廉价但样本效率极低（>100 万文档只产出几千条有用计算器调用）[2302.04761]；FilM 路线更贵但产量可控。
Toolformer 与这两篇构成能力—安全的张力，而非直接方法对比：
→ 就外呼）[2302.04761]。delta：Toolformer 的机制里，被插入的 API 结果 $r$（如 WikiSearch 返回的网页片段）会回到上下文继续影响解码——这正是 SEP 定义的"数据位内容"和 Instruction Hierarchy 定义的"Tool Output（最低特权）"[2404.13208]。Toolformer 时代（2023 初）尚未考虑：如果 WikiSearch 返回的片段里含"忽略之前指令"，Toolformer 会不会照单全收？这是本 cluster 揭示的未被 Toolformer 论文覆盖的攻击面（详见 §3）。
攻击点 1 — "工具让小模型超越大模型" 的选择性叙事。
Toolformer 的 tl-dr 强调"零样本超越 25× 更大的 GPT-3"[2302.04761]，但同一篇的 Table 5 显示开放域 QA 全面输给 GPT-3 [2302.04761]，MLQA 上甚至不能稳定超越未加工具的原始 GPT-J（因 CCNet 微调分布漂移）[2302.04761]。头条只挑了工具能一击制胜的任务（算术/单跳事实）。对照 GPT-3 的 L2，其在开放域 QA 与多语任务上的优势正是"参数内化知识 + 元学习"[2005.14165]，Toolformer 的弱工具无法覆盖。结论：应表述为"在可被单次精确调用消解的任务上超越"，而非无条件超越。
攻击点 2 — "无链式/无交互" 是致命而非次要局限。
Toolformer 把 chaining 和 interactivity 列为 §7 局限、语气轻描淡写 [2302.04761]。但 TempLAMA 的反例暴露这是核心失败：日历工具只被用了 0.2%，理想的"先查日历再查 QA"链式调用被"每样本至多一次调用"硬性禁止 [2302.04761]。ReAct 的 L2 恰好证明：一旦允许 thought 重写上下文实现多步闭环，ALFWorld 上就能 1–2 shot 反超训了 10³–10⁵ 轨迹的 RL [2210.03629]。所以 Toolformer 缺的不是锦上添花，而是让它无法进入真正的 agentic 任务。
攻击点 3 — 过滤准则 $L_i^--L_i^+$ 的信号纯度存疑。
Toolformer 自己的 Table 10 里就有反例："Fast train success" 的 WikiSearch 调用得分 0.92（正分、被保留）却语义无关——它降低了困惑度纯属噪声 [2302.04761]。作者辩称这类噪声"有益，能防止模型盲信每次调用"[2302.04761]，但这是事后合理化：过滤器无法区分"因真实信息降损"和"因表面统计相关降损"。若把 SEP 的严谨视角 [2403.06833] 借来看，Toolformer 从未验证过被保留的调用是否真的携带任务相关信息，而非碰巧降 perplexity。
攻击点 4 — 推理时的 API 结果是未设防的注入通道。
Toolformer 推理时把 API 返回结果 $r$ 直接插回上下文续解码 [2302.04761]。Instruction Hierarchy 明确把"Tool Output"列为最低特权、需要防注入 [2404.13208]；SEP 证明主流模型对数据位指令的隔离度普遍很低（最差 13.3%）[2403.06833]。Toolformer 的 QA/WikiSearch 结果完全可能被投毒，而其训练目标（降未来 token 损失）没有任何机制惩罚"服从工具返回内容里的指令"。这是 2023 年论文的时代局限，但在今天是硬伤。
范式定位：Toolformer 是"LLM 使用外部工具"从任务特定人工提示（PAL、早期 tool-use）转向自监督、任务无关学习的关键节点 [2302.04761]。它与同期 ReAct 一起，把 tool-use 从"提示工程技巧"抬升为"可训练/可泛化的模型能力"。
在 cluster 中的坐标：把本 cluster 沿一条轴排列——"LLM 能力从何而来"：
Toolformer 处在"外部工具"这一格，且是其中唯一把工具使用烘焙进权重的一篇（ReAct 靠提示）。
adoption evidence / 范式影响：Toolformer 的"LM 自主决定何时/调用哪个工具"直接是今天 function-calling / tool-calling LLM 的思想源头。它比 ReAct 更接近现代"工具能力内化于模型"的做法（现代 tool-use 模型确实经过工具调用数据的微调，而非纯提示）。但它的单次调用限制被后续 agent 范式（ReAct 系、多步 planning）彻底抛弃——现代 agent 循环普遍是多步、可交互的。因此 Toolformer 的历史地位是"证明了工具使用可自监督学习"，而非"给出了可直接沿用的架构"。
部署视角的生态位：从 serving 类 peer 看，Toolformer 引入了一个后续被反复处理的问题——推理时的同步阻塞外呼：解码到 → 必须中断、等最慢工具（Atlas-xxl / BM25 / NLLB-600M）返回、再续解码 [2302.04761]。这类"生成中途插入外部延迟"的模式，正是 Splitwise 的 phase-splitting [2311.18677] 和现代 agent serving 需要处理的可变长中断问题；Toolformer 当年未做任何针对性优化。
从本 cluster 的交叉点看，以下方向"技术上可做、尚无人系统做"：
用 Toolformer 的 $L_i^--L_i^+$ 过滤准则 [2302.04761] 去标注多步/链式调用（把"下一步该查什么"也纳入降损信号），补上 ReAct 靠冻结大模型才有的多步能力 [2210.03629]。Toolformer 自己在 §7 承认独立采样是链式的障碍——迭代 bootstrapping（用当前 Toolformer 再标注）是明摆着的路。
Toolformer 的过滤准则完全不考虑工具的计算成本 [2302.04761]。借 Splitwise 对"每 token 生成成本 / phase 特性"的量化 [2311.18677]，可以把过滤准则从 $L_i^--L_i^+\geq\tau_f$ 扩展成 $(L_i^--L_i^+)/\text{cost}(a_c)\geq\tau_f$——只有单位算力降损足够高才调用。这直接把 §5 未探索方向里的 cost-awareness 落地。
把 Instruction Hierarchy 的特权层级 [2404.13208] 直接注入 Toolformer 的推理循环：插回的 API 结果 $r$ 标为"Tool Output（最低特权）"，并在微调数据里加入"工具返回内容含指令时不执行"的 context-ignorance 样本。这能堵住 §3 攻击点 4 的注入通道，且与 Toolformer 的 data-centric 方法学同宗。
借 SEP 的"见证词黑盒子串检测"[2403.06833] 构造探针，验证 Toolformer 保留的调用是否真携带任务相关信息（而非表面统计相关降 perplexity，即 §3 攻击点 3）。这是给 Toolformer 过滤准则做一次独立的信号纯度体检。
Toolformer、FilM、ReAct、StreamingLLM 的 L2 §9 都不约而同提出"能否迁到视觉/音频模态"[2302.04761][2404.16811][2210.03629]。对 Toolformer 具体是：把外部工具换成 OCR/ASR，自监督过滤准则是否仍成立？这是全 cluster 共享的、技术可解的空白。
knowledge/L2/paper/2210.03629.mdknowledge/L2/paper/2005.14165.mdknowledge/L2/paper/2404.16811.mdknowledge/L2/paper/2403.06833.mdknowledge/L2/paper/2404.13208.mdknowledge/L2/paper/2311.18677.mdknowledge/L2/paper/2309.17453.mdknowledge/L2/paper/2405.04434.md