AgentOpt v0.1 Technical Report: Client-Side Optimization for LLM-Based Agent

agent 2604.06296 — Cross-paper Synthesis

AgentOpt — L3 Cross-Paper Synthesis #

§1 相关论文 #

EntityRelationWhy
2604.14228 (Claude Code)优化对象参照Claude Code 是 production multi-step agent pipeline,AgentOpt 的 model combination selection 直接适用于优化 Claude Code 中 sub-agent delegation 的 model assignment
2511.00739 (CPU-Centric)互补视角CPU-Centric 刻画 tool execution 占 E2E 延迟 88%,AgentOpt 优化 model selection 占据的 cost budget——两者在不同资源维度(compute vs cost)优化同一 pipeline
2603.18897 (PASTE)延迟互补PASTE 通过 speculative tool execution 减少 agent 端到端延迟 48.5%,AgentOpt 通过 model selection 减少 cost 62–76%——延迟优化 vs 成本优化

AgentOpt 发现 model quality is not context-free——Claude Opus 4.6 作为 standalone 最强但作为 planner 最差 [2604.06296]。这直接挑战了 Claude Code 的设计假设(使用单一 frontier model for all roles)[2604.14228]。PASTE 和 CPU-Centric 优化 pipeline 执行效率,AgentOpt 优化 pipeline 组合配置——三者在同一 agent system 的不同优化维度上操作。

§2 本篇 vs 相关论文的 delta #

AgentOpt vs Claude Code (as optimization target) #

维度AgentOpt 视角Claude Code 设计
Model assignment组合搜索($M^N$ 空间)单一模型 (Claude Sonnet for all roles)
优化粒度Pipeline-level end-to-end metricsPer-interaction quality
核心发现Best standalone model ≠ best per-role model"1.6% 决策逻辑" = model choice is fixed
Sub-agent delegationDifferent model per role is optimalSame-model delegation (Claude Code spawns Claude Code)

核心矛盾: Claude Code 的 "minimal scaffolding" 哲学认为 single frontier model 足以处理所有 roles [2604.14228],AgentOpt 实证证伪了这一假设——Opus 作为 HotpotQA planner 仅 31.71% (bypasses solver tools),而 Ministral 3 8B + Opus 达到 74.27% [2604.06296]

AgentOpt vs CPU-Centric Perspective #

维度AgentOptCPU-Centric
优化目标Cost/accuracy ParetoLatency/throughput
瓶颈识别Model selection (13–32× cost gap)Tool execution (88% of E2E latency)
方法Bandit-based combination searchCOMB micro-batch overlap + MAS hybrid scheduling
作用时间离线(搜索阶段)→ 固定部署在线(运行时调度优化)

互补性: AgentOpt 选择成本最优组合(离线优化),CPU-Centric 加速选定组合的运行时执行(在线优化)[2511.00739]。两者可顺序应用:先 AgentOpt 选组合,再 COMB/MAS 优化该组合的 execution scheduling。

AgentOpt vs PASTE #

维度AgentOptPASTE
优化目标Cost (62–76% savings)Latency (48.5% reduction)
优化维度Model assignment (which model for which role)Execution timing (overlap tool exec with LLM thinking)
约束Fixed pipeline structureFixed model + tool set
方法Pure-exploration bandit (UCB-E)Pattern Tuple + speculative execution
正确性End-to-end accuracy preservedNo correctness impact (speculation + promotion)

互补性: PASTE 假设 fixed model assignment 优化 execution overlap [2603.18897]。AgentOpt 可先确定 cost-optimal combination,然后 PASTE 在该 combination 上进一步优化 latency——形成 cost-first → latency-second 的两阶段优化。

§3 可攻击面 #

  1. Combo-level evaluation 成本高: Brute-force 已需 $51–124/benchmark [2604.06296]。当 $|M| = 20$, $N = 4$ roles 时,$|C| = 160,000$ combinations。UCB-E 的 budget savings (62–76%) 仍意味着 evaluating thousands of full pipeline executions。对于长-horizon agent workflows(如 Claude Code 解决 SWE-bench),单次 pipeline 成本可达 $1–10,搜索成本变得 prohibitive。
    1. LM Proposal 的失败揭示了基础性问题: LLM priors about model quality fail dramatically in multi-step settings (34.13% vs 74.27%) [2604.06296]。但 AgentOpt 自身使用 LLM 来 implement pipelines (LangGraph)——如果 LLM 不理解 model interaction dynamics,为什么相信它能设计 good pipelines?
      1. Benchmark 规模有限: 4 benchmarks, 最大搜索空间 81 combinations (9×9) [2604.06296]。未验证 Matrix UCB-E 在 $|C| > 1000$ 时的 scalability。
        1. Static deployment assumption: 搜索阶段找到最优组合后 fix deployment。但 model capabilities 会随 provider updates 变化(Claude 3.5 → 4 → 4.6);optimal combination 可能在数周内失效,需要 continuous re-optimization。
        2. §4 生态位 #

          AgentOpt 在 agent optimization stack 中的定位:

          
          Architecture design (Claude Code) → Model assignment optimization (AgentOpt) → Runtime scheduling (PASTE, CPU-Centric) → Infrastructure serving (Autellix, vLLM)
          

          AgentOpt 填充了"架构确定后、部署执行前"的优化空白。其核心发现(model quality is not context-free)对整个 agent 设计社区有范式意义:per-call routing (RouteLLM style) 在 multi-step pipelines 中是 fundamentally wrong abstraction [2604.06296]

          采纳信号: Open-source (GitHub), framework-agnostic (httpx interception 适用于任何 Python agent framework)。但仅验证了 2-role pipelines;real-world agents 可能有 5–10 roles。

          §5 未探索方向 #

          1. AgentOpt + PASTE joint optimization: 将 model assignment 和 speculative tool execution 联合优化——某些 model combinations 可能产生更 predictable tool call patterns(higher PASTE hit rate),使 cost-latency Pareto frontier 可以被同时推进。
            1. Continuous re-optimization with AgentAssay fingerprinting: 用 AgentAssay 的 behavioral fingerprinting 监控 deployed combination 的分布变化——当 fingerprint shift 超过阈值(provider model update detected),自动触发 AgentOpt re-search。
              1. Claude Code multi-model mode: 将 AgentOpt 的发现应用于 Claude Code——允许 sub-agent delegation 指定不同 model。例如 planning subtask 使用 small fast model (避免 Opus planner pathology),coding subtask 使用 frontier model。这需要修改 Claude Code 的 "same-model delegation" 架构假设。