Meta-Harness: End-to-End Optimization of Model Harnesses

agent 2603.28052 — Cross-paper Synthesis

Meta-Harness (2603.28052) — 跨论文综合 #

Mode A 单篇综合:把 Meta-Harness 放进"对冻结基座做外层优化"的同侪簇里, 沿两条轴定位——优化什么(权重 / 代码 / 配置 / 上下文工件)与 反馈压缩到什么程度(全保真 trace / 结构化记忆 / scalar+summary)。

1. 相关论文 #

七个同侪按与本篇的关系分三组。

A. 同范式近邻:coding-agent 作为整个 variation operator(最近邻)

B. 对冻结基座的另几种外层杠杆(正交近邻)

C. 上下文工程的机制与对照(共享 mechanism / 共享 baseline)

2. 本篇 vs 相关论文的 delta #

新意(本篇独有)

  1. 被搜索对象从狭窄领域泛化到 harness/上下文管理:AVO 把 agentic 进化搜索证明于 CUDA kernel
  2. [2603.24517],本篇把同一范式搬到"决定存什么/取什么/怎么呈现给模型"的 harness 代码空间

    [2603.28052]——这块地盘此前由 prompt-learning(ACE/PEEK)占据,本篇用代码空间搜索抢了进来。

  3. 去结构化的激进程度:相对 LoongFlow 的 PES + MAP-Elites + Boltzmann 三件套
  4. [2512.24077],本篇主张 outer loop 极简到不设 parent selection、不设 mutation 算子,

    把诊断与编辑决策完全交给 coding agent [2603.28052]

  5. 对"接口=反馈保真度"做受控消融:Scores-Only 34.6 / Scores+Summary 34.9 ≪ full traces 50.0
  6. median [2603.28052]——这是 AVO/LoongFlow 都未提供的、关于"原始 trace 访问不可压缩"的直接实验证据。

    矛盾一:压缩方向与 ECS 正相反

    ECS 的核心实证是"压缩层级越高、性能越好"($L_2$ skill 显著优于 $L_1$ memory)

    [2604.15877],而 Meta-Harness 的消融显示把诊断信号压成 summary 反而从

    median 50.0 跌到 34.9 [2603.28052]

    矛盾根源:两者压缩的对象与消费者不同。ECS 压缩的是"供 agent 未来任务复用的知识工件",

    消费者是执行任务的 agent;Meta-Harness 压缩的是"供 proposer 做因果归因的诊断信号",消费者是做

    优化的外层 proposer,它要把下游 failure 归因到早期 harness 决策

    [2603.28052]。更关键的是 ECS 自己留了个口子:SkillsBench 上 curated $L_2$ +16.2pp

    而 LLM 自生成 $L_2$ 仅 +0.0pp [2604.15877]——即收益取决于压缩保真度而非层级。

    Meta-Harness 只测了 LLM 生成的 summary(低保真),因此"summary 不能替代 trace"很可能把"压缩"与

    "劣质摘要"混为一谈(这条也进 §3 攻击面)。两篇在各自范围内都自洽:本篇坐在 ECS 明确指出"被忽视"的

    $L_0$ 全保真极端,恰是 ECS 谱系图上空着的那一格。

    矛盾二:与 PEEK 对"上下文该多大"给出相反处方

    PEEK 主张把 orientation 知识 curate 成 1024-token 的常驻小工件,且实测原始前缀 +0.73%、

    runtime full-swap −14.86%,即"塞原始上下文"无效甚至有害 [2605.19932]

    Meta-Harness 主张保留全保真原始 trace、按需 grep [2603.28052]

    矛盾根源:消费时机与预算约束不同。PEEK 的 map 每次 query 都常驻 system prompt,必须在硬预算 B

    [2605.19932];Meta-Harness 的 trace 喂给离线 proposer,由文件系统按需检索、

    无每调用预算压力 [2603.28052]。即 PEEK 优化的是 resident-in-prompt 成本,

    Meta-Harness 用的是 on-demand-retrieval 成本模型(正是 blog-dynamic-context-discovery 的机制

    [blog-dynamic-context-discovery])。有趣的是两篇出自同一脉络且都把 ACE 当 baseline 打——

    它们不是真冲突,而是同一问题在"常驻 vs 懒加载"两种部署约束下的两个解。

    增量(非颠覆)

    • 相对 AVO:本篇把 AVO 在 kernel 上演示的 agentic-Vary 范式 [2603.24517] 复用到新域,
    • 并补上 AVO 缺的接口消融;但"agent 自主多步 edit-evaluate-diagnose + 持久历史"的核心机制是共享的,非本篇首创。

    • 相对 AgentOpt:两者都证明"对冻结基座做外层搜索能撬动巨大收益",只是搜索空间(代码 vs 组合配置)
    • 与算法(coding agent vs bandit)不同 [2604.06296]

    3. 可攻击面 #

    针对本篇具体 claim 的反驳:

    1. "4× 省 context" 偷换了成本口径。48.6 分只用 11.4K token 指的是被发现 harness 的部署期推理成本
    2. [2603.28052],但搜索期成本被隐藏:单次评估可达 10M token、一次 run 约评估 60 个 harness、

      proposer 是 Opus-4.6 [2603.28052]。这是一次性巨额前置成本,论文没有像 AgentOpt 那样

      明算搜索 $ 开销(AgentOpt brute-force $4.71–123.87/benchmark,且 bandit 省 62–76%

      [2604.06296])。拿部署省 4× 去对标 ACE,回避了搜索投入。

      1. 增益可能来自 proposer 模型强度而非文件系统设计。proposer = 闭源 Claude Code + Opus-4.6,
      2. outer-loop 与 proposer 实现均未公开 [2603.28052]。无法排除"换个弱

        proposer 文件系统访问就失效"的混淆——而这恰是 AVO 同样存在的问题(NVIDIA 内部 agent,kernel 源码未开

        [2603.24517])。更尖锐的是 TerminalBench-2 上唯一比它高的 ForgeCode(81.8)

        "从公开代码无法复现",于是本篇把自己排到一个不可复现系统之下的 #2 [2603.28052]——

        这是选择性比较。

        1. "不需要 parent selection" 被严重欠测。消融只动了接口维度(trace/summary/scalar)
        2. [2603.28052],没有消融种群管理维度。LoongFlow 提供了反向证据:去掉显式记忆结构会

          diversity collapse、agent 跨代重复同样错误 [2512.24077];AVO 也需要 supervisor

          在停滞时重新引导 [2603.24517]。本篇 run 很短(20 iter / ~60 harness

          [2603.28052]),停滞可能还没发作;放到 AVO 的 7 天 / 500+ 方向尺度

          [2603.24517],无选择策略是否还成立完全未知。

          1. "summary 无法替代 trace" 混淆了压缩与劣质摘要。如 §2 所述,ECS 显示 curated 高保真压缩仍可 +16.2pp
          2. 而自生成压缩 +0.0pp [2604.15877];PEEK 进一步证明把 Distiller(抽取)与

            Cartographer(编辑)分离、只保留可迁移知识,比单次 LLM 摘要高 7.7%

            [2605.19932]。本篇只测了单次 LLM summary,没测结构化/分离式压缩,结论"原始 trace 不可压"过强。

            1. 结果对 search-set 设计敏感。论文自承 search set 必须对 baseline 足够难、规模压在约 50 次评估内
            2. [2603.28052]。这意味着 OOD 73.1% 等泛化数字可能依赖这份人工调过的 eval 设计,

              稳健性存疑。

              4. 生态位 #

              把同侪簇摊到二维:优化对象 × 反馈压缩度

              优化对象 \ 压缩度全保真 trace($L_0$,选择性访问)结构化记忆(lineage/island/map)scalar/summary
              模型权重TTT-Discover [2601.16175]
              代码(kernel)AVO [2603.24517]LoongFlow [2512.24077]
              代码(harness)Meta-Harness(本篇)
              模型组合配置AgentOpt [2604.06296]
              上下文工件blog-dcd 机制 [blog-dynamic-context-discovery]PEEK 1024-token map [2605.19932]ACE(被打败的 baseline)

              Meta-Harness 占据"(优化 harness 代码 + 冻结权重 + 全保真 trace + 选择性文件系统访问)"这一此前空着的格子

              它的范式定位是:把 AVO/LoongFlow 的"agentic 进化搜索"从 kernel 这一窄域,搬进原本属于 prompt-learning

              (ACE/PEEK)的 harness/上下文管理域,并以 ECS 谱系上"被忽视的 $L_0$ 全保真端"作为理论锚点

              [2604.15877]

              采用证据:本篇真正落地的部分是它依赖的底层机制——blog-dynamic-context-discovery 描述的

              "文件系统作懒加载上下文"已在生产 A/B 跑出 46.9% token 缩减 [blog-dynamic-context-discovery]

              说明 proposer 赖以工作的访问模式在真实系统里成立。但 Meta-Harness 本体(闭源 proposer、未公开实现

              [2603.28052])短期难被直接复用;其贡献偏概念重构 + 消融证据

              而非可直接 pip install 的工件——这点与同样未开源的 AVO/LoongFlow [2603.24517]

              [2512.24077] 一致,与开源的 AgentOpt

              [2604.06296] 形成对照。

              5. 未探索方向 #

              从这个簇里能拼出的杂交 / 自适应方向:

              1. 权重 × harness 协同优化。TTT-Discover 改权重、冻结 harness [2601.16175]
              2. Meta-Harness 改 harness、冻结权重 [2603.28052]——两者正交。把内层 TTT 与外层

                harness 搜索交替(先 TTT 适配权重,再搜 harness,再 TTT…)是一个无人占据的格子。

                1. 对 proposer 的 trace 做自适应压缩。本篇是 all-or-nothing(全 trace vs 全 summary)
                2. [2603.28052];引入 ECS 的 missing-diagonal meta-controller

                  [2604.15877] 或 PEEK 的 Distiller/Cartographer 分离

                  [2605.19932] 来决定"哪些 trace 留全保真、哪些可压",有望砍掉那 10M-token/eval 的成本,

                  同时回应 §3 攻击点 1 和 4。

                  1. 配置搜索 × 代码搜索联合。AgentOpt 用 bandit 选"哪个模型当 planner/solver"
                  2. [2604.06296];可把"谁当 proposer、谁当 base"也纳入 Meta-Harness 的联合搜索空间,

                    做 (组合配置, harness 代码) 的二级优化。

                    1. 把种群结构作为长程 run 的可选脚手架。给 Meta-Harness 接上 AVO 的 supervisor
                    2. [2603.24517] 或 LoongFlow 的 island/Boltzmann

                      [2512.24077],在 7 天尺度实测"无 parent selection"是否还成立——直接检验 §3 攻击点 3。

                      1. 让 proposer 反过来发明 PEEK 式上下文管理策略。Meta-Harness 搜的是 harness,而 PEEK 的 context-map
                      2. 维护策略本身就是一种 harness 组件 [2605.19932];让 proposer 在搜索空间里自动发现

                        "何时 distill / evict / 常驻",可把同脉络的两条线(全保真懒加载 vs 常驻小 map)统一为可搜索的连续谱。

                        1. 把懒加载机制反身化。blog-dynamic-context-discovery 的文件系统接口
                        2. [blog-dynamic-context-discovery] 目前是 proposer 的固定工具;

                          把 proposer 自身的检索/导航策略也当成搜索目标,可让"如何读历史"与"读出什么 harness"协同进化。