MUSE-Autoskill: Self-Evolving Agents via Skill Creation, Memory, Management, and Evaluation #

§1 TL;DR #

MUSE-Autoskill 将 agent skill 从一次性生成产物升级为有完整生命周期（创建→记忆→管理→评估→迭代）的可进化资产；在 SkillsBench 51 任务上以 68.40% 领先同 backbone 三 agent，自生成 skill 在 35 task 上达 87.94% 超越人工 skill，且可零修改迁移至其他 agent。

§2 Q1 / Q2 / Q3 #

Q1 痛点 #

现有 automatic skill 系统将 skill 视为静态孤立产物，存在四个实际断层：

1. 创建–使用断裂：skill 生成脱离 agent runtime 上下文，生成的 skill 无法利用 agent 实际运行信息
2. 无结构化 per-skill 记忆：跨任务积累的经验无处沉淀，每次调用 skill 都从零开始
3. 缺少评估/迭代：生成后无 unit-test 驱动的验证，skill 质量无法持续提升
4. 上下文管理缺失：长任务下 flat conversation history 截断或溢出，信息丢失

现有方法（Voyager、AutoSkill、EvoSkill、SkillGen、SkillOS）各覆盖生命周期部分阶段，但无一同时满足 per-skill memory + unit-test 评估 + 自动迭代 + cross-agent 迁移。

Q2 方法 #

MUSE-Autoskill 将 skill 生命周期形式化为 5 阶段闭环：

1. Creation — 通过内置 skill_create 工具在 ReAct 循环中即时生成结构化 skill 包（SKILL.md + scripts/ + tests/），消除创建–使用断裂
2. Memory — 三层记忆：short-term（当前任务 context）、long-term（跨 session 通用经验）、skill-level（每个 skill 的 .memory.md 积累使用经验）
3. Management — catalog 式 progressive disclosure + 合并/裁剪机制保持 skill bank 精简可扩展
4. Evaluation — 每个 skill 包含 tests/ 目录，注册前必须通过全部 unit test；运行时 feedback 持续监控
5. Refinement — test 失败自动触发 update_skill 修补循环

上下文管理采用 DAG 结构 + 两级自适应压缩：Level-1 对单个超限 node 原位摘要；Level-2 将中间 span 合并为 synthetic summary node。原始 node 通过 immutable history pointer 保留完整回放能力。

核心技术壁垒：将 skill 创建嵌入 ReAct runtime loop（而非后处理），配合 per-skill memory 实现经验积累。这要求 agent 在推理中自主决策何时创建 skill、如何从成功轨迹蒸馏、如何将跨任务经验写回 .memory.md——是工程整合难度而非单一算法突破。

Q3 结果 #

指标	数值
SkillsBench 51-task with human skills	68.40%（vs Codex 67.28%, Hermes 61.21%）
人工 skill lift	+15.21 pp
自生成 skill（35 task）	87.94%（超越人工 skill ceiling）
Cross-agent 迁移（→ Hermes）	+10.51 pp，关闭 79% 人工 skill gap
自生成 skill token 节约	−20% tokens, −37% latency vs human skills
Skill 生成成本回本	≈3 次复用

§3 架构 / 方法图 #



Paper Figure 2: MUSE-Autoskill Agent architecture. MUSE organizes skills into a unified lifecycle of creation, memory, management, evaluation, and refinement, enabling agents to generate, refine, and reuse skills with accumulated experience over time.

图中展示了 MUSE 的核心循环：Master Agent 运行 ReAct loop（Planning → Action → Observation），在 Action 阶段通过 Skill Bank 检索已有 skill 或调用 Skill Creator 生成新 skill 包。Evaluator 运行 bundled tests，pass 则注册并追加 memory，fail 则触发 Refiner 修补后重新入循环。



Paper Figure 3: End-to-end flow of MUSE-Autoskill. The Master Agent runs a ReAct loop; when a skill is needed it either retrieves one from the Skill Bank or dispatches the Skill Creator to synthesize a new package (SKILL.md plus optional scripts/ and tests/). The Evaluator runs the bundled tests; on pass, observations are appended to Memory and surfaced on later steps; on fail, the Refiner patches the package and re-enters the loop.

该图清晰展示了 skill 从创建到验证到注册的完整 data path，以及 fail 路径如何形成 closed-loop refinement。



Paper Figure 4: Adaptive context compression over a DAG of ReAct turns. Each turn is a (plan, action, observation) triple; the first KEEP_FIRST and last KEEP_LAST turns are always pinned and only the middle is eligible for compression. Level-1 rewrites oversized turns in place; Level-2 merges the compressible span into one synthetic node.

三层示意图展示了 context 从完整链到 Level-1 单点压缩到 Level-2 整段合并的渐进退化过程，原始 turn 通过 immutable pointer 保持完整可回放。

stateDiagram-v2 [*] --> Planning Planning --> Action: select skill or create Action --> SkillRetrieval: existing skill found Action --> SkillCreation: no match → skill_create SkillCreation --> Evaluation: run tests/ Evaluation --> Registration: all tests pass Evaluation --> Refinement: test failure Refinement --> Evaluation: patched skill Registration --> SkillMemory: append .memory.md SkillRetrieval --> Execution: load SKILL.md + memory SkillMemory --> Execution Execution --> Observation: collect results Observation --> Planning: next turn Observation --> [*]: task complete

§4 作者证明 #

无形式化作者证明 — 仅实证。 本文不包含收敛性证明或形式化成功率模型。最接近形式规范的是 Appendix E 的 compression pseudocode。

以下为 agent-specific 实证检查项：

#	检查项	结论
1	Success-rate sweep (task difficulty × tool set × backbone)	仅单 backbone (GPT-5.5)，无 model-size ablation；per-domain breakdown 提供 difficulty axis
2	Latency budget per turn	Table 6: median 411s/15 turns with generated skill; Table 11: MUSE median 604–634s total, 18–19 turns
3	Failure mode classification	Appendix I 分 16 失败 task 为 2 类：specialized production tooling (6/16) 和 numerically-heavy non-textual reasoning (10/16)
4	Backbone sensitivity	未测试——仅 GPT-5.5；cross-agent 实验 (MUSE→Hermes) 间接证明 skill portability 而非 backbone portability
5	Skill quality validation	§4.6 人工审计 35 skill：无 verifier output hardcoding, 无 task-ID branching
6	Regression analysis	hvac-control 80%→20% 回退分析：source-trajectory-specific calibration assumptions

可被形式化但未被 bound 的量：(1) skill 生成成功率 vs task difficulty 的下界；(2) context compression 后信息保留率的理论 guarantee。

§5 实验与数据 #

5.1 Overall performance #



Paper Figure 1: Accuracy (%) of three GPT-5.5-backed agents on 51 SkillsBench tasks across four super-domains. MUSE-Autoskill achieves the highest with-skills score in 3 of 4 domains and on Total (68.4%), a +15.2 pp lift consistent across agents.

三个 agent 在四个 super-domain 的对比表明 skill usage 是 agent 设计中的一等公民——所有 agent 均获 13–15 pp 提升，MUSE 在 Data Analysis、Document Processing、Ops & Planning 三域领先。

5.2 Self-generated skills vs human skills #

Configuration	Accuracy (51 tasks)
MUSE without skills	53.19%
MUSE with human skills	68.40%
MUSE self-created skills	60.35%
MUSE self-created (35 tasks with skill)	87.94%

关键发现：bottleneck 在 Phase 1 覆盖率（16 task 无成功轨迹可供蒸馏），而非 skill 生成质量本身。

5.3 Pareto optimality of generated skills #



Paper Figure 5: Generated skills are Pareto-optimal: higher reward, lower latency, and fewer tokens than human skills (mean over 35 tasks). (A) Mean reward vs. median per-task latency. (B) Mean reward vs. median per-task tokens.

Generated-skill 点在两个维度（reward-latency 和 reward-tokens）均处于 Pareto 前沿——2.2× 长的 SKILL.md 反而节省 token 和时间，因为程序化描述减少了 agent 推理步骤。

5.4 Skill anatomy comparison #



Paper Figure 6: (A) SKILL.md line counts: MUSE skills are ~2.2× longer (median 326 vs. 146 lines). (B) Share of skill packages containing each subdirectory.

MUSE 生成的 skill 结构更完整：包含显式 input/output schema、failure mode 列表、step-by-step procedure。MUSE 是唯一生成 tests/ 目录的系统。

5.5 Cross-agent transfer #

Configuration	Hermes	MUSE
Without skills	47.89%	53.19%
With MUSE-generated skills	58.40%	60.35%
With human skills	61.21%	68.40%

Hermes 与 MUSE 使用同一套 generated skills 时仅差 ~2 pp（58.40% vs 60.35%），证明 skill 是外部化知识资产而非绑定特定 agent runtime 的行为。

§6 论证链 #

Step	论点	支撑证据	强度
1	现有 skill 系统仅覆盖生命周期部分阶段	Table 1: 9 个 baseline 无一全覆盖 5 阶段 + cross-agent + training-free	强——文献清晰
2	统一生命周期 + runtime 创建消除 4 个 gap	§3 architecture: skill_create 内嵌 ReAct loop + .memory.md + tests/ gating + 两级压缩	中——设计论证，定性
3	Human skills 普遍提升 agent performance	Table 2: 三 agent 均 +13–15 pp；Table 3 四域一致	强——51 task × 5 runs
4	自生成 skill 质量可超越人工	Table 4: 35-task subset 87.94% vs 68.40% human ceiling	中——conditioned on Phase 1 success（仅 68.6% coverage）
5	Skill 作为外部化资产可零修改迁移	Table 5: Hermes +10.51 pp，关闭 79% gap；MUSE vs Hermes 仅差 2 pp	强——cross-agent 实验设计清晰
6	更长 skill 反而更高效	Table 6 + Figure 5: 2.2× lines, −20% tokens, −37% latency	中——机制解释合理（减少推理步骤）但仅 35 task 验证
7	Bottleneck 在覆盖率而非 skill 质量	Appendix I: 16 失败 task 集中在 specialized tooling + numerical reasoning	中——定性分析，未量化 difficulty metric

§7 实现 cross-reference #

[实现未公开]

论文未开源代码仓库。从 §3 和 Appendix B/C/E 可还原以下关键实现细节：

关键实现细节：

1. Skill 注册 gating：每个新创建的 skill 包必须通过其 tests/ 目录中的全部 pytest-compatible test 后才能注册进 Skill Bank。这是 skill 质量的硬约束——Appendix B 明确说明 "failed tests block registration"。
2. Catalog progressive disclosure：Skill Bank 可能包含 100+ skill，但系统仅在 system prompt 注入 name + description 的 YAML catalog（~5–10K tokens），agent 通过 read_skill 按需拉取完整 SKILL.md body，避免 prompt 线性膨胀。
3. Context compression 的 KEEP_FIRST/KEEP_LAST=5 选择：确保 task framing（前 5 turn）和 working memory（后 5 turn）始终 verbatim 传入 LLM，中间段才做 summarization。Appendix D 的 COMPRESS_TOKEN_THRESHOLD=180K 设在 200K context limit 的 90% 处。

Production deployments 提及：SkillMarket（用户侧 skill 创建）、ArkClaw（skill 检索集成）、SkillHub（hosted lifecycle service），但均未公开代码。