TTT-Discover — L3 Cross-Paper Synthesis #

§1 相关论文 #

§2 本篇 vs 相关论文的 delta #

TTT-Discover vs AVO #

核心 delta: TTT-Discover 的创新在于学习——通过 entropic objective 实际更新模型权重使其逐步理解问题结构，而 AVO 保持模型冻结但赋予其自主工程能力（查文档、运行 profiler、诊断编译错误）。两者代表 "learning at test time" vs "agentic engineering at test time" 的范式分歧 [2601.16175]。

TTT-Discover vs μCUTLASS + SOL-Guided #

关键差异: μCUTLASS 通过 DSL 将 LLM 的认知负担从"生成正确 CUDA"压缩到"选择正确配置"，是降低搜索空间维度的策略；TTT-Discover 是在高维空间中用 RL 学习的策略。SOL guidance 提供了 TTT-Discover 完全缺失的 headroom awareness [2603.29010]。

§3 可攻击面 #

1. 泛化性存疑: TTT-Discover 在 H100 上训练 kernel 却声称泛化到 A100/B200/MI300X [2601.16175]，但其发现的 kernel 策略（fuse LayerNorm + gating, 委托 cuBLAS）本质上是体系结构无关的高层决策。真正的 hardware-specific 优化（tile shape, warp scheduling, 寄存器分配）在 cross-architecture 时应失效。AVO 针对 B200 显式使用 warp specialization 和 TMA 指令 [2603.24517]，说明深度优化必须 architecture-specific。
1. Continuous reward 限制: TTT-Discover 自认仅适用于 continuous reward problems [2601.16175]。这排除了大量科学发现场景（定理证明、分子设计中的离散验证、安全性规约的 binary 判定）。AVO 的 multi-dimensional fitness vector $\mathbf{f}$ 自然处理 binary correctness [2603.24517]。
1. MLA-Decode 未超越人类: TTT-Discover 在 MLA-Decode 上未达统计显著优势（Table 5 CIs 重叠）[2601.16175]，暗示当优化目标需要 fine-grained hardware control（而非高层 fusion 策略）时，RL 学习的优势消失。这与 μCUTLASS 的 DSL-first 方法形成对比——后者在类似场景下通过 CUTLASS template 专精可能更有效 [2603.29010]。
1. 成本可比性: ~$500/problem 看似便宜，但基于 Tinker API 的特殊定价——若按 gpt-oss-120b 的标准 API 价格计算（50 steps × 512 rollouts × ~30K tokens/rollout），实际 token 消耗约 8×10⁸ tokens，成本应远高于 $500。

§4 生态位 #

TTT-Discover 开辟了 test-time RL for discovery 的范式位置，与三条相邻路线形成对照：

范式	代表	模型改变	搜索机制
Frozen-LLM evolutionary search	AlphaEvolve, LoongFlow, OpenEvolve	冻结	Prompt-driven mutation/crossover
Agentic engineering	AVO, μCUTLASS+SOL	冻结	Agent 自主循环 + 领域知识
Test-time RL	TTT-Discover, ThetaEvolve, EvoTune	LoRA 热更新	Entropic/standard RL + reuse
Test-time self-play	AlphaProof	Full fine-tune	Curriculum generation + RL

TTT-Discover 的生态位优势在于compute-efficient discovery: 25,600 rollouts 预算下同时做搜索和学习，且仅用开源模型。但其采用门槛（需要 Tinker 级的 online RL 训练 API）目前限制了社区复现。

§5 未探索方向 #

1. TTT + Agentic 混合: 将 AVO 的自主工程循环（文档查阅、profiling、诊断）与 TTT-Discover 的权重更新结合——agent 不仅迭代代码，还通过 RL 更新自身策略。这解决 TTT-Discover 的"无领域知识"弱点和 AVO 的"不学习"局限。
1. SOL-guided reward shaping for TTT: 用 μCUTLASS 的 roofline SOL 信号构造 shaped reward，替代 TTT-Discover 的 raw 1/runtime。当 kernel 接近 SOL ceiling 时自动增大 $\beta$，当远离时鼓励探索——物理信息与 entropic objective 的自然融合。
1. Sparse/binary reward 扩展: 论文承认 continuous reward 限制。方向：(a) 用 reward model 将 binary 验证转化为 soft score（如定理证明的 partial progress 评估）；(b) curriculum 策略——从 easy instances 获取 continuous signal 后迁移到 hard instances。
1. Cross-architecture kernel 迁移: TTT-Discover 声称 H100→A100/B200/MI300X 泛化，但未系统研究。方向：在 TTT 框架中引入 multi-architecture reward（同时在多 GPU 上评估），或先用 μCUTLASS DSL 做 architecture-agnostic skeleton 再用 TTT-Discover 做 per-architecture 微调。