Target: Agentic CPU-GPU Scheduling for Heterogeneous AI Workloads (algorithm)
Synthesized against 8 category-algorithm peers spanning Transformer, RAG, verifier
search, world-model RL, hierarchical retrieval, injection defense, frontier pretraining,
and attention quantization.
这 8 篇同属 algorithm 类，但与本篇的关系是方法论层面而非同题材——本篇是唯一把 LLM
用作系统调度策略层的工作，没有直接的同题竞品在本 cluster 里。它们沿三条轴与本篇相关：
轴 A — "learned policy + algorithmic scaffold" 协同设计（最强关联）
对 100 个采样打分」拆成两个组件，用 test-time search 换 scale
[2110.14168]。本篇把「LLM scheduler（learned policy）+ 算法 runtime
monitor（打分/探测）」拆成两个组件，用 monitor 反馈换 offline training。两者都是
decouple 一个学习组件与一个搜索/验证脚手架，且都强调「脚手架扩展/筛选候选，而非自己做决策」。
变换让固定超参跨域、零逐域调参」[2301.04104]。本篇的卖点同样是**零 offline
training / 零 per-workload 调参**：LLM 换硬件只需重跑 profiler、不重训 [2301.04104]。
index 冻结不刷新 [2005.11401]。本篇的 tool cards（离线 profiler 产出、运行时不变）
恰是 RAG 冻结 index 的调度学版本，LLM 则对应可动的 query encoder。
轴 B — test-time compute / in-context 适应 换 训练
needs-a-prior-frontier-family 的两步 scaling-law 预测 [2407.21783]。本篇正是
§1/§6 明确要绕开的「RL device placement 需数千 episode 训练」那条路，把 Llama-3 式重训换成
in-context 观测。
轴 C — 复用现成模型/组件、不改权重（plug-and-play / PTQ）
[2410.02367]。本篇也是把现成的 DeepSeek-R1-Distill LLM 当黑盒 policy 插入，
不做任何微调；两者都属「不动权重、靠系统侧巧思」阵营。
被 profile 的工具（BERT/Whisper/CLIP/Llama）的底层架构基石 [1706.03762]；
(2) 方法论上它也是「用可并行架构换 recurrence 的序列瓶颈」的经典 systems-flavored algorithm。
遍历 [2401.18059]。与本篇「offline profiler 建 tool cards（重）+ 在线 LLM 决策（轻）」
的离线/在线切分同构。
哲学，且都留有明确的残余失败面（StruQ 的 GCG 58%、本篇的无收敛保证）[2402.06363]。
新意 (what's new)
heterogeneous device scheduling for AI tool workloads」。cluster 内没有任何一篇做设备调度——
最近的 2110.14168 是数学解题的 answer 排序 [2110.14168]，2005.11401 是文档检索
[2005.11401]。调度问题的组合搜索空间（$3^n$ 映射）是新的战场。
gpu_queue 模式是本篇形式化新意，把经典二元 CPU/GPU放置扩成 {cpu, gpu_now, gpu_queue} [2607.22242]。cluster 内的其他形式化
（Transformer attention、RAG marginal、GMM/BIC）都不涉及资源容量约束下的离散放置。
绝不推荐映射 [2607.22242]。这比 2110.14168 的 verifier 更极端——verifier 直接输出
排序分数（隐含决策），本篇的 monitor 连分数都不给，只给实测 what-if 值 [2110.14168]。
增量 (incremental)
[2110.14168]，2005.11401 早已 decouple query encoder 与冻结 index
[2005.11401]。本篇的增量是把这个模式搬到在线闭环调度，且脚手架从静态
（verifier/index）变成主动探测（reprobe/swap）。
[2410.02367]、DreamerV3 的「固定超参跨域」[2301.04104] 都在此谱系。
本篇的增量是把「零训练」从算子/RL agent 层面提到 agentic orchestration 层面。
矛盾 / 张力 (contradictory)
生成器（2 epochs）以保住候选多样性，因为收敛的生成器会 collapse test@100 覆盖率
[2110.14168]。本篇反其道——它依赖一个尽量强的推理 LLM（DeepSeek-R1-Distill-32B）
且完全不控制其"多样性"，反而靠 monitor 主动注入 exploration hint 来补多样性
[2607.22242]。矛盾根源：2110.14168 的候选来自单一模型的随机采样，多样性
是模型属性；本篇的候选来自 monitor 的确定性 reprobe/swap，多样性是脚手架属性——所以本篇不需要
"欠训练策略"，两者在各自机制下都自洽。
能到 GPT-4 级 [2407.21783]；本篇押注「零训练 + in-context」并证明它够用。两者
不真正冲突——本篇的调度决策空间只有 $2^4$/$3^4$（可枚举），而 Llama 3 的任务是开放生成。根因：
当搜索空间小到脚手架能穷举有用的 what-if，in-context 就够；当搜索空间是自然语言开放域，就得靠
训练把知识压进权重。这划出了「何时选 prompt、何时选 train」的边界（见 §4 生态位）。
**攻击点 1 — "reaches brute-force optimal in all 13" 只在 4-tool DAG 成立，且这正是脚手架失效的
临界点。** 本篇全部评估在 4-tool DAG（$2^4$ 或 $3^4$ 可枚举）[2607.22242]。monitor
的 swap reprobe 明确宣称「without enumerating the full $3^n$ mapping space」
[2607.22242]——但 swap reprobe 本身是 $O(n^2)$ 的两工具枚举，single-tool reprobe
是 $O(n\cdot|\mathcal{A}|)$。在 4 工具下这些"有界"探测其实逼近全枚举（$3^4=81$，而 reprobe+swap
的探测数同量级）。因此"避免枚举"的卖点在唯一被测的规模上未被真正检验：一旦 $n=20$，reprobe
预算与实际组合空间的差距才会显现，而那时是否还能 13/13 完全未知。对比 2110.14168 诚实给出了 search
的非单调上界（~400 completions 后性能下降）[2110.14168]——本篇缺少这类 scale 曲线。
攻击点 2 — "zero training" 掩盖了 6 轮 prompt engineering 的隐性调参。 本篇 App B 披露 prompt
经历六次迭代才收敛，且 fan-out 用第 4/5 版、three-way 用第 6 版
这与 DreamerV3「一组固定超参跨 8 类域」的 zero-tuning 主张 [2301.04104] 有本质差距：
DreamerV3 的固定性是可量化验证的（同一 config 直接跑 Minecraft），而本篇的 prompt 是**按 regime
手工分版**的——这更接近"把调参从超参搬到了 prompt 措辞"。StruQ 的 embedding 初始化被诚实标为
load-bearing trick [2402.06363]；本篇的 prompt 版本选择同样 load-bearing
却被包装进"zero training"叙事。
攻击点 3 — LLM 敏感性完全未测，可复现性存疑。 全部实验固定用 DeepSeek-R1-Distill-Qwen-32B-AWQ
[2607.22242]，从不研究换更小/更弱模型是否仍 13/13。对比 2110.14168 系统扫了 6B vs 175B
验证器/生成器组合并给出「大生成器+小验证器最优」的规律 [2110.14168]；本篇没有任何
model-size ablation。若调度质量强依赖一个 32B 推理模型，则"轻量 orchestration"叙事被削弱——调度 LLM
本身要占一整块 GPU（§3.3 明说跑在专用 GPU 上）。
攻击点 4 — oracle 是 measured 而非 analytical，"达到 oracle"含循环论证风险。 oracle 定义为
「所有可行映射中实测 E2E 最低者」[2607.22242]。monitor 的 reprobe/swap 恰恰就在
实测这些候选映射。因此"LLM 达到 oracle"某种程度上等价于"monitor 测过 oracle 那个点、然后 LLM
照抄最低值"——Figure 8 里 LLM 的推理正是直接引用 monitor 报的 swap E2E=1585ms 并采纳
[2607.22242]。真正的智能贡献（LLM 相对纯 argmin-over-probes 的增量）没有被隔离
测量。这是与 2005.11401 的 Table 6 ablation（证明 learned retrieval 确实优于 frozen/BM25，隔离出
query encoder 的贡献 [2005.11401]）相比缺失的关键消融。
攻击点 5 — 无收敛保证 + 观察到的 R12 outlier 暴露稳定性问题。 本篇自认 no formal convergence
guarantee [2607.22242]，且 S13 在 R12 出现 1/4 的探索 outlier
[2607.22242]。这与 StruQ 的残余 GCG 58% [2402.06363] 是同类"诚实
但未解"的洞：都是启发式脚手架在对抗性/长尾输入下无保证。生产部署里，一次错误映射可能就是一次 OOM。
范式定位：属于"LLM-as-system-policy + algorithmic co-scaffold"这一新兴范式的早期样本。
本 cluster 清晰呈现三代范式漂移：
外部记忆或验证器 [2005.11401] [2110.14168]。
闭环让通用模型胜任窄任务 [2410.02367]。
本篇是第 3 代里少见的在线闭环控制样本（多数第 3 代如 SageAttention 是离线 one-shot）。它把
2110.14168 的"离线 sample-then-rank"升级为"在线 probe-then-revise"。
与 Llama 3 主线的分工：Llama 3 造更强的通用大脑 [2407.21783]，本篇造让通用大脑
去指挥系统资源的外骨骼。两者互补而非竞争——本篇的 scheduler LLM 恰恰可以是 Llama-3 类模型。
采用证据 / 迁移性：
复刻 [2607.22242]。移植到新硬件只需重跑 profiler
[2607.22242]——这是相对 RL device placement 的真实工程优势。
4-tool。相比之下 cluster 内 SageAttention（pip install，社区已集成 ComfyUI/Diffusers
[2410.02367]）、RAG（HuggingFace 官方实现
[2005.11401]）、StruQ（开源仓库 [2402.06363]）
的采用门槛都低得多。本篇当前是概念验证生态位，尚无独立采用证据。
成熟度对标：处于 2110.14168 刚提出 verifier 时的阶段——机制新颖、小 benchmark 验证、缺 scale
研究。verifier 后来演化成 PRM/o1 式 test-time compute 主流；本篇的"probe-augmented LLM scheduling"
是否能同样成主流，取决于能否越过攻击点 1 的 scale 门槛。
方向 1 — verifier/PRM 替换启发式 exploration policy（跨 2110.14168）。 本篇承认 exploration
policy 仍是启发式、无收敛保证 [2607.22242]，并展望"future data-driven policy could
trigger exploration only when measurements reveal unexplored placements"。2110.14168 的 token-level
value function（判断"部分轨迹是否 on track"）[2110.14168] 正是可移植的现成工具：
训练一个 mapping-level verifier 预测"当前映射离 oracle 还有多远 / 值不值得再 probe"，把随机
exploration hint 换成 learned stopping。这是 cluster 内两篇最近论文的直接 hybrid。
方向 2 — 检索式记忆消除冷启动重探（跨 2005.11401 / 2401.18059）。 本篇每个新 workflow 冷启动
都要重新 probe [2607.22242]。可把历史 (workload 特征 → 最优映射) 存成一个
RAG 式外部 index [2005.11401]，甚至 RAPTOR 式按抽象层级组织
[2401.18059]：新 workflow 先检索相似历史映射作为 LLM 的 warm prior，只对检索不到
的部分才启动 monitor 探测。这把"每次从零"变成"跨 workflow 摊销"，直击攻击点 1 的 scale 痛点。
方向 3 — 量纲无关归一化让 prompt 跨硬件免手调（跨 2301.04104）。 攻击点 2 指出 prompt 要按
regime 分六版。DreamerV3 的核心 insight 是把所有目标做量纲无关变换从而固定超参跨域
[2301.04104]。类比：把 tool card 里的绝对 ms/MB 换成相对量（相对当前 GPU
瓶颈的比值、相对预算的占比），也许能让同一版 prompt 跨不同 GPU/工具组合复用，消除六版 prompt 的
手工分版。
方向 4 — LLM 尺寸/蒸馏的 Pareto 研究（跨 2110.14168 / 2407.21783）。 攻击点 3 的 model
敏感性缺口，可借 2110.14168 的"大生成器+小验证器最优"方法论 [2110.14168] 系统
扫描：monitor（算法、便宜）承担多少、LLM（贵、占 GPU）承担多少，是否存在"小 LLM + 强 monitor"的
更优 Pareto 点？若成立，可用 Llama-3 式蒸馏 [2407.21783] 把调度 LLM 压到能与工具
共享 GPU 的尺寸，去掉"专用调度 GPU"的部署代价。
方向 5 — 对抗/安全视角的调度鲁棒性（跨 2402.06363）。 agentic workflow 的工具组成可由不可信
输入决定；恶意 workflow 可构造让 monitor 的 reprobe 触发大量昂贵探测（探测放大 DoS），或诱导
LLM 采纳 OOM 映射。StruQ 的"结构化输入 + 位置化信任"思路 [2402.06363] 可迁移为
"对工具来源分信任级、限制不可信工具能触发的 probe 预算"——这是本 cluster 完全没人碰的调度安全
交叉点。
*Synthesis scope: 8 related entities, all category algorithm. Contradictions marked in §2
(本篇 vs 2110.14168 coverage-vs-scaffold; 本篇 vs 2407.21783 train-vs-prompt). Every claim about
a KB entity carries a [ref:L2:...] citation per evidence-chain enforcement.*