2025–2026 年，LLM 的主流使用模式从单请求问答转向多轮自主工具调用（agentic workload）。这一转变使传统负载均衡算法系统性失效：agent 的长 session、持续增长的 KV Cache、bursty 的工具调用模式、以及不可迁移的 decode 状态，要求调度系统从"无状态请求分发"跃迁到"有状态工作流编排"。
问题的规模首先在 CPU 侧被量化：工具执行（检索、代码执行、分子生成等）可占端到端延迟的 88%，且 CPU 并行化效率远低于 GPU，导致吞吐过早饱和 [2511.00739]。然而瓶颈并非单一维度——Continuum 的实测数据进一步揭示了一个此前被忽视的独立问题：即使 KV reload 近乎免费（CPU offloading），per-turn queueing delay 仍占总延迟的 58.2% [2511.02230] [2511.02230]。这意味着 agent serving 的优化目标从单一的"避免 KV reload cost"变为更复杂的"reload cost + queueing delay + memory blocking"三维权衡。
与此同时，PD（Prefill/Decode）分离架构成为大规模 LLM serving 的主流部署模式——Prefill 计算密集、Decode 内存带宽密集——需要各自独立的调度策略。Agent 工作负载在 PD 分离架构下引入了额外结构冲突：多轮对话中 Turn 2+ 的 Append-Prefill（AP）操作需要在 prefill 节点和 decode 节点之间做动态路由决策，而 PPD 的实测表明 append-prefill 对 decode 的干扰仅 2%（vs full prefill 的 48%），但无单一静态策略在所有场景占优 [2603.13358]。ConServe 则把这一路由问题釜底抽薪——它论证"per-turn 路由对不可观测的 decode 成本（decode 长度、tool 行为、KV 增长）做预测的必要性，是被 turn 这个调度单元强加的，而非负载本身固有的"，通过把调度单元从 turn 抬高到 conversation，把 turn 级不确定性折叠为"一次 compute-bound turn-1 prefill + 一条 memory-bound tail"，使 placement 只依赖两个可观测信号（turn-1 输入长度 + per-decoder KV 占用），零学习模型即得 p95 TTFET −51.08% [2606.01839] [2606.01839]。这开启了本主题在 2026 年年中最尖锐的一条新轴——预测 vs 观测（见 §6）。
2026 年上半年，业界在五个层面同时发力：
(1) 工作流级调度系统（SAGA、HexAGenT、Helium、Halo）把整个 agent workflow 作为一等调度单元 [2605.00528] [2605.16637] [2603.16104] [2509.02121]。这条路线内部又分化为两个子范式：程序/图感知路径（SAGA、ThunderAgent）从 agent 执行结构出发，DB 查询优化路径（Helium、Halo）从数据系统 batch 优化思路出发 [2603.16104] [2509.02121]。
(2) 预测性 KV Cache 管理（PBKV、Continuum、SideQuest、KVFlow）将 cache 生命周期从被动 LRU 升级为主动的前瞻式决策 [2605.06472] [2511.02230] [2602.22603] [2507.07400]。PBKV 的 algorithms-with-predictions 框架首次为这一方向提供了形式化的退化保证 [2605.06472]。
(3) 投机性执行（PASTE）利用控制流模式预测在 LLM 生成期间提前执行下一个工具调用，将 tool stall 隐藏在思考时间内 [2603.18897]。这代表了一个范式转变：从资源管理（cache/memory/scheduling）转向执行时间隐藏（speculative overlap），将 speculative decoding 的"投机+验证"范式从 token 生成层扩展到 tool 执行层 [2603.18897]。
(4) 客户端 context 管理（Claude Code 五层 compaction、Cursor 动态上下文发现）在客户端侧配合基础设施层做联合优化 [2604.14228] [blog-dynamic-context-discovery]。
(5) 运行时形式化（SGH）将 agent 执行建模为 scheduler 五元组 $(\mathcal{S}, \mathcal{U}, \mathcal{P}, \mathcal{O}, \Delta)$，揭示主流 agent 框架本质上是 $|\mathcal{U}|=1$ 的单就绪单元调度器 [2604.11378]。尽管该理论框架尚无实验验证，但它为理解各系统在调度连续谱上的定位提供了统一语言 [2604.11378]。
(6) 模型级路由与客户端优化（OI-MAS、AgentOpt、Chimera）在调度层引入了新维度——不再假设所有请求使用同一模型，而是按 step/query 级别动态路由到不同规模的 backbone [2601.04861] [2604.06296] [2603.22206]。OI-MAS 的 confidence-aware RL 路由在 5 个 benchmark 上以 79.78% 成本缩减换取 +7.68% 准确率提升；AgentOpt 揭示了一个反直觉现象——最强独立模型（Opus 4.6）在 multi-step pipeline 中做 planner 时表现最差（31.71% vs 74.27%），因为它绕过 solver 工具直接从参数化知识回答。Chimera 进一步把模型路由与拥塞感知负载均衡缝合为单一 dispatch 规则，在异构 LLM 集群上同时优化延迟与任务性能（见 §1.4）[2603.22206]。
(7) 跨集群编排与内存超额（Maestro）把 agent 调度从单集群推向多集群，同时把"多模型 warm colocation under budget"作为一等问题：五态 readiness（Running/Sleeping/CPU/Disk/Remote）+ 分层权重驻留 + 弹性 VMM KV，在单张 40GB A100 上实现 3.05× 内存超额（67.2% 少用 HBM），并用预测的剩余工作流时间做全局 SRTF、用 fitness score 做跨集群路由 [2606.12950] [2606.12950]。与此正交的是 CacheWise 在 KV 淘汰信号维度的推进——它把淘汰决策重述为"只需相对序、甚至只需 top-1 正确"的在线预测问题，用"免费"的工具调用元数据（tool_name + tool_args 的 TF-IDF 聚类）估计下次复用时间替代 LRU，配合前缀感知调度（优先派发所需新增 block 最少的请求），在真实编程 agent 轨迹上把会话完成时间降至最多 ~3.5× [2606.16824] [2606.16824]。
(8) 垂直内存分层（MORI）开辟了一条与上述水平路由/集群编排正交的新轴——不在多 worker 之间放置请求，而在单副本内部沿 GPU-HBM↔CPU-DRAM↔Waiting 三层主动升降级 KV cache。MORI 用连续相对空闲度 $\iota = T_{\text{acting}}/(T_{\text{reasoning}}+T_{\text{acting}})$（滑窗 $k{=}5$）把所有活跃 program 排成一条谱线，最忙的留 HBM、最闲的下沉 DRAM，分界线随任意 GPU:CPU 容量比自动滑动，并用"从最忙一端填满每层"这一动作同时充当 GPU 与 CPU 双层准入 [2606.00866] [2606.00866]。它是"二值 pin → 连续相对排名"这条调度器演化线的第三代——继 Autellix 的 program 级队列优先级、Continuum/ThunderAgent 的绝对/二值 KV 保留之后，把放置决策统一为一个相对排名，且分界线随硬件自适应、零 per-hardware 重调 [2606.00866]。80 并发下相对最强 offloading 基线 TA+O 有 20–71% 更高吞吐、18–43% 更低 TTFT，DP=3 维持 99%+ GPU 利用率（vs phase-oblivious 调度器的 59–76%）[2606.00866]。
上述演进建立在两个 2023 年的基础系统之上：vLLM 的 PagedAttention 将 OS 虚拟内存分页引入 KV cache 管理，消除碎片使吞吐提升 2–4× [2309.06180]；FastServe 的 skip-join MLFQ 首次将抢占式调度引入 LLM serving，利用"input length 已知、output length 未知"的 semi information-agnostic 特性消除 HoL blocking，在高负载下吞吐比 vLLM 提升 31.4× [2305.05920]。两者共同定义了后续所有 agent 调度工作的技术基座——PagedAttention 的 block 粒度内存管理是 prefix caching、CoW 共享、KV 迁移的前提，MLFQ 的迭代级抢占是 Continuum TTL、SAGA AFS 等优先级机制的调度论起点。
本文系统梳理从经典无状态算法到前沿 agent 专用调度系统的演进脉络，覆盖 framework（serving 基础设施）、agent（context/cache 生命周期管理）、algorithm（路由和排序算法设计）三个 category。
无状态算法不维护任何请求历史或 engine 状态，每次决策独立。
Round Robin：请求依次分配 W1→W2→W3→W1→...。O(1) 实现极简，完全公平，但不感知负载差异，agent 多轮请求每轮可能落到不同 worker，KV Cache 命中率趋近于零。vLLM Router 默认策略。
Random：O(1) 无协调开销，多 router 实例天然无需同步。最大负载 O(log n / log log n)（Raab & Steger, "Balls into Bins", RANDOM 1998）。与 Round Robin 相同的 KV Cache 问题。
Power of Two Choices (P2C)：随机挑 2 个 worker → 选负载更低的。最大负载从 O(log n / log log n) 降到 O(log log n)——指数级改善。d=2 是最优性价比点（d=3 只有常数改善）。出处：Mitzenmacher, "The Power of Two Choices in Randomized Load Balancing", IEEE TPDS 2001。单独用效果有限，但作为 cache-aware 路由的 fallback（冷启动/无先验信息时）表现很好。SGLang load_based 阶段用 P2C + 内存压力打分 work + λ * token_usage/(1-token_usage)，其中 token_usage/(1-token_usage) 是凸函数——内存占用趋近 1 时分数急剧上升，形成软隔离墙。
MLFQ (Multi-Level Feedback Queue)：多级优先级队列，新任务进入高优先级队列，耗尽 quantum 后降级。FastServe 的 skip-join MLFQ 是 LLM serving 中的首个抢占式调度器——利用 input length 已知的 semi information-agnostic 特性，新任务直接跳入满足 $q_i \geq t_{\text{init}}$ 的队列，避免 prefill 被中途抢占。配合 proactive KV cache swapping（ENST 优先级）管理内存，高负载下吞吐比 FCFS 提升 31.4× [2305.05920]。MLFQ 的迭代级抢占粒度是后续 Continuum TTL、SAGA AFS 等 agent 调度工作的调度论起点。
Least Connections / Least Loaded：选 running + queued 最少的 worker。需要全局状态收集。不区分请求轻重——agent 长 session 的 decode 持续占用内存和算力，请求数不等于真实负载。vLLM production-stack least_loaded 策略（PR #890）。
维护 engine 状态（负载、缓存、历史）来做更智能的决策。
Consistent Hashing：hash(routing_key) → 哈希环上找到目标 worker。增删 worker 只影响相邻区域，O(1/n) key 迁移。天然 session 亲和性，O(log n) 查找。不感知实际负载——热点 key 导致 worker 过载。出处：Karger et al., "Consistent Hashing and Random Trees", STOC 1997。vLLM Router consistent_hash（PD 模式 prefill 默认推荐）。
Cache-Aware Routing (Radix Tree)：Router 维护 per-worker 的近似 radix tree → 匹配请求 prefix → 路由到缓存命中最高的 worker。Agent 多轮中 system prompt + 历史 context 高度重复，cache-aware 路由是 prefill 侧的最优策略。O(prefix_len) 查找开销。出处：Zheng et al., "SGLang: Efficient Execution of Structured Language Model Programs", NeurIPS 2024。SGLang RadixAttention 原生；vLLM Router cache_aware；Ray Serve PrefixCacheAffinityRouter；llm-d precise-prefix-cache-scorer（基于 ZMQ KV events 的精确 prefix 匹配）。
PrefixHash：提取请求前 N 个 token → xxhash → 一致性哈希环查找 → 负载过高时 fallback 到 least loaded。O(log n) 比 radix tree O(prefix_len) 快。出处：SGLang model-gateway PR #15935, 2025。大规模部署中 cache-aware 的轻量替代。
DualMap：两个独立哈希函数 f1, f2 → 映射到 2 个候选 worker → 优先选 cache 亲和的 → TTFT 超 SLO 时切换到负载更低的 → hotspot-aware rebalancing。统一解决 cache 亲和 vs 负载均衡矛盾。出处：Chen et al., "DualMap: Enabling Both Cache Affinity and Load Balancing", ICLR 2026。
GORGO (Cross-Region Cache-Aware Routing)：将 cache-aware 路由从单集群扩展到跨地理区域。Additive cost model 联合优化三个串行组件：$\text{Cost} = \text{NetworkLatency} + t_p \cdot \text{PrefillCost} + \hat{q}_s \cdot \text{QueueWaitTime}$，关键洞察是将 prefix overlap 转换为时间量 $L_{\text{hit}} \cdot t_p$（$t_p = 0.0938$ ms/tok, $R^2 = 0.9863$），使三个异构信号在 ms 单位下可直接相加。Load balancer 侧维护 prefix trie 镜像 SGLang radix tree。GORGO-proxy 实现 2.5× median TTFT 改善、41× P99 改善（vs least-load 和 prefix-trie-only baseline）[2602.11688]。核心教训：追逐远端区域的高 cache hit（Israel 15% hit）反而恶化 TTFT（378ms > Germany 0% hit 的 281ms）——网络延迟经常压过 cache 收益。
Sticky Routing (Session 亲和)：多轮对话 KV Cache 100% 复用，零迁移开销。长 session 导致负载固化。SGLang SessionAware Router（Issue #25760）将其形式化为 routing_key + role + bucket 的三元组粘性。Agent session 天然 sticky，KV Cache 迁移成本极高。PD 分离中 decode 阶段隐式 sticky（一旦请求落在 decode worker 就不再迁移）。
Bucket Dispatch（分桶路由）：SGLang SessionAware Router（Issue #25760）引入的独特机制——按 token 长度将请求路由到不同规格的 engine group。Prefill 侧用 uncached_prefill_tokens 选桶，Decode 侧用 estimated_sequence_length 选桶，两个角色可以选择不同的 bucket group。每个 engine group 由 role、bucket（长度范围）、endpoint、capacity、health 描述。这使得异构请求（短 AP vs 长 prompt）路由到适配其资源特征的 engine 池，避免长短请求互相干扰。Bucket dispatch 在 sticky routing 之上叠加：先按 bucket 筛选候选 engine pool，再在 pool 内执行 sticky → cache_aware → load_based 的 fallback chain。
BR-H (BalanceRoute)：专注 PD 分离中 prefill→decode 路由。用 horizon H 步前瞻估算每个 worker 未来 H 步的负载，score = Σ discount^t * load(t) → 选分最低的 worker。配合 termination classifier 预测请求何时结束。唯一考虑 KV Cache 单调增长特性的前瞻性算法。出处：Agrawal et al., arXiv 2605.06113, 2026。
请求到达 → [条件路由] input_tokens < threshold?
│ 是(短AP) │ 否(长prompt)
▼ ▼
直接发 Decode Prefill 路由
(本地 AP, PPD) │
│ ┌────────────┼────────────┐
│ ▼ ▼ ▼
│ Cache-Aware PrefixHash Consistent Hash
│ (Radix Tree) (xxhash) (session key)
│ │ │ │
│ └────────────┼────────────┘
│ ▼
│ P2C fallback (冷启动)
│ │
│ ▼
│ Prefill 执行
│ │
│ ▼ KV Transfer
└────────→ Decode 路由
│
┌─────────┼─────────┐
▼ ▼ ▼
Sticky BR-H P2C+内存
(复用KV) (前瞻H步) (兜底均衡)
│ │ │
└─────────┼─────────┘
▼
Backpressure 背压
(防 decode 过载)
│
▼
流式返回 tokens
传统 LLM serving 假设所有请求使用同一模型，路由决策仅涉及"发给哪个 worker"。模型级路由引入了新维度——"用哪个模型处理"。
OI-MAS (Confidence-Aware Model Routing)：分层 conductor——Role Router $\mathcal{F}_\phi$ 按 embedding 相似度选择功能角色子集（Generator / Verifier / Refiner 等），Model Router $\mathcal{G}_\psi$ 为每个角色独立分配 backbone（Qwen2.5-3B / 7B / Llama3.1-8B / 70B）。核心机制：confidence-modulated cost penalty——token log-prob 高（任务简单）时放大成本惩罚迫使用小模型，log-prob 低（任务难）时放松惩罚允许 escalation。在 5 个 benchmark 上 +7.68% 准确率、最高 79.78% 成本缩减 [2601.04861]。关键实证：模型选择分布随 MATH 难度 1→5 单调变化——Qwen2.5-3B 在 level 1 占 ~35%，Llama3.1-70B 在 level 5 占 ~40%，证明 routing policy 通过 confidence 信号学会了 difficulty-to-capacity 映射。
AgentOpt (Client-Side Model Combination Search)：将模型选择形式化为 black-box combinatorial optimization——pipeline 有 $N$ 个角色、候选模型集 $\mathcal{M}$，组合空间 $|\mathcal{M}|^N$ 指数增长。Matrix UCB-E bandit search 在 62–76% 预算节省下恢复近最优准确率。核心发现：模型质量不是 context-free 属性——Opus 4.6 作为独立模型最强，但作为 HotpotQA planner 在 81 个组合中排名 71–81（31.71% vs 74.27%），因为它绕过 solver 工具直接从参数化知识回答。这直接挑战了 per-call model routing（如 RouteLLM）的假设：模型适配性必须在 combination level 而非 per-model level 评估 [2604.06296]。
OI-MAS vs AgentOpt 的互补性：OI-MAS 在运行时动态路由（per-step，需 RL 训练），AgentOpt 离线搜索最优组合（per-pipeline，bandit 探索）。两者攻击同一问题的不同层面——OI-MAS 适合 step 复杂度变化大的场景（数学推理的分解 vs 验证），AgentOpt 适合 role 间模型交互效应显著的场景（planner bypass solver）。理论上可以组合：AgentOpt 搜索最优 role-model 候选集，OI-MAS 在运行时从候选集中动态选择。
Chimera (Latency-Performance-Aware Routing)：在 OI-MAS/AgentOpt 之外开辟第三种路由哲学——把模型选择与拥塞感知负载均衡耦合成单一延迟-性能感知 dispatch 规则。三个预测信号驱动决策：(1) Semantic Router（ModernBert-large 微调多标签编码器）为每个请求输出各候选模型的独立成功置信分 $q[m]$；(2) Length Predictor（QRF）预测工作流级剩余总输出 token 数做 STJF 优先级；(3) Activity Monitor 用在途预测 token 量估计每引擎 TTLT 拥塞 $L[m]$ [2603.22206]。核心机制是"先找最快模型 $m_{\text{fast}}$，再在延迟 slack $\tau$ 内、置信提升超过 margin $\Delta s$ 的前提下选置信最高模型"，使模型选择在负载上升时产生单调回退——congested 大模型的 $L[m]$ 越出 slack 即被自动排除，流量转向空闲模型 [2603.22206]。相对 vLLM/MLFQ/LTR 延迟降 1.2–2.4×、性能升 8.0–9.5pp、调度开销 ≤2.2% [2603.22206]。
Chimera vs OI-MAS 的置信信号之争：两者都用"置信驱动模型选择"，但置信来源相反——OI-MAS 用生成后的 token log-prob（reactive，因为每步都真跑一次模型），Chimera 用生成前的语义编码器（predictive，因为必须在分派前决策）[2603.22206]。更根本的是 Chimera 反对"延迟是模型静态属性"这一 cost-router（RouteLLM/CASTER/OI-MAS）的隐含假设——它把延迟当作排队与资源竞争下的涌现拥塞，因此把 TTLT 负载作为一等路由信号，这是纯 cost-router 结构上无法表达的 [2603.22206]。代价是 Chimera 为省 GPU + 保 KV 复用而在工作流首阶段锁定模型，牺牲了后续阶段的性能自适应（locality-vs-adaptivity 取舍未量化）[2603.22206]。
两个最广泛使用的 coding agent 系统在客户端侧实现了另一种形式的"调度"——context window 管理。
官方博客 "Prompt caching is everything" 揭示了核心策略 [2604.14228]：
核心思路是上下文虚拟化 [blog-dynamic-context-discovery]：不把所有 tool 定义和代码文件塞进 context window，将它们抽象为可按需 lazy load 的虚拟资源。类比操作系统的虚拟内存——文件系统作为 lazy-loading 接口，只在 agent 实际需要时才加载到 context window。
Claude Code 和 Cursor 的策略在客户端侧做 context 管理（compaction、lazy loading、prefix cache 优化），SAGA / HexAGenT 等在 serving 基础设施侧做 workflow-aware 调度。两者互补——理想的 agent serving 应同时优化两个层面。SideQuest 论文明确提到 Cursor 的 Dynamic Context Discovery 解决了"信息检索"问题但未解决"推理效率"问题 [2602.22603]。
2026 年年中出现的三条工程线把 agent 调度推向新的资源维度。
Maestro 把 LLM-MAS 的 serving 从单集群扩展到多集群，并首次系统性攻击"strict GPU budget 下的长尾多模型 warm colocation"。它暴露五个 agent 级维度（role/workflow 位置、tool 意图、预测的 per-stage 输出长度 + KV 足迹、剩余工作流时间、per-cluster 模型 readiness），每个 stage 经"observe → predict → schedule → execute → profile"五阶段闭环，落到三层调度 [2606.12950]：
Maestro 的核心技术壁垒是"tool-intent-first 两阶段成本预测器"作为调度信号总线——一个校准的（isotonic regression）tool-call 概率同时直接服务调度器、作为长度回归器的输入特征、并驱动路由安全裕度的 EWMA，把整栈 4 个决策点绑在同一个 sub-11ms 预测器上 [2606.12950]。这也是它的最大攻击面——预测退化会同时污染 KV 准入、SRTF 排序、路由裕度，而 Maestro 无预测失效的形式化保证，且旗舰 cross-cluster 贡献只在 5 节点模拟器验证（物理集群只验证 node-level colocation）[2606.12950]。
CacheWise 专攻编程 agent 的长时闭环会话——实测特征是"工具触发请求是用户触发的 20×、prefill:decode token 比约 chatbot 的 21×、会话中位 36min（尾部 >2.6h）"，使 vLLM/Mooncake 默认的 FCFS+LRU 崩溃：FCFS 交错多会话撑大工作集、LRU 分不清"工具马上返回"和"还要很久"的会话，导致 KVCache 抖动 [2606.16824]。它加一层不与 agent 框架耦合、只改 serving 系统的 KVCache 管理层，含两个正交技术：
在真实 CATraces 上，高负载（$N>10$）下会话完成时间低 2.7×–3.5×、token goodput 高 1.64×–2×、淘汰与跨层搬运量降 2–2.6×，代价是 P99 请求尾延迟更高（前缀感知调度会推迟无历史的新请求）[2606.16824]。CacheWise 的独特生态位是"通用编程助手 + 部署友好"——用工具元数据（函数名 + 参数）作淘汰信号，避免 PBKV/KVFlow 需要上游框架下推 workflow 图拓扑的耦合；且开源了真实编程 agent 轨迹数据集 CATraces 作为难以复制的采纳杠杆 [2606.16824]。它的软肋是无形式化退化保证（$\tau$ 接近时频繁误判会退回近似 LRU）与缺 anti-starvation 机制 [2606.16824]。
| Category | Paper Count | Representative |
|---|---|---|
| framework | 22 | vLLM, FastServe, Sutradhara, ThunderAgent, KVFlow, Scepsy, Justitia, Concur, PPD, MFS, TokenDance, Helium, Halo, Harli, SPECTRE, Orla, ForkKV, CodeComp, ConServe, Maestro, CacheWise, Chimera |
| agent | 14 | Continuum, SideQuest, CMV, SAGA, PBKV, Claude Code, CPU-Centric Analysis, PASTE, SGH, PrefillShare, ICaRus, OI-MAS, Speculative Tool Calls, MORI |
| algorithm | 6 | BalanceRoute, HexAGenT, HexGen-Flow, Cursor Dynamic Context Discovery, GORGO, AgentOpt |
跨越 framework（serving 基础设施层的调度实现）、agent（agent 系统的 context/cache 生命周期管理与执行优化）、algorithm（路由和排序算法设计）三个 category，共计 42 篇论文/系统/blog。四篇 2026 年年中新增工作（ConServe、Maestro、CacheWise、Chimera）全部落在 framework——反映该主题的重心正从"算法设计"进一步向"serving 系统集成与跨集群编排"迁移。最新并入的 MORI 则落在 agent——它把 agent 语义信号（空闲度）从此前的"预测缓存复用"推广到"驱动 KV 的垂直内存分层放置"，说明 agent-category 的调度贡献正从 GPU 侧 cache 管理向 GPU↔CPU 跨层内存编排延伸 [2606.00866]。
三个 category 的关系并非简单并列：framework 提供调度的执行基座（vLLM PagedAttention 定义了 KV block 抽象，FastServe MLFQ 定义了抢占粒度），algorithm 提供决策函数的数学形式，agent 提供调度所需的语义信号。SAGA 的架构集成了 framework 层的 session-affinity routing + agent 层的 AEG 预测 + algorithm 层的 WA-LRU 评分函数 [2605.00528]，是三者融合的典型案例。OI-MAS 则在 agent 层引入了此前缺失的"模型选择"维度——同一 pipeline 内不同 step 路由到不同规模 backbone [2601.04861]。
| 时间 | 事件 | 贡献 | ||
|---|---|---|---|---|
| 2023-05 | FastServe | 首个 LLM 推理抢占式调度器——skip-join MLFQ 利用 semi information-agnostic 特性消除 HoL blocking + proactive KV cache swapping；高负载下吞吐比 vLLM 提升 31.4× [2305.05920] | ||
| 2023-09 | vLLM (PagedAttention) | 将 OS 虚拟内存分页引入 KV cache 管理——固定大小 block + 非连续映射 + Copy-on-Write；消除碎片使吞吐提升 2–4×；定义了后续所有 KV cache 管理工作的 block 粒度抽象 [2309.06180] | ||
| 2024-12 | SGLang v0.4 发布 cache-aware routing | RadixAttention 进入生产级 router [2507.07400] | ||
| 2025-05 | HexGen-Flow | 首个 agentic Text-to-SQL 两层调度器：全局异构 GPU 派发 + 局部 SLO 预算紧急度队列 [2505.05286] | ||
| 2025-07 | KVFlow | 首次将 Belady 算法适配到 Agent Step Graph 做 prefix caching [2507.07400] | ||
| 2025-09 | Halo | 数据库批查询优化思想引入 agentic workflow：epoch DP + request coalescing，超 vLLM 400×（但基线为串行执行，vs LangGraph 仅 1.03–3.6×）[2509.02121] [2509.02121] | ||
| 2025-10 | Justitia | KV token-time 公平性度量 + WFQ 调度，57.5% JCT reduction [2510.17015] | ||
| 2025-11 | Continuum | KV Cache TTL 机制——首次将 per-turn queueing delay 从 reload cost 中独立出来，证明排队延迟是 agent serving 的独立主导瓶颈 [2511.02230] [2511.02230] | ||
| 2025-11 | CPU-Centric Analysis | 首次揭示 agent 场景 CPU 侧瓶颈（工具执行占 88% 延迟），GPU 越强瓶颈越突出 [2511.00739] | ||
| 2025-11 | Harli | MaaS 平台 inference-PEFT co-location——利用 decode 阶段 ~40% SM 闲置容量，GreenContext 动态 SM 分区 + CUDA VMM 统一分配器，46% 平均额外 finetuning 吞吐且零 QoS violation [2511.11729] | ||
| 2025-12 | Speculative Tool Calls | 将 speculative decoding 范式从 token 级推广到 tool call 级——小模型（xLAM-2-8B）投机预测下一次 tool call 并异步执行，client-side 节省 6–21% E2E 时延，理论上界 < 2×；engine-side 保持序列驻留避免 KV 驱逐 [2512.15834] | ||
| 2026-01 | OI-MAS | Confidence-aware hierarchical model routing——Role Router + Model Router + token log-prob cost modulation，+7.68% 准确率、最高 79.78% 成本缩减 [2601.04861] | ||
| 2026-01 | Sutradhara | Orchestrator-Engine 协同设计，KV cache priority queue [2601.12967] | ||
| 2026-01 | Concur | Agent 级 admission control（AIMD 拥塞控制类比），4.09× 吞吐提升 [2601.22705] | ||
| 2026-02 | ThunderAgent | Program-aware 调度 + 零气泡 KV 管理，1.48–3.58× serving throughput [2602.13692] | ||
| 2026-02 | SideQuest | 模型自驱动 KV Cache GC——让 LRM 自身判断哪些 tool response 已过期，215 样本训练即激活能力 [2602.22603] | ||
| 2026-02 | CMV | DAG 状态管理 + 三遍结构无损裁剪，均值 20% token 缩减 [2602.22402] | ||
| 2026-02 | GORGO | 跨地理区域 KV cache-aware 路由——additive cost model 联合优化 network RTT + prefix overlap + queue depth；GORGO-proxy median TTFT 2.5×、P99 41× 改善 [2602.11688] | ||
| 2026-02 | PrefillShare | 跨模型 KV cache 共享——frozen base prefill + cache-conditioned fine-tuning，N 个模型 KV 从 O(N) 降至 O(1)，disaggregated prefill-decode 架构，3.9× 吞吐 [2602.12029] | ||
| 2026-03 | PPD | Decode 节点本地 Append-Prefill，Turn 2+ TTFT 降低 48-73% [2603.13358] | ||
| 2026-03 | ICaRus | 跨模型 identical cache reuse——frozen encoder + LoRA decoder，全层 KV 精确共享，8 agent 下 11.1× P95 延迟改善、3.8× 吞吐，无需 disaggregation [2603.13281] | ||
| 2026-03 | Orla | Multi-agent serving middleware——stage mapper 异构模型路由 + workflow orchestrator + memory manager，非侵入式（OpenAI-compatible API），SWE-bench −38% wall-clock [2603.13605] | ||
| 2026-03 | MFS | PD 分离中多阶段 flow 的网络争用优化，RMLQ 近似 Least-Laxity-First [2603.17456] | ||
| 2026-03 | PASTE | Pattern-aware 投机性工具执行——将 speculative decoding 范式扩展到 tool 执行层，E2E 延迟降低 48.5% [2603.18897] | ||
| 2026-03 | Helium | DB-style query optimizer + Templated Radix Tree，552 KiB vs SGLang RadixCache 14.8 MiB（27× 缩减），超 KVFlow 1.56× [2603.16104] [2603.16104] | ||
| 2026-03 | Chimera | 异构 LLM 集群多智能体延迟-性能联合优化——语义置信路由 + QRF 工作流级长度预测（STJF）+ TTLT 拥塞感知负载均衡缝合为单一 dispatch 规则；负载上升时模型选择单调回退；延迟降 1.2–2.4×、性能升 8.0–9.5pp、开销 ≤2.2% [2603.22206] [2603.22206] | ||
| 2026-04 | Claude Code 源码分析 | 五层渐进式 context compaction pipeline 逆向工程，揭示"1.6% 决策逻辑 + 98.4% 确定性基础设施"范式 [2604.14228] | ||
| 2026-04 | ForkKV | OS fork/CoW 语义 multi-LoRA KV cache 共享——DualRadixTree 分离 bCache（共享）和 rCache（per-LoRA, $r/n \approx 1.6\%$），ResidualAttention kernel SRAM 内融合重建；8 agent 下 3.04× 吞吐、12.7× per-agent 内存缩减 [2604.06370] | ||
| 2026-04 | CodeComp | 代码结构感知 KV cache 压缩——Code Property Graph (CPG) 指导 span-level 结构化保护，attention-based 与结构化重要性近正交（Jaccard = 0.0944）；60% KV 保留下恢复 91% 全量准确率 [2604.10235] | ||
| 2026-04 | AgentOpt | 客户端 model combination search——Matrix UCB-E bandit 搜索 pipeline 最优模型组合；揭示 Opus 4.6 作为 planner 最差（31.71% vs 74.27%）；62–76% 预算节省 [2604.06296] | ||
| 2026-04 | SGH | Agent Loop 形式化为 scheduler 五元组，提出 $ | \mathcal{U} | $ 连续谱统一 70 个开源 agent 项目 [2604.11378] |
| 2026-04 | TokenDance | Multi-agent 同步轮的 KV Cache collective reuse，并发 2.7× [2604.03143] | ||
| 2026-04 | Scepsy | Aggregate LLM Pipeline 抽象 + 分数 GPU 分配，最高 2.4× 吞吐 [2604.15186] | ||
| 2026-05 | SAGA | Workflow 原子调度 + Agent Execution Graph + Agent Fair Share，集群 TCT 降低 1.64×，但付出 ~30% 吞吐代价 [2605.00528] [2605.00528] | ||
| 2026-05 | BalanceRoute BR-H | Horizon-discounted F-score 负载均衡，优势随 G 超线性增长（$\Delta \propto G^{0.69}$） [2605.06113] | ||
| 2026-05 | PBKV | GraphSAGE 预测 + 分层淘汰 + 保守预取——首个将 algorithms-with-predictions 框架应用于 KV cache 管理的工作，提供 Lipschitz 退化保证 [2605.06472] [2605.06472] | ||
| 2026-05 | SPECTRE | Hybrid speculative serving——重用 idle tail-model GPU 为远程 drafter，closed-form 切换阈值 $r^*$ 在 ordinary/parallel speculative decoding 间动态选择，bs=128 仍 +66%（vs SSD 指数衰减）[2605.08151] | ||
| 2026-05 | HexAGenT | Workflow + 异构感知联合 PD placement，Req99 最大降低 80.5% [2605.16637] | ||
| 2026-06 | ConServe | "Observation, not Prediction"——把调度单元从 turn 抬到 conversation，折叠为一次 compute-bound turn-1 prefill + memory-bound tail；仅用两个可观测信号（turn-1 输入长度 + KV 占用）零学习模型 placement；p95 TTFET −51.08%、异构 tier 上 +22.75% tokens/J [2606.01839] [2606.01839] | ||
| 2026-06 | Maestro | LLM-MAS 跨集群三层调度（node colocation + cluster fitness routing + global SRTF）+ 预测驱动；tool-intent-first 两阶段预测器作调度信号总线；单卡 3.05× 内存超额（67.2% 少用 HBM）、高压 SLO +23.6pp vs EDF [2606.12950] [2606.12950] | ||
| 2026-06 | CacheWise | 编程 agent 的 KVCache 管理层——前缀感知调度（$\arg\min a_i$）+ 工具元数据（TF-IDF 聚类 → $\mathbb{E}[\tau]$）驱动的 reuse-aware 淘汰替代 LRU；零 agent 框架耦合；真实 CATraces 上会话完成时间降至 ~3.5×、淘汰/搬运降 2–2.6× [2606.16824] [2606.16824] | ||
| 2026-06 | MORI | 相对空闲度驱动的 agentic KV-cache 垂直分层——连续 $\iota$ 排名把最忙 program 留 GPU HBM、最闲下沉 CPU DRAM，分界线随 GPU:CPU 容量比自适应，sort-and-fill 兼作 GPU/CPU 双层准入 + 多副本 CPU 层亲和；80 并发 20–71% 吞吐 / 18–43% TTFT vs TA+O，DP=3 99%+ 利用率 [2606.00866] [2606.00866] |
基础设施基座 有状态 / Cache-aware Workflow-level
─────────────────────────────────────────────────────────────────────────────────────────────
vLLM PagedAttention (2023-09) ──→ 定义 block 粒度 KV 管理
↑ 固定大小 block + CoW + 非连续映射
FastServe MLFQ (2023-05) ──────→ 定义迭代级抢占式调度
↑ skip-join + proactive swap + ENST
无状态调度 有状态 / Cache-aware
─────────────────────────────────────────────────────────────────────────────────────────────
Round Robin ─┐
Random ──────┤
P2C (1996) ──┼──→ Consistent Hash (1997) ──┬──→ Cache-Aware Radix Tree (SGLang 2024)
Least Loaded ┘ │ │
MLFQ (FastServe) │ ├──→ PrefixHash (SGLang 2025)
│ ├──→ DualMap (ICLR 2026)
│ ├──→ llm-d precise-prefix-scorer
│ ├──→ TRT (Helium, 模板化而非 per-token)
│ └──→ GORGO (跨区域, additive cost model)
│
└──→ Sticky Routing ──→ Session-Affinity Batching
│
▼
┌──────────────────────────────┐
│ Workflow-Level Systems │
├──────────────────────────────┤
│ A) 程序/图感知路径 │
│ SAGA (AEG + WA-LRU) │
│ ThunderAgent (program-aware) │
│ SGH (静态 DAG, 理论) │
│ │
KV Cache 管理演进 │ B) DB 查询优化路径 │
┌─ LRU (被动淘汰) │ Helium (TRT + nested-seq) │
│ │ Halo (epoch DP + coalescing) │
├─ Continuum (2025-11, TTL cost-benefit) │ Scepsy (Aggregate Pipeline) │
│ ↑ per-turn 排队延迟独立化 │ │
├─ KVFlow (2025-07, Belady on Step Graph) │ C) 异构感知路径 │
│ ↑ 静态距离淘汰 │ HexAGenT (DAG + Hetero) │
├─ SAGA WA-LRU (2026-05, AEG 转移概率) │ HexGen-Flow (SLO-budget) │
│ ↑ workflow 结构化复用预测 └──────────────────────────────┘
├─ PBKV (2026-05, GraphSAGE K-step)
│ ↑ 学习型多步预测 + Lipschitz 退化保证
├─ SideQuest (2026-02, model-driven GC)
│ ↑ LRM 语义推理淘汰 (正交于上述链)
├─ CodeComp (2026-04, CPG 结构化压缩)
│ ↑ 代码属性图指导 span-level 保护 (domain-specific)
├─ ForkKV (2026-04, fork/CoW 分离)
│ ↑ bCache 共享 + rCache per-LoRA (multi-LoRA 专属)
├─ CacheWise (2026-06, 工具元数据预测式淘汰)
│ ↑ tool_name+args TF-IDF 聚类 → E[τ] 替代 LRU (只需相对序/top-1)
│ ↑ 零框架耦合: serving 免费观测信号 (对比 PBKV/KVFlow 需下推 workflow 图)
└─ MORI (2606.00866, 连续相对空闲度 ι 垂直分层)
↑ GPU-HBM↔CPU-DRAM↔Waiting 三层 offload; ι 排名分界线随容量比自适应
↑ typed reversed-LRU: GPU 层 evict inactive→idle→busy, CPU 层 inactive→busy→idle
↑ 淘汰终点从"丢弃"改为"垂直保留" (最闲一端不丢弃, 下沉 CPU DRAM)
BalanceRoute BR-H ──→ Decode barrier 前瞻均衡 (F-score)
PPD ──→ Decode 本地 Append-Prefill (per-request 动态路由)
MFS ──→ 网络 flow 多阶段调度 (RMLQ ≈ LLF)
执行层优化:
PASTE (pattern-aware speculation) ──→ Tool stall 与 LLM generation 时间重叠
↑ 与 KV cache 管理正交：PASTE 消除等待，TTL/SAGA/PBKV 管理等待期间的资源
Speculative Tool Calls (2025-12) ──→ 小模型投机预测 tool call + 异步执行
↑ client-side（无需改引擎）+ engine-side（保持序列驻留）；上界 < 2×
CPU-Centric (COMB/MAS) ──────────→ CPU 侧微批调度 + 异构队列
客户端 Context 管理:
Claude Code 5 层 compaction (2026-04) ──┐
Cursor Dynamic Context Discovery ───────┼──→ 客户端 + 基础设施联合优化
CMV DAG State Management ───────────────┘
公平性与准入:
Justitia (WFQ token-time, 2025-10) ──┐
Concur (AIMD admission, 2026-01) ────┼──→ Agent 级资源公平分配
SAGA AFS (Lyapunov drift, 2026-05) ──┘
模型级路由 (新维度):
OI-MAS (2026-01, confidence-aware RL) ──→ per-step 动态 backbone 选择 (生成后 log-prob 置信)
AgentOpt (2026-04, bandit combination search) ──→ pipeline 最优模型组合搜索
Chimera (2026-03, semantic confidence + TTLT congestion) ──→ 路由 × 拥塞 LB 单一 dispatch 规则
↑ 三者分化：OI-MAS 运行时动态(reactive)、AgentOpt 离线组合、Chimera 生成前预测置信(predictive) + 负载单调回退
跨区域 / 跨集群路由:
GORGO (2026-02) ──→ additive cost model (RTT + prefix + queue)
↑ 将 cache-aware routing 从单集群扩展到跨地理区域
Maestro (2026-06) ──→ fitness score (RTT + readiness + KV feasibility + disruption) + 内存超额
↑ 从"跨区域缓存路由"扩展到"跨集群多模型 warm colocation under budget"
↑ 与 GORGO 相反取舍：Maestro 禁用 long-lived prefix caching 保 VMM KV 可回收性
调度单元 / 预测 vs 观测 (2026 新轴):
turn 单元 (PPD per-turn 动态路由, Maestro/Chimera per-stage 预测) ─┐
├─ 冲突
conversation 单元 (ConServe, 2026-06) ──→ 折叠 turn 不确定性 → 零预测 placement ─┘
↑ ConServe: 抬高单元使不可观测量消失; Maestro/Chimera: 保留细粒度单元 + 更好的预测器
运行时形式化:
SGH Scheduler 五元组 (2026-04) ──→ |U| 连续谱统一 Agent Loop 和 DAG executor
关键分支点：
bash 参数不同（python one-liner 0.1s vs mypy P99 182s）时长跨两个数量级，per-tool 均值不足、需 per-cluster 分布 [2606.16824]。至此这条谱系为：被动 LRU → 时长统计（Continuum TTL）→ workflow 图结构（KVFlow STE / PBKV GraphSAGE）→ 模型语义（SideQuest）→ 代码结构（CodeComp CPG）→ 工具元数据（CacheWise）→ 相对空闲度 typed-inverted-LRU（MORI）——MORI 是唯一把这条淘汰信号谱的终点从"丢弃"改写为"垂直保留"的点位：被空闲度排在最闲一端的 program 不是被 evict，而是被 offload 到 CPU DRAM，并用一个反转的 typed-LRU 让 GPU/CPU 两层各自优先保留调度器分给它的那类 program [2606.00866]。agent 行为预测的复杂度和精度形成了一条清晰的谱：
| 系统 | 预测对象 | 预测方法 | 延迟/开销 | 预测精度 | 退化行为 |
|---|---|---|---|---|---|
| Continuum | 工具返回时间 | per-tool 历史 CDF $\mathcal{P}(\tau, f)$ | ~0 (在线统计) | 隐式 (无显式准确率报告) | TTL 过期 → 直接驱逐，退化为 vLLM 默认 [2511.02230] |
| SAGA | KV 复用概率 | AEG 转移概率 × overlap | EMA 更新 | 87% (无 framework hint) | WA-LRU 退化至 LRU, TCT +54% [2605.00528] |
| PBKV | K-step agent 分布 | GraphSAGE ~350K params | 1.18ms/请求 | 0.94 (1-step), 0.77 (3-step) | Lipschitz 界退化至 LAE (而非 LRU) [2605.06472] |
| PASTE | 下一个 tool 类型+参数 | PrefixSpan 频繁序列挖掘 | 0.02 core-sec/s | Top-1 27.8%, overall 93.8% | 多候选投机用资源换覆盖率 [2603.18897] |
| SideQuest | 哪些 token 已过期 | LRM 辅助线程语义推理 | ~110-140 token/触发 | 精度损失仅 2-5% | 辅助线程未完成则不执行（安全但放弃收益）[2605.06472] |
| MORI | 程序空闲度 $\iota$（非时长/结构预测） | 滑窗 $k{=}5$ Acting/总时间比（已观测） | ~2.3ms/step（与 ~32ms GPU step 重叠，零关键路径） | 无显式准确率（相对排名代理，非预测器） | 无 competitive 刻度；低并发/短程序退化为近似 typed-LRU [2606.00866] |
MORI 在这条谱上占据一个"非预测"端点：它不预测任何 tool 时长或 agent 分布，而是用滑窗 $k{=}5$ 的已观测近期行为直接算出空闲度 $\iota = T_{\text{acting}}/(T_{\text{reasoning}}+T_{\text{acting}})$，作为"HBM 被空占程度"的代理 [2606.00866]。窗口给它两个性质：responsiveness（进行中的长 tool call 已耗时会在一两个周期内主导窗口，$\iota$ 迅速抬升）与 robustness（busy burst 里偶发的一次长 call 被其余 $k{-}1$ 个短周期稀释，避免过早误判）[2606.00866]。但与 Autellix 明确量化 non-clairvoyant 相对 clairvoyant SRPT 的固有 gap、SAGA 给出 WA-LRU 相对 Bélády 的 1.31× competitive ratio 不同，MORI 的 $\iota$-ranking 放置相对"已知每个 tool 时长的 oracle 放置"完全没有 competitive 刻度——这是它与同簇工作相比最缺的诊断标量 [2606.00866]。且 5s tick + $k{=}5$ 窗口对只有 6–11 turn 的短命 program 反应偏慢，正是它在 20 并发低压下仅 +2%（546 vs 534 tok/s）的根源 [2606.00866]。
Speculative Tool Calls 在此谱上占据独特位置：用小模型（xLAM-2-8B, ~80% tool call 命中率）而非 pattern mining 来预测下一个 tool call，投机粒度是完整的 tool invocation（而非 PASTE 的 tool type+参数模式）。理论上界 < 2×——只能掩盖 generation 和 tool 执行中的一个阶段。与 PASTE 的关键差异：PASTE 利用历史 pattern 在 serving 层投机（0 成本预测器），Speculative Tool Calls 使用独立小模型推理（~4% 额外成本）但命中率更高（80% vs PASTE 27.8% top-1）且无需历史数据冷启动 [2512.15834]。
关键张力：预测精度与鲁棒性的权衡在 PBKV 处被首次形式化。PBKV 的退役缓存淘汰（LAE）提供不依赖预测的确定性基线（单独贡献命中率从 27% 到 44.91%），评分驱动淘汰在此基础上叠加概率收益，保守预取仅用空闲资源——三层架构确保任何预测精度下都不退化至 LRU [2605.06472] [2605.06472]。相比之下，Continuum 的 TTL 过期时直接驱逐（无中间态），SAGA 的 WA-LRU 在 AEG 失败时退化至标准 LRU（无分层保护）[2605.06472]。
另一张力：预测目标的本质差异。Continuum 预测"什么时候回来"（时间维度），PBKV 预测"谁会被调用"（结构维度），SAGA 预测"已有 KV 有多少比例会被复用"（更深但更难验证正确性的维度）[2511.02230]。三者在各自维度上的信息都是有价值的——理想系统应融合时间预测（TTL 快速决策）、结构预测（PBKV 全局优化）和语义判断（SideQuest 精确淘汰）。
cache_deleted_input_tokens，形成客户端→基础设施的调度 hint 传递 [2604.14228]。Claude Code 的 5 层 compaction 暗示：在应用层，context window 管理远比 serving 层想象的复杂。Continuum 假设"KV cache = 完整 context history"，但实际上 Claude Code 在 serving 请求到达之前已经做了大量裁剪——Continuum 保留的 KV cache 可能对应的是已经被 compact 过的 context [2511.02230]。role2_never_called）。这一现象只在 combination level 可观测，per-call routing 无法发现 [2604.06296]。更深层启示：LLM 的 tool use 能力与 task 能力不一定正相关——最强的 standalone 模型可能是最差的 pipeline participant，因为它的"自信"导致它拒绝委托。Halo 是唯一一个在 workflow-plan 层 做全局优化的系统，位于 agent orchestration（LangGraph/AutoGen）和 serving engine（vLLM/SGLang）之间。其三项独有增量：(1) Request Coalescing 通过归一化 operator signature 发现语义等价的 SQL/API 调用并合并为单次物理执行；(2) Epoch-based DP 从 MILP NP-complete 到 2s 求解且质量=oracle；(3) 三项 cost model $(T_{\text{prep}}, T_{\text{model}}, T_{\text{infer}})$ 是当前 agentic serving 中最全面的 [2509.02121]。但 Halo 的 400× vs vLLM 对比本质上是"workflow-aware batch system vs request-level serial system"——任何 agent framework 都不会用 serial vLLM 调用来处理 1024 个 workflow，vs LangGraph 的真实优势仅 1.03–3.6× [2509.02121]。
ConServe 把"调度单元的高度"与"信号的可观测性"耦合成一个统一的跨界洞察——单元越高，需要预测的不可观测量越少。它证明了一条与 §5.1 预测谱正交的路径：与其在 turn 单元内造更好的预测器（Continuum CDF、SAGA AEG、PBKV GraphSAGE 走的路），不如抬高单元让预测问题从后门消失 [2606.01839]。这个洞察落到 framework 层的具体机制是"故意过量配置 decoder 让 prefiller 成为瓶颈"——把 capacity/admission/autoscaling 从 forecasting 问题变成 reading-current-state 问题，因为瓶颈侧的驱动信号（input-token rate）在 admission 时可观测且经离线 prefill 曲线确定性映射到利用率 [2606.01839]。
但这个跨界有一个隐蔽的回环：ConServe 的 provisioning 约束 $NB\ge RW$ 中的 $W$（含 tool-call 的 wall-clock 寿命）恰恰依赖它声称不可观测的 decode 长度和 tool 行为——一旦 conversation 寿命分布重尾，按均值配置会让 decoder 侧先饱和，瓶颈移到不可观测的一侧，被消除的预测问题从后门回来 [2606.01839]。这与 Continuum 实测 cd 工具最慢 10% 占 94.1% 总延迟的重尾观察直接呼应 [2511.02230]——说明 ConServe 的极简策略赌的是平均场景，其边界正是 Continuum/CacheWise 反复强调的工具时长重尾。
MORI 给这条"预测 vs 观测"轴补上了第三种立场，并把它从"放置/调度单元"层扩展到"内存分层"层。ConServe 靠抬高调度单元让 decode 侧不可观测量消失、然后 pin-and-never-migrate [2606.01839]；speculation 派（IdleSpec/PASTE）试图消灭空闲窗口——把 idle 时间填满投机计算以省时间 [2603.18897]。MORI 既不预测也不消灭，而是接受空闲窗口并把它当成一种资源来榨取：用一个可在网关端仅凭每步 3 个时间戳重建的已观测近期行为信号 $\iota$，把空闲 program 的 KV 从 HBM 下沉到 DRAM 省内存 [2606.00866] [2606.00866]。三者由此构成"空闲窗口"的三种世界观：ConServe 保留它（reserve）、speculation 派填满它（fill）、MORI 榨取它（offload）。$\iota$ 的可观测性使 MORI 与 ConServe 同属"观测派"，但取用方式相反——ConServe 观测输入长度 + KV 占用来一次性 place，MORI 持续观测空闲度来动态分层。张力也随之显性化：若投机执行普及并普遍压缩长 idle 窗口，MORI 可 offload 的窗口会收缩，尤其 human-input/subagent 这类"可提前调度"的窗口 [2606.00866]。
Maestro 揭示了 framework 层一个此前被单集群工作忽视的耦合：跨集群路由决策离不开节点级内存超额记账。它的 cluster-level fitness 路由必须先过滤"能安全容纳 margin 膨胀后 KV 需求 $R_{\text{need}}$"的节点，而这个可行性判断建立在 node-level 的弹性 VMM KV + 五级降级计划之上 [2606.12950]。换言之，"最近集群 ≠ 最优集群"这一跨集群洞察（inter-region RTT 是几十–几百 ms，而冷启动是几十 s，故"最近"经常是错的）只有在节点能通过 warm colocation + 内存超额把模型保持 ready 时才成立 [2606.12950]。这与 GORGO 的跨区域路由形成互补——GORGO 显式建模 prefix overlap 的时间价值 $L_{\text{hit}}\cdot t_p$，而 Maestro 为保 VMM KV 可回收性主动禁用 long-lived prefix caching [2606.12950]。两者在 prefix reuse 上做了相反取舍，但都在解"最近 ≠ 最优"——一个未回答的问题是把 GORGO 的 prefix 时间价值与 Maestro 的 model activation cost $T_{\text{act}}\approx\text{Size}/\text{BW}_{\text{tier}}$ 放进同一个 fitness 分数并量化"可回收性 vs prefix 复用"的 Pareto [2606.12950]。
| 算法 | 类型 | 复杂度 | Session 亲和 | Cache 感知 | 负载感知 | Agent 适用度 | 出处 |
|---|---|---|---|---|---|---|---|
| Round Robin | 无状态 | O(1) | 无 | 无 | 无 | 低 | 经典 |
| Random | 无状态 | O(1) | 无 | 无 | 无 | 低 | 经典 |
| P2C | 无状态 | O(1) | 无 | 无 | 有 | 中（兜底） | Mitzenmacher 2001 |
| Consistent Hash | 有状态 | O(log n) | 有 | 间接 | 无 | 中 | Karger 1997 |
| Cache-Aware (Radix Tree) | 有状态 | O(prefix_len) | 有 | 精确 | 可选 | 高 | SGLang 2024 |
| PrefixHash | 有状态 | O(log n) | 有 | 粗粒度 | 有 | 中 | SGLang PR #15935 |
| DualMap | 有状态 | O(log n) | 有 | 有 | 有(SLO) | 高 | ICLR 2026 |
| Sticky Routing | 有状态 | O(1) | 强 | 隐式 | 可选 | 极高 | SGLang #25760 |
| BR-H (BalanceRoute) | 有状态 | O(G·H) | sticky | 无 | 前瞻 | 高 | 2605.06113 |
| SAL | 有状态 | O(n) | 无 | 无 | token 级 | 中 | 2410.17840 |
| LBGR | 有状态 | O(n) | 无 | 联合优化 | 学习型 | 中 | ICLR 2026 |
| SAGA | workflow 级 | 预测模型 | session-affinity | Execution Graph | work stealing | 极高 | 2605.00528 |
| HexAGenT | workflow 级 | DAG 评估 | workflow 级 | 容量感知 | risk-aware | 极高 | 2605.16637 |
| Autellix | program 级 | ATLAS/SJF | program-level | 无 | attained service | 极高 | 2502.13965 |
| PBKV | 有状态 | 预测模型 | 有 | 预测性 | 有 | 极高 | 2605.06472 |
| PPD | 有状态 | O(1) | sticky | 隐式 | SLO 驱动 | 极高 | 2603.13358 |
| Continuum | 有状态 | O(1) | TTL | TTL 模型 | 有 | 高 | 2511.02230 |
| SideQuest | 模型驱动 | O(cursors) | 有 | 语义 GC | 有 | 极高 | 2602.22603 |
| PrefillShare | 训练改造 | O(1) prefill | 有 | 跨模型共享 | 有 | 极高（多模型） | 2602.12029 |
| ICaRus | 训练改造 | O(1) prefill | 有 | 精确共享 | 有 | 极高（多模型） | 2603.13281 |
| Orla | middleware | O(stages) | workflow 级 | 规则驱动 | SLO 感知 | 高 | 2603.13605 |
| SPECTRE | 有状态 | O(1) per-round | 有 | 无 | 混合调度 | 高 | 2605.08151 |
| FastServe MLFQ | 抢占式 | O(n queues) | 无 | 无 | proactive swap | 中（基线） | 2305.05920 |
| vLLM FCFS+PagedAttention | 有状态 | O(1) | 无 | block 粒度 | FCFS | 中（基座） | 2309.06180 |
| Speculative Tool Calls | 投机式 | O(1) | 有 | 隐式 | 有 | 高 | 2512.15834 |
| ForkKV | 有状态 | O(prefix_len) | 有 | fork/CoW 共享 | 有 | 极高（multi-LoRA） | 2604.06370 |
| CodeComp | 有状态 | O(chunks) | N/A | CPG 结构化 | N/A | 高（代码场景） | 2604.10235 |
| GORGO | 有状态 | O(regions) | 有 | prefix trie 镜像 | 联合优化 | 高（跨区域） | 2602.11688 |
| OI-MAS | 模型路由 | O(roles×models) | 有 | N/A | confidence-aware | 极高 | 2601.04861 |
| AgentOpt | 组合搜索 | O(UCB rounds) | N/A | N/A | bandit search | 极高 | 2604.06296 |
| Harli | co-location | O(1) | N/A | N/A | SM 利用率 | 中（资源回收） | 2511.11729 |
| ConServe | conversation 级 | O(1) | pin（永久） | prefix 复用 | KV occupancy | 极高（观测派） | 2606.01839 |
| Maestro | 跨集群三层 | O(nodes) | workflow 级 | KV 超额记账 | fitness + SRTF | 极高（多模型/多集群） | 2606.12950 |
| CacheWise | 前缀调度 + 淘汰 | O(prefix)+堆 | 前缀路由 | 工具元数据预测 | 近似 SJF | 极高（编程 agent） | 2606.16824 |
| Chimera | 模型路由 + LB | O(models) | 首阶段锁定 | 隐式（复用路由） | TTLT 拥塞感知 | 极高（异构双目标） | 2603.22206 |
| MORI | 垂直分层 | O(n log n) 排名 | program 级（含 CPU 层驻留） | 连续空闲度排名 | GPU/CPU 双层准入 | 极高（垂直 offload） | 2606.00866 |
Prefill 端：
| 优先级 | 算法 | 原因 |
|---|---|---|
| 首选 | Cache-Aware (Radix Tree) | Agent 多轮 system prompt + 历史 context 高度重复，最大化 prefix 命中 |
| 次选 | PrefixHash | 大规模部署中 radix tree 的轻量替代，O(log n) |
| 次选 | Consistent Hashing | 简单 session 亲和 |
| 兜底 | P2C | 冷启动 / cache 无差异时的负载均衡 |
| 条件路由 | Threshold-based (PPD) | Turn 2+ 短 AP 跳过远程 prefill，本地 decode 处理 |
Decode 端：
| 优先级 | 算法 | 原因 |
|---|---|---|
| 首选 | Sticky Routing | Decode 天然 sticky——KV Cache 在哪就在哪，迁移成本极高 |
| 核心 | BR-H (Horizon-discounted) | 唯一考虑 KV Cache 单调增长的前瞻性算法 |
| 次选 | P2C + 内存压力感知 | SGLang 的 token_usage/(1-token_usage) 凸函数惩罚 |
| Agent 专属 | PPD | Turn 2+ AP 操作动态路由回 decode 节点本地执行 |
| 兜底 | Round Robin | vLLM Router decode 默认 |
业界实际组合：
2023: 基础设施基座（vLLM PagedAttention block 粒度 KV 管理, FastServe MLFQ 迭代级抢占）
↓
2024: request-level（vLLM continuous batching, round robin / P2C）
↓
2025: prefix-level（SGLang RadixAttention, cache-aware routing）
+ 跨区域路由（GORGO additive cost model）
↓
2025H2: tool-level 投机（Speculative Tool Calls 小模型投机预测 tool call）
↓
2026H1: workflow-level（SAGA / HexAGenT / Autellix / Helium / Halo）
+ 客户端 context 管理（Claude Code 5 层 compaction, Cursor 上下文虚拟化）
+ 模型自驱动内存管理（SideQuest）+ domain-specific 压缩（CodeComp CPG）
+ 投机性工具执行（PASTE）
+ multi-LoRA KV 共享（ForkKV fork/CoW）
+ 模型级路由（OI-MAS confidence-aware, AgentOpt combination search）
Agent 工作流天然难预测——随机解码沿路径传播不确定性 [2605.06472]。当前所有 competitive ratio 分析要么缺失要么松散：
需要信息论层面的下界来理解"agent 调度能被优化到什么程度"。一个有价值的理论方向：将工作流生命周期建模为连续时间马尔可夫链，在 SAGA AFS 和 SGH bounded termination 的框架下推导 competitive ratio 的 tighter bounds [2605.06472]。
涉及 category：algorithm（形式化保证）+ framework（实现可行性）。难度：3-5 年。
SideQuest 表明启发式 KV 压缩（H₂O、SnapKV）在 agentic 场景导致模型崩溃（non-completion rate 60%+），因为 token 重要性是非单调的——某些 tool response 在第 $t$ 轮无用但到第 $t+n$ 轮重新变关键 [2602.22603] [2605.06472]。但模型自驱动 GC 依赖 frontier-class 模型的"元认知"能力（仅在 gpt-oss-20b 上验证），不确定是否可扩展到更小模型 [2605.00528]。
更深层矛盾：SideQuest 的语义淘汰在单请求内部操作（intra-request），PBKV 在 serving 引擎层跨多工作流操作（inter-workflow）——两层淘汰目前互相不可见。SideQuest 缩小了单请求的 KV cache 占用使引擎层有更多空间，但 PBKV 的全局评分不知道 SideQuest 已经在请求内部做了清理 [2605.06472]。一个跨层协同框架可以将 SideQuest 的语义 staleness 信号作为 PBKV 评分函数的额外输入——但这需要打破当前 serving 系统的层次隔离。
涉及 category：agent（模型能力）+ algorithm（压缩理论）+ framework（serving 实现）。难度：未知。
Claude Code 的五层 compaction 和 Cursor 的 Dynamic Context Discovery 在客户端侧做优化 [2604.14228] [blog-dynamic-context-discovery]，SAGA/HexAGenT 在基础设施侧做 workflow-aware 调度。两者目前独立运作——理想的 agent serving 应同时优化两个层面，但缺少跨层信息传递的标准协议。
具体矛盾：Claude Code 的 compaction 在 serving 请求到达前已经裁剪了 context，Continuum 的 TTL 保留的 KV cache 可能对应的是已被 compact 过的 context——保留价值需要重新评估 [2511.02230]。Anthropic 的 cache_control breakpoint 是初步尝试（Claude Code 的 boundary messages 必须 defer 到 API 响应后才能获得 cache_deleted_input_tokens），但远未形成生态标准。
涉及 category：agent（客户端架构）+ framework（serving 协议）。难度：1-2 年（工程问题）。
HexAGenT 首次处理异构 GPU（A100/H100/H200）下的 workflow 调度，但 greedy joint planner 无近似比保证——问题本质是 online unrelated machines scheduling [2605.16637]。HexGen-Flow 在较小规模验证了异构 GPU 派发的有效性（A100/A6000/L40 混用）[2505.05286]。
更深层挑战来自规模：Halo 的所有实验在单机 3×H200 上完成，多节点部署会引入网络延迟到 cost model 中，且 KV migration 跨节点的代价远大于 intra-node [2509.02121]。Helium 同样受限于单机 2×H100 [2603.16104]。将 workflow-level scheduling 叠加到跨节点 PD 分离架构上是未被验证的高价值组合——需要同时解决 compute affinity 和 storage I/O path 选择。Scepsy 的 aggregate pipeline 抽象能否推广到动态 DAG 仍未验证 [2604.15186]。
涉及 category：algorithm（组合优化）+ framework（集群调度）。难度：2-3 年。
PASTE 在控制流模式稳定的 agent（coding: 55% edit→test，research: 51% search→fetch）上表现优异 [2603.18897]。但存在两个结构性威胁：
(a) Pattern 稳定性假设的生态脆弱性：PASTE 的统计来自 SWE-bench 和 MetaGPT 等结构化 benchmark。生产环境中 tool 集合从 5-10 扩展到 50+（Claude Code 有 54 个 built-in tools + 动态 MCP tools [2603.18897]），PrefixSpan 挖掘的频繁序列数量可能爆炸而每个 pattern 的 confidence 稀释。
(b) 与 parallel tool use 的竞争：2026 年 parallel tool use 正在成为标准（Anthropic, OpenAI, Google 均支持）。如果 agent 在一轮推理中同时发出 3 个 tool calls，PASTE 的投机窗口（LLM 思考时间）不再存在——tool 已经被 LLM 自己并行化了 [2603.18897]。PASTE 的价值窗口可能随 parallel tool use 普及而收窄。
将投机执行与工作流预测结合（PASTE pattern + PBKV GraphSAGE 共享预测基础设施）是自然方向——pattern 预测同时指导投机执行和缓存预取——但尚无实现 [agent]。
涉及 category：agent（执行策略）+ algorithm（预测模型）。难度：1-2 年。
SGH 论证 Agent Loop 有三个结构性缺陷，但估计 60-70% 的任务实际是线性链——此时 DAG 只比 loop 多出 bounded recovery 和审计价值 [2604.11378]。SGH 的规定性 DAG 路径目前没有追随者，生态正在走三条替代路线：基础设施路径（Claude Code、Continuum 保持 loop 不变投资 serving）、Speculation 路径（PASTE 在 loop 外部注入投机执行）、预测驱动缓存路径（SAGA、PBKV 用描述性 DAG/GNN 预测优化 KV cache 而不规定执行结构）[2604.11378]。
一个更有弹性的理论方向：动态切换 Loop/Graph——exploratory 阶段用 $|\mathcal{U}|=1$（ReAct loop 灵活应对未知），exploit 阶段切换到 $|\mathcal{U}|\geq 1$（DAG 并行高效执行已知步骤）。切换信号可来自 PBKV 的预测器——当预测精度 > 阈值时启用 graph mode，否则回退到 loop [2604.11378]。
涉及 category：agent（运行时架构）+ framework（调度实现）。难度：2-3 年（需大规模实证）。
PBKV 的分层淘汰解决"淘汰哪个缓存"，Continuum 的 TTL 解决"保留多久再进队列"——两个决策目前完全独立运行 [2605.06472]。一个统一框架可以用 PBKV 的 K-step 预测产出 agent 分布，同时驱动 (a) 淘汰优先级 (b) TTL 计算 (c) 排队调度优先级。Continuum 的 memoryfulness factor $\eta$ 可以被集成到 PBKV 的评分函数中，使评分同时反映缓存复用价值和排队延迟代价。
更进一步：PBKV 的预测器可以成为一个共享的"agent 行为预测基础设施"，同时服务 (a) KV cache 淘汰（现有功能），(b) PASTE 式的投机工具执行（如果预测到下一个 agent 会调用某 tool，提前启动 warm-up），(c) COMB 式的 CPU-GPU 微批调度（根据预测的 tool 类型调整 $B_{cap}$）[2605.06472]。
涉及 category：agent（预测融合）+ framework（统一调度）。难度：1-2 年。
PrefillShare 和 ICaRus 证明了 frozen base + task-specific decoder 可以将 N 个模型的 KV cache 从 O(N) 降至 O(1) [2602.12029] [2603.13281]。但两者都面临尚未解决的根本挑战：
(a) 训练生态约束：所有 task model 必须从同一 frozen base 开始训练，不能复用已有的 full-FT 模型——这与 LoRA serving 生态（vLLM LoRA、S-LoRA 等热切换）不兼容。ICaRus 用 LoRA decoder（rank 128, ~200M adapter params），PrefillShare 用完整模型权重——前者权重存储为 $O(N \times M_{adapter})$，后者为 $O(N \times M_{decode})$，差异巨大 [2603.13281] [2602.12029]。
(b) decode 架构的最优选择未定：ICaRus 的 encoder 并行（2× compute, 零 handoff）vs PrefillShare 的 disaggregated（1× compute, N 次 handoff）在不同 N 和并发量下各有优势，但缺少直接受控对比。PPD 的 per-request 动态路由思路可以推广为：根据当前 N、并发量、网络状况动态选择 co-located 或 disaggregated decode [2602.12029]。
(c) 与现有 KV 管理系统的交互：共享 KV cache 使 SAGA 的 WA-LRU 和 PBKV 的评分淘汰的语义发生变化——一份 cache 服务 N 个 decoder，其"复用价值"天然是 N 倍。Continuum 的 TTL 在共享 cache 场景下的最优 $\tau^*$ 应乘以 N（Benefit 项放大但 Cost 项不变），但此推导尚未验证 [2602.12029]。
涉及 category：agent（训练方法）+ framework（serving 架构）+ algorithm（KV 管理）。难度：2-3 年。
SPECTRE 证明了 idle tail-model GPU 可以零额外成本提供 speculative drafting（bs=128 仍 +66%，经济效益 1.81× over AR）[2605.08151]。但在 multi-agent workflow 场景下，多个 agent 同时请求 speculative drafting 引发新的调度问题：
(a) 与 agentic program scheduling 的集成：SPECTRE 的 speculative priority scheduling 是 per-request 级别。在 workflow 上下文中，ThunderAgent 的 program abstraction 可识别 critical-path agent [2602.13692]，Orla 的 DAG 可显式声明 stage 依赖 [2603.13605]——将 draft 资源优先分配给 critical-path agent 是自然方向。
*(b) $r^$ 阈值在异构环境下的鲁棒性*：SPECTRE 的 $r^$ 依赖 $T_D$, $T_T$, $\gamma$, $L$ 四个运行时量。在 mixed batching + 多租户 draft server 场景下，$T_D$ 的方差很大，mode switching 可能在 $r^*$ 附近振荡。对比 PPD 用 offline profiling 提前确定路由规则（stability at cost of static），SPECTRE 选择了相反的 trade-off（zero offline cost but runtime jitter risk）[2605.08151]。
(c) 与 PASTE 的互补叠加：PASTE 攻 tool 执行等待时间（tool 层），SPECTRE 攻 token 生成效率（decode 层）。两者可叠加：agent 调用 tool 时 PASTE 投机执行下一个 tool，同时 SPECTRE 加速当前 tool response 的 prefill。但 SPECTRE 的 draft GPU 与 PASTE 的投机 tool executor 是否争夺相同的 idle capacity（CPU 或 GPU）尚未分析 [2605.08151]。
涉及 category：framework（speculative serving）+ agent（workflow 调度）。难度：1-2 年。
| 子领域 | 成熟度 | 证据 |
|---|---|---|
| Cache-aware request routing（Radix Tree、Consistent Hash） | Production-ready | SGLang/vLLM Router/Ray Serve/llm-d 均已部署 |
| PD 分离下的 load balancing（P2C + 内存压力） | Production-ready | SGLang、vLLM production-stack 线上使用 |
| 客户端 context 管理 | Production-ready | Claude Code（5 层 compaction）、Cursor（Dynamic Context Discovery）数百万用户日常使用 [2604.14228] [blog-dynamic-context-discovery] |
| Decode 前瞻性均衡（BR-H） | Early production | 144-NPU Ascend 集群部署验证，优势随 G 超线性增长 [2605.06113] |
| KV Cache TTL（Continuum） | Late research → early production | 真实 SWE-agent 验证 8.18× 加速，已开源（vllm-continuum），被 SAGA 等后续工作作为 baseline [2511.02230] [2511.02230] |
| Batch agentic query optimization（Helium、Halo） | Late research | Helium 开源（demo），达 toy-scale MILP 0.9% 内；Halo 6 workload 验证但单机限制 [2603.16104] [2509.02121] [2603.16104] |
| 投机性工具执行（PASTE） | Late research | 3 种 agent×3 benchmark 验证 48.5% E2E 降低；实现为 ~12K LOC middleware sidecar 部署 [2603.18897] [2603.18897] |
| Workflow-atomic 调度（SAGA、HexAGenT） | Research frontier | 64-GPU 集群验证但代码未开源；SAGA 付出 ~30% 吞吐代价，单模型（Llama-3-70B）评估 [2605.00528] [2605.00528] |
| 预测性 KV 管理（PBKV） | Research frontier | Lipschitz 保证 + 1.85× 加速（但 vs LRU 基线），仅 A6000 单引擎验证；未与 Continuum/SAGA 直接受控对比 [2605.06472] [2605.06472] |
| 模型自驱动 GC（SideQuest） | Research frontier | SGLang 单卡验证，仅 gpt-oss-20b 单模型；未在分布式场景和更小模型上评估 [2602.22603] [2605.00528] |
| Agent 运行时形式化（SGH） | Concept stage | 纯 position paper，无实验验证；规定性 DAG 路径无追随者，Companion paper 未出现 [2604.11378] [2604.11378] |
| Agent 公平性调度 | Late research | Justitia、SAGA AFS 有形式化保证 + 实验验证 [2510.17015] [2605.00528] |
| 跨模型 KV cache 共享（PrefillShare、ICaRus） | Research frontier | 两篇独立确认 training-time cache identity 可行；PrefillShare 未开源，ICaRus 未开源；decode 架构最优选择未定；仅在 ≤32B 模型上验证 [2602.12029] [2603.13281] |
| Hybrid speculative serving（SPECTRE） | Late research | SGLang PR #22272 集成；Qwen3-235B TP8 验证；提供 TCO-level 评估（dollar/1000s/GPU）；但 $r^*$ 的在线估计鲁棒性和 multi-tenant 极端负载未充分测试 [2605.08151] |
| Multi-agent serving middleware（Orla） | Early research | 开源（Go, dorcha-inc/orla）+ Docker Compose 一键部署；但 workflow orchestrator 核心价值零量化实验，cache 管理仅 5 样本，无并发/吞吐测试 [2603.13605] |
| 基础 KV cache 管理（vLLM PagedAttention） | Production-standard | 事实标准推理引擎，被 HuggingFace、Ray Serve 等广泛集成；PagedAttention block 粒度内存管理是所有后续 KV cache 工作的前提 [2309.06180] |
| 抢占式 LLM 调度（FastServe MLFQ） | Late research → concept absorbed | Skip-join MLFQ 的核心思想（迭代级抢占 + proactive swap）已被 vLLM 和 SGLang 吸收为默认行为；原系统未独立部署但影响了所有后续调度器设计 [2305.05920] |
| 跨区域 KV cache 路由（GORGO） | Early research | 3 区域 × 8×A100 实验验证；GORGO-proxy 2.5× median TTFT 改善显著，但分布式变体牺牲吞吐；仅 Mistral-7B 单模型验证；实现未公开 [2602.11688] |
| Multi-LoRA KV 共享（ForkKV） | Late research | SGLang v0.5.6 集成；3 模型 × 3 数据集验证 1.25–3.04× 吞吐；0.71% 平均质量损失；但仅单节点（≤2 GPU）、LoRA rank ≤32 验证；实现未公开 [2604.06370] |
| 代码结构感知 KV 压缩（CodeComp） | Early research | SGLang 实现；2 模型 × 5 benchmark 验证；91% 全量准确率恢复（cap=0.6）；但仅 prefill 阶段、单请求评估、Joern 外部依赖；实现未公开 [2604.10235] |
| Confidence-aware model routing（OI-MAS） | Late research | 5 benchmark + 1 OOD 验证；+7.68% 准确率、79.78% 成本缩减；但仅 4 模型池、vLLM 单机验证；confidence 校准依赖未完全公开的超参数；实现未公开 [2601.04861] |
| 客户端 model combination search（AgentOpt） | Early production | 开源（AgentOptimizer/agentopt）；4 benchmark × 50 seed 验证；framework-agnostic httpx 拦截；但搜索成本非零（$5–124/benchmark）、仅测试 2-role pipelines [2604.06296] |
| 投机性 tool call（Speculative Tool Calls） | Late research | Client-side 方案工程可行性高（纯 Python async）；gpt-5 + gpt-5-nano 商业 API 验证成本效益；engine-side 受限于 vLLM speculative decoding batch 支持；代码未公开 [2512.15834] |
| Inference-training co-location（Harli） | Late research | Ada6000/A100 实测零 QoS violation + 46% 额外吞吐；但未在 Hopper/Blackwell 上验证，GreenContext 是半公开 API，代码未开源 [2511.11729] |
| Conversation 级观测式调度（ConServe） | Research frontier / concept | 4×A40 单机、Qwen3-0.6B、SWE-bench trace 研究原型；p95 TTFET −51.08% 但 AMPD baseline 为模拟重建、10% 误判率自选敏感；极小模型掩盖 KV 压力；未开源、无生产部署 [2606.01839] [2606.01839] |
| 跨集群多模型编排（Maestro） | Research frontier | 32×2 A100 物理集群验证 node-level colocation（3.05× 超额、67.2% HBM）；但旗舰 cross-cluster 贡献仅 5 节点模拟器验证；无预测失效保证；未开源，依赖 vLLM v0.11.0 + kvcached [2606.12950] [2606.12950] |
| 编程 agent KVCache 管理（CacheWise） | Late research → early production | 2×H200、Qwen2.5-Coder-32B、~2500 行 vLLM 实现；会话完成时间 2.7×–3.5×、淘汰/搬运 2–2.6×；数据集 CATraces + 代码开源（采纳门槛低于聚类内多数）；但 P99 回退、无 anti-starvation、分布漂移鲁棒性留待未来 [2606.16824] [2606.16824] |
| 异构双目标模型路由调度（Chimera） | Late research | RTX A6000、APPS/MATH、多异构模型组合验证；延迟 1.2–2.4×、性能 8.0–9.5pp、开销 ≤2.2%；但只与 vLLM/MLFQ/LTR 弱基线对比（未与 Maestro/HexAGenT 同台）、路由器 mAP 偏低（APPS 0.521）机理未解、代码未公开 [2603.22206] [2603.22206] |
| Agentic KV-cache 垂直分层 offload（MORI） | Research frontier | 建于 ThunderAgent + SGLang v0.5.10，~3300+500 LoC，client 仅需一个 program_id；H200/B200 × 7B/30B-MoE/70B-TP2 全尺度扫描 + 186 条 Claude Code SWE-bench Pro 轨迹回放；80 并发 20–71% 吞吐 / 18–43% TTFT vs TA+O，DP=3 99%+ 利用率 vs phase-oblivious 59–76%，churn 14–15%→0.3–2.9%；但代码未开源（落后于已开源的 Continuum/Pie）、无 competitive 刻度、5s tick 对短程序反应慢、offload 成本模型未算 host CPU 争用 [2606.00866] [2606.00866] [2606.00866] |
整体趋势：加速中。2026 上半年出现了密集的 workflow-level 系统论文（SAGA、HexAGenT、PBKV、Helium 均在 2026 年 3-5 月），表明该方向正从学术探索快速向工程落地转移。但一个重要的趋势分化正在发生：
| Topic | 关系 |
|---|---|
| agent-system | 强关联——agent-system 覆盖从模型到框架的全栈 agent 架构，本 topic 聚焦调度算法层。ThunderAgent、Sutradhara、SGH 等同时出现在两个 topic 中。SGH 的 scheduler 连续谱为两个 topic 提供了统一理论坐标 |
| agent-context-lifecycle | 强关联——CMV 的 DAG 状态管理、Claude Code 的 5 层 compaction、SideQuest 的模型驱动 GC 是 context lifecycle 的核心技术，其策略选择直接影响基础设施层需要处理的 KV Cache 大小和模式。关键交互：SideQuest 的 intra-request 清理与 PBKV 的 inter-workflow 淘汰互相不可见，形成跨 topic 的优化盲区 |
| cluster-llm-deployment | 中关联——集群部署拓扑（xPyD、TP/EP/PP 选择）约束了调度算法的 worker 池结构；HexAGenT 和 Scepsy 的异构 placement 跨越了调度和部署。DualPath 的跨 DC PD 分离与 Helium 的 TRT 调度在不同层级互补。Maestro 的跨集群 fitness 路由 + 多模型 warm colocation 内存超额把本 topic 的调度决策进一步嵌入集群编排层，与 GORGO 的跨区域缓存路由共同模糊了"调度"与"部署"的边界 [2606.12950] |
| kv-cache-offloading | 中关联——MORI 把 CPU-offloading 谱系（NEO / FastDecode / APEX / CLO）从"KV 怎么搬"（mechanism）推进到"该把哪个 program 的 KV 放哪一层"（policy），用连续相对空闲度 $\iota$ 驱动 GPU HBM↔CPU DRAM↔Waiting 垂直分层；这条 offload 轴与本 topic 的调度决策在单副本内耦合——offload policy 需要空闲度这一调度信号，而 CPU-light mechanism（CLO 零拷贝）又反哺其 host 开销假设 [2606.00866] [2606.00866] |
| attention-optimization | 弱关联——SideQuest 论文明确将 KV cache eviction 与 attention score heuristic（H₂O、SnapKV）做对比并证明后者在 agentic 场景崩溃，两者共享"token 重要性估计"这一技术基础但得出相反结论 |
潜在 topic 合并方向：
| Entity | Categories | Role in topic | Key contribution | ||
|---|---|---|---|---|---|
| [2511.02230] | agent | KV Cache TTL 调度 | 首次独立化 per-turn queueing delay；cost-benefit TTL + program-level FCFS；真实 SWE-agent 8.18× 加速 | ||
| [2602.22603] | agent | 模型自驱动 GC | 并行辅助线程语义推理 eviction；215 样本训练；峰值 token -65%；证明 heuristic 在 agentic 场景崩溃 | ||
| [2602.22402] | agent | 客户端 context 管理 | DAG 版本控制 + 三遍裁剪；均值 20% token 缩减；跨会话 context 复用 | ||
| [2603.13358] | framework | Decode 本地 AP | Append-prefill 干扰仅 2% vs full prefill 48%；Turn 2+ TTFT -48~73%；per-request 动态路由 | ||
| [2603.17456] | framework | 网络 flow 调度 | RMLQ 近似 LLF；TTFT SLO 达标率 1.2×-2.4×；disaggregated MoE 三阶段通信争用 | ||
| [2604.14228] | agent | 客户端 compaction | 5 层渐进压缩 + prompt caching 经济学；"1.6% 决策 + 98.4% 确定性基础设施"范式 | ||
| [2605.00528] | agent | Workflow 原子调度 | AEG + WA-LRU + session-affinity + AFS；集群 TCT -1.64×；~30% 吞吐代价；competitive ratio 1.31× | ||
| [2605.06113] | algorithm | Decode 前瞻均衡 | 分段线性 F-score + horizon discount；吞吐 +15.4%；优势 $\propto G^{0.69}$ | ||
| [2605.06472] | agent | 预测性 KV 管理 | GraphSAGE K-step 预测 + 确定性护栏 + 概率系统分层设计；Lipschitz 退化保证；首个 algorithms-with-predictions 在 KV cache | ||
| [2605.16637] | algorithm | 异构 workflow 调度 | Projected scaled-SLO risk + joint P-D placement；Req99 -80.5%；对估计误差 robust | ||
| [blog-dynamic-context-discovery] | algorithm | 上下文虚拟化 | 文件系统作为 lazy-loading 接口；MCP 场景 -46.9% token | ||
| [2511.00739] | agent | 瓶颈刻画 | CPU 侧工具执行占 88% 延迟；GPU 越强瓶颈越突出；COMB/MAS 调度优化 | ||
| [2601.12967] | framework | Orchestrator-Engine 协同 | KV cache priority queue + 并行 tool 执行 | ||
| [2601.22705] | framework | Admission control | AIMD 拥塞控制类比的 agent 级准入；4.09× 吞吐 | ||
| [2602.13692] | framework | Program-aware 调度 | 零气泡 KV 管理 + RL rollout 优化；1.48–3.58× serving throughput | ||
| [2604.03143] | framework | Multi-agent KV 共享 | All-Gather 轮级 collective reuse；并发 2.7× | ||
| [2604.15186] | framework | Aggregate pipeline | 分数 GPU + TP 联合搜索；最高 2.4× 吞吐 | ||
| [2507.07400] | framework | Workflow cache eviction | Belady 适配 Agent Step Graph；1.83–2.19× speedup | ||
| [2510.17015] | framework | 公平性调度 | KV token-time WFQ + bounded worst-case delay；57.5% JCT reduction | ||
| [2603.18897] | agent | 投机性工具执行 | Pattern-aware speculation；E2E -48.5%；tool stall -67%；speculative decoding 范式扩展到 tool 层 | ||
| [2604.11378] | agent | Agent 运行时形式化 | Scheduler 五元组 + $ | \mathcal{U} | $ 连续谱；统一 70 个开源 agent 项目；有界终止证明（理论） |
| [2603.16104] | framework | DB-style workflow 优化 | Templated Radix Tree (27× metadata 缩减) + cost-based scheduling；超 KVFlow 1.56×；MILP 0.9% | ||
| [2509.02121] | framework | Batch query processing | Epoch DP + request coalescing (2.54× 贡献)；workflow-plan 层全局优化；vs LangGraph 1.03–3.6× | ||
| [2505.05286] | algorithm | SLO-budget 两层调度 | 异构 GPU 派发 + 紧急度队列；P95 -1.42~1.56× | ||
| [2511.11729] | framework | Inference-PEFT co-location | MaaS 平台 decode ~40% SM 闲置回收；GreenContext 动态 SM 分区 + CUDA VMM 统一分配器；46% 额外 finetuning 吞吐；零 QoS violation | ||
| [2605.08151] | framework | Hybrid speculative serving | Idle tail-model GPU 重用为远程 drafter；closed-form $r^*$ ordinary/parallel 切换；bs=128 +66%；graceful degradation to ordinary mode | ||
| [2603.13605] | framework | Multi-agent serving middleware | Stage mapper 异构模型路由 + workflow orchestrator + memory manager；非侵入式 OpenAI-compatible API；SWE-bench −38% wall-clock | ||
| [2602.12029] | agent | 跨模型 KV cache 共享 | Frozen base prefill + cache-conditioned FT；N 模型 KV O(N)→O(1)；disaggregated prefill-decode；3.9× 吞吐；打破"模型不可变"假设 | ||
| [2603.13281] | agent | Identical cache reuse | Frozen encoder + LoRA decoder 全层 KV 精确共享；8 agent 11.1× P95；3.8× 吞吐；encoder 并行 2× compute ~1× memory access | ||
| [2309.06180] | framework | 基础 KV cache 管理 | OS 虚拟内存分页引入 KV cache——固定 block + 非连续映射 + CoW；消除碎片 2–4× 吞吐；定义 block 粒度抽象（后续所有 KV cache 工作的前提） | ||
| [2305.05920] | framework | 抢占式 LLM 调度 | Skip-join MLFQ 利用 semi information-agnostic 特性（input 已知、output 未知）消除 HoL blocking；proactive KV swap (ENST 优先级)；31.4× vs vLLM | ||
| [2512.15834] | agent | 投机性 tool call | 小模型投机预测下一次 tool call 并异步执行；client-side 6–21% E2E 节省（上界 < 2×）；engine-side 保持序列驻留避免 KV 驱逐；gpt-5+gpt-5-nano 仅 ~4% 额外成本 | ||
| [2604.06370] | framework | Multi-LoRA KV 共享 | OS fork/CoW 语义 DualRadixTree 分离 bCache（共享 $xW$）+ rCache（per-LoRA $xA_i$, $r/n \approx 1.6\%$）；ResidualAttention kernel SRAM 内融合重建；3.04× 吞吐、12.7× per-agent 内存缩减 | ||
| [2602.11688] | algorithm | 跨区域 KV cache-aware 路由 | Additive cost model 联合优化 network RTT + prefix overlap ($L_{\text{hit}} \cdot t_p$) + queue depth；prefix trie 镜像 SGLang radix tree；GORGO-proxy 2.5× median TTFT、41× P99 改善 | ||
| [2604.10235] | framework | 代码结构感知 KV 压缩 | CPG (Code Property Graph) 指导 span-level 结构化保护；attention vs 结构重要性近正交（Jaccard = 0.0944）；60% KV 保留恢复 91% 全量准确率；SGLang 实现 | ||
| [2601.04861] | agent | Confidence-aware model routing | 分层 Role Router + Model Router；token log-prob confidence 调制成本惩罚；+7.68% 准确率、最高 79.78% 成本缩减；per-step 动态 backbone 选择 | ||
| [2604.06296] | algorithm | 客户端 model combination search | Pipeline model combination 形式化为 black-box combinatorial optimization；Matrix UCB-E bandit search 62–76% 预算节省；揭示最强模型可能是最差 pipeline participant（Opus planner pathology） | ||
| [2606.01839] | framework | Conversation 级观测式调度 | "Observation, not Prediction"——调度单元 turn→conversation，折叠不可观测 decode 成本；两个可观测信号零学习模型 placement；p95 TTFET −51.08%、异构 +22.75% tokens/J；预测派 baseline 随误差线性劣化 | ||
| [2606.12950] | framework | 跨集群三层调度 + 内存超额 | node colocation + cluster fitness routing + global SRTF；tool-intent-first 两阶段预测器作整栈信号总线；单卡 3.05× 内存超额（67.2% HBM）、高压 SLO +23.6pp；预测派最激进者，无失效保证 | ||
| [2606.16824] | framework | 编程 agent KVCache 管理 | 前缀感知调度（$\arg\min a_i$）+ 工具元数据（TF-IDF 聚类 → $\mathbb{E}[\tau]$）reuse-aware 淘汰替代 LRU；淘汰目标松弛为只需相对序/top-1；零框架耦合；CATraces 数据集开源；会话完成时间 ~3.5× | ||
| [2603.22206] | framework | 异构双目标模型路由调度 | 语义置信路由 + QRF 工作流级长度预测（STJF）+ TTLT 拥塞感知 LB 缝合为单一 dispatch 规则；负载上升单调回退；延迟-性能双目标 Pareto；延迟 1.2–2.4×、性能 8.0–9.5pp | ||
| [2606.00866] | agent | Agentic KV-cache 垂直分层 offload | 连续相对空闲度 $\iota$ 排名把最忙 program 留 GPU HBM、最闲下沉 CPU DRAM，分界线随 GPU:CPU 容量比自适应，sort-and-fill 兼作 GPU/CPU 双层准入 + 多副本 CPU 层亲和；"二值 pin → 连续相对排名"第三代，把 CPU-offloading 谱系从 mechanism 补齐到 policy；80 并发 20–71% 吞吐 / 18–43% TTFT vs TA+O、DP=3 99%+ 利用率；代码未开源、无 competitive 刻度 |