ID 解析说明：orchestrator 传入的2310.0724与2401.0967在 KB 中不存在， 实际文件为2310.07240（CacheGen）与2401.09670（DistServe）。本文按实际 id 引用， frontmatter 同时以MISSING记录被请求的两个不存在 id，以便 cascade 正确跳过。
八篇 peer 全部是 category: framework 的 LLM serving 系统，但它们与本篇的关系分成四类，没有一篇与本篇构成同题竞争——这本身是本篇生态位的第一条证据。
(a) 本篇赖以存在的底座，同时是最尖锐的反例来源
(b) 同类方法论：用性能模型/模拟器选配置
(c) 缓存策略的正面对照：本篇 DT 里那个被写死的 LRU
(d) 调度器的另一半：本篇把它建成成本，peer 把它建成决策
八篇 peer 无一例外在改机制——vLLM 改内存布局 [2309.06180]、SGLang 改缓存结构与调度序 [2312.07104]、FastServe 改排队纪律 [2305.05920]、DistServe 改物理部署 [2401.09670]、FastDecode 改算子放置 [2403.11421]、CachedAttention/CacheGen 改存储层与编码 [2403.19708][2310.07240]、FlexRLHF 改模型放置 [2312.11819]。本篇一行 kernel、一行 scheduler 都不改，只回答"给定不动的 vLLM，两个整数该填几" [2508.08343]。这个位置在本 cluster 里是空的，delta 是真实的。
代价对称地存在：因为不改机制，本篇的收益上限被机制锁死。Appendix B 的 S-LoRA 实验是自证——换一个为上千 adapter 设计的框架后，最大吞吐随速率的变化幅度只剩 15–20% [2508.08343]。即"更好的机制会吃掉本篇大部分可优化空间"，这句话是论文自己的数据说的。
DistServe 的模拟器只服务于离线枚举，产物是一份放置方案 [2401.09670]；本篇把 DT 的 87,198 次运行当作监督标签，蒸馏成一个 ≤0.15 ms 推理的树，882 次真机运行只做测试 [2508.08343]。这一步把"离线搜索"变成"在线可查询的决策器"，是本 cluster 中唯一的一例。
但这一步的正当性论证缺席。DT 自身吞吐误差 4.2–5.1%，训出的模型对真机标签误差却只有 0.05–1.0%。唯一能让它自洽的理由是：ML 学的是 $(N,G)$ 网格上 argmax 的位置，DT 只需保序、幅值可偏——这是 L2 补出来的推断，论文没写 [2508.08343]。对比 DistServe 明确用 Table 2 把模拟器保真度独立验证到 <2% 才敢用它做消融 [2401.09670]，本篇的证据强度低一档。
8 维序统计量 + 随机森林 + 压成 depth-6 单树，是标准工序 [2508.08343]。真正有信息量的是负面结果：三种线性模型在 $N$ 上齐刷刷落在 38.56–40.61% SMAPE 的窄带里，跨两个 backbone、跨三种正则几乎不动，是退化为近常数预测器的指纹 [2508.08343]。它建立的事实是"这个映射强非线性、带阈值"，而不是"我们的模型好"。
本篇的 adapter cache 用 LRU，DT 也照 LRU 复刻 [2508.08343]，全篇未讨论替代策略。CachedAttention 的实测直接站在对面：同为"整条目全用或全不用"的复用缓存，scheduler-aware 驱逐把命中率从 LRU 的 58% 提到 86%，并把命中位置从慢层搬到快层（0.5% → >99.6% 在 DRAM）[2403.19708]。
矛盾根源：不是数据冲突，是范围与角色不同。CachedAttention 的实验对象是 session 级 KV（每条目 GB 量级、跨 DRAM/SSD 两层、命中与否直接决定是否重算整段 history），驱逐策略处在关键路径正中；本篇的对象是 adapter 权重（rank 8–32，加载从 CPU 来、长请求下开销 <2% 的量级）[2508.08343]，所以本篇有理由认为策略不敏感。但这个理由论文从未给出，而且它只在长请求域成立——短请求下 CPU 加载已占 7–16%、disk 更高 [2508.08343]，正是策略开始变敏感的区间。两篇在各自实验范围内都对，本篇的沉默是覆盖不足而非错误。
本篇把 $G$ 当作给定的、需要被最优化的服务器参数 [2508.08343]。SGLang 的设计在同一层面给出相反答案：缓存与在用数据共享单一池、按 lock_ref 保证在批节点不被驱逐、无静态上限、零复用时开销 <0.3% [2312.07104][2312.07104]；vLLM 自己的整篇立论也是"静态预分配就是浪费的来源" [2309.06180]。
矛盾根源：$G$ 是 vLLM 的实现遗留（启动期静态），不是物理约束。本篇是在为一个可以被删掉的参数寻找最优值。这不使本篇的测量结论失效（在 vLLM 上 $G$ 确实存在且确实有内点最优 [2508.08343]），但把它的半衰期绑在了 vLLM 保留该参数的时间上。
本篇把最优点操作化为"吞吐 > 0.9 × 入流 token rate 下的吞吐最大者"，一个标量门限定义了全文所有 ground truth [2508.08343]，而报告的延迟是 mean ITL / mean TTFT，非 p99 [2508.08343]。DistServe 的口径是每应用分别给 TTFT/TPOT SLO、以 ≥90% attainment 下的 per-GPU goodput 为指标 [2401.09670]；FastServe 的实测则说明在 load=0.9 时 98% 的延迟来自排队 [2305.05920]。
矛盾根源：指标维度不同——本篇是吞吐守恒式判据（出流是否跟上入流），peer 是延迟分位式判据。一个刚好通过 0.9 门限的配置，意味着 10% 的 token 在积压，按 FastServe 的排队占比，这足以让尾延迟劣化几个量级，而本篇的 mean 指标看不见。两者不是同一个"不饥饿"。
A1. 90% 门限是一个未做敏感性分析的魔数，且它承担了全部标签定义。 论文自己承认最优点是被这个约束切出来的——没有它，argmax 会滑到吞吐平台区右端 [2508.08343]。于是 Table 1/2 里那些 0.05%–1.0% 的漂亮误差，度量的是"模型多准地拟合了一个任意阈值",不是"多准地找到了系统最优"。反驳成本极低：DT 已经存在且 90× 实时，把门限扫成 0.8/0.85/0.95 重训一遍就能给出 $(N^, G^)$ 的漂移幅度。论文没做。对比 DistServe 把 SLO 尺度当作自变量扫过（并因此报出 12.6× tighter SLO 这个结论）[2401.09670]。
A2. DT 在最优点邻域最不准，而论文的 Limitations 不提这条。 Fig.7 显示 ITL 精度随 slot 数增大而恶化、TTFT 精度随到达率升高而恶化 [2508.08343]，即高负载 + 多 slot——正是最优配置所在的区域。TTFT 的 17.4–17.9% 是吞吐误差的 3–4 倍 [2508.08343]。作者的 Limitations 只列了单 GPU、无 dLoRA 对比、count-not-placement 三条 [2508.08343]，遗漏了这条最直接威胁标签质量的。
A3. 标签是"LRU 条件下的最优"，而 LRU 未被论证。 见 §2.4。这不是精度问题而是标签有效性问题：DT 把 LRU 写死后，它产出的 $(N^, G^)$ 只在 LRU 语义下成立；一旦换成 CachedAttention 式的 job-queue look-ahead 驱逐 [2403.19708]，同一 workload 下"需要多少常驻 slot 才能维持命中"会改变，DT 与树都得重做。论文把策略当作环境常量，而 peer 的证据说它是可优化的自由度。
A4. 零基线。 与最接近的 dLoRA 没有任何头对头实验，论文主动承认并推给未来工作 [2508.08343]。整个 cluster 里没有第二篇如此：vLLM 对 Orca/FasterTransformer [2309.06180]、FastServe 对 Orca/vLLM 并做了调度器与内存两组消融 [2305.05920]、DistServe 对 vLLM/DeepSpeed-MII 且用 "vLLM++" 消融把增益归因到 disaggregation 本身 [2401.09670]、CachedAttention 对 LRU/FIFO 逐一比 [2403.19708]。因此"比启发式好"这句话在本篇里没有实验支撑，只有"我们的预测贴近我们自己定义的最优"这一自比结论。
A5. 强绑定 vLLM，却不披露 vLLM 版本。 scheduler latency 项 $K_3 R_{waiting}(G/N)$ 的函数形状是从 vLLM 具体调度循环里逆向出来的经验形状，作者自认"currently limited to vLLM"，而实验只写"vLLM"、无版本/commit [2508.08343][2508.08343]。vLLM 的调度器经历过整体重写，形状发现需重做而非重新 curve_fit。可复现性上不及 SGLang（radix cache 的 match_prefix/evict/lock_ref 可逐行核对 [2312.07104]）。
A6. 每换一个 (LLM, hardware) 组合就要重标定整套性能模型 [2508.08343]。这是规模化的真实税负。DistServe 的对照恰恰相反：其放置搜索分钟级完成且与模型规模无关 [2401.09670]。本篇的税与 FastServe 的 per-(hw, model, input_length) profiling 同级 [2305.05920]，但 FastServe 换来的是 31.4×，本篇换来的是几个百分点的配置精度。
A7. 两个输出各自独立回归，可自洽性无保证。 两个单输出模型、请求长度不入特征 [2508.08343]，因此可能预测出 $G > N$ 这类无意义组合，论文未讨论处理方式。同时 Fig.8 规则 7/8 相对 $\overline{rate}$ 非单调、论文未解释 [2508.08343]——对一个卖点是"可解释、运维直接读规则配置服务器"的产物，一条无法解释的规则就是可攻击面本身。
A8. "competitive performance" 是宽松措辞。 压缩树在 Llama 的 $N$ 上从 0.05% 退到 3.70%（74×）、$G$ 从 6.73% 退到 10.86% [2508.08343]。可解释性的代价没有被如实定价。
A9. 优化的问题可能会被更好的机制删掉。 S-LoRA 下变化幅度仅剩 15–20% [2508.08343]；SGLang 式统一池 + 引用计数在原理上直接消灭静态上限 [2312.07104]；FastDecode 把 KV 整体移出 GPU 后，"adapter 权重与 KV 争抢显存"这条本篇的第一因果环 [2508.08343] 干脆不成立 [2403.11421]。三条独立路径都指向"这是一个可被结构性消除的问题"。
不是范式转移，是范式成熟的副产品。 把 cluster 按时间排开：2023 年是机制层（vLLM 把 OS 分页搬进 KV 管理 [2309.06180] 的同期，FastServe 重写排队纪律 [2305.05920]，SGLang 把缓存树形化并证明调度最优性 [2312.07104]）；2024 年是架构层（DistServe 拆 prefill/decode [2401.09670]，FastDecode 把 attention 挪到远端 CPU [2403.11421]，CachedAttention 加存储层 [2403.19708]，CacheGen 压传输体积 [2310.07240]，FlexRLHF 重排模型放置 [2312.11819]）；2025 年的本篇处在机制已商品化之后的配置层——引擎不动，价值转移到"这些已固化的旋钮该怎么自动填"。
这个生态位的特征是：天花板低、门槛也低、寿命取决于上游是否保留旋钮。FlexRLHF 那句"最优比例仍需手动调优或依赖 guideline" [2312.11819] 是这个位置存在的直接证据——机制论文习惯性把配置留给用户，而配置层论文接手。
采纳证据：本 cluster 里迁移成本最低、但价值密度也最低的一篇。
GPULLMAdapterOptimization）[2508.08343]。这在同组里属少数：FlexRLHF 未开源 [2312.11819]、FastDecode 未给开源链接 [2403.11421]、CachedAttention 无公开仓库 [2403.19708]；而 vLLM 已是事实标准 [2309.06180]、SGLang 在 Chatbot Arena 生产跑过一个月（命中率 52.4% / 74.1%）[2312.07104]、DistServe 与 CacheGen 有公开仓库 [2401.09670][2310.07240]。结论定位：一篇诚实、低风险、寿命与 vLLM 该参数同生共死的工程论文。它的历史价值大概率不在"adapter caching problem"这个命名，而在证明了"用有偏 emulator 训无偏决策器"在 serving 配置问题上可行——这是可以被搬到任何配置层问题上的方法论。
按"该 cluster 已有零件、组合后技术上可做"排序，越靠前越便宜。
D1. 用现成 DT 把 90% 门限换成 SLO attainment 判据（最低成本，直接补 A1+A4）。 把 ground truth 从"吞吐 > 0.9×入流"改成 DistServe 式的"每应用 TTFT/TPOT SLO 下 attainment ≥ 90%" [2401.09670]，重跑 87,198 次 DT 模拟，报告 $(N^, G^)$ 相对原判据漂移多少。DT 已存在且 90× 实时 [2508.08343]，成本只是重跑。副产品：顺手回答阈值敏感性。风险已知：DT 的 TTFT 误差 17.9% 且在高速率下更差 [2508.08343]，所以这条路必须先把 TTFT estimator 修好——这本身是一个明确的子任务。
*D2. 把 LRU 换成 scheduler-aware adapter 驱逐，然后重新求 $G^$（补 A3）。* CachedAttention 的做法可以逐条平移：adapter 与 session 一样是"全用或全不用"的整条目 [2403.19708]，vLLM 的 waiting queue 天然携带"下一批请求属于哪些 adapter"这一未来信息，即 Belady oracle 的现成来源 [2403.19708]。可检验的预测：命中率上升后，维持同一入流所需的常驻 adapter 数下降，因此 $G^$ 应当变小，且 Fig.1 最右面板的曲线峰会左移。这条同时是对本篇标签有效性的一次判决性实验。
D3. 从启动期静态配置走向运行期闭环（补 A9 的一半）。 树模型推理 ≤0.15 ms [2508.08343]，等于免费，却只在 server 启动时用一次。CacheGen 的逐块贪心提供了现成的控制律形状：测上一窗口实际吞吐 → 重新预测 → 调整，带宽/负载崩坏时软降级而非拒绝 [2310.07240]。障碍很具体：$G$ 在 vLLM 里是启动期静态 [2508.08343]，所以这条路要么只能在线调 $N$（上层路由可控），要么必须先做 D4。
D4. 让 $G$ 消失：adapter 权重与 KV 共享一个池（补 A9、§2.5）。 把 SGLang 的单池 + 每节点 lock_ref（在批条目不可驱逐、节点分裂时传播 pin）搬到 adapter 缓存上 [2312.07104]，则"驻留几个 adapter"由内存压力自然决定，静态上限被删除，本篇的两轴问题退化为单轴（只剩 $N$）。可检验的预测：本篇 Fig.1 最右面板那条内点最优曲线会被压平——正如 S-LoRA 下降幅只剩 15–20% 所暗示的方向 [2508.08343]。这是一个能证伪本篇问题重要性的实验。
D5. 把 90% 门限升级成解析饱和模型（补 A1 的根因）。 L2 已指出所需形状：$\text{throughput}(N,G) = \min(\lambda_{in},\ \mu(Mem_{max}(G), B))$，则最优点变成 $\lambda_{in}$ 与 $\mu$ 的交点、唯一性可判 [2508.08343]。DistServe 提供了可抄的模板——M/D/1 排队式 + 解析 prefill/decode 延迟式，并且证明了 intra-op/inter-op 的最优是内点、给出了 crossover 的成因 [2401.09670]。$Mem_{max}$ estimator 已经在 DT 里存在 [2508.08343]，缺的只是把它接进一个服务率表达式。
D6. 多 GPU：count 预测 × placement 决策的组合（补作者自陈的两条 Limitation）。 作者承认只预测数量不预测"放哪个"，在 adapter 少但个体差异大的场景会退化 [2508.08343]。两块零件已在 cluster 里：FlexRLHF 的 Model Placement Ratio 抽象把放置压成少数标量 [2312.11819]，DistServe 的 Algorithm 1/2 给出"在每节点 GPU 预算下联合搜索并行与放置"的模板，并证明约束式搜索仍能收回大部分收益 [2401.09670]。合起来的目标输出是 $(N, G, \text{adapter} \to \text{GPU})$。注意 FlexRLHF 与本篇共享的静态性缺陷 [2312.11819] 会在这里叠加，所以 D6 应当在 D3 之后做。
D7. 加载路径的传输侧优化（本篇量化了、但绕开了）。 本篇测出 disk 比 CPU 平均慢 70%、短请求下 CPU 加载已占请求延迟 7–16% [2508.08343]，处理方式是把 $Lat_{load}$ 做成查表并建议预加载到 CPU 内存。CacheGen 的核心洞察正对着这个缺口：放弃"必须保持可直接消费的张量形状"这一约束后，可以做 delta + 分层量化 + 分组算术编码，并用 GPU 解码 + 传输 pipeline 把解码开销藏掉 [2310.07240][2310.07240]。搬到 adapter 上：LoRA 权重相对 base rank 的 delta 编码，只在加载路径压缩、上 GPU 后解码。受益区间明确是短请求域——也正是本篇模型外推无保障的那一格 [2508.08343]。
D8. 把 scheduler 建成决策而非只建成成本。 本篇给出了 LLM serving 首个 scheduler latency 模型 [2508.08343]，却仍跑 FCFS [2508.08343]。FastServe 说明在高负载下排队占 92–98% 的延迟，抢占式 skip-join MLFQ 能把这块吃掉 [2305.05920][2305.05920]。组合是 adapter 感知的优先级调度：把"该请求的 adapter 是否已常驻"作为队列排序的一维（这与 SGLang 的 cache-aware 排序同构 [2312.07104]），既降排队又提高 adapter 命中。风险明确：抢占会放大 KV 内存占用（FastServe 实测最高 7×）[2305.05920]，而 KV 显存正是本篇最优点的绑定约束 [2508.08343]——所以这个方向的收益必须在"抢占省下的排队"与"抢占吃掉的 batch"之间净算，而本篇的 DT 恰好是做这个净算的现成工具。
D9. 消除 tradeoff 而非求它的最优（最激进）。 本篇整个问题建立在"adapter 权重与 KV cache 争抢同一块显存"之上 [2508.08343]。FastDecode 把 attention 与 KVCache 整体移到远端 CPU、GPU 显存完全释放给 batch [2403.11421]，则争抢消失，$G$ 的最优应从内点变成边界（越多越好，直到 S-Part 饱和）。这是一个干净的可证伪预测。代价也清楚：FastDecode 只处理 decode、不处理 prefill，且延迟是基线的 3.5× [2403.11421]，所以只适用于吞吐优先的离线式 adapter 批服务，不适用于本篇针对的在线场景。
| id | 标题 | 与本篇关系 |
|---|---|---|
| 2508.08343 | A Data-driven ML Approach for Maximizing Performance in LLM-Adapter Serving | 本篇 |
| 2309.06180 | vLLM / PagedAttention | 底座 + 静态上限之争的反例 |
| 2312.07104 | SGLang / RadixAttention | 形式化对照 + 统一池方案（D4） |
| 2401.09670 | DistServe | 模拟器方法论对照 + 解析模型模板（D1/D5/D6） |
| 2403.19708 | CachedAttention / AttentionStore | LRU 劣势的实证来源（D2） |
| 2310.07240 | CacheGen | 在线自适应（D3）+ 传输侧压缩（D7） |
| 2305.05920 | FastServe | 排队占比证据 + 调度即决策（D8） |
| 2403.11421 | FastDecode | 性能模型选资源数 + 消除 tradeoff（D9） |
| 2312.11819 | FlexRLHF | 配置层留白的直接证据 + placement 抽象（D6） |