Data-Driven Optimization of GPU efficiency for Distributed LLM–Adapter Serving

cluster 2602.24044 — Cross-paper Synthesis

L3 Per-Paper Synthesis: Data-Driven LLM–Adapter Placement (2602.24044) #

§1 相关论文 #

本篇的系统边界极窄:单节点 4×H100,每 GPU 一个独立 vLLM 实例,GPU 之间零集合通信,唯一数据通路是 PCIe 上的 adapter 权重换入换出 [2602.24044]。它在 cluster 类目里的贡献落在容量规划 / bin packing 一侧,而不是 fabric 一侧。八篇相关论文因此不是同题竞品,而是从三个正交方向定义本篇的坐标。

维度 A:同属"用模型驱动的调度器换取资源整合"的一代 #

这两篇与本篇共享同一方法论骨架——先建一个廉价的性能/代价代理模型,再把它塞进在线调度决策回路——只是作用层级不同。

维度 B:本篇明确排除的数据通路——同时是它最硬约束的可能解法 #

四篇 RDMA/通信论文构成本篇"没有 fabric 贡献"这一自我限定的对照面。但它们的价值不止于对照:本篇最硬的约束(vLLM 在初始化时把显存静态切成 adapter 权重区与 KV 区,$A_{max}$ 一旦选定 token 预算就冻结 [2602.24044])恰好是这几篇反复推翻过的那类假设。

维度 C:本篇性能模型里未建模的两个隐藏瓶颈 #


§2 本篇 vs 相关论文的 delta #

2.1 本篇的独有贡献 #

(1) 把 A_max 从启动参数提升为与放置联合求解的决策变量。 这是全篇真正的新东西。两个 baseline(dLoRA、LoRAServe)都把 $A_{max}$ 设成"每卡 adapter 数",而论文自己证明这恰好是会触发 OOM 的配置 [2602.24044]。Fig. 10 下排曲线显示 Proposed 在 adapter 增多时主动收紧 $A_{max}$,含 rank-32 的场景收得更狠,且在高到达率下提前停止装填而 baseline 继续塞到饿死——同一算法在 adapter 权重显存与 KV 显存两种瓶颈下呈现相反的行为方向 [2602.24044]。相关论文里没有任何一篇把框架的静态配置参数纳入优化变量:NetKV 的 oracle 只读拓扑不改配置 [2606.03910],MARLIN 只分配请求不改实例参数 [2605.13496],OnePiece 的 Node Manager 只调拨实例数量 [2601.20655]。

(2) 唯一一个对自己的仿真器做过真机保真度验证的调度论文。 本篇的 Digital Twin 是把 vLLM continuous batching 主循环重实现一遍的代码级仿真器,吞吐 SMAPE ≤5.08%、ITL ≤9.63%,并且在每 5 分钟随机切换 Poisson/log-normal、速率随机 ×2 或 ÷2 的对抗性非平稳流量下,running/waiting 队列长度时间序列仍与真机贴合 [2602.24044]。这一条在相关集里是孤例:NetKV 的流级仿真器被作者自认相比包级仿真高估收益 4–6 个百分点,且全部结果无真机验证 [2606.03910];MARLIN 是纯 Python 模拟器且完全没有真实地理分布式部署验证 [2605.13496];OnePiece 连正式实验章节都没有 [2601.20655]。

(3) 把可行性 oracle 的单次查询成本压到 113 ns。 RF → 32 条规则的浅决策树 → Numba 机器码,吞吐预测时延 0.25 ms → 1.13e-4 ms [2602.24044]。这使整个放置从 1.59 s 降到 4 ms,可支持高频重配置。对照 NetKV 的 oracle 是纯静态查表 + 算术,1024 GPU 下决策延迟 <1.5 ms [2606.03910];MARLIN 的 EWMA 负载预测约 100 μs [2605.13496]。本篇是三者中单次查询最快的,但也是唯一需要 6–9 小时离线数据生成的。

2.2 增量 vs 正交关系 #

维度本篇做了什么相关论文做了什么关系
资源整合的目标函数单目标最小化 GPU 数,ITL 作为未定价的代价 [2602.24044]MARLIN 用 4 目标 Pareto + PHV,ECO 整合奖励只是 reward 一项 [2605.13496]本篇是退化情形:ρ=0.9 是硬编码标量化
调度 oracle 的信号来源学出的吞吐回归 + starvation 分类,特征仅 7 维聚合统计量 [2602.24044]NetKV 的静态 tier map 来自现成 K8s 标签,零学习 [2606.03910]直接冲突,见 §2.3
adapter 权重驻留接受 vLLM 的启动时静态切分,优化切分点 [2602.24044]KRCore 把静态 QP 创建换成预初始化池 + μs 级绑定 [2201.11578];FaRM 用 PhyCo 重写页表分配 [farm-nsdi14]本篇未质疑约束本身,见 §3.3
局部性/整合手段把 adapter 堆到同卡以喂饱 GPUFaRM 的 collocation hint + function shipping 把分布式事务降为单机事务 [farm-nsdi14]同型思想,但 FaRM 显式处理了 skew(flat combining >4×)[farm-nsdi14]
省 GPU 的量化平均 2.4/4 张 = 60%,含完整实验方法与消融 [2602.24044]OnePiece 声称 16×,无实验章节,且结论处写作"16%"与摘要"16×"自相矛盾 [2601.20655]本篇证据强度高一个档次
kernel/通信层开销完全不涉及;4 张卡零集合通信 [2602.24044]Three Taxes 消除 10–20% 延迟 [2511.02168];fabric-lib 把 KV 传输隐藏到 +1.9% [2510.27656]正交可叠加

2.3 核心矛盾:学出来的动态 oracle 是必需品还是奢侈品 #

NetKV 的 ablation 结论:静态 tier map 单独就捕获了 >90% 的收益,自竞争项再加 1.9%,动态拥塞信号只贡献 0.3%,在 long-context 负载下甚至回退 +0.2% [2606.03910]。作者进一步用 Proposition 2 证明 tier 排序能容忍 42 个百分点的 staleness 误差,实测在 100 ms 到 60 s 刷新间隔上三个指标全部持平 [2606.03910]。结论是:动态信号近乎冗余,最简版本就够用。

本篇的立场恰好相反:整篇论文的优势有相当一部分从 $(placement, A_{max})$ 的联合搜索里榨出来,而它成立的前提是有一个 0.25 ms 且 macro-F1 0.93–0.99 的 starvation 预测器;这个判据无法解析推导($Lat_{load}$ 与 $Mem_{max}$ 都只能查表),只能学,而要学就必须有 DT 把单点标注成本从 1 小时压到 39 秒 [2602.24044]。若换成任何固定启发式,Fig. 10 里"低到达率下服务 >500 adapter、高到达率下提前停手"的双向行为就不可能出现 [2602.24044]。

矛盾根源:被建模的量的性质不同,不是方法论优劣之争。 NetKV 要预测的是 tier 间带宽比,那是硬件规格决定的静态量(NVLink 450 GB/s vs 跨 pod 25 Gbps,比值 18:1)[2606.03910]——序数排序稳定,所以静态表足够,动态修正只能在一个已经正确的排序上做无用的微调。本篇要预测的是 $Max_{pack}$ 悬崖的位置,而 Fig. 1 三面板显示这个拐点随 adapter 尺寸、到达率、$A_{max}$ 剧烈漂移,且越界即 OOM 或饿死 [2602.24044]——它是一个位置由工作负载决定的硬约束边界,没有静态代理量可用。两篇在各自问题上都正确;可迁移的教训是"先判断被建模量是硬件静态量还是负载依赖量,再决定要不要学"。


§3 可攻击面 #

3.1 DT 的常数是在 20:1 的 CPU:GPU 比下拟合的,而生产环境的 P25 是 0.25:1 #

这是最致命的一处。本篇的实验平台是单节点 4×H100 + 512 GB RAM,数据集生成用了 80 核并行 [2602.24044],即 CPU:GPU ≈ 20:1。2603.22774 的集群日志统计(4.65M 条 salloc 记录)显示教学集群 H100 节点的 P25 比值只有 0.25,即 1 核服务 4 GPU;科研集群 P50 为 8.00 但仍有约 60% 任务低于 8 [2603.22774]。

三条具体传导路径:

  1. $Lat_{sched}$ 缺失竞争项。 本篇把调度器成本写成 $K_1 B + K_2 R_P + K_3 R_P \frac{A_B}{A}$,三项一一对应 vLLM 调度器的三段循环 [2602.24044]。这个形式隐含"CPU 随时可用"——$K_1 \ldots K_3$ 是在 80 核空闲的机器上用非线性最小二乘拟合的常数。2603.22774 测得 vLLM V1 的 dequeue() 在 TP=4 + 负载下从 12 ms 膨胀到 228 ms,机制是 1-writer-N-reader broadcast 的 writer busy-wait 与 reader 争 CPU,形成级联放大 [2603.22774]。这不是 $B$ 或 $R_P$ 的函数,因此 Eq. (1) 结构上无法表达它。
  2. 本篇的目标点正是 pathological zone。 $Max_{pack}$ 的定义(吞吐 ≥ 入向 token 速率的 90%)等价于把系统钉在 $\rho \approx 0.9$,M/D/1 下排队时间是服务时间的 4.5 倍 [2602.24044]。2603.22774 报告在 CPU 不足配置下多个场景直接触发 200 s timeout,系统进入 pathological state 而非仅仅变慢 [2603.22774]。把每张卡都推到 90% 利用率,恰好把系统放在 CPU 竞争最容易翻车的位置。
  3. 整合本身改变 CPU 需求结构。 从 4 卡收缩到 2 卡时 GPU 数减半,但 continuous batching 每个 decode step 触发一次 broadcast,且竞争程度与 TP degree 成正比 [2603.22774]。本篇每 GPU 一个独立 vLLM 实例(TP=1),这一项被规避,但 batch 变大后 tokenization 与 per-step 调度的 CPU 工作量上升——2603.22774 测得 16×25.6k 配置下 tokenization 仍占 TTFT ~45% [2603.22774]。
  4. 后果的方向是明确的:starvation 分类器会系统性乐观。它学到的"这个配置不会饿死"是在 CPU 充裕前提下的判断,迁移到低 CPU:GPU 比节点会产出真实会饿死的放置。而本篇的安全性完全由这个分类器承载。

    可能的辩护:论文只主张单节点 4×H100 + 80 核这一配置下的结论,且 §9.1 已自行收窄适用范围 [2602.24044]。但"省 60% GPU"的价值命题天然指向成本敏感的部署方,而这类部署恰恰是 CPU 配比最紧的。

    3.2 没有任何 oracle 误差 → 放置质量的鲁棒性界 #

    NetKV 为同类问题给出了 Proposition 2:tier 排序在 oracle 误差 < 42 个百分点前不会倒置,并用 100 ms–60 s 刷新扫描实测验证 [2606.03910]。本篇没有任何对应物——NP-hard 只是引用 bin packing 文献的一句断言,贪心的近似质量完全靠实验 [2602.24044]。

    这不是形式上的洁癖,因为本篇自曝的两处失败都正是 oracle 误差诱发的:

    • Qwen center-right 配置下 Proposed 低估峰值利用率,错误判定 >768 adapter 不可行,而 baseline 实际服务成功了 [2602.24044]。
    • 蒸馏后的 ProposedFast 确实产出了导致饿死的放置(Qwen left-center 子图)。蒸馏换来 ~2000× 加速,代价是吞吐 SMAPE +6.74%、starvation macro-F1 −0.025——退化落在的正是承载安全性保证的那个头上 [2602.24044]。

    两个方向的错误代价严重不对称:假阳性(误判可行)导致真实饿死,假阴性(过保守)只是多用一张卡。论文用的是标准 macro-F1,隐含对称代价。

    放大这个漏洞的结构性因素:$A_{max}$ 的可行取值被离散化到 [8,16,32,64,96,128,160,192,256,320,384] 这 11 个点上,而 §4 检查 4 从显存预算独立推出的物理最优阈值 ~144 恰好落在 128 与 160 之间——算法结构性地无法选中它;且搜索是"当前值 vs 下一候选"的局部两点比较,$A_{max}$ 只能单调前进无法回退 [2602.24044]。过保守的误判有一部分来自这个搜索结构,而不只是 ML 精度。

    3.3 被优化的悬崖有相当一部分是 vLLM artifact,不是物理约束 #

    本篇把 vLLM 的静态显存切分当作给定的物理事实来优化:$A_{max}$ 决定预留给 adapter 权重的区域大小,每个槽位按场景内最大 adapter 的 $S_{max}$ 统一分配,于是一个 rank-32 adapter 会把同卡所有 rank-8 adapter 的槽位一起撑大 4 倍 [2602.24044]。整个 $Max_{pack}$ 悬崖的相当一部分由此产生。

    论文自己的检查 6 已经拆掉了这个约束的物理基础:rank-8 adapter ≈ 16.8 MB,PCIe Gen5 x16 有效带宽 ~50 GB/s,理论 DMA ~0.34 ms;但实测"小请求下 CPU 加载增加 7–16% 延迟"折算约 12 ms,比理论值高 30× 以上。结论是加载开销主要不是 PCIe 搬运,而是 vLLM LoRA 加载路径的框架成本(逐 tensor host 拷贝、槽位管理、同步点)[2602.24044]。

    相关论文提供的反证:KRCore 面对的是形式完全相同的问题——RDMA 连接建立 15.7 ms,其中 87% 是 NIC 硬件资源配置,而不是网络握手;解法不是"优化每节点该预建多少 QP",而是虚拟化预初始化的 DCT 连接池,把连接操作从"创建昂贵硬件资源"变成"给已有资源赋个指针",内存从 $O(N)$ 变 $O(1)$ [2201.11578]。FaRM 同样没有接受"NIC 页表会 thrash"这个事实,而是写了 PhyCo 内核驱动分配物理连续 2 GB 区域,把页表条目从 >500K 压到 1,并明确记录商用 OS 的 2 MB 大页支持不够用 [farm-nsdi14]。

    也就是说,一个"预注册 adapter 槽位池 + 运行时 μs 级绑定 + 零拷贝 pinned-memory 加载路径"的 vLLM 改造,可能把本篇要小心求解的悬崖直接削平。本篇自己也承认 $Lat_{load}$ 这个常数是强框架版本依赖的,换 vLLM 版本或换 zero-copy 路径后 DT 需重新参数化 [2602.24044]——这等于承认了其优化对象的非本质性。

    3.4 60% 的口径与外推性 #

    三个层次的问题:

    1. 均值不是任何具体场景的削减率。 baseline 恒用满 4 卡,$2.4/4 = 60\%$,但 2.4 是跨所有评测场景的平均,包含只用 2 卡的低负载点和用满 4 卡的高负载点;论文正文举的 Qwen 最右配置(256/768 adapter 用 2/3 卡)对应 50%/25%,都低于 60% [2602.24044]。
    2. 只测到 4 卡。 贪心 first-fit 的决策质量随 $N_{GPU}$ 增长未被评估 [2602.24044]。对照 NetKV 把 scalability 扫到 1024 GPU 并验证 transfer time 保持平坦 [2606.03910],MARLIN 扫了 4→12 DC 并发现 baseline 退化而自身改善 [2605.13496]。本篇在这一维上是最薄的。
    3. 跨节点后"请求路由免费"的假设会失效。 本篇的请求按 adapter 归属路由,路由成本不在模型里 [2602.24044]。NetKV 的整个存在理由就是这个假设在多节点下不成立:一个 90% cache hit 但走拥塞跨 pod 链路的实例,TTFT 可以比冷 cache 的同 rack 实例更差 [2606.03910]。本篇的检查 10 明确记录了"不存在跨 GPU 集合通信",扩展成本项只有排序与 oracle 查询次数 [2602.24044]——一旦装箱跨节点,adapter→GPU 归属就同时是一个路由亲和性决策,目标函数必须重写。
    4. 3.5 ITL 未被定价,因此"60%"是单目标扫描出的一个点而非 Pareto 解 #

      本篇的 ITL 系统性劣于两个 baseline,且这不是实现瑕疵而是 $\rho = 0.9$ 目标的直接推论——60% 的 GPU 节省是用 $1/(1-\rho)$ 的延迟放大买来的 [2602.24044]。论文接受这个代价但没有为它定价。

      MARLIN 给出了同一权衡的多目标处理:它的 Balanced 变体明确报告最多 23.61% 的 TTFT 上升作为其他三项收益的代价 [2605.13496],并用 4D Pareto hypervolume 度量整体质量(1.1251 vs 次优 DDQN 0.7681)[2605.13496]。更值得注意的是 MARLIN 的消融:去掉 Phase 2 共识使 PHV 掉 66.5%,远超任何其他组件 [2605.13496]。其含义对本篇不利——单目标优化出来的解在多目标空间里可能显著次优,而本篇把 ρ=0.9 硬编码进 $Max_{pack}$ 的定义里,连扫这条曲线的接口都没留。

      一个具体的可攻击点:如果把 90% 阈值放松到 80%,按 M/D/1,$W$ 从 $4.5\tau$ 降到 $2\tau$(延迟改善 2.25×),GPU 数大概只多用一点。这条曲线论文一个点都没扫。

      3.6 zigzag 排序:唯一没有消融支撑的载荷设计 #

      PrioritySorting 组内按到达率高低交替排列,论文只写"selected empirically, as it consistently improved throughput",正文与附录均无对比数据;复现者若换成朴素的到达率降序,很可能得不到 60% 这个数字 [2602.24044]。

      zigzag 实质上在处理到达率 skew。FaRM 面对同类问题给出了完整的量化处理:flat combining 把热 key 的并发更新合并为单事务,YCSB $\theta = 0.99$ 下吞吐提升 >4×;并明确记录了 skew 负载下 NIC 饱和使扩展在 ~8 台机器后失效 [farm-nsdi14]。本篇既没有 skew 敏感性实验,也没有说明 zigzag 在什么到达率分布下失效。


      §4 生态位 #

      4.1 在 cluster 类目演化谱上的位置 #

      这批相关论文勾出一条清晰的十二年主线,而本篇不在这条线上:

      代际代表关注对象
      2014FaRM [farm-nsdi14]RDMA 数据面 + 一致性原语
      2022KRCore [2201.11578]RDMA 控制面(连接建立)
      2025–26fabric-lib [2510.27656]、OnePiece [2601.20655]、Three Taxes [2511.02168]LLM 特化的 P2P / 融合 kernel
      2026NetKV [2606.03910]、MARLIN [2605.13496]、本篇调度层:把物理层性质暴露给放置/路由决策

      本篇属于最后这一代,而且是其中最"上层"的一个:它连网络都不看,只看单节点的显存与队列。它的合理性在于,多租户 LoRA 服务的瓶颈的确不在 fabric——每个 adapter 单独的到达率太低喂不饱 GPU,问题是装箱而非搬运 [2602.24044]。

      4.2 范式主张:learned surrogate 进调度回路 #

      本篇、NetKV、MARLIN 三者构成同一范式的三个变体,差别集中在 oracle 的制造成本与在线成本:

      oracle 形态在线查询成本离线制造成本自证鲁棒性
      本篇RF → 32 规则浅树 → Numba113 ns [2602.24044]DT 39 s/场景 × 网格 = 6–9 h(80 核)[2602.24044]无界;两处自曝失败
      NetKV4-map 静态查表 + 算术<1.5 ms @1024 GPU [2606.03910]零(复用 K8s 标签)[2606.03910]Proposition 2:42 pp 容差 [2606.03910]
      MARLIN4× SAC + 共识 + EWMA 预测~100 μs 预测 [2605.13496]RL 训练(未报告墙钟)无界;靠 PHV 与消融 [2605.13496]

      本篇在"在线最便宜"这一维上胜出四个数量级,代价是唯一需要重型离线数据生成,且这条链条的每一环都绑定具体框架版本。这也是它真正的技术壁垒所在:DT 不是可有可无的加速器,而是唯一使这个优化问题在数据上可解的环节——真机每点一小时,训练网格是四重笛卡尔积,真机路线在时间上根本不成立 [2602.24044]。

      4.3 采纳证据与可复现性 #

      正面:建立在 vLLM v0.8.5 这个生产框架上;ShareGPT + Azure trace 评测;对 baseline 的一处观察构成真实的可用性证据——dLoRA 的 proactive 放置算法在大 adapter 数下两小时超时,而被规划的场景本身只有一小时,且这与原作只评测到 128 adapter 相符,即 dLoRA 在 1280 adapter 规模上算法本身不可用 [2602.24044]。

      负面,且在相关集里处于最弱一档:代码承诺公开但截至抓取时仓库无可引用内容;LoRAServe baseline 无官方实现由作者重写,dLoRA 只保留 proactive placement 部分——三方对比中有两方是重实现 [2602.24044]。作者还对 vLLM server 做了未量化的 "minor modifications" 采集内部指标,而 DT 参数化完全依赖这些指标。

      对照分档:fabric-lib 开源在 pplx-garden 且有三个生产系统验证 [2510.27656];KRCore 有 krcore-artifacts 仓库、>10K 行 Rust 内核模块与 250 行驱动补丁 [2201.11578];FaRM 虽是 MSR 内部系统未开源,但给出了可重实现级别的协议细节 [farm-nsdi14]。本篇与 NetKV [2606.03910]、MARLIN [2605.13496]、OnePiece [2601.20655] 同属"闭源 + 仿真为主"一档。

      4.4 生态位收窄的条件 #

      本篇最大的存在性风险是被上游修掉:如果 vLLM 把 adapter 显存改成动态池(而非启动时静态切分),$A_{max}$ 这个决策变量本身就消失了,$Max_{pack}$ 悬崖被削平,全篇的优化对象蒸发。检查 6 的分析已经指出这条路技术上通畅——加载开销是框架成本而非 PCIe 成本 [2602.24044]。

      这与 NetKV 面临的风险同型:NetKV 的收益随 KV cache 压缩(FP8/INT4)成比例衰减,作者自己在 open question 里列为待答问题 [2606.03910]。两篇都是"在当前框架/模型代际的窗口期内有明确价值"的调度层工作,其价值曲线由底层演化速度决定,而非由自身方法的优劣决定。


      §5 未探索方向 #

      5.1 用 KRCore/FaRM 的模式翻转 adapter 显存约束,而非在其中求最优 #

      这是从这个 cluster 集群里能提出的最有杠杆的方向。本篇小心求解的 $(placement, A_{max})$ 联合优化,前提是 adapter 槽位必须在启动时静态预留、且按 $S_{max}$ 统一分配 [2602.24044]。KRCore 面对形式同构的问题(15.7 ms 连接建立、87% 成本在硬件配置)选择的是虚拟化预初始化池,把 $O(N)$ 内存变 $O(1)$、把创建变成绑定 [2201.11578]。

      具体设计:一个 rank-分级的 adapter 槽位池(而非按全局 $S_{max}$ 统一开槽),配 FaRM 式的 pinned 物理连续区域注册以消除逐 tensor host 拷贝 [farm-nsdi14]。这直接打击本篇量化过的两个损失源:rank-32 adapter 把同卡 rank-8 槽位撑大 4 倍的浪费,以及比 PCIe DMA 理论值高 30× 的框架加载成本 [2602.24044]。若成功,$A_{max}$ 从决策变量退化为无关参数,本篇的贪心搜索可以简化为纯 KV 预算约束下的装箱。无人做过,且技术上没有障碍。

      5.2 把 CPU 核数作为第三个决策变量 #

      本篇联合搜索 $(g[a], A_{max}[g])$;2603.22774 给出了第三个旋钮的完整价格标签:16 vCPU 增加约 1.5% 实例成本(\$0.80/hr on \$55.04/hr)换来 1.36–5.40× TTFT 改善,5→32 核使 4-GPU 任务从 68.4 s 降到 7.7 s 而 GPU 数不变 [2603.22774]。

      这在本篇的框架里正好可解:DT 是纯 CPU、单核、~200 MB 的仿真器 [2602.24044],扩展它以模拟 CPU 核心争用只需在 $Lat_{sched}$ 上加一个核心数依赖项,然后把"每实例核心数"加入训练网格的笛卡尔积。这不是理论难题,只是没人把两篇的旋钮放在同一个优化问题里。 更尖锐的问题是:在给定总成本预算下,把边际预算花在多一张 GPU 还是多 16 个 vCPU 上?本篇隐含假定答案永远是 GPU。

      5.3 给可行性 oracle 装上非对称损失与鲁棒性界 #

      两处改动,都有现成模板:

      1. 非对称损失:starvation 分类器的假阳性(误判可行 → 真实饿死)与假阴性(过保守 → 多一张卡)代价严重不对称,但论文用的是对称的 macro-F1,且蒸馏后 F1 降 0.025 正好落在这个头上,实测确实产出了饿死的放置 [2602.24044]。换成代价敏感训练 + 保守侧的置信阈值是直接的修复。
      2. 鲁棒性命题:NetKV 的 Proposition 2 给出了模板——证明决策(tier 排序)在 oracle 误差达某个显式阈值前不会倒置,并用刷新间隔扫描实测验证 [2606.03910]。本篇的对应命题应形如"当吞吐回归的 SMAPE < ε 且 starvation 分类器的假阳性率 < δ 时,贪心放置使用的 GPU 数不超过最优解的 k 倍"。这需要处理一个 NetKV 没有的困难:本篇的 oracle 误差通过回滚-重排队机制在 adapter 序列上传播,误差不是逐决策独立的。
      3. 5.4 把 ρ 从硬编码常数变成可扫的 Pareto 维度 #

        $Max_{pack}$ 的定义把利用率钉在 90% [2602.24044],ITL 代价因此是定义的推论而非可调项 [2602.24044]。MARLIN 展示了同类调度问题的多目标处理,并用消融证明共识机制(而非任何单目标 agent)贡献了 66.5% 的 PHV [2605.13496]。

        最小可行版本:把 90% 阈值参数化,为每个 $\rho \in \{0.7, 0.75, \ldots, 0.95\}$ 重训 starvation 分类器(DT 的数据已经有了,只需重新打标),输出一条 GPU 数 vs p99 ITL 的曲线,让运维方按 SLO 选点。这几乎零额外实验成本,却把本篇从"一个点"变成"一条曲线"。

        5.5 跨节点:把 NetKV 的 tier 成本并入装箱目标 #

        本篇的检查 10 明确记录了单节点下不存在集合通信、扩展成本只有排序与 oracle 查询 [2602.24044]。跨节点后这个记账方式失效:adapter→GPU 归属同时决定请求要走哪一级 tier。

        联合问题的形式:装箱目标从"最小化 GPU 数"变为"最小化 GPU 数,s.t. 每个 adapter 的请求入口到其宿主 GPU 的 tier 期望代价 ≤ 预算",其中 tier 代价用 NetKV 的 $B_{\text{eff}} = B_\tau(1-c_\tau)/(1+n_{\text{inflight}}^\tau)$ 形式 [2606.03910]。这里有一个 NetKV 也没解决的新张力:本篇的整合把 adapter 挤到少数 GPU 上,正好制造 NetKV 的 $n_{\text{inflight}}$ 自竞争热点;而 NetKV 的实验里 Tier 0/1 利用率恒为 0%,因为放置策略从不共置 [2606.03910]——一个整合型放置器恰好能把流量压回 Tier 0/1,这是 NetKV 自己在 open question 里提出但没做的事 [2606.03910]。两篇的空白正好互补。

        5.6 把这个 DT 借给其他调度论文用——但要先修 TTFT #

        本篇的 DT 是相关集里唯一被真机验证过瞬态队列动力学的仿真器(对抗性非平稳到达下 running/waiting 时序仍贴合)[2602.24044]。NetKV 的流级仿真器自认高估收益 4–6 pp [2606.03910],MARLIN 是纯 Python 模拟器且无真实部署验证 [2605.13496]。用这个 DT 当作它们的实例级后端,是一个具体且未被尝试的组合。

        但有一个必须先跨的门槛:DT 的 TTFT 误差约 19%,是明确短板,机制是 DT 复现的是累积吞吐动力学而非单请求准入时刻,且误差随 $\rho$ 增大而放大 [2602.24044]。而 NetKV 与 MARLIN 的目标函数都是 TTFT/SLO [2606.03910] [2605.13496]。所以这个方向的第一步不是集成,而是给 DT 补一个准入时刻模型——本篇已经定位了病因(KV 预算下的排队顺序与真机抢占行为的偏离),只是没修。

        5.7 与 kernel 层优化的可加性验证 #

        Three Taxes 的收益在小 $M$ 下最大(launch overhead 主导,speedup ~1.68×),在大 $M$ 下靠 store 效率取胜(~1.80×),交叉点约 $M = 128$ [2511.02168]。本篇运行在 $\rho = 0.9$、batch 尽可能大的点上,属于明确的大 $M$ 区间,因此两者的收益结构上应可叠加。

        但有一个具体的相互作用值得测:本篇的 throughput plateau 观察是"Llama-2-7B 上前约 100 个 adapter 对吞吐影响可忽略",机制是 batch 已在饱和区,砍掉部分并发无回报也无损失 [2602.24044]。这个 plateau 的存在正是 $A_{max}$ "免费区间"和 ~144 阈值的物理来源 [2602.24044]。若 kernel 融合把 plateau 的起点右移(同样 batch 下吞吐更高、饱和更晚),那么免费区间会收窄,$A_{max}$ 的最优值会下移——本篇学出来的阈值不是与 kernel 实现无关的。这条依赖没人验证过,而它决定了本篇的 ML 模型在 kernel 层升级后是否需要整体重训。