| Entity | Relation | Why Related |
|---|---|---|
| 2309.06180 (vLLM/PagedAttention) | baseline | 2601.19910 使用 vLLM v0.10.1 + LMCache 作为实验平台；PagedAttention 的分页 KV cache 管理是 offloading 的前置条件 |
| 2305.05920 (FastServe) | related | FastServe 的 proactive KV cache swapping（GPU↔host memory）正是 2601.19910 分析的操作——但 FastServe 关注调度延迟而非带宽瓶颈量化 |
| 2403.11421 (FastDecode) | related | FastDecode 将 attention 计算直接放在 CPU 侧执行，彻底回避了 KV 数据回传 GPU 的 PCIe 瓶颈——是 2601.19910 提出问题的一种激进解法 |
| 2411.01142 (Neo) | related | Neo 部分卸载 KV cache 到 CPU 并在 CPU 侧执行 attention，通过 asymmetric pipelining 缓解正是 2601.19910 量化的 PCIe 瓶颈 |
| 2407.00079 (Mooncake) | related | Mooncake 将 KV cache 存储到 CPU DRAM + SSD 并用 RDMA 传输，其 layer-wise streaming 策略直接缓解 2601.19910 指出的传输-计算不可重叠问题 |
| 2412.19437 (DeepSeek-V3) | related | DeepSeek-V3 的 MLA 将 $B_{\text{kv}}$ 从 192–516 KB/token 压缩到 70 KB/token，是 2601.19910 分析的最有效模型侧优化 |
| 2312.11819 (FlexRLHF) | tangential | FlexRLHF 的 Disaggregated 策略将训练/推理运行时分离到不同设备，思路类似 prefill-decode disaggregation，但目标是 RLHF 训练而非推理 serving |
| 2409.19256 (HybridFlow/veRL) | tangential | HybridFlow 的 3D-HybridEngine 将同一模型在不同阶段使用不同并行策略，理念类似 2601.19910 建议的 workload-aware disaggregation |
2601.19910 的核心价值是量化——它不设计系统，而是建立分析框架（$\kappa_{\text{crit}} = \kappa_M \times \kappa_{HW}$）来精确刻画 KV offloading 何时将 prefill 从 compute-bound 转为 memory-bound [2601.19910]。其他论文要么直接设计解决方案（FastDecode、Neo、Mooncake），要么作为被分析的基线系统（vLLM）。
FastDecode 的 S-Part/R-Part 分解完全绕过了 PCIe 带宽瓶颈——它不再将 KV cache 从 CPU 搬回 GPU，而是在 CPU 侧直接执行 attention [2403.11421]。这使得传输内容从 $O(B \times L_{seq} \times d)$ 的 KV cache 缩减为 $O(B \times d)$ 的 Q/O activation，量级缩小数十到数百倍。
Delta: 2601.19910 假设 KV cache 必须回传到 GPU 才能执行 attention（标准 vLLM 架构），因此 PCIe 带宽是硬瓶颈。FastDecode 证明这个假设不是唯一选择——以 InfiniBand 连接的远程 CPU 集群为代价，可以完全消除该瓶颈。但 FastDecode 需要 8 台 CPU 节点服务单 GPU [2403.11421]，部署成本高昂且仅覆盖 decode 阶段。
Neo 的 asymmetric pipelining 部分卸载 KV cache 到本机 CPU，通过将 prefill 请求（GPU 密集）和 CPU-decode 请求放在互补子批次中，使 GPU linear stage 的执行时间覆盖 CPU attention 时间 [2411.01142]。其 Greedy 原则保证 throughput ≥ GPU-only baseline。
Delta: 2601.19910 的模型（Eq. 3: $\text{TTFT} = t_{\text{PCIe}} + t_{\text{prefill}}$）假设传输和计算串行不可重叠 [2601.19910]。Neo 的贡献恰恰在于通过 pipeline 设计部分实现了重叠，但仅在 CPU 内存带宽充足时有效（T4 上 7.5×，H100 上仅 14% [2411.01142]）。2601.19910 的分析框架可以精确预测 Neo 何时有效：当 $T_{l_0} \geq T_{ca_1}$（GPU linear time 足以覆盖 CPU attention time）时 pipeline 无 bubble，这等价于 Neo 的 "Hiding CPU" 约束 [2411.01142]。
Mooncake 将 KV cache 存储在分布式 CPU DRAM 池中，通过 GPUDirect RDMA（而非标准 PCIe copy）传输，并使用 layer-wise streaming 与 prefill 计算重叠 [2407.00079]。RDMA 网络带宽（800 Gbps = 100 GB/s per node）远高于单节点 PCIe 的实测 15 GB/s [2601.19910]。
Delta: Mooncake 从硬件层面缓解了 2601.19910 指出的瓶颈——将 $\text{BW}_{\text{PCIe}}$ 从 15 GB/s 提升到 100+ GB/s，等价于将 $\kappa_{HW}$ 提升 ~6.7×。这接近 2601.19910 提议的 NVLink C2C 方案（5.3× 提升）[2601.19910]。但 Mooncake 的核心贡献在调度层面（cache-aware scheduling、early rejection），而非带宽分析。
vLLM 的 PagedAttention 消除了 KV cache 的内存碎片（20.4%→near-100% 利用率），使更大 batch size 成为可能 [2309.06180]。但 vLLM 的 token budget 调度机制完全不感知 offloaded KV 的 VRAM 消耗——2601.19910 揭示了这个 fundamental mismatch：一个 $K=65$K, $T=32$ 的请求仅消耗 32 token budget 但需要 33 GB VRAM [2601.19910]。
Delta: vLLM 解决了 KV cache 的碎片问题，2601.19910 揭示了 offloading 场景下的带宽问题和调度问题——两者正交，且后者需要全新的 VRAM-aware scheduling 机制。
DeepSeek-V3 的 MLA 通过低秩 KV 压缩将 $B_{\text{kv}}$ 从 192 KB/token（Qwen3-235B GQA）降至 70 KB/token，使 $\kappa_M$ 从 0.23 提升到 1.06，$\kappa_{\text{crit}}$ 从 3.1 提升到 14.3（B200 PCIe 5.0）[2601.19910]。这是 2601.19910 分析的最有效模型侧缓解手段。
Delta: 2601.19910 的分析框架量化了 MLA 的收益上界——即使 MLA 将 $\kappa_{\text{crit}}$ 从 3.1 提升到 14.3，典型 document QA workload（$\kappa_{\text{ratio}} = 5000$）仍超出 350× [2601.19910]。仅 MLA 不够，需结合硬件优化。但 2601.19910 未能实证验证 MLA 的效果（DeepSeek-V2 实现问题）[2601.19910]，而 DeepSeek-V3 在生产环境中验证了 MLA + MTP 的联合加速效果 [2412.19437]。
FastServe 的 proactive KV cache swapping 将 GPU↔host 的 PCIe 传输与 GPU 计算重叠——overlap 策略使 OPT-175B 的 2.3 GB swap 时间（~36 ms via PCIe 4.0）可以被 decode 执行时间（~60 ms）覆盖 [2305.05920]。
Delta: FastServe 的 overlap 仅在 decode 阶段有效（decode 时间 > swap 时间），但 2601.19910 分析的是 prefill 阶段——当 $K \gg T$ 时 prefill 计算时间极短（~12.8 ms for 32 tokens on H100）而传输时间极长（~500 ms for 33 GB），overlap 收益可忽略 [2601.19910]。这揭示了 FastServe 的 proactive swapping 无法解决 2601.19910 指出的 prefill 瓶颈。
2601.19910 的核心 TTFT 模型（Eq. 3）假设 PCIe 传输和 GPU 计算完全串行 [2601.19910]。论文承认存在 partial overlap（Eq. 4, $\alpha < 1$），但以"$t_{\text{PCIe}} \gg t_{\text{GPU}}$ 时 overlap 收益可忽略"为由简化为 $\alpha = 0$。
然而，Mooncake 的 layer-wise streaming（逐层传输 KV + 计算重叠）[2407.00079] 和 Neo 的 asymmetric pipelining [2411.01142] 证明，精心设计的 pipeline 可以在 $t_{\text{PCIe}} \gg t_{\text{GPU}}$ 时仍获得显著加速——通过将传输分解为细粒度 chunk 与逐层计算重叠。2601.19910 的模型无法捕捉这种 chunked overlap 的收益，因此系统性低估了现有系统的实际性能。
论文测得 PCIe 5.0 有效带宽仅 15 GB/s（峰值的 23%）[2601.19910]，归因于 NUMA effects、memory copy overhead、transfer granularity。但这个数字在 LMCache 的实现中可能不代表最优——Mooncake 使用 GPUDirect RDMA 达到了显著更高的有效带宽 [2407.00079]。如果优化 LMCache 的传输路径（使用 host-mapped memory、大块传输、NUMA-aware allocation），实际 $\kappa_{\text{crit}}$ 可能从 1–2 提升到接近理论值 7–14。论文将实现问题等同于根本性限制，可能误导读者认为 PCIe offloading 在根本上不可行。
2601.19910 的三个数据集（ShareGPT median $\kappa_{\text{ratio}} = 100$, NarrativeQA = 5000, FinQA = 10000）都是 KV 复用率极高的场景 [2601.19910]。然而许多实际场景（code completion, single-turn chat without history）的 $\kappa_{\text{ratio}} < 10$，此时系统仍在 compute-bound 区域。论文标题含"Efficiently Serving"但实际仅分析 KV offloading 的极端场景，未覆盖 offloading 真正有价值的临界区域（$\kappa_{\text{ratio}} \approx \kappa_{\text{crit}}$）的性能特征。
论文声称 MLA 可将 $B_{\text{kv}}$ 降低 2.7–4.7×，$\kappa_{\text{crit}}$ 提升 4.6×，但未能用 DeepSeek-V2 实证验证这一结论（"encountered implementation-specific overheads"）[2601.19910]。这意味着论文最重要的模型侧优化建议缺乏实验支撑——MLA 的 serving 实现可能引入新的 overhead（KV decompression latency）使得实际 $\kappa_{\text{crit}}$ 提升远小于理论值。
2601.19910 在 LLM serving 研究中占据分析/诊断的生态位——它不提供系统实现，而是提供设计原则。具体而言：
2601.19910 发表于 GPU 互联带宽增长滞后于计算增长的拐点期——B200 的 $\kappa_{HW}$ 仅为 H100 的 40% [2601.19910]。随着 inference GPU 向更高 FLOP/s（GB300, MI400）演进，该问题只会恶化。论文的 warning——"newer GPUs are worse for offloading, not better"——可能成为影响 inference GPU 路线图的重要 signal。
将 2601.19910 的 $\kappa_{\text{crit}}$ 分析与 Neo 的 asymmetric pipelining [2411.01142] 和 Mooncake 的 layer-wise streaming [2407.00079] 结合：设计一个 layer-granularity 的传输-计算 pipeline，使每层 KV 的传输与前一层的 attention 计算重叠。将 2601.19910 的 Eq. 3 推广为 $\text{TTFT} = t_{\text{PCIe}} / L + t_{\text{compute\_per\_layer}}$ 的 pipeline 模型，量化 chunked overlap 的理论上界。
2601.19910 分析了 MLA（2.7× $B_{\text{kv}}$ 降低）和 quantization（2–4×）但均未实证验证 [2601.19910]。联合使用可望将 $B_{\text{kv}}$ 从 516 KB/token（LLaMA-405B）降到 ~30 KB/token（MLA + FP4），使 $\kappa_{\text{crit}}$ 从 ~2 提升到 ~100+，覆盖 ShareGPT 的 median $\kappa_{\text{ratio}}$。需要验证 MLA decompression + dequantization 的 on-GPU latency 是否引入新瓶颈。
2601.19910 提出的 workload-aware disaggregation（高 $\kappa_{\text{ratio}}$ → Grace Hopper, 低 $\kappa_{\text{ratio}}$ → H100/A100）[2601.19910] 与 Mooncake 的 cache-aware scheduling [2407.00079] 可以统一为一个 $\kappa$-aware router：在 request 到达时估算其 $\kappa_{\text{ratio}}$，结合各实例的 $\kappa_{\text{crit}}$（由硬件决定），路由到最匹配的实例。这需要将 2601.19910 的离线分析框架转化为在线 routing policy。
FastDecode 在 CPU 侧执行 attention（传输 $O(B \times d)$ 的 Q/O 替代 $O(B \times L \times d)$ 的 KV）[2403.11421]、Neo 在本机 CPU 部分执行 attention [2411.01142]、以及标准 offloading（传输整个 KV）三种架构应在 2601.19910 的 $\kappa_{\text{ratio}}$ 分析框架下统一比较：推导各方案的 $\kappa_{\text{crit}}$ 等效值，确定不同 workload/hardware 配置下的最优架构选择边界。
2601.19910 揭示 GPU 在 offloading workload 下仅消耗 22–28% TDP [2601.19910]。这意味着可以在相同数据中心电力预算下部署更多 GPU——但需要经济模型量化 power-capping（限制到 200–300W）+ more nodes vs. fewer fully-utilized nodes 的 TCO 权衡，结合 vLLM/Mooncake 的调度策略实现 power-aware serving。