PrfaaS: KVCache of Next-Generation Models Could Go Cross-Datacenter #

Ruoyu Qin et al. (Moonshot AI + Tsinghua) | 2026-04 | arXiv:2604.15039

1. TL;DR #

PrfaaS 把 LLM serving 的 PD 分离从"单集群 RDMA 岛"扩展到"跨 DC commodity Ethernet"：把长上下文 prefill 选择性 offload 到独立 PrfaaS 集群、KV 经 Ethernet 回流到本地 PD 集群 decode。两根支柱：混合注意力（KDA:MLA=3:1 等）把单实例 KV 吞吐压到 ≈3 Gbps 让跨 DC 可行；长度阈值 $t$ 路由 + 双时间尺度调度让它实用。1T Kimi-Linear 风格模型、32 H200 + 64 H20 vs 96 H20 同构：+54% 吞吐、−64% P90 TTFT、13 Gbps/100 Gbps（13%）egress；vs 朴素异构 +32%；等成本口径降到 +15%。

2. Q1 / Q2 / Q3 #

Q1 — 痛点：常规 PD 分离把 prefill 和 decode 绑死同一 RDMA 域——dense 模型单实例 KV 吞吐 ≈60 Gbps@32K（MiniMax-M2.5），跨 DC Ethernet 扛不住；512-H200 集群需求 3.8 Tbps。此外被 "固定 prefill/decode 芯片比例" 锁死，无法吸收流量波动。

Q2 — 方法：hybrid attention 把 $\Phi_{\text{kv}}$ 降 4–13× 后，用 PrfaaS-PD 架构：compute-dense PrfaaS 集群 + commodity Ethernet + bandwidth-optimal 本地 PD 集群；全局调度器按长度阈值 $t$ 选择性 offload、按稳态最优解（Eq.7 ∩ Eq.8）做 $N_p/N_d$ 再平衡、配合层间 prefill pipeline + 多连接 TCP + 拥塞监控 3 个 transport 原语。核心壁垒 = 层间 prefill pipelining（见 §7）。

Q3 — 结果：1T Kimi-Linear KDA:MLA 3:1，$t^*=19.4\text{K}$、$(N_p, N_d, N_{\text{prfaas}})=(3, 5, 4)$、49.6% 请求 offload。$\Lambda_{\max} = 3.24$ vs 2.11 req/s（+54% vs 同构）、Mean/P90 TTFT 2.22/3.51 vs 4.44/9.73 s（−50%/−64%）、egress 13 Gbps（13% 链路）。vs 朴素异构（4H200 + 8H20 无调度）+32%，表明 scheduling value > pure heterogeneity value。

3. 架构 / 方法图 #

3.0 部署范式对比（paper Figure 1） #

Paper's Figure 1, verbatim (caption: "Comparison of two deployment paradigms for PD-disaggregated LLM serving. (a) Status quo: tightly coupled single-cluster inference. (b) PrfaaS: Multi-cluster disaggregated inference via cross-datacenter KVCache.").

左 (a) = 常规 PD 绑死单个 RDMA 域；右 (b) = PrfaaS 把 prefill 抽到独立 compute-dense 集群，通过 commodity Ethernet 回流 KV 到 decode 端。§3.1 的 Fig 3 进一步展开 (b) 的内部拓扑。

3.1 PrfaaS-PD 内部拓扑（paper Figure 3） #

Paper's Figure 3, verbatim (caption: "Deployment topology of the PrfaaS-PD architecture").

三个子系统：compute（多个同构集群，两类：Local PD / PrfaaS）；network（两层：intra = RDMA, inter = Ethernet VPC / 专线）；storage（每集群分布式 hybrid 前缀池 + 全局 KV manager 跨集群维护 metadata）。三个 pipeline 角色：PrfaaS prefill（$p$ 份额）/ PD-P（$(1-p)$ 份额）/ PD-D（100%）。Case study 具体量化：PrfaaS = 32×H200 (4 实例)；PD-P = 3 实例 on 24×H20；PD-D = 5 实例 on 40×H20；cross-cluster ~100 Gbps VPC；intra-cluster 800 Gbps RDMA/node。

3.2 Hybrid prefix cache pool（paper Figure 4） #

Paper's Figure 4, verbatim (caption: "Hybrid prefix cache pool. Linear states and full-attention KVCache are managed by separate groups backed by a unified block pool. Blocks are categorized as prefix-cache (intra-cluster only, block-aligned) or transfer-cache (cross-cluster, discarded after transfer).").

两种 KV 类型（linear/SWA recurrent state 是 request-level 精确匹配；full-attention KV 是 block-level 支持 partial prefix）共用一个 block 池但分 KV group 管理；blocks 分 prefix-cache（intra-cluster 长驻）vs transfer-cache（cross-cluster 传完即丢）。建立在 vLLM 的 hybrid KVCache manager [ref 28] 之上。

3.3 双时间尺度调度器（§3.4.3） #

Short-term（reactive，per-request）：监控 egress utilization + queue depth；触发时按 BW regime 决定路由——BW-scarce 独立看每个集群的 cache，BW-abundant 取 max(l_prfaas, l_pd) 可能触发跨集群 cache transfer。Long-term（proactive，周期性）：监控 Eq.8 balance；失衡时在 PD 集群内 P↔D 角色转换（同构硬件才能做），再重解 Eq.7 更新 $t^*$。

4. 作者证明（throughput model） #

4.1 Notation (Table 4, 完整复现) #

4.2 核心方程逐条解释（全部 load-bearing） #

Eq.1 — 单实例 KV 吞吐（在 §2.1 引入）：

$$\Phi_{\text{kv}}(l) = \frac{S_{\text{kv}}(l)}{T_{\text{prefill}}(l)}$$

• 物理含义：单个 prefill 实例每秒产生的 KV 字节数。
• 形式选择：为什么 $S/T$ 而不是 $S \cdot T$？—— egress BW 是 speed (bytes/sec)，必须用 speed 比较；若 $T$ 短、相同 $S$ 要在更短时间内发出，BW 压力更大。
• 决定因素：由模型架构和硬件决定（$S$ 和 $T$ 都是 $l$ 的函数但比值仅弱依赖 $l$）；$l$ 是输入参数。

Eq.2 — 集群出口 BW 需求（在 §2.3 引入）：

$$B_{\text{out}} = \frac{N}{P} \cdot \frac{\mathbb{E}[S_{\text{kv}}]}{\mathbb{E}[T_{\text{prefill}}]} \approx \frac{N}{P} \cdot \Phi_{\text{kv}}(L_{\text{avg}})$$

• 物理含义：$N/P$ 实例同时产 KV，聚合出口需求就是实例数 × 每实例速率。
• 为什么不是 $\min$：这是"最小需求"而非"实际吞吐"；BW 不足会反压 prefill。
• 双重依赖（关键）：$B_{\text{out}}$ 同时受架构（$\Phi_{\text{kv}}$）和路由策略（$L_{\text{avg}}$）影响——这是 §3 引入长度阈值路由的根本原因：把 $L_{\text{avg}}$ 拉大（只送长请求）可降单位字节吞吐。

Eq.3 — PrfaaS 集群吞吐（§3.4.1）：

$$\Theta_{\text{prfaas}} = \min\left(\frac{N_{\text{prfaas}}}{T_{\text{prefill}}(l_{\text{long}})},\; \frac{B_{\text{out}}}{S_{\text{kv}}(l_{\text{long}})}\right)$$

• 物理含义：第一项 = 计算上限（$N_{\text{prfaas}}$ 台各以 $1/T$ 速率服务）；第二项 = BW 上限（带宽 ÷ 每请求字节）。
• 为什么 min 不 sum：层间 prefill pipelining（§3.3 Para 3）让计算和传输重叠，整体吞吐被瓶颈阶段限制；多余能力浪费。没有 pipeline 时应该是 harmonic mean。

Eq.4 — PD-P 吞吐（§3.4.1）：

$$\Theta_{\text{pd-p}} = \frac{N_p}{T_{\text{prefill}}(l_{\text{short}})}$$

• 物理含义：$N_p$ 台各以 $1/T_{\text{prefill}}(l_{\text{short}})$ 服务率。
• 为什么没 BW 项：PD-P → PD-D 走 intra-cluster 800 Gbps RDMA，远超计算需求，不是瓶颈。

Eq.5 — PD-D 吞吐（§3.4.1）：

$$\Theta_{\text{pd-d}} = \frac{N_d \cdot BS_{\max}}{T_{\text{decode}} \cdot L_{\text{out}}}$$

• 物理含义：$N_d$ 台 × $BS_{\max}$ 并发，每请求需 $T_{\text{decode}} \cdot L_{\text{out}}$ 时长。
• $BS_{\max}$ 和 $T_{\text{decode}}$ 在 §3.4.1 明确声明当 SLO 常数处理。

Eq.6 — 端到端吞吐（§3.4.1）：

$$\Lambda_{\max} = \min\left(\frac{\Theta_{\text{prfaas}}}{p},\; \frac{\Theta_{\text{pd-p}}}{1-p},\; \Theta_{\text{pd-d}}\right)$$

• 三阶段收敛 pipeline：PrfaaS + PD-P 并行 producer（各服务 $p$、$(1-p)$），PD-D 是唯一 consumer（100%）。
• 为什么除 $p$ / $(1-p)$：若 PrfaaS 服务速率 $\Theta_{\text{prfaas}}$、只接 $p$ 比例请求，该 arm 吸收的总到达率上限是 $\Theta_{\text{prfaas}}/p$。否则队列爆。
• min：pipeline 最慢阶段限制整体。

Eq.7 — 最优阈值条件（§3.4.2）：

$$\frac{\Theta_{\text{prfaas}}}{p} = \frac{\Theta_{\text{pd-p}}}{1-p}$$

• 平衡：两个 producer arm 同时饱和。
• 单调性（paper 半显式声明）："$\Theta_{\text{prfaas}}/p$ decreases monotonically with $p$（随 $t$ 减）"而 RHS 反向单调 → 两条曲线唯一交点 → 可用 grid search。

Eq.8 — 最优 $N_p / N_d$ 比（§3.4.2）：

$$\Theta_{\text{prfaas}} + \Theta_{\text{pd-p}} = \Theta_{\text{pd-d}}$$

• 平衡：总生产速率 = 总消费速率。偏离任一方都造成饥饿或浪费。

4.3 从模型到 case study 数字的一阶映射（§4.2 实测验证） #

设 $t = 19.4\text{K}$、$N_p = 3$、$N_d = 5$、$N_{\text{prfaas}} = 4$、$L \sim \text{LogNormal}(\mu=9.9, \sigma=1.0)$ 截断 $[128, 128\text{K}]$：

结论：paper §4 的三张"optimal configuration"数字（$t=19.4\text{K}$、$(3,5,4)$、3.24 req/s、13 Gbps）全部可从 Eq.1–8 + Table 5 一阶导出，不是 sweep-fit。作者证明 load-bearing 被验证。

4.4 Paper 自述的简化假设（§3.4.1 明确声明） #

Paper 在 §3.4.1 主动声明 了以下 tractability 近似：

• A1 — 代表长度近似：用 $l_{\text{long}} = \mathbb{E}[L \mid L>t]$ 和 $l_{\text{short}}$ 单一代表值替代完整分布 $L$。§3.4.1 原文："For tractability, we approximate all PrfaaS requests by a representative length..."
• A2 — 层间 pipeline 完美重叠：Eq.3 的 min 形式直接来自 "Through layer-wise prefill pipelining" 的前置假设（§3.4.1）。
• A3 — Intra-cluster RDMA 非瓶颈：Eq.4 无 BW 项，前提是 "intra-cluster RDMA bandwidth is not a bottleneck"（§3.4.1）。
• A4 — Decode 参数 SLO-constant：$BS_{\max}$ 和 $T_{\text{decode}}$ "treated as SLO-governed constants"（§3.4.1）。

5. 实验与数据 #

5.1 Hardware + workload setup (§4.1) #

5.2 Case study 模型 profile (Table 5, 8×H200 + in-house vLLM) #

• $\Phi_{\text{kv}}$ 在 1K→128K 基本稳定（3.61→2.62 Gbps，轻微下降）：混合架构下 $S_{\text{kv}}$ 增长（12×）与 $T_{\text{prefill}}$ 增长（17×）几乎同速。
• Prefill 延迟次线性（128× 长度只 17× 延迟）——反映 KDA 线性层主导计算，只有 1/4 的 MLA 层贡献 $O(N^2)$。

5.3 Hybrid vs dense 跨模型对比 (Table 3, 8×H200 + SGLang v0.5.9) #

Paper's Figure 2 (caption: "KV throughput of MiniMax-M2.5 on an 8×H200 instance at various input lengths"). Single-model zoom-in on the dense baseline — shows the ~60 Gbps wall at 32K that Table 3 below quantifies across all models.

$\Phi_{\text{kv}}$ (Gbps) 不同 seq len：

• 32K 关键行（bold）：MiMo-V2-Flash 4.66 vs MiniMax-M2.5 59.93 = 13× 降低；Qwen3.5-397B vs Qwen3-235B = 4× 降低。
• Ring-2.5-1T (1T params, 7:1 hybrid) 在 32K 仅 2.59 Gbps，paper §2.2 拆解：MLA 贡献 4.5× vs GQA、7:1 hybrid ratio 贡献 ~8×、合计 ~36× 总压缩。

5.4 Grid search 求解（Figure 5） #

Figure 5(a): 固定 $t=19.4\text{K}$，扫 $(N_p, N_d)$ with $N_p+N_d=8$。峰值 $N_p=3, N_d=5$（Eq.8 balance 的经验印证）。

Figure 5(b): 固定 $N_p=3, N_d=5$，扫 $t$。两条曲线（$\Theta_{\text{prfaas}}/p$ 递减 vs $\Theta_{\text{pd-p}}/(1-p)$ 递增）交于 $t^*=19.4\text{K}$（Eq.7 monotonicity 的经验印证）。

5.5 三架构对比 (Table 6, 核心结果) #

• $\Lambda_{\max}$ 和 P90 TTFT：PrfaaS-PD 全面胜出
• Mean TTFT：naive het 反而赢（1.74 vs 2.22 s），§4.3 paper 未解释
• Pipeline balance：PrfaaS-PD 近乎理想（$1.61+1.64 \approx 3.91$，Eq.8 ✓）；naive het 严重失衡（$2.45 \ll 6.25$，decode 浪费 60%+）

5.6 关键结论数字（§4.3 + §4.4） #

• Feasibility（§4.3.1）: egress 13 Gbps = 13% of 100 Gbps 链路；compute-bound（非 BW-bound），7–8× BW headroom
• Effectiveness（§4.3.2）: vs 96-H20 同构 +54% 吞吐、−50% Mean TTFT、−64% P90 TTFT
• Scheduling value（§4.3.3）: vs naive het +32% 吞吐；naive 只达 1.16× 同构，remaining 0.38 来自 selective-offload 调度
• 等成本校准（§4.4）: H200 价格溢价后，PrfaaS-PD vs 同构 PD ≈ +15%（paper 自己的 admission）
• Scale projection（§4.4）: IDC 级（千卡 PrfaaS）聚合 egress ~1 Tbps，仍在 DC fabric 容量内

6. 论证链（paper-internal reconstruction） #

论证链总长 5 步，全部 load-bearing，无 decorative。起点 BW 硬约束，终点 headline 数字；中间经过架构机会 (step 2) → 系统设计必要性 (step 3) → 最优性证明 (step 4) → 实测 (step 5)。

Paper 自我 pre-empt 的既有 rebuttal（paper-internal：这些是 paper 在 Table/column 层面主动对抗的 strawman，不是 Stage-4 的 adversarial search）：

• Table 3 前预先驳倒 "GQA/MLA 不用新机制也行"：通过展示 MiniMax-M2.5 和 Qwen3-235B 在 32K 时仍为 33–60 Gbps，承认 dense 模型哪怕用 GQA 也扛不住跨 DC 需求。
• Table 6 的 "Naive Heterogeneous PD" 列预先驳倒 "只要 H200 做 prefill、H20 做 decode 就行，不用调度"：naive 只到 1.16× 同构（而非 PrfaaS-PD 的 1.54×），证明 heterogeneity 不够、必须 + scheduling。

7. 实现 cross-reference #

Paper 的 PrfaaS 核心实现未开源。可验证 / 复现路径按层级如下。

7.0 核心技术壁垒 (Core Technical Barrier) #

The ONE hardest-to-replicate engineering insight that makes PrfaaS actually work in practice: 层间 prefill pipelining (§3.3 Para 3).

Paper §3.4.1 Eq.3 给出的 PrfaaS 吞吐是：

$$\Theta_{\text{prfaas}} = \min\left(\frac{N_{\text{prfaas}}}{T_{\text{prefill}}(l_{\text{long}})},\; \frac{B_{\text{out}}}{S_{\text{kv}}(l_{\text{long}})}\right)$$

这个 min 形式的前提是 compute 和 KV transfer 完美重叠——paper 明确说 "Through layer-wise prefill pipelining, the PrfaaS cluster throughput is determined by the slower of compute and egress transfer"。

为什么这是核心壁垒：

• 如果没有 pipelining（先完整算完所有层、再批量发 KV）：实际吞吐退化为 harmonic mean 而非 min —— 意味着 1/Θ = 1/Θ_compute + 1/Θ_egress，case study 的 3.24 req/s 直接砍半到约 1.6 req/s，整个 paper 的 +54% headline 失效。
• 现有开源 PD 传输（vLLM kv_transfer/、SGLang disaggregation/）都是 "full prefill → then send"，不支持 layer-wise streaming。从"所有层算完"改成"layer k 算完就开始发 layer k 的 KV、同时 layer k+1 compute"需要：
• Scheduler 层知道每层 KV 的大小与就绪时间
• Transport 层把"一次大传输"拆成"N 次小传输"并保持 ordering
• Per-layer boundary 检测和 hook 注入（修改 forward pass）
• 与 multi-connection TCP 配合时的 connection 分配策略
• 这是多人月的工程，不是可以简单在现有 vLLM 上打个 patch 搞定的事。
• 即使未来 paper 开源代码，复刻团队需要对 vLLM 执行引擎有深入理解才能正确应用。

与 §4 作者证明的区别：§4 是"数学上 min 形式怎么推出来"（formal model）；这里是"工程上 min 怎么变成现实"（engineering barrier）。两者 load-bearing 层级都是核心，但面向不同——作者证明对方案正确性；核心壁垒对方案可操作性。

与 §7.5 未公开点的区别：§7.5 列出3 项未公开（scheduler、pipelining、cross-cluster cache transfer）；这里选出壁垒性最高的一项——即使 scheduler 和 cross-cluster transfer 在现有基础上相对好复刻（用户自己写调度策略 + 跨集群 KV 传输就是普通的 RPC），layer-wise pipelining 是三者中"深入到 execution engine 才能改"的那一个。

7.1 构建基础：vLLM hybrid KVCache manager（§3.2 的直接依赖） #

• 参考资料: Hybrid models as first-class citizens in vLLM（vLLM Team × IBM, 2025 Nov, ref [28]）
• 定位: vLLM 的 hybrid KV manager 提供 "两种 KV 类型共用 block 池 + 独立 KV group 管理" 的上游实现
• PrfaaS 的扩展: §3.2 在此基础上加了 "prefix-cache vs transfer-cache 二分" 的生命周期区分

7.2 PD 分离的上游实现 #

• Mooncake（同作者，2024，ref [22]）: L2/paper/ (knowledge repo) 中作为 PrfaaS 直系前驱；建立了 "KV as first-class systems resource" 范式
• vLLM PD disaggregation: vllm/vllm/distributed/kv_transfer/（社区版本，2025+）
• SGLang 同构 PD: sglang/python/sglang/srt/disaggregation/
• NVIDIA Dynamo（ref [20]）: github.com/ai-dynamo/dynamo —— paper §1 Para 1 明确提及作为 ecosystem 协作方

7.3 Benchmark 工具（§2.2 Table 3 + §4.1 Table 5） #

• SGLang v0.5.9（ref [7]）: Table 3 所有 hybrid/dense 模型的 $\Phi_{\text{kv}}$ 测量均使用此上游版本
• in-house vLLM（ref [29]）: Table 5 的 case study 模型 profile 使用 Moonshot AI 内部 vLLM fork

7.4 关键实现细节 (Key Technical Details) — 易错点 #

除了 §7.0 核心壁垒之外，还有 2 个容易被 summary 读掉但错了就 break case study 的细节：

1. 路由阈值 $t$ 作用在 prefix-match-aware 增量长度上，不是原始请求长度 (§3.3 Para 2 + §3.4.3)。
2. 流程：request 到达 → global KVCache manager 查各集群 prefix hit → 得到"增量"$l$（原长减去命中的最长 prefix）→ 对 $l$ vs $t$ 做阈值判断。
3. 如果实现者用原始长度做阈值：agentic workload 下大量请求有高 prefix hit（"incremental prefills with prefix cache hits"），增量很短但原长很长 → 按原长判断会把大量短增量送进 PrfaaS → BW 爆掉、case study 13 Gbps 变 100+ Gbps → 整套 $t^*=19.4$K 方案失效。
4. 这个区别在 §3.3 只有一句话："only the incremental portion is transferred across clusters"，容易漏掉。
1. PD 集群内部必须同构（H20 only），才能做 long-term P↔D role 转换 (§3.4.3 long-term block, §4.1 setup)。
2. Paper §3.4.3 依赖 "scheduler periodically ... converts nodes between prefill and decode roles"——这是 Eq.8 的动态平衡机制。
3. 前提：PD 集群内同构硬件（任一台可以做 prefill 或 decode）。Case study 用 64×H20 都在 PD 集群、32×H200 都在 PrfaaS 集群——严格 intra-cluster 同构 + inter-cluster 异构。
4. 如果实现者把 H200 放一些进 PD 集群当 prefill，H20 做 decode，表面上和 case study 一样（都是异构 + PD），但失去了 P↔D swap 能力——退回"Naive Heterogeneous PD"的 1.16× 结果。这就是 Table 6 里 PrfaaS-PD (1.54×) 和 Naive Het (1.16×) 38% 差距的结构性来源之一。
5. 是"架构 framework 是不够的，配套约束才是"：PrfaaS-PD != cross-DC + heterogeneous（那是 Naive Het），PrfaaS-PD = cross-DC + heterogeneous + inside each cluster 同构 + scheduler。

7.5 关键未公开点 #

以下三项是 paper 的核心系统贡献，均未开源：

• Dual-timescale scheduler（§3.4.3）: BW utilization 监控 + 长度阈值自动调参 + 节点角色 P↔D 转换
• Layer-wise prefill pipelining（§3.3 Para 3）: 现有 vLLM / SGLang 的 PD transfer 仍是 "full prefill → then transfer"；paper 要求 "layer k done → ship layer k KV while computing layer k+1"
• Cross-cluster cache transfer（§3.2 + §3.4.3 BW-abundant 模式）: vLLM 的 hybrid KV manager 不支持跨集群 transfer-cache 迁移

审计结论：用 vLLM hybrid KV manager 和 PD disaggregation 作骨架可以复刻 PrfaaS 的 §3.1–§3.2 部分；§3.3 Para 3 transport 原语和 §3.4 scheduler 需要完全自实现。整体属 [实现部分未公开，仅支撑基础可见]。