MFS(Multi-stage Flow Scheduling)定位在 disaggregated MoE serving 的网络调度层,解决三阶段通信(KV-cache reuse + collective comm + P2D transfer)的带宽争用。以下 8 篇 peer 从不同维度与之相关:
| 相关实体 | 关系类型 | 关联原因 |
|---|---|---|
| DualPath (2602.21548) | 互补/竞争 | 同为 PD 分离架构的通信优化,DualPath 聚合 SNIC 带宽解 I/O 瓶颈,MFS 通过优先级调度解争用 [2602.21548] |
| PPD (2603.13358) | 正交 | PPD 通过 routing decision 减少 KV transfer 总量(~75%),MFS 通过调度优化剩余传输的 timing [2603.13358] |
| TensorHub (2604.09107) | 弱相关 | 解决 RL training 中权重传输的拓扑感知调度,与 MFS 共享"网络调度中间层"设计哲学但面向不同 workload [2604.09107] |
| PrfaaS (2604.15039) | 互补 | PrfaaS 将长 prefill offload 到跨 DC 集群、用层间 pipelining 重叠传输与计算;MFS 则在 intra-cluster 网络层面调度 flow 优先级。两者可叠加 [2604.15039] |
| ZeRO-Prefill (2605.02960) | 正交 | 反转 EP 数据流方向消除 AllToAll 通信(off-path AllGather),从根本上减少 Stage 2 通信量;MFS 则管理 Stage 2 仍存在时的优先级 [2605.02960] |
| TileRT blog (tilert-speed-scaling-law) | 弱相关 | Persistent kernel 将通信嵌入 tile pipeline 内部执行,绕开传统 NCCL 式外部编排——MFS 仍基于 NCCL + switch 的经典编排 [tilert-speed-scaling-law] |
| KVServe (kvserve) | 互补 | 通过 KV-cache 压缩(最高 10×)直接减少 Stage 1/3 的数据量,可与 MFS 的优先级调度组合使用 [kvserve] |
| TileRT code (tile-ai-tilert) | 弱相关 | batch=1 极致延迟优化路线,通信全部嵌入 CUDA graph 内的 tile pipeline,不经过 switch 优先级队列——与 MFS 依赖的 DSCP/switch hardware queue 机制正交 [tile-ai-tilert] |
MFS 的独特贡献是跨 stage 的 flow 优先级仲裁——将 TTFT SLO 逐层具体化为 per-flow deadline,并通过 RMLQ(Reverse MLQ)实现 Defer-and-Promote 策略 [2603.17456]。这在 related work 中没有对应物:
| 维度 | MFS | DualPath | PPD | PrfaaS | ZeRO-Prefill | KVServe |
|---|---|---|---|---|---|---|
| 优化目标 | 带宽争用仲裁 | 带宽总量聚合 | 传输量消除 | 跨 DC 可行性 | 通信方式替换 | 传输量压缩 |
| Layer 在哪 | 网络调度中间层 | 数据通路层 | 请求路由层 | 系统架构层 | 执行引擎层 | 传输编码层 |
| 需要 switch 配置 | ✅ DSCP→HW queue | ❌ | ❌ | ❌ | ❌ | ❌ |
| 对 serving engine 的侵入 | Adapter hook(中等) | 重写 H2D/D2H(高) | Routing module(低) | Layer-wise pipeline(高) | Weight streaming engine(高) | External connector(零) |
| MoE 专项 | ✅ EP all-to-all 保护 | ❌ general PD | ❌ general PD | ❌ hybrid-attn | ✅ AsyncEP | ❌ general PD |
DualPath 解决的是 storage I/O 总带宽不足——PE SNIC 饱和而 DE SNIC 空闲,解法是聚合所有 NIC [2602.21548]。MFS 假设带宽总量足够,解决的是共享带宽在多个 flow 间的分配策略。两者解决不同层面的问题:
DualPath 用 InfiniBand VL WRR(~99% 给模型推理,~1% 给 KV 传输)[2602.21548],MFS 用 DSCP→switch hardware queue 实现 K 级优先级 [2603.17456]。两者都利用网络 QoS 硬件,但控制粒度不同:DualPath 是粗粒度二分(high/low priority VL),MFS 是 K 级(论文默认 ≤8)动态 promotion。
PPD 的核心 insight 是 append-prefill 对 decode 干扰仅 2% vs full prefill 的 48% [2603.13358],因此将 Turn 2+ 请求路由到 decode 节点消除了~75% 的 KV 传输量。MFS 不减少数据量,而是在数据量不变的前提下优化传输顺序。两者的组合是互补的:PPD 减少了 MFS 需要仲裁的 flow 总数(inter-request contention 降低),MFS 优化了剩余 flow(Turn 1 的 full prefill P2D)的调度质量。
ZeRO-Prefill 从根本上消除了 EP 的同步 AllToAll(Stage 2),用后台 D2D AllGather 替代 [2605.02960]。在 ZeRO-Prefill 的世界里,MFS 保护 Stage 2 collective comm 的设计目标(Principle #2, RLI=0 最高隐式优先级)变得不再必要——因为 Stage 2 已从 critical path 消失。但 ZeRO-Prefill 仅适用于 prefill-only 工作负载(大 compute window 才能 overlap weight AllGather),不覆盖 interactive serving 的 decode 阶段。MFS 覆盖的是 online interactive MoE serving 的 prefill→decode 全流程。
PrfaaS 的 层间 prefill pipelining [2604.15039] 与 MFS 的 per-layer 调度决策有相似的时间粒度(都在 layer 边界触发动作),但目标不同:PrfaaS 是让 compute 和 KV transfer overlap(Eq.3 取 min 的前提),MFS 是在多个 competing flows 之间分配带宽。PrfaaS 解决的是 单流的计算-传输重叠,MFS 解决的是 多流的带宽仲裁。
MFS 的 MLU 公式 $\mathrm{MLU}_i(t) = \mathrm{Size_{rem}}(t) / (\mathrm{Time_{rem}}(t) \cdot B \cdot (1-\rho))$ 使用静态配置的 background traffic 估计 $\rho$ [2603.17456]。在真实 disaggregated 集群中,背景流量是高度 bursty 的(checkpoint saving、gradient sync、monitoring traffic 等随机突增)。如果 $\rho$ 严重低估实际背景流量,MLU 会系统性低估紧迫度 → promote 过晚 → deadline miss 增加。论文未提供 $\rho$ 的运行时自适应机制,也未测量 $\rho$ 估计误差对 SLO attainment 的敏感度。
矛盾根源: MFS 声称"无需精确 laxity 即可近似 LLF 调度"[2603.17456],但 MLU 本身就是一种 laxity 估计,只是换了名字——它仍然需要精确的剩余带宽估计($B(1-\rho)$),而这在动态环境中不比 laxity 更容易获取。
MFS 的 centralized coordinator 维护所有 active requests 的 deadline 和进度、执行 inter-request scheduling [2603.17456]。论文在 32-GPU testbed 和仿真中验证,但未讨论超大规模(千 GPU 级)集群下 coordinator 的延迟和吞吐瓶颈。
对比 DualPath 的 scheduler:DualPath 明确声称 central scheduler 的 CPU 开销 <10 核,且在 1152 GPU 部署中验证了近线性扩展 [2602.21548]。MFS 未提供类似的 scalability 证据。在大规模部署中,每个 flow 在每个 layer 边界都需要 coordinator 参与 MLU 重计算和 priority re-assignment——这可能成为 coordinator 的热路径。
MFS 的全部评估基于 Mixtral-8×7B, 8×22B, DBRX, Qwen3-Coder, Grok2 等 MoE 模型 [2603.17456]。MoE 模型因 EP 产生大量 all-to-all 通信(Stage 2),争用自然严重。但对于 dense model(TP-only,无 EP 的 all-to-all),Stage 2 通信量大幅减少,三阶段争用是否仍是 TTFT 的主要瓶颈?论文自己承认"缺失的 regime: dense model" [2603.17456]。
如果 dense model 下争用不显著,MFS 的价值就绑定在 MoE serving 这一特定场景——而 ZeRO-Prefill 的 AsyncEP 从根本上消除了 MoE 的 AllToAll [2605.02960],可能使 MFS 的 Stage 2 保护机制在未来架构中失去必要性。
MFS 要求 commodity switch 将 DSCP 值映射到 hardware priority queue [2603.17456]。论文声称这是"标准功能",但实际部署中:(1) 多厂商 switch 的 DSCP-to-queue 映射配置语法各异且容易出错;(2) 现有集群可能已占用 DSCP 做其他 QoS 策略(如 RDMA ECN 标记、DSCP-based routing),MFS 的优先级队列需求可能与已有配置冲突;(3) 需要全网一致性——一个 misconfig 的 switch 就可能导致优先级反转。
对比 DualPath 使用 InfiniBand VL [2602.21548]:InfiniBand 环境下 VL 是一等公民,配置标准化程度远高于 Ethernet DSCP。MFS 面向 Ethernet datacenter 的假设使运维负担更重。
MFS 的真实 testbed 使用 3090 GPU + 50 Gbps/GPU NIC [2603.17456]。生产级 MoE serving 集群通常使用 H100/H200 + 400-800 Gbps NIC。带宽提升 8-16× 后:(1) 争用程度可能显著降低(headroom 更大);(2) 争用的性质可能变化(从带宽瓶颈变为延迟瓶颈);(3) DSCP 优先级队列在高速链路上的行为可能不同(如 400G switch 的 buffer 管理策略)。
论文的大规模结果来自仿真而非真实部署——仿真可能未准确建模高速链路的 buffer dynamics 和 ECN 交互。
MFS 处于 "网络即 serving 资源" 范式的前沿。传统 LLM serving 框架将网络视为透明管道(NCCL 屏蔽细节),MFS 将网络调度提升为一等系统设计决策——与计算调度(batching, chunked prefill)并列。这一定位在以下趋势中具有先发优势:
MFS 的直接竞品不是 serving engine 而是网络调度方案:
KVServe 的 service-aware controller 已具备 bandwidth 感知能力(Theorem 1: B < (1-1/cr)·S 判据)[kvserve]。如果将 MFS 的 RMLQ 优先级信息反馈给 KVServe——当 flow 被 defer 到低优先级时自动激活更激进的压缩 profile,可以实现优先级-压缩联合优化:低优先级 flow 用高压缩减少数据量,高优先级 flow 用零压缩减少 codec 延迟。
PPD 将~75% 的 KV transfer 消除后 [2603.13358],剩余的 Turn 1 full prefill P2D 传输仍需 MFS 调度。但 PPD 的路由决策(哪些请求走 PD path、哪些走 local path)直接影响 MFS 的 flow 集合。如果 PPD router 和 MFS coordinator 共享信息——PPD 在高争用时更激进地 route locally,MFS 在 flow 减少后放松 defer 策略——可以实现跨层联合优化。
当前 MLU 在 layer 边界更新(ms 级粒度)[2603.17456]。借鉴 TileRT 的 tile-level scheduling 思想 [tilert-speed-scaling-law]——如果在 NIC 侧(而非 host 侧)实现 MLU 计算,可以将更新粒度从 layer-boundary 降到 packet-boundary。这需要 programmable NIC(如 Bluefield DPU)支持,但可以消除 $\rho$ 静态估计的问题——直接测量实时可用带宽。
在部署 AsyncEP 的 prefill-only tier [2605.02960] 中,Stage 2 (collective comm) 从同步 AllToAll 变为后台 AllGather——不再在 critical path 上。MFS 可以为此场景设计 simplified RMLQ:移除 Principle #2(collective comm 最高优先级),将全部优先级预算分配给 Stage 1(KV prefetch)和 Stage 3(P2D),可能进一步提升 SLO attainment。
PrfaaS 的 KV 回流(13 Gbps/100 Gbps, 13% egress)[2604.15039] 目前用"多连接 TCP + 拥塞监控"做 transport 原语。如果在 cross-DC 链路上部署 MFS 式的优先级调度(区分 PrfaaS→PD 的 KV 回流 vs 其他 DC 间流量),可以在带宽紧张时保护 latency-sensitive 的 KV 传输。这需要将 MFS 从 Ethernet switch DSCP 扩展到 WAN 路由器的 QoS 策略。