Latency-Optimal Load Balancing For Distributed MoE Inference

framework moe-lb-interai25 — Cross-paper Synthesis

L3 Synthesis: moe-lb-interai25 #

1. 相关论文 #

EntityRelation TypeWhy Related
2605.02960 (ZeRO-Prefill)直接竞争/替代同为 MoE inference 执行效率优化;ZeRO-Prefill 用 weight streaming 彻底消除 EP routing imbalance,而 moe-lb-interai25 在 EP 框架内做 placement 优化
2603.17456 (MFS)同层互补MFS 优化 disaggregated MoE serving 中 EP AllToAll 的网络争用调度;moe-lb-interai25 优化 expert 放置以减少 straggler——二者分别解决 EP 的通信瓶颈和负载不均瓶颈
2604.09107 (TensorHub)类比机制TensorHub 的 pipeline replication 用 RDMA DAG 优化大规模 weight 传输;moe-lb-interai25 的 expert migration 面临相同问题(expert weight 迁移开销),但未利用类似的传输优化技术
2602.21548 (DualPath)思路类比DualPath 联合优化 I/O 带宽分配和调度降低 KV-cache 加载延迟;moe-lb-interai25 联合优化 load balance 和 data movement 降低 MoE 层延迟——同为"多目标联合优化"范式
2604.15039 (PrfaaS)调度哲学互补PrfaaS 用长度阈值路由将请求分流到最优集群;moe-lb-interai25 通过 expert 重放置将负载分流到最优设备——一个路由请求,一个路由 expert
2603.13358 (PPD)设计哲学类比PPD 通过 per-request routing 决策避免昂贵的 KV transfer;moe-lb-interai25 通过 per-batch placement 决策避免 straggler 等待——都是"动态决策避免固定代价"的实例
tilert-speed-scaling-law (TileRT)范式对比TileRT 用 persistent kernel 彻底消除 inter-kernel overhead(含 AllToAll barrier),代表"消除问题"路径;moe-lb-interai25 代表"管理问题"路径
kvserve (KVServe)正交互补KVServe 压缩 PD 间 KV 传输;moe-lb-interai25 优化 MoE 层内 expert 放置。二者解决不同阶段的通信瓶颈,可组合使用

2. 本篇 vs 相关论文的 delta #

核心 delta:联合优化 load balance + migration cost 的 ILP 形式化 #

moe-lb-interai25 的独特贡献在于将 expert replication/reallocation 问题形式化为 ILP(min-max load + migration cost 联合目标),并提供多项式时间近似解 [moe-lb-interai25]。这是增量而非范式突破——在已知的 dynamic expert placement 优化空间中增加了一个数学上更严谨的 formulation。

vs ZeRO-Prefill (2605.02960): ZeRO-Prefill 从根本上消除了 routing imbalance 的影响——通过 AsyncEP 将 expert weight 流入本地 GPU,使所有 top-k dispatch 变为本地操作,不再有跨 GPU straggler [2605.02960]。moe-lb-interai25 仍在同步 EP 框架内优化,试图通过更好的 expert 放置来缓解不均衡。这是"管理病因 vs 消除病根"的区别。ZeRO-Prefill 在 Qwen3-235B 上达到 1.35–1.37× 吞吐提升 [2605.02960],而 moe-lb-interai25 仅 12.5% over naive assignment [moe-lb-interai25]

vs MFS (2603.17456): MFS 解决 EP 执行过程中三阶段通信的网络争用问题,通过 RMLQ 实现 Defer-and-Promote 调度使 TTFT SLO 达标率提升 1.2–2.4× [2603.17456]。moe-lb-interai25 解决 expert 放置不均导致的计算 straggler 问题。二者是 EP 体系下不同瓶颈的优化——MFS 管通信调度,moe-lb-interai25 管计算均衡。但 MFS 的评估规模(32 GPU testbed + 大规模仿真)和实测数据远比 moe-lb-interai25(workshop, 概念性实验)更有说服力。

vs TensorHub (2604.09107): TensorHub 证明了 pipeline replication 可以将 fan-out weight 传输从单源瓶颈转化为带宽放大 DAG,实现线性扩展 [2604.09107]。moe-lb-interai25 的 expert migration 面临相同的"weight 搬运开销"问题,但只用了简单的点对点迁移模型。如果将 TensorHub 的 pipeline replication 思想应用于 expert reallocation(将 hot expert 通过 DAG 复制到多个设备),migration cost 可以显著降低。

vs DualPath (2602.21548): DualPath 的联合优化思想(存储带宽 + 调度均衡)在方法论上与 moe-lb-interai25(load balance + migration cost)高度类似。但 DualPath 的工程深度(CNIC-centric data path, VL QoS 隔离, 1152 GPU 生产部署 [2602.21548])远超 moe-lb-interai25 的 7 页 workshop 论文。DualPath 展示了联合优化思想在生产级系统中的落地路径。

vs PrfaaS (2604.15039): PrfaaS 的双时间尺度调度器(per-request routing + periodic role rebalancing [2604.15039])与 moe-lb-interai25 的 "periodic expert reallocation" 概念相似,但 PrfaaS 有完整的 throughput model(Eq.1–8)指导最优决策,而 moe-lb-interai25 的 ILP 虽提供理论最优但未给出何时、多频繁触发重均衡的指导。

增量 vs 基线的严格性问题 #

moe-lb-interai25 的 12.5% 改善是相对于 naive static assignment,而非相对于已有的 dynamic approaches(Libra, ExFlow, CRAFT)[moe-lb-interai25]。这使得增量贡献难以准确定位——可能其它动态方案已在 12.5% 附近或更优。

3. 可攻击面 #

Attack 1: 弱 baseline 使 12.5% 改善缺乏意义 #

12.5% 改善仅相对于 naive assignment(static round-robin),未与 SOTA dynamic 方案(Libra: 19.2% throughput improvement, CRAFT: 1.14× throughput [moe-lb-interai25])对比。如果 Libra 在相同条件下已达 19.2%,则 moe-lb-interai25 的 12.5% 可能是退步而非进步。Workshop paper 的缺失 baseline 是致命弱点。

Attack 2: ZeRO-Prefill 使整个优化方向过时 #

ZeRO-Prefill 证明了 prefill-only 工作负载下(占生产流量 65.3% [2605.02960]),AsyncEP 可完全消除 routing imbalance 的影响(本地 dispatch, 无 straggler),MFU 从 <16% 提升到 29.8–36.2% [2605.02960]。在这个范式下,expert placement optimization(moe-lb-interai25 的核心贡献)变得无关紧要——不均衡不再重要因为没有跨 GPU dispatch。对于 decode-heavy workloads(ZeRO-Prefill 不适用),moe-lb-interai25 仍有理论价值,但 decode 时的 per-token compute window 太短(μs 级 [tilert-speed-scaling-law]),expert migration 的触发频率本身就受限。

Attack 3: 单节点 scale-up 假设限制适用性 #

moe-lb-interai25 仅设计为 scale-up 网络(intra-node NVLink/xGMI [moe-lb-interai25]),但生产级 MoE serving 通常跨多节点。MFS 的实验在 32 GPU testbed 上显示跨节点网络争用才是 TTFT 的主要瓶颈 [2603.17456],DualPath 在 1152 GPU 上验证了跨节点场景 [2602.21548]。scale-up only 的设计排除了最需要 load balancing 的场景——当 expert migration 需要跨节点传输(>10ms)时,migration cost 会远超 intra-node 场景,使 joint optimization 的 tradeoff 完全不同。

Attack 4: 静态 ILP 形式化忽略了 workload 动态性 #

ILP 假设在决策点已知完整的 workload profile(per-expert token counts [moe-lb-interai25]),但真实 serving 中 token routing 是逐 batch 变化的。PPD 的研究表明"无单一静态策略在所有 workload 组合中占优" [2603.13358],PrfaaS 需要双时间尺度调度器处理流量波动 [2604.15039]。moe-lb-interai25 的 ILP/heuristic 缺乏对 workload volatility 的建模——如果 rebalancing 后 routing 分布立即变化,刚完成的 migration 可能已经过时。

Attack 5: 未考虑 expert migration 与 KV-cache 的内存竞争 #

Expert replication 增加内存占用 [moe-lb-interai25],但在推理 serving 中 HBM 的主要消费者是 KV-cache。DualPath 的 layerwise prefill 下 PE HBM 仅持有当前层 KV [2602.21548],PrfaaS 使用 transfer-cache 传完即丢 [2604.15039]——这些系统精心管理 HBM 以最大化 batch size。moe-lb-interai25 的 expert replication 会占用宝贵的 HBM 空间,可能反向降低 batch size 从而降低 GPU utilization。

4. 生态位 #

定位:EP 框架内的理论 formalization #

moe-lb-interai25 的生态位是为 "同步 EP 下的 dynamic expert placement" 提供一个数学上严谨的优化 formulation。它不是一个系统、不是一个产品,是一个算法贡献——ILP + heuristic。

范式定位 #

当前 MoE serving 优化存在三个范式:

  1. 管理 EP 内的不均衡(moe-lb-interai25, Libra, ExFlow, CRAFT)—— 在同步 EP 框架内优化 expert placement/routing
  2. 消除 EP 的同步约束(ZeRO-Prefill AsyncEP)—— 用 weight streaming 替代 AllToAll,使 routing imbalance 无关紧要
  3. 优化 EP 通信的网络调度(MFS)—— 保持 EP 但让网络层更高效地服务通信
  4. moe-lb-interai25 属于范式 1,而范式 2(ZeRO-Prefill)在 prefill-only 场景下严格优于范式 1。范式 1 的残余价值在于 decode-heavy 和 interactive serving 场景(compute window 太短无法 overlap weight AllGather),但 moe-lb-interai25 本身未针对这些场景优化。

    采用证据 #

    无。Workshop paper, 未开源, 未被后续工作引用为 baseline [moe-lb-interai25]。ZeRO-Prefill 在其 related work 中提到 moe-lb-interai25 作为 "dynamic expert placement" 类别 [2605.02960],但将其定位为 ZeRO-Prefill 所替代的旧范式。

    成熟度 #

    早期学术探索阶段。与同 category 的 peer 对比:DualPath 已在 1152 GPU 生产部署 [2602.21548],TensorHub 在 ByteDance 生产 RL 训练中部署 [2604.09107],TileRT 驱动 GLM-5.1 生产服务 [tilert-speed-scaling-law]。moe-lb-interai25 离生产还有多个量级的距离。

    5. 未探索方向 #

    5.1 AsyncEP + Adaptive Expert Placement 混合架构 #

    ZeRO-Prefill 的 AsyncEP 在 prefill-only 场景下最优,但 decode 时 compute window 不足以 overlap weight AllGather。一个混合方案:prefill 用 AsyncEP(完全本地 dispatch),decode 用 moe-lb-interai25 风格的 dynamic placement(此时 batch 较大可摊薄 migration cost)。需要在 PD disaggregation 边界切换 EP 策略。

    5.2 TensorHub Pipeline Replication for Expert Migration #

    moe-lb-interai25 的 migration cost 模型假设点对点传输。借鉴 TensorHub 的 pipeline replication [2604.09107]——hot expert 复制时利用 RDMA 全双工构建 DAG,已接收的 worker 立即向下游提供,可将 N-way expert replication 的时间从 O(N) 降为 O(1)。这会根本改变 ILP 中 migration cost 项的量级,使更激进的 rebalancing 变为可行。

    5.3 MFS-style Network-Aware Expert Migration Scheduling #

    Expert migration 是大 weight tensor 传输(数十~数百 MB),与 EP AllToAll 争用网络。将 MFS 的 Defer-and-Promote 原则 [2603.17456] 应用于 expert migration:migration flow 初始低优先级,仅在 straggler 问题加剧(MLU 接近 1)时才 promote。这将 moe-lb-interai25 的 "何时迁移" 决策与 MFS 的 "何时传输" 调度统一。

    5.4 Service-Aware Expert Placement(借鉴 KVServe 的 Bandit Controller) #

    KVServe 的双层 controller(analytical model + ε-greedy bandit [kvserve])可迁移到 expert placement:Tier-1 用 ILP 的 relaxed LP 做快速粗筛,Tier-2 用 bandit 在线学习 "routing 分布的漂移模式" 决定 rebalancing 频率和激进度。将静态 ILP 转化为在线自适应系统。

    5.5 跨 DC Expert Placement with Cross-Datacenter KV Routing #

    PrfaaS 证明了跨 DC 路由在 hybrid attention 模型下可行(egress 仅 13 Gbps [2604.15039])。将 expert placement 扩展到跨 DC 场景:热门 expert 复制到多个 DC 的 prefill 集群,冷门 expert 集中在少数节点。需要联合优化 expert placement(跨 DC)+ request routing(PrfaaS 的 $t$ 阈值),形成 co-optimization。当前无人探索 "跨 DC expert placement + 跨 DC KV routing" 的联合问题。