| Entity | Relation Type | Why Related |
|---|---|---|
| 2605.02960 (ZeRO-Prefill) | 直接竞争/替代 | 同为 MoE inference 执行效率优化;ZeRO-Prefill 用 weight streaming 彻底消除 EP routing imbalance,而 moe-lb-interai25 在 EP 框架内做 placement 优化 |
| 2603.17456 (MFS) | 同层互补 | MFS 优化 disaggregated MoE serving 中 EP AllToAll 的网络争用调度;moe-lb-interai25 优化 expert 放置以减少 straggler——二者分别解决 EP 的通信瓶颈和负载不均瓶颈 |
| 2604.09107 (TensorHub) | 类比机制 | TensorHub 的 pipeline replication 用 RDMA DAG 优化大规模 weight 传输;moe-lb-interai25 的 expert migration 面临相同问题(expert weight 迁移开销),但未利用类似的传输优化技术 |
| 2602.21548 (DualPath) | 思路类比 | DualPath 联合优化 I/O 带宽分配和调度降低 KV-cache 加载延迟;moe-lb-interai25 联合优化 load balance 和 data movement 降低 MoE 层延迟——同为"多目标联合优化"范式 |
| 2604.15039 (PrfaaS) | 调度哲学互补 | PrfaaS 用长度阈值路由将请求分流到最优集群;moe-lb-interai25 通过 expert 重放置将负载分流到最优设备——一个路由请求,一个路由 expert |
| 2603.13358 (PPD) | 设计哲学类比 | PPD 通过 per-request routing 决策避免昂贵的 KV transfer;moe-lb-interai25 通过 per-batch placement 决策避免 straggler 等待——都是"动态决策避免固定代价"的实例 |
| tilert-speed-scaling-law (TileRT) | 范式对比 | TileRT 用 persistent kernel 彻底消除 inter-kernel overhead(含 AllToAll barrier),代表"消除问题"路径;moe-lb-interai25 代表"管理问题"路径 |
| kvserve (KVServe) | 正交互补 | KVServe 压缩 PD 间 KV 传输;moe-lb-interai25 优化 MoE 层内 expert 放置。二者解决不同阶段的通信瓶颈,可组合使用 |
moe-lb-interai25 的独特贡献在于将 expert replication/reallocation 问题形式化为 ILP(min-max load + migration cost 联合目标),并提供多项式时间近似解 [moe-lb-interai25]。这是增量而非范式突破——在已知的 dynamic expert placement 优化空间中增加了一个数学上更严谨的 formulation。
vs ZeRO-Prefill (2605.02960): ZeRO-Prefill 从根本上消除了 routing imbalance 的影响——通过 AsyncEP 将 expert weight 流入本地 GPU,使所有 top-k dispatch 变为本地操作,不再有跨 GPU straggler [2605.02960]。moe-lb-interai25 仍在同步 EP 框架内优化,试图通过更好的 expert 放置来缓解不均衡。这是"管理病因 vs 消除病根"的区别。ZeRO-Prefill 在 Qwen3-235B 上达到 1.35–1.37× 吞吐提升 [2605.02960],而 moe-lb-interai25 仅 12.5% over naive assignment [moe-lb-interai25]。
vs MFS (2603.17456): MFS 解决 EP 执行过程中三阶段通信的网络争用问题,通过 RMLQ 实现 Defer-and-Promote 调度使 TTFT SLO 达标率提升 1.2–2.4× [2603.17456]。moe-lb-interai25 解决 expert 放置不均导致的计算 straggler 问题。二者是 EP 体系下不同瓶颈的优化——MFS 管通信调度,moe-lb-interai25 管计算均衡。但 MFS 的评估规模(32 GPU testbed + 大规模仿真)和实测数据远比 moe-lb-interai25(workshop, 概念性实验)更有说服力。
vs TensorHub (2604.09107): TensorHub 证明了 pipeline replication 可以将 fan-out weight 传输从单源瓶颈转化为带宽放大 DAG,实现线性扩展 [2604.09107]。moe-lb-interai25 的 expert migration 面临相同的"weight 搬运开销"问题,但只用了简单的点对点迁移模型。如果将 TensorHub 的 pipeline replication 思想应用于 expert reallocation(将 hot expert 通过 DAG 复制到多个设备),migration cost 可以显著降低。
vs DualPath (2602.21548): DualPath 的联合优化思想(存储带宽 + 调度均衡)在方法论上与 moe-lb-interai25(load balance + migration cost)高度类似。但 DualPath 的工程深度(CNIC-centric data path, VL QoS 隔离, 1152 GPU 生产部署 [2602.21548])远超 moe-lb-interai25 的 7 页 workshop 论文。DualPath 展示了联合优化思想在生产级系统中的落地路径。
vs PrfaaS (2604.15039): PrfaaS 的双时间尺度调度器(per-request routing + periodic role rebalancing [2604.15039])与 moe-lb-interai25 的 "periodic expert reallocation" 概念相似,但 PrfaaS 有完整的 throughput model(Eq.1–8)指导最优决策,而 moe-lb-interai25 的 ILP 虽提供理论最优但未给出何时、多频繁触发重均衡的指导。
moe-lb-interai25 的 12.5% 改善是相对于 naive static assignment,而非相对于已有的 dynamic approaches(Libra, ExFlow, CRAFT)[moe-lb-interai25]。这使得增量贡献难以准确定位——可能其它动态方案已在 12.5% 附近或更优。
12.5% 改善仅相对于 naive assignment(static round-robin),未与 SOTA dynamic 方案(Libra: 19.2% throughput improvement, CRAFT: 1.14× throughput [moe-lb-interai25])对比。如果 Libra 在相同条件下已达 19.2%,则 moe-lb-interai25 的 12.5% 可能是退步而非进步。Workshop paper 的缺失 baseline 是致命弱点。
ZeRO-Prefill 证明了 prefill-only 工作负载下(占生产流量 65.3% [2605.02960]),AsyncEP 可完全消除 routing imbalance 的影响(本地 dispatch, 无 straggler),MFU 从 <16% 提升到 29.8–36.2% [2605.02960]。在这个范式下,expert placement optimization(moe-lb-interai25 的核心贡献)变得无关紧要——不均衡不再重要因为没有跨 GPU dispatch。对于 decode-heavy workloads(ZeRO-Prefill 不适用),moe-lb-interai25 仍有理论价值,但 decode 时的 per-token compute window 太短(μs 级 [tilert-speed-scaling-law]),expert migration 的触发频率本身就受限。
moe-lb-interai25 仅设计为 scale-up 网络(intra-node NVLink/xGMI [moe-lb-interai25]),但生产级 MoE serving 通常跨多节点。MFS 的实验在 32 GPU testbed 上显示跨节点网络争用才是 TTFT 的主要瓶颈 [2603.17456],DualPath 在 1152 GPU 上验证了跨节点场景 [2602.21548]。scale-up only 的设计排除了最需要 load balancing 的场景——当 expert migration 需要跨节点传输(>10ms)时,migration cost 会远超 intra-node 场景,使 joint optimization 的 tradeoff 完全不同。
ILP 假设在决策点已知完整的 workload profile(per-expert token counts [moe-lb-interai25]),但真实 serving 中 token routing 是逐 batch 变化的。PPD 的研究表明"无单一静态策略在所有 workload 组合中占优" [2603.13358],PrfaaS 需要双时间尺度调度器处理流量波动 [2604.15039]。moe-lb-interai25 的 ILP/heuristic 缺乏对 workload volatility 的建模——如果 rebalancing 后 routing 分布立即变化,刚完成的 migration 可能已经过时。
Expert replication 增加内存占用 [moe-lb-interai25],但在推理 serving 中 HBM 的主要消费者是 KV-cache。DualPath 的 layerwise prefill 下 PE HBM 仅持有当前层 KV [2602.21548],PrfaaS 使用 transfer-cache 传完即丢 [2604.15039]——这些系统精心管理 HBM 以最大化 batch size。moe-lb-interai25 的 expert replication 会占用宝贵的 HBM 空间,可能反向降低 batch size 从而降低 GPU utilization。
moe-lb-interai25 的生态位是为 "同步 EP 下的 dynamic expert placement" 提供一个数学上严谨的优化 formulation。它不是一个系统、不是一个产品,是一个算法贡献——ILP + heuristic。
当前 MoE serving 优化存在三个范式:
moe-lb-interai25 属于范式 1,而范式 2(ZeRO-Prefill)在 prefill-only 场景下严格优于范式 1。范式 1 的残余价值在于 decode-heavy 和 interactive serving 场景(compute window 太短无法 overlap weight AllGather),但 moe-lb-interai25 本身未针对这些场景优化。
无。Workshop paper, 未开源, 未被后续工作引用为 baseline [moe-lb-interai25]。ZeRO-Prefill 在其 related work 中提到 moe-lb-interai25 作为 "dynamic expert placement" 类别 [2605.02960],但将其定位为 ZeRO-Prefill 所替代的旧范式。
早期学术探索阶段。与同 category 的 peer 对比:DualPath 已在 1152 GPU 生产部署 [2602.21548],TensorHub 在 ByteDance 生产 RL 训练中部署 [2604.09107],TileRT 驱动 GLM-5.1 生产服务 [tilert-speed-scaling-law]。moe-lb-interai25 离生产还有多个量级的距离。
ZeRO-Prefill 的 AsyncEP 在 prefill-only 场景下最优,但 decode 时 compute window 不足以 overlap weight AllGather。一个混合方案:prefill 用 AsyncEP(完全本地 dispatch),decode 用 moe-lb-interai25 风格的 dynamic placement(此时 batch 较大可摊薄 migration cost)。需要在 PD disaggregation 边界切换 EP 策略。
moe-lb-interai25 的 migration cost 模型假设点对点传输。借鉴 TensorHub 的 pipeline replication [2604.09107]——hot expert 复制时利用 RDMA 全双工构建 DAG,已接收的 worker 立即向下游提供,可将 N-way expert replication 的时间从 O(N) 降为 O(1)。这会根本改变 ILP 中 migration cost 项的量级,使更激进的 rebalancing 变为可行。
Expert migration 是大 weight tensor 传输(数十~数百 MB),与 EP AllToAll 争用网络。将 MFS 的 Defer-and-Promote 原则 [2603.17456] 应用于 expert migration:migration flow 初始低优先级,仅在 straggler 问题加剧(MLU 接近 1)时才 promote。这将 moe-lb-interai25 的 "何时迁移" 决策与 MFS 的 "何时传输" 调度统一。
KVServe 的双层 controller(analytical model + ε-greedy bandit [kvserve])可迁移到 expert placement:Tier-1 用 ILP 的 relaxed LP 做快速粗筛,Tier-2 用 bandit 在线学习 "routing 分布的漂移模式" 决定 rebalancing 频率和激进度。将静态 ILP 转化为在线自适应系统。
PrfaaS 证明了跨 DC 路由在 hybrid attention 模型下可行(egress 仅 13 Gbps [2604.15039])。将 expert placement 扩展到跨 DC 场景:热门 expert 复制到多个 DC 的 prefill 集群,冷门 expert 集中在少数节点。需要联合优化 expert placement(跨 DC)+ request routing(PrfaaS 的 $t$ 阈值),形成 co-optimization。当前无人探索 "跨 DC expert placement + 跨 DC KV routing" 的联合问题。