Router PD Simulator

多 P 多 D + sglang router 路由算法对比 · 给定数据集/硬件/SLO,launch sim → 帕累托曲线。details 里看动画与全部细节。

Dataset
Prefill 节点 (多 P)
Decode 节点 (多 D)
SLO (Metrics)
Router 算法(勾选要对比的)+ 并发扫描

Pareto: 每 GPU 吞吐 vs 每用户速度(不同 router 对比)

X = tok/s/user(交互性,越右越快)· Y = tok/s/gpu(效率,越高越省)· ◆ = 满足 SLO 的最高效率工作点

Router 对比(SLO 工作点)

Routertok/s/usertok/s/gpu缓存命中SLO并发

缓存命中来自 cache_aware/consistent_hashing 的前缀亲和(同会话落同节点)。power_of_two 负载最均衡。

▸ Details / 动画(进到 sim 看请求流动、各节点负载、全部指标)