Pareto: 每 GPU 吞吐 vs 每用户速度(不同 router 对比)
X = tok/s/user(交互性,越右越快)· Y = tok/s/gpu(效率,越高越省)· ◆ = 满足 SLO 的最高效率工作点
Router 对比(SLO 工作点)
| Router | tok/s/user | tok/s/gpu | 缓存命中 | SLO并发 |
|---|
缓存命中来自 cache_aware/consistent_hashing 的前缀亲和(同会话落同节点)。power_of_two 负载最均衡。
多 P 多 D + sglang router 路由算法对比 · 给定数据集/硬件/SLO,launch sim → 帕累托曲线。details 里看动画与全部细节。
| Router | tok/s/user | tok/s/gpu | 缓存命中 | SLO并发 |
|---|
缓存命中来自 cache_aware/consistent_hashing 的前缀亲和(同会话落同节点)。power_of_two 负载最均衡。