Dynamo — Weekly Pulse (L2) #
2026-W21 #
趋势: 本周重心明确集中在 router 层,topology 感知路由与 KV transfer 执行框架初步成型。
- router: 引入 typed topology metadata 和 KV transfer enforcement,为拓扑感知的 disaggregated serving 奠定基础 (#9767, #9878);KV-router 新增 recovery 期间 live event buffering,提升故障恢复鲁棒性 (#9881);tokenizer 层新增可选 L1 prefix cache (#9742)
- disagg: planner 在 active scale 期间跳过负载缩放逻辑,避免扩缩容冲突 (#9774);sglang prefill 适配 CUDA graph batch size (#9852)
- scheduler: 新增 embedding latency histogram 前端指标 (#9758),信号较弱
- 信号: router 侧 topology + transfer policy 的 Python 读取层 (#9878) 暗示即将支持用户自定义路由策略
- 关联: prefix cache 方向与 KVFlow [ref:2507.07400] 和 Resident KV Claims [ref:2605.24259] 相关;topology-aware routing 思路接近 DynaServe [ref:2504.09285] 的 elastic disaggregation