TokenSim vs 相关论文 — 跨论文综合（L3） #

一句话定位：本簇里 TokenSim 是唯一的"模拟器/探索工具"，其余全是被它模拟的真实系统。 因此它与同类的关系不是"更快/更省"，而是"它能否忠实预测别人已经做出来的东西"—— 它的价值 = 元层（meta-layer），它的攻击面 = 保真度。

相关论文 #

八篇相关论文按"与 TokenSim 的关系类型"分四组，而非按主题：

A. Ground-truth 基线（TokenSim 直接对齐 / 建模其机制）

• vLLM / PagedAttention（2309.06180） — TokenSim 的头号验证真值：§III-C 用 vLLM v0.6.2

跑 LLaMA2-7B/A100/ShareGPT，报 <1% 误差 [2503.08415]；同时 vLLM 提供的

continuous batching + PagedAttention 正是 TokenSim 必须建模的两大机制

[2309.06180]。

• DistServe（2401.09670） — TokenSim 的 disaggregation 验证真值：§III-D3 以 DistServe

在 2×A100 上做 P/D 分离 ground truth [2503.08415]。关键是 DistServe 本身

就自带一个"simulator-driven placement search"且验证误差 <2%

[2401.09670]——这直接冲击 TokenSim 的"首个"声明（见"可攻击面"）。

B. 被 TokenSim 案例研究"再推导"的优化（§IV 的 Findings 大多源自这些真实系统）

• CachedAttention / AttentionStore（2403.19708） — TokenSim §IV-E memory cache 案例

（Finding 6）几乎就是对多轮 KV 复用的复现；其固定 800ns/block 检索时延取自 MemServe，而

CachedAttention 展示了同一问题的真实工程复杂度（分层 DRAM+SSD、scheduler-aware 放置）

[2403.19708]。

• SGLang / RadixAttention（2312.07104） — 前缀复用 + cache-aware 调度，是 TokenSim

"两级调度器 + memory manager"抽象本应能表达、但实际未建模的一类真实缓存策略

[2312.07104]。

• FastServe（2305.05920） — skip-join MLFQ 抢占式调度 + proactive KV swap，是 TokenSim

local scheduler 抽象声称能覆盖、却未拿来验证的最硬调度案例

[2305.05920]。

C. 硬件异构 peers（对应 §IV-C2 "efficient substitutes"）

• FastDecode（2403.11421） — 把 decode 的 attention 卸载到远程 CPU 内存（memory-bound

就近算），与 TokenSim §IV-C2 用 PIM（G6-Aim）替代 A100 做 decode 是同一 insight 的两种落地

[2403.11421]。

• CacheGen（2310.07240） — 把 KV cache 当视频编码 + 按带宽自适应流式，刻画的正是

TokenSim communication model（固定带宽）没建模的"传输时体积可压缩、带宽可变"这一维度

[2310.07240]。

D. 跨域佐证（disaggregation 不止推理）

• FlexRLHF（2312.11819） — 把 disaggregation 从推理搬到 RLHF 训练（Interleaving /

Disaggregated 放置策略），证明"按阶段资源需求非对称→物理分离"是一条通用原则，而非 TokenSim

独有的推理技巧 [2312.11819]。

本篇 vs 相关论文的 delta #

真正新的（TokenSim 独有）：不是任何 serving 机制，而是模拟抽象——"算子级 breakpoint +

两级调度器"与"可插拔 compute backend"彻底解耦，使 disaggregation 这类跨 worker KV 迁移只需两行

代码表达 [2503.08415]。相对 GenZ/LLMCompass 的单请求/单 batch

微模拟，它把粒度提升到"动态负载 + 延迟分布 + 内存时序"的系统级

[2503.08415]。

增量（把真实系统结论复现成廉价 sweep）：TokenSim 的 7 条 Finding 多数是对已发表结论的

再推导，而非新发现——

• Finding 1（continuous batching 降延迟）≈ Orca/vLLM 早已确立的连续批处理收益

[2309.06180]；

• Finding 3/5/7（P/D 比由 output length 主导、prefill 内存足迹低可下调、prefill 吃算力不吃

容量带宽）≈ DistServe 早已量化的"prefill compute-bound / decode memory-bound"非对称

[2401.09670]；

• Finding 6（多轮 memory cache 对短输出最有效）≈ CachedAttention 的核心经济论证

[2403.19708]。

TokenSim 的增量价值在于把这些结论变成不需真机的参数扫描（P/D 比 × 长度、PIM 替代、

prefill 内存减半），而非结论本身。

矛盾（需显式标记）：

TokenSim 声称 > "TokenSim is the first large language model simulator to support the

disaggregation of prefill and decoding phases"（§III-D3，见

[2503.08415]）。但 DistServe 的整个 placement search 就是

simulator-driven 的，且其模拟器对 SLO attainment 的误差已被验证 <2%

[2401.09670]。

矛盾根源：两者"simulator"定义不同。DistServe 的模拟器是内嵌的、目标专一的 goodput

预测器（只为放置搜索服务，不面向用户做通用 what-if），且它确实"模拟了分离架构"；TokenSim 指的是

通用、可配置、面向用户的独立探索工具。在"通用可编程模拟器"这个更窄的定义下 TokenSim 的

"首个"可成立，但论文的绝对表述（"first ... to support disaggregation simulation"）在字面上

被 DistServe 的既有事实反驳。两者在各自定义域内都正确，TokenSim 的措辞过于绝对。

可攻击面 #

1. "<1% 误差"与 Table II 自相矛盾（内部）。§III-C 报 throughput 误差 0.109%、延迟 <1%，

但 §III-D1 的 Table II 数值（2.7~13）随请求数单调增长、各模拟器与 Local 真值贴近，量级完全

不同，疑为总耗时(秒)误标为百分比 [2503.08415]。更糟：TokenSim 每档都比

Vidur 更远离 Local 真值（2.592 vs 2.371 …），与"higher accuracy than Vidur"的措辞方向

相反。这是论文自身未调和的洞。

1. "首个支持 disaggregation 模拟"被 DistServe 反驳（见上节矛盾）。DistServe 的

simulator-driven placement search 已是被验证 <2% 的分离模拟器

[2401.09670]。

1. 固定带宽通信模型低估了 transfer-time regime。TokenSim communication model 以固定带宽

参数化、memory cache 取固定 800ns/block、无敏感性分析

[2503.08415]。但 CacheGen 证明真实场景下被复用 KV 常经单位数

Gbps 云链路取回，传输延迟可与重算 prefill 相当、且高度依赖带宽与可压缩性

[2310.07240]。凡网络是瓶颈的分离/多轮缓存场景，TokenSim 的 Finding 6

与 §III-D3 分离结论都会系统性偏乐观。

1. 两级调度器抽象未对抢占式调度做保真验证。FastServe 实测 skip-join MLFQ 的抢占会使 KV

cache 内存暴增最高 7×，必须用 proactive swap（PCIe 与计算重叠）才能压住

[2305.05920]。TokenSim 声称 local scheduler 可覆盖任意调度算法，但其验证只跑了

非抢占的连续批处理；抢占引发的 swap 开销与内存峰值能否被忠实建模，全无证据。

1. PIM（Finding 4）建立在纯模拟的异构数字上。§IV-C2 里 1×A100 + 7×G6-Aim = 29.1 吞吐

无真机验证 [2503.08415]。FastDecode 对"就近算 decode"这一同族思路给出了

真实告警：短序列下 8-socket 反而慢于 4-socket，因 S-Worker/互连成为瓶颈

[2403.11421]。TokenSim 的 PIM 吞吐很可能在真实互连争用下缩水，slot 上限之外

还有带宽争用这一未建模约束。

---

生态位 #

TokenSim 占据的是真实 serving 系统之上的"what-if 元层"：GenZ/LLMCompass 是单请求微模拟器，

Vidur 需 ~400s 预训练，DistServe 的模拟器内嵌且目标专一——TokenSim 定位为**通用、轻量、

compute-backend 可插拔**的独立探索器 [2503.08415]，纯 CPU/SimPy 即可跑，

适合在购买硬件或改动 runtime 之前离线预演分离比、PIM 替代、prefill 内存下调等决策

[2503.08415]。

它不与簇内真实系统竞争，而是消费它们：vLLM 是它的对齐真值 [2309.06180]、

DistServe 是它的分离真值 [2401.09670]、CachedAttention 是它 memory-cache

案例的原型 [2403.19708]。范式意义（若成立）是把"系统优化探索"从"必须有真机 +

真 workload"降级为"改配置文件"，这与 DistServe 用模拟器驱动放置搜索

[2401.09670] 属同一潮流——模拟器正从系统内部工具走向面向用户的一等品。

采用证据（诚实评估）：代码开源（pku-lemonade/TokenSim），这是相对 FlexRLHF（未开源

[2312.11819]）、FastServe/FastDecode（未公开

[2403.11421]）的加分项。但生态位狭窄：面对 Vidur 的规模化与 DistServe 内嵌

模拟器的既成事实，TokenSim 需靠"无预训练 + 可换 backend + 首个通用分离模拟"三点立足，而其中

"首个"已被削弱、"精度优势"被自家 Table II 打脸——护城河主要落在轻量可编程这一工程属性上。

---

未探索方向 #

1. 接入 CacheGen 的压缩-感知传输模型。把 TokenSim 固定带宽的 communication model 换成

CacheGen 式"体积可压缩 + 带宽自适应"模型 [2310.07240]，让 §III-D3

分离与 Finding 6 多轮缓存在"网络受限"区间也可信——这直接补上攻击面 #3。

1. **把 FastServe 的 skip-join MLFQ + proactive swap 实现为 local scheduler 并验证 7× 内存

峰值**。用 TokenSim 复现 FastServe 的抢占-swap 重叠 [2305.05920]，若能对齐其

内存暴增曲线，才真正证明"两级调度器可覆盖任意算法"的卖点（补攻击面 #4）。

1. 把 SGLang 的 RadixAttention 树 + LRU 叶驱逐建模为 memory manager 策略。当前 memory

cache 是"扁平 800ns/block 命中"；引入前缀树命中率与叶驱逐

[2312.07104] 可把 Finding 6 从"输出长度阈值"细化到"前缀共享率 ×

驱逐策略"的二维面。

1. 异构 decode：让 FastDecode 的 CPU 卸载与 §IV-C2 的 PIM 在同一 sweep 内可比。把 R-Worker

聚合带宽、互连争用、短序列 S-Worker 瓶颈 [2403.11421] 建进 TokenSim，输出

"PIM vs 远程 CPU vs 低端 GPU"的统一成本-吞吐前沿，而非各自孤立的模拟数字。

1. 跨域外推：用两级调度器抽象模拟 RLHF 的训练-推理分离。FlexRLHF 的 Interleaving/

Disaggregated 放置 [2312.11819] 与推理 P/D 分离共享"阶段资源非对称→

物理分离"原则；TokenSim 的 breakpoint 抽象天然可表达 Shadow Actor 的参数同步点，一个统一的

"分离放置模拟器"可同时服务 serving 与 RLHF 训练两类负载。

1. simulator-in-the-loop 的在线自适应。TokenSim 现有 7 条 Finding 都是静态 sweep；把它接成

闭环控制器（按观测到的 output length 在线调 P/D 比 / prefill 内存），是对 DistServe 离线

placement search [2401.09670] 的在线泛化，也是从"离线探索"迈向"运行时决策"

的关键一步。