SSD (Saguaro) 将 speculative decoding 的 speculation 与 verification 从严格串行解耦为并行执行，通过在独立 GPU 上预计算多个可能 verification outcome 的 speculation cache 来消除 drafting 延迟 [2603.03251]。这一思路与 framework 类别中以下论文形成交叉：
最强关联——disaggregated compute 范式：
中等关联——scheduling/routing 范式：
弱关联——正交方向：
SSD 的独特贡献是将 speculative decoding 从"speculation → verification → speculation"的串行流水线重构为并行流水线，具体通过三个紧密耦合的机制实现：
| 共享模式 | SSD 的实例 | 同类 peer |
|---|---|---|
| Disaggregated GPU 利用空闲资源 | 1×H100 for draft model [2603.03251] | DualPath 利用 DE 的闲置 SNIC [2602.21548]；PrfaaS 利用跨 DC compute-dense 集群 [2604.15039] |
| Pipeline overlap 打破串行依赖 | Speculation 与 verification 并行 | ZeRO-Prefill 的 AsyncEP（weight AllGather overlap compute）[2605.02960]；PrfaaS 的层间 prefill pipelining [2604.15039] |
| Adaptive fallback 策略 | Critical batch size $b^*$ 切换 | PPD 的 scoring function $S(\psi; \pi, \mathbf{w})$ [2603.13358]；KVServe 的 benefit condition $B < (1-1/\text{cr}) \cdot S$ [kvserve] |
| Lossless（不改变 output distribution） | SSD 保持 target model distribution | PPD 对 append-prefill 保持 KV 精度 [2603.13358] |
SSD 和 TileRT 都优化 near-BS=1 decode 延迟，但在不同抽象层级：
两者理论上可叠加：TileRT 加速 verification → 降低 $T_{\text{verify}}$ → 缩短 speculation cache 构建的时间窗口 → 需要更少的 cache budget $B$ 或更快的 draft model。但这也意味着 draft model 必须在更短时间内完成 cache 构建，SSD 的前提条件 $T_p < 1$（draft 在 verify 期间完成）可能更难满足。
SSD 声称比 SD baseline "快 30%" [2603.03251]，但 SSD 使用 5 GPU（4×H100 target TP + 1×H100 draft），而 SD baseline 在 4 GPU 上（draft collocated on target GPU）[2603.03251]。多出的 1×H100（~$30K 硬件成本）未在 throughput/$ 中折算。如果以 tokens/s/GPU 计算，SSD 的优势从 30% 缩减到约 4%。
对比 DualPath，后者也使用额外的 DE SNIC 带宽，但论文明确提供了 DRAM 效率对比（DualPath 80 GB/node vs SGL(MC) 1.5 TB/node，效率高 18.75×）[2602.21548]，并给出了 bottleneck-free P/D ratio 的完整约束分析 [2602.21548]。SSD 缺乏类似的资源效率分析。
SSD 的 cache hit rate 按 $p_{\text{hit}}^b$ 衰减（$b$ = batch size）[2603.03251]。即使单请求 cache hit rate 高达 90%，batch=8 时整体 hit rate 降至 $0.9^8 \approx 43\%$，batch=16 时仅 $0.9^{16} \approx 18\%$。论文声称 batch=8 时仍有 20% speedup over SD，但未说明此时 fallback 到 random token 的代价。
这与其他 framework 论文形成鲜明对比：
SSD 本质上是一个 latency-only, low-batch 优化，与 serving 系统追求高吞吐的主流方向相悖。
SSD 的 geometric fan-out 最优解（Theorem 12）依赖 cache miss rate 遵循 power law 的经验假设 [2603.03251]。论文在四个数据集上验证了此假设，但未分析：
SSD 的最佳结果（30% over SD，~5× over AR）均在 batch=1、greedy decoding 下取得 [2603.03251]。这是一个极端有利的评测设置：
实际 serving 场景通常使用 temperature > 0 采样和 batch > 1。论文未提供 temperature=0.6 + batch=4 这样更实际的配置下的完整结果。
SSD 仅使用 Llama-3.2-1B 作为 draft model [2603.03251]，未与 EAGLE-3 等最新 draft architecture 组合验证。EAGLE-3 通过 feature-level prediction 显著提高 acceptance rate——更高的 acceptance rate 意味着 cache hit rate 更高，但也意味着 cache 的边际价值更小（因为标准 SD 已经很快）。SSD 在 EAGLE-3 之上的增量价值可能低于论文暗示的程度。
SSD 将 CPU 体系结构中的 speculative execution 思想推进了一步。传统 SD 类似简单的 branch prediction（猜测后验证），SSD 类似 simultaneous multithreading + speculative execution（在预测分支的同时为多个可能的 branch target 准备指令）。论文自身使用了这个类比 [2603.03251]，这是有说服力的：CPU 从简单 pipeline 到深度 speculative execution 的演化历史暗示 LLM inference 可能走类似路径。
然而，与 CPU 的关键差异在于：CPU speculative execution 不需要额外硬件（同一个处理器内部），SSD 需要额外一块 GPU。这使 SSD 更像是"将 speculation 从 GPU time-sharing 升级为 GPU space-partitioning"的架构转变。
| 维度 | SSD 的位置 | 对比 peer |
|---|---|---|
| 优化阶段 | Decode only | DualPath: prefill I/O; PrfaaS: prefill offload; MFS: prefill comm |
| 硬件要求 | 额外 1 GPU | DualPath: 利用已有 DE SNIC; PPD: 无额外硬件; ZeRO-Prefill: 无额外硬件 |
| 适用场景 | Low-batch, latency-critical | 大多数 peers 同时覆盖 throughput-oriented 场景 |
| 与 serving 框架的集成 | 独立 prototype | PPD: 基于 vLLM; ZeRO-Prefill: vLLM v0.11.0; KVServe: vLLM external connector |
| 代码开源 | 是 (MIT) [2603.03251] | DualPath: 否; TensorHub: 否; PrfaaS: 否; ZeRO-Prefill: 是 (vLLM) |
SSD 的核心价值在 agent/tool-calling 等延迟极度敏感的单用户交互场景，但这些场景的 serving 需求正快速向 batch > 1 演进（多 agent 并行 rollout），SSD 的适用窗口可能比预期更窄。
TileRT 将整个模型编译为单个 persistent Engine Kernel [tilert-speed-scaling-law]。如果 draft model 也被编译为 persistent kernel，则 speculation cache 构建可以在 tile pipeline 内部持续推进，消除 draft model 的 kernel launch overhead。更进一步，draft model 和 target model 的 persistent kernel 可以通过 NVLink tile-level 通信直接交换 verification outcome 和 speculation tokens，避免 host-mediated 通信。
可行性估计：高工程复杂度——需要 AOT 编译器同时处理两个异构模型（target + draft）并生成协调的 tile schedule。但 TileRT 的 Heterogeneous Workers（GPU0 = Sparse Indexer，GPU1–7 = MLA Workers）已经展示了跨 GPU 角色特化的可行性 [tilert-speed-scaling-law]。
ZeRO-Prefill 证明了在大 compute window 下可以完全隐藏 weight AllGather [2605.02960]。如果将这一思路应用到 SSD 的 draft model：draft model 的 expert weights 不需要全部驻留在 draft GPU 上，可以在 verification 时间窗口内从 CPU/peer GPU 流式加载。这将允许使用更大的 draft model（更高 acceptance rate）而不增加 draft GPU 的 HBM 需求。
前提条件：verification 时间窗口（$T_{\text{verify}}$）必须足够长以覆盖 weight streaming。对于 4×H100 TP 的 70B target model，$T_{\text{verify}}$ 约 15-30ms，可能足以流式加载一个 3B draft model 的 expert weights。
SSD 的 cache budget $B$ 和 fan-out 参数是静态设置的 [2603.03251]。借鉴 KVServe 的 service-aware controller 设计 [kvserve]——用 analytical model 提供 go/no-go 判据 + bandit 在线学习残差——可以构建 adaptive SSD：
可行性：SSD 论文已经提供了 critical batch size $b^*$ 的推导 [2603.03251]，将其在线化并不困难。
当 PD 分离跨 DC 部署时（如 PrfaaS 的跨 DC prefill [2604.15039]），decode 端的 speculation 也可以 offload 到远端。具体地：draft model 运行在 PrfaaS 集群的 compute-dense GPU 上（如 H200），speculation cache 通过 commodity Ethernet 传回 decode 集群。由于 speculation cache 只是 K 个 token ID（几十 bytes），传输开销可忽略——与 PrfaaS 传输 GB 级 KV-cache 不同。
DualPath 的 CNIC-centric 流量隔离 [2602.21548] 也可以应用到 SSD 的 draft→target 通信上：将 speculation token 传输放到低优先级 VL，不干扰 target model 的 TP 集合通信。
当前 SSD 的 cache 是 per-request 的。在 agent/chat 场景中，多个请求共享相同的 system prompt 和上下文前缀——它们的 verification outcome 分布也可能高度相似。跨请求共享 speculation cache（类似 PrfaaS 的 prefix-cache pool [2604.15039]）可以用更少的 draft compute 服务更多请求，部分缓解 SSD 在 batch > 1 下 cache hit rate 指数衰减的问题。
这与 ZeRO-Prefill 的 prefix-aware routing [2605.02960] 有类似精神：将前缀共享从被动 cache effect 转为主动调度决策。