DSpark 处在一个奇怪的邻域:它的直接谱系(DFlash / EAGLE-3 / DeepSeek-V4
MTP)不在本次 scope 内,而本次给定的 8 个 peer 大多是"远亲"。它们之所以
相关,不是因为做同一件事,而是因为 DSpark 的四个设计支柱各自能在某个 peer
里找到最纯粹的原型:
Transformer 用来打败 RNN 的那条轴。Transformer 用全并行 self-attention
换掉 $O(n)$ 顺序递归 [1706.03762];DSpark 反向操作,
在并行 draft backbone 上重新缝回一小段顺序依赖。更细的一层联系是
softmax 的数值/归一化性质:Transformer 的 $1/\sqrt{d_k}$ 缩放靠一个
方差论证保住 softmax 的梯度区间 [1706.03762],而 DSpark
依赖的是 softmax 的局部归一化(per-position partition function)来保
住无损拒绝采样所需的精确 per-token 概率。
token 级 value function:预测"这个前缀能不能活下去"。这正是 GSM8K
verifier 的定义——训练一个网络输出 per-token 正确性概率,把序列末端的硬
判决变成密集信号 [2110.14168]。两者都是"生成 +
独立打分器"的解耦架构。
(a) calibration/无损性作为一等公民——SageAttention 的 Smooth K 靠
softmax 平移不变性做到是精确变换而非近似 [2410.02367],
DSpark 的 STS 校准 + early-stopping 也是把"看起来该有损"的调度做成无损;
(b) hardware-aware、profiling 驱动——SageAttention 逐层 profile 余弦
相似度再决定 kernel [2410.02367],DSpark 在 init 时
profile 一张 SPS 容量表再驱动调度。
DeepSeek-V4 用的正是 MTP-1,而 MTP 是这一代 frontier 模型(Llama 3
谱系里的 dense next-token 主干 [2407.21783])之上的加速层;
(b) 更隐蔽的方法论共鸣是校准式外推预测:Llama 3 的杀手锏是把
normalized NLL 映射到 task accuracy 的 sigmoid 校准
[2407.21783],DSpark 的杀手锏是把 raw confidence 校准到
绝对量级的 survival probability——都靠"校准过的绝对量"而非"排序"来做下游
决策。
compute 分配"。RAG 把检索文档当 latent variable 边缘化
[2005.11401],RAPTOR 在 collapsed tree 上贪心填满 token
预算 [2401.18059]——后者的"贪心填预算"
在结构上与 DSpark 调度器的贪心 admission 同构,只是一个填检索上下文、一
个填验证长度。
在 world model 想象出的潜在轨迹上学习 [2301.04104],这与
spec decoding"先想象一段草稿再由真实模型核对"是同一 imagination-then-
verify 母题;且 DreamerV3 的核心壁垒也是"跨域鲁棒 = 一组彼此配合的量纲无
关变换",呼应 DSpark"四要素必须同时成立"的壁垒结构。StruQ 提供的是**无损
性 / 安全边界**的另一个样本:它靠 reserved-token 通道分离实现"结构上不可
越界" [2402.06363],与 DSpark 的 causal barrier
"结构上不可 anticipate"是同一类"用不变式换保证"的思路。
未在 scope 但必须点名的真正对照组:DFlash(并行 backbone 本体)、
EAGLE-3(AR drafter)、DeepSeek-V4/V3 MTP-1(production 基线)、SpecDec++
(learned acceptance predictor)。下面的 delta / 攻击面分析在涉及这些时只能
引用 DSpark 自己 L2 的转述,无法交叉引用其 L2(不存在)。
vs 1706.03762 — 反向的并行化取舍。 Transformer 的论点是:顺序递归是
瓶颈,全并行才能 scale [1706.03762]。DSpark 承认在
draft 阶段并行 backbone 确实赢在 $T_{\text{draft}}$,但**发现纯并行会因
multi-modal collision 让接受率沿 block 深度衰减**
于是把"一点点顺序"重新加回来。Delta:Transformer 用并行替换顺序;
DSpark 用轻量顺序 head 修补并行,且反直觉地证明"2 层 DSpark > 5 层
DFlash" [dspark]——深度不如一点自回归。
vs 2110.14168 — value function 从"选最优候选"变成"剪最差后缀"。 GSM8K
verifier 用 value 分数从 100 个候选里 rerank 出 top-1
[2110.14168],是离线、事后、跨样本的选择。
DSpark 的 confidence head 用 survival probability 做在线、事前、序列内的
截断——决定验证到第几个 token 就停。两者都是 token 级 value function,但
GSM8K 的 label 是"最终答案对不对"(含 false positive 噪声
[2110.14168]),DSpark 的 label 是解析式 TV-distance 接受率
$c^*_k = 1-\frac12\lVert p^d_k-p^t_k\rVert_1$ [dspark]——一个
无偏、闭式的监督信号,比 GSM8K 的 final-answer 标签干净。
vs 2410.02367 — 无损性从"数学恒等"升级到"因果时序不变式"。
SageAttention 的无损靠一个静态代数事实(softmax 平移不变
[2410.02367]),一旦成立就永远成立。DSpark 的无损**依赖执
行顺序**:offline 靠 early-stopping break 在触碰任何 $x_k$-依赖量之前停下
[dspark];production 又把 break 删掉(jagged SPS 逼的),改
用"two-steps-prior 异步 causal barrier"重获无损
[dspark]。Delta:SageAttention 的无损是**空间
性的(每次调用独立成立),DSpark 的无损是时间性**的(跨调度步才成立),
后者脆弱得多。
vs 2407.21783 — 校准的对象与用途不同。 Llama 3 校准 NLL→accuracy 是为
了训练前决定模型多大 [2407.21783],一次性、离线、赌九位
数预算。DSpark 校准 confidence→survival 是为了每一步推理决定验证多长,
高频、在线、赌 batch capacity。共同教训(两篇都强调):**下游决策必须吃"校
准过的绝对量",排序不够**——Llama 3 的 sigmoid 若无 anchor 就无约束
[2407.21783],DSpark 的调度器若吃 raw(3–8% overconfident)
的分数就会错估 $\tau$ [dspark]。
**vs 2005.11401 / 2401.18059 — 都是 token-budget 下的贪心分配,但目标不
同。** RAPTOR 在固定 2000-token 预算内按 cosine 相似度贪心填检索节点
[2401.18059];DSpark 在固定 batch $B$ 内
按 survival probability $a_{r,j}$ 贪心 admit 验证 token
[dspark]。Delta:RAPTOR 的贪心无正确性约束(多填点上下文最
多浪费),DSpark 的贪心必须同时满足 monotonicity(保最优)+ 非预期性(保无
损),约束严得多。
增量而非对立的部分:DSpark 对 1706.03762、2110.14168 是站在肩膀上的组
合创新(并行主干 + 顺序 bias + value head),不构成矛盾;真正的对立只在
"并行 drafter 到底行不行"这一点上——见 §3。
攻击 1:production 头条数字的水分(作者自己已埋雷)。 DSpark 宣称 vs
MTP-1 在严格 SLA 下 +661%/+406% [dspark],但同一处注明这
是"baseline 塌成极小 batch"造成的 frontier-extension,不代表典型加速。可攻
击点:真正稳健的 matched-throughput 数字是 60–85% / 57–78%,L1/L2 已把
+661% 打了星号——但 TL;DR 仍把"60–85%"放在最显眼处,读者极易把两组数字混
为一谈。反驳:应要求所有对比统一在 matched-throughput,或至少同时报
baseline 的 batch 塌缩幅度。
攻击 2:无损性证明只是一个 counterexample,不是一般性定理。 Appendix A
用 $R=1,\gamma=2$ 的具体反例证明"去掉 early-stopping 会有损"
[dspark],再声称 early-stopping 恢复无损。但这是"证伪一个
坏方案",并未正面证明 production 用的 two-steps-prior barrier 在一般
$R,\gamma$、一般 SPS 曲线下严格无损——它只在 §7 用文字论证
[dspark]。对照 2410.02367 的无损是干净的代数恒
等 [2410.02367],DSpark 的 production 无损缺一个可检验的形
式化陈述。这是最该被 L4 追问的裂缝。
攻击 3:"并行 beats AR"结论的实验边界。 DSpark 的 Fig. 2 显示 DFlash
在 chat 上从 0.72 衰减到 0.63,据此论证并行主干因起点高(position-1 leverage
最大)而整体胜出 [dspark]。但这依赖两个未充分检验的前提:
(a) position-1 acceptance 在更大 target 模型上是否仍然主导?表里最大只到
14B;(b) 这个"起点优势"是 DFlash 特有还是所有深并行网络通用?若换个并行主
干结论可能翻转。类比 1706.03762 的诚实——它明说 EN-FR base model 反而输给
ConvS2S [1706.03762]——DSpark 缺少一个"我们在哪里会输"的
对称披露。
攻击 4:confidence head 的 label 噪声被低估。 DSpark 用解析式 $c^*_k$
作 label [dspark],看似干净,但 $c^*_k$ 依赖 $p^t_k$(target
分布),而 target 分布在训练 drafter 时只能采样估计。GSM8K verifier 明确承
认 final-answer label 有 false positive [2110.14168];DSpark
则默认 TV-distance label 无偏,未讨论有限采样估计 $p^t$ 带来的方差如何传播
到 survival product $a_{r,j}=\prod c_i$(乘积会放大早期误差)。
攻击 5:STS 校准的分布漂移假设。 STS 在 Alpaca 上把 ECE 从 3–8% 压到
~1% [dspark],但校准温度是在某个数据分布上拟合的。
production 流量分布(code/chat/math 混合且随时间漂移)与校准集不一致时,
"绝对量级"就不再可信,而整个调度器恰恰依赖绝对量级估 $\tau$。这与
2407.21783 的风险同源:sigmoid 校准若离开 anchor 的 loss regime 就失真
[2407.21783]。DSpark 未报告校准在分布漂移下的鲁棒性。
DSpark 不是范式转移,而是**并行 speculative decoding 这条支线的"成熟化"节
点**——它把三年来分散的三个 idea(并行 drafter、learned acceptance
predictor、hardware-aware 调度)第一次拧成一个 production 可跑的整体,并明确
了它们之间的耦合约束。
相对 Transformer 的历史坐标。 1706.03762 确立了"并行 > 顺序"作为架构信
条 [1706.03762],整个 LLM 生态都是它的后代
[1706.03762]。DSpark 是这条信条在推理加速子
领域的一次辩证回摆:承认并行主干的 $T_{\text{draft}}$ 优势,但用"一点顺序"
补回质量——生态位是"后 Transformer 时代,在 draft 阶段重新引入受控顺序性"。
相对 frontier 模型的位置。 DSpark 的采用证据很硬——它直接部署在
DeepSeek-V4-Flash/Pro 上作为 MTP-1 的替代 [dspark],而
MTP 是 Llama 3 那一代 dense next-token 主干 [2407.21783]
的标准加速层。也就是说 DSpark 不是学术 demo,而是已进入一线 serving 栈
的组件,生态位比 scope 内多数 peer(RAG/RAPTOR/DreamerV3 仍在方法层)更靠
近产品。
开源与可复现性。 DSpark 开源了 checkpoint + DeepSpec 训练仓库(含
Eagle3/DFlash/DSpark),但 L1 未记录 file:line
[dspark]——处在"部分开源"档,强于 2110.14168
(训练栈 proprietary [2110.14168])和 2407.21783
(只放权重 [2407.21783]),弱于 2410.02367
(pip install 全开 [2410.02367])。
从这个 cluster 的交叉点能读出几条 DSpark 未走的路:
固定的 Markov/RNN head,且 RNN 收益仅在长 $\gamma$ 才显现
[dspark]。DreamerV3 的教训是"跨域鲁棒靠一组量纲无关变
换" [2301.04104]——可否让顺序 head 的阶数随 per-request
的接受率历史自适应(结构化任务用 Markov,开放对话临时升到 RNN)?
只用于"事前剪后缀"。GSM8K verifier 证明同类 value 分数可做"事后 rerank
top-1" [2110.14168]。在 spec decoding 里可否让
drafter 一次产多条候选 block,用 confidence head 同时做剪枝 + 选路
(tree/beam-style speculative),而非单条线性 draft?
production 的 two-steps-prior barrier 写成一个像 SageAttention 平移不变
[2410.02367] 那样可机检的不变式,而非只在 §7 用文字论证
[dspark]。这是把 §3 攻击 2 转成建设性工作。
anchor 模型固定 sigmoid [2407.21783];DSpark 的 STS 是离
线一次性拟合。可否让校准温度随 production 流量分布在线漂移更新(用最近
verify 结果作 anchor),直接封堵 §3 攻击 5 的分布漂移风险?
\text{SPS}(B)$ 只在"验证长度"一个维度贪心 [dspark]。
RAPTOR 在多抽象层上贪心填 token 预算
[2401.18059]——若 draft 也是多层
(不同 $\gamma$ 的候选),调度器可在"长度 × 候选路数"二维预算上联合优化,
而非单轴。
分离在结构上杜绝越界 [2402.06363],DSpark 用时序
barrier 在结构上杜绝 anticipate [dspark]。这
类"用不变式换保证"的模式,可推广到其他"看起来必然有损但可用因果/结构约
束救回来"的 serving 优化(如 KV 驱逐、投机 prefill)。