SLA2 — L3 Cross-Paper Synthesis #

§1 相关论文 #

§2 本篇 vs 相关论文的 delta #

SLA2 vs SLA #

核心进步的本质: SLA2 的 α-mixing 公式 $P_1 = \alpha \cdot P_s$ 是对 SLA formulation mismatch 的精确数学修正 [2602.12675]。SLA 的 linear projection 需要 jointly 学习两件事（补偿 scaling mismatch + 近似 low-rank complement），而 SLA2 通过显式引入 α 将第一件事解析化，linear branch 只需做第二件事——学习负担大幅降低。

SLA2 vs LongCat-Video 的注意力加速 #

互补性: SLA2 在 attention 层面做 fine-grained token-level routing（哪些 QK 对走 sparse vs linear），LongCat 在 block-level 做 coarse-grained sparsity。两者可组合：先用 LongCat 的 coarse-to-fine 策略减少 denoising steps，再在每步内用 SLA2 的 sparse-linear 分解加速 attention。

SLA2 与 Seedance 生态的关系 #

Seedance 2.0 采用 dual-branch MMDiT 架构 [2604.14148]，但论文未披露 attention 加速细节。SLA2 的 sparse-linear attention 是 Seedance 类生产模型可直接采用的即插即用加速模块——论文在 Wan2.1 上验证（与 Seedance 同属 DiT 视频生成赛道），>10× attention acceleration 对 Seedance 声称的 >10× overall acceleration [2604.14148] 是直接贡献者候选。

§3 可攻击面 #

1. SLA2 超越 Full Attention 的质量改进可疑: Table 1 显示 SLA2@97% 在多个 metric 上超过 Full Attention（IQ: 66.64 vs 63.67, VR: 0.1039 vs 0.1084）[2602.12675]。作者归因于 fine-tuning dataset 质量高于 pretraining data——但这意味着 SLA2 的质量提升来自 额外的 fine-tuning（500 steps on 3000 curated videos），而非 sparse attention 本身。公平对比应包括同样 fine-tune 500 steps 的 Full Attention baseline。
1. SoftTop-k 的 binary search 开销未报告: 每个 attention head 每层每 forward pass 都需要对 $\lambda_i$ 做 binary search 以满足 row sum 约束 [2602.12675]。虽然仅在 Stage 1 训练时使用，但 Stage 1 的训练效率未被讨论。
1. Softmax 作为 linear attention 的 φ(·): SLA2 使用 softmax 作为 linear attention kernel activation [2602.12675]。标准 linear attention 选择 ELU+1/ReLU 正是为避免 softmax 的 O(N²) 计算。虽然 SLA2 只在 M=0 positions 计算 linear attention（数量已大幅减少），但 softmax kernel 的数值稳定性和精度特性与 standard kernel mappings 不同，论文未讨论这一选择的后果。
1. VMoBA@14B/95% catastrophic failure 未被解释: VMoBA 在 Wan2.1-14B-720P@95% 时 IQ 从 68.01 暴跌至 21.27 [2602.12675]。SLA2 在同设定下保持 69.02，差距巨大。但论文未分析 VMoBA 为何 catastrophically fail——理解这一 failure mode 对整个 sparse attention 领域至关重要。

§4 生态位 #

SLA2 在 video DiT attention 加速赛道中定位为 trainable sparse-linear hybrid：

方法类型	代表	Sparsity 上限	训练需求	适用场景
Training-free sparse	FlexPrefill, XAttention	~70–80%	0	快速部署，质量敏感
Trainable sparse (block)	VMoBA, NSA	~90–95%	Fine-tune	Block-level 稀疏性稳定的场景
Trainable sparse-linear	SLA, SLA2	95–97%	Fine-tune	DiT video generation
Block sparse + RL	LongCat-Video BSA	~60–80%	Pre-train + GRPO	自有模型全栈优化

SLA2 的生态位优势在于 97% sparsity 仍保持质量，但限制在于需要 per-model fine-tuning（500 steps, 3000 videos）——不像 training-free 方法可即插即用。

§5 未探索方向 #

1. SLA2 + LongCat-Video 的两级加速: 外层用 LongCat 的 coarse-to-fine 减少 denoising steps（从 ~50 到 ~25），内层用 SLA2 的 sparse-linear 加速每步 attention。理论最大加速 = 2× (steps) × 18.7× (attention) ≈ 37× attention, 可能实现 >10× end-to-end。
1. Learnable router 的知识蒸馏: SLA2 的 learnable router ($\mathrm{proj}_q, \mathrm{proj}_k$ 矩阵) 编码了"哪些 QK 对重要"的领域知识。方向：将训练好的 router 蒸馏为更轻量的 rule（如基于 positional pattern 的 static mask），实现 training-free 部署。
1. Audio attention 扩展: Seedance 2.0 的 dual-branch MMDiT 包含 audio branch [2604.14148]。SLA2 目前仅在 video attention 上验证——audio attention 的 sparsity pattern 可能与 video 不同（temporal periodicity vs spatial locality），需要 audio-specific router design。
1. α 的 per-timestep 适应: 当前 α 在所有 diffusion timestep 共享。但 early denoising（high noise）和 late denoising（low noise）的 attention pattern 差异巨大——early steps 更 uniform (linear-friendly)，late steps 更 sparse。方向：timestep-conditioned α，进一步提高 sparsity ceiling。