SLA 处于 "DiT 高效注意力" 与 "混合注意力架构" 两条研究主线的交叉点。以下 8 篇按关联强度排序。
| Entity | 关联理由 |
|---|---|
| LongCat-Video (2510.22200) | 同为 DiT 视频生成的注意力加速方案。LongCat 使用 3D Block Sparse Attention (93.75% sparsity)，SLA 使用 sparse+linear 混合 (95% sparsity)。两者都在 Wan2.1 系列模型上评测，直接可比 [2510.22200] [2509.24006]。 |
| Kimi Linear (2510.26692) | 同为"混合注意力"范式——KDA (线性注意力) + MLA (全注意力) 3:1 交错用于 LLM [2510.26692]。SLA 将 sparse + linear 融合用于 DiT。两者共享 "hybrid attention" 的核心 insight，但应用域和融合粒度不同。 |
| Entity | 关联理由 |
|---|---|
| Massive Values (2502.01563) | 揭示 RoPE-based LLM 注意力中 Q/K 低频维度的 massive values 结构 [2502.01563]。SLA 发现 DiT 注意力权重的"少量高秩+大量低秩"双峰分解 [2509.24006]。两者从不同模型族（LLM vs DiT）独立发现注意力权重的非均匀结构，暗示注意力矩阵的低秩残差可能是 Transformer 的普遍属性。 |
| Attention Residuals (2603.15031) | 将 PreNorm 残差连接替换为 softmax depth-attention [2603.15031]。SLA 在空间维度修改注意力计算；AttnRes 在深度维度修改信息聚合。两者正交但共享 "softmax 比固定权重更好" 的设计哲学。 |
| Entity | 关联理由 |
|---|---|
| Qwen3-Omni (2509.17765) | Thinker-Talker MoE 架构中 Code2Wav 使用轻量 ConvNet 替代 block-wise DiT [2509.17765]。SLA 优化 DiT 内的注意力；Qwen3-Omni 则选择完全回避 DiT 的注意力瓶颈。 |
| Qwen2.5-Omni (2503.20215) | 使用 sliding-window DiT 做 codec-to-wav 生成，block attention 限制感受野 [2503.20215]。SLA 的 block-level 分类与此类 block-wise 设计在机制上相关。 |
| Kimi K2 (2507.20534) | MLA (Multi-head Latent Attention) 通过 latent KV 压缩实现注意力效率 [2507.20534]。MLA 是 "降低 KV 维度" 路线，SLA 是 "减少计算块" 路线——互补而非竞争。 |
| Kimi K2.5 (2602.02276) | 继承 K2 的 MLA 架构，加挂 MoonViT 视觉塔 [2602.02276]。与 SLA 的关联主要通过 MLA 注意力效率设计的间接对比。 |
SLA 的核心创新是将注意力权重三分类为 critical / marginal / negligible，对 marginal 部分使用 $O(N)$ 线性注意力而非直接跳过 [2509.24006]。LongCat-Video 的 3D Block Sparse Attention 仅区分"保留"和"跳过"两类 [2510.22200]。
定量差异：
| 维度 | SLA | LongCat-Video BSA |
|---|---|---|
| 稀疏度 | 95% | 93.75% |
| Marginal 处理 | 线性注意力 ($O(Nd^2)$) | 跳过 |
| 需要微调 | 是 (2000 步) | 否 (training-free) |
| Kernel 实现 | 单一融合 Triton kernel | Triton + ring attention |
| 质量保持 | VA 76.96 vs Full 76.78 | "near-lossless" |
| 模型 | Wan2.1-1.3B | 自研 13.6B DiT |
关键区别：SLA 通过微调让模型适应 sparse+linear 计算模式，这使得 95% 稀疏度下质量甚至略超 full attention。LongCat 的 BSA 是 training-free 的推理优化，不修改模型权重。两者不可直接对比质量——SLA 的优势来自微调，BSA 的优势来自零成本部署。
SLA 在 单层内 将注意力块分为三类，每个 Q-K 块对独立分配计算方式 [2509.24006]。Kimi Linear 在 层间 交错两种注意力类型（3 层 KDA + 1 层 MLA），每层只用一种注意力 [2510.26692]。
| 维度 | SLA | Kimi Linear |
|---|---|---|
| 混合粒度 | 块级 (per Q-K block pair) | 层级 (per layer) |
| 注意力类型 | FlashAttn + Linear Attn | KDA (linear) + MLA (full) |
| 应用域 | DiT (双向注意力) | LLM (因果注意力) |
| 位置编码交互 | 无（DiT 无因果性约束） | NoPE on MLA + KDA gates |
| 状态管理 | 无状态（每步独立推理） | KDA 维护固定大小 recurrent state |
两者独立发现 "纯 linear 不够、纯 sparse/full 太慢" 的基本矛盾，但解法路径完全不同：SLA 在同一层内按块分流，Kimi Linear 在层间按比例分流。
SLA 发现 DiT 的注意力权重分解为 "sparse few (高秩 <10%) + low-rank many (低秩 >90%)"，并用 stable rank 定量验证 [2509.24006]。Massive Values 发现 LLM 的 Q/K 在低频 RoPE 维度存在 concentrated massive values，破坏后上下文理解能力崩溃 [2502.01563]。
两个发现的关系：SLA 分析的是注意力 输出 (softmax 后的权重矩阵 $P$)，Massive Values 分析的是注意力 输入 (softmax 前的 Q/K 激活)。前者发现输出矩阵可分解，后者发现输入向量有结构性异常值。这暗示注意力的非均匀性在整个计算链中普遍存在——从输入的 massive values 到输出的低秩残差。但 SLA 的发现目前仅限于 DiT（无 RoPE），而 Massive Values 明确归因于 RoPE 的频率结构。DiT 中是否存在类似的输入端异常值结构是一个未探索的问题。
SLA 选择优化 DiT 内的注意力计算 [2509.24006]。Qwen3-Omni 的 Code2Wav 组件则直接用因果 ConvNet 替代 block-wise DiT vocoder，彻底规避注意力计算 [2509.17765]。Qwen2.5-Omni 使用 sliding-window block attention 限制 DiT 感受野 [2503.20215]。
三种策略的取舍：
| 策略 | 代表 | 优点 | 代价 |
|---|---|---|---|
| 优化注意力 | SLA | 保留全局感受野 | 需要微调 + 自定义 kernel |
| 限制注意力 | Qwen2.5-Omni DiT | 简单实现 | 感受野受限 → 可能影响长程一致性 |
| 替换注意力 | Qwen3-Omni ConvNet | 最低延迟，frame-by-frame streaming | 完全丧失全局依赖能力 |
SLA 的方案保持了全局注意力的信息容量（critical 块仍然做 full attention），同时大幅降低计算量。但 Qwen3-Omni 的 ConvNet 方案在流式延迟上有根本性优势（234 ms 首包），这是 SLA 无法比拟的。
SLA 的 $\text{Proj}$ 层（零初始化，$O = O^s + \text{Proj}(O^l)$）让模型从纯 sparse 逐步学习利用线性注意力补偿 [2509.24006]。Attention Residuals 的 pseudo-query（零初始化，softmax depth-attention）让模型从均匀平均逐步学习选择性深度聚合 [2603.15031]。两者共享 "零初始化 → 渐进式学习" 的设计模式，这可能是混合架构微调的一个通用 best practice。
SLA 的 compressed attention prediction 使用 mean pooling 将 $N \times N$ 注意力降至 $(N/b)^2$ 的分类问题 [2509.24006]。论文未给出 pooling 精度的理论分析，也未讨论哪些注意力模式下 pooling 会失效 [2509.24006]。同时，开源代码的 smooth-K 技巧（零均值化 K）未在论文中提及 [2509.24006]。
反驳难度：高。block 内 Q/K 方差大时 mean pooling 可能将 critical 块误分为 marginal，这会直接导致质量退化。SLA 的后续工作 SLA2 (arXiv 2602.12675) 已确认 block-level TopK/BottomK 分类是已知薄弱环节。
论文承认线性注意力在 SLA 中 "不是对 marginal 权重的近似，而是可学习补偿" [2509.24006]，但未解释这个补偿信号具体学到了什么。$\text{Proj}$ 收敛后的权重矩阵是否有可解释的结构？这使得 "为什么 SLA 有效" 的理论理解是不完整的。
对比：Kimi Linear 的 KDA 有明确的 recurrence 公式 $S_t = (I - \beta_t k_t k_t^\top) \cdot \text{Diag}(\alpha_t) \cdot S_{t-1} + \beta_t k_t v_t^\top$，每个组件有清晰的物理意义 [2510.26692]。SLA 的线性注意力路径缺乏类似的机制性解释。
SLA 仅在 Wan2.1-1.3B（单一 1.3B 参数视频模型）和 LightningDiT（图像）上评测 [2509.24006]。而 LongCat-Video 在自研 13.6B 模型上评测 [2510.22200]。未验证的关键维度：
开源代码将 sparse 和 linear attention 分为两个独立计算，linear attention 在 PyTorch 中对全部 tokens 计算（而非仅 marginal 块），没有论文描述的 "仅对 marginal 块计算线性注意力" 的优化 [2509.24006]。虽然 $O(Nd^2)$ 在当前序列长度下影响极小，但这使得论文的理论贡献（三分类节省）在实现中被简化。
SLA 需要 2000 步微调（batch 64）[2509.24006]，但论文未报告 GPU-hours 或训练成本。相比之下，LongCat-Video 的 BSA 是 training-free [2510.22200]。对于需要快速部署不同 sparsity 配置的场景，SLA 的微调成本可能是实际障碍。
SLA 位于 "DiT 高效推理" 的研究前沿，是第一个成功将 sparse 和 linear attention 统一用于 DiT 视频生成的方法。其生态位可从两个轴定义：
轴 1: 训练需求（training-free vs fine-tuning-required）
| Training-free | Fine-tuning-required |
|---|---|
| LongCat BSA, SpargeAttn | SLA, Sparge-T |
SLA 选择了 fine-tuning 路线，这使得它能达到更高的稀疏度（95% vs ~85%）和更好的质量，但牺牲了即插即用的便利性。
轴 2: 计算保留方式（skip-only vs hybrid）
| Skip-only (binary mask) | Hybrid (多级计算) |
|---|---|
| BSA, VSA, VMoBa | SLA (三级: full/linear/skip) |
SLA 是当前唯一将三级计算粒度融合到 DiT 注意力中的方法。
| 系统 | 核心策略 | 最佳场景 |
|---|---|---|
| SLA | Sparse+linear fusion, 微调 | 愿意微调、追求极致稀疏度的视频 DiT |
| LongCat BSA | 3D block sparse, training-free | 快速部署、长视频续写场景 |
| Kimi Linear KDA | Layer-level hybrid, LLM | 自回归推理、长上下文 KV cache 节省 |
| Qwen3-Omni ConvNet | 替换 DiT → ConvNet | 流式语音生成、极低延迟 |
SLA 的 sparse+linear 在块级操作，BSA 的 3D block selection 在空间-时间维度操作 [2510.22200]。两者可组合：先用 BSA 的 3D 块选择确定稀疏模式，再对非跳过块用 SLA 的 marginal/critical 二次分类。预期稀疏度可进一步提升至 97%+ 而不损失质量。
Massive Values 证明 Q/K 的异常值集中在特定维度且承载关键信息 [2502.01563]。SLA 的 mean pooling mask prediction 未考虑 Q/K 维度的非均匀性。如果 DiT 中也存在类似的维度级异常值结构，可以设计 weighted pooling（按维度 importance 加权），提升 compressed attention prediction 的精度，解决 §3 攻击 1 的问题。
Kimi Linear 的 KDA 使用 per-channel diagonal gate + delta rule 维护固定大小 recurrent state $S \in \mathbb{R}^{128 \times 128}$ [2510.26692]。SLA 的线性注意力 $O(Nd^2)$ 仍需遍历所有 marginal 块。若将 KDA 的 recurrent 机制移植到 DiT 的 marginal 路径，可以将 marginal 计算从 $O(Nd^2)$ 降至固定大小状态更新，进一步提升效率。但 KDA 的因果性假设与 DiT 的双向注意力存在根本冲突，需要重新设计非因果版本的 recurrent state。
Attention Residuals 在深度维度做 softmax 选择 [2603.15031]，SLA 在空间维度做三分类。两者组合可构建 "双维度高效 DiT"：每层用 SLA 减少空间注意力计算，同时用 AttnRes 让深层选择性地聚合浅层信息而非盲目累加。这可能在更深的 DiT 中（如 48 层 LongCat 级别）带来质量和效率的双重提升。
SLA 的 $\text{Proj}$ 层和线性注意力路径需要微调 [2509.24006]。LongCat BSA 则是 training-free 的 [2510.22200]。一个折中方案：在一个模型上完成 SLA 微调后，将学到的 mask prediction + Proj 参数蒸馏为轻量的 adapter，使其可以零样本迁移到同架构的其他 DiT 模型（如 Wan2.1-14B）。这解决了 SLA 在多模型部署场景下的微调成本问题。