| ID | Title | 关联维度 |
|---|---|---|
| 2404.16811 | Make Your LLM Fully Utilize the Context (FilM) | 解决 LLM 信息访问失败——FilM 从数据侧修复序列维度位置偏置，AttnRes 从架构侧修复深度维度信息稀释 |
| 2412.10079 | Lost in the Middle, and In-Between | 诊断多跳 QA 中绝对位置 + 证据间距的双重退化；AttnRes 的 depth-selectivity 理论上可改善多步推理的信息保持 |
| 2502.05167 | NoLiMa: Long-Context Evaluation Beyond Literal Matching | 揭示 attention 在缺乏表面匹配线索时的根本脆弱性；AttnRes 改善的 depth-wise 信息流是否能增强 latent association recall 是开放问题 |
| 2502.13965 | Autellix: Efficient Serving for LLM Agents | Agent serving 的 program-level scheduling；AttnRes 的 <2% 推理开销使其可无感集成到 serving stack，不改变调度假设 |
| 2506.08371 | Positional Contrastive Decoding (PCD) | 解码时缓解 posterior salience attenuation（RoPE 低频导致远距离 token 排序退化）；PCD 作用于序列维度 decode-time，AttnRes 作用于深度维度 train-time——正交且可叠加 |
| 2510.08377 | UniVideo: Unified Video Understanding/Generation/Editing | 共享"attention 作为通用连接器"范式——UniVideo 用 self-attention 对齐 MLLM→MMDiT 跨模态特征，AttnRes 用 softmax attention 对齐跨层深度特征 |
| 2511.05850 | Retrieval Quality at Context Limit | 证明 frontier 模型 (Gemini 2.5 Flash) 的 single-needle LITM 已消失；暗示架构改进（可能含更好的残差/位置编码）在训练充分后可彻底解决简单检索 |
| 2601.15300 | Intelligence Degradation in Long-Context LLMs | Qwen2.5-7B 在 43% context capacity 时悬崖式退化，三机制之一是 attention dispersion；AttnRes 的 bounded periodic norm 可能缓解该机制 |
核心关联轴：信息在 Transformer 中的有效传播。AttnRes 解决深度维度的传播瓶颈 [2603.15031]；相关论文分别从序列维度位置偏置（2404.16811, 2412.10079）、注意力稀释（2502.05167, 2506.08371, 2601.15300）、系统部署约束（2502.13965）、跨模态对齐（2510.08377）角度切入同一母题。
AttnRes 识别并解决 PreNorm dilution——第 $i$ 层输出在第 $l$ 层的相对贡献衰减为 $\sim 1/l$ [2603.15031]。这是 depth-axis 的信息稀释。与之对比：
关键 insight: AttnRes 是唯一在 train-time architecture 层面解决信息传播失败的方案。FilM 和 PCD 分别是 data-side 和 decode-side 的 patches。这意味着三者理论上可叠加——AttnRes 改善 depth-flow → FilM 消除 position bias → PCD 修正 decode-time attenuation——形成完整的信息传播修复 stack。
AttnRes 的 §6.2 structured-matrix taxonomy 将所有残差变体（Highway, mHC, DenseFormer, DDL）统一为 depth mixing matrix $M$ 的不同结构——标准残差 = depth-wise linear attention (rank-1)，AttnRes = depth-wise softmax attention (full-rank, input-dependent) [2603.15031]。
相比之下：
AttnRes 的 $M$ 矩阵框架更具生成性——它不仅解释已有方法，还指出改进方向（提高 $M$ 的 rank 和 input-dependence）。
AttnRes 在 48B MoE (3B activated) + 1.4T tokens 上验证 [2603.15031]——这是相关论文中最大的训练规模验证：
| Paper | 最大验证规模 | 训练 tokens | 改动层面 |
|---|---|---|---|
| AttnRes | 48B (3B activated) | 1.4T | Architecture |
| FilM (2404.16811) | 7B | ~1.75M SFT samples | Data |
| PCD (2506.08371) | 8B | 0 (inference-only) | Decode |
| NoLiMa (2502.05167) | Eval only | 0 | Benchmark |
| 2601.15300 | 7B eval | 0 | Diagnosis |
这使 AttnRes 的结论在 scale 层面最可信——小规模改进可能在大规模消失，但 AttnRes 的 1.25× compute equivalence 在 194M–528M scaling 实验 + 48B production model 双重验证下成立。
Full AttnRes 公式简洁（$\mathbf{h}_l = \sum_i \alpha_{i \to l} \cdot \mathbf{v}_i$），真正壁垒在 Block AttnRes 的三重系统优化 [2603.15031]：
这与 Autellix 形成有趣对比：Autellix 的核心也是将简洁的调度策略（LAS → program-level LAS）工程化为可部署系统 [2502.13965]。两篇论文共享 "idea 简单但 engineering 是 moat" 的模式。
AttnRes 的 scaling law fit 显示 exponent 一致（$b \approx 0.057$–$0.058$），改善仅体现为 multiplicative offset [2603.15031]。这意味着 AttnRes 不改变 scaling 行为——在足够大的 compute 下，baseline 最终会追上。1.25× compute equivalence 是一次性收益，不是复利。
对比: 若一个方法改变了 $b$（如从 0.057 到 0.065），即使起点相同，在 large-scale 下差距会无限放大。AttnRes 的 constant offset 使其价值在超大规模下相对缩小。
GPQA-Diamond +7.5 points 是所有 benchmark 中最大的改善，但论文仅以"compositional reasoning benefits from depth-selectivity"一句话解释 [2603.15031]。这缺乏机制性证据：
在 241M 规模，mHC(-lite) 以 1.869 胜过 Block AttnRes 的 1.875 和 Full AttnRes 的 1.874 [2603.15031]。论文在其他规模上取胜，但在小规模反而不如更简单的 $m$-semiseparable 方案。这 raises the question: AttnRes 的优势是否 primarily comes from larger model's capacity to learn meaningful depth routing？在小模型中，学习 $d$-dimensional pseudo-queries 的 overhead 可能不 justify。
Ablation 显示 input-dependent query (loss 1.731) 优于 learned parameter query (1.737) [2603.15031]，差距 0.006 in val loss——这比 Block vs Full AttnRes 的差距 (0.001) 大得多。论文以"需 $d \times d$ 矩阵 + sequential inference"为由放弃，但未量化 latency overhead vs quality gain 的 Pareto tradeoff。在 prefill-dominated workloads（long-context batch inference）中，sequential dependency 的影响可能很小。
截至 2026-05 无社区独立复现报告 [2603.15031]。训练代码未完整公开（仅 README-level 伪代码），pipeline parallelism 的 cross-stage caching 实现未开源。作为 architecture contribution，缺乏独立验证是显著弱点——对比 mHC 已有多个独立实现。
AttnRes 完成了 depth 维度的 "RNN → Transformer" 转变：
| 维度 | Before | After |
|---|---|---|
| Sequence (时间) | RNN (fixed recurrence) → Transformer (softmax attention) | 已完成 (2017) |
| Depth (深度) | Fixed residual (linear attention with all-ones M) → ? | AttnRes (softmax attention over depth) |
这个 duality 框架 [2603.15031] 使 AttnRes 的理论定位非常清晰：它是深度维度上从 linear 到 softmax attention 的转变，正如 Transformer 是序列维度上的同一转变。
AttnRes 与以下工作正交可叠加：
Ablation 显示 input-dependent query (1.731) 优于 static pseudo-query (1.737)，但因 sequential dependency 被放弃 [2603.15031]。可能的解法：
2601.15300 发现 attention dispersion 是 long-context 退化的三机制之一 [2601.15300]。AttnRes 的 bounded periodic norm pattern [2603.15031] 理论上能缓解 hidden state 的 magnitude explosion，从而保持更集中的 attention pattern。
具体假设: AttnRes 模型的 critical threshold 可能高于标准模型的 43.2%——因为 depth-wise selectivity 阻止了 early-layer information 的不可逆稀释，使 attention 在长上下文中仍能有效聚焦。实验设计：对同一 Qwen2.5-7B 训 with/without AttnRes，用 2601.15300 的五方法检测阈值差异。
PCD 通过对比解码减去 local-bias 分量 [2506.08371]；AttnRes 通过 depth-selectivity 保持早期层信息不被稀释 [2603.15031]。两者分别在 decode-time/train-time 作用于不同维度（sequence vs depth）。
假设: AttnRes 改善的 depth-flow 使 gold token 在 logit 空间中的 initial rank 更好（从 rank-4 提升到 rank-2），PCD 再进一步将其推到 rank-1。叠加后 NoLiMa 的 effective length 可能显著延长——因为 AttnRes 保持了 early-layer encoding 的 latent association 信号，PCD 再放大这些信号的 decode-time salience。
2412.10079 发现多跳 QA 中证据间距是独立退化变量 (lost-in-between) [2412.10079]。AttnRes 的 §6.1 可视化显示 pre-attention 层保持更宽 receptive field [2603.15031]——这暗示 depth-selectivity 使不同类型的计算（broad information gathering vs local processing）可以更好分工。
具体方向: 在多跳任务的 attention pattern 分析中，比较 AttnRes vs baseline 模型的 cross-document attention distribution——如果 AttnRes 的 depth-selectivity 使模型能更好地在不同层"保存"不同 hop 的中间结果，则 lost-in-between 效应可能被缓解。
AttnRes 的 depth-sequence duality 不限于 NLP。Vision Transformer 同样使用 PreNorm + 标准残差，深层 ViT（如 ViT-G/14 with 40+ layers）可能同样存在 PreNorm dilution。Block AttnRes 的 N≈8 blocks 设计直接可迁移——且 ViT 无 autoregressive dependency，input-dependent query 的 sequential overhead 在 ViT 中不存在（所有 tokens 可并行）。
UniVideo 已展示 self-attention 是跨模态特征对齐的有效机制 [2510.08377]。将 depth-wise attention 引入 MMDiT 的 dual-stream architecture 可能进一步改善语义-视觉特征在不同 depth 的协同。
Built from L2 hash: 704b1a68798ed8696ce42217917462427753157e51a0e1cb24dab59434dc787a