本篇处于 attention 优化 的硬件/kernel 层，与以下论文构成一个从硬件调度到算法设计到模型评测的纵向切面：
| 论文 | 层次 | 与本篇的关联 |
|---|---|---|
| 2404.16811 (FilM-7B / In2 Training) | 训练数据 | 都识别出 attention 性能瓶颈并通过"空间对齐"解决——FilM 对齐信息位置分布，本篇对齐 workgroup 到 XCD |
| 2412.10079 (Lost in the Middle, Multi-Hop) | 评测/诊断 | 都揭示 attention 对空间分布敏感——证据文档间距 vs K/V tensor 跨 XCD 分散 |
| 2502.05167 (NoLiMa) | 评测/benchmark | 都证明 attention 在缺乏对齐线索时急剧退化——NoLiMa 去除 literal match 后 attention 失效，本篇去除 NUMA-aware scheduling 后 L2 hit rate 跌至 ~1% |
| 2502.13965 (Autellix) | 系统/serving | 都利用数据局部性优化 attention 计算——Autellix 的 intra-program KV-cache locality (>90% hit) 与本篇的 intra-ACC L2 locality (90-97% hit) 是同一原理在不同系统层的投影 |
| 2506.08371 (PCD) | 解码算法 | 都修改 attention 的"空间"维度——PCD 在 token-distance 空间做频率扰动，本篇在 physical-XCD 空间做 workgroup 重映射 |
| 2510.08377 (UniVideo) | 架构设计 | 都依赖 self-attention 的共享模式——UniVideo 的 MLLM token 参与 MMDiT self-attention 实现双向交互，本篇的 ACC 定义本质是 self-attention 内 K/V 共享模式 |
| 2511.05850 (Retrieval at Context Limit) | 评测/测量 | 都关注 attention 在极端条件下的表现——Gemini 2.5 在 1M 上下文下单针检索满分，但底层 attention kernel 在 chiplet GPU 上仍受 NUMA 影响 |
| 2601.15300 (Intelligence Degradation) | 评测/理论 | 都揭示 attention 存在"悬崖式"失效——Qwen2.5-7B 在 ~43% context 出现 F1 断崖，本篇的 Block-first 在 H=128/128K 时 L2 hit rate 断崖至 ~1% |
本篇的独特贡献在于将 NUMA 拓扑感知引入 attention kernel 调度——这是一个其他所有相关论文都未触及的层面。它在 FlashAttention2 之上仅增加 ~15 行 Triton swizzle 代码，却在 MI300X 上实现最高 50% 的 forward 加速 [2511.02132]。
与训练侧方案的对比：FilM-7B (2404.16811) 用 1.75M 条合成数据 + 300 GPU-day 训练消除 lost-in-the-middle [2404.16811]。本篇不需要任何训练——纯 inference-time 优化，且解决的是更底层的 hardware locality 问题。两者互补而非竞争：FilM 修复模型的位置偏置，本篇修复硬件的缓存分散。
与解码侧方案的对比：PCD (2506.08371) 通过对 RoPE 低频分量过旋转构造 local-aware logits 做对比解码，代价是 ~2× forward 计算 [2506.08371]。本篇零额外计算开销——仅重排 workgroup ID，不增加 forward pass 次数。PCD 在 InfiniteBench KV-Retrieval 8K 上提升 +7.0% [2506.08371]，本篇在 MI300X MHA H=128/128K 上提升最高 50% throughput [2511.02132]。两者的优化维度完全正交：PCD 修复 attention score 的远距离衰减，本篇修复 attention 计算的硬件缓存利用率。
与 serving 层方案的对比：Autellix (2502.13965) 利用 program 内 KV-cache 共享（>90% cache hit）做 locality-aware routing [2502.13965]。本篇利用 ACC 内 K/V 张量共享做 XCD-aware mapping（90-97% L2 hit）[2511.02132]。两者是同一个 locality 原理在不同粒度的实现——Autellix 在 engine 间路由层面（ms 级决策），本篇在 workgroup-to-XCD 映射层面（μs 级决策）。
与评测类工作的对比：NoLiMa (2502.05167) 揭示 attention 在缺乏 literal match 时从 99.3% 骤降至 69.7%（GPT-4o at 32K）[2502.05167]。2601.15300 揭示 Qwen2.5-7B 在 ~43% context 出现 cliff-like F1 下降 [2601.15300]。本篇揭示了硬件层面的类似 cliff：Naive Block-first 在 H=128/128K 时 L2 hit rate 从合理水平骤降至 ~1% [2511.02132]。三者共同说明：attention 在多个层面都存在 sharp failure mode，且原因各不相同（缺乏语义线索 / 超过 RoPE 有效范围 / 硬件缓存分散）。
与 2511.05850 的关系：McKinnon 证明 Gemini 2.5 Flash 在 1M 上下文下单针检索满分，LITM 在软件层面已消失 [2511.05850]。但这不意味着 attention 的硬件执行效率也同时解决——即便模型在算法层面"知道答案"，在 chiplet GPU 上的 attention kernel 仍可能因 NUMA 不对齐损失 50% throughput。本篇填补了从 "attention 算法正确" 到 "attention 硬件高效" 之间的 gap。
UniVideo (2510.08377) 的架构连接：UniVideo 证明 self-attention（而非 cross-attention）使 MLLM features 能更高效地与 DiT features 对齐，仅需训练 MLP connector [2510.08377]。本篇的 ACC 概念——同一 head 内所有 WG 共享 K/V——正是 self-attention 数据共享模式的直接体现。UniVideo 在语义特征空间利用这一共享（双向 attention 交互），本篇在物理硬件空间利用同一共享（L2 cache 复用）。
本篇仅在 AMD MI300X 上验证，且仅测试 forward pass（backward pass gains 仅 ~10%）[2511.02132]。以下场景未覆盖：
2601.15300 给出了三瓶颈 unified framework ($L_c = \min\{L_{\text{RoPE}}, L_{\text{attn}}, L_{\text{info}}\}$) [2601.15300]，PCD 给出了 attention decay 的谱分析（Theorem A.5：衰减率改善因子 $(\ln B'/\ln B)^{2/d}$）[2506.08371]。相比之下，本篇完全没有分析模型——不能预测在给定 $(H_Q, N, d, \text{L2\_size}, \text{NUM\_XCD})$ 下 Swizzled Head-first 的预期收益。实践者无法判断何时本优化是 critical vs negligible，只能在所有情况下无脑启用。
Forward pass 50% vs backward pass ~10% 的巨大收益差距，论文仅给出 "scalar operation bottleneck" 的猜测 [2511.02132]。训练场景下 backward pass 占 ~2/3 的总计算时间——如果 backward 只提升 10%，end-to-end 训练提速远低于 50% 的 headline number。这与 2412.10079 揭示的 multi-hop QA 中 CoT 仅对 instruction-tuned 模型有效的现象类似 [2412.10079]：在某些 regime 下，修复一个瓶颈只暴露下一个瓶颈。
论文未讨论 $H_Q \mod \text{NUM\_XCD} \neq 0$ 时的 fallback [2511.02132]。当 $H_Q = 12$（某些小型模型）且 NUM\_XCD = 8 时，整数除法 heads_per_xcd = 12 // 8 = 1 会浪费 4 个 XCD 的 head 分配。这类边界条件的处理对实际部署至关重要，但论文未给出方案。
当 GQA KV 头数恰好等于 XCD 数时（如 Llama-3 的 8 KV heads = 8 XCDs），Swizzled Block-first 已匹配 Swizzled Head-first [2511.02132]。考虑到 Llama-3/Qwen2.5/DeepSeek-V3 等主流模型大多使用 GQA，且 AMD 的 AITER 仓库已部署 Swizzled Block-first [2511.02132]，本方法的 incremental value 主要体现在 MHA（如 DeepSeek-V3 prefill）和 GQA group 数 ≠ XCD 数的场景。
本篇代表了一个正在兴起的趋势：在 chiplet GPU 时代，kernel 优化必须感知硬件拓扑。这与 2000 年代 NUMA-aware 数据库调度、2010 年代多核 CPU 的 thread affinity 是同一范式在 AI accelerator 上的重现。
具体来说，本篇处于以下生态层次：
Layer 4: 模型训练/评测 → FilM-7B, NoLiMa, 2601.15300
Layer 3: 解码/推理算法 → PCD, 2511.05850 (Gemini LITM-free)
Layer 2: Serving/调度系统 → Autellix (program-level scheduling)
Layer 1: Kernel/硬件调度 → **本篇 (ACC-to-XCD mapping)**
Adoption evidence：AMD AITER 仓库已部署 Swizzled Block-first（本篇的次优但 GQA-compatible 变体）用于 FA2 backward pass [2511.02132]。Triton 的默认 FA kernel 使用 Naive Head-first [2511.02132]。考虑到本文方法仅需 ~15 行代码修改且零额外计算开销，被上游 Triton / AITER 采纳的概率很高。
市场定位：NVIDIA 通过硬件缓存一致性"隐藏" NUMA（Blackwell dual-die coherency），意味着本方法在 NVIDIA 生态无用 [2511.02132]。AMD 则选择暴露 NUMA 特性给软件优化——这意味着本方法是 AMD MI300X/MI350X 生态的 must-have 优化，而非跨厂商通用技术。这种硬件策略差异决定了本文的生态位：AMD-specific attention kernel 优化的 canonical reference。
与 serving 层的协同：Autellix 在 engine 间利用 intra-program locality 实现 1.5× multi-engine 提速 [2502.13965]。本篇在 engine 内利用 intra-ACC locality 实现 1.5× kernel 提速。两者可叠加：Autellix 确保 call 路由到正确 engine（program KV-cache 在对的 GPU 上），Swizzled Head-first 确保 workgroup 映射到正确 XCD（head K/V 在对的 L2 上）。
本篇仅将 ACC-to-XCD mapping 应用于 attention。但 GEMM、Conv、LayerNorm 等 kernel 在 chiplet GPU 上同样存在 NUMA 效应。Tensile 已对 GEMM 做了类似优化（L2 hit 43%→92%）[2511.02132]，但尚无统一框架描述"什么时候哪些 kernel 需要 NUMA-aware scheduling"。将 ACC 泛化为 "Compute Affinity Cluster"——定义为共享输入数据的 workgroup 集合——可为所有 kernel 提供统一的 NUMA 优化指导。
当 sequence length 足够长时，单个 head 的 K/V 大小（$2 \times N \times d \times 2$ bytes for BF16）可能超过 XCD 的 4MB L2。例如 $N = 128K, d = 128$ 时，K+V = 64MB >> 4MB L2。此时需要将 ACC 进一步拆分为子 ACC，或在 ACC 内做 tiled K/V streaming。结合 2601.15300 的 cliff 检测方法 [2601.15300]，可以设计一个运行时检测器：当 ACC working set > L2 capacity 时自动切换到 streaming 模式。
PCD 通过双 forward pass（standard + over-rotated RoPE）实现 training-free 长上下文提升 [2506.08371]。双 forward pass 意味着 attention kernel 被调用两次——但两次共享相同的 K/V 投射权重，仅 RoPE rotation 不同。这与 ACC 内的 K/V 共享模式完美匹配：两次 forward 可以复用同一 XCD 上的 K/V L2 cache（仅重算 rotation 部分）。将 Swizzled Head-first 应用于 PCD 的双路 attention 可以把 PCD 的 throughput overhead 从 ~2× 压到 ~1.3×。
本篇关注单层 attention 的 WG-to-XCD mapping。但 Transformer 的层间流水也存在 NUMA 效应：如果连续两层的 attention 头被映射到不同 XCD，中间的 hidden state 传输会产生跨 XCD traffic。结合 Autellix 的 critical-path 优先调度思想 [2502.13965]，可以设计跨层的 NUMA-aware pipeline scheduling——让同一 head 在多层间保持 XCD affinity。
DeepSeek-V3 的 Multi-Latent Attention 将 K/V 压缩到 latent 空间，改变了 K/V 共享模式。本篇的 ACC 定义（= 共享 K/V 的 WG 集合）需要根据 MLA 的 latent 共享结构重新定义。如果 MLA 的 latent 在多个 head group 间共享，ACC 可以跨 head group 合并，潜在地获得比标准 GQA 更大的 L2 复用窗口。
2511.05850 和 2601.15300 的长上下文评测都假设底层 kernel 以最优效率运行 [2511.05850] [2601.15300]。但在 AMD 硬件上，NUMA-unaware kernel 可能导致同一模型的 throughput 相差 50%，间接影响 serving 系统的 batch size 和 latency，进而影响评测结果的可复现性。建议长上下文评测标准中加入硬件配置声明（kernel scheduling policy、XCD count、L2 size），避免硬件级差异被误归因为模型差异。
Built from L1 hash fe18d44f, L2 hash 3b6481ba. 8 related entities cited.