AMD CDNA 3 Architecture — L3 Cross-Paper Synthesis #
1. 相关论文 #
| Entity | 关系 | 理由 |
|---|
| amd-cdna4-whitepaper | 直接后继 | CDNA 4 在 CDNA 3 chiplet 基础上升级至 3nm XCD + MXFP 格式 |
| nv-hopper-h100-whitepaper | 同代竞品 | H100 是 MI300X 的主要竞争对手 |
| 2510.27583 | 实测验证 | 首篇 MI300X 系统性实测，揭示频率降额和实际性能差距 |
| 2511.02132 | 架构优化 | 针对 MI300X chiplet NUMA 特性的 attention 调度优化 |
| 2604.15379 | 运行时优化 | Fleet 在 MI300/350 上通过 Chiplet-task 抽象解决 L2 碎片化 |
| 2511.08083 | Kernel DSL | HipKittens 为 MI355X 开发的 tile-based DSL 也适用于 MI300X |
2. 本篇 vs 相关论文的 Delta #
CDNA 3 的范式转变：真正的 chiplet 3D 堆叠——8 XCD(5nm) + 4 IOD(6nm)，12 个异构 chiplet 组成统一 GPU [amd-cdna3-whitepaper]。
vs H100 (竞品)：
- MI300X spec 全面领先: FP16 1,307 vs 989 TF (+32%), FP8 2,615 vs 1,979 TF (+32%), 显存 192 vs 80 GB (2.4x), 带宽 5.3 vs 3.35 TB/s (+58%) [amd-cdna3-whitepaper]
- H100 独有优势: Transformer Engine (FP8 自动精度), TMA (硬件 tensor 搬运), Thread Block Clusters, NVLink Switch (256-GPU 域) [nv-hopper-h100-whitepaper]
- 关键矛盾: spec 领先但实测落后。MI300X 在 LLM 推理中仅达 H100 的 37-66% [2510.27583]
频率降额问题 (实测 vs 理论)：
MI300X 理论峰值基于 2100 MHz boost clock，但持续 FP8 负载下频率降至 1083-1217 MHz (52-58%)，是性能差距的首要原因 [2510.27583]。这揭示了 chiplet 架构的热管理挑战——8 个 XCD 的热密度集中难以散出。
Chiplet NUMA 效应：
单个 XCD 仅有 0.66 TB/s 的 HBM 带宽 [amd-cdna3-whitepaper]，跨 XCD 数据访问必须经过 Infinity Fabric→LLC→HBM 路径。2511.02132 证明默认调度下 L2 hit rate 低至 ~1% [2511.02132]，而通过 Swizzled Head-first Mapping 可恢复至 90-97%。Fleet 进一步通过 Chiplet-task 抽象将 L2 hit rate 从 39% 提升至 51% [2604.15379]。
3. 可攻击面 #
- Spec 领先但实测落后的根因：MI300X 频率降至 boost 的 52-58% [2510.27583]，而 H100 能维持 ~100%。这不是简单的"软件不够优化"——是 chiplet 热密度管理的物理约束。每颗 5nm XCD 在全负载下的功耗密度超出了封装散热能力。
- 256MB Infinity Cache 的实际效果存疑：白皮书宣称 17.2 TB/s LLC 带宽 [amd-cdna3-whitepaper]，但 Fleet 的实验显示优化 L2 可能反而降低 LLC hit rate (从 95% 到 24%) [2604.15379]。LLC 的 cache-streaming 修饰符副作用使其实际效果复杂。
- 无硬件 Transformer Engine：H100 的 TE 自动管理 FP8/FP16 精度切换 + per-tensor scaling [nv-hopper-h100-whitepaper]。MI300X 需要软件层面手动管理，增加了框架适配成本。
- 8-GPU 全互联局限于节点内：MI300X 的 IF 链路实现 8-GPU 全互联(896 GB/s)，但缺乏 NVLink Switch 等跨节点方案 [amd-cdna3-whitepaper]。H100 可扩展至 256-GPU NVLink 域 [nv-hopper-h100-whitepaper]。
4. 生态位 #
CDNA 3 (MI300X/MI325X) 的生态位是 "LLM 推理的显存容量冠军"：
- 192-256GB 显存支持单卡部署 70B+ 模型——H100 (80GB) 无法做到 [amd-cdna3-whitepaper]
- vLLM/SGLang 的 AMD 支持使其成为推理市场的真正竞争者
- Meta、Microsoft 等大规模采购验证了商业可行性
范式定位：CDNA 3 证明了 chiplet 3D 堆叠是突破 monolithic die 面积限制的可行路径，但也暴露了该路径的核心挑战——NUMA 效应和功率管理。
5. 未探索方向 #
- 硬件辅助的 NUMA-aware 调度：当前 XCD-aware 调度完全依赖软件 (2511.02132 的 WG-ID remapping, Fleet 的 Chiplet-task) [2511.02132] [2604.15379]。硬件调度器可以根据 L2 occupancy 动态路由 workgroup，消除软件调度开销。
- 跨 XCD 的选择性 L2 共享：当前 8 个 XCD 的 L2 完全私有不相干。一种可配置的 "L2 sharing domain"（如允许 4 个 XCD 组成一个 coherent L2 域）可能在 decode 场景减少 HBM 访问。
- 动态频率-精度折中：针对频率降额问题，一种运行时策略是在检测到频率下降时自动切换到更低精度(FP8→INT8)以维持吞吐，而非被动接受降频。