2025 年数据中心 GPU 进入 AMD CDNA 4 (MI355X) vs NVIDIA Blackwell (B200) 正面对决时代。双方 FP8 峰值算力已基本持平（~5 PFLOPS），竞争焦点从纯算力转向互联规模、显存容量、能效比和软件生态的全栈博弈 [gpu-arch-comparison-2025]。AMD 凭借 chiplet 封装路线和 288 GB 显存在推理市场崛起；NVIDIA 凭借 NVLink5 + NVL72 机架级互联和 CUDA 全栈生态在训练市场保持系统性优势 [nv-blackwell-whitepaper]。精度格式已下探至 FP4/MXFP4，两家均提供硬件原生 4-bit 浮点支持 [amd-cdna4-whitepaper] [nv-blackwell-whitepaper]。
三个正交维度组织全部 10 篇论文/白皮书：
| 类型 | 论文 | 特征 |
|---|---|---|
| 厂商白皮书 | amd-cdna1, amd-cdna2, amd-cdna3, amd-cdna4, nv-ampere-a100, nv-hopper-h100, nv-blackwell | 理论峰值、架构设计意图、ISA 变更 |
| 独立实测 | 2510.27583, 2512.02189 | 实际利用率、微架构参数逆向、端到端 workload 性能 |
| 跨厂商对比综合 | gpu-arch-comparison-2025 | 基于多份白皮书的系统性横向分析 |
| 代际 | AMD | NVIDIA | 年份 |
|---|---|---|---|
| Gen 1 (奠基) | CDNA 1 / MI100 [amd-cdna1-whitepaper] | Ampere / A100 [nv-ampere-a100-whitepaper] | 2020 |
| Gen 2 (扩展) | CDNA 2 / MI250X [amd-cdna2-whitepaper] | Hopper / H100 [nv-hopper-h100-whitepaper] | 2021–2022 |
| Gen 3 (FP8) | CDNA 3 / MI300X [amd-cdna3-whitepaper] | — | 2023–2024 |
| Gen 4 (FP4/MX) | CDNA 4 / MI355X [amd-cdna4-whitepaper] | Blackwell / B200 [nv-blackwell-whitepaper] | 2024–2025 |
| 关注层面 | 主要论文 |
|---|---|
| 计算架构与 Tensor/Matrix Core | amd-cdna1, amd-cdna2, amd-cdna3, amd-cdna4, nv-ampere-a100, nv-hopper-h100, nv-blackwell, 2512.02189 |
| 互联与规模化 | nv-hopper-h100 (NVLink Switch 256-GPU), nv-blackwell (NVL72), amd-cdna4 (IF mesh), 2510.27583 (RCCL vs NCCL) |
| 内存层次与带宽 | 2510.27583 (MI300X HBM 实测), 2512.02189 (TMEM 实测), amd-cdna3 (Infinity Cache), nv-blackwell (96 MB L2) |
| 软件栈与实际利用率 | 2510.27583 (hipBLASLt 效率 80–85%), 2512.02189 (PTX 微基准方法论), gpu-arch-comparison-2025 (生态对比) |
CDNA 1 (MI100, 2020)：7nm 单 die，120 CU，首次引入 Matrix Core Engine 和 MFMA 指令族，将 GPU 从图形通用架构分化为计算专用架构（移除所有图形固定功能单元），FP16 Matrix 184.6 TFLOPS，32 GB HBM2 (1.23 TB/s) [amd-cdna1-whitepaper] [amd-cdna1-whitepaper]。
CDNA 2 (MI250X, 2021)：7nm MCM 双 GCD 封装，220 CU，新增 FP64 Matrix Core（95.7 TFLOPS），128 GB HBM2e (3.2 TB/s)，封装内 400 GB/s 双向互联实现近线性扩展，驱动 Frontier——全球首台 Exascale 超算 [amd-cdna2-whitepaper] [amd-cdna2-whitepaper]。
CDNA 3 (MI300X/MI325X, 2023–2024)：5nm+6nm chiplet 3D 堆叠（8 XCD + 4 IOD），304 CU，首次支持 FP8 (OCP E4M3/E5M2) 和 TF32，FP8 达 2,615 TFLOPS，192–256 GB HBM3/3E，256 MB Infinity Cache 提供 17.2 TB/s 带宽放大 [amd-cdna3-whitepaper]。单 XCD 仅 0.66 TB/s HBM 带宽，数据局部性至关重要 [amd-cdna3-whitepaper]。
CDNA 4 (MI355X, 2025)：3nm+6nm chiplet（8 XCD + 2 IOD），256 CU（per-CU 矩阵吞吐翻倍），FP8 达 5.0 PFLOPS，MXFP4/MXFP6 达 10 PFLOPS，LDS 扩容至 160 KB/CU (2.5x)，288 GB HBM3E (8.0 TB/s)。大胆移除 TF32 硬件并将 FP64 Matrix 减半，标志 AI 优先的明确转向 [amd-cdna4-whitepaper] [amd-cdna4-whitepaper]。
Ampere (A100, 2020)：7nm 单 die 826mm²，108 SM，第三代 Tensor Core 引入 TF32 和 FP64 TC，首创 2:4 结构化稀疏和 MIG 多实例 GPU，FP16 TC 312 TFLOPS，80 GB HBM2e (2.04 TB/s)，40 MB L2 [nv-ampere-a100-whitepaper]。
Hopper (H100, 2022)：4N 定制工艺 814mm²，132 SM，第四代 TC 引入 FP8 + Transformer Engine 自动精度管理，TMA 硬件 tensor 搬运，Thread Block Clusters + DSMEM 跨 SM 协作，FP8 达 1,979 TFLOPS，80 GB HBM3 (3.35 TB/s)，NVLink 4 900 GB/s + NVLink Switch 256-GPU 域 [nv-hopper-h100-whitepaper]。
Blackwell (B200, 2024–2025)：4NP 双 die 统一 GPU（NV-HBI 10 TB/s），208B 晶体管，第五代 TC 支持 FP4 + NVFP4 两级微缩放 + TMEM 新存储层次，FP4 达 9,000 TFLOPS，192 GB HBM3e (8.0 TB/s)，NVLink5 1.8 TB/s + NVL72 机架级 72-GPU 域 (130 TB/s) [nv-blackwell-whitepaper]。
2510.27583 (MI300X 实测) 和 2512.02189 (Blackwell 微基准) 构成了独立验证层——将厂商白皮书的理论声明转化为实测数据。MI300X 仅达理论峰值的 45% [2510.27583]，Blackwell 达 96–99% [2512.02189]，揭示了理论 spec 与实际性能的巨大差异。
gpu-arch-comparison-2025 系统性汇总了四代架构的演进轨迹，提炼出 Ops:Byte 攀升趋势、封装哲学分歧、精度下探路径等宏观洞见 [gpu-arch-comparison-2025]。
| GPU | 年份 | 工艺 | CU/SM | FP16 TC (TF) | FP8 TC (TF) | FP4/MXFP4 (TF) | HBM (GB) | BW (TB/s) | 互联 BW | TDP (W) | FP8 利用率 | 代码开源 | 可复现性 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| MI100 (CDNA 1) | 2020 | 7nm | 120 CU | 184.6 | — | — | 32 HBM2 | 1.23 | 3×IF | 300 | 未报告 | 部分 (ROCm) | 部分 |
| A100 (Ampere) | 2020 | 7nm | 108 SM | 312 | — | — | 80 HBM2e | 2.04 | 600 GB/s NVLink | 400 | 未报告 | 未公开 | 部分 |
| MI250X (CDNA 2) | 2021 | 7nm | 220 CU | 383 | — | — | 128 HBM2e | 3.2 | 800 GB/s IF | 500 | 未报告 | 部分 (ROCm) | 部分 |
| H100 (Hopper) | 2022 | 4N | 132 SM | 989.4 | 1,979 | — | 80 HBM3 | 3.35 | 900 GB/s NVLink | 700 | ~93% [2510.27583] | 未公开 | 部分 |
| MI300X (CDNA 3) | 2023 | 5nm+6nm | 304 CU | 1,307 | 2,615 | — | 192 HBM3 | 5.3 | 896 GB/s IF | 750 | 45% [2510.27583] | 部分 (ROCm) | 可复现 |
| MI325X (CDNA 3) | 2024 | 5nm+6nm | 304 CU | 1,307 | 2,615 | — | 256 HBM3E | 6.0 | 896 GB/s IF | 未报告 | 未报告 | 部分 (ROCm) | 部分 |
| B200 (Blackwell) | 2024 | 4NP | 144 SM | 2,250 | 4,500 | 9,000 | 192 HBM3e | 8.0 | 1,800 GB/s NVLink5 | 1,000 | 96–99% [2512.02189] | 未公开 | 可复现 |
| MI355X (CDNA 4) | 2025 | 3nm+6nm | 256 CU | 2,516 | 5,033 | 10,066 | 288 HBM3E | 8.0 | 1,075 GB/s IF | 1,400 | 未报告 | 部分 (ROCm) | 不可 |
注："代码开源"指硬件驱动/kernel 库的开源程度（AMD ROCm 为开源，NVIDIA CUDA 为闭源）；"可复现性"指独立第三方能否复现白皮书/论文中的性能声明。2510.27583 和 2512.02189 为可复现的独立实测。MI355X 尚未有独立实测数据，标为"不可"。
| GPU | FP16 Ops:Byte | FP8 Ops:Byte | MXFP4 Ops:Byte | 含义 |
|---|---|---|---|---|
| MI100 | 150 | — | — | 大部分 GEMM compute-bound |
| A100 | 153 | — | — | 类似 MI100 |
| H100 | 295 | 591 | — | Memory-bound 阈值大幅提高 |
| MI300X | 247 | 493 | — | 略低于 H100，decode 更友好 |
| MI355X | 315 | 629 | 1,258 | 极端 compute-bound 阈值 |
| B200 | 281 | 563 | 1,125 | 与 MI355X 接近 |
[gpu-arch-comparison-2025] [amd-cdna4-whitepaper] [nv-blackwell-whitepaper]
| 论文/白皮书 | Strength | Weakness | Best-for |
|---|---|---|---|
| amd-cdna1-whitepaper | 首次 CDNA/RDNA 分化，MFMA 指令族奠基 | 无 FP8，32 GB 显存过小，无稀疏 | 理解 AMD 计算 GPU 架构起点 |
| amd-cdna2-whitepaper | MCM 双 GCD 首创，FP64 Matrix 95.7 TF 领先，驱动 Frontier | 仍 7nm，无 FP8，双 GCD 编程模型额外复杂 | HPC FP64 密集工作负载，Exascale 系统设计参考 |
| amd-cdna3-whitepaper | 革命性 chiplet 3D 堆叠，192–256 GB 显存，FP8 + Infinity Cache | 跨 XCD 通信延迟高，LDS 仅 64 KB，无 Transformer Engine | LLM 推理（显存容量优势），chiplet 架构研究 |
| amd-cdna4-whitepaper | MXFP6 独有精度，LDS 160 KB，288 GB 显存，5 PF FP8 | FP64 减半，TF32 移除，互联落后 NVLink5 67%，TDP 1,400W | 大模型推理（显存+MXFP4/6），AI 优先场景 |
| nv-ampere-a100-whitepaper | TF32 零改动加速，MIG 多实例，2:4 稀疏首发，40 MB L2 | 80 GB 显存对 LLM 不足，INT4 TC 实用性低 | 定义数据中心 GPU 标准，训推一体部署 |
| nv-hopper-h100-whitepaper | FP8 + Transformer Engine 自动化，TMA 硬件搬运，NVLink Switch 256-GPU | 80 GB 显存瓶颈（催生 H200），700W 液冷需求 | LLM 训练基础设施主力，FP8 生态推动 |
| nv-blackwell-whitepaper | 双 Die NV-HBI 突破光刻极限，NVL72 机架级域，FP4 + TMEM | 技术简报缺完整微架构参数，1,000W TDP，NVL72 部署门槛高 | 万亿参数 MoE 推理/训练，机架级系统设计 |
| 2510.27583 | 首个系统性 MI300X 多维度实测，频率-效率分离方法论精妙 | 仅 Llama 70B 一个模型，AMD/NV 框架不对等(vLLM vs TRT-LLM) | GPU 采购决策，AMD 软件栈优化目标量化 |
| 2512.02189 | 首篇 Blackwell PTX 微基准，TMEM/tcgen05/FP4 微架构参数实测 | 单 GPU 测量未覆盖 dual-die NUMA，CUDA 13.0 preliminary | Kernel 优化指导，模拟器参数输入，Blackwell 迁移规划 |
| gpu-arch-comparison-2025 | 四代架构系统性横向对比，Ops:Byte 趋势提炼 | Blackwell 部分规格为估算，未含实际 workload benchmark | 架构选型宏观决策，技术趋势追踪 |
Ops:Byte 从 A100 的 153 (FP16) 攀升到 MI355X/B200 的 ~315/281 (FP16) 和 629/563 (FP8)，MXFP4 更高达 1,258 [gpu-arch-comparison-2025] [amd-cdna4-whitepaper]。除大矩阵 GEMM（M≥1,258 for MXFP4），几乎所有操作 memory-bound [nv-blackwell-whitepaper]。FP4 的真正价值不在峰值 TFLOPS，而在用更少 bit 传输相同语义信息——8 TB/s 带宽可传输 2x FP4 元素 vs FP8 [nv-blackwell-whitepaper]。
MI300X 理论 FP8 2,615 TFLOPS 但实际仅达 45%（~1,180 TFLOPS），H100/B200 达 93–96% [2510.27583]。频率-效率分离实验量化原因：运行频率从 2,100 MHz 降至 ~1,200 MHz（~42% 降频）× 软件效率 80–85% ≈ 47% [2510.27583]。Blackwell 所有精度 96–99% 理论峰值利用率 [2512.02189]。差距根因是软件栈成熟度而非硬件设计 [2510.27583]。
AMD 每代提供更大显存：MI355X 288 GB vs B200 192 GB (+50%) [gpu-arch-comparison-2025]。NVIDIA 以 NVL72 的 13.5 TB 聚合显存回应 [nv-blackwell-whitepaper]。单卡推理 AMD 288 GB 可容纳 ~400B FP8 模型 [amd-cdna4-whitepaper]；大规模训练 NVLink5 (1.8 TB/s) + NVL72 (130 TB/s) 是 IF (1,075 GB/s, 8-GPU 域) 无法匹配的 [amd-cdna4-whitepaper]。
CDNA 4 将 FP64 Matrix 从 163.4 TF 削减至 78.6 TF（减半），移除 TF32 硬件 [amd-cdna4-whitepaper]。Blackwell FP64 仅 37 TF（可能已移除 FP64 TC）[nv-blackwell-whitepaper]。两家都在用 HPC 性能换 AI 算力。AMD FP64 起点更高，减半后仍保持 78.6 TF [gpu-arch-comparison-2025]。
TDP 从 A100 400W → H100 700W → B200 1,000W / MI355X 1,400W。FP8 能效：B200 4.50 TFLOPS/W vs MI355X 3.60 TFLOPS/W，NVIDIA 领先 25% [amd-cdna4-whitepaper] [nv-blackwell-whitepaper]。MI350X 风冷版 1,000W 下 FP8 4.61 TFLOPS/W 反优于 MI355X 液冷版——额外 400W 仅换 ~9% 性能 [amd-cdna4-whitepaper]。B200 训练能效比 H200 提升 42%（22.2 vs 15.6 tok/s/W）[2512.02189]。
Blackwell FP32 accumulator 使 Tensor Core 吞吐减半（FP16→FP16 为 964.8 TFLOPS，FP16→FP32 仅 482.4 TFLOPS），accumulator datapath 是吞吐瓶颈而非乘法单元 [2512.02189]。推理用 FP16 accumulator、训练用 FP32 accumulator 是硬件决定的最佳实践——2x 差距无法通过软件绕过。
MI300X FP8 理论峰值领先 H100 32%（2,615 vs 1,979 TFLOPS）[amd-cdna3-whitepaper]，但端到端 Llama 70B FP8 推理仅达 H100 的 37–66% [2510.27583]。
矛盾根源：白皮书报告理论峰值（boost clock × CU × ops/clk），而实测揭示 (1) MI300X 运行时频率降至 boost clock 的 52–58%（功耗管理限制），(2) hipBLASLt 软件效率仅 80–85%。两个因素相乘 0.58×0.82≈0.48，解释了 45% 利用率 [2510.27583]。NVIDIA 不存在类似降频问题（实测频率接近 boost clock），且 cuBLASLt 优化深度远超 hipBLASLt [2510.27583]。
反直觉结论：MI300X 上 FP16 推理可能优于 FP8，因 FP16 更大 memory footprint 恰好落在 MI300X 高带宽区间 [2510.27583]。这与 NVIDIA 平台上 FP8 总是优于 FP16 的经验相矛盾，根因是 MI300X 在小 array size（<64 MiB）下 memory bandwidth 低于 H100 [2510.27583]。
AMD chiplet 路线的跨 XCD 通信需经过 IOD，大矩阵尺寸下 MI300X 出现性能回落（利用率从 50% 降至 ~40%）[2510.27583]。NVIDIA 双 die 方案（NV-HBI 10 TB/s）对软件完全透明 [nv-blackwell-whitepaper]。
矛盾根源：两者在解决同一个问题（光刻极限下如何继续扩大芯片规模），但工程取舍不同 [gpu-arch-comparison-2025]。AMD 优先良率和工艺独立演进（计算 die 3nm，IO die 6nm），代价是跨 die 通信延迟；NVIDIA 优先 die 内通信性能和软件透明性，代价是封装复杂度和成本。CDNA 4 将 IOD 从 4→2 减少了跨 IOD 跳数约 14% [amd-cdna4-whitepaper]，但未消除根本的 NUMA 效应。Blackwell 的 dual-die NUMA 效应也未被系统量化 [2512.02189]。
NVIDIA NVFP4（16 元素 E4M3 scale + 全 tensor FP32 scale）vs OCP MXFP4（32 元素 power-of-2 scale）[nv-blackwell-whitepaper]。AMD 完全拥抱 OCP MX 标准 [amd-cdna4-whitepaper]。
矛盾根源：NVIDIA 认为 16 元素微块 + 两级缩放精度更高（fine-grained），适合保持 LLM 推理质量；OCP 标准偏向互操作性和生态统一（32 元素，simpler）。MXFP6 是 AMD 独有中间精度，与 MXFP4 共享 10 PF 吞吐但提供 50% 更多尾数位 [amd-cdna4-whitepaper]，NVIDIA 无等价格式。行业标准尚未收敛。
2512.02189 实测 B200 FP4 达 7,702.5 TFLOPS（96.3% 峰值），而白皮书标 9,000 TFLOPS [2512.02189] [nv-blackwell-whitepaper]。
矛盾根源：白皮书标注的是全 GPU 160 SM（包含 disabled SM）的理论值，而 B200 产品仅启用 144 SM。微基准使用的是单 SM 吞吐外推到 148 SM 的结果（论文配置），与产品 144 SM 配置进一步差异。两者在各自假设下都正确 [2512.02189]。
以下为"没人做但技术上可做"的空白（根本性困难留给 L4/topic）：
选 MI355X，因 288 GB HBM3E 可单卡容纳 ~400B FP8 模型或 ~800B MXFP4 模型 [amd-cdna4-whitepaper]。B200 的 192 GB 在 >200B 模型时需多卡。MXFP6 提供比 MXFP4 更好的精度-性能折中 [amd-cdna4-whitepaper]。前提：需验证 MI355X 实际利用率是否已改善（MI300X 的 45% 教训 [2510.27583]）。
选 NVIDIA Blackwell (NVL72)，因 NVLink5 (1.8 TB/s) + NVL72 (72-GPU 域 130 TB/s) 提供 AMD 无法匹配的互联规模 [nv-blackwell-whitepaper]。Tensor parallelism 可扩展至 72-way，expert parallelism 在 NVLink 域内完成 All-to-All 通信 [nv-blackwell-whitepaper]。Transformer Engine 自动化 FP8 混合精度降低用户负担 [nv-hopper-h100-whitepaper]。
MI300X/MI325X 可能是性价比之选（如果 AMD 硬件采购价更低）。MI300X 在 decode-dominated 场景可达 H100 的 66–80% [2510.27583]，结合 192–256 GB 显存和更大 HBM 绝对带宽（实测 4.3 TB/s vs H100 的 3.0 TB/s）[2510.27583]，TCO 优势可能弥补性能差距。注意使用 FP16 而非 FP8 [2510.27583]。
选 MI300X (CDNA 3)，其 FP64 Matrix 163.4 TFLOPS 大幅领先 B200 的 37 TFLOPS (4.4x) [amd-cdna3-whitepaper] [nv-blackwell-whitepaper]。CDNA 4 已将 FP64 减半至 78.6 TF [amd-cdna4-whitepaper]，CDNA 3 仍是 FP64 王者。Frontier 超算验证了 MI250X 的 HPC 可行性 [amd-cdna2-whitepaper]。
选 NVIDIA A100/H100，因 MIG 提供硬件级 GPU 分区隔离（最多 7 实例），每实例独立 SM、L2、显存 [nv-ampere-a100-whitepaper]。AMD CPX 模式支持最多 8 分区 [amd-cdna4-whitepaper]，但 MIG 的软件生态更成熟。H100 Secure MIG 还支持机密计算 [nv-hopper-h100-whitepaper]。
选 MI325X (CDNA 3)，256 GB HBM3E + 成熟的 ROCm/vLLM 支持 [amd-cdna3-whitepaper]，在 CDNA 4 实际利用率尚未验证前是更安全的 AMD 选择。
| ID | 标题 | 类型 | 关键贡献 |
|---|---|---|---|
amd-cdna1-whitepaper | AMD CDNA Architecture White Paper | 白皮书 | 首个计算专用 GPU 架构，Matrix Core + MFMA 指令族 |
amd-cdna2-whitepaper | AMD CDNA 2 Architecture White Paper | 白皮书 | MCM 双 GCD 封装，FP64 Matrix Core，驱动 Frontier Exascale |
amd-cdna3-whitepaper | AMD CDNA 3 Architecture White Paper | 白皮书 | Chiplet 3D 堆叠，FP8/TF32，Infinity Cache，192–256 GB HBM3/3E |
amd-cdna4-whitepaper | AMD CDNA 4 Architecture White Paper | 白皮书 | MXFP8/6/4，per-CU 矩阵翻倍，LDS 160 KB，288 GB HBM3E |
nv-ampere-a100-whitepaper | NVIDIA A100 Tensor Core GPU White Paper | 白皮书 | TF32 + MIG + 2:4 稀疏，奠定数据中心 GPU 标准 |
nv-hopper-h100-whitepaper | NVIDIA H100 Tensor Core GPU White Paper | 白皮书 | FP8 + Transformer Engine + TMA + NVLink Switch 256-GPU 域 |
nv-blackwell-whitepaper | NVIDIA Blackwell Architecture Technical Brief | 白皮书 | 双 Die NV-HBI + FP4/NVFP4 + TMEM + NVL72 机架级互联 |
2510.27583 | AMD MI300X GPU Performance Analysis | 独立实测 | MI300X 多维度实测：45% 利用率，频率-效率分离方法论 |
2512.02189 | Microbenchmarking NVIDIA's Blackwell Architecture | 独立实测 | Blackwell PTX 微基准：TMEM/tcgen05/FP4 微架构参数实测 |
gpu-arch-comparison-2025 | AMD vs NVIDIA 数据中心 GPU 架构全面对比 | 综合对比 | 四代架构横向对比，Ops:Byte 趋势，竞争格局判断 |