NVIDIA A100 Ampere Architecture — L3 Cross-Paper Synthesis #

1. 相关论文 #

2. 本篇 vs 相关论文的 Delta #

A100 的标准定义者角色：A100 定义了"现代数据中心 AI GPU"的完整功能集——TF32、FP64 TC、2:4 Sparsity、MIG、Async Copy、大 L2 [nv-ampere-a100-whitepaper]。

vs MI100 (同代 AMD)：

• A100 FP16 TC (312 TF) 大幅领先 MI100 (184.6 TF)，1.69x [gpu-arch-comparison-2025]
• MI100 FP64 (11.5 TF vector) 超过 A100 FP64 CUDA (9.7 TF) 但逊于 A100 FP64 TC (19.5 TF)
• A100 独有: TF32 (零改动加速 FP32), MIG (7 实例隔离), 2:4 Sparsity, 40MB L2 [nv-ampere-a100-whitepaper]
• 80GB vs 32GB 显存(2.5x)，CUDA 生态压倒性优势

vs MI250X (次年 AMD)：

• MI250X (383 TF FP16, 128GB, 3.2TB/s) 在 spec 上反超 A100 [amd-cdna2-whitepaper]
• 但晚 18 个月且 ROCm 生态不成熟，A100 的市场地位几乎未受影响

vs H100 (后继)：

• H100 在 A100 每个维度上提升 3x+: FP16 TC 3.2x, FP8 TC 6.3x (新能力) [nv-hopper-h100-whitepaper]
• H100 移除了 A100 的 INT4 TC，以 FP8 取代 [nv-hopper-h100-whitepaper]
• A100 的 Async Copy 进化为 H100 的 TMA (硬件 tensor 搬运引擎)

3. 可攻击面 #

1. 80GB 显存瓶颈：A100 的 80GB 在 LLM 推理中迅速不足——Llama-2 70B FP16 需要 ~140GB [nv-hopper-h100-whitepaper]。同期 MI250X 已有 128GB，MI300X 后来达 192GB。
1. 2:4 Sparsity 的实际采纳有限：硬件原生支持 2:4 sparsity 是 A100 的亮点，但严格的结构化模式要求限制了实际使用——attention 层对剪枝敏感，大部分生产模型未启用 sparsity [nv-ampere-a100-whitepaper]。
1. MIG 粒度不够灵活：7 实例上限和固定分区粒度(~14 SM/slice)无法满足任意比例划分需求 [nv-ampere-a100-whitepaper]。细粒度多租户推理仍需框架层面的 batching 解决。
1. Monolithic die (826mm²) 的面积极限：A100 的 826mm² 接近 7nm 光刻极限，良率压力大。NVIDIA 在 Blackwell 被迫转向双 die 设计 [nv-blackwell-whitepaper]，AMD 则在 CDNA 3 用 chiplet 解决。

4. 生态位 #

A100 的生态位是 "AI 训练/推理的黄金标准"：

• 定义了 DGX (8×A100 + NVSwitch) 作为 AI 训练"标准单元"
• TF32 默认模式加速了从 V100 到 A100 的零代码迁移
• MIG 开创了云端 GPU 分时复用商业模式(AWS/Azure/GCP 实例产品线基于此)
• 长期霸榜 MLPerf Training/Inference 多项 benchmark

采纳证据：A100 是 2020-2023 年间 AI 训练的绝对主力——GPT-3/PaLM/LLaMA 第一代模型均在 A100 集群上训练。

范式定位：A100 不只是一款 GPU——它定义了"如何建造 AI 基础设施"的范式(DGX + NVSwitch + InfiniBand + CUDA + AMP)。

5. 未探索方向 #

1. L2 Residency Control 的自动化：A100 引入的 cudaAccessPolicyWindow 是手动 API [nv-ampere-a100-whitepaper]。一种 profile-guided 的自动 L2 pinning 策略（基于 kernel 的 working set 特征）可能使 40MB L2 的利用率更高。
1. MIG + Sparsity 的协同：MIG 实例中运行稀疏模型可在更少 SM 上获得更高有效吞吐。一种 MIG-aware 的稀疏调度(将稀疏 kernel 分配到更小 MIG partition)可能是推理效率优化方向。
1. Async Copy 驱动的 Prefetch Pipeline：A100 的 async copy 是 H100 TMA 的前身。在 A100 上实现多级 prefetch pipeline（如 4-stage：HBM→L2→SMEM→RF）可能释放更多性能。