返回本相词条库 | 所属主线:EP03 GPU 为什么赢了?
标准 9 步本相词条

GPU 为什么适合 AI?什么是 Roofline 性能模型与内存墙

// 01 · 一句话结论 (One-line Verdict)
GPU 靠数千微小 ALU 并行吞吐赢得 AI;但在逐字生成(Decoding)阶段受 Roofline 内存墙死死卡死,90% 核心算力常年闲置。

真正决定大模型推理实时吐字速度的,从来不是发布会标称的虚高 TFLOPs,而是显存位宽与接口带宽(Bytes/s)。

02

为什么重要 (Why It Matters)

一张英伟达 H100 显卡售价高达 3.5 万美元,净利润率超过 75%——比爱马仕还暴利。这到底是黄仁勋的垄断收割,还是半导体物理的真实代价?

  • 产业投资视角:为什么无数造芯初创公司号称“峰值浮点算力超越英伟达”,巨头依然连夜排队采购 H100/H200?因为缺少高带宽内存(HBM)与先进互联,算力空有其表。
  • 架构师落地视角:真实部署大模型时,硬件算力利用率(MFU)经常低至 15%~20%,剩下 80% 的晶体管都在等待显存送数。Roofline 模型是唯一能量化诊断这一现象的工程利器。
03

底层机制 (Underlying Mechanism)

计算机芯片的晶体管预算是恒定的。CPU 与 GPU 在硅片面积分配上走向了两个截然不同的物理极端:

  • CPU(顶尖大厨模式):将 80% 面积留给多级缓存(L1/L2/L3)与复杂的超标量分支预测器,擅长单线程串行计算,但矩阵并发能力极弱。
  • GPU(万名切菜工模式):舍弃复杂分支预测与超大缓存,将硅片全数铺满数千甚至上万个紧凑的 ALU 计算核心,专为大规模张量点积而生。

图灵奖得主 David Patterson 提出的 Roofline 性能模型,将算力上限量化为算法的“算术强度(Arithmetic Intensity, $I$)”:

算术强度 I = 程序执行的总浮点运算量 (FLOPs) / 显存搬运的总字节数 (Bytes)
硬件物理平衡拐点 I* = 峰值算力 P_max / 显存带宽 BW
04

真正的物理约束 (Physical Constraints)

🚨 物理法则不可违背:性能由短板卡死
P = min( P_max, I × BW )

当算法强度 $I < I^*$ 时,芯片进入显存受限区(Memory-Bound),算力利用率由显存带宽死死卡住;当 $I > I^*$ 时,芯片才进入算力受限区(Compute-Bound)。

大模型推理的双重物理分裂:

  • Prefill 阶段(提示词处理):一次性读入上下文,做大矩阵相乘(GEMM),$I$ 高达数百 FLOPs/Byte,轻松跑满 GPU 核心算力。
  • Decoding 阶段(逐字生成):每输出一个单字,整个模型的全部权重(如 70B 模型约 140GB)必须从显存完整搬入核心一次,只和一个 Token 做向量乘法,$I \approx 1\sim 2\text{ FLOPs/Byte}$!
05

常见误区 (Common Myths & Fallacies)

✕ 常见误区
只要显卡峰值 TFLOPs 标得高,大模型跑起来就一定如飞。
✓ 物理真相
单用户生成时算术强度仅 1~2,H100 实际有 90% 以上计算单元在空转等显存供数,速度取决于显存带宽。
✕ 常见误区
消费级旗舰 RTX 4090 算力 330 TFLOPS,完全能平替专业级 AI 加速卡。
✓ 物理真相
4090 采用普通 PCB 与 384-bit 显存位宽(带宽 1.0 TB/s),而 H100 采用 HBM3 5120-bit 硅中介层(带宽 3.35 TB/s),高负载下带宽吞吐有 3.3 倍硬差距。
06

关键数字与证据 (Key Numbers & Evidence)

591 H100 SXM 理论平衡拐点 (FLOPs/Byte) NVIDIA Whitepaper
3,350 GB/s H100 HBM3 显存极限带宽 (5120-bit) IEEE Micro 实测
1 ~ 2 大模型 Decoding 阶段真实算术强度 Roofline 模型推导
< 15% 未开启大 Batch 时核心算力利用率 (MFU) Berkeley AI Research
07

对应长视频与 Shorts (Associated Media)

🎬 所属主线长视频纪录片

EP03 GPU 为什么赢了?前半导体工程师拆解算力物理命门

深入晶体管面积预算、大厨与切菜工模型,用 Roofline 内存墙量化分析 H100 与消费级显卡的本质差距。

观看完整长片 ↗
⚡ 60s 极客微解构 Shorts

一颗 AI 芯片的发热通量,凭什么超过太阳表面?

从微观晶体管热阻到功耗墙,60秒直击算力硬件的最深物理死穴。

播放微解构 ↗
08

延伸问题与相关词条 (Related Entries & Graph)

通过第一性原理因果链,连结整张物理知识图谱:

➔ 既然内存墙这么卡,为什么一定要用 HBM 与 CoWoS 封装? ➔ 芯片主频为什么 20 年前就卡死在 5GHz 不动了?(登纳德破灭) ➔ 125 W/cm² 太阳级热通量下,风冷为什么彻底阵亡? ➔ o1 等慢思考模型爆增的思考 Token,如何把账单推给显存带宽? ➔ 手机与 PC 上的端侧 NPU,为什么现在大多只能跑小模型?
09

原始资料与更新时间 (Primary Sources & Meta)

☕ 请主理人喝杯咖啡 · 支持纯净独立创作
「AI本相」坚持拒绝商业充值与公关软广,专注于第一性原理硬核拆解。如果您觉得本篇分析对您有所启发,欢迎支持我们保持客观独立的研究。
Support on Ko-fi
← 所属主线视频专栏 EP03 GPU 为什么赢了?前半导体工程师拆解 下一篇核心本相词条 → HBM 与内存墙:先进封装物理极限