GPT-3 175B 的配置表里有三个数字，第一次看很容易混在一起：

1
2
3

96 层
12288 隐藏维度
96 个注意力头

它们说的完全不是一回事：

• 96 层：文字要连续加工 96 轮。
• 96 个头：每一轮里，同时有 96 个「小组」从不同角度聚合信息。
• 12288：每个 Token 用 12288 个数字表示。

这一篇就沿着这三个数字，把注意力机制从头捋一遍。

上一篇把 Q、K、V 和多头注意力拆开了，但那是局部。这一篇把整条链路走完——文字进去，下一个 Token 出来，中间每一步的形状变化都标清楚；最后再按 GPT-3 175B 的真实配置，把「1750 亿参数」这个数自己算一遍。

整套图用的是 GPT-3 175B 的示例尺寸：

1
2
3
4
5

96 个 Transformer 层
每个 Token 12288 维
每层 96 个注意力头
每个头 128 维
FFN 中间层 12288 × 4 = 49152 维