Hexo

GPT-3 175B 的配置表里有三个数字，第一次看很容易混在一起：

96 层
12288 隐藏维度
96 个注意力头

它们说的完全不是一回事：

• 96 层：文字要连续加工 96 轮。
• 96 个头：每一轮里，同时有 96 个「小组」从不同角度聚合信息。
• 12288：每个 Token 用 12288 个数字表示。

这一篇就沿着这三个数字，把注意力机制从头捋一遍。