Hexo

上一篇把 Q、K、V 和多头注意力拆开了，但那是局部。这一篇把整条链路走完——文字进去，下一个 Token 出来，中间每一步的形状变化都标清楚；最后再按 GPT-3 175B 的真实配置，把「1750 亿参数」这个数自己算一遍。

整套图用的是 GPT-3 175B 的示例尺寸：

96 个 Transformer 层
每个 Token 12288 维
每层 96 个注意力头
每个头 128 维
FFN 中间层 12288 × 4 = 49152 维