零件换了一圈
这一课在哪
上一课定了路线:今天的模型几乎都是「只留解码器」。
但你把第 37 章那个模型拿去和 Llama 比,会发现看着不像。
这一课逐个对照——骨架没变,零件几乎全换了。
总表
2017 年的 | 今天的 | 换了什么 | 为什么换 |
|---|---|---|---|
LayerNorm | RMSNorm | 去掉减均值 | 省计算,效果一样 |
正弦位置编码 | RoPE | 加成 → 旋转 | 相对位置、能外推 |
ReLU 前馈 | SwiGLU | 换激活 + 加门控 | 同样参数下更强 |
多头注意力 | GQA / MQA | 多个 Q 共享一组 KV | 省 KV 缓存 |
完整注意力 | FlashAttention | 算法等价,分块算 | 省显存 |
没有一项动了「注意力 + 前馈 + 残差 + 归一化」这个骨架。
① RMSNorm 替掉 LayerNorm
第 37.3 课的 LayerNorm 做两件事:减均值、除标准差,然后缩放平移。
RMSNorm 只做一半:
步骤 | LayerNorm | RMSNorm |
|---|---|---|
减均值 | 做 | 不做 |
除标准差 | 做 | 改成除均方根 |
缩放 | 做 | 做 |
平移 | 做 | 去掉 |
少了一个减法、一个均值、一组参数。 效果实测几乎一样,但快。
原因不难想:模型在意的是数值尺度, 均值偏一点影响不大,方差才是关键。
② RoPE 替掉正弦位置编码
第 37.4 课已经详细讲过,这里只回顾一句:
正弦编码 | RoPE | |
|---|---|---|
怎么加 | 加到词向量上 | 旋转 q 和 k |
给的是 | 绝对位置 | 相对位置 |
外推 | 差 | 好 |
今天几乎所有大模型都用 RoPE。
③ SwiGLU 替掉 ReLU 前馈
第 37.3 课的前馈是:
x → Linear(d, 4d) → ReLU → Linear(4d, d) → 输出SwiGLU 变成两条路相乘:
┌─ Linear(d, 4d) ─ Swish ─┐ x ──────┤ × ─ Linear(4d, d) → 输出 └─ Linear(d, 4d) ──────────┘多了一个分支,多了一个矩阵。那为什么还更划算?
因为它表达能力更强,所以可以把隐层缩到原来的 2/3 (4d → 8d/3),参数反而少一点,效果更好。
Swish 是什么
,其中 是 sigmoid。
和 ReLU 长得像,但在 0 附近是平滑的,不像 ReLU 有个折角。
「GLU」= Gated Linear Unit,指的就是「一条路给另一条路当门」这个结构。
④ GQA 替掉多头注意力
这一项的动机最实际:省 KV 缓存。
第 37.11 课算过,缓存的大小是:
2 × B × L × h × n × d_k × 4 字节 ↑ 头数 h —— 这一项最要命方案 | Q 有几个 | KV 有几组 | 相对缓存 |
|---|---|---|---|
MHA(第 37 章) | 8 | 8 | 1× |
MQA | 8 | 1 | 1/8 |
GQA | 8 | 2(4 个 Q 共享 1 组) | 1/4 |
这是个漂亮的折中
MQA 缓存最省,但 8 个头挤一组 KV,效果掉得多。
GQA 让几个头共用一组,省 4 倍缓存,效果只掉一点点。
Llama 2 70B、Llama 3 全系都用 GQA。
⑤ FlashAttention 不是「换零件」
上面四项都改了计算内容。FlashAttention 不改结果—— 算出来的还是同一组数。
它改的是怎么算:
普通注意力 | FlashAttention | |
|---|---|---|
中间那张分数矩阵 | 完整写进显存 | 分块算,算完就扔 |
显存占用 | ||
结果 | 完全一样 |
序列长 4096 时,那张分数矩阵是 = 1600 万个浮点数,每个头都要一张,8 个头就是几 GB。
FlashAttention 把它切成小块,边算边丢, 显存从平方级降到线性级。
把今天的 Llama 摆出来
部件 | 你在第 37 章写的 | Llama 3 |
|---|---|---|
归一化 | LayerNorm,Post-LN | RMSNorm,Pre-LN |
位置编码 | 正弦,加到嵌入 | RoPE,旋转 q/k |
注意力 | 8 头 MHA | GQA |
注意力实现 | 完整矩阵 | FlashAttention |
前馈 | ReLU,4d | SwiGLU,8d/3 |
掩码 | 因果掩码 | 因果掩码(没变) |
残差 | (没变) |
最后两行是关键
掩码没变、残差没变、注意力+前馈的整体结构没变。
换的全是零件,不是骨架。
所以你第 37 章写的那个模型,换成这五个零件,就是一个现代大模型。
这一课留下的三个数
数 | 值 | 含义 |
|---|---|---|
换掉的零件 | 5 个 | Norm / 位置 / 前馈 / 注意力 / 算法 |
没变的 | 骨架 | 注意力 + 前馈 + 残差 |
GQA 省缓存 | 1/4 | 8 个 Q 共用 2 组 KV |
下一课
零件换完了。下一课看规模—— 从论文那 65M 到今天几千亿,中间发生了什么。