零件换了一圈

这一课在哪

上一课定了路线:今天的模型几乎都是「只留解码器」。

但你把第 37 章那个模型拿去和 Llama 比,会发现看着不像。

这一课逐个对照——骨架没变,零件几乎全换了。

总表

2017 年的

今天的

换了什么

为什么换

LayerNorm

RMSNorm

去掉减均值

省计算,效果一样

正弦位置编码

RoPE

加成 → 旋转

相对位置、能外推

ReLU 前馈

SwiGLU

换激活 + 加门控

同样参数下更强

多头注意力

GQA / MQA

多个 Q 共享一组 KV

省 KV 缓存

完整注意力

FlashAttention

算法等价,分块算

省显存

没有一项动了「注意力 + 前馈 + 残差 + 归一化」这个骨架。

① RMSNorm 替掉 LayerNorm

第 37.3 课的 LayerNorm 做两件事:减均值、除标准差,然后缩放平移。

RMSNorm 只做一半:

RMSNorm(x)=x1d∑ixi2+ϵ⋅γ\mathrm{RMSNorm}(x) = \frac{x}{\sqrt{\frac{1}{d}\sum_i x_i^2 + \epsilon}} \cdot \gamma

步骤

LayerNorm

RMSNorm

减均值

做

不做

除标准差

做

改成除均方根

缩放 γ\gamma

做

做

平移 β\beta

做

去掉

少了一个减法、一个均值、一组参数。 效果实测几乎一样,但快。

原因不难想:模型在意的是数值尺度, 均值偏一点影响不大,方差才是关键。

② RoPE 替掉正弦位置编码

第 37.4 课已经详细讲过,这里只回顾一句:

正弦编码

RoPE

怎么加

加到词向量上

旋转 q 和 k

给的是

绝对位置

相对位置

外推

差

好

今天几乎所有大模型都用 RoPE。

③ SwiGLU 替掉 ReLU 前馈

第 37.3 课的前馈是:

x → Linear(d, 4d) → ReLU → Linear(4d, d) → 输出

SwiGLU 变成两条路相乘:

 ┌─ Linear(d, 4d) ─ Swish ─┐ x ──────┤ × ─ Linear(4d, d) → 输出 └─ Linear(d, 4d) ──────────┘

多了一个分支,多了一个矩阵。那为什么还更划算?

因为它表达能力更强,所以可以把隐层缩到原来的 2/3 (4d → 8d/3),参数反而少一点,效果更好。

Swish 是什么

Swish(x)=x⋅σ(x)\mathrm{Swish}(x) = x \cdot \sigma(x),其中 σ\sigma 是 sigmoid。

和 ReLU 长得像,但在 0 附近是平滑的,不像 ReLU 有个折角。

「GLU」= Gated Linear Unit,指的就是「一条路给另一条路当门」这个结构。

④ GQA 替掉多头注意力

这一项的动机最实际:省 KV 缓存。

第 37.11 课算过,缓存的大小是:

2 × B × L × h × n × d_k × 4 字节 ↑ 头数 h —— 这一项最要命

方案

Q 有几个

KV 有几组

相对缓存

MHA(第 37 章)

8

8

1×

MQA

8

1

1/8

GQA

8

2(4 个 Q 共享 1 组)

1/4

这是个漂亮的折中

MQA 缓存最省,但 8 个头挤一组 KV,效果掉得多。

GQA 让几个头共用一组,省 4 倍缓存,效果只掉一点点。

Llama 2 70B、Llama 3 全系都用 GQA。

⑤ FlashAttention 不是「换零件」

上面四项都改了计算内容。FlashAttention 不改结果—— 算出来的还是同一组数。

它改的是怎么算:

普通注意力

FlashAttention

中间那张分数矩阵

完整写进显存

分块算,算完就扔

显存占用

O(n2)O(n^2)

O(n)O(n)

结果

完全一样

序列长 4096 时,那张分数矩阵是 4096×40964096 \times 4096 = 1600 万个浮点数,每个头都要一张,8 个头就是几 GB。

FlashAttention 把它切成小块,边算边丢, 显存从平方级降到线性级。

把今天的 Llama 摆出来

部件

你在第 37 章写的

Llama 3

归一化

LayerNorm,Post-LN

RMSNorm,Pre-LN

位置编码

正弦,加到嵌入

RoPE,旋转 q/k

注意力

8 头 MHA

GQA

注意力实现

完整矩阵

FlashAttention

前馈

ReLU,4d

SwiGLU,8d/3

掩码

因果掩码

因果掩码(没变)

残差

x+F(x)x + F(x)

x+F(x)x + F(x)(没变)

最后两行是关键

掩码没变、残差没变、注意力+前馈的整体结构没变。

换的全是零件,不是骨架。

所以你第 37 章写的那个模型,换成这五个零件,就是一个现代大模型。

这一课留下的三个数

数

值

含义

换掉的零件

5 个

Norm / 位置 / 前馈 / 注意力 / 算法

没变的

骨架

注意力 + 前馈 + 残差

GQA 省缓存

1/4

8 个 Q 共用 2 组 KV

下一课

零件换完了。下一课看规模—— 从论文那 65M 到今天几千亿,中间发生了什么。