习题

五道题:数参数、手推掩码、找 bug、想清楚 norm 的位置、辨真假。

一、算参数

① 编码器一层

d=512d = 512,8 头,dff=2048d_{ff} = 2048。填表:

部件

参数

多头注意力(四个 512×512 + 偏置)

前馈网络(512 → 2048 → 512)

两个 LayerNorm

合计

② 换成 d = 256、dff=1024d_{ff} = 1024

再算一遍,并回答:参数量变成原来的几分之一?

③ 层数的影响

上面 ① 的配置,编码器从 6 层改成 2 层,参数少了多少?

④ 头数的影响

同一个 d=512d = 512,头数从 8 改成 16, 多头注意力的参数会变吗?为什么?

二、手推因果掩码

生成一个 4×44 \times 4 的因果掩码:

行 \ 列

1

2

3

4

位置 1

位置 2

位置 3

位置 4

再想一想

问

答

掩码里「允许」应该填 1 还是 0?

把 −109-10^{9} 换成 0 会怎样?

编码器要不要加因果掩码?

解码器的跨注意力要不要加因果掩码?

三、找 bug

下面四段代码都有一个真实的 bug,指出来并改掉。

① 拆头

Q = self.w_q(x).view(B, T, self.n_heads, self.d_k) scores = Q @ Q.transpose(-2, -1)

② 缩放

scores = Q @ K.transpose(-2, -1) / math.sqrt(self.d_model)

③ 拼回来

Q = lin(x).view(B, -1, self.n_heads, self.d_k).transpose(1, 2) ... out = Q.reshape(B, T, self.d_model)

④ 位置编码的量级

x = self.src_embed(src) + self.pos(src)

四、norm 放前面还是后面

两种写法:

Post-LN:LN(x+F(x))\text{Post-LN}: \quad \mathrm{LN}\left(x + F(x)\right)
Pre-LN:x+F(LN(x))\text{Pre-LN}: \quad x + F\left(\mathrm{LN}(x)\right)

问

答

论文原文用的是哪一种?

今天的大模型用的是哪一种?

Pre-LN 的残差主干为什么更「干净」?

Post-LN 为什么格外依赖 warmup?

五、辨真假

#

说法

对 / 错 + 理由

1

Transformer 的编码器也加了因果掩码

2

头数越多,多头注意力的参数越多

3

层数堆得越深,Transformer 一定越好

4

前馈网络比多头注意力的参数多

5

KV 缓存能减少注意力的计算量

6

位置编码加在编码器的注意力之后

参考答案

一、算参数

① d=512, dff=2048

部件

算式

参数

多头注意力

4 × (512×512 + 512)

1,050,624

前馈网络

(512×2048+2048) + (2048×512+512)

2,099,712

两个 LayerNorm

2 × 512 × 2

2,048

合计

3,152,384

FFN 占了 67%,不是注意力。

② d=256, dff=1024

部件

参数

多头注意力

262,656

前馈网络

525,568

两个 LayerNorm

1,024

合计

789,248

比值 3,152,384 / 789,248 ≈ 3.995——正好 4 倍。

因为所有矩阵都是二维的,维度减半,参数减到四分之一。

③ 6 层 → 2 层

6 层: 3,152,384 × 6 = 18,914,304 2 层: 3,152,384 × 2 = 6,304,768 少了: 12,609,536 (约 67%)

④ 头数 8 → 16

参数完全不变,还是 1,050,624。

因为 nn.Linear(512, 512) 是一个完整的大矩阵, 头数只决定怎么切,不决定有多少权重。

8 头每头 64 维,16 头每头 32 维——总数一样。

二、手推因果掩码

[1000110011101111]\begin{bmatrix} 1 & 0 & 0 & 0 \\ 1 & 1 & 0 & 0 \\ 1 & 1 & 1 & 0 \\ 1 & 1 & 1 & 1 \end{bmatrix}

问

答

允许填 1 还是 0

1 表示允许,因为代码里写的是 masked_fill(mask == 0, -1e9)

−109-10^{9} 换成 0

掩码失效。e0=1e^0 = 1, softmax 会照常把权重分给未来的位置

编码器要不要因果掩码

不要。源句是完整已知的, 每个位置都该看到全句

解码器跨注意力要不要

不要因果掩码,但要 padding 掩码。 源句没有「未来」可言,但要屏蔽补出来的词

三、找 bug

① 拆头忘了 transpose

# 错:8 个头夹在中间,矩阵乘只认最后两维,而且 Q@Q.T 变成了自乘 Q = self.w_q(x).view(B, T, self.n_heads, self.d_k) # 对: Q = self.w_q(x).view(B, T, self.n_heads, self.d_k).transpose(1, 2)

而且这里还写成了 Q @ Q.transpose(...)—— 这样算的是自相关,不是 Q 和 K 的点积。 必须用两个不同的张量。

② 除错了维度

math.sqrt(self.d_model) # ✗ 512 的根号 math.sqrt(self.d_k) # ✓ 64 的根号

参与点积的是每头 64 维的切片,方差是 64,所以除 sqrt(64)。

③ 拼回来没 transpose 回去

# 错:直接从 (B, h, T, dk) reshape,(B,h,T,dk) 的 h 和 T 还没换回来 out = Q.reshape(B, T, self.d_model) # 对:先换回来,再合并 h 和 dk out = Q.transpose(1, 2).reshape(B, T, self.d_model)

这个 bug 不报错,形状也对, 但八个头的内容被搅乱了——最难查的一类。

④ 嵌入忘了乘 sqrt(d)

x = self.src_embed(src) + self.pos(src) # ✗ 位置编码会盖过词义 x = self.src_embed(src) * math.sqrt(self.d_model) + self.pos(src) # ✓

词嵌入初始量级 ±1,位置编码也 ±1。 不缩放的话位置信息占了一半份量。

四、norm 放前面还是后面

问

答

论文原文

Post-LN,LN(x+F(x))\mathrm{LN}(x + F(x))

今天的大模型

Pre-LN,GPT 系列基本都是

Pre-LN 的主干为什么更干净

残差那条路 x→x+F(⋅)x \to x + F(\cdot) 上 没有归一化打断,从输入一路通到输出

Post-LN 为什么依赖 warmup

每个子层后面都要过 LN,主干被打断,深层梯度容易爆, 只能用极小的学习率先稳住

五、辨真假

#

答案

理由

1

错

编码器没有因果掩码。它的输入是完整源句, 每个位置都该看到全句。只有解码器自注意力才加

2

错

参数和头数无关。一个大矩阵切多少份,总数不变

3

错

37.10 课实测:2 层的 Transformer 在长句上 还不如注意力 seq2seq。深是必要条件,不是充分条件

4

对

2,099,712 vs 1,050,624,正好两倍

5

部分对

它省的是重复的投影和 FFN; 注意力的打分本身还是要看全部 K,这部分省不掉

6

错

位置编码加在词嵌入上, 是进编码器之前,不是注意力之后

下一章

Transformer 讲完了。但它只是骨架—— 今天真正在用的模型(BERT、GPT、Llama)都是在它上面改出来的。

下一章看今天的架构:编码器路线和解码器路线怎么分家, 以及为什么最后是 GPT 这一支赢了。