习题
五道题:数参数、手推掩码、找 bug、想清楚 norm 的位置、辨真假。
一、算参数
① 编码器一层
,8 头,。填表:
部件 | 参数 |
|---|---|
多头注意力(四个 512×512 + 偏置) | |
前馈网络(512 → 2048 → 512) | |
两个 LayerNorm | |
合计 |
② 换成 d = 256、
再算一遍,并回答:参数量变成原来的几分之一?
③ 层数的影响
上面 ① 的配置,编码器从 6 层改成 2 层,参数少了多少?
④ 头数的影响
同一个 ,头数从 8 改成 16, 多头注意力的参数会变吗?为什么?
二、手推因果掩码
生成一个 的因果掩码:
行 \ 列 | 1 | 2 | 3 | 4 |
|---|---|---|---|---|
位置 1 | ||||
位置 2 | ||||
位置 3 | ||||
位置 4 |
再想一想
问 | 答 |
|---|---|
掩码里「允许」应该填 1 还是 0? | |
把 换成 0 会怎样? | |
编码器要不要加因果掩码? | |
解码器的跨注意力要不要加因果掩码? |
三、找 bug
下面四段代码都有一个真实的 bug,指出来并改掉。
① 拆头
Q = self.w_q(x).view(B, T, self.n_heads, self.d_k) scores = Q @ Q.transpose(-2, -1)② 缩放
scores = Q @ K.transpose(-2, -1) / math.sqrt(self.d_model)③ 拼回来
Q = lin(x).view(B, -1, self.n_heads, self.d_k).transpose(1, 2) ... out = Q.reshape(B, T, self.d_model)④ 位置编码的量级
x = self.src_embed(src) + self.pos(src)四、norm 放前面还是后面
两种写法:
问 | 答 |
|---|---|
论文原文用的是哪一种? | |
今天的大模型用的是哪一种? | |
Pre-LN 的残差主干为什么更「干净」? | |
Post-LN 为什么格外依赖 warmup? |
五、辨真假
# | 说法 | 对 / 错 + 理由 |
|---|---|---|
1 | Transformer 的编码器也加了因果掩码 | |
2 | 头数越多,多头注意力的参数越多 | |
3 | 层数堆得越深,Transformer 一定越好 | |
4 | 前馈网络比多头注意力的参数多 | |
5 | KV 缓存能减少注意力的计算量 | |
6 | 位置编码加在编码器的注意力之后 |
参考答案
一、算参数
① d=512, dff=2048
部件 | 算式 | 参数 |
|---|---|---|
多头注意力 |
| 1,050,624 |
前馈网络 |
| 2,099,712 |
两个 LayerNorm |
| 2,048 |
合计 | 3,152,384 |
FFN 占了 67%,不是注意力。
② d=256, dff=1024
部件 | 参数 |
|---|---|
多头注意力 | 262,656 |
前馈网络 | 525,568 |
两个 LayerNorm | 1,024 |
合计 | 789,248 |
比值 3,152,384 / 789,248 ≈ 3.995——正好 4 倍。
因为所有矩阵都是二维的,维度减半,参数减到四分之一。
③ 6 层 → 2 层
6 层: 3,152,384 × 6 = 18,914,304 2 层: 3,152,384 × 2 = 6,304,768 少了: 12,609,536 (约 67%)④ 头数 8 → 16
参数完全不变,还是 1,050,624。
因为 nn.Linear(512, 512) 是一个完整的大矩阵, 头数只决定怎么切,不决定有多少权重。
8 头每头 64 维,16 头每头 32 维——总数一样。
二、手推因果掩码
问 | 答 |
|---|---|
允许填 1 还是 0 | 1 表示允许,因为代码里写的是 |
换成 0 | 掩码失效。, softmax 会照常把权重分给未来的位置 |
编码器要不要因果掩码 | 不要。源句是完整已知的, 每个位置都该看到全句 |
解码器跨注意力要不要 | 不要因果掩码,但要 padding 掩码。 源句没有「未来」可言,但要屏蔽补出来的词 |
三、找 bug
① 拆头忘了 transpose
# 错:8 个头夹在中间,矩阵乘只认最后两维,而且 Q@Q.T 变成了自乘 Q = self.w_q(x).view(B, T, self.n_heads, self.d_k) # 对: Q = self.w_q(x).view(B, T, self.n_heads, self.d_k).transpose(1, 2)而且这里还写成了 Q @ Q.transpose(...)—— 这样算的是自相关,不是 Q 和 K 的点积。 必须用两个不同的张量。
② 除错了维度
math.sqrt(self.d_model) # ✗ 512 的根号 math.sqrt(self.d_k) # ✓ 64 的根号参与点积的是每头 64 维的切片,方差是 64,所以除 sqrt(64)。
③ 拼回来没 transpose 回去
# 错:直接从 (B, h, T, dk) reshape,(B,h,T,dk) 的 h 和 T 还没换回来 out = Q.reshape(B, T, self.d_model) # 对:先换回来,再合并 h 和 dk out = Q.transpose(1, 2).reshape(B, T, self.d_model)这个 bug 不报错,形状也对, 但八个头的内容被搅乱了——最难查的一类。
④ 嵌入忘了乘 sqrt(d)
x = self.src_embed(src) + self.pos(src) # ✗ 位置编码会盖过词义 x = self.src_embed(src) * math.sqrt(self.d_model) + self.pos(src) # ✓词嵌入初始量级 ±1,位置编码也 ±1。 不缩放的话位置信息占了一半份量。
四、norm 放前面还是后面
问 | 答 |
|---|---|
论文原文 | Post-LN, |
今天的大模型 | Pre-LN,GPT 系列基本都是 |
Pre-LN 的主干为什么更干净 | 残差那条路 上 没有归一化打断,从输入一路通到输出 |
Post-LN 为什么依赖 warmup | 每个子层后面都要过 LN,主干被打断,深层梯度容易爆, 只能用极小的学习率先稳住 |
五、辨真假
# | 答案 | 理由 |
|---|---|---|
1 | 错 | 编码器没有因果掩码。它的输入是完整源句, 每个位置都该看到全句。只有解码器自注意力才加 |
2 | 错 | 参数和头数无关。一个大矩阵切多少份,总数不变 |
3 | 错 | 37.10 课实测:2 层的 Transformer 在长句上 还不如注意力 seq2seq。深是必要条件,不是充分条件 |
4 | 对 | 2,099,712 vs 1,050,624,正好两倍 |
5 | 部分对 | 它省的是重复的投影和 FFN; 注意力的打分本身还是要看全部 K,这部分省不掉 |
6 | 错 | 位置编码加在词嵌入上, 是进编码器之前,不是注意力之后 |
下一章
Transformer 讲完了。但它只是骨架—— 今天真正在用的模型(BERT、GPT、Llama)都是在它上面改出来的。
下一章看今天的架构:编码器路线和解码器路线怎么分家, 以及为什么最后是 GPT 这一支赢了。