习题
五道题:数参数、手算、想清楚 mask、读权重图、辨真假。
一、数参数
① 分开式加性注意力
,三个矩阵都没有偏置。 填表:
hidden | 合计 | |||
|---|---|---|---|---|
128 | ||||
256 | ||||
512 |
② 拼接式
另一份实现是这么写的(编码器双向,所以是 2 × 256):
enc, dec, mid = 512, 256, 256 # 双向编码器 512,解码器 256,中间 256 attn_fc = nn.Linear((enc) + dec, mid) v_fc = nn.Linear(mid, 1, bias=False)算它的参数量,并和 ① 的 hidden=256 那行比较。
③ 多头
d_model = 256,8 个头。W_q、W_k、W_v、 W_o 各 256×256(含偏置)。
问 | 答 |
|---|---|
每个头多少维 | |
四个矩阵共多少参数 | |
如果 8 个头各自独立用满 256 维,参数是多少 | |
两者差多少倍 |
二、手算
用缩放点积,三个源词:
Q = [1, 1] K = [[1, 0], [0, 1], [1, 1]] V = [[2, 0], [0, 2], [1, 1]]步 | 结果 |
|---|---|
① | |
② 除以 | |
③ 取指数 | |
④ softmax 权重 | |
⑤ 加权求和输出 |
想一想
算完之后看:第 3 个源词的权重明显最高。为什么? (提示:看 和三个 的点积)
三、mask 的四个后果
下面四种写法,分别会怎样?
# ① 完全不做 mask scores = self.w_v(torch.tanh(...)).squeeze(-1) alpha = torch.softmax(scores, dim=-1) # ② mask 用 -inf,而且整行都可能被 mask scores = scores.masked_fill(mask == 0, float("-inf")) alpha = torch.softmax(scores, dim=-1) # ③ mask 用 -1e9 scores = scores.masked_fill(mask == 0, -1e9) alpha = torch.softmax(scores, dim=-1) # ④ mask 反了(把 1 当 padding) scores = scores.masked_fill(mask == 1, -1e9)# | 后果 |
|---|---|
① | |
② | |
③ | |
④ |
四、读权重图
36.12 课实测出来的三组数据。判断每个翻译「大概率对还是错」, 并说明依据:
# | 输出词 | 该步权重最大值 | 主要看的位置 | 判断 |
|---|---|---|---|---|
1 | 我 | 0.629 | 源位置 2 | |
2 | 会 | 0.553 | 源位置 3 | |
3 | 讲 | 0.568 | 源位置 4 | |
4 | 在 | 0.884 | 源位置 2 | |
5 | 一 | 0.367 | 源位置 3 | |
6 | 样 | 0.284 | 源位置 7 |
(第 1-3 行来自 i can speak english.,第 4-6 行来自 drunk driving is a serious problem.)
五、辨真假
# | 说法 | 对 / 错 + 理由 |
|---|---|---|
1 | 注意力的权重个数等于源句长度 | |
2 | K 和 V 必须是同一组张量 | |
3 | 加了注意力,长句和短句的差距就会消失 | |
4 | 注意力模块的参数比编码器还多 | |
5 | 注意力权重可以直接当概率解释 |
参考答案
一、数参数
① 分开式
hidden | 合计 | |||
|---|---|---|---|---|
128 | 16,384 | 16,384 | 128 | 32,896 |
256 | 65,536 | 65,536 | 256 | 131,328 |
512 | 262,144 | 262,144 | 512 | 524,800 |
hidden 翻倍,参数涨 4 倍——因为两个矩阵都是 。
② 拼接式
attn_fc: (512 + 256) × 256 + 256 = 196,864 v_fc : 256 × 1 = 256 合计 = 197,120比分开式的 131,328 多 50%。
为什么?因为拼接式的 attn_fc 要把 512 + 256 = 768 维一口气压到 256 维, 而分开式是两个 256×256。
拼接式在双向编码器时更贵。
③ 多头
问 | 答 |
|---|---|
每个头多少维 |
|
四个矩阵共多少 |
|
8 头各用满 256 维 |
|
差几倍 | 8 倍 |
这就是「多头几乎不增加参数」的含义: 它不是把 256 维算 8 遍,是把 256 维切成 8 份、每份 32 维。
二、手算
步 | 结果 |
|---|---|
① |
|
② 除以 |
|
③ 取指数 |
|
④ softmax |
|
⑤ 输出 |
|
手验第 ① 步:
[1,1]·[1,0] = 1 [1,1]·[0,1] = 1 [1,1]·[1,1] = 2手验第 ⑤ 步:
第1维:0.2483×2 + 0.2483×0 + 0.5035×1 = 0.4966 + 0.5035 = 1.0001 第2维:0.2483×0 + 0.2483×2 + 0.5035×1 = 0.4966 + 0.5035 = 1.0001四舍五入都是 1.0。
「想一想」的答案
因为 和 完全同向, 点积最大(2)。
而 和 各只在一个维度上有值, 点积都是 1。
Q 和 K 越「同向」,分数越高。这就是点积打分的全部含义。
三、mask 的四个后果
# | 后果 |
|---|---|
① | 不报错,但效果差。 padding 位置会分到注意力,真正有用的源词权重被稀释 |
② | 可能 NaN。 如果某一行全是 padding(整句都被 mask), |
③ | 正确。 整行被 mask 时得到均匀分布,不会 NaN |
④ | 完全反了。 真词被 mask 掉、padding 反而参与—— 等于让模型只看补出来的 0。效果比 ① 还差 |
① 和 ④ 都不会报错,这是最难查的一类 bug。
判断办法:训练几个 epoch 后把 alpha 打印出来, 看 padding 位置的权重是不是 0。不是 0 就是 mask 写错了。
四、读权重图
# | 输出词 | 最大值 | 判断 | 依据 |
|---|---|---|---|---|
1-3 | 我 / 会 / 讲 | 0.629 / 0.553 / 0.568 | 大概率对 | 权重集中在某一处(0.5 以上),且位置逐步右移—— 形成了对角线,说明学出了对齐 |
4 | 在 | 0.884 | 看着很自信 | 权重高度集中 |
5-6 | 一 / 样 | 0.367 / 0.284 | 大概率错 | 权重分散在多个源位置,模型自己也不知道该看哪 |
实际结果:
i can speak english. → 我会讲英语。 ✓ 全对 drunk driving is a serious problem. → 在美国人一样。 ✗ 全错第 4 行是个陷阱:0.884 看着很自信,但那句整体还是错的。
原因:第 4 步自信地看错了位置。前面几步已经偏了, 后面再自信也救不回来。
所以「单步权重高」不等于「整句对」, 要看整条路径是不是连贯的斜线。
五、辨真假
# | 答案 | 理由 |
|---|---|---|
1 | 对 | 每个输出步要在所有源位置上分配,所以个数 = 源句长度 (36.5 课那个 |
2 | 错 | 「同一组张量」在 seq2seq 注意力里恰好成立(都是编码器输出), 但原则上 K 和 V 可以是两套不同投影—— Transformer 里就是两个独立的 |
3 | 错 | 36.12 实测:加了注意力后,最长桶相对最短桶掉了 65%, 比无注意力版的 62% 还差。绝对值抬高了,形状没变 |
4 | 错 | 131,328 vs 编码器 2,633,728 —— 注意力只占 3.3% |
5 | 对,但别过度解读 | 经过 softmax,数学上确实是概率分布(和 = 1、非负)。 但「权重 0.8」不等于「80% 的信息来自这里」—— 它只是分数归一化的结果,不代表因果贡献 |
下一章
注意力讲完了。但它有一个藏着的毛病: 它对顺序不敏感——「猫追狗」和「狗追猫」在它眼里一样。
下一章 Transformer 会正面处理这件事(位置编码), 并且把注意力当成唯一的构件,彻底扔掉循环。