习题

五道题:数参数、手算、想清楚 mask、读权重图、辨真假。

一、数参数

① 分开式加性注意力

e=wv⊤tanh⁡(Wqq+Wkk)e = w_v^{\top} \tanh(W_q q + W_k k),三个矩阵都没有偏置。 填表:

hidden

WqW_q

WkW_k

wvw_v

合计

128

256

512

② 拼接式

另一份实现是这么写的(编码器双向,所以是 2 × 256):

enc, dec, mid = 512, 256, 256 # 双向编码器 512,解码器 256,中间 256 attn_fc = nn.Linear((enc) + dec, mid) v_fc = nn.Linear(mid, 1, bias=False)

算它的参数量,并和 ① 的 hidden=256 那行比较。

③ 多头

d_model = 256,8 个头。W_q、W_k、W_v、 W_o 各 256×256(含偏置)。

问

答

每个头多少维

四个矩阵共多少参数

如果 8 个头各自独立用满 256 维,参数是多少

两者差多少倍

二、手算

用缩放点积,三个源词:

Q = [1, 1] K = [[1, 0], [0, 1], [1, 1]] V = [[2, 0], [0, 2], [1, 1]]

步

结果

① QK⊤QK^{\top}

② 除以 d\sqrt{d}

③ 取指数

④ softmax 权重

⑤ 加权求和输出

想一想

算完之后看:第 3 个源词的权重明显最高。为什么? (提示:看 QQ 和三个 KK 的点积)

三、mask 的四个后果

下面四种写法,分别会怎样?

# ① 完全不做 mask scores = self.w_v(torch.tanh(...)).squeeze(-1) alpha = torch.softmax(scores, dim=-1) # ② mask 用 -inf,而且整行都可能被 mask scores = scores.masked_fill(mask == 0, float("-inf")) alpha = torch.softmax(scores, dim=-1) # ③ mask 用 -1e9 scores = scores.masked_fill(mask == 0, -1e9) alpha = torch.softmax(scores, dim=-1) # ④ mask 反了(把 1 当 padding) scores = scores.masked_fill(mask == 1, -1e9)

#

后果

①

②

③

④

四、读权重图

36.12 课实测出来的三组数据。判断每个翻译「大概率对还是错」, 并说明依据:

#

输出词

该步权重最大值

主要看的位置

判断

1

我

0.629

源位置 2

2

会

0.553

源位置 3

3

讲

0.568

源位置 4

4

在

0.884

源位置 2

5

一

0.367

源位置 3

6

样

0.284

源位置 7

(第 1-3 行来自 i can speak english.,第 4-6 行来自 drunk driving is a serious problem.)

五、辨真假

#

说法

对 / 错 + 理由

1

注意力的权重个数等于源句长度

2

K 和 V 必须是同一组张量

3

加了注意力,长句和短句的差距就会消失

4

注意力模块的参数比编码器还多

5

注意力权重可以直接当概率解释

参考答案

一、数参数

① 分开式

hidden

WqW_q

WkW_k

wvw_v

合计

128

16,384

16,384

128

32,896

256

65,536

65,536

256

131,328

512

262,144

262,144

512

524,800

hidden 翻倍,参数涨 4 倍——因为两个矩阵都是 H×HH \times H。

② 拼接式

attn_fc: (512 + 256) × 256 + 256 = 196,864 v_fc : 256 × 1 = 256 合计 = 197,120

比分开式的 131,328 多 50%。

为什么?因为拼接式的 attn_fc 要把 512 + 256 = 768 维一口气压到 256 维, 而分开式是两个 256×256。

拼接式在双向编码器时更贵。

③ 多头

问

答

每个头多少维

256 / 8 = 32

四个矩阵共多少

4 × (256×256 + 256) = 262,144

8 头各用满 256 维

4 × 8 × (256×256 + 256) = 2,097,152

差几倍

8 倍

这就是「多头几乎不增加参数」的含义: 它不是把 256 维算 8 遍,是把 256 维切成 8 份、每份 32 维。

二、手算

步

结果

① QK⊤QK^{\top}

[1, 1, 2]

② 除以 2\sqrt{2}

[0.7071, 0.7071, 1.4142]

③ 取指数

[2.0281, 2.0281, 4.1133],合计 8.1695

④ softmax

[0.2483, 0.2483, 0.5035]

⑤ 输出

[1.0, 1.0]

手验第 ① 步:

[1,1]·[1,0] = 1 [1,1]·[0,1] = 1 [1,1]·[1,1] = 2

手验第 ⑤ 步:

第1维:0.2483×2 + 0.2483×0 + 0.5035×1 = 0.4966 + 0.5035 = 1.0001 第2维:0.2483×0 + 0.2483×2 + 0.5035×1 = 0.4966 + 0.5035 = 1.0001

四舍五入都是 1.0。

「想一想」的答案

因为 Q=[1,1]Q = [1,1] 和 K3=[1,1]K_3 = [1,1] 完全同向, 点积最大(2)。

而 K1=[1,0]K_1 = [1,0] 和 K2=[0,1]K_2 = [0,1] 各只在一个维度上有值, 点积都是 1。

Q 和 K 越「同向」,分数越高。这就是点积打分的全部含义。

三、mask 的四个后果

#

后果

①

不报错,但效果差。 padding 位置会分到注意力,真正有用的源词权重被稀释

②

可能 NaN。 如果某一行全是 padding(整句都被 mask), softmax 是 0/0

③

正确。 整行被 mask 时得到均匀分布,不会 NaN

④

完全反了。 真词被 mask 掉、padding 反而参与—— 等于让模型只看补出来的 0。效果比 ① 还差

① 和 ④ 都不会报错,这是最难查的一类 bug。

判断办法:训练几个 epoch 后把 alpha 打印出来, 看 padding 位置的权重是不是 0。不是 0 就是 mask 写错了。

四、读权重图

#

输出词

最大值

判断

依据

1-3

我 / 会 / 讲

0.629 / 0.553 / 0.568

大概率对

权重集中在某一处(0.5 以上),且位置逐步右移—— 形成了对角线,说明学出了对齐

4

在

0.884

看着很自信

权重高度集中

5-6

一 / 样

0.367 / 0.284

大概率错

权重分散在多个源位置,模型自己也不知道该看哪

实际结果:

i can speak english. → 我会讲英语。 ✓ 全对 drunk driving is a serious problem. → 在美国人一样。 ✗ 全错

第 4 行是个陷阱:0.884 看着很自信,但那句整体还是错的。

原因:第 4 步自信地看错了位置。前面几步已经偏了, 后面再自信也救不回来。

所以「单步权重高」不等于「整句对」, 要看整条路径是不是连贯的斜线。

五、辨真假

#

答案

理由

1

对

每个输出步要在所有源位置上分配,所以个数 = 源句长度 (36.5 课那个 2×4 就是 4 个)

2

错

「同一组张量」在 seq2seq 注意力里恰好成立(都是编码器输出), 但原则上 K 和 V 可以是两套不同投影—— Transformer 里就是两个独立的 W_k / W_v

3

错

36.12 实测:加了注意力后,最长桶相对最短桶掉了 65%, 比无注意力版的 62% 还差。绝对值抬高了,形状没变

4

错

131,328 vs 编码器 2,633,728 —— 注意力只占 3.3%

5

对,但别过度解读

经过 softmax,数学上确实是概率分布(和 = 1、非负)。 但「权重 0.8」不等于「80% 的信息来自这里」—— 它只是分数归一化的结果,不代表因果贡献

下一章

注意力讲完了。但它有一个藏着的毛病: 它对顺序不敏感——「猫追狗」和「狗追猫」在它眼里一样。

下一章 Transformer 会正面处理这件事(位置编码), 并且把注意力当成唯一的构件,彻底扔掉循环。