解码器的一层

这一课在哪

编码器拆完了。解码器大部分和它一样, 只有两处是新的。

同样地,六层是同一个结构复制六份,只理解一层就够。

完整结构

解码器的一层。三个子层,每个子层都是「运算 → 加残差 → LayerNorm」。注意残差有三处,LayerNorm 也有三处。左边那个橙色箭头是编码器输出 h1…hT 的入口。

和编码器并排对比,一眼看出差别:

编码器一层

解码器一层

子层 1

多头自注意力

掩蔽多头自注意力

子层 2

—

编码器-解码器注意力

子层 3

前馈网络

前馈网络

残差 + LayerNorm

两处

三处

只有两处是新的

① 自注意力前面多了「掩蔽」两个字。

② 中间多了一个子层,用来接收编码器的输出。

前馈网络、残差、LayerNorm 都和编码器一模一样, 上一课讲过,这里不再重复。

子层 1:为什么必须掩蔽

问题出在训练方式上

训练时,整句标准答案都在手上。 解码器一口气把四个位置全算了:

位置 1 要预测「I」 位置 2 要预测「like」 位置 3 要预测「you」 位置 4 要预测「<eos>」

但位置 1 算的时候,如果它能看见位置 2、3、4 的输入—— 而输入里就有 like you <eos>—— 那它直接把答案抄过来就行了。

这叫「偷看答案」

训练时表现完美,推理时第一个词就露馅——因为那时后面什么都没有。

所以必须强制:位置 i 只能看位置 0 到 i。

这就是「保留自回归属性」的意思——每一步都只看已经生成的。

掩码长什么样

一个下三角矩阵,1 表示「可以看」,0 表示「不许看」:

M=[1000110011101111]M = \begin{bmatrix} 1 & 0 & 0 & 0 \\ 1 & 1 & 0 & 0 \\ 1 & 1 & 1 & 0 \\ 1 & 1 & 1 & 1 \end{bmatrix}

第 1 行只能看第 1 个,第 2 行能看前两个,依此类推。

实算一遍

假设算出来的分数是这样(随便取的数):

S=[1234214334124321]S = \begin{bmatrix} 1 & 2 & 3 & 4 \\ 2 & 1 & 4 & 3 \\ 3 & 4 & 1 & 2 \\ 4 & 3 & 2 & 1 \end{bmatrix}

不加掩码,直接 softmax:

softmax(S)=[0.03210.08710.23690.64390.08710.03210.64390.23690.23690.64390.03210.08710.64390.23690.08710.0321]\mathrm{softmax}(S) = \begin{bmatrix} 0.0321 & 0.0871 & 0.2369 & \mathbf{0.6439} \\ 0.0871 & 0.0321 & \mathbf{0.6439} & 0.2369 \\ 0.2369 & \mathbf{0.6439} & 0.0321 & 0.0871 \\ 0.6439 & 0.2369 & 0.0871 & 0.0321 \end{bmatrix}

看第 1 行:0.6439 的权重给了位置 4—— 它在看第四个词,那是它要预测的答案。

加掩码:把 0 的位置填成 −109-10^{9},再过 softmax:

softmax(S+mask)=[1.00000000.73110.2689000.25950.70540.035100.64390.23690.08710.0321]\mathrm{softmax}(S + \text{mask}) = \begin{bmatrix} \mathbf{1.0000} & 0 & 0 & 0 \\ 0.7311 & 0.2689 & 0 & 0 \\ 0.2595 & 0.7054 & 0.0351 & 0 \\ 0.6439 & 0.2369 & 0.0871 & 0.0321 \end{bmatrix}

行

能看到

权重

第 1 行

只有位置 1

1.0000,别无选择

第 2 行

位置 1、2

0.7311 / 0.2689

第 3 行

位置 1、2、3

0.2595 / 0.7054 / 0.0351

第 4 行

全部

和不加掩码一样

注意最后一行

第 4 行加不加掩码结果完全一样——因为它本来就该看到全部。

掩码只砍掉右上角那一块,左下角本来就没被砍。

为什么填 −109-10^{9} 而不是 0

因为要过 softmax。e0=1e^0 = 1,填 0 是没效果的—— 权重照样会分过去。

要填一个足够小的负数,e−109≈0e^{-10^9} \approx 0, softmax 之后才是真正的 0。

子层 2:编码器-解码器注意力

这个子层是解码器唯一接收外部信息的地方。

Q、K、V 各从哪来

角色

来自

形状

Q 查询

解码器上一个子层的输出

(B,Ttgt,d)(B, T_{tgt}, d)

K 键

编码器最后一层的输出

(B,Tsrc,d)(B, T_{src}, d)

V 值

同一个编码器输出

(B,Tsrc,d)(B, T_{src}, d)

这就是第 36.9 课那个注意力

Q 一边、K 和 V 另一边——跨注意力。

区别只是:36.9 那里 Q 来自 RNN 的隐状态, 这里 Q 来自上一个子层的输出。

机制完全一样,用的就是第 36.5 课手算过的那个跨注意力。

两边的长度不一样,怎么办

源句 10 个词、目标句 6 个词,那 Q 是 6 行、K 是 10 行。

没问题——注意力本来就是「每个 Q 和所有 K 打分」, 两边长度不同是常态。

量

形状

说明

Q

(B, 6, d)

目标句 6 个位置

K、V

(B, 10, d)

源句 10 个位置

QKᵀ

(B, 6, 10)

每行一个目标位置,10 个源位置

softmax 后

(B, 6, 10)

每个目标位置对 10 个源词的权重

输出

(B, 6, d)

回到目标句长度,能接残差

这一层要加 padding mask,不加 causal mask

编码器输出里可能有补出来的 padding,要屏蔽掉——这是 padding mask。

但不需要 causal mask:源句是完整已知的, 每个目标位置都可以看源句的全部,没有「未来」可言。

两种 mask,四个名字

这里最容易糊涂:代码里会看到两个不同的 mask 参数, 它们是两回事。

屏什么

用在哪

不同教材的叫法

补出来的词

所有注意力

pad_mask / xz_pad_mask / get_pad_mask

未来的词

只有解码器自注意力

look_ahead_mask / subsequent_mask / get_subsequent_mask / 因果掩码

有一份教程的参数名把这个分工写得很清楚:

# 解码器自注意力:用 look_ahead,不许看未来 attn = self.mh[0](yz, yz, yz, yz_look_ahead_mask) # 编码器-解码器注意力:用 pad,只屏蔽补出来的 attn = self.mh[1](o1, xz, xz, xz_pad_mask)

注意第一行的 yz, yz, yz——Q K V 全是自己, 所以叫「自」注意力。第二行是 o1, xz, xz—— Q 是自己的 o1,K V 是编码器的 xz。

子层 3 和外面的壳

两句话带过,上一课都讲过:

部件

这一课

前馈网络

和编码器完全相同:两个全连接层,放大 4 倍 → ReLU → 压回

残差 + LayerNorm

同样套在每个子层外面,所以解码器一层是三组

整层串起来

class DecoderLayer(nn.Module): def __init__(self, d_model=512, n_heads=8, d_ff=2048): super().__init__() self.self_attn = MultiHeadAttention(d_model, n_heads) self.cross_attn = MultiHeadAttention(d_model, n_heads) self.ffn = PositionWiseFFN(d_model, d_ff) self.norm1 = nn.LayerNorm(d_model) self.norm2 = nn.LayerNorm(d_model) self.norm3 = nn.LayerNorm(d_model) def forward(self, y, enc_out, causal_mask, pad_mask): # 子层 1:掩蔽自注意力(Q K V 都是自己) y = self.norm1(y + self.self_attn(y, y, y, causal_mask)) # 子层 2:跨注意力(Q 是自己,K V 是编码器输出) y = self.norm2(y + self.cross_attn(y, enc_out, enc_out, pad_mask)) # 子层 3:前馈网络 y = self.norm3(y + self.ffn(y)) return y

看第 2 个子层那一行:三个参数是 y, enc_out, enc_out—— Q 是 y,K 和 V 都是 enc_out。 这一行就是整个解码器最关键的地方。

参数比编码器多一点

部分

编码器一层

解码器一层

自注意力

1,050,624

1,050,624(掩蔽不增加参数)

跨注意力

—

1,050,624

前馈网络

2,099,712

2,099,712

三个 LayerNorm

2,048(两个)

3,072(三个)

合计

3,152,384

4,204,032

解码器一层多出约 33%,多出来的几乎全是那个跨注意力。

但「掩蔽」本身一个参数都不加——它只是在分数上加了个负无穷, 没有引入任何可学习的东西。

这一课留下的三个数

数

值

含义

子层数

3

比编码器多一个跨注意力

掩码填充值

−109-10^{9}

不能填 0,e0=1e^0 = 1 没用

掩码带来的参数

0

纯计算,不学任何东西

下一课

层拆完了。下一课把 6 层编码器 + 6 层解码器拼成完整模型, 然后在同一个中英翻译任务上真训一遍。

最后和第 36 章那个带注意力的 seq2seq 对比—— BLEU 28.63 那个数。