seq2seq 的劣势

这一课在哪

第 35 章搭了 seq2seq,第 36 章给它加了注意力。效果从 BLEU 21.22 提到 28.63。

但骨架没换。这一课先把旧骨架的问题说透, 再问一个问题——那个问题直接通向下一章。

先回顾:seq2seq 差在哪

第 35 章量过。同一个模型,按源句长度分桶看 BLEU:

源句长度

不加注意力

加了注意力

1-5 词

25.79

33.83

6-8 词

18.65

25.55

9-12 词

13.72

21.24

13+ 词

9.92

11.86

无注意力

有注意力

整体 BLEU

21.22

28.63

最长桶 / 最短桶

0.38

0.35

注意力把水抬高了,但没改变形状

每一桶都涨了 7 个点左右,这是实打实的改善。

但「最长桶相对最短桶」这个比例,加了注意力反而更难看 (0.38 → 0.35)。

句子一长还是明显变差。说明有个东西一直没被解决。

为什么会这样

往下追一层,根子在循环。

① 必须一步一步来

第 1 个词 → h1 第 2 个词 → h2 (要等 h1 算完) 第 3 个词 → h3 (要等 h2 算完) ... 第 n 个词 → hn (要等 h(n-1) 算完)

第 n 步必须等前面全部算完。这就是「顺序操作 O(n)」—— 时间上无法并行,n 个词就要 n 次串行。

② 信息只能沿着这条链往前爬

第 1 个词的信息要影响第 20 个词,必须穿过 19 次递推。

第 34.1 课算过梯度连乘:每步衰减一半,20 步只剩 9.5×10−79.5 \times 10^{-7}。

前向传播也一样。信息每传一步就被 tanh 和权重矩阵揉一次, 传得越远越模糊。

所以「句子越长越差」不是巧合,是结构决定的

句子长 → 传递链长 → 衰减多 → 差。

这是 RNN 的宿命,加什么门都只是减缓。 LSTM 把衰减从 0.5 拉到 0.99,但仍然是连乘。

注意力帮了忙,但它加在解码器那一侧—— 编码器还是 RNN,还得一步步爬。

③ 一个向量装一整句

seq2seq 的编码器最后只交出一个 hh。 注意力把它救成了「一串 h 里现挑」,但挑的依据仍然是那个在 RNN 里爬过来的状态。

补丁打在出口,没打在传输线上。

注意力带来了什么

第 36 章那句话值得再读一遍:

注意力做到了三件 RNN 做不到的事

① 任意两个位置直接相连。 第 1 个词和第 50 个词之间一次点积,不经过任何中间步骤。

② 权重按需重算。 每一步问一次「现在该看哪些」,而不是拿一份固定的压缩包。

③ 所有位置能同时算。 注意力里没有「第 n 步等第 n-1 步」这回事。

而且 d2l 对它的定位很准确:

「这个新的基于注意力的模型与 seq2seq 中的模型相同,只不过上下文变量 在每个解码时间步都会被替换。」

这句话说明注意力当时只是个补丁

骨架还是编码器 RNN + 解码器 RNN, 注意力插在中间当「临时取货窗口」。

但既然注意力已经能干这三件事了……为什么还要留着 RNN?

那么问题来了

把注意力能做的事列出来:

能力

RNN 靠什么

注意力靠什么

提取信息

一步步读,攒进 h

Q 和 K 打分,挑着取 V

融合信息

h 和 x 拼一起过 tanh

按权重加权求和

记住顺序

顺序处理,天然有序

记不住(这是要解决的问题)

跨距离传递

穿过 n 步递推

一步直达

前三行里,注意力在两行上更强,一行上有缺陷。

那直接问:编码器和解码器都不用 RNN,全换成注意力,行不行?

这一问就是下一章的起点

如果行,那就得到一个完全没有循环的模型:

编码器:一堆注意力层叠起来,同时处理整句。

解码器:一堆注意力层叠起来,加一个掩码保证不看未来。

没有「第 n 步等第 n-1 步」,整句一起算。

只剩那第三行没着落。先记着,后面会回来。

这一课留下的三个数

数

值

含义

BLEU(有注意力)

28.63

补丁有效

最长桶 / 最短桶

0.35

形状没变

RNN 顺序操作

O(n)O(n)

必须串行

下一课

有个模型真的这么干了——编码器和解码器全部由注意力堆成, 一个循环都没有。它叫 Transformer。